光谱数据预处理方法

概述

光谱仪采集的原始光谱数据中，除了样品自身的吸收信息外，还叠加了基线漂移、高频噪声、散射效应等干扰信号。在建立定量或定性分析模型之前，对原始光谱进行适当的预处理，是提升模型预测精度和稳健性的关键步骤。本文介绍近红外及光纤光谱分析中最常用的三种预处理方法：平滑去噪、导数处理和散射校正。

一、平滑去噪

1.1 滑动平均平滑

滑动平均（Moving Average）是最简单直观的平滑方法。对于光谱中的每个像素 $i$，以其为中心，取左右各 $p$ 个相邻像素的强度值求平均：

$$I_s[i] = \frac{\sum_{j=\max(0, i-p)}^{\min(N-1, i+p)} I[j]}{\min(N-1, i+p) - \max(0, i-p) + 1}$$

参数说明： - $i$：当前像素索引，$0 \le i < N$ - $p$：平滑窗口半径（平滑次数），$p$ 越大平滑效果越强 - $N$：光谱总像素数（如 2048）

边缘处理：当像素位于光谱两端（$i - p < 0$ 或 $i + p \ge N$）时，自动缩小窗口范围至有效边界，分母同步调整为实际参与计算的像素数。

1.2 Savitzky-Golay 平滑

SG 平滑是对滑动平均的改进。它不是简单求平均值，而是在每个滑动窗口内用多项式拟合，以拟合值替代原始值。SG 平滑在保留光谱峰形（峰位、峰高、峰宽）方面优于普通滑动平均，是近红外光谱分析中最推荐的平滑方法。

典型参数：窗口宽度 7–15 点，多项式阶数 2–3 阶。

1.3 平滑参数选择

建议：从较小的窗口参数开始逐步增大，以光谱曲线视觉上噪声显著减少且峰形未明显畸变为宜。

二、导数处理

2.1 一阶导数

一阶导数光谱消除了光谱中的恒定基线偏移（即加性基线），使叠加在平缓背景上的吸收峰更加突出。

数学原理：导数对常数项的导数为零，因此与波长无关的基线偏移在一阶导数中被完全消除。

2.2 二阶导数

二阶导数进一步消除线性基线漂移，并增强谱峰的分辨能力——原本重叠的宽峰在二阶导数谱中可能分离为独立的负峰。

典型应用： - 消除样品颗粒度差异引起的光谱整体上下平移 - 分辨重叠吸收峰 - 提高 PLS 模型的预测精度

2.3 注意事项

导数处理会放大高频噪声。通常在求导之前先用 SG 平滑进行预处理，或使用 SG 卷积求导法 一步完成平滑和求导。

三、散射校正

固体粉末或颗粒样品的漫反射光谱中，颗粒大小、装样密度等物理因素会引起光谱的整体漂移和倾斜——即散射效应，这些变化与分析物浓度无关但会严重干扰建模。

3.1 标准正态变量（SNV）

SNV 对每条光谱单独处理：

$$x_{SNV} = \frac{x - \bar{x}}{\sigma}$$

其中 $\bar{x}$ 为该光谱所有波长点的均值，$\sigma$ 为标准差。处理后的光谱均值为 0、方差为 1，消除了光谱整体的上下平移。

适用场景：消除颗粒大小差异引起的基线平移，常用于近红外漫反射光谱的预处理。

3.2 多重散射校正（MSC）

MSC 假设所有样品的散射效应可以用一条"理想光谱"（通常取校正集的平均光谱）的线性变换来近似。对每条样品光谱 $x$，建立回归：

$$x = a + b \cdot x_{ref}$$

校正后的光谱为：

$$x_{MSC} = \frac{x - a}{b}$$

其中 $a$（截距）校正加性散射（基线平移），$b$（斜率）校正乘性散射（光程变化）。

MSC 与 SNV 的对比：

四、预处理组合策略

实际应用中，通常组合多种预处理方法以达到最佳建模效果：

五、预处理效果的评价

预处理是否有效，需要通过后续建模来验证。评价指标包括：

• RMSEC（校正均方根误差）：校正集预测误差
• RMSEP（预测均方根误差）：独立验证集的预测误差
• $R^2$（决定系数）：越接近 1 越好

核心原则：预处理的目的不是让光谱"看起来好看"，而是让模型预测更准确。RMSEP 的降低是评价预处理有效性的最终标准。

本文由谱研互联整理编写