高光譜成像儀在數(shù)據(jù)采集的過程中,會獲取到大量的光譜數(shù)據(jù),但是這些光譜數(shù)據(jù)中會含有大量的干擾因素,需要對光譜數(shù)據(jù)進行預(yù)處理,提取有特征的光譜數(shù)據(jù),以保證分析結(jié)果的準確性。本文對光譜數(shù)據(jù)的預(yù)處理方法及光譜特征的提取方法做了介紹。
光譜數(shù)據(jù)的預(yù)處理方法:
光譜預(yù)處理可以消除光譜數(shù)據(jù)采集中由儀器產(chǎn)生的噪聲、背景干擾、周圍雜散光干擾、光散射、震動以及樣本自身不能確定性因素(如大小、顏色等)的影響,提高實驗校正模型對預(yù)測集的預(yù)測精度。目前,采用的光譜和圖像預(yù)處理方法有:
1.SG平滑處理
SG平滑是用平滑點前后特定點的平均和擬合信息來代替平滑點信息,達到平滑的效果。常用的平滑方法有Savitzky-Golay多項式卷積平滑、指數(shù)平均平滑和移動式平滑等。
2.標準化歸一處理
標準歸一化(SNV)是用來消除由樣本反射光散射而引起的光譜誤差,SNV的應(yīng)用是在假定各波長點處的吸光度值滿足正態(tài)分布的基礎(chǔ)上,針對每一條光譜進行標準化校正。
3.多元散射校正
多元散射校正(MSC)是用來消除樣本反射光譜和光源擴散投射中對光譜數(shù)據(jù)的影響,消除樣本由此而造成的光譜差異。
4.零位線校正處理
零位線校正(Baseline)可以消除儀器的背景或漂移對信號的影響,它是項目儲存中在特定時期的一個項目快照,提供一個正式標準,并且只有通過授權(quán)之后才能更改。在繪制初期零位線后,以后每次變更都以上一次形成的零位線進行一次差值,直到建成下一個零位線為止。
5.導(dǎo)數(shù)處理
導(dǎo)數(shù)處理可以用來消除采集光譜時受平緩背景和基線漂移的干擾,還可以強化譜帶特征、克服譜帶重疊等;如一階導(dǎo)數(shù)可以消除噪聲中與波長無關(guān)的漂移噪聲,二階導(dǎo)數(shù)可以消除那些與波長呈線性相關(guān)的漂移。
6.中值校正
中值校正(MF)用來消除采集光譜數(shù)據(jù)中數(shù)值線性突變值,采用平滑點前后特定點的平均來代替平滑點信息,以得到平滑的效果。
光譜特征的提取方法:
1.連續(xù)投影法(SPA)
連續(xù)投影算法(SPA)用來提取特征來量的一種方法,可以消除波長變量間共線性產(chǎn)生的影響,同時可以有效的避免信息重疊,提取出具有最小共線性和最低冗余度的特征波長,能夠以較小的信息量來表示大多數(shù)樣品的光譜信息,簡化了數(shù)學(xué)模型,廣泛應(yīng)用在光譜實驗特征波長的提取中。
該方法的基本原理是選擇一個初期波長,然后采用循環(huán)選擇的方式向前推進,通過計算所選波長在未選入的波長上的投影,選出投影向量的最大波長并將該向量引入波長組合,直至本次循環(huán)截止。
2.主成分分析(PCA)
主成分分析(PCA)是一種數(shù)據(jù)降維方法,其原理是把多個變量進行線性計算重新組合,生成較少變量的方法。不僅可以很好的避免信息重疊、數(shù)據(jù)的簡化,還可以提取出最具代表性的變量子集。該方法通常用來多元統(tǒng)計分析,即將原來具有一定相關(guān)性的多維變量進行了重新的組合,降低變量的維度并用來描述原有指標的目的。
光譜數(shù)據(jù)的建模方法:
1.偏最小二乘(PLS)
偏最小二乘法(PLS)是基于光譜數(shù)據(jù)中主要成分的逐步提取和變量的添加對多元數(shù)據(jù)進行統(tǒng)計,利用數(shù)學(xué)模型逐步檢測其顯著性,廣泛應(yīng)用在數(shù)學(xué)建模中。具有以下優(yōu)點:
①計算時可以根據(jù)實驗要求使用全部信息進行數(shù)據(jù)統(tǒng)計,也可以用部分信息進行統(tǒng)計;
②PLS模型在計算過程中,數(shù)據(jù)矩陣的分解和回歸是交互同時計算的,得到的特征值向量直接與被測組分進行線性相關(guān);
③PLS方法一般用于較復(fù)雜的數(shù)學(xué)模型分析中。
2.主成分回歸(PCR)
主成分回歸(PCR)是在不丟失變量主要信息的基礎(chǔ)上,選擇維數(shù)最少的新變量來代替原始變量,達到降維目的一種多元統(tǒng)計分析方法。
PCR模型是由主成分分析和多元線性回歸組成。主成分回歸利用全譜或者部分光譜數(shù)據(jù),計算載荷、向量;可以消除多元線性回歸中的共線問題、變量數(shù)使用限制問題和噪音濾除問題。
3.最小二乘支持向量機(LS-SVM)
LS-SVM模型是把已經(jīng)選好的非線性向量映射到高維空間,然后進行超平面(最優(yōu)決策函數(shù))構(gòu)造提取最優(yōu)的分類,是一種結(jié)構(gòu)風(fēng)險最小的多元統(tǒng)計方法。該方法既可以將原始空間的線性進行分解,還可以對數(shù)據(jù)進行分類處理。
LS-SVM是對SVM的改進,是將SVM的二次規(guī)劃進一步做了簡化,可以通過樣本建模集與待測樣本集建立空間映射函數(shù)直接得出線性方程組的解,增強其使用性。