本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，特別是涉及一種評價方法與系統(tǒng)。

背景技術(shù)：

近紅外光譜定量建模中需要大量的樣本光譜信息以及基礎(chǔ)數(shù)據(jù)，對于一批建模光譜和基礎(chǔ)數(shù)據(jù)傳統(tǒng)的數(shù)據(jù)質(zhì)量判別是看兩個，一個是不做模型看流動的重復性，一個是做了模型后看預測誤差，但是由于平行樣的重復的流動檢測很困難；而模型需要大量的樣本才能判別是屬于事后判別。對于一批建模數(shù)據(jù)的質(zhì)量缺乏前期對其整體評價，如果一批定量建模的光譜和基礎(chǔ)數(shù)據(jù)不準確或者不對應，建立的模型往往精度不高或者適用性不強，傳統(tǒng)遇到這種情況，要么重新取樣建模，要么對模型進行更新維護，但是依然存在問題，勢必造成模型再次構(gòu)建失敗，造成極大的人力、物力、財力的浪費。如何在建模之前就對模型質(zhì)量預判是否能建立一個合格的模型變得尤為重要和必要。

技術(shù)實現(xiàn)要素：

鑒于以上所述現(xiàn)有技術(shù)的缺點，本發(fā)明的目的在于提供一種評價方法與系統(tǒng)，用于解決現(xiàn)有技術(shù)中不能對欲進行建模的近紅外光譜的基礎(chǔ)數(shù)據(jù)進行有效性預判而造成效率低下且浪費人力及財力等的問題。

為實現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明提供一種評價方法，用于包含近紅外光譜的用于建模的基礎(chǔ)數(shù)據(jù)的質(zhì)量進行評價，所述方法包括：從所述基礎(chǔ)數(shù)據(jù)中獲取多條近紅外光譜，且獲取與每條近紅外光譜對應的化學值；對所述近紅外光譜進行預處理；求解各所述近紅外光譜間的相似距離以及局部相關(guān)系數(shù)；根據(jù)各所述近紅外光譜間的相似距離以及局部相關(guān)系數(shù)分別獲取與各所述近紅外光譜對應的最大相似度的近紅外光譜以及相應的化學值；分別獲取各所述近紅外光譜與其對應的最大相似度的近紅外光譜間對應的化學值的差值，并對所有所述差值取絕對值后，得到與所述差值對應的絕對差值，求解所有所述絕對差值的平均值；將所述絕對差值的平均值與預設(shè)的誤差值進行比較，當所述絕對差值的平均值大于所述預設(shè)的誤差值時，評價所述基礎(chǔ)數(shù)據(jù)的質(zhì)量不合格；當所述絕對差值的平均值小于或等于所述預設(shè)的誤差值時，評價所述基礎(chǔ)數(shù)據(jù)的質(zhì)量合格。

于本發(fā)明一具體實施例中，對所述近紅外光譜進行預處理的方式包括S-G求導方法。

于本發(fā)明一具體實施例中，根據(jù)所述近紅外光譜的信息含量，求解各所述近紅外光譜間的相似距離。

于本發(fā)明一具體實施例中，各所述近紅外光譜間的相似度為各所述近紅外光譜間的局部相關(guān)系數(shù)與各所述近紅外光譜間的相似距離的比值。

于本發(fā)明一具體實施例中，當評價所述基礎(chǔ)數(shù)據(jù)的質(zhì)量不合格時，對所述基礎(chǔ)數(shù)據(jù)中的近紅外光譜的取樣方式進行調(diào)整和/或?qū)A(chǔ)流動數(shù)據(jù)進行維護。

為實現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明還提供一種數(shù)據(jù)評價系統(tǒng)，用于對包含近紅外光譜的用于建模的基礎(chǔ)數(shù)據(jù)的質(zhì)量進行評價，所述系統(tǒng)包括：基礎(chǔ)數(shù)據(jù)獲取模塊，用以從所述基礎(chǔ)數(shù)據(jù)中獲取多條近紅外光譜，且獲取與每條近紅外光譜對應的化學值；預處理模塊，用以對所述近紅外光譜進行預處理；最大相似度光譜獲取模塊，用以求解各所述近紅外光譜間的相似距離以及局部相關(guān)系數(shù)；且根據(jù)各所述近紅外光譜間的相似距離以及局部相關(guān)系數(shù)分別獲取與各所述近紅外光譜對應的最大相似度的近紅外光譜以及相應的化學值；差值平均值求解模塊，用以分別獲取各所述近紅外光譜與其對應的最大相似度的近紅外光譜間對應的化學值的差值，并對所有所述差值取絕對值后，得到與所述差值對應的絕對差值，求解所有所述絕對差值的平均值；比較模塊，用以將所述絕對差值的平均值與預設(shè)的誤差值進行比較，當所述絕對差值的平均值大于所述預設(shè)的誤差值時，評價所述基礎(chǔ)數(shù)據(jù)的質(zhì)量不合格；當所述絕對差值的平均值小于或等于所述預設(shè)的誤差值時，評價所述基礎(chǔ)數(shù)據(jù)的質(zhì)量合格。

于本發(fā)明一具體實施例中，對所述近紅外光譜進行預處理的方式包括S-G求導方法。

于本發(fā)明一具體實施例中，最大相似度光譜獲取模塊用以根據(jù)所述近紅外光譜的信息含量，求解各所述近紅外光譜間的相似距離。

于本發(fā)明一具體實施例中，各所述近紅外光譜間的相似度為各所述近紅外光譜間的局部相關(guān)系數(shù)與各所述近紅外光譜間的相似距離的比值。

于本發(fā)明一具體實施例中，還包括調(diào)整模塊，用以當評價所述基礎(chǔ)數(shù)據(jù)的質(zhì)量不合格時，對所述基礎(chǔ)數(shù)據(jù)中的近紅外光譜的取樣方式進行調(diào)整和/或?qū)A(chǔ)流動數(shù)據(jù)進行維護。

如上所述，本發(fā)明的評價方法與系統(tǒng)，用于對包含近紅外光譜的用于建模的基礎(chǔ)數(shù)據(jù)的質(zhì)量進行評價，所述方法包括：從所述基礎(chǔ)數(shù)據(jù)中獲取多條近紅外光譜，且獲取與每條近紅外光譜對應的化學值；對所述近紅外光譜進行預處理；求解各所述近紅外光譜間的相似距離以及局部相關(guān)系數(shù)；根據(jù)各所述近紅外光譜間的相似距離以及局部相關(guān)系數(shù)分別獲取與各所述近紅外光譜對應的最大相似度的近紅外光譜以及相應的化學值；分別獲取各所述近紅外光譜與其對應的最大相似度的近紅外光譜間對應的化學值的差值，并對所有所述差值取絕對值后，得到與所述差值對應的絕對差值，求解所有所述絕對差值的平均值；將所述絕對差值的平均值與預設(shè)的誤差值進行比較，當所述絕對差值的平均值大于所述預設(shè)的誤差值時，評價所述基礎(chǔ)數(shù)據(jù)的質(zhì)量不合格；當所述絕對差值的平均值小于或等于所述預設(shè)的誤差值時，評價所述基礎(chǔ)數(shù)據(jù)的質(zhì)量合格。本發(fā)明可以準確高效的在對近紅外光譜進行建模前，運用小量的樣本進行近紅外光譜與化學值質(zhì)量進行評判，以對基礎(chǔ)數(shù)據(jù)的質(zhì)量進行評價，來判定基礎(chǔ)數(shù)據(jù)是否可以建立一個穩(wěn)定的準確模型，為近紅外光譜數(shù)據(jù)的質(zhì)量的評價提供一種有效的判別方法，避免了由于基礎(chǔ)數(shù)據(jù)質(zhì)量不高引起的大量取樣建模，也促進了基礎(chǔ)數(shù)據(jù)質(zhì)量很高時，為擴充與改進針對基礎(chǔ)數(shù)據(jù)的化學計量學方法提供指導，以排除對不合格的近紅外光譜進行建模分析，提高建模分析的有效性和準確性，減少人力物力的浪費。

附圖說明

圖1顯示為本發(fā)明的評價方法在一具體實施例中的流程示意圖。

圖2顯示為應用本發(fā)明的評價方法的一具體實施例中的樣本個數(shù)與相關(guān)系數(shù)的關(guān)系示意圖。

圖3顯示為應用本發(fā)明的評價方法的一具體實施例中的樣本個數(shù)與相似度的關(guān)系示意圖。

圖4顯示為應用本發(fā)明的評價方法的一具體實施例中的化學值與樣品個數(shù)的關(guān)系示意圖。

圖5顯示為應用本發(fā)明的評價方法的一具體實施例中的樣品個數(shù)與化學值的關(guān)系示意圖。

圖6顯示為應用本發(fā)明的評價方法的一具體實施例中的樣品個數(shù)與相對誤差的關(guān)系示意圖。

圖7顯示為應用本發(fā)明的評價方法的一具體實施例中的化學值與樣品個數(shù)的關(guān)系示意圖。

圖8顯示為應用本發(fā)明的評價方法的一具體實施例中的樣品個數(shù)與相關(guān)系數(shù)的關(guān)系示意圖。

圖9顯示為應用本發(fā)明的評價方法的一具體實施例中的樣品個數(shù)與相似度的關(guān)系示意圖。

圖10顯示為應用本發(fā)明的評價方法的一具體實施例中的樣品個數(shù)與相對誤差的關(guān)系示意圖。

圖11顯示為本發(fā)明的評價系統(tǒng)在一具體實施例中的模塊示意圖。

元件標號說明

1 評價系統(tǒng)

11 基礎(chǔ)數(shù)據(jù)獲取模塊

12 預處理模塊

13 最大相似度光譜獲取模塊

14 差值平均值求解模塊

15 比較模塊

S11～S16 步驟

具體實施方式

以下通過特定的具體實例說明本發(fā)明的實施方式，本領(lǐng)域技術(shù)人員可由本說明書所揭露的內(nèi)容輕易地了解本發(fā)明的其他優(yōu)點與功效。本發(fā)明還可以通過另外不同的具體實施方式加以實施或應用，本說明書中的各項細節(jié)也可以基于不同觀點與應用，在沒有背離本發(fā)明的精神下進行各種修飾或改變。需說明的是，在不沖突的情況下，以下實施例及實施例中的特征可以相互組合。

需要說明的是，以下實施例中所提供的圖示僅以示意方式說明本發(fā)明的基本構(gòu)想，遂圖示中僅顯示與本發(fā)明中有關(guān)的組件而非按照實際實施時的組件數(shù)目、形狀及尺寸繪制，其實際實施時各組件的型態(tài)、數(shù)量及比例可為一種隨意的改變，且其組件布局型態(tài)也可能更為復雜。

請參閱圖1，顯示為本發(fā)明的評價方法在一具體實施例中的流程示意圖。所述方法用于對包含近紅外光譜的用于建模的基礎(chǔ)數(shù)據(jù)的質(zhì)量進行評價，即相當于多用于建模的近紅外光譜的定量建模數(shù)據(jù)的質(zhì)量進行評價，在建模之前對少量定量建模的光譜和基礎(chǔ)數(shù)據(jù)的準確性和對應性能進行分析，進而評價該批次的所有的基礎(chǔ)數(shù)據(jù)的質(zhì)量，即光譜和基礎(chǔ)數(shù)據(jù)的準確性和對應性越高，光譜的質(zhì)量越高。本發(fā)明在近紅外大量樣本獲取前，運用小量的樣本進行近紅外光譜與化學值質(zhì)量進行評判，來判定基礎(chǔ)數(shù)據(jù)是否可以建立一個穩(wěn)定的準確模型，為近紅外光譜數(shù)據(jù)的質(zhì)量的評價提供一種有效的判別方法，避免了由于基礎(chǔ)數(shù)據(jù)質(zhì)量不高引起的大量取樣建模，也促進了基礎(chǔ)數(shù)據(jù)質(zhì)量很高時，為擴充與改進針對基礎(chǔ)數(shù)據(jù)的化學計量學方法提供指導。

圖1所示的所述評價方法包括：

S11：從所述基礎(chǔ)數(shù)據(jù)中獲取多條近紅外光譜，且獲取與每條近紅外光譜對應的化學值；于一具體實施例中，獲取一批建模光譜和化學值其中包含M個光譜以及與其譜圖標簽屬性相對應的基礎(chǔ)化學值T_m(T_m表示第m個光譜對應的化學值)，光譜由m個波長點組成。

S12：對所述近紅外光譜進行預處理；由于近紅外光譜中雖然含有原料的化學、外觀、物理信息，但是近紅外光譜易受外界環(huán)境、儀器自身移動部件不穩(wěn)定性的影響，所以于本發(fā)明一具體實施例中，在獲取多條所述近紅外光譜后，還包括采用S-G求導方法對獲取的所述多條近紅外光譜進行預處理。以從一定程度上能夠消除或者降低上述的缺點。于本實施例中，S-G求導方法為：首先對每個光譜進行S-G平滑，窗口寬度為2k+1，之后用差分寬度為w對平滑后的光譜進行一階求導。

S13：求解各所述近紅外光譜間的相似距離以及局部相關(guān)系數(shù)；

S14：根據(jù)各所述近紅外光譜間的相似距離以及局部相關(guān)系數(shù)分別獲取與各所述近紅外光譜對應的最大相似度的近紅外光譜以及相應的化學值；其中，兩條譜X_i與Y_j(i,j＝1…n,i≠j)之間的相似度為D_ij，且于具體實施例中，求解相似度為D_ij的步驟還包括：

1)求光譜X_i與Y_j之間的相關(guān)系數(shù)R_ij，構(gòu)造一個移動窗口數(shù)為k的窗口，光譜X_i與Y_j中有m個波長點，將光譜X_i與Y_j從第c個波長點開始，移動到c+k-1個波長點，并計算X_i與Y_j在這段光譜中的相關(guān)系數(shù)R_cij，c是從1：m-k+1個波長點，最后求得所有移動窗口下的平均相關(guān)系數(shù)即為X_j與Y_j之間的相關(guān)系數(shù)R_ij。

$R_{c_{ij}}=\frac{{\mathrm{\Σ}}_{c=1}^{m-k+1}(X_{i,c:c+k-1}-\stackrel{\‾}{X})\×(Y_{j,c:c+k-1}-\stackrel{\‾}{Y}))}{\sqrt{{\mathrm{\Σ}}_{c=1}^{m-k+1}{(X_{i,c:c+k-1}-\stackrel{\‾}{X})}^2\×{(Y_{j,c:c+k-1}-\stackrel{\‾}{Y})}^2}}$

X_i,c表示第i條光譜中的第c個移動窗口，Y_j,c表示第j條光譜中的第c個移動窗口。

$R_{ij}=\frac{{\mathrm{\Σ}}_{i,j=1,i\≠j}^{m-k+1}{R}_{c_{ij}}}{m-k+1}$

2)計算原始光譜中的X_i與Y_j的信息含量，x_i為第i條光譜的信息含量，y_j為第j條光譜的信息含量，計算兩條光譜之間互相包含的信息含量為：

$S_{xy}={\mathrm{\Σ}}_{i=1}^n{x}_i\log \frac{x_i}{y_j}$

其中，i,j＝1…n，且i≠j。

所述各所述近紅外光譜間的相似距離為S_xy+S_yx，且各所述近紅外光譜間的相似度為各所述近紅外光譜間的局部相關(guān)系數(shù)與各所述近紅外光譜間的相似距離的比值。即所述相似度為

S15：分別獲取各所述近紅外光譜與其對應的最大相似度的近紅外光譜間對應的化學值的差值，并對所有所述差值取絕對值后，得到與所述差值對應的絕對差值，求解所有所述絕對差值的平均值；

S16：將所述絕對差值的平均值與預設(shè)的誤差值進行比較，當所述絕對差值的平均值大于所述預設(shè)的誤差值時，評價所述基礎(chǔ)數(shù)據(jù)的質(zhì)量不合格，即質(zhì)量不高，對于后續(xù)的樣本不足以建立一個好的近紅外模型；當所述絕對差值的平均值小于或等于所述預設(shè)的誤差值時，評價所述基礎(chǔ)數(shù)據(jù)的質(zhì)量合格。

知道每個樣本間的相似度D_ij，光譜樣本i從其他剩下的m-1個樣本中選取一個與它相似度最大的光譜v，同時得到光譜i與光譜v相對應的兩組樣本的化學值T_i與T_v，求出每條光譜最大相似光譜及其對應化學值，求出他們相似組化學值的平均誤差當大于閾值H(閾值H根據(jù)實際生產(chǎn)需求確定)，則判定這一批建模數(shù)據(jù)不適合，反之，這一批建模數(shù)據(jù)能夠用于建立一個穩(wěn)定、準確的模型。其中，

于本發(fā)明一具體實施例中，當評價所述基礎(chǔ)數(shù)據(jù)的質(zhì)量不合格時，還包括對所述基礎(chǔ)數(shù)據(jù)中的近紅外光譜的取樣方式進行調(diào)整和/或?qū)A(chǔ)流動數(shù)據(jù)進行維護的步驟。

本發(fā)明還可以根據(jù)模型外部驗證誤差與質(zhì)量評價驗證本方法的合理性與適用性。

本發(fā)明的近紅外光譜定量建模數(shù)據(jù)評價方法，能夠提前預判建模數(shù)據(jù)質(zhì)量的好壞，避免了數(shù)據(jù)質(zhì)量不高的近紅外數(shù)據(jù)大量取樣，可以為建模廠家減少沒必要的樣本浪費，減少大量的物力、人力、財力，同時為取樣方法的調(diào)整基礎(chǔ)數(shù)據(jù)的準確性查證提供了可靠的知道依據(jù)。

通過本發(fā)明的評價方法能夠?qū)τ陬A判質(zhì)量數(shù)據(jù)很高的，但是建模數(shù)據(jù)結(jié)果不好的模型提供了基礎(chǔ)數(shù)據(jù)可靠的保障，促使近紅外定量建模方法的改進與提高，為實際生產(chǎn)的具體應用打下了堅實的基礎(chǔ)。

以下將以本發(fā)明在實際生產(chǎn)中的具體應用實例對本發(fā)明進行進一步的說明，本實例采用打葉復烤后的原煙煙葉近紅外光譜和流動分析儀所做的尼古丁基礎(chǔ)數(shù)據(jù)作為實驗對象，對一種近紅外定量建模數(shù)據(jù)質(zhì)量評價新方法進行具體詳細的說明。

步驟一、獲取近紅外光譜及其相對應的化學值，具體過程：煙葉經(jīng)過打葉復烤之后，經(jīng)過在線近紅外光譜儀獲取268個樣品的光譜圖，光譜的波長點數(shù)為256，并將對應的樣品用于流動分析儀化檢得到相對應的化學值。其中，所述樣本是紅河復烤廠提供的煙葉。

步驟二、對近紅外光譜進行預處理，具體過程：將每個光譜圖轉(zhuǎn)換成行矩陣，選取窗口數(shù)為7；差分寬度為3對每個光譜進行S-G卷積平滑求導。

步驟三、求取光譜的相似度，具體過程為：

1.構(gòu)造一個移動窗口k＝7，將光譜從第一個波長點開始，移動到250個波長點，算得各個光譜之間的相關(guān)系數(shù)如圖2所示。

2.原始光譜中各個光譜圖之間信息含量，x_i為第i條光譜的信息含量，y_j為第j條光譜的信息含量，計算各個光譜之間包含的信息，將其代入下述公式分別計算兩條光譜之間的信息含量：

$S_{xy}={\mathrm{\Σ}}_{i=1}^n{x}_i\log \frac{x_i}{y_j}$

$S_{yx}={\mathrm{\Σ}}_{i=1}^n{y}_i\log \frac{y_j}{x_i}$

3.則光譜之間的相似度且相似度圖譜如圖3所示。

步驟四、根據(jù)相似度D_ij，求其基礎(chǔ)數(shù)據(jù)之間的平均誤差來判定近紅外定量建模數(shù)據(jù)的質(zhì)量，其具體過程：根據(jù)步驟三，求得每個樣本與其他樣本之間的相似度D，從1號樣品開始，選擇與他相似度最高的樣品進行匹配，并找到相對應的化學值，計算268個樣品與他們相似度最高的匹配樣品之間的化學值的誤差，268個樣品化學值分布如圖所示4，相互匹配化學值分布如圖5所示，相對誤差分布圖如圖6所示，求出268個樣品與其相似度匹配的樣品間的平均相對誤差為11.24％，平均絕對誤差為0.26，小于實際應用中的平均絕對誤差H＝0.35，可以判定這批基礎(chǔ)數(shù)據(jù)質(zhì)量能夠建立一個穩(wěn)定適用的近紅外定量模型。根據(jù)268個光譜和基礎(chǔ)數(shù)據(jù)建立近紅外定量模型，其外部驗證參數(shù)如表1所。表1為第一批近紅外定量模型外部驗證參數(shù)。

表1

從表1中看出建立的模型相關(guān)系數(shù)為0.82，驗證標準偏差為0.33，平均相對誤差為10.9％，小于實際應用中的平均相對誤差和平均絕對誤差，該模型能夠應用于實際生產(chǎn)中。

在另一具體實施例中，采用獲取另外一批建模光譜以及其相對應的化學值，求其光譜間的相似度，相匹配的誤差來評價這批建模數(shù)據(jù)的質(zhì)量，其具體過程：獲取另外一批在打葉復烤后經(jīng)過在線近紅外的210個光譜和相對應的化學值，基礎(chǔ)數(shù)據(jù)分布圖如圖7所示，按照上述步驟二、三、四，得到他們的相關(guān)系數(shù)如圖8所示，得到樣本間相互匹配的相似度如圖9所示，相對誤差分布圖如圖10所示，求出210個樣品與其相似度匹配的樣品間的平均絕對誤差為0.65，平均相對誤差為27.42％，平均絕對誤差0.64大于實際應用中的平均絕對誤差H＝0.35，判定這批光譜基礎(chǔ)數(shù)據(jù)質(zhì)量太差，無法建立一個穩(wěn)定的模型。根據(jù)210個光譜和基礎(chǔ)數(shù)據(jù)建立近紅外定量模型，其外部驗證參數(shù)如表2所示，表2顯示為第二批數(shù)據(jù)近紅外定量模型外部驗證參數(shù)。

表2

從表2中可以看出，用這組基礎(chǔ)數(shù)據(jù)建立的近紅外定量模型預測值與基礎(chǔ)數(shù)據(jù)的相關(guān)性不大，驗證標準偏差為0.41，由于誤差太大，建立的模型無法應用于實際或者預測不準。

從表1和表2表明，本發(fā)明方法能夠?qū)t外建?；A(chǔ)數(shù)據(jù)的質(zhì)量進行評價，可以在建模之前快速判定這批基礎(chǔ)數(shù)據(jù)的質(zhì)量好壞。

請參閱圖11，顯示為本發(fā)明一具體實施例中的模塊示意圖。所述評價系統(tǒng)1，用于對包含近紅外光譜的用于建模的基礎(chǔ)數(shù)據(jù)的質(zhì)量進行評價，即光譜和基礎(chǔ)數(shù)據(jù)的準確性和對應性越高，光譜的質(zhì)量越高。所述系統(tǒng)1包括：

基礎(chǔ)數(shù)據(jù)獲取模塊11，用以從所述基礎(chǔ)數(shù)據(jù)中獲取多條近紅外光譜，且獲取與每條近紅外光譜對應的化學值；

預處理模塊12，用以對所述近紅外光譜進行預處理；

最大相似度光譜獲取模塊13，用以求解各所述近紅外光譜間的相似距離以及局部相關(guān)系數(shù)；且根據(jù)各所述近紅外光譜間的相似距離以及局部相關(guān)系數(shù)分別獲取與各所述近紅外光譜對應的最大相似度的近紅外光譜以及相應的化學值；

差值平均值求解模塊14，用以分別獲取各所述近紅外光譜與其對應的最大相似度的近紅外光譜間對應的化學值的差值，并對所有所述差值取絕對值后，得到與所述差值對應的絕對差值，求解所有所述絕對差值的平均值；

比較模塊15，用以將所述絕對差值的平均值與預設(shè)的誤差值進行比較，當所述絕對差值的平均值大于所述預設(shè)的誤差值時，評價所述基礎(chǔ)數(shù)據(jù)的質(zhì)量不合格；當所述絕對差值的平均值小于或等于所述預設(shè)的誤差值時，評價所述基礎(chǔ)數(shù)據(jù)的質(zhì)量合格。

于本發(fā)明一具體實施例中，對所述近紅外光譜進行預處理的方式包括S-G求導方法。

于本發(fā)明一具體實施例中，所述最大相似度光譜獲取模塊12用以根據(jù)所述近紅外光譜的信息含量，求解各所述近紅外光譜間的相似距離。

于本發(fā)明一具體實施例中，各所述近紅外光譜間的相似度為各所述近紅外光譜間的局部相關(guān)系數(shù)與各所述近紅外光譜間的相似距離的比值。

于本發(fā)明一具體實施例中，還包括調(diào)整模塊，用以當評價所述基礎(chǔ)數(shù)據(jù)的質(zhì)量不合格時，對所述基礎(chǔ)數(shù)據(jù)中的近紅外光譜的取樣方式進行調(diào)整和/或?qū)A(chǔ)流動數(shù)據(jù)進行維護。

所述評價系統(tǒng)1為與所述評價方法對應的系統(tǒng)項，兩者技術(shù)方案一一對應，所有關(guān)于所述評價方法的描述均可應用于本實施例中，在此不加贅述。

綜上所述，本發(fā)明的評價方法與系統(tǒng)，用于對包含近紅外光譜的用于建模的基礎(chǔ)數(shù)據(jù)的質(zhì)量進行評價，所述方法包括：從所述基礎(chǔ)數(shù)據(jù)中獲取多條近紅外光譜，且獲取與每條近紅外光譜對應的化學值；對所述近紅外光譜進行預處理；求解各所述近紅外光譜間的相似距離以及局部相關(guān)系數(shù)；根據(jù)各所述近紅外光譜間的相似距離以及局部相關(guān)系數(shù)分別獲取與各所述近紅外光譜對應的最大相似度的近紅外光譜以及相應的化學值；分別獲取各所述近紅外光譜與其對應的最大相似度的近紅外光譜間對應的化學值的差值，并對所有所述差值取絕對值后，得到與所述差值對應的絕對差值，求解所有所述絕對差值的平均值；將所述絕對差值的平均值與預設(shè)的誤差值進行比較，當所述絕對差值的平均值大于所述預設(shè)的誤差值時，評價所述基礎(chǔ)數(shù)據(jù)的質(zhì)量不合格；當所述絕對差值的平均值小于或等于所述預設(shè)的誤差值時，評價所述基礎(chǔ)數(shù)據(jù)的質(zhì)量合格。本發(fā)明可以準確高效的在對近紅外光譜進行建模前，運用小量的樣本進行近紅外光譜與化學值質(zhì)量進行評判，以對基礎(chǔ)數(shù)據(jù)的質(zhì)量進行評價，來判定基礎(chǔ)數(shù)據(jù)是否可以建立一個穩(wěn)定的準確模型，為近紅外光譜數(shù)據(jù)的質(zhì)量的評價提供一種有效的判別方法，避免了由于基礎(chǔ)數(shù)據(jù)質(zhì)量不高引起的大量取樣建模，也促進了基礎(chǔ)數(shù)據(jù)質(zhì)量很高時，為擴充與改進針對基礎(chǔ)數(shù)據(jù)的化學計量學方法提供指導，以排除對不合格的近紅外光譜進行建模分析，提高建模分析的有效性和準確性，減少人力物力的浪費。所以，本發(fā)明有效克服了現(xiàn)有技術(shù)中的種種缺點而具高度產(chǎn)業(yè)利用價值。

上述實施例僅例示性說明本發(fā)明的原理及其功效，而非用于限制本發(fā)明。任何熟悉此技術(shù)的人士皆可在不違背本發(fā)明的精神及范疇下，對上述實施例進行修飾或改變。因此，舉凡所屬技術(shù)領(lǐng)域中具有通常知識者在未脫離本發(fā)明所揭示的精神與技術(shù)思想下所完成的一切等效修飾或改變，仍應由本發(fā)明的權(quán)利要求所涵蓋。