專利名稱：：建立煙草近紅外模型的選樣方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及一種用于建立煙草近紅外模型的方法，具體涉及一種建立煙草近紅外模型的選樣方法。
背景技術(shù)：
：二十世紀(jì)九十年代以來，近紅外技術(shù)在煙草中的應(yīng)用越來越廣泛，各煙草企業(yè)根據(jù)各自的實際情況都建立了自己的近紅外模型。進(jìn)入本世紀(jì)后，國內(nèi)煙草行業(yè)掀起了兼并重組的浪潮，原來分散的巻煙廠，聯(lián)合組成了跨地域、大集團(tuán)式的工業(yè)公司。在近紅外技術(shù)的研究中，隨之而來的問題出現(xiàn)了原來各煙廠建立的近紅外模型，已不能適應(yīng)大集團(tuán)模式下研究的需要?，F(xiàn)實情況卻是，不同的煙廠建立了不同的近紅外模型，但這些模型是彼此獨立的，這些模型可能采用不同的近紅外儀器掃描光譜，同時還有可能用不同的分析方法獲得原始數(shù)據(jù)。一般而言，這種情況下模型之間的樣品信息是很難共享的。在這種情況下，重新建立近紅外模型是不現(xiàn)實的，必須找到合適的方法，將已有的模型充分利用起來。目前，在建立煙草近紅外模型過程中，樣品的選擇常用到經(jīng)驗選擇、濃度識別和光譜識別三種方法。經(jīng)驗選擇法通常是按照煙草的品種、年份、部位、等級以及用途等性質(zhì)，挑選具有代表性的煙草樣品作為定標(biāo)集樣品建立模型；濃度識別法主要是依據(jù)樣品組分的濃度差異，選擇具有代表性的樣品作為定標(biāo)集樣品建立模型；光譜識別法主要依據(jù)樣品的光譜差異挑選樣品建立模型。采用經(jīng)驗選擇法挑選樣品的缺點是其所需樣品量巨大，同時這種方法忽略了樣品本身的物理和化學(xué)性質(zhì)而容易引起誤差；濃度識別法的缺點是其忽略了樣品的光譜差異，從而可能導(dǎo)致模型的預(yù)測能力偏低；光譜識別法的缺點是其忽略了樣品內(nèi)在質(zhì)量的差異，容易導(dǎo)致模型失真。針對這些情況，本發(fā)明提出了一種用于建立煙草近紅外模型的選樣方法。
發(fā)明內(nèi)容本發(fā)明克服了現(xiàn)有技術(shù)的不足，提供了一種能克服上述方法缺點的建立煙草近紅外模型的選樣方法。本發(fā)明的技術(shù)方案是—種建立煙草近紅外模型的選樣方法，采用步驟1至步驟7:步驟1獲得相互獨立的兩個樣品集{A}和{B}中的煙草樣品的近紅外掃描譜步驟2將樣品集{A}和樣品集{B}的近紅外掃描譜圖進(jìn)行光譜預(yù)處理；步驟3根據(jù)樣品集{B}中樣品i的近紅外光譜&和樣品集{A}中樣品的平均光譜X^，得到樣品i到樣品集{A}的光譜馬氏距離&;步驟4根據(jù)樣品集{B}中樣品i的組分含量1和樣品集{A}中樣品的組分含量平均值Y^，得到樣品i到樣品集{A}的組分值距離d/;步驟5根據(jù)步驟3求得的光譜馬氏距離&和步驟4求得的組分值距離di'，得到樣品集{B}中樣品i到樣品集{A}的整體歐式距離Di;步驟6按特定原則選取樣品集{B}中的樣品添加到樣品集{A}中形成新的樣品集{A’}，由樣品集{A’}建立得到新的近紅外模型A’；步驟7用內(nèi)部交叉驗證法和外部驗證法對模型A’進(jìn)行評價。更進(jìn)一步的技術(shù)方案是步驟2中的光譜預(yù)處理是采用平滑、二次插值法、一階導(dǎo)數(shù)法或二階導(dǎo)數(shù)法中的一種或幾種方法對原始近紅外光譜進(jìn)行預(yù)處理。更進(jìn)一步的技術(shù)方案是步驟3中求取樣品集{B}中樣品i到樣品集{A}的光譜馬氏距離d、的方法采用如下公式[ooT6)d，√(父f—x吣)’s“(xj—xavg)，X、為樣品集{B}中樣品i的光譜矢量(n×1)，X…為樣品集{A}中樣品的平均光譜矢量(n×1)，S為協(xié)方差矩陣(n×n)，(X，一X。＼／。)’為(X，一X。＼／。)的轉(zhuǎn)置矩陣，n為光譜X、的數(shù)據(jù)點個數(shù)。更進(jìn)一步的技術(shù)方案是步驟4中求取樣品集{B}中樣品i到樣品集{A}的組分值距離d、’的方法采用如下公式d’j—Yj—YaV。Y、為樣品集{B}中樣品i的組分含量，Y…為樣品集{A}中樣品的平均組分含量，更進(jìn)一步的技術(shù)方案是步驟5中求取整體歐式距離D、的方法采用如下公式廠一二一一一一一丁更進(jìn)一步的技術(shù)方案是步驟6所述特定原則，是按照整體歐式距離D、從小到大的順序?qū)悠芳瘂B}中的樣品添加到樣品集{A}中形成新的樣品集{A’}。更進(jìn)一步的技術(shù)方案是步驟7中內(nèi)部交叉驗證采用交叉驗證均方根誤差(RMSE(V)、決定系數(shù)(礦)，外部驗證采用預(yù)測均方根誤差(RMSE[’)、決定系數(shù)(礦)對模型進(jìn)行評價。本發(fā)明設(shè)有兩個獨立的煙草樣品集{A}和樣品集{B}，依次分別屬于兩個獨立的近紅外模型A和模型B，要在樣品集{B}中選取有效的樣品添加到樣品集{A}中形成樣品集{A’}，用樣品集{A’}建立新的近紅外模型A’。由于樣品集{A}和樣品集{B}是相互獨立的，它們之間沒有關(guān)聯(lián)，如果隨意選擇樣品，則這些樣品很可能成為樣品集{A’}中的異常點，進(jìn)而影響模型A’的精度。本發(fā)明的有益技術(shù)效果是從樣品集{B}中選取有效的樣品加入到樣品集{A}中得到樣品集{A’}，有效地避免樣品集{A’}中異常點的出現(xiàn)，從而解決了獨立煙草近紅外模型間樣品信息共享的問題，采用本發(fā)明的選樣方法能建立剔除無效的異常數(shù)據(jù)的模型，保證模型具有良好的預(yù)測能力和適用性。圖l本發(fā)明用來測試煙草蛋白質(zhì)的實施例l中樣品集{Al}的近紅外掃描譜圖2本發(fā)明用來測試煙草蛋白質(zhì)的實施例l中樣品集{Bl}的近紅外掃描譜圖3本發(fā)明用來測試煙草蛋白質(zhì)的實施例1中樣品集{Al}的預(yù)處理后的近紅外譜圖；圖4本發(fā)明用來測試煙草蛋白質(zhì)的實施例1中樣品集{Bl}的預(yù)處理后的近紅外譜圖；圖5本發(fā)明用來測試煙草蛋白質(zhì)的實施例1中近紅外模型Al'內(nèi)部交叉驗證圖；圖6本發(fā)明用來測試煙草蛋白質(zhì)的實施例1中近紅外模型Al'外部驗證圖；圖7本發(fā)明用來測試煙草石油醚提取物的實施例2中樣品集{A2}的近紅外掃描譜圖；圖8本發(fā)明用來測試煙草石油醚提取物的實施例2中樣品集{B2}的近紅外掃描譜圖；圖9本發(fā)明用來測試煙草石油醚提取物的實施例2中樣品集{A2}的預(yù)處理后的近紅外譜圖；圖10本發(fā)明用來測試煙草石油醚提取物的實施例2中樣品集{B2}的預(yù)處理后的近紅外譜圖；圖11本發(fā)明用來測試煙草石油醚提取物的實施例2中近紅外模型A2'內(nèi)部交叉驗證圖；圖12本發(fā)明用來測試煙草石油醚提取物的實施例2中近紅外模型A2'外部驗證具體實施方式實施例1以煙草中蛋白質(zhì)近紅外模型Al和模型Bl進(jìn)行測試，按照如下步驟8至步驟14進(jìn)行步驟8:獲得相互獨立的兩個樣品集{Al}和{Bl}中煙草樣品的近紅外掃描譜圖，樣品集{Al}中樣品的近紅外掃描譜圖見圖l，樣品集{Bl}中樣品的近紅外掃描譜圖見圖2;步驟9:運用二次插值法和一階導(dǎo)數(shù)法將樣品集{Al}中樣品的近紅外掃描譜圖進(jìn)行預(yù)處理，處理后的近紅外譜圖見圖3;用二次插值法和一階導(dǎo)數(shù)法將樣品集{Bl}中樣品的近紅外掃描譜圖進(jìn)行預(yù)處理，處理后的近紅外譜圖見圖4;步驟10:根據(jù)樣品集{Bl}中樣品i的近紅外光譜Xi和樣品集{Al}中樣品的平均光譜X^，得到樣品i到樣品集{Al}的光譜馬氏距離&;步驟11:根據(jù)樣品集{Bl}中樣品i的組分含量1和樣品集{Al}中樣品的組分含量平均值Y^，得到樣品i到樣品集{Al}的組分值距離d/;步驟12:根據(jù)步驟10求得的光譜馬氏距離&和步驟11求得的組分值距離d/，得到樣品集{Bl}中樣品i到樣品集{Al}的整體歐式距離Di;光譜馬氏距離di，整體歐式距離Di見表l蛋白質(zhì)樣品距離表表l蛋白質(zhì)樣品距離表<table>tableseeoriginaldocumentpage6</column></row><table><table>tableseeoriginaldocumentpage7</column></row><table><table>tableseeoriginaldocumentpage8</column></row><table><table>tableseeoriginaldocumentpage9</column></row><table><table>tableseeoriginaldocumentpage10</column></row><table><table>tableseeoriginaldocumentpage11</column></row><table><table>tableseeoriginaldocumentpage12</column></row><table><table>tableseeoriginaldocumentpage13</column></row><table><table>tableseeoriginaldocumentpage14</column></row><table><table>tableseeoriginaldocumentpage15</column></row><table><table>tableseeoriginaldocumentpage16</column></row><table><table>tableseeoriginaldocumentpage17</column></row><table><table>tableseeoriginaldocumentpage18</column></row><table><table>tableseeoriginaldocumentpage19</column></row><table><table>tableseeoriginaldocumentpage20</column></row><table>步驟13:按照Di從小到大的原則選取樣品集{Bl}中的320個樣品添加到樣品集{Al}中形成新的樣品集{Al'}，由樣品集{Al'}建立得到新的近紅外模型Al'。步驟14:對模型A1'進(jìn)行內(nèi)部交叉驗證，其交叉驗證均方根誤差(RMSECV)為0.267，決定系數(shù)(R2)為92.33，近紅外模型Al'內(nèi)部交叉驗證圖見圖5;對模型A1'進(jìn)行外部驗證，其預(yù)測均方根誤差(RMSEP)為0.179，決定系數(shù)(R2)為94.52，近紅外模型Al'外部驗證圖見圖6。新模型A1'滿足實際應(yīng)用要求。實施例2以煙草中石油醚提取物近紅外模型A2和模型B2進(jìn)行測試，按照如下步驟15至步驟20進(jìn)行步驟15:獲得相互獨立的兩個樣品集{A2}和{B2}中煙草樣品的近紅外掃描譜圖，樣品集{A2}中樣品的近紅外掃描譜圖見圖7，樣品集{B2}中樣品的近紅外掃描譜圖見圖8;步驟16:運用二次插值法和一階導(dǎo)數(shù)法將樣品集{A2}中樣品的近紅外掃描譜圖進(jìn)行預(yù)處理，處理后的近紅外譜圖見圖9;用二次插值法和一階導(dǎo)數(shù)法將樣品集{B2}中樣品的近紅外掃描譜圖進(jìn)行預(yù)處理，處理后的近紅外譜圖見圖10;步驟17:根據(jù)樣品集{B2}中樣品i的近紅外光譜Xi和樣品集{A2}中樣品的平均光譜X^，得到樣品i到樣品集{A2}的光譜馬氏距離&;步驟18:根據(jù)樣品集{B2}中樣品i的組分含量1和樣品集{A2}中樣品的組分含量平均值Y^，得到樣品i到樣品集{A2}的組分值距離d/;2步驟19:根據(jù)步驟17求得的光譜馬氏距離&和步驟18求得的組分值距離d/，得到樣品集{B2}中樣品i到樣品集{A2}的整體歐式距離Di;光譜馬氏距離di，整體歐式距離Di見表2石油醚提取物樣品距離表表2石油醚提取物樣品距離表<table>tableseeoriginaldocumentpage20</column></row><table><table>tableseeoriginaldocumentpage21</column></row><table><table>tableseeoriginaldocumentpage22</column></row><table><table>tableseeoriginaldocumentpage0</column></row><table><table>tableseeoriginaldocumentpage24</column></row><table>步驟6:按照Di從小到大的原則選取樣品集{B2}中的35個樣品添加到樣品集{A2}中形成新的樣品集{A2'}，由樣品集{A2'}建立得到新的近紅外模型A2'。步驟20:對模型A2'進(jìn)行內(nèi)部交叉驗證，其交叉驗證均方根誤差(RMSECV)為0.243，決定系數(shù)(R2)為94.95，近紅外模型A2'內(nèi)部交叉驗證圖見圖11;對模型A2'進(jìn)行外部驗證，其預(yù)測均方根誤差(RMSEP)為O.193，決定系數(shù)(R2)為97.19，近紅外模型A2'外部驗證圖見圖12。新模型A2'滿足實際應(yīng)用要求。權(quán)利要求一種建立煙草近紅外模型的選樣方法，其特征在于采用步驟1至步驟7步驟1獲得相互獨立的兩個樣品集{A}和樣品集{B}中煙草樣品的近紅外掃描譜圖；步驟2將樣品集{A}和樣品集{B}的近紅外掃描譜圖進(jìn)行光譜預(yù)處理；步驟3根據(jù)樣品集{B}中樣品i的近紅外光譜Xi和樣品集{A}中樣品的平均光譜Xavg，得到樣品i到樣品集{A}的光譜馬氏距離di；步驟4根據(jù)樣品集{B}中樣品i的組分含量Yi和樣品集{A}中樣品的組分含量平均值Yavg，得到樣品i到樣品集{A}的組分值距離di’；步驟5根據(jù)步驟3求得的光譜馬氏距離di和步驟4求得的組分值距離di’，得到樣品集{B}中樣品i到樣品集{A}的整體歐式距離Di；步驟6按特定原則選取樣品集{B}中的樣品添加到樣品集{A}中形成新的樣品集{A’}，由樣品集{A’}建立得到新的近紅外模型A’；步驟7用內(nèi)部交叉驗證法和外部驗證法對模型A’進(jìn)行評價。2.根據(jù)權(quán)利要求1所述的建立煙草近紅外模型的選樣方法，其特征在于所述的步驟2中的光譜預(yù)處理是采用平滑、二次插值法、一階導(dǎo)數(shù)法或二階導(dǎo)數(shù)法中的一種或幾種方法對原始近紅外光譜進(jìn)行預(yù)處理。3.根據(jù)權(quán)利要求1所述的建立煙草近紅外模型的選樣方法，其特征在于所述的步驟3中求取樣品集化}中樣品i到樣品集{A}的光譜馬氏距離&的方法采用如下公式Xi為樣品集{B}中樣品i的光譜矢量(nX1)，X^為樣品集{A}中樣品的平均光譜矢量(nXl)，S為協(xié)方差矩陣(nXn)，(Xi-XjT為(X「Xavg)的轉(zhuǎn)置矩陣，n為光譜Xi的數(shù)據(jù)點個數(shù)。4.根據(jù)權(quán)利要求1所述的建立煙草近紅外模型的選樣方法，其特征在于所述的步驟4中求取樣品集{B}中樣品i到樣品集{A}的組分值距離d/的方法采用如下公式<formula>formulaseeoriginaldocumentpage2</formula>1為樣品集{B}中樣品i的組分含量，Y^為樣品集{A}中樣品的平均組分含量。5.根據(jù)權(quán)利要求1所述的建立煙草近紅外模型的選樣方法，其特征在于所述的步驟5中求取整體歐式距離Di的方法采用如下公式6.根據(jù)權(quán)利要求1所述的建立煙草近紅外模型的選樣方法，其特征在于所述的步驟6中的特定原則，是按照整體歐式距離Di從小到大的順序?qū)悠芳瘂B}中的樣品添加到樣品集{A}中形成新的樣品集{A'}。7.根據(jù)權(quán)利要求1所述的建立煙草近紅外模型的選樣方法，其特征在于所述的步驟7中內(nèi)部交叉驗證采用交叉驗證均方根誤差(RMSECV)、決定系數(shù)(R2)，外部驗證采用預(yù)測均方根誤差(RMSEP)、決定系數(shù)(R2)對模型進(jìn)行評價。全文摘要本發(fā)明公開了一種建立煙草近紅外模型的選樣方法，獲得相互獨立的兩個樣品集{A}和樣品集{B}中煙草樣品的近紅外掃描譜圖；對近紅外掃描譜圖進(jìn)行光譜預(yù)處理；得到樣品i到樣品集{A}的光譜馬氏距離di；得到樣品i到樣品集{A}的組分值距離di’；得到樣品集{B}中樣品i到樣品集{A}的整體歐式距離Di；按特定原則選取樣品集{B}中的樣品添加到樣品集{A}中形成新的樣品集{A’}，由樣品集{A’}建立得到新的近紅外模型A’。本發(fā)明克服了現(xiàn)有技術(shù)無法兼顧預(yù)測能力和模型真實的問題，提供了一種能剔除無效的異常數(shù)據(jù)的選樣方法，建立的模型具有良好的預(yù)測能力和適用性，可以廣泛應(yīng)用在煙草行業(yè)。文檔編號G01N21/35GK101710071SQ20091021665公開日2010年5月19日申請日期2009年12月9日優(yōu)先權(quán)日2009年12月9日發(fā)明者吳艷,李朝榮,胡興峰,鄧發(fā)達(dá),鄭建申請人:川渝中煙工業(yè)公司