本發(fā)明屬于物質(zhì)檢測領(lǐng)域,特別是涉及利用光譜檢測化學(xué)成分的方法,具體是涉及根據(jù)光譜數(shù)據(jù)和化學(xué)檢測數(shù)據(jù)的映射集合設(shè)計(jì)公式的方法。
背景技術(shù):
光譜分析中的關(guān)鍵問題很多,包括光譜收集器的標(biāo)準(zhǔn)化,化學(xué)檢測的標(biāo)準(zhǔn)化和快速化,但是還有一個非常關(guān)鍵的技術(shù)是建模中設(shè)計(jì)公式的技術(shù)。
在分析光譜信息和組分之間建立函數(shù)關(guān)系,建立數(shù)學(xué)模型是近紅外光譜分析的核心技術(shù)之一。目前現(xiàn)有分析建模的改進(jìn)算法和新方法的應(yīng)用不斷出現(xiàn),但每種算法各具優(yōu)點(diǎn)的同時也存在著一定的局限性。對于不同類型待測物的數(shù)學(xué)模型,優(yōu)化的方法也有所不同,所以在實(shí)際應(yīng)用中將多種數(shù)學(xué)挖掘方法結(jié)合,相互取長補(bǔ)短,提高校正模型的預(yù)測精度和穩(wěn)健性,減少建模與預(yù)測時間將成為今后研究方向之一。
我國從20世紀(jì)80年代開始涉足近紅外光譜技術(shù)的研究,首但是由于其硬件系統(tǒng)和軟件技術(shù)還不夠完善方便,建成的模型也未能廣泛的推廣應(yīng)用。90年代中期,北京蔬菜研究中心在蔬菜、水果的品質(zhì)分析方面做了大量的工作,研究出40多個數(shù)學(xué)模型,在大白菜和西紅柿品質(zhì)育種中發(fā)揮了重要作用。
目前在建模方面,一方面充實(shí)完善模型數(shù)據(jù)庫,另一方面開發(fā)價(jià)廉便攜式的可用于現(xiàn)場檢測的近紅外光譜儀,通過現(xiàn)代網(wǎng)絡(luò)技術(shù),使建立的數(shù)學(xué)模型更廣泛地與終端用戶共享,并利用豐富的終端樣品信息,不斷修正完善現(xiàn)有模型。
本發(fā)明提供了一種設(shè)計(jì)公式的方法,該方法在設(shè)計(jì)總體層面上解決多成分同時檢測或單獨(dú)檢測所需公式的需求。
技術(shù)實(shí)現(xiàn)要素:
為解決上述技術(shù)問題,本發(fā)明提供了一種根據(jù)光譜數(shù)據(jù)和化學(xué)檢測數(shù)據(jù)的映射集合設(shè)計(jì)公式的方法,該方法包括確定公式數(shù)量、確定波長數(shù)量、建立公式、公式驗(yàn)證和公式運(yùn) 算,其特征在于根據(jù)映射數(shù)據(jù)庫中化學(xué)數(shù)據(jù)中檢測成分的數(shù)量T確定公式的數(shù)量K,K≥T,優(yōu)選的,K滿足的關(guān)系為:
C表示組合式的含義。
具體的,本發(fā)明提供的一種根據(jù)光譜數(shù)據(jù)和化學(xué)檢測數(shù)據(jù)的映射集合設(shè)計(jì)公式的方法包括如下步驟:
確定公式數(shù)量:根據(jù)映射數(shù)據(jù)庫中化學(xué)數(shù)據(jù)中檢測成分的數(shù)量T確定公式的數(shù)量K,則公式的數(shù)量K滿足如下關(guān)系式(其中C表示組合式的含義):
每一種成分建立一個公式,新的成分的組合建立新的公式,成分組合不同,則必須建立獨(dú)立的公式,成分組合中的成分順序不分先后。
例如成分為檢測成分T為3,其成分為蛋白質(zhì)、淀粉、脂肪,則針對蛋白質(zhì)的檢測需要建立一個公式,針對淀粉的檢測需要建立一個公式,針對蛋白質(zhì)和淀粉同時檢測也需要建立一個新的公式,其不能與單獨(dú)檢測蛋白質(zhì)的公式相同,也不能與單獨(dú)檢測淀粉的公式相同,但是針對(蛋白質(zhì)+淀粉)和(淀粉+蛋白質(zhì))的檢測則公式相同,成分順序不分先后,只要成分組成相同,則公式相同。
確定波長數(shù)量:在映射數(shù)據(jù)庫中選擇2-100個波長,波長數(shù)量的選擇根據(jù)所建公式針對的成分進(jìn)行選擇,波長數(shù)量要求大于等于2,當(dāng)公式針對的成分為一種時,可以選擇2個波長,當(dāng)公式針對的成分為2種時,可以選擇2個波長,也可以選擇3個波長,甚至是5個波長,波長的數(shù)量一般不大于100。
建立公式:確定完波長數(shù)量后,采用數(shù)學(xué)運(yùn)算方法選擇波長,根據(jù)選擇的波長及吸光度、成分及含量建立公式(也可稱函數(shù)關(guān)系)。選擇波長的方法包括但不限于相關(guān)系數(shù)法、方差分析法、逐步回歸分析方法、無信息變量消除方法和連續(xù)投影算法、遺傳算法、模擬退火算法和區(qū)間偏最小二乘法等。
公式驗(yàn)證:建立完公式后進(jìn)行R個新光譜數(shù)據(jù)的輸入運(yùn)算,根據(jù)光波運(yùn)算結(jié)果與實(shí)際化學(xué)檢測數(shù)據(jù)的誤差要求確定光波波長和數(shù)量選擇的可行性,不可行則重新選擇波長和波長數(shù)量,重復(fù)建立公式步驟;當(dāng)根據(jù)已有映射數(shù)據(jù)庫建立的公式進(jìn)行R個新光譜數(shù)據(jù)運(yùn)算 后,滿足誤差要求,則確定公式可行。該步驟中,R≥5,優(yōu)選R≥10,其中新光譜數(shù)據(jù)的輸入和化學(xué)檢測數(shù)據(jù)的校正可以是與原系統(tǒng)不同的實(shí)現(xiàn)系統(tǒng),例如檢測器不同等,驗(yàn)證不同的檢測器在應(yīng)用相同的數(shù)據(jù)模型的時候是否會產(chǎn)生預(yù)料不到的差異。
公式運(yùn)算:當(dāng)所有公式建立完成后,將公式編寫為運(yùn)算服務(wù)器可運(yùn)行的語言,并嵌入運(yùn)算服務(wù)器中,運(yùn)算服務(wù)器根據(jù)待檢測成分要求自動匹配公式,同時自動選擇運(yùn)行公式所需要的波長,實(shí)現(xiàn)根據(jù)新光譜數(shù)據(jù)運(yùn)算出所代表的成分及含量。
上述方法中,映射數(shù)據(jù)庫的建立方法優(yōu)選為如下方法:
將物體的光譜數(shù)據(jù)輸入光譜數(shù)據(jù)庫,將相同物體的化學(xué)檢測數(shù)據(jù)輸入化學(xué)數(shù)據(jù)庫,然后將光譜數(shù)據(jù)庫中的光譜數(shù)據(jù)和化學(xué)數(shù)據(jù)庫中的化學(xué)檢測數(shù)據(jù)進(jìn)行映射,形成該物體的映射數(shù)據(jù)庫,其特征在于:光譜數(shù)據(jù)按照納米級光譜波長及吸光度分別作為單一光譜數(shù)據(jù)條,化學(xué)檢測數(shù)據(jù)按照成分名稱和成分含量分別作為單一成分?jǐn)?shù)據(jù)條,通過單一光譜數(shù)據(jù)條與所有成分?jǐn)?shù)據(jù)條對應(yīng)形成映射數(shù)據(jù)組,將所有光譜數(shù)據(jù)條分別與所有成分?jǐn)?shù)據(jù)條對應(yīng)形成映射數(shù)據(jù)集,n次檢測形成光譜數(shù)據(jù)和化學(xué)檢測數(shù)據(jù)形成的n個映射數(shù)據(jù)集,將該映射數(shù)據(jù)集統(tǒng)一輸入數(shù)據(jù)庫中形成該物體的映射數(shù)據(jù)庫。
具體的,將光譜數(shù)據(jù)和化學(xué)檢測數(shù)據(jù)映射的方法包括將物體的光譜數(shù)據(jù)輸入光譜數(shù)據(jù)庫,將相同物體的化學(xué)檢測數(shù)據(jù)輸入化學(xué)數(shù)據(jù)庫,然后將光譜數(shù)據(jù)庫中的光譜數(shù)據(jù)和化學(xué)數(shù)據(jù)庫中的化學(xué)檢測數(shù)據(jù)進(jìn)行映射,形成該物體的映射數(shù)據(jù)庫,具體步驟如下:
光譜數(shù)據(jù)輸入光譜數(shù)據(jù)庫中,按照納米級建立數(shù)據(jù)條,每個納米級波長定義為一個數(shù)據(jù)條,將每個納米級波長數(shù)據(jù)和波長吸光度數(shù)據(jù)錄入數(shù)據(jù)庫中,形成光譜數(shù)據(jù)庫中的光譜數(shù)據(jù)條,光譜范圍中的納米波長數(shù)量z對應(yīng)形成相應(yīng)數(shù)量的光譜數(shù)據(jù)條z;例如波長范圍為1000-1500納米,則有501條光譜數(shù)據(jù)條,z為501,每個光譜數(shù)據(jù)條包括波長和吸光度;
化學(xué)檢測數(shù)據(jù)輸入化學(xué)數(shù)據(jù)庫中,將化學(xué)檢測數(shù)據(jù)按所檢測成分的數(shù)量建立數(shù)據(jù)條,照成分建立數(shù)據(jù)條,每個成分定義為一條數(shù)據(jù)條,將每個成分名稱及成分含量錄入數(shù)據(jù)庫中,形成化學(xué)數(shù)據(jù)庫中的成分?jǐn)?shù)據(jù)條,成分的數(shù)量r對應(yīng)形成相應(yīng)數(shù)量的成分?jǐn)?shù)據(jù)條r;例如某物體的化學(xué)檢測數(shù)據(jù)中有5種成分,則有5條數(shù)據(jù)條,r為5,分別為Y1、Y2……Y5,每個數(shù)據(jù)條包括成分名稱和成分含量;
將光譜表中的一條光譜數(shù)據(jù)條對應(yīng)化學(xué)數(shù)據(jù)表中的所有成分?jǐn)?shù)據(jù)條,形成映射數(shù)據(jù)組,對應(yīng)原則是一條光譜數(shù)據(jù)條分別對應(yīng)各成分?jǐn)?shù)據(jù)條,形成單光譜和多成分對應(yīng)的映射數(shù)據(jù)組;例如光譜數(shù)據(jù)條為X1000,成分?jǐn)?shù)據(jù)條為Y1、Y2、Y3、Y4、Y5,則針對1000納米的 單光譜和多成分對應(yīng)的映射數(shù)據(jù)組為{X1000Y1,X1000Y2,X1000Y3,X1000Y4,X1000Y5};
按照上述建立映射數(shù)據(jù)組的方法,將光譜表中的所有光譜數(shù)據(jù)條與化學(xué)數(shù)據(jù)表中所有成分?jǐn)?shù)據(jù)條進(jìn)行分別對應(yīng),形成所有映射數(shù)據(jù)組的集合,即為映射數(shù)據(jù)集合;例如光譜數(shù)據(jù)條為501條,成分?jǐn)?shù)據(jù)條為5條,則一次檢測所形成的光譜數(shù)據(jù)和化學(xué)檢測數(shù)據(jù)的映射數(shù)據(jù)集合中包含501×5=2505條數(shù)據(jù),該2505條數(shù)據(jù)即為物體該次檢測的映射數(shù)據(jù)集合,即映射數(shù)據(jù)集合中的映射數(shù)據(jù)條為z*R條。
對該物體的不同樣品進(jìn)行n次檢測,則形成n個映射數(shù)據(jù)集合,將n個映射數(shù)據(jù)集合統(tǒng)一輸入一個單獨(dú)的數(shù)據(jù)庫中,則形成該物體映射數(shù)據(jù)庫。映射數(shù)據(jù)庫中的數(shù)據(jù)條數(shù)為n*z*r。
上述方法中,n大于30,優(yōu)選大于50,尤其優(yōu)選大于100。
上述方法中,物體為食物、農(nóng)產(chǎn)品、土壤、植物的植株或其部分等,農(nóng)產(chǎn)品包括但不限于糧食、蔬菜、水果等,糧食包括但不限于小麥、水稻、馬鈴薯、紅薯、玉米等,水果包括但不限于蘋果、柑橘、梨、火龍果、木瓜、西瓜等。
上述方法中,數(shù)據(jù)庫的載體為存儲設(shè)備等。數(shù)據(jù)庫的格式不受限制,只要能夠形成數(shù)據(jù)條、映射數(shù)據(jù)組、映射數(shù)據(jù)集合、映射數(shù)據(jù)庫即可。
上述方法中,光譜的波長范圍為700-2500nm。優(yōu)選的,光譜的波長范圍為800-1800nm,或光譜的波長范圍為1500-2500,或者是700-2500nm內(nèi)任意范圍的波長范圍。
上述方法中,成分包括但不限于所有的有機(jī)成分,包括營養(yǎng)成分,例如蛋白、淀粉、維生素、纖維素、糖類等,包括藥品類,例如有機(jī)農(nóng)藥化學(xué)物質(zhì)、有機(jī)醫(yī)藥化學(xué)物質(zhì)等,包括危害人類健康的有害的有機(jī)物質(zhì)。
本發(fā)明的方法中,化學(xué)測量數(shù)據(jù),也稱為化學(xué)計(jì)量數(shù)據(jù),是指通過某些物質(zhì)的國家標(biāo)準(zhǔn)進(jìn)行測量獲得的化學(xué)數(shù)據(jù)。例如馬鈴薯中的淀粉含量,需要按照國家標(biāo)準(zhǔn)或者是行業(yè)標(biāo)準(zhǔn)進(jìn)行測量,也可以采用滿足國標(biāo)測量精度的儀器進(jìn)行測量。
本發(fā)明的方法中,光譜數(shù)據(jù)為通過光譜收集裝置收集的不同波長的光能量,通過光轉(zhuǎn)化信號裝置轉(zhuǎn)化為光譜數(shù)據(jù),光譜數(shù)據(jù)一般要求具有光譜吸光度,即使某波長光波吸光度為零,則在光譜數(shù)據(jù)也需要記載。
有益效果
本發(fā)明方法的有益效果體現(xiàn)在如下三個方面:
1、本發(fā)明的設(shè)計(jì)公式方法實(shí)現(xiàn)了針對同一映射數(shù)據(jù)庫,實(shí)現(xiàn)單物質(zhì)、多物質(zhì)組合的公式建立,以滿足多樣化檢測需求,合理確定公式的數(shù)量。
2、公式的驗(yàn)證方法采用多個新光譜數(shù)據(jù)和新化學(xué)檢測數(shù)據(jù)進(jìn)行驗(yàn)證,保證驗(yàn)證能夠最大程度的滿足公式準(zhǔn)確性的要求,而且驗(yàn)證數(shù)量要大于等于5,以驗(yàn)證對數(shù)據(jù)模型使用的硬件影響因素。
具體實(shí)施方式
實(shí)施例1馬鈴薯數(shù)據(jù)模型中設(shè)計(jì)單成分檢測公式的方法
設(shè)計(jì)公式前建立馬鈴薯映射數(shù)據(jù)庫,映射數(shù)據(jù)庫中包含150個馬鈴薯的光譜數(shù)據(jù)和化學(xué)數(shù)據(jù)的映射數(shù)據(jù)組,其中化學(xué)數(shù)據(jù)包括蛋白質(zhì)、淀粉、脂肪的含量數(shù)據(jù),光譜數(shù)據(jù)為波長范圍為800-1800nm的全波段、整數(shù)波長的納米波長及吸光度的光譜數(shù)據(jù)集合。
確定公式數(shù)量:馬鈴薯的檢測成分為3種:蛋白質(zhì)、淀粉、脂肪,需要建立3個公式。
確定波長數(shù)量:按照如下方法為實(shí)例,演示設(shè)定公式方法,其中每個波長的納米nm數(shù)隨機(jī)選擇或者按照公式選擇。
檢測蛋白質(zhì)確定波長為4個,分別為p1nm和p2nm、p3nm、p4nm
檢測淀粉確定波長為2個,分別為d1nm、d2nm。
檢測脂肪確定波長為3個,分別為z1nm、z2nm、z3nm。
依次確定檢測單物質(zhì)的波長數(shù)量和波長。
建立公式:根據(jù)選擇的波長及吸光度、成分及含量建立公式。
公式驗(yàn)證:建立完公式后對每個物質(zhì)分別進(jìn)行5個新光譜數(shù)據(jù)的輸入運(yùn)算,根據(jù)光波運(yùn)算結(jié)果與實(shí)際化學(xué)檢測數(shù)據(jù)的誤差要求確定光波波長和數(shù)量選擇的可行性,不可行則重新選擇波長和波長數(shù)量,重復(fù)建立公式步驟;當(dāng)根據(jù)已有映射數(shù)據(jù)庫建立的公式進(jìn)行5個新光譜數(shù)據(jù)運(yùn)算后,滿足誤差要求,則確定公式可行。
公式運(yùn)算:當(dāng)所有公式建立完成后,將公式編寫為運(yùn)算服務(wù)器可運(yùn)行的語言,并嵌入運(yùn)算服務(wù)器中,運(yùn)算服務(wù)器根據(jù)待檢測成分要求自動匹配公式,同時自動選擇運(yùn)行公式所需要的波長,實(shí)現(xiàn)根據(jù)新光譜數(shù)據(jù)運(yùn)算出所代表的成分及含量。
實(shí)施例2馬鈴薯數(shù)據(jù)模型中設(shè)計(jì)單成分和多成分公式的方法
設(shè)計(jì)公式前建立馬鈴薯映射數(shù)據(jù)庫,映射數(shù)據(jù)庫中包含100個馬鈴薯的光譜數(shù)據(jù)和化學(xué)數(shù)據(jù)的映射數(shù)據(jù)組,其中化學(xué)數(shù)據(jù)包括蛋白質(zhì)、淀粉、脂肪的含量數(shù)據(jù),光譜數(shù)據(jù)為波長范圍為1200-2400nm的全波段、整數(shù)波長的納米波長及吸光度的光譜數(shù)據(jù)集合。
確定公式數(shù)量:馬鈴薯的檢測成分為3種:蛋白質(zhì)、淀粉、脂肪,需要建立3個公式。
確定波長數(shù)量:按照如下方法為實(shí)例,演示設(shè)定公式方法,其中每個波長的納米nm數(shù)隨機(jī)選擇或者按照公式選擇。
檢測蛋白質(zhì)確定波長為4個,分別為p1nm和p2nm、p3nm、p4nm
檢測淀粉確定波長為2個,分別為d1nm、d2nm。
檢測脂肪確定波長為3個,分別為z1nm、z2nm、z3nm。
然后再依次確定檢測多物質(zhì)的波長數(shù)量和波長。
檢測蛋白質(zhì)和淀粉確定波長為9個,分別為pd1nm……pd9nm
檢測淀粉和脂肪確定波長為7個,分別為dz1nm……d7nm。
檢測脂肪和蛋白質(zhì)確定波長為12個,分別為zp1nm……zp12nm。
檢測淀粉、脂肪和蛋白質(zhì)確定波長為15個,分別為dzp1nm……dzp15nm。
建立公式:根據(jù)選擇的波長及吸光度、成分及含量建立公式。
在映射數(shù)據(jù)庫中選擇相應(yīng)的波長、吸光度及相應(yīng)的物質(zhì)和成分含量,不斷地進(jìn)行運(yùn)算,形成每組選擇的公式的建立。
公式驗(yàn)證:建立完公式后,對每個公式進(jìn)行5個新光譜數(shù)據(jù)的輸入運(yùn)算,根據(jù)光波運(yùn)算結(jié)果與實(shí)際化學(xué)檢測數(shù)據(jù)的誤差要求確定光波波長和數(shù)量選擇的可行性,不可行則重新選擇波長和波長數(shù)量,重復(fù)建立公式步驟;當(dāng)根據(jù)已有映射數(shù)據(jù)庫建立的公式進(jìn)行5個新光譜數(shù)據(jù)運(yùn)算后,滿足誤差要求,則確定公式可行。
公式運(yùn)算:當(dāng)所有公式建立完成后,將公式編寫為運(yùn)算服務(wù)器可運(yùn)行的語言,并嵌入運(yùn)算服務(wù)器中,運(yùn)算服務(wù)器根據(jù)待檢測成分要求自動匹配公式,同時自動選擇運(yùn)行公式所需要的波長,實(shí)現(xiàn)根據(jù)新光譜數(shù)據(jù)運(yùn)算出所代表的成分及含量。