一種近紅外光譜數(shù)據(jù)壓縮方法、裝置及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種近紅外光譜數(shù)據(jù)壓縮方法、裝置及 系統(tǒng)。
【背景技術(shù)】
[0002] 近紅外光譜分析技術(shù)是一種快速、準(zhǔn)確的分析技術(shù)，已經(jīng)得到了廣泛的應(yīng)用。近紅 外光譜數(shù)據(jù)量大，需要較大的存儲(chǔ)空間。而且通常樣品數(shù)目非常大，少則數(shù)十，多則成百上 千；相應(yīng)地，存儲(chǔ)空間少則幾兆，多則成百上千兆。如果光譜數(shù)據(jù)量大，則需要較長時(shí)間建立 和維護(hù)模型，從而導(dǎo)致模型建立和維護(hù)工作冗長繁瑣。隨著近紅外光譜技術(shù)的進(jìn)一步發(fā)展 和研宄的不斷深入，如何在不丟失重要信息的前提下，有效地壓縮數(shù)據(jù)，以節(jié)省存儲(chǔ)空間， 并在傳輸時(shí)節(jié)省網(wǎng)絡(luò)資源，成為人們面臨的問題。因此，在近紅外光譜數(shù)據(jù)傳輸時(shí)，對(duì)光譜 數(shù)據(jù)進(jìn)行壓縮處理是具有一定的實(shí)際意義的。稀疏表示是光譜圖像處理及計(jì)算機(jī)視覺領(lǐng)域 的關(guān)鍵技術(shù)之一，它要求把圖像現(xiàn)行展開中大部分基函數(shù)的稀疏的絕對(duì)值都接近于零，只 有少數(shù)基函數(shù)具有較大的非零系數(shù)，并且有限的大系數(shù)能夠表示出原圖的大部分信息，以 此實(shí)現(xiàn)近紅外光譜圖像的壓縮。
[0003] 傳統(tǒng)的文件傳輸方式采用的是直接將原文件發(fā)送給接收方，但網(wǎng)絡(luò)具有動(dòng)態(tài)性、 不穩(wěn)定性的特點(diǎn)，將原文件不經(jīng)壓縮直接發(fā)送給接收方不僅消耗過多的網(wǎng)絡(luò)資源，而且在 接收方占用的存儲(chǔ)空間比較大。
[0004] 因此，在眾多的文件傳輸應(yīng)用中，如何將近紅外光譜數(shù)據(jù)文件進(jìn)行有效壓縮，從而 實(shí)現(xiàn)資源利用，并能節(jié)省較大的存儲(chǔ)空間的技術(shù)問題已經(jīng)成為本領(lǐng)域技術(shù)人員亟待解決的 技術(shù)問題。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明實(shí)施例提供了一種近紅外光譜數(shù)據(jù)壓縮方法、裝置及系統(tǒng)，解決了由于傳 統(tǒng)的文件傳輸方式采用的是直接將原文件發(fā)送給接收方，所造成的較大的存儲(chǔ)空間的技術(shù) 問題。
[0006] 本發(fā)明實(shí)施例中的一種近紅外光譜數(shù)據(jù)壓縮方法，包括：
[0007] 根據(jù)K-SVD算法對(duì)近紅外光譜數(shù)據(jù)對(duì)應(yīng)的冗余字典進(jìn)行訓(xùn)練，并獲取目標(biāo)函數(shù)， 所述目標(biāo)函數(shù)包括N個(gè)光譜樣本組合而成的光譜組合；
[0008] 對(duì)訓(xùn)練過程中的多個(gè)所述光譜樣本重復(fù)執(zhí)行稀疏分解步驟對(duì)所述光譜樣本求解 稀疏表不系數(shù)；
[0009] 通過字典更新步驟結(jié)合所述稀疏表示系數(shù)獲取所述目標(biāo)函數(shù)的稀疏表示結(jié)果。 [0010] 優(yōu)選地，
[0011] 根據(jù)K-SVD算法對(duì)近紅外光譜數(shù)據(jù)對(duì)應(yīng)的冗余字典進(jìn)行訓(xùn)練，并獲取目標(biāo)函數(shù)， 所述目標(biāo)函數(shù)包括N個(gè)光譜樣本組合而成的光譜組合具體包括：
[0012] 通過使用K-SVD公式F -M}UV/對(duì)所述近紅外光譜數(shù)據(jù)對(duì)應(yīng)的所述冗 余字典進(jìn)行訓(xùn)練，其中，Ilx」I<1^1 = 1，2,3，"川八為校正集光譜^31和驗(yàn)證集光譜￥城 的光譜組合Y= [YMl，Ytst]，所述光譜組合每一列代表一個(gè)所述光譜樣本，D為所述冗余字 典，所述目標(biāo)函數(shù)為||_F-
[0013] 優(yōu)選地，
[0014] 對(duì)訓(xùn)練過程中的多個(gè)所述光譜樣本重復(fù)執(zhí)行稀疏分解步驟對(duì)所述光譜樣本求解 稀疏表示系數(shù)具體包括：
[0015] 訓(xùn)練過程中的多個(gè)所述光譜樣本通過使用0MP算法（OrthogonalMatching Pursuit，正交匹配追蹤算法）結(jié)合所述K-SVD算法按照第一預(yù)置公式對(duì)所述光譜樣本求解 稀疏表不系數(shù)；
[0016]其中，所述第一預(yù)置公式為
【主權(quán)項(xiàng)】
1. 一種近紅外光譜數(shù)據(jù)壓縮方法，其特征在于，包括： 根據(jù)K-SVD算法對(duì)近紅外光譜數(shù)據(jù)對(duì)應(yīng)的冗余字典進(jìn)行訓(xùn)練，并獲取目標(biāo)函數(shù)，所述 目標(biāo)函數(shù)包括N個(gè)光譜樣本組合而成的光譜組合； 對(duì)訓(xùn)練過程中的多個(gè)所述光譜樣本重復(fù)執(zhí)行稀疏分解步驟對(duì)所述光譜樣本求解稀疏 表示系數(shù)； 通過字典更新步驟結(jié)合所述稀疏表示系數(shù)獲取所述目標(biāo)函數(shù)的稀疏表示結(jié)果。
2. 根據(jù)權(quán)利要求1所述的近紅外光譜數(shù)據(jù)壓縮方法，其特征在于，根據(jù)K-SVD算法對(duì)近 紅外光譜數(shù)據(jù)對(duì)應(yīng)的冗余字典進(jìn)行訓(xùn)練，并獲取目標(biāo)函數(shù)，所述目標(biāo)函數(shù)包括N個(gè)光譜樣 本組合而成的光譜組合具體包括： 通過使用K-SVD公式對(duì)所述近紅外光譜數(shù)據(jù)對(duì)應(yīng)的所述冗余字 ￡>,A 典進(jìn)行訓(xùn)練，其中，Mxill<T。，i= 1，2,3,…N，Y為校正集光譜rai和驗(yàn)證集光譜Ytst的 光譜組合Y= [Ytai，Ytst]，所述光譜組合每一列代表一個(gè)所述光譜樣本，D為所述冗余字典， 所述目標(biāo)函數(shù)為||方-〇義|尼。
3. 根據(jù)權(quán)利要求2所述的近紅外光譜數(shù)據(jù)壓縮方法，其特征在于，對(duì)訓(xùn)練過程中的多 個(gè)所述光譜樣本重復(fù)執(zhí)行稀疏分解步驟對(duì)所述光譜樣本求解稀疏表示系數(shù)具體包括： 訓(xùn)練過程中的多個(gè)所述光譜樣本通過使用OMP算法的rthogonalMatching化rsuit， 正交匹配追蹤算法）結(jié)合所述K-SVD算法按照第一預(yù)置公式對(duì)所述光譜樣本求解稀疏表示 系數(shù)； 其中，所述第一預(yù)置公式為化llxj|。<了。，1 = 1，2,3,…，N。
4. 根據(jù)權(quán)利要求3所述的近紅外光譜數(shù)據(jù)壓縮方法，其特征在于，通過字典更新步驟 結(jié)合所述稀疏表示系數(shù)獲取所述目標(biāo)函數(shù)的稀疏表示結(jié)果具體包括： 通過對(duì)所述冗余字典中的原子依次進(jìn)行所述光譜樣本的逐列更新，所述逐列更新為每 次對(duì)一個(gè)所述原子進(jìn)行更新時(shí)，非更新原子對(duì)應(yīng)的所述稀疏表示系數(shù)為固定； 通過第二預(yù)置公式對(duì)所述目標(biāo)函數(shù)的懲罰函數(shù)進(jìn)行表示，所述第二預(yù)置公式為
為去 掉第k個(gè)原子dk后稀疏表示誤差； 根據(jù)所述懲罰函數(shù)判斷所述目標(biāo)函數(shù)II 11^是否滿足預(yù)置停止條件，若是，則所 述近紅外光譜數(shù)據(jù)稀疏表示完成，若否，則繼續(xù)下一個(gè)所述光譜樣本的所述稀疏分解步驟 和所述字典更新步驟。
5. 根據(jù)權(quán)利要求4所述的近紅外光譜數(shù)據(jù)壓縮方法，其特征在于，所述第二預(yù)置公式 中的所述X通過對(duì)所述稀疏表示系數(shù)的采用回歸算法進(jìn)行計(jì)算； 所述回歸算法包括： 通過所述冗余字典D對(duì)所述校正集光譜rai和所述驗(yàn)證集光譜Ytst進(jìn)行稀疏分解獲取 校正集稀疏表示系數(shù)rai和驗(yàn)證集稀疏表示系數(shù)Xtst; 根據(jù)所述校正集稀疏表示系數(shù)ral和校正集參數(shù)測(cè)量值Ctal建立待測(cè)參數(shù)的偏最小二 乘預(yù)測(cè)模型； 將所述驗(yàn)證集稀疏表示系數(shù)Xtst輸入至所述偏最小二乘預(yù)測(cè)模型，獲取與所述驗(yàn)證集 稀疏表示系數(shù)Xtst對(duì)應(yīng)的預(yù)測(cè)值。
6. -種近紅外光譜數(shù)據(jù)壓縮裝置，其特征在于，包括： 訓(xùn)練單元，用于根據(jù)K-SVD算法對(duì)近紅外光譜數(shù)據(jù)對(duì)應(yīng)的冗余字典進(jìn)行訓(xùn)練，并獲取 目標(biāo)函數(shù)，所述目標(biāo)函數(shù)包括N個(gè)光譜樣本組合而成的光譜組合； 稀疏表示單元，用于對(duì)訓(xùn)練過程中的多個(gè)所述光譜樣本重復(fù)執(zhí)行稀疏分解步驟對(duì)所述 光譜樣本求解稀疏表示系數(shù)； 更新單元，用于通過字典更新步驟結(jié)合所述稀疏表示系數(shù)獲取所述目標(biāo)函數(shù)的稀疏表 示結(jié)果。
7. 根據(jù)權(quán)利要求6所述的近紅外光譜數(shù)據(jù)壓縮裝置，其特征在于，所述訓(xùn)練單元，具體 用于通過使用K-SVD公S'
對(duì)所述近紅外光譜數(shù)據(jù)對(duì)應(yīng)的所述冗余字 典進(jìn)行訓(xùn)練，其中，Mxill<T。，i= 1，2,3,…N，Y為校正集光譜rai和驗(yàn)證集光譜Ytst的 光譜組合Y= [Ytai，Ytst]，所述光譜組合每一列代表一個(gè)所述光譜樣本，D為所述冗余字典， 所述目標(biāo)函數(shù)為liy-mn信； 所述稀疏表示單元，具體用于訓(xùn)練過程中的多個(gè)所述光譜樣本通過使用OMP算法結(jié)合 所述K-SVD算法按照第一預(yù)置公式對(duì)所述光譜樣本求解稀疏表示系數(shù)。
8. 根據(jù)權(quán)利要求7所述的近紅外光譜數(shù)據(jù)壓縮裝置，其特征在于，更新單元具體包括： 更新子單元，用于通過對(duì)所述冗余字典中的原子依次進(jìn)行所述光譜樣本的逐列更新， 所述逐列更新為每次對(duì)一個(gè)所述原子進(jìn)行更新時(shí)，非更新原子對(duì)應(yīng)的所述稀疏表示系數(shù)為 固定； 表示子單元，用于通過第二預(yù)置公式對(duì)所述目標(biāo)函數(shù)的懲罰函數(shù)進(jìn)行表示，所述第 二預(yù)置公式為
其中
為去掉第k個(gè)原子dk后稀疏表示誤差； 判斷子單元，用于根據(jù)所述懲罰函數(shù)判斷所述目標(biāo)函數(shù)II 是否滿足預(yù)置停止 條件，若是，則所述近紅外光譜數(shù)據(jù)稀疏表示完成，若否，則繼續(xù)下一個(gè)所述光譜樣本的所 述稀疏分解步驟和所述字典更新步驟； 所述第二預(yù)置公式中的所述X通過對(duì)所述稀疏表示系數(shù)的采用回歸算法進(jìn)行計(jì)算； 所述回歸算法包括： 通過所述冗余字典D對(duì)所述校正集光譜rai和所述驗(yàn)證集光譜Ytst進(jìn)行稀疏分解獲取 校正集稀疏表示系數(shù)rai和驗(yàn)證集稀疏表示系數(shù)Xtst; 根據(jù)所述校正集稀疏表示系數(shù)ral和校正集參數(shù)測(cè)量值Ctal建立待測(cè)參數(shù)的偏最小二 乘預(yù)測(cè)模型； 將所述驗(yàn)證集稀疏表示系數(shù)Xtst輸入至所述偏最小二乘預(yù)測(cè)模型，獲取與所述驗(yàn)證集 稀疏表示系數(shù)Xtst對(duì)應(yīng)的預(yù)測(cè)值。
9. 一種近紅外光譜數(shù)據(jù)壓縮系統(tǒng)，其特征在于，包括： 客戶端和服務(wù)器端，所述客戶端和所述服務(wù)器端通信連接； 所述客戶端包括第一通信模塊、文件處理模塊，文件支持模塊，W及如權(quán)利要求5至8 中任意一項(xiàng)提及的近紅外光譜數(shù)據(jù)壓縮裝置； 所述第一通信模塊，用于將所述客戶端和所述服務(wù)端進(jìn)行通信連接； 所述文件處理模塊，用于提取待傳輸文件的文件信息； 所述近紅外光譜數(shù)據(jù)壓縮裝置，用于根據(jù)K-SVD算法對(duì)近紅外光譜數(shù)據(jù)對(duì)應(yīng)的冗余字 典進(jìn)行訓(xùn)練，并獲取目標(biāo)函數(shù)，所述目標(biāo)函數(shù)包括N個(gè)光譜樣本組合而成的光譜組合，對(duì)訓(xùn) 練過程中的多個(gè)所述光譜樣本重復(fù)執(zhí)行稀疏分解步驟對(duì)所述光譜樣本求解稀疏表示系數(shù)， 通過字典更新步驟結(jié)合所述稀疏表示系數(shù)獲取所述目標(biāo)函數(shù)的稀疏表示結(jié)果，使得所述待 傳輸文件壓縮完成； 所述文件支持模塊，用于將壓縮后的待傳輸文件讀取到緩沖區(qū)，并通過所述第一通信 模塊發(fā)送至所述服務(wù)端。
10. 根據(jù)權(quán)利要求9所述的近紅外光譜數(shù)據(jù)壓縮系統(tǒng)，其特征在于，所述服務(wù)器端包 括： 監(jiān)聽模塊、第二通信模塊、響應(yīng)模塊、文件維護(hù)模塊，所述監(jiān)聽模塊、所述第二通信模 塊、所述響應(yīng)模塊、所述文件維護(hù)模塊兩兩通信連接； 其中，所述監(jiān)聽模塊在完成設(shè)置服務(wù)器IP地址和端口信息設(shè)置之后，所述第二通信 模塊與所述第一通信模塊建立通信連接，所述監(jiān)聽模塊對(duì)服務(wù)器端的端口進(jìn)行監(jiān)聽，所述 響應(yīng)模塊響應(yīng)所述客戶端傳來的所述待傳輸文件，使得所述服務(wù)器端進(jìn)行重復(fù)文件查詢操 作，若不存在所述重復(fù)文件，則接收所述緩沖區(qū)中的所述待傳輸文件，文件維護(hù)模塊進(jìn)行所 述待傳輸文件的一致性和完整性檢驗(yàn)，若檢驗(yàn)通過，則所述響應(yīng)模塊將與所述待傳輸文件 相對(duì)應(yīng)的信息經(jīng)過所述第二通信模塊發(fā)送給所述客戶端。
【專利摘要】本發(fā)明實(shí)施例公開了一種近紅外光譜數(shù)據(jù)壓縮方法、裝置及系統(tǒng)，解決了由于傳統(tǒng)的文件傳輸方式采用的是直接將原文件發(fā)送給接收方，所造成的較大的存儲(chǔ)空間的技術(shù)問題。本發(fā)明實(shí)施例方法包括：近紅外光譜數(shù)據(jù)壓縮方法包括：根據(jù)K-SVD算法對(duì)近紅外光譜數(shù)據(jù)對(duì)應(yīng)的冗余字典進(jìn)行訓(xùn)練，并獲取目標(biāo)函數(shù)，目標(biāo)函數(shù)包括N個(gè)光譜樣本組合而成的光譜組合；對(duì)訓(xùn)練過程中的多個(gè)光譜樣本重復(fù)執(zhí)行稀疏分解步驟對(duì)光譜樣本求解稀疏表示系數(shù)；通過字典更新步驟結(jié)合稀疏表示系數(shù)獲取目標(biāo)函數(shù)的稀疏表示結(jié)果。
【IPC分類】G06T9-00
【公開號(hào)】CN104851116
【申請(qǐng)?zhí)枴緾N201510262300
【發(fā)明人】陳越立, 胡男君, 羅思維, 侯英, 彭琛, 鐘佳, 林云, 王玉, 楊盼盼
【申請(qǐng)人】廣東中煙工業(yè)有限責(zé)任公司
【公開日】2015年8月19日
【申請(qǐng)日】2015年5月21日