一種基于多重編碼與特征融合的視覺(jué)地形分類方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及視覺(jué)地形分類領(lǐng)域，尤其設(shè)及一種基于多重編碼與特征融合的視覺(jué)地 形分類方法。
【背景技術(shù)】
[0002] 不同于室內(nèi)結(jié)構(gòu)化環(huán)境，野外場(chǎng)景下，機(jī)器人必須面對(duì)不同的路面環(huán)境，松軟、泥 巧、崎帳不平的路面都有可能給機(jī)器人帶來(lái)危險(xiǎn)。運(yùn)些危險(xiǎn)路面統(tǒng)稱為非幾何地形特征危 險(xiǎn)(Non-geometric hazard)。對(duì)此，機(jī)器人必須具備準(zhǔn)確的感知和分類能力，才能據(jù)此做出 合適的路徑規(guī)劃、不同的步態(tài)規(guī)劃和運(yùn)動(dòng)控制策略。如果機(jī)器人所處的地形特征信息無(wú)法 被準(zhǔn)確識(shí)別，就有可能導(dǎo)致機(jī)器人做出錯(cuò)誤的步態(tài)規(guī)劃和動(dòng)力學(xué)控制決策，使機(jī)器人不能 實(shí)現(xiàn)期望的運(yùn)動(dòng)，甚至發(fā)生危險(xiǎn)。
[0003] 識(shí)別非幾何地形特征的方法主要分為巧巾，一類是基于本體感受的方法，主要通過(guò) 分析機(jī)器人經(jīng)過(guò)相應(yīng)地形時(shí)的振動(dòng)信息進(jìn)行識(shí)別分類，運(yùn)類方法最大的缺點(diǎn)是無(wú)法預(yù)先識(shí) 別目標(biāo)區(qū)域地形，機(jī)器人容易發(fā)生危險(xiǎn)。另一類是基于外形特征的方法，主要利用地形的視 覺(jué)信息，與其它傳感器信息相比，視覺(jué)信息最接近于人類的環(huán)境感知方式，能夠提供較為豐 富的感知信息。因此，基于機(jī)器人視覺(jué)信息進(jìn)行地形識(shí)別與分類成為目前移動(dòng)機(jī)器人領(lǐng)域 的一個(gè)研究熱點(diǎn)。
[0004] 各種顏色、紋理和梯度特征先后被應(yīng)用于視覺(jué)地形識(shí)別，都取得了一定的效果，但 是運(yùn)些底層特征的準(zhǔn)確性和穩(wěn)定性還是不能讓人滿意。
[0005] 同類地形具有差異性的視覺(jué)表現(xiàn)，不同類的地形間卻有時(shí)表現(xiàn)出高度視覺(jué)相似， 地形圖像中局部和全局特征混雜，識(shí)別的實(shí)時(shí)性要求高，運(yùn)些都給視覺(jué)的地形分類帶來(lái)了 挑戰(zhàn)，如何準(zhǔn)確、快速的完成地形分類任務(wù)仍是目前的急需解決的關(guān)鍵問(wèn)題。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明提供了一種基于多重編碼與特征融合的視覺(jué)地形分類方法，本發(fā)明全面描 述視覺(jué)地形圖像的全局與局部多階特征信息，采用多核學(xué)習(xí)的方法進(jìn)行特征融合，形成緊 湊的圖像描述，提高了視覺(jué)地形分類的準(zhǔn)確性與魯棒性，實(shí)現(xiàn)了快速、高效的視覺(jué)地形分 類，詳見(jiàn)下文描述：
[0007] -種基于多重編碼與特征融合的視覺(jué)地形分類方法，所述視覺(jué)地形分類方法包括 W下步驟：
[000引使用PCA-Whitening對(duì)SIFT特征進(jìn)行特征預(yù)處理，降低特征空間的相關(guān)性；
[0009] 根據(jù)特征預(yù)處理后的結(jié)果，分別建立K-means字典與GMM字典；
[0010] 對(duì)K-means字典通過(guò)使用稀疏編碼來(lái)描述視覺(jué)地形圖像的0階局部特征；對(duì)GMM字 典通過(guò)采用差異化編碼，描述視覺(jué)地形圖像的1階與2階局部特征；
[0011] 使用GIST特征提取地形圖像的視覺(jué)全局信息；
[0012] 通過(guò)多核學(xué)習(xí)方法融合視覺(jué)地形圖像的0階、1階、2階局部特征和GIST全局特征， 獲取緊湊的視覺(jué)地形特征；
[0013] 將視覺(jué)地形特征輸入線性支持向量機(jī)中，得到視覺(jué)地形分類結(jié)果。
[0014] 所述視覺(jué)地形分類方法還包括：
[0015] 建立視覺(jué)地形數(shù)據(jù)集作為評(píng)價(jià)測(cè)試對(duì)象，對(duì)視覺(jué)地形圖像進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，對(duì)圖 像中的局部信息關(guān)鍵點(diǎn)使用SIFT特征進(jìn)行描述，提取局部底層視覺(jué)信息。
[0016] 本發(fā)明提供的技術(shù)方案的有益效果是：
[0017] 1、本發(fā)明同時(shí)使用了 SIFT(尺度不變特征轉(zhuǎn)換)與GIST(全局紋理響應(yīng))描述子，融 合后的表達(dá)同時(shí)包含了視覺(jué)地形圖像的局部和全局信息，更具有鑒別力；
[0018] 2、本發(fā)明同時(shí)使用稀疏編碼與差異性編碼，描述了視覺(jué)地形局部特征的0階、1階 與2階信息，更全面的反映了地形的視覺(jué)特征;本發(fā)明同時(shí)針對(duì)視覺(jué)分類任務(wù)，優(yōu)化了編碼 方法中的各個(gè)參數(shù)，使其準(zhǔn)確性與速度都有了較大提升；
[0019] 3、本發(fā)明通過(guò)PCA化成分分析)-WMtening(白化)的特征預(yù)處理階段，降低了特 征空間相關(guān)性，增強(qiáng)了之后特征字典生成的有效性，提高了分類效果；
[0020] 4、本發(fā)明在特征融合階段，不同于傳統(tǒng)的串聯(lián)方法，采用多核學(xué)習(xí)方法實(shí)現(xiàn)了更 優(yōu)的特征融合效果；
[0021] 5、本發(fā)明還對(duì)比基線方法進(jìn)行了實(shí)驗(yàn)驗(yàn)證，驗(yàn)證了本發(fā)明的可行性。
【附圖說(shuō)明】
[0022] 圖1為本發(fā)明的多重編碼與特征融合的視覺(jué)地形算法流程圖；
[0023] 圖2為包含8種典型地形的數(shù)據(jù)集DSl圖（共計(jì)2700張地形圖片）；
[0024] 圖3為機(jī)器人小狗化ittleDog)通過(guò)視覺(jué)識(shí)別地形圖；
[0025] 圖4(a)為采用基線方法的效果圖；
[0026] 圖4(b)為本方法的效果圖。
【具體實(shí)施方式】
[0027] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面對(duì)本發(fā)明實(shí)施方式作進(jìn)一步 地詳細(xì)描述。
[0028] 實(shí)施例1
[0029] 本發(fā)明實(shí)施例提供了一種基于多重編碼與特征融合的視覺(jué)地形分類方法，參見(jiàn)圖 1，該方法包括W下步驟：
[0030] 101:建立視覺(jué)地形數(shù)據(jù)集作為評(píng)價(jià)測(cè)試對(duì)象，對(duì)視覺(jué)地形圖像進(jìn)行關(guān)鍵點(diǎn)檢測(cè)， 對(duì)圖像中的局部信息關(guān)鍵點(diǎn)使用SIFT特征進(jìn)行描述，提取局部底層視覺(jué)信息；
[0031 ] 102:使用PCA-Whitening對(duì)SIFT特征進(jìn)行特征預(yù)處理，降低特征空間的相關(guān)性；
[0032] 103:根據(jù)特征預(yù)處理后的結(jié)果，分別建立K-means化均值聚類)字典與GMM(高斯混 合模型聚類)字典；
[0033] 104:對(duì)K-means字典通過(guò)使用稀疏編碼來(lái)描述視覺(jué)地形圖像的0階局部特征；對(duì) GMM字典通過(guò)采用差異化編碼，描述視覺(jué)地形圖像的1階與2階局部特征；
[0034] 105:使用GIST特征提取地形圖像的視覺(jué)全局信息；
[0035] 106:通過(guò)多核學(xué)習(xí)方法融合視覺(jué)地形圖像的0階、1階、2階局部特征和GIST全局特 征，獲取緊湊的視覺(jué)地形特征；
[0036] 107:將視覺(jué)地形特征輸入線性支持向量機(jī)(SVM)中，得到視覺(jué)地形分類結(jié)果。
[0037] 綜上所述，本發(fā)明實(shí)施例通過(guò)上述步驟101到107利用多重編碼與多特征融合方法 全面描述了視覺(jué)地形的局部多層次特征與全局特征信息，并通過(guò)與基線方法的對(duì)比，驗(yàn)證 了方法的有效性。
[003引實(shí)施例2
[0039] 下面結(jié)合具體的計(jì)算公式、例子W及圖2對(duì)實(shí)施例1中的方案進(jìn)行詳細(xì)的描述，詳 見(jiàn)下文：
[0040] (1)視覺(jué)地形數(shù)據(jù)集的建立
[0041] 因?yàn)榈匦巫R(shí)別領(lǐng)域沒(méi)有通用的數(shù)據(jù)集，本發(fā)明實(shí)施例制作了數(shù)據(jù)集DSl，作為評(píng)估 測(cè)試對(duì)象，數(shù)據(jù)集DSl -共包含8種不同的典型地形路面:漸青路面、泥地、草地、瓷磚、碎石、 大碎石、沙地和落葉覆蓋。圖片在不同的光照和天氣條件下獲取，統(tǒng)一分辨率256X256,每 類至少包含300張圖片，數(shù)據(jù)集共計(jì)2700張圖片，各類典型路面如圖2所示。
[0042] 本發(fā)明實(shí)施例對(duì)圖片的分辨率、圖片的數(shù)量、W及圖片的類型不做限制，可W根據(jù) 實(shí)際應(yīng)用中的需要進(jìn)行確定。
[0043] (2) SIFT 特征提取
[0044] SIFT是一種具有視角、尺度與方向不變性的圖像局部特征描述符，對(duì)光照變化和 噪聲影響敏感度低。具體實(shí)現(xiàn)包括:檢測(cè)子和描述符兩方面，其中檢測(cè)子通過(guò)對(duì)圖像進(jìn)行多 尺度的高斯模糊，建立圖像高斯差分金字塔(DOG)，選取DOG空間中的局部極值點(diǎn)作為圖像 的局部興趣點(diǎn)。之后在興趣點(diǎn)上建立4 X 4的網(wǎng)格，每個(gè)網(wǎng)格中統(tǒng)計(jì)8個(gè)方向的梯度信息，形 成128維的特征向量作為興趣點(diǎn)的描述符。最后每張圖片提取出n個(gè)局部興趣點(diǎn)和n X 128的 SIFT特征向量矩陣。
[0045] 其中，對(duì)SIFT特征提取的具體操作步驟為本領(lǐng)域技術(shù)人員所公知，本發(fā)明實(shí)施例 對(duì)此不做寶述。
[0046] (3)特征預(yù)處理
[0047] 特征預(yù)處理階段是經(jīng)常被研究者所忽視的，但通過(guò)本發(fā)明實(shí)施例的研究發(fā)現(xiàn)，恰 當(dāng)?shù)奶卣黝A(yù)處理手段，能大大增強(qiáng)最后的分類效果，同時(shí)降低所需空間消耗。通過(guò)大量的實(shí) 驗(yàn)和測(cè)試，本發(fā)明選擇PCA和Whitening兩種特征預(yù)處理手段來(lái)加強(qiáng)視覺(jué)地形分類效果。
[0048] 原始提取的SIFT特征通常高度禪合，并且包含許多低信息成分，運(yùn)對(duì)隨后有效字 典的形成帶來(lái)了挑戰(zhàn)。本發(fā)明采用PCA對(duì)特征向量進(jìn)行降維，在保留絕大部分特征信息的前 提下，降低特征向量的空間消耗，使用Whitening降低特征之間的相關(guān)性，保證特征間具有 相同的方差。
[0049] 通過(guò)多次實(shí)驗(yàn)的評(píng)估分析，最終選擇最佳SIFT特征維度為80(本發(fā)明實(shí)施例對(duì)此 不做限制），降低了算法37.5%的空間成本的同時(shí)，保留了 95%的特征信息，在不影響分類 性能的前提下，PCA-WMtening預(yù)處理方法大大提高的算法的效果和實(shí)用性。實(shí)現(xiàn)公式如 (1)所示
[0050] Xi' = AlfXi (1)
[00引]X, e i "S是原始的SIFT特征，X;' e i嚴(yán)是預(yù)處理之后的結(jié)果，17葉胃0是PCA降維 矩陣，了為轉(zhuǎn)置，八是對(duì)角怖1 *6〇1叫矩陣，疏巧(A)二U / ，…，i / ，、是特征協(xié)方差 矩陣的第ith個(gè)特征值(從大到小排序）。
[0052] (4)視覺(jué)地形特征詞典建立
[0053] 視覺(jué)地形特征詞典是根據(jù)特征空間的信息分布形成的超完備基向量集合，關(guān)鍵參 數(shù)為詞典大小M(詞典中包含M個(gè)基向量），方法選擇無(wú)監(jiān)督聚類算法，根據(jù)之后的編碼要求， 建立K-means詞典與GMM詞典，并計(jì)算相應(yīng)的關(guān)鍵參數(shù)M的最優(yōu)值。
[0化4] K-means詞典建立
[005引從訓(xùn)練集中選擇T個(gè)特征向量XtrMn=執(zhí)，私..恥，卸]Bi胃'，隨機(jī)選擇M個(gè)中屯、 昨i，b2，..b,..，Me;胃作為初始的質(zhì)屯、，之后對(duì)剩余的特征向量巧慢其到質(zhì)屯、的歐式距 離，并把它歸到最近質(zhì)屯、所屬類
[005引 斬￡ =argmin||'x,-4|廣 口） m
[0057]其中qmi為特征Xi到最近質(zhì)屯、的距離;m為最近質(zhì)屯、的標(biāo)號(hào)。
[0化引之后再重新計(jì)算已經(jīng)得到的各類的新質(zhì)屯、bm = avg{xi:qi = m}，重復(fù)迭代，直到誤 差小于闊值或達(dá)到最大迭代數(shù)（100)，最后各質(zhì)屯、組成了視覺(jué)地形碼本詞典。通過(guò)多次實(shí) 驗(yàn)，本發(fā)明選定K-means視覺(jué)