本發(fā)明涉及移動機器人導航技術(shù)領域，具體涉及一種室內(nèi)場景識別的閉環(huán)檢測方法。

背景技術(shù)：

閉環(huán)檢測是SLAM系統(tǒng)中一個十分重要的模塊，目的是讓機器人識別出已訪問過的地點，糾正SLAM的累計誤差，保證地圖的一致性。閉環(huán)檢測實際上是一個圖像識別的問題，主流算法一般基于BoW(Bag of Words)框架，利用不同類型的特征點作為解決方案。

目前的閉環(huán)檢測算法中，大部分針對室外場景做了優(yōu)化，對室內(nèi)環(huán)境的研究相對較少。室內(nèi)場景不管是特征數(shù)量還是特征類型都與室外場景有較大區(qū)別，非常明顯的一點就是室外場景一般有著豐富的特征點，而室內(nèi)場景的特征點數(shù)量則會大大減少；另一方面，室內(nèi)環(huán)境有著極強的結(jié)構(gòu)特征，建筑本體和人造物品都存在大量的特征線條，這些線條攜帶著豐富的場景信息，如何將這些線條攜帶的場景信息用于導航中已成為研究熱點。

技術(shù)實現(xiàn)要素：

針對如何提高室內(nèi)場景的識別率，本申請?zhí)峁┮环N室內(nèi)場景識別的閉環(huán)檢測方法，包括步驟：

采集當前場景圖像，利用FAST算法提取所述當前場景圖像的特征點和利用LSD算法提取當前場景圖像的特征線條；

采用ORB生成特征點的描述子向量，及采用BRLD生成特征線條的描述子向量；

采用K-means聚類算法對所有描述子向量進行聚類生成視覺詞匯，并利用視覺詞匯生成當前場景圖像的BOW向量；

計算當前場景圖像的BOW向量與已存儲歷史場景圖像的BOW向量的相似度及檢測當前場景圖像的一致性判斷當前場景圖像是否發(fā)生閉環(huán)。

一種實施例中，利用FAST算法提取當前場景圖像的特征點，包括步驟：

以當前場景圖像中的一像素點P為中心，半徑為3構(gòu)建一個圓；

在圓的周圍每隔90度角選取4個像素點，選取的像素點記作P1、P2、P3、……、P16；

根據(jù)P1、P2、P3、……、P16判斷像素點P是否是特征點；

若像素點P是特征點，計算像素點P處的FAST得分，并以像素點P為中心構(gòu)建一個鄰域；

檢測鄰域內(nèi)的特征點，并計算鄰域內(nèi)各個特征點的FAST得分；

判斷像素點P的FAST得分是否是最大值，若是，則提取像素點P，否則，舍去像素點P。

一種實施例中，根據(jù)P1、P2、P3、……、P16判斷像素點P是否是特征點，包括步驟：

分別計算P1和P9與中心像素點P的像素差，若像素差的絕對值均小于預設閾值，則像素點P不是特征點；

否則，分別計算P1、P9、P5和P13與中心像素點P的像素差，若其中至少有兩個像素差的絕對值均小于預設閾值，則像素點P不是特征點；

否則，分別計算P1至P16與中心像素點P的像素差，若其中至少有九個像素差的絕對值均大于等于預設閾值，則像素點P特征點，否則，像素點P不是特征點。

一種實施例中，F(xiàn)AST得分的計算公式為：

其中，s為FAST得分，I(P_i)為當前場景圖像在像素點P_i處的像素值。

一種實施例中，利用LSD算法提取當前場景圖像的特征線條，包括步驟：

計算當前場景圖像中每個像素點的梯度和梯度方向；

將梯度方向相近的像素點合并成若干個子區(qū)域；

檢測子區(qū)域是否是直線段，若是，則提取子區(qū)域。

一種實施例中，檢測子區(qū)域是否是直線段，包括步驟：

對子區(qū)域構(gòu)建一個最小外接矩形；

計算最小外接矩形的主方向；

判斷子區(qū)域各像素點的梯度方向與最小外接矩形的主方向的差是否在容忍度以內(nèi)，若在，像素點為校準點，并統(tǒng)計校準點的數(shù)量；

根據(jù)最小外接矩形內(nèi)像素點的總數(shù)量和校準點的總數(shù)量判定子區(qū)域是否為直線段。

一種實施例中，采用ORB生成所述特征點的描述子向量，包括步驟：

針對提取的各個特征點以其為中心構(gòu)建一個鄰域；

計算各個鄰域賦予方向信息；

對各個鄰域內(nèi)所有的像素旋轉(zhuǎn)至該鄰域的主方向；

在各個鄰域內(nèi)搜索相關(guān)性最低的256個像素點作為測試點對；

比較每個測試點對的灰度值，若前者的灰度值小于后者的灰度值則取1，否則取0；

根據(jù)比較結(jié)果生成ORB描述子向量：

其中，τ(i)第i對像素點對的比較結(jié)果。

一種實施例中，采用BRLD生成特征線條的描述子向量包括步驟：

將特征線條所屬鄰域內(nèi)的像素點映射至歸一化坐標系中；

利用標定有特征線條真值的圖像進行訓練，選取出一組最佳的二值化測試位置：

根據(jù)最佳的二值化測試位置計算特征線條的BRLD描述子向量。

一種實施例中，利用視覺詞匯生成當前場景圖像的BOW向量，包括步驟：

將特征線條的描述子向量通過K-means聚類生成視覺詞匯，以生成線條BOW向量；

將特征點的描述子向量通過K-means聚類生成視覺詞匯，以生成特征點BOW向量；

將線條BOW向量與特征點BOW向量拼接形成含有當前場景圖像點線特征的BOW向量。

一種實施例中，判斷當前場景圖像是否發(fā)生閉環(huán)，包括步驟：

計算當前場景圖像的BOW向量與已存儲歷史場景圖像的BOW向量的相似度；

判斷相似度是否超過預設閾值，若超過，將當前場景圖像作為候選閉環(huán)，否則，當前場景圖像拒絕閉環(huán)；

對候選閉環(huán)進行一致性檢查，若通過一致性檢查，當前場景圖像發(fā)生閉環(huán)。

依據(jù)上述實施例的閉環(huán)檢測方法，由于針對室內(nèi)場景識別時，在閉環(huán)檢測中加入了特征線條，可以在特征點匱乏的室內(nèi)環(huán)境中識別出已訪問過的地點，對于室內(nèi)導航應用有很強的實際意義，另外，室內(nèi)場景中的線條大多是靜態(tài)的結(jié)構(gòu)線條，因此，引入特征線條后閉環(huán)檢測算法受場景內(nèi)動態(tài)物體變化的影響更小，更好地解決了場景混淆問題；進一步，本申請的閉環(huán)檢測方法中采用的算法計算效率高，對于計算資源稀缺的移動平臺有很強的應用價值。

附圖說明

圖1為本申請閉環(huán)檢測方法流程圖；

圖2為構(gòu)建圓示意圖；

圖3為特征線條歸一化示意圖；

圖4為本申請閉環(huán)檢測方法與現(xiàn)有技術(shù)對比圖；

圖5為本申請的檢測結(jié)果與現(xiàn)有技術(shù)檢測結(jié)果對比圖；

圖6為特征點匱乏的場景中檢測結(jié)果對比圖。

具體實施方式

下面通過具體實施方式結(jié)合附圖對本發(fā)明作進一步詳細說明。

針對現(xiàn)有的室內(nèi)場景識別不精確的問題，本例提供一種室內(nèi)場景識別的閉環(huán)檢測方法，其流程圖如圖1所示，具體包括如下步驟。

S1：采集當前場景圖像，利用FAST算法提取所述當前場景圖像的特征點和利用LSD算法提取所述當前場景圖像的特征線條。

當機器人在室內(nèi)移動時，機器人利用自身攜帶的相機采集當前場景圖像，并提取當前場景圖像的特征點和特征線條，具體的，利用FAST(Features fromacce lerated segment test角點檢測方法)算法提取當前場景圖像的特征點和利用LSD算法提取當前場景圖像的特征線條。

其中，F(xiàn)AST特征點被定義為：若某像素點與其鄰域內(nèi)足夠多的像素點的灰度值相差較大，那么該點可能是特征點；基于該定義，本例的利用FAST算法提取當前場景圖像的特征點具體包括以下步驟：

1)以當前場景圖像中的一像素點P為中心，半徑為3構(gòu)建一個圓，如圖2所示。

2)在該圓的周圍每隔90度角選取4個像素點，一共選取16個像素點，該選取的像素點依序記作P1、P2、P3、……、P16。

3)根據(jù)P1、P2、P3、……、P16判斷像素點P是否是特征點。

該步驟具體是：分別計算P1和P9與中心像素點P的像素差，若像素差的絕對值均小于預設閾值H，則像素點P不是特征點；

否則，分別計算P1、P9、P5和P13與中心像素點P的像素差，若其中至少有兩個像素差的絕對值均小于預設閾值H，則像素點P不是特征點；

否則，分別計算P1至P16與中心像素點P的像素差，若其中至少有九個像素差的絕對值均大于等于預設閾值H，則像素點P是特征點，否則，像素點P不是特征點。

若像素點P是特征點，進入步驟4)，若像素點P不是特征點，則返回步驟1)選取下一下像素點并繼續(xù)判斷其是否是特征點。

4)若像素點P是特征點，計算像素點P處的FAST得分，并以像素點P為中心構(gòu)建一個鄰域，如該鄰域的大小可以為3*3或者5*5等。

5)檢測鄰域內(nèi)的特征點，并計算鄰域內(nèi)各個特征點的FAST得分。

FAST得分的計算公式為：其中，s為FAST得分，I(P_i)為當前場景圖像在像素點P_i處的像素值。

6)判斷像素點P的FAST得分是否是最大值，若是，則提取像素點P，否則，舍去像素點P。

根據(jù)步驟1)～6)可獲取當前場景圖像中所有的特征點，特征點檢測完畢之后，再利用LSD算法提取當前場景圖像的特征線條，具體如下。

1)計算當前場景圖像中每個像素點的梯度和梯度方向。

2)將梯度方向相近的像素點合并成若干個子區(qū)域。

由于步驟1)中的梯度方向構(gòu)成了一個梯度場，場中方向相近的像素點被合并成若干個子區(qū)域，這些區(qū)域稱為LSR(line support region)，每個LSR就是一組像素，作為直線段的候選。

3)檢測子區(qū)域是否是直線段，若是，則提取子區(qū)域。

對于一個LSR，觀察其最小外接矩形，直觀上看，該矩形若是比較細長，那第該組像素點更可能是一根線段，因此，本步驟進一步包括如下步驟：

1)對子區(qū)域構(gòu)建一個最小外接矩形。

2)計算最小外接矩形的主方向。

3)判斷子區(qū)域各像素點的梯度方向與最小外接矩形的主方向的差是否在容忍度以內(nèi)，若在，像素點為校準點，并統(tǒng)計校準點的數(shù)量。

4)根據(jù)最小外接矩形內(nèi)像素點的總數(shù)量和校準點的總數(shù)量判定子區(qū)域是否為直線段，如，校準點的總數(shù)量越多，則該子區(qū)域越有可能是直線段。

S2：采用ORB生成特征點的描述子向量，及采用BRLD生成特征線條的描述子向量。

本例中，對所有特征點，采用ORB描述子進行特征描述，ORB是一種二值化描述子，具體的，對于每一個特征點，選定一個以其為中心的S*S的鄰域，計算對各個鄰域賦予方向信息：m_pq＝∑_x，yx^py^qI(x，y)，θ＝atan2(m₀₁，m₁₀)，其中，θ為鄰域的主方向，對各個鄰域內(nèi)所有的像素旋轉(zhuǎn)至該鄰哉的主方向，經(jīng)過旋轉(zhuǎn)后的像素點相關(guān)性會比較大，降低了描述子的可區(qū)分性，因此，ORB中采用了貪婪算法在各個鄰域內(nèi)搜索相關(guān)性最低的256個像素點作為測試點對，比較每個測試點對的灰度度，若前者的灰度值小于后者的灰度值則取1，否則取0；根據(jù)比較結(jié)果，組成最終的ORB描述子向量為：其中，τ(i)第i對像素點對的比較結(jié)果，最后用一個256維的二值化向量來描述每個特征點。

對于所有特征線條，本例采用新的BRLD描述子進行描述，采用BRLD生成特征線條的描述子向量包括如下步驟。

1)將特征線條所屬鄰域內(nèi)的像素點映射至歸一化坐標系中。

特征線條與特征點的最大區(qū)別是線條有不同的長度和方向而特征點沒有，所以，為了固定生成描述子的方法以及描述子向量的維度，本例引入了一個歸一化的坐標每畝，所有特征線條的鄰域都先在這個坐標系中進行表述。在這個坐標系中，所有特征線條被歸一化成位于x軸上的一根單位長度的線段，如圖3所示，這條線段被分成M等份供后續(xù)采樣，線條的垂直方向沒有被歸一化，對于所有特征線條，垂直方向的窗口大小都選取為W。

歸一化坐標系和實際的像素位置之間建立了一個坐標變換，假設某像素點在歸一化坐標系中的坐標為(x₀，y₀)，將它寫成標準的齊次坐標形式X₀＝(x₀，y₀，1)^T。設特征線條的兩端點在實際圖像中的坐標為(x₁，y₁)，(x₂，y₂)，其中x₁≤x₂，則坐標變換的過程如下：

第一步是尺度變換：

X₁＝T₁*X₀；其中，l是特征線條的長度。

第二步是旋轉(zhuǎn)變換：

X₂＝T₂*X₁；α＝arctan(k)；其中，k是特征線條的斜率。

最后一步是平移變換：

X＝T₃*X₂；

令X＝(u，v，1)^T，則(u，v)就是點X₀在圖像中的實際坐標。整體變換可以寫成如下形式：

X＝T*X₀；

其中T＝T₃*T₂*T₁就是變換矩陣，對于每根特征線條，所有在其鄰域內(nèi)的像素點都通過上述變換映射到歸一化坐標系中。

2)利用標定有特征線條真值的圖像進行訓練，選取出一組最佳的二值化測試位置。

本例的二值化測試位置的選擇是在歸一化坐標系中進行，具體的，對于特征線條，本發(fā)明利用標定有線條真值的圖像進行訓練，自動選擇出一組最佳的二值化測試位置。

一個理想的測試對在訓練集上生成的所有二進制值，其均值應當接近0.5。換言之，生成的0和1的數(shù)量應當差不多，生成的值大部分是0或者1的測試對所帶來的信息量顯然是很少的。除此以外，生成的特征值的區(qū)分度也是衡量一個測試像素對質(zhì)量的標準，顯然，理想的特征一定是區(qū)分度高的那些。若一個測試對生成的二值特征的方差大，那么這個測試像素對的區(qū)分度也更高。因此，首先搜索那些所有生成的特征值的均值接近0.5的測試像素對。在歸一化坐標系的特征線條鄰域中，共有(W+1)*(M+1)個像素點。在所有可能的像素對中作貪婪搜索，因此要測試的像素對數(shù)量是

對于訓練集內(nèi)所有圖像中的所有線條都進行二值化測試，二值化測試τ定義如下：

其中，I(X₁)，I(X₂)是點X₁，X₂鄰域內(nèi)像素灰度的平均值。對于每一個測試對來說，都能得到一個高維的二值化向量，其維數(shù)等于所有訓練圖像中線條數(shù)量的總和。之后，計算每一個高維向量的中所有元素的均值，并按照與0.5的差值進行排序，均值越接近0.5排位越靠前，前1000個測試像素通過篩選進入下一步的訓練。

在得到上述候選像素對后，根據(jù)匹配得分從中選取D個像素對來作為最終的測試組，D也是最終的BRLD描述子的維數(shù)。首先從這些候選像素對中隨機選取測試對直到得到100個候選組，每個候選組中都有D個像素對。然后用每一個候選組來計算那些標定過的線段的描述子，候選組中的每個像素對都生成描述子中的一個分量。不同的候選組對于相同的線段會得到不同的描述子，用不同候選組生成的描述子來進行線條匹配。匹配過程就是簡單地計算兩描述子之間的漢明距離，距離最小的描述子被認為是一個配對。由于已經(jīng)標定了線條匹配的真值，所以匹配性能就可以被量化。得到正確匹配數(shù)最多的那一個候選組就被選定為最佳二值化測試位置。

3)根據(jù)最佳的二值化測試位置計算特征線條的BRLD描述子向量。

有了這些最佳的二值化測試位置即可計算特征線條的BRLD描述子，BRLD描述子的計算過程類似ORB。

S3：采用K-means聚類算法對所有描述子向量進行聚類生成視覺詞匯，并利用視覺詞匯生成當前場景圖像的BOW向量。

本步驟的思路是：將特征線條的描述子向量通過K-means聚類生成視覺詞匯，以生成線條BOW向量；將特征點的描述子向量通過K-means聚類生成視覺詞匯，以生成特征點BOW向量；將線條BOW向量與特征點BOW向量拼接形成含有當前場景圖像點線特征的BOW向量。

具體的，視覺詞匯實際上就是描述子的聚類，每個聚類中心代表一個視覺詞匯。這個“詞匯”的概念是抽象的，例如在N維特征空間中，一個視覺詞匯就是一個N維向量。

在本發(fā)明使用的BoW方法中，采用的是詞匯樹，構(gòu)建詞匯樹利用的是分層k-means聚類。因此，BoW方法中的k定義的不是最終的詞匯數(shù)量，而是詞匯樹每個節(jié)點的子孫數(shù)。分層k-means算法就是在完成一次k-means聚類后，對每個類再進行單獨的k-means聚類。重復以上操作，就可以逐層構(gòu)建一個有L層的詞匯樹。

一旦詞匯樹生成完畢，為了提高檢索效率和質(zhì)量，我們對樹的每個節(jié)點都要賦予權(quán)重。在BoW方法中，采用了一種TF-IDF(term frequency-inverse document frequency)計算方法。該方法是一種用于信息檢索和數(shù)據(jù)挖掘的常用加權(quán)技術(shù)，計算方法如下：

假設共有k個視覺詞匯，那么每幅圖像就可以表示為一個k維詞匯向量V_d＝(t₁，t₂，…，t_i，…，t_k)^T。該向量中每個分量按下式計算：

其中，n_id是第i個詞匯在該圖像中出現(xiàn)的次數(shù)，n_d是該圖像中所包含詞匯的總數(shù)(也等于特征總數(shù))，n_i是數(shù)據(jù)庫中含有第i個詞匯的圖像的數(shù)量，N是數(shù)據(jù)庫中圖像的總數(shù)。

由上式可知，一個詞匯在該幅圖像中的權(quán)重由兩部分組成：詞匯頻率和逆文本頻率指數(shù)

詞匯頻率表達的含義是，若某視覺詞匯在該幅圖像中出現(xiàn)頻率很高，那么這個詞匯就可以很好地描述這幅圖像，應當被賦予較大的權(quán)重；逆文本頻率指數(shù)則是說明，若某個詞匯頻繁地在各種圖像中出現(xiàn)，那么這個詞匯所附帶的信息量就較少，應當被賦予較小的權(quán)重。若某詞匯在每一幅圖像中都出現(xiàn)了，那么這個詞匯所攜帶的信息量就為零，權(quán)重也被賦為零。某詞匯在一幅圖像中最終的權(quán)重，是綜合考慮了上述兩者的結(jié)果。這樣，每幅圖像都可以用一個詞匯向量來表示，再將該向量歸一化，就得到了表達每幅圖像的BoW向量，兩幅圖像的相似度則是通過計算兩BoW向量間的距離得到。

S4：計算所述當前場景圖像的BOW向量與已存儲歷史場景圖像的BOW向量的相似度及檢測所述當前場景圖像的一致性判斷所述當前場景圖像是否發(fā)生閉環(huán)。

本步驟具體包括如下步驟：

1)計算所述當前場景圖像的BOW向量與已存儲歷史場景圖像的BOW向量的相似度。

本發(fā)明中創(chuàng)造性地在閉環(huán)檢測中加入了線條特征，線條特征通過聚類生成視覺詞匯后，可以將圖像用一個線條BoW向量來進行描述。將這個線條BoW向量與傳統(tǒng)的利用特征點計算得到的BoW向量進行拼接，就得到了結(jié)合點線特征的BoW向量。對于攝像頭捕獲到的每一幀關(guān)鍵幀圖像，都通過反向索引表轉(zhuǎn)化為結(jié)合點線特征的BoW向量。當前BoW幀計算完畢后，計算與所有歷史BoW幀之間的相似度，兩BoW向量v₁和v₂間的相似度定義如下：

2)判斷相似度是否超過預設閾值，若超過，將當前場景圖像作為候選閉環(huán)，否則，當前場景圖像拒絕閉環(huán)。

3)對所述候選閉環(huán)進行一致性檢查，若通過一致性檢查，當前場景圖像發(fā)生閉環(huán)。

一致性檢查包括時間一致性檢查和幾何一致性檢查，首先用先前的檢索來檢查其時間一致性。候選閉環(huán)<v_t，V_T′>必須與前k個匹配連續(xù)，也就是說，T_j和T_j+1之間的間隔要足夠小到可以重合。若該候選通過了時間一致性檢查，就進入最后的幾何一致性檢查。

幾何一致性檢查主要是指利用RANSAC算法找出候選閉環(huán)和歷史幀之間的一個基礎矩陣，這個基礎矩陣至少有12個對應關(guān)系支持，通過比較檢索圖像和匹配圖像的局部特征來計算這些對應關(guān)系。利用直接索引表，僅需比較屬于同一視覺詞匯的特征，可以大大提高計算效率。若候選閉環(huán)通過幾何一致性檢查，則候選被算法接受，認為當前位置已訪問過。

進一步，在幾何一致性檢查過程中，為了提升檢索的效率，本發(fā)明中創(chuàng)建了兩張索引表。反向索引表(Inverse index)是按詞匯索引，保存了每個視覺詞匯出現(xiàn)在了數(shù)據(jù)庫中的哪幾張圖像中以及在這些圖像中的權(quán)重，用于在線檢索。直接索引表(Direct index)是按圖像索引，保存了數(shù)據(jù)庫中每張圖像含有哪些視覺詞匯以及它們在圖中的權(quán)重。這樣做的好處是，若需要在特征空間內(nèi)比較兩幅圖像，那么只需比較那些屬于同一個詞匯的特征向量，而不需要比較整幅圖像的所有特征，這為閉環(huán)檢測算法的幾何一致性檢查部分提供了很大的便捷。

根據(jù)室內(nèi)環(huán)境的特點，本發(fā)明創(chuàng)造性地在現(xiàn)有的閉環(huán)檢測技術(shù)中創(chuàng)造性地加入了線條特征，可以在特征點匱乏的室內(nèi)環(huán)境中識別出已訪問過的地點，對于室內(nèi)導航應用有很強的實際意義。相比現(xiàn)有技術(shù)，本發(fā)明具有以下有益效果：

一、在室內(nèi)環(huán)境中的表現(xiàn)明顯優(yōu)于現(xiàn)有技術(shù)。Precision-Recall曲線是評估閉環(huán)檢測的通用指標，Precision反映檢測的準確度，Recall反映檢測的完整性，兩者的值都要盡可能大。圖4是本發(fā)明提出的ORB+BRLD閉環(huán)檢測算法與現(xiàn)有技術(shù)的對比，從Precision-Recall曲線可以看出本發(fā)明的方法有明顯優(yōu)勢。

二、本發(fā)明的方法在室內(nèi)場景中受場景變化的影響小。室內(nèi)場景中的線條大多是靜態(tài)的結(jié)構(gòu)線條，因此引入線條特征后閉環(huán)檢測算法受場景內(nèi)動態(tài)物體變化的影響更小，更好地解決了場景混淆問題。圖5是本發(fā)明的檢測結(jié)果與現(xiàn)有技術(shù)的檢測結(jié)果，本發(fā)明在嚴重的場景變化下仍然可以正確檢測，而僅用特征點的現(xiàn)有技術(shù)則檢測錯誤。

三、本發(fā)明在特征點匱乏的場景中仍可以正確檢測。如圖6所示，本發(fā)明的方法在特征點匱乏的墻面和地面場景中可以正確檢測閉環(huán)，但僅使用特征點的現(xiàn)有技術(shù)檢測錯誤。

四、由于使用的是兩種二值化特征，因此本發(fā)明比現(xiàn)有技術(shù)計算效率提升了一個量級以上，對于計算資源稀缺的移動平臺有很強的應用價值。

以上應用了具體個例對本發(fā)明進行闡述，只是用于幫助理解本發(fā)明，并不用以限制本發(fā)明。對于本發(fā)明所屬技術(shù)領域的技術(shù)人員，依據(jù)本發(fā)明的思想，還可以做出若干簡單推演、變形或替換。