本發(fā)明屬于遙感圖像處理與場景理解的應用領域,涉及一種在低分辨率遙感圖像中利用改進的層次化增強學習模型同時檢測多個感興趣遙感目標的方法。
背景技術:
隨著高分辨率遙感衛(wèi)星應用技術的蓬勃發(fā)展,典型遙感目標檢測技術無論在軍事還是民用領域都具有至關重要的意義。特別是在軍事領域中,要求在背景復雜的大幅面遙感圖像中,能夠精確、快速地獲得目標位置信息,為準確制導提供技術支撐。在圖像處理和模式識別理論飛速發(fā)展的推動下,對遙感圖像豐富信息的深度挖掘與智能處理成為了研究的熱點和難點。遙感圖像信息豐富,數(shù)據量較大,不僅包括復雜多變的地面環(huán)境和形狀各異的人造目標,而且光照不均與云層遮擋所引起的模糊和大氣折射與大氣湍流所造成的目標變形與失真也對圖像質量產生影響。遙感圖像獲取的過程中也受成像設備與天氣的影響,當光照變化、雨雪、煙塵和濃霧干擾時,獲得遙感圖像清晰度下降,而積水造成的折射會改變目標的外貌、紋理等信息,進而改變目標的形狀和灰度等特征,同時,當光照發(fā)生變化時攝像設備由于過度或者不足曝光而導致目標部分重要信息丟失,也會對目標的檢測造成極大的干擾,甚至導致檢測失敗。另外,遙感圖像中的目標形狀多樣、顏色各異、結構多變,也對檢測造成干擾,目標除了橋梁與機場等在空間上呈二維分布,其他大部分目標呈三維狀態(tài),表現(xiàn)為目標的陰影,對于目標檢測來說,難度增大。遙感圖像中目標存在被植被或者其他障礙物遮擋的情況,故其形狀具有不完整性,由于航拍的圖像是隨機獲取的,因此目標的位置具有不確定性。正是由于復雜的外在環(huán)境給遙感圖像中的目標檢測帶來了難度,因此采用合適的方法將遙感目標從背景復雜、環(huán)境多樣和信息量豐富的遙感圖像中檢測出來成為諸多學者研究的重點。
目前典型目標的檢測識別算法主要包括:基于聚類的方法,基于特征匹配的方法和基于分類器的方法等?;诰垲惖姆椒ㄊ且环N無監(jiān)督的算法,雖然此類方法不需要訓練樣本,減少了用于人工標注和樣本訓練的時間,但由于遙感圖像中存在目標失真與變形的情況,則采用非監(jiān)督的方法會造成錯檢和漏檢,具有較大的局限性,在遙感圖像的目標檢測中很難被廣泛應用?;谔卣髌ヅ涞姆椒ㄍǔ@玫蛯犹卣鞅热缂y理特征、局部特征描述子等與模板特征匹配來實現(xiàn)檢測,運算量較大,自適應能力較差?;诜诸惼鞯姆椒ú捎玫姆诸惼髦饕兄С窒蛄繖C(SVM)、特征袋模型、Adaboost分類器、神經網絡分類器等。這些方法首先需要足夠數(shù)量的訓練樣本來訓練分類器,其次需要選擇合適有效的特征來進行分類,并且需要人工標定大量的樣本標簽,時間開銷較大。
專利CN103729848A提出了一種基于光譜顯著性的高光譜遙感圖像小目標檢測方法,該方法選取圖像的光譜信息和空間信息構造特征向量,應用改進的Itti模型和改進的進化規(guī)劃方法局部顯著圖和全局顯著圖,最終生成總的視覺顯著圖,作為最終的目標檢測結果。該方法只能檢測出目標區(qū)域的大致位置,而不能得到目標精確的邊界信息,對于復雜背景下的目標檢測問題,該方法的適應性較差。
專利CN102214298A提出一種基于選擇性視覺注意機制的遙感圖像機場目標快速檢測和識別的方法,該方法利用改進的注意力選擇模型(GBVS)得到遙感圖像的顯著區(qū)域,然后根據區(qū)域上的SIFT特性結合HDR樹達到機場目標識別的目的。專利CN104156722A提出了一種基于高分辨率遙感圖像的機場目標檢測方法,該方法檢測圖像中的平行直線作為機場跑道,對圖像拍攝過程中的扭曲,遮擋等不確定因素魯棒性較差。
專利201610247053.2提出了一種基于層次化增強學習的顯著性檢測模型,用于檢測低分辨率遙感圖像中的機場目標。但該方法僅能針對機場目標完成單一目標的檢測任務,對其他遙感目標的檢測問題卻無能為力,因此,在該專利的基礎上,本發(fā)明提出了一種改進的層次化顯著模型的遙感目標檢測方法,能夠在復雜背景的遙感圖像中實現(xiàn)機場和油罐目標的準確檢測。
技術實現(xiàn)要素:
本發(fā)明技術解決問題:針對低分辨率遙感圖像中的遙感目標檢測問題,提出一種改進的層次化顯著模型的遙感目標檢測方法,能夠準確、高效地解決大幅面低分辨率條件下遙感圖像中的目標檢測問題。
本發(fā)明技術解決方案:一種基于改進的層次化顯著模型的遙感目標檢測方法,所述遙感目標主要針對機場和油罐兩類目標,包括如下步驟:
步驟1:將待檢測的輸入圖像利用簡單線性迭代聚類算法SLIC(Simple Linear Iterative Clustering,SLIC)進行超像素分割,將所述圖像中近鄰區(qū)域內具有顏色相似性的像素聚類,然后采用超像素來表示聚為一類的區(qū)域,從而得到超像素分割后的圖像;
步驟2:將分割后的圖像中每個超像素的顏色特征作為底層特征,構建全局信息集,同時,提取位于分割后的圖像邊界位置的所有超像素的底層特征構建背景信息集;
步驟3:采用基于最小距離的相似性測量算子LDSM(Least Distance Similarity Measure operator,LDSM),學習每個超像素和背景信息集之間的特征相似度,所述特征相似度用LDSM的學習系數(shù)表征,所述學習系數(shù)的取值與每個超像素和背景信息集之間的特征相似度呈正相關,利用所述學習系數(shù)構建出潛在目標特征圖,所述潛在目標特征圖可以反映出每個超像素區(qū)域與背景信息集之間的特征差異,包含所有候選顯著目標區(qū)域;
步驟4:從待檢測的輸入圖像中自頂向下地提取出機場和油罐目標的先驗特征,分別生成目標特征圖;對于機場目標,利用直線檢測算子LSD(Line Segment Detector,LSD)對待檢測的輸入圖像進行直線檢測,得到直線檢測結果;然后利用步驟1中超像素分割后的圖像,統(tǒng)計其每個超像素區(qū)域中位于檢測到的直線上的像素點數(shù)目,生成直線密度圖作為機場目標的目標特征圖;對于油罐目標,利用Hough變換方法,對待檢測的輸入圖像進行圓檢測,得到圓的檢測結果,再利用投票機制,為檢測到的圓的內部點和非內部點分配不同的權值,生成圓特征圖,將圓特征圖作為油罐目標的目標特征圖;
步驟5:將步驟3中所述潛在目標特征圖與步驟4中所述機場目標特征圖和油罐目標特征圖,即三幅圖像進行融合,生成層級顯著圖;層級顯著圖中的顯著區(qū)域包括學習過程中每一層獲得的潛在目標特征圖中的候選顯著目標區(qū)域,機場目標區(qū)域和油罐目標區(qū)域;
步驟6:利用潛在主題語義模型LDA(Latent Dirichlet Allocation topic model,LDA)定義自適應學習結束準則,并用所述準則來判斷步驟5所述當層級顯著圖中的顯著區(qū)域與機場和油罐目標之間的特征相似度,以此來判斷是否應該結束當前的學習過程,若學習過程沒有結束,則執(zhí)行步驟7;若學習過程已經結束,則執(zhí)行步驟8;
步驟7:采用多層學習框架,相鄰層級間利用反饋機制,將每一層獲得的層級顯著圖反饋至當前層的輸入圖像中,實現(xiàn)逐層背景壓制,即,將步驟5中所述經過融合得到的層級顯著圖作為增強因子,作用于當前層的輸入圖像,對當前層經過超像素分割后的圖像進行增強,并將增強后得到的新圖像作為下一層學習的輸入圖像,執(zhí)行步驟1,開始新一層的學習過程;如此反復,通過多層學習,逐步將目標區(qū)域突顯出來;
步驟8:停止學習后,將當前層中步驟5所述的層級顯著圖作為最終顯著圖,提取最終顯著圖中的顯著區(qū)域作為目標區(qū)域,在待檢測圖像中標注出目標區(qū)域以及目標的類別標簽,即機場目標或油罐目標,從而獲得遙感目標檢測的最終結果。
所述步驟1中,利用SLIC算法進行超像素分割具體步驟為:
對待檢測的輸入圖像I,以彩色圖像的顏色特征以及各像素點的位置信息為約束,采用K-means聚類算法進行聚類,提取圖像CIELab(CIE(Commission Internationale de L'Eclairage):國際照明委員會,CIELab是CIE的一個顏色系統(tǒng),該色彩空間的坐標是分別L,a和b,因此稱為CIELab顏色空間,)顏色空間的顏色特征,將局部的具有相似顏色特征的像素點用超像素來代表,從而完成圖像的超像素分割過程,選取整幅圖像總的超像素分割個數(shù)為k,則分割后的圖像I包含k個超像素區(qū)域。
所述步驟2中,構建全局信息集與背景信息集的具體步驟如下:
(1)已知超像素分割后的圖像中含有的總的超像素個數(shù)為k,選取每個超像素的顏色特征構造底層特征,即將圖像變換到CIELab顏色空間,分別求取每個超像素中所有像素在CIELab顏色空間三個顏色通道的值,取每個超像素中所有像素點在每個顏色通道的均值,作為該超像素的底層特征,即第i個超像素的底層特征pi表示為:
pi=(lli,lai,lbi) (1)
其中,lli,lai,lbi分別表示在CIELab顏色空間的第i個超像素中的所有像素點在三個顏色通道取值的均值,則所有超像素的特征集為P={p1,p2,…,pk},定義P為全局信息集;其中p1,p2,…,pk分別表示分割后的圖像中第1,2,…,k個超像素區(qū)域的底層特征;1≤i≤k,i表示全局信息集中任意一個超像素,k表示總的超像素個數(shù);
(2)對于全局信息集P={p1,p2,…,pk},設有n個超像素位于圖像邊界上,將位于邊界的n個超像素提取出來,組成背景信息集,n則表示總的背景超像素個數(shù),背景信息集B表示為:
B={b1,b2,…,bn},0<n<k (2)
bj=(llj,laj,lbj),1≤j≤n (3)
其中j表示背景信息集中的任意一個超像素,bj表示背景信息集中超像素區(qū)域的底層特征,llj,laj,lbj分別表示位于CIELab顏色空間的第j個超像素中的所有像素點在三個顏色通道取值的均值。
所述步驟3中,利用學習系數(shù)構建潛在目標特征圖,具體如下:
定義超像素數(shù)據集(pi,bj),其中pi表示全局特征集中超像素區(qū)域的底層特征,bj表示背景信息集中超像素區(qū)域的底層特征,即pi∈P,bj∈B,應用LDSM算子求取每個全局信息集中超像素區(qū)域的底層特征,即pi,與每個背景信息集中超像素區(qū)域的底層特征bj之間的相似性系數(shù)αij,如下式所示:
通過求解公式(4),得到相似性測量的學習系數(shù)αij,當pi與bj相近時,αij近似為1;當pi與bj完全相等時,αij等于1;當pi與bj相差較大時,αij遠離1;由于pi與bj的相似性表述為αij偏離1的程度,將相似性學習系數(shù)αij按公式(5)規(guī)范化為βij,則
其中,表示將|aij-1|的取值范圍歸一化到區(qū)間[0,1],歸一化后的學習系數(shù)βij越接近于0,則表示全局超像素區(qū)域的底層特征pi越接近于背景超像素區(qū)域的底層特征bj;
通過求解以上最優(yōu)化問題,得到一組規(guī)范化后的學習系數(shù),如下式所示:
i表示公式(6)中矩陣的任意一行,第i行表示用特征集中第i個超像素去學習所有背景超像素所得到的學習系數(shù),對每行中各元素取均值,定義潛在特征βi的計算公式為:
其中n為總的背景超像素個數(shù),βij表示公式(6)矩陣中的任意一個元素,由公式(7)得到潛在目標特征圖F=(β1,β2,…,βk),k表示總的超像素個數(shù)。
所述步驟4中,提取機場和油罐目標的目標特征圖,實現(xiàn)如下:
(1)提取機場目標特征圖
對于待檢測的輸入圖像I,應用LSD直線檢測算子初步獲取整幅圖像的直線信息,然后對應當前層的超像素分割結果,計算直線密度特征,分子為每個超像素區(qū)域中位于直線上的像素點的數(shù)目,分母為相應區(qū)域的面積。用公式(8)表示對于任意一個超像素區(qū)域i,對應的直線密度特征di為:
其中NumL表示位于直線上的像素點數(shù)目,Num為總的像素數(shù),region(i)表示第i個超像素區(qū)域,由此得到基于機場目標的目標特征圖,即直線密度圖D=(d1,d2,…,dk),其中d1,d2,…,dk分別表示第1,2,…,k個超像素區(qū)域的直線密度特征,k表示總的超像素個數(shù);
(2)提取油罐目標特征圖
圓特征是油罐目標典型的區(qū)域特征,對待檢測的輸入圖像利用Hough變換進行圓檢測,然后將圓檢測結果轉化為特征圖,并將該特征圖作為油罐目標特征圖;
利用Hough變換進行圓檢測時,對圓心位置(a,c)和圓半徑r組成的(a,c,r)進行投票,其中a為圓心橫坐標,c為圓心縱坐標;投票結果中的局部峰值即為存在的圓心位置坐標和圓的半徑,將投票結果作為圓特征的權重值,滿足公式(9)的所有點應該共享與對應的(a,c,r)相同的權重值,即
(x-a)2+(y-c)2≤r2 (9)
其中(x,y)為目標特征圖中任一位置的坐標,而其他非圓內的點則保留原有的權重值,得到油罐目標的目標特征圖C。
所述步驟5融合生成層級顯著圖,具體如下:
首先將機場目標的目標特征圖D和油罐目標的目標特征圖C進行加法融合,即取并集運算,得到加法融合后的圖像;再將潛在目標特征圖F與前述加法融合后的圖像再次進行融合,融合過程采用對應像素點間相乘的方式,即取交集運算,則融合方式表述為:
S=(D+C)·F (10)
其中,S表示在每層學習過程經過融合生成的顯著圖,即層級顯著圖。
所述步驟6中,定義自適應的學習結束準則,判斷是否應該結束當前的學習過程,具體包括:
(1)首先從數(shù)據庫中獲取機場目標與油罐目標的樣本圖像,應用機場目標的樣本和油罐目標的樣本分別訓練LDA模型,得到機場與油罐目標的主題模型,同時訓練背景的主題模型,得到機場和油罐目標與背景的主題模型。在LDA模型訓練過程中,所有訓練樣本的特征選擇為CIELab顏色空間的顏色特征;經過LDA模型訓練后,得到背景主題模型p(z|bg),機場主題模型p(z|fg1)和油罐主題模型p(z|fg2);
(2)對于每一層的層級顯著圖,設定閾值0.6。當超像素區(qū)域的取值大于0.6時,認為該超像素區(qū)域為顯著區(qū)域,否則,認為該超像素區(qū)域不顯著;計算第i個顯著區(qū)域的主題模型p(z|si),其中si表示第i個超像素顯著區(qū)域,計算主題模型p(z|si)與p(z|bg),p(z|fg1),p(z|fg2)之間的距離,取距離最小的主題模型對應的類型標簽,類型標簽分別為機場目標、油罐目標或背景三者中的一個,給顯著區(qū)域si標注同樣的標簽,當所有顯著區(qū)域的類型標簽都為目標的類型標簽時,結束學習,并輸出每個顯著區(qū)域的位置及其類型標簽值,否則,繼續(xù)下一層的增強學習過程;在計算主題模型之間的距離時,采用兩向量之間的余弦距離。
所述步驟7中,采用多層學習框架,相鄰層級間利用反饋機制,將每一層的層級顯著圖反饋至當前層的輸入圖像中,實現(xiàn)逐層的背景壓制,具體包括:
當學習到的當前層的層級顯著圖S不滿足學習結束條件時,首先利用拉伸函數(shù)對層級顯著圖S進行拉伸,公式如下:
R=f(S) (11)
其中,f表示作用于層級顯著圖S的拉伸函數(shù),所述拉伸函數(shù)選擇二次函數(shù);將拉伸后的矩陣R定義為增強矩陣,并應用增強矩陣對輸入圖像進行增強。則第一層的圖像增強公式如下:
I2=I·R1 (12)
R1是學習過程中第一層的增強矩陣,由待檢測的輸入圖像I通過層級間反饋得到第一層的增強圖像I2,將I2作為第二層增強學習過程的輸入圖像,對I2進行前述的特征提取步驟,得到第二層學習過程的層級顯著圖,以此類推,則層級間的反饋表達式為:
It+1=It·Rt (13)
其中,It和It+1分別表示第t層和第t+1層的輸入圖像,Rt為第t層的增強矩陣,通過公式(13)的層級間反饋過程,第t+1層的輸入圖像It+1目標區(qū)域的顯著性得到保持而背景區(qū)域被壓制;
在第t次的學習過程中,對于當前層的輸入圖像It,應用SLIC算法對其進行超像素分割,將圖像分割為kt個超像素區(qū)域;采用的超像素分割數(shù)目滿足以下條件:
k1≥k2≥k3≥…≥kt≥…,t=1,2,3,… (14)
即采用由精到粗的分割模式,最初的精細分割能夠準確地保留圖像的邊緣特征,后續(xù)的粗分割可以適當減少運算量;
更新后的圖像It+1將作為下一層的輸入圖像開始新一層的學習,執(zhí)行步驟1。
所述步驟8中,在最終顯著圖中獲取目標區(qū)域以及目標的類別標簽,具體包括:
在學習過程中,如果當前層的層級顯著圖滿足自適應學習結束準則時,則結束學習過程;當前層所在的層數(shù)T則表示為總的學習層數(shù),也是學習過程的迭代次數(shù);將當前層的層級顯著圖作為最終的顯著圖,即最終顯著圖Sfinal表示為:
Sfinal=ST (15)
ST表示在第T層學習過程中得到的層級顯著圖S。
設s為最終顯著圖Sfinal中的任一顯著區(qū)域,根據自適應學習結束準則所確定的該區(qū)域的標簽,即機場目標或油罐目標,在待檢測的輸入圖像中標注機場目標或油罐目標的位置,完成遙感目標的檢測任務。
本發(fā)明具有如下的優(yōu)點和有益效果:
(1)本發(fā)明是采用最小距離的相似性測量算子進行特征向量的相似性測量,其對應每個超像素可得到一個相似性測量系數(shù),作為該超像素的潛在目標特征,從而學習出每個超像素與背景信息集間的特征差異。
(2)本發(fā)明采用層次化增強的結構框架自適應學習潛在目標特征。在圖像的每層學習更新過程中,都使得目標區(qū)域的特征表示更加顯著,同時壓制背景區(qū)域的特征表示,使得顯著目標逐步被突顯出來。
(3)本發(fā)明自適應決定學習層數(shù)。該模型當層級顯著圖中的目標區(qū)域足夠顯著時,可以自動控制結束學習過程,從而自適應地決定學習的層數(shù),減少了人工干預,這使得該算法對不同的輸入圖像具有很好的適應性。
(4)本發(fā)明采用由精到粗的超像素分割方法。在層次化學習中進行超像素分割時先進行精細分割再進行粗分割。首先進行精細分割,可以提高分割的準確性,便于得到圖像中目標物體的精確邊界信息,再進行粗分割,可以在保證準確度的基礎上提高算法的快速性。
(5)在改進層次化增強學習模型時,提出了一種將自頂向下的目標特征圖與自底向上的底層潛在目標特征圖相融合的方式,這樣既能夠在大幅遙感圖像中提取出顏色、紋理相對顯著的候選顯著區(qū)域,同時也能夠根據目標檢測的任務驅動,在候選顯著區(qū)域中篩選出符合檢測目標任務需求的顯著區(qū)域,使構建出的顯著性檢測模型更具有針對性和靈活性。
(6)本發(fā)明應用LDA主題模型作為學習結束的判決條件,由于LDA主題模型可以提取任何目標的主題特征,所以該方法可以處理多目標的檢測問題,使得該方法在確定顯著區(qū)域的同時,可以確定目標類別。
本發(fā)明提出的改進的層次化顯著模型的遙感目標檢測方法,可以準確檢測出不同尺寸和光照條件下低分辨率遙感圖像中的機場和油罐目標,具有較好的魯棒性。
附圖說明
圖1為本發(fā)明針對改進的層次化顯著模型的遙感目標檢測方法流程圖詳解;
圖2為本發(fā)明中遙感目標檢測算法在多種尺度和光照條件下的機場檢測效果圖;其中a是對小尺寸機場目標的檢測效果圖,b是對大尺寸機場目標的檢測效果圖,c是在光照不充足的條件下對機場目標的檢測效果圖;
圖3為本發(fā)明中遙感目標檢測算法對于機場和油罐混合目標的檢測結果示意圖,其中a是對機場目標的檢測結果,b是對油罐目標的檢測結果。
具體實施方式
參見圖1所示,本發(fā)明基于改進的層次化顯著模型的遙感目標檢測方法,具體實施方式以機場和油罐混合目標為例進行說明,其具體實施步驟如下:
步驟1:將待檢測的輸入圖像利用簡單線性迭代聚類算法SLIC進行超像素分割,將所述圖像中近鄰區(qū)域內具有顏色相似性的像素聚類,采用超像素來表示聚為一類的區(qū)域,得到超像素分割后的圖像;
對待檢測的輸入圖像I,以彩色圖像的顏色特征以及各像素點的位置信息為約束,采用K-means聚類算法進行聚類,提取圖像CIELab顏色空間的顏色特征,將局部的具有相似顏色特征的像素點用超像素來代表,從而完成圖像的超像素分割過程,選取整幅圖像總的超像素分割個數(shù)為k,則分割后的圖像I包含k個超像素區(qū)域。
步驟2:將分割后的圖像中每個超像素的顏色特征作為底層特征,構建全局信息集,同時,提取位于分割后的圖像邊界位置的所有超像素的底層特征構造背景信息集;
(1)已知超像素分割后的圖像中含有的總的超像素個數(shù)為k,選取每個超像素的顏色特征構造底層特征,即將圖像變換到CIELab顏色空間,分別求取每個超像素中所有像素在CIELab顏色空間三個顏色通道的值,取每個超像素中所有像素點在每個顏色通道的均值,作為該超像素的底層特征,即第i個超像素的底層特征pi表示為:
pi=(lli,lai,lbi) (1)
其中,lli,lai,lbi分別表示在CIELab顏色空間的第i個超像素中的所有像素點在三個顏色通道取值的均值,則所有超像素的特征集為P={p1,p2,…,pk},定義P為全局信息集;其中p1,p2,…,pk分別表示分割后的圖像中第1,2,…,k個超像素區(qū)域的底層特征;1≤i≤k,i表示全局信息集中任意一個超像素,k表示總的超像素個數(shù);
(2)對于全局信息集P={p1,p2,…,pk},設有n個超像素位于圖像邊界上,將位于邊界的n個超像素提取出來,組成背景信息集,n則表示總的背景超像素個數(shù),背景信息集B表示為:
B={b1,b2,…,bn},0<n<k (2)
bj=(llj,laj,lbj),1≤j≤n (3)
其中j表示背景信息集中的任意一個超像素,bj表示背景信息集中超像素區(qū)域的底層特征,llj,laj,lbj分別表示位于CIELab顏色空間的第j個超像素中的所有像素點在三個顏色通道取值的均值。
步驟3:采用基于最小距離的相似性測量算子LDSM,學習每個超像素和背景信息集之間的特征相似度,所述特征相似度用LDSM的學習系數(shù)表征,所述學習系數(shù)的取值與每個超像素和背景信息集之間的特征相似度呈正相關,利用所述學習系數(shù)構建出潛在目標特征圖,所述的潛在目標特征圖可以反映出每個超像素區(qū)域與背景信息集之間的特征差異,包含所有候選顯著目標區(qū)域;
定義超像素數(shù)據集(pi,bj),其中pi表示全局特征集中超像素區(qū)域的底層特征,bj表示背景信息集中超像素區(qū)域的底層特征,即pi∈P,bj∈B,應用LDSM算子求取每個全局信息集中超像素區(qū)域的底層特征,即pi,與每個背景信息集中超像素區(qū)域的底層特征bj之間的相似性系數(shù)αij,如下式所示:
通過求解公式(4),得到相似性測量的學習系數(shù)αij,當pi與bj相近時,αij近似為1;當pi與bj完全相等時,αij等于1;當pi與bj相差較大時,αij遠離1;由于pi與bj的相似性表述為αij偏離1的程度,將相似性學習系數(shù)αij按公式(5)規(guī)范化為βij,則
其中,表示將|aij-1|的取值范圍歸一化到區(qū)間[0,1],歸一化后的學習系數(shù)βij越接近于0,則表示全局超像素區(qū)域的底層特征pi越接近于背景超像素區(qū)域的底層特征bj;
通過求解以上最優(yōu)化問題,得到一組規(guī)范化后的學習系數(shù),如下式所示:
i表示公式(6)中矩陣的任意一行,第i行表示用特征集中第i個超像素去學習所有背景超像素所得到的學習系數(shù),對每行中各元素取均值,定義潛在特征βi的計算公式為:
其中n為總的背景超像素個數(shù),βij表示公式(6)矩陣中的任意一個元素,由公式(7)得到潛在目標特征圖F=(β1,β2,…,βk),k表示總的超像素個數(shù)。
步驟4:從待檢測的輸入圖像中自頂向下地提取出機場和油罐目標的先驗特征,分別生成目標特征圖。對于機場目標,利用LSD(Line Segment Detector,直線檢測算子)對待檢測的輸入圖像進行直線檢測,得到直線檢測結果,然后利用步驟1中超像素分割后的圖像,統(tǒng)計其每個超像素區(qū)域中位于檢測到的直線上的像素點數(shù)目,生成直線密度圖作為機場目標的目標特征圖;對于油罐目標,利用Hough變換方法,對待檢測的輸入圖像進行圓檢測,得到圓的檢測結果,再利用投票機制,為檢測到的圓的內部點和非內部點分配不同的權值,生成圓特征圖,將圓特征圖作為油罐目標的目標特征圖;
(1)提取機場目標特征圖
對于待檢測的輸入圖像I,應用LSD直線檢測算子初步獲取整幅圖像的直線信息,然后對應當前層的超像素分割結果,計算直線密度特征,分子為每個超像素區(qū)域中位于直線上的像素點的數(shù)目,分母為相應區(qū)域的面積。用公式(8)表示對于任意一個超像素區(qū)域i,對應的直線密度特征di為:
其中NumL表示位于直線上的像素點數(shù)目,Num為總的像素數(shù),region(i)表示第i個超像素區(qū)域,由此得到基于機場目標的目標特征圖,即直線密度圖D=(d1,d2,…,dk),其中d1,d2,…,dk分別表示第1,2,…,k個超像素區(qū)域的直線密度特征,k表示總的超像素個數(shù);
(2)提取油罐目標特征圖
圓特征是油罐目標典型的區(qū)域特征,對待檢測的輸入圖像利用Hough變換進行圓檢測,然后將圓檢測結果轉化為特征圖,并將該特征圖作為油罐目標特征圖;
利用Hough變換進行圓檢測時,對圓心位置(a,c)和圓半徑r組成的(a,c,r)進行投票,其中a為圓心橫坐標,c為圓心縱坐標;投票結果中的局部峰值即為存在的圓心位置坐標和圓的半徑,將投票結果作為圓特征的權重值,滿足公式(9)的所有點應該共享與對應的(a,c,r)相同的權重值,即
(x-a)2+(y-c)2≤r2 (9)
其中(x,y)為目標特征圖中任一位置的坐標,而其他非圓內的點則保留原有的權重值,得到油罐目標的目標特征圖C。
步驟5:將步驟3中所述潛在目標特征圖F與步驟4中所述機場目標特征圖D和油罐目標特征圖C,將這三幅特征圖進行融合,生成層級顯著圖;層級顯著圖中的顯著區(qū)域包括學習過程中每一層獲得的潛在目標特征圖中的候選顯著目標區(qū)域,機場目標區(qū)域和油罐目標區(qū)域。
首先將機場目標的目標特征圖D和油罐目標的目標特征圖C進行加法融合,即取并集運算,得到加法融合后的圖像;再將潛在目標特征圖F與前述加法融合后的圖像再次進行融合,融合過程采用對應像素點間相乘的方式,即取交集運算,則融合方式表述為:
S=(D+C)·F (10)
其中,S表示在每層學習過程經過融合生成的顯著圖,即層級顯著圖。
步驟6:利用LDA主題模型來定義自適應學習結束準則,并用此準則判斷步驟5所述當層級顯著圖中的顯著區(qū)域與機場和油罐目標之間的特征相似度,以此來判斷是否應該結束當前的學習過程。若學習過程沒有結束,則執(zhí)行步驟7;若學習過程已經結束,則執(zhí)行步驟8;
(1)首先從數(shù)據庫中獲取機場目標與油罐目標的樣本圖像,應用機場目標的樣本和油罐目標的樣本分別訓練LDA模型,得到機場與油罐目標的主題模型,同時訓練背景的主題模型,得到機場和油罐目標與背景的主題模型。在LDA模型訓練過程中,所有訓練樣本的特征選擇為CIELab顏色空間的顏色特征;經過LDA模型訓練后,得到背景主題模型p(z|bg),機場主題模型p(z|fg1)和油罐主題模型p(z|fg2);
(2)對于每一層的層級顯著圖,設定閾值0.6。當超像素區(qū)域的取值大于0.6時,認為該超像素區(qū)域為顯著區(qū)域,否則,認為該超像素區(qū)域不顯著;計算第i個顯著區(qū)域的主題模型p(z|si),其中si表示第i個超像素顯著區(qū)域,計算主題模型p(z|si)與p(z|bg),p(z|fg1),p(z|fg2)之間的距離,取距離最小的主題模型對應的類型標簽,類型標簽分別為機場目標、油罐目標或背景三者中的一個,給顯著區(qū)域si標注同樣的標簽,當所有顯著區(qū)域的類型標簽都為目標的類型標簽時,結束學習,并輸出每個顯著區(qū)域的位置及其類型標簽值,否則,繼續(xù)下一層的增強學習過程;在計算主題模型之間的距離時,采用兩向量之間的余弦距離。
步驟7:采用多層學習框架,相鄰層級間利用反饋機制,將每一層獲得的層級顯著圖反饋至當前層的輸入圖像中,實現(xiàn)逐層背景壓制。即,將步驟5中所述經過融合得到的層級顯著圖作為增強因子,作用于當前層的輸入圖像,對當前層經過超像素分割后的圖像進行增強,并將增強后得到的新圖像作為下一層學習的輸入圖像,執(zhí)行步驟1,開始新一層的學習過程;如此反復,通過多層學習,可逐步將目標區(qū)域突顯出來;
當學習到的當前層的層級顯著圖S不滿足學習結束條件時,首先利用拉伸函數(shù)對層級顯著圖S進行拉伸,公式如下:
R=f(S) (11)
其中,f表示作用于層級顯著圖S的拉伸函數(shù),所述拉伸函數(shù)選擇二次函數(shù);將拉伸后的矩陣R定義為增強矩陣,并應用增強矩陣對輸入圖像進行增強。則第一層的圖像增強公式如下:
I2=I·R1 (12)
R1是學習過程中第一層的增強矩陣,由待檢測的輸入圖像I通過層級間反饋得到第一層的增強圖像I2,將I2作為第二層增強學習過程的輸入圖像,對I2進行前述的特征提取步驟,得到第二層學習過程的層級顯著圖,以此類推,則層級間的反饋表達式為:
It+1=It·Rt (13)
其中,It和It+1分別表示第t層和第t+1層的輸入圖像,Rt為第t層的增強矩陣,通過公式(13)的層級間反饋過程,第t+1層的輸入圖像It+1目標區(qū)域的顯著性得到保持而背景區(qū)域被壓制;
在第t次的學習過程中,對于當前層的輸入圖像It,應用SLIC算法對其進行超像素分割,將圖像分割為kt個超像素區(qū)域;采用的超像素分割數(shù)目滿足以下條件:
k1≥k2≥k3≥…≥kt≥…,t=1,2,3,… (14)
即采用由精到粗的分割模式,最初的精細分割能夠準確地保留圖像的邊緣特征,后續(xù)的粗分割可以適當減少運算量;
更新后的圖像It+1將作為下一層的輸入圖像開始新一層的學習,執(zhí)行步驟1。
步驟8:停止學習后,將當前層中步驟5所述的層級顯著圖作為最終顯著圖,提取最終顯著圖中的顯著區(qū)域作為目標區(qū)域,在待檢測圖像中標注目標區(qū)域以及目標的類別標簽,即機場目標或油罐目標,從而獲得遙感目標檢測的最終結果。
在學習過程中,如果當前層的層級顯著圖滿足自適應學習結束準則時,則結束學習過程;當前層所在的層數(shù)T則表示為總的學習層數(shù),也是學習過程的迭代次數(shù);將當前層的層級顯著圖作為最終的顯著圖,即最終顯著圖Sfinal表示為:
Sfinal=ST (15)
ST表示在第T層學習過程中得到的層級顯著圖S。
設s為最終顯著圖Sfinal中的任一顯著區(qū)域,根據自適應學習結束準則所確定的該區(qū)域的標簽,即機場目標或油罐目標,在待檢測的輸入圖像中標注機場目標或油罐目標的位置,完成遙感目標的檢測任務。
圖2是本發(fā)明中遙感目標檢測算法在多種尺度和光照條件下的機場檢測效果圖,(a)是對小尺寸機場的檢測效果圖。從檢測結果可以看出,本發(fā)明提出的這種遙感目標檢測方法能夠較好地檢測出整個機場區(qū)域,并且能夠很好地壓制周圍背景區(qū)域的干擾,檢測出的機場顯著區(qū)域比較完整。其中(b)是對大尺寸機場目標的檢測效果圖。從檢測結果可以看出,在大尺度下條件,對機場目標的檢測結果也很完整。(c)是在光照不充足的條件下對機場目標的檢測效果圖。從檢測結果可以看出,當光照不足時,該目標檢測模型仍能夠準確地提取出機場目標所在位置。由圖2可以看出,該目標檢測模型對于遙感圖像的地表環(huán)境、目標尺度大小以及光照變化都具有很好的自適應能力,即該算法具有應用范圍廣,魯棒性好的特點。
圖3是本發(fā)明中遙感目標檢測算法對于機場和油罐混合目標的檢測結果示意圖。(a)是對機場目標的檢測結果,從檢測結果可以看出,本發(fā)明能夠準確地檢測到目標區(qū)域,對遙感目標的邊緣保持性較好,而且能同時高亮整個目標區(qū)域。(b)是對油罐目標的檢測結果,從檢測結果可以看出,背景雜亂程度略有增加,這是由于一幅圖像中通常存在多個油罐目標,因此對背景的壓制沒有單個目標時壓制得完全。但是盡管背景略有雜亂,圖中最顯著區(qū)域仍然能夠準確的命中目標。