一種基于泛函映射的多模態(tài)圖像分割方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理中的圖像分割技術(shù)領(lǐng)域，特別是基于泛函映射的多模態(tài)圖像 分割方法。
【背景技術(shù)】
[0002] 數(shù)字圖像技術(shù)的蓬勃發(fā)展催生了大量的新興產(chǎn)業(yè)，如遙感衛(wèi)星圖像定位、醫(yī)學(xué)影 像分析、交通智能識(shí)別等等，促進(jìn)了信息化社會(huì)的日臻成熟。圖像作為人類感知世界的重要 橋梁，與視覺領(lǐng)域也緊密相關(guān)。例如，圖像處理在人工智能、機(jī)器視覺、生理學(xué)、醫(yī)學(xué)、氣象 學(xué)、軍事學(xué)等領(lǐng)域的各類視覺應(yīng)用中的需求不斷增長(zhǎng)，并且發(fā)揮著越來越關(guān)鍵的作用。而圖 像分割作為圖像預(yù)處理方法，為圖像中高層語(yǔ)義分析奠定了堅(jiān)實(shí)的基礎(chǔ)，例如圖像識(shí)別、目 標(biāo)定位、邊緣檢測(cè)等許多應(yīng)用中均可使用圖像分割技術(shù)提升性能。
[0003] 圖像分割，顧名思義是將給定的圖像按照某種規(guī)則或目標(biāo)進(jìn)行區(qū)域分割。例如，一 副湖邊拍攝的圖像可以分割為湖面、人、小船、房屋、樹叢、天空等多個(gè)代表不同語(yǔ)義類別的 區(qū)域，這里的人和小船可以看做目標(biāo)前景對(duì)象，其余的可看做背景對(duì)象。傳統(tǒng)的圖像分割技 術(shù)主要針對(duì)單幅圖像的灰度、顏色、紋理、形狀等線索進(jìn)行處理，典型的方法有閾值分割、區(qū) 域分割、邊緣分割、圖分割、基于能量泛函分割等。例如閾值分割方法根據(jù)設(shè)定閾值對(duì)灰度 值判斷其所屬類別；邊緣分割方法根據(jù)邊緣灰度值具有階躍性或突變性等特點(diǎn)進(jìn)行檢測(cè)； 區(qū)域分割方法根據(jù)圖像相似性準(zhǔn)則進(jìn)行判定，主要有分水嶺、區(qū)域分裂合并、陣子區(qū)域生長(zhǎng) 等技術(shù)；圖分割將圖像看做以像素為頂點(diǎn)而相鄰像素用邊連接的無向圖，每個(gè)分割區(qū)域看 做圖中的子圖；基于能量泛函分割利用連續(xù)曲線表示目標(biāo)邊緣，并通過能量泛函最小化求 解分割結(jié)果，一般分為參數(shù)活動(dòng)輪廓模型和幾何活動(dòng)輪廓模型兩種。
[0004] 上述方法的不足點(diǎn)主要表現(xiàn)在以下幾個(gè)方面：第一，直接針對(duì)圖像原始像素處理， 增加了算法的時(shí)間復(fù)雜度，加大了計(jì)算開銷；第二，底層處理技術(shù)如閾值分割和邊緣分割很 難與圖像的語(yǔ)義特征建立關(guān)聯(lián)；第三，忽略了圖像之間的互補(bǔ)信息，尤其是包含相似目標(biāo)的 圖像之間存在一些共同的結(jié)構(gòu)和潛在信息，直接影響了圖像目標(biāo)的分割效果。因此，這些方 法并不適合大規(guī)模的包含共同目標(biāo)的圖像分割任務(wù)，由此對(duì)數(shù)量級(jí)較大的圖像識(shí)別、目標(biāo) 定位等實(shí)際應(yīng)用產(chǎn)生一定的不利影響?；谶@些考慮，針對(duì)智能交通識(shí)別、醫(yī)學(xué)影響分析、 大規(guī)模圖像識(shí)別等應(yīng)用領(lǐng)域，迫切需要設(shè)計(jì)一種能建立圖像底層特征與語(yǔ)義特征的關(guān)聯(lián)， 并可多方位有效利用圖像之間的潛在結(jié)構(gòu)信息的圖像分割技術(shù)。

【發(fā)明內(nèi)容】

[0005] 為了有效利用圖像之間的潛在結(jié)構(gòu)信息，降低圖像分割處理的計(jì)算復(fù)雜度，提升 圖像中的目標(biāo)分割效果，本發(fā)明提出了一種基于泛函映射的多模態(tài)圖像分割方法，該方法 包括以下步驟：
[0006] 1、獲取包含目標(biāo)的圖像集合后，進(jìn)行以下操作：
[0007] 1)將集合中的各圖像分割成超像素塊，用不同的特征描述子表征分割后的超像素 以獲得多模態(tài)圖像表示；
[0008] 2)在多模態(tài)圖像上建立基于超像素的圖，并構(gòu)建相應(yīng)的拉普拉斯矩陣；
[0009] 3)表征每幅圖像的約減泛函空間，建立圖像對(duì)之間的泛函映射；
[0010] 4)將每種模態(tài)的圖像泛函映射與圖像線索對(duì)齊，并引入隱函數(shù)保持泛函映射之間 的一致性；
[0011] 5)依據(jù)多模態(tài)映射一致性獲得泛函映射表達(dá)，通過聯(lián)合優(yōu)化目標(biāo)函數(shù)計(jì)算圖像對(duì) 應(yīng)的分割函數(shù)，得到圖像最優(yōu)分割表示，完成圖像分割。
[0012] 進(jìn)一步，所述的步驟1)中所述的將集合中的各圖像分割成超像素塊，用不同的特 征描述子表征分割后的超像素以獲得多模態(tài)圖像表示，具體是：
[0013] 1)設(shè)集合由n幅相關(guān)聯(lián)的圖像組成，記為:^認(rèn)石…人卜每幅圖像含有一個(gè)或 多個(gè)目標(biāo)類，整個(gè)集合的目標(biāo)類別數(shù)目為C;
[0014] 2)將圖像中的像素看做圖的頂點(diǎn)，利用圖分割方法將集合中的圖像劃分為q個(gè)小 區(qū)域（如100)，q為正整數(shù)，這些小區(qū)域由取值相近的像素點(diǎn)構(gòu)成，稱之為超像素，第i幅圖 像中屬于第C類的分割塊表示為Si。，其中i= {1，2,…，n}，C= {1，2,…，C};
[0015] 3)利用m種不同的特征描述子，如尺度不變特征變換（SIFT)、局部二值模式 (LBP)、梯度直方圖（HOG)等，表征圖像中的各超像素，從而獲得多方位反映圖像本征信息 的多模態(tài)特征表示，如第i幅圖像對(duì)應(yīng)矩陣集合< ={<,足2，...，乂"'}，即第k種圖像特征描 述子對(duì)應(yīng)第k種模態(tài)if。
[0016] 進(jìn)一步，所述的步驟2)中的在多模態(tài)圖像上建立基于超像素的圖，并構(gòu)建相應(yīng)的 拉普拉斯矩陣，具體是：
[0017] 2. 1)將每種圖像模態(tài)上的q個(gè)超像素看做圖的頂點(diǎn)，構(gòu)建相應(yīng)頂點(diǎn)全連接而成的 超像素圖；
[0018] 2.2)分別在各不同模態(tài)的超像素圖上構(gòu)建拉普拉斯矩陣/； = {^乂,2,...,1；"}，它 們通過高斯加權(quán)策略計(jì)算的權(quán)重矩陣W獲得，即L=D-W，其中D是一對(duì)角陣，其對(duì)角線元素 為W的各列元素和。
[0019] 所述的步驟3)中的表征每幅圖像的線性約減泛函空間，建立圖像對(duì)之間的泛函 映射，具體是：
[0020] 1)計(jì)算多模態(tài)的拉普拉斯矩陣/； = {6,以，...,1；"}的特征值和特征向量，并取前 P(P〈q)個(gè)特征向量張成約減泛函空間乃，且每幅圖像的各模態(tài)上對(duì)應(yīng)的特征值分別組成 對(duì)角矩陣A,.二{ALaL.mA;"};
[0021] 2)設(shè)每幅圖像分割函數(shù)為4對(duì)應(yīng)Si。，該函數(shù)的搜索空間對(duì)應(yīng)一組基向量 丨所張成的p維空間巧，且4對(duì)第i幅圖像的系數(shù)表示為線性函數(shù)組合 P /= ；￡./>/ =盡f，其中Bi為拉普拉斯矩陣前p個(gè)特征向量構(gòu)成；
[0022] 3)通過線性泛函映射反映任意兩兩成對(duì)圖像之間的關(guān)系，如從第i幅圖像的子空 間巧到第j幅圖像的子空間巧的泛函映射用矩陣禹表示，即子空間乃中的函數(shù)映 射到子空間乃中的表達(dá)值可由計(jì)算氏/得到。
[0023] 所述的步驟4)中的將每種模態(tài)的圖像泛函映射與圖像線索對(duì)齊，并引入隱函數(shù) 保持泛函映射之間的一致性，具體是：
[0024] 1)圖像線索對(duì)應(yīng)不同的描述算子，每種模態(tài)的圖像泛函映射與圖像線索對(duì)齊通過 優(yōu)化以下表達(dá)式實(shí)現(xiàn)，即