圖像分割方法
【專利摘要】本發(fā)明涉及照片及視頻圖像的處理。針對從較粗糙到較精細的N個圖像細節(jié)級別搜索代價函數(shù)的最小值，并且在每個圖像細節(jié)級別上將該圖像劃分為多個區(qū)域；通過η次連續(xù)迭代為每個區(qū)域指定一個單一分割值，此后對于不同類型的圖像分割為這些區(qū)域邊界處的接縫計算代價函數(shù)的值，并針對每個區(qū)域選擇一個分割值，該分割值使得這些接縫和數(shù)據(jù)的代價函數(shù)之和為最小。此外，為了避免在作為圖像中噪音的結(jié)果由圍繞任何局部區(qū)域的接縫的高代價所造成的、在這些局部最小值之一中搜索全局最小值的過程中發(fā)生暫停（凍結(jié)），在這些代價函數(shù)之和中以接縫函數(shù)的一個減小的輸入值在每個細節(jié)級別上執(zhí)行若干次參比迭代。其技術(shù)結(jié)果就是極少使用一個移動裝置的內(nèi)存資源的圖像分割，而同時既維持了對圖像噪音的抵抗力也維持了運行速度。
【專利說明】圖像分割方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及照相和視頻成像領(lǐng)域，具體地說，在帶有集成照相和攝像機的移動裝置的幫助下，可用于例如改進取自若干個輸入幀的生成圖像的質(zhì)量。
[0002]發(fā)明背景
[0003]通常，由于在不同的時刻會發(fā)生若干個輸入幀(快照)的曝光，因此在各個幀之間構(gòu)建場景過程中會發(fā)生失真現(xiàn)象，這體現(xiàn)在移動(不穩(wěn)定)對象的不同配置和場景照明條件的變化(例如由于云量發(fā)生變化)中，這將影響所得圖像的質(zhì)量，并體現(xiàn)在:
[0004]-不穩(wěn)定對象出現(xiàn)雙重輪廓，且在某些情況下，圖像中出現(xiàn)雙倍數(shù)量的移動對象
[0005]-不穩(wěn)定對象出現(xiàn)半透明效果
[0006]-圖像各區(qū)域出現(xiàn)明顯的亮度或色彩平衡不規(guī)則
[0007]當前，通過移動裝置的幫助來改進圖片質(zhì)量的方法之一在于，在一個短的時間期間內(nèi)拍攝若干個幀，隨后通過縫合若干個圖像，將其合并成單一的所得相片(創(chuàng)建具備動態(tài)范圍得到增強且圖像噪聲水平得到降低等特征的全景圖像)。在此過程中，縫合應(yīng)該以接縫通過相鄰初始圖像中差異最少的軌跡并繞過不穩(wěn)定對象的方式進行。一種用于確定最優(yōu)接縫軌跡的普遍的方法使用各種圖像分割方法[Alexander Vezhnevets, Olga Barinova,“圖像分割方法:自動分割”，《計算機圖形與多媒體》，第4 (4)期/2006:http: //cgm.computergraphics.ru/content/view/147]。
[0008]圖像分割與縫合最適用于在以下情況下從若干個初始圖像創(chuàng)建一個圖像:
[0009]-基于若干次拍攝創(chuàng)建全景圖像，其中每次拍攝僅描繪全景圖的一部分
[0010]-基于若干個動態(tài)范圍較低的初始圖片創(chuàng)建動態(tài)范圍較高的圖像
[0011]借助于分割，存在多種方法用于改進圖像的質(zhì)量。
[0012]集群技術(shù)方法使用被指定至某個特征空間的像點表示，且此特征空間引入了度量規(guī)格(對接近程度的度量)。
[0013]此方法的缺點在于，完全未考慮或間接考慮到點的空間安排(例如，將點坐標用作特征之一)。這也是在對像點進行集群之后通常要執(zhí)行定義連接組件的過程的原因。同時，集群技術(shù)方法不能較好適用于有噪音的圖像:通常會丟失單獨的區(qū)域點、創(chuàng)建若干個小區(qū)域等。
[0014]區(qū)域生長方法[A.Tremeau與N.Borel，“顏色分割的區(qū)域生長和合并算法”，《模式識別》，1997 ；Y.Kanai，“使用強度和彩色信息進行圖像分割”，《SPIE -可視通信與圖像處理》98 ；B.Cramariuc> M.Gabbouj與J.Astola, “基于集群技術(shù)的彩色圖像分割區(qū)域生長算法”，《數(shù)字信號處理國際會議》，1997 ;及Y.Deng、B.S.Manjunath與H.Shin, “彩色圖像分割”，CVPR1999]直接考慮了點的空間安排。首先，根據(jù)一定的規(guī)則選擇區(qū)域中心，同時滿足特定標準的臨近點在各個階段將添加到這些區(qū)域中心。直到所有像點都已添加到這些區(qū)域中的任一個上，該區(qū)域生長過程停止?；谀硞€點是否添加到某個區(qū)域使用不同的標準:某個點距離某個區(qū)域中心的接近程度、距離在上一步已添加到某個區(qū)域的臨近點的接近程度、根據(jù)某些區(qū)域統(tǒng)計得出的接近程度、從某個點到某個區(qū)域中心的最短路徑的代價，等等。在大多數(shù)情況下，該區(qū)域生長過程用于覆蓋單獨的區(qū)域。然而，針對若干個區(qū)域逐步或同步執(zhí)行此過程，可獲得整個圖像的分區(qū)。
[0015]此方法的缺點在于，其不適用于接縫縫合任務(wù)；僅適用于只存在一個參比圖像的場合。另外，其需要消耗移動裝置上的大量存儲資源。并且，數(shù)據(jù)處理不夠快速。
[0016]分割合并方法[A.Tremeau與N.Borel，“顏色分割的區(qū)域生長和合并算法”，《模式識別》，1997 ；B.Cramariuc>M.Gabbouj與J.Astola, “基于集群技術(shù)的彩色圖像分割區(qū)域生長算法”，《數(shù)字信號處理國際會議》，1997 ；M.Celenk, “紋理圖像分割的層級色彩集群”，《第29屆系統(tǒng)理論東南討論會會議錄》，1997] ； [S.Ji與H.ff.Park, “基于區(qū)域相干性的彩色圖像分割”，《ICIP會議錄》98 ；L.Shafarenko、M.Petrov與J.Kittler, “隨機紋理彩色圖像的自動分水嶺分割”，《圖像處理IEEE交易》，1997 ;及M.Barn1、S.Rossi與A.Mecocci，“低層級圖像分割的模糊專家系統(tǒng)”，EUSIPC0-96]包含兩個主要的階段:分割與合并。分割開始于對某個圖像進行分區(qū)，但未必分成均勻的區(qū)域。在找到滿足分割塊均勻性要求的分區(qū)圖像之前，區(qū)域分割過程將一直執(zhí)行下去(過度劃分)。當某個圖像分區(qū)獲得最大尺寸的均勻區(qū)域時，類似相鄰分割塊便實現(xiàn)統(tǒng)一。
[0017]這些方法的缺點在于，數(shù)據(jù)處理速度低下、對存儲資源的需求增加，以及僅適用于單一參比圖像。
[0018]馬爾可夫場模型方法[G.R.Cross與A.K.Jain，“馬爾可夫隨機場紋理模型”，《模式分析與機器智能IEEE交易》，1983 ；S.German與D.German,“隨機性松弛、吉布斯分布和圖像貝氏恢復(fù)”，《模式分析與機器智能IEEE交易》，1984 ；R.Szelisk1、R.Zabih、D.Scharstein、0.Veksler、V.Kolmogorov>A.Agarwala>M.Tappen、C.Rother, “馬爾可夫隨機場與基于平滑度的先前技術(shù)的能量最小化方法對比研究”，《模式分析與機器智能IEEE交易》，卷30，第6期，2008年6月]基于以下假設(shè):圖像每個點的顏色取決于特定數(shù)量的臨近點的顏色。對圖像模型進行了匯總。也可以對紋理分割進行匯總[Y.Deng、B.S.Manjunath與H.Shin, “彩色圖像分割”，CVPR1999]。
[0019]此方法的缺點在于其實施困難。
[0020]基于邊緣檢測運算符的方法[M.Jacob、M.Unser, “使用類Canny標準針對特征檢測設(shè)計可操縱的篩選器”，《模式分析與機器智能IEEE交易》，卷26，第8期，第1007 - 1019頁，Atilla Ozmen與Emir Tufan Akman, “使用可操縱的篩選器和CNN的邊緣檢測”,2002]采用的分割方法在于尋找區(qū)域邊界，其對半色調(diào)圖像表現(xiàn)良好。半色調(diào)圖像被視為兩個變量的函數(shù)，且假定區(qū)域邊界對應(yīng)于此函數(shù)梯度的最大值。為尋找這些最大值，使用了微分幾何。為改進對噪聲的抵抗力，在篩選之前通常對圖像進行模糊化處理。鑒于拉普拉斯運算符和高斯篩選器的可交換性，可同步執(zhí)行模糊化處理和邊界尋找。
[0021]此方法的缺點在于欠缺對圖像噪聲的抵抗力。而且，由于邊界的限定相對每個任務(wù)都不同，因此有必要在每次應(yīng)用邊界尋找方法時選擇一種篩選結(jié)果修訂方法。
[0022]優(yōu)化方法[Y.Deng,B.S.Manjunath 與 H，Shin，“彩色圖像分割”，CVPR1999]包含將一個圖像分區(qū)成均勻的區(qū)域，將分區(qū)變成一次優(yōu)化任務(wù)。針對此方法，分割任務(wù)被描述為搜索具備某些質(zhì)量的圖像的分區(qū)，然后引入一個函數(shù)，該函數(shù)反映滿足所提出要求的結(jié)果分割的均勻度。例如，引入一個分割質(zhì)量函數(shù)，該函數(shù)使用一個圖像上的色彩分布。
[0023]這些方法的缺點在于費力，并且對移動裝置的資源要求高。[0024]所有這些方法的共同缺點在于:
[0025]-鑒于這些方法(區(qū)域生長法、分割-混合、邊緣檢測)僅可作用于一個參比圖像的事實，所獲得的分割不適于縫合任務(wù)
[0026]-對系統(tǒng)資源的要求不適于移動裝置，即計算單元的存儲和運行速度(集群技術(shù)方法、區(qū)域生長、分割-混合、馬爾可夫隨機場、圖論方法、優(yōu)化方法)
[0027]-對噪聲圖像的處理效果不好(集群技術(shù)方法、邊緣檢測)
[0028]-未考慮點的空間安排(集群技術(shù))。 [0029]圖割最小化方法最接近于本發(fā)明的解決方案[美國專利6，744，923，“通過圖割實現(xiàn)快速近似能量最小化的系統(tǒng)及方法”；及R- Szelisk1、R.Zabih、D.Scharstein、0.Veksler> V.Kolmogorov、A.Agarwala>M.Tappen、C.Rother “馬爾可夫隨機場與基于平滑度的先前技術(shù)的能量最小化方法對比研究”，《模式分析與機器智能IEEE交易》，卷30，第6期，2008年6月]。以加權(quán)圖的形式展示了一個圖像，其中節(jié)點位于像點中。圖形鏈接的權(quán)重反映了各點之間的相似度(例如，以某種度量來衡量的這些點之間的距離)。通過圖割來對圖像分區(qū)進行建模。圖論方法引入了害!]“代價”的函數(shù)，該函數(shù)反映了所獲分割的質(zhì)量。因此，將圖像分區(qū)成多個均勻的區(qū)域的任務(wù)減輕成了尋找代價最小的圖割的優(yōu)化任務(wù)。除色彩均勻與分割塊紋理外，此方法可以控制分割塊的形式、尺寸、邊界復(fù)雜度等。可以有各種方法來尋找代價最低的分割:貪心算法(在每個階段，選擇使得總體分割代價最小的鏈接)、動態(tài)編程方法(保證在每個階段選擇一個能得到一條最優(yōu)路徑的最優(yōu)鏈接)，等等。
[0030]此方法的一個缺點是，為了獲得一個降低運行速度的解決方案所需的計算量很大，并且在尋找最優(yōu)分割過程中需要提供大量的額外存儲資源。
[0031]發(fā)明概述
[0032]作者執(zhí)行了設(shè)計一種圖像分割方法的任務(wù)，該方法滿足以下要求:
[0033]-運行速度
[0034]-最優(yōu)圖像分割，即有助于獲得接縫代價函數(shù)與圖像數(shù)據(jù)(基于顏色、亮度和其他參數(shù))的代價函數(shù)之和的全局最小值，以及所獲分割與絕對最優(yōu)分割的鄰近度(類似于已知的最佳方法)
[0035]-無需移動裝置更多的存儲資源
[0036]-對圖像噪聲的抵抗力。
[0037]本發(fā)明的技術(shù)方案的本質(zhì)在于以下事實:在已知的搜索代價函數(shù)最小值的圖像分割方法中，這種搜索是針對從較粗糙到較精細的N個圖像細節(jié)級別進行的，并且在每個圖像細節(jié)級別上將該圖像劃分為多個區(qū)域；通過η次連續(xù)迭代為每個區(qū)域指定一個單一分割值。此后，對于不同類型的圖像分割為這些區(qū)域邊界的接縫計算代價函數(shù)的值，并針對每個區(qū)域選擇一個分割值，該分割值使得這些接縫和數(shù)據(jù)的代價函數(shù)之和為最小。如果需要排除接縫對分割結(jié)果的影響(例如，當需要對圖像進行獨立于方位的分割時)，那么需要通過處理不具備共同邊界的圖像區(qū)域來在每次后續(xù)迭代中搜索一個最小值，并在每次后續(xù)迭代中更新對用于處理的區(qū)域的選擇。此外，為了避免由圍繞任何局部區(qū)域的接縫的高代價所造成的、在這些局部最小值之一中搜索全局最小值的過程中出現(xiàn)陷阱，在這些代價函數(shù)之和中以接縫函數(shù)的一個減小的輸入值在每個細節(jié)級別上執(zhí)行若干次初始迭代。這便于接縫越過(漏過)代價的峰值。[0038]附圖簡述
[0039]圖1給出了一個參比圖像的示例，該圖像的色彩空間將被最優(yōu)地分割成12種顏色。
[0040]圖2給出了僅基于數(shù)據(jù)的代價函數(shù)在最粗糙的細節(jié)級別進行的參比分割的示例。接縫的代價函數(shù)假定為零。
[0041]圖3描繪了第一次迭代之后的分割狀態(tài)。帶有圓頂?shù)木匦伪硎驹诮o定迭代中處理的方塊。水平陰影表示給定迭代中發(fā)生分割變化的方塊；垂直陰影表示分割得以保留的面積。
[0042]圖4描繪了第二次迭代后的分割狀態(tài)。
[0043]圖5描繪了每個細節(jié)級別的分割最終結(jié)果。右下角所描繪即所得分割方案。
[0044]圖6展示了各種方法的收斂圖一在以下論文中有描述:R.Szeliski, R.Zabih、D.Scharstein、0.Veksler、V.Kolmogorov、A.Agarwala> M.Tappen 與 C.Rother, “馬爾可夫隨機場與基于平滑度的先前技術(shù)的能量最小化方法對比研究”，《模式分析與機器智能IEEE交易》，卷30，第6期，2008年6月一實現(xiàn)全景縫合任務(wù)的全局最小值?？v軸以百分數(shù)表示距離全局最小值的偏差；橫軸以秒為單位，為對數(shù)時間軸。這些圖分別表示:
[0045].? -馬 爾可夫隨機場方法“迭代條件模式”
[0046]+ + -圖割方法的變體“循環(huán)信度傳播算法”
[0047]+ -類似于“循環(huán)信度傳播算法”的“樹型再加權(quán)消息傳遞”
[0048]一 —預(yù)測全局最小值的下限
[0049]~Λ~ - “圖害I]”方法的不同變體
[0050]〇-所建議的方法；圓圈表示完整的處理時間，以及所獲的、距離全局最小值的偏差。
[0051]圖7與圖8為圖6的放大版，在距離該全局最小值的偏差的基礎(chǔ)上放大比例。
[0052]發(fā)明詳述
[0053]本發(fā)明的方法是按照以下方式執(zhí)行的:對一個參比圖像進行N次細節(jié)級別的操作(例如將圖像隨機分區(qū)成多個尺寸相近的區(qū)域)。在每個細節(jié)級別，執(zhí)行η次迭代，直至這些區(qū)域分割中不再存在能夠?qū)е陆涌p和數(shù)據(jù)函數(shù)總值減小的變化，或者直至針對一個給定的細節(jié)級別實現(xiàn)可接受的最多次數(shù)的迭代，而這次數(shù)受限于移動裝置的總體處理時間。
[0054]使用了兩個代價函數(shù):
[0055]-數(shù)據(jù)的代價函數(shù)，表示特定圖像像素分配到分割塊之一中的優(yōu)化程度。例如，一個像素的顏色與一個分割塊的顏色之間的數(shù)值差異的絕對值。
[0056]-接縫的代價函數(shù)，表示一個給定位置的分割塊邊界軌跡的優(yōu)化程度。
[0057]在每個細節(jié)級別，接縫僅可沿著區(qū)域邊界行進。針對這些細節(jié)級別中的每一個級另IJ，這些區(qū)域的形狀保持不變。由于在初始粗糙級別之后的矯正性迭代允許越過(漏過)代價函數(shù)的局部最小值，并且所得的分割接近于全局最小值，所以對接縫軌跡在這方面的限制被視為可以接受。
[0058]通過圖像分割并且僅基于數(shù)據(jù)的代價函數(shù)的值獲得的分割未考慮接縫的代價，被用作初始分割。借助這種分 割，每個圖像像素區(qū)域被指定一個分割塊值，表示一個給定區(qū)域所有像素的最小值之和。在像素區(qū)域的組合值上執(zhí)行初始(粗糙)細節(jié)級別的迭代。[0059]每次后續(xù)迭代會找到一個相對前一分割更優(yōu)的分割。
[0060]在每次迭代中，每個像素區(qū)域會經(jīng)歷以下過程:
[0061]-計算代價函數(shù)的局部值，包括環(huán)繞給定區(qū)域的數(shù)據(jù)以及接縫的代價；
[0062]-針對給定區(qū)域所有可能的分割值計算代價函數(shù)；
[0063]-如果給定區(qū)域的初始分割選擇不是最優(yōu)的(函數(shù)值高于任意其他分割)，那么將以最優(yōu)值(代價函數(shù)的最小值)替換給定區(qū)域的值。
[0064]逐個處理每個區(qū)域；同時，特定區(qū)域的分割值會影響通過給定區(qū)域邊界的接縫的代價，導(dǎo)致所得分割依賴于所處理的區(qū)域的順序。如果需要排除接縫對分割結(jié)果的影響(例如，當需要對圖像進行獨立于方位的分割時)，那么需要通過處理不具備共同邊界的圖像區(qū)域來在每次迭代中搜索一個最小值；在每次后續(xù)迭代中更新對用于處理的區(qū)域的選擇。
[0065]為了避免在作為圖像中噪音的結(jié)果由圍繞任何局部區(qū)域的接縫的高代價所造成的、在這些局部最小值之一中搜索全局最小值的過程中出現(xiàn)陷阱，在這些代價函數(shù)之和中以接縫函數(shù)的一個減小的輸入值在每個細節(jié)級別上執(zhí)行若干次初始迭代。這使得接縫能夠越過(漏過)代價的峰值。后續(xù)迭代通過接縫函數(shù)的通常輸入執(zhí)行即可。
[0066]圖1到圖5展示了本發(fā)明方法的實現(xiàn)方式的特定示例，其中參比圖像被劃分為方塊，并且接縫僅可沿著方塊邊界行進。針對一個參比圖像的色彩空間的分割給出了說明。在若干個圖像的分割期間，僅數(shù)據(jù)和接縫的代價函數(shù)將發(fā)生變化，原因在于，不再將像素顏色值用作函數(shù)參數(shù)，而是使用能夠反映各個圖像之間鄰近度的其他參數(shù)(例如，亮度差異)。
[0067]在每次迭代中，每個方塊會經(jīng)歷以下過程:
[0068]-計算代價函數(shù)的局部值，包括環(huán)繞給定方塊的數(shù)據(jù)以及接縫的代價；
[0069]-針對給定方塊所有可能的分割值計算代價函數(shù)；
[0070]-如果給定方塊的初始分割選擇不是最優(yōu)的(函數(shù)值高于任意其他分割)，那么將以最優(yōu)值(代價函數(shù)的最小值)替換給定方塊的值。
[0071]以交錯的順序執(zhí)行均勻與非均勻迭代。借助這種順序，單獨迭代的處理結(jié)果不依賴于接縫軌跡的方向。因此，每個接縫(方塊邊上)僅受一個方塊的影響，而不受給定迭代的任何其他相鄰方塊的影響。
[0072]為了排除不實際的長分割塊邊界，針對特定的像素，將相鄰像素的數(shù)字顏色值的絕對差加上某一個正的常數(shù)作為接縫的代價函數(shù)。在此情況下，隨著接縫的總長度增大，該常數(shù)會增大接縫的代價函數(shù)值。
[0073]為了避免在這些局部最小值之一中搜索全局最小值的過程中出現(xiàn)陷阱，將分別以
0.6、0.75和0.9為系數(shù)減小接縫函數(shù)的代價,來執(zhí)行每個細節(jié)級別的前三次迭代。
[0074]通過將當前近似值保存到最優(yōu)分割，并且在每次迭代中僅由數(shù)據(jù)的代價函數(shù)來調(diào)整分割，可進一步提升處理速度。這些數(shù)據(jù)的大小為圖像像素的兩倍。只有在存儲計算數(shù)據(jù)和接縫的代價函數(shù)所需的參比數(shù)據(jù)時才需要額外的存儲資源，或者，如果需要，用于存儲給定函數(shù)的預(yù)計算值(由于在處理過程中每個像素的這些值均為常數(shù))。
[0075]工業(yè)實用性
[0076]相比當前已有的類似方法，本發(fā)明的方法具備以下優(yōu)點:
[0077]1.運行速度。針對當前主流的移動裝置所需的總處理時間為I秒內(nèi)(2011年)。
[0078]2.分割質(zhì)量(與最優(yōu)方案的接近程度/最優(yōu)分割)與當前已知的最佳方法相當。[0079]3.實施本方法對存儲資源的要求極低。
[0080]4.由于在局部最小值中不存在陷阱，本方法對圖像噪聲具有抵抗力。
【權(quán)利要求】
1.一種圖像分割方法，包括搜索代價函數(shù)的最小值，其中: 該搜索是針對N個圖像細節(jié)級別進行的，從較粗糙到較精細； 在各圖像細節(jié)級別，所述圖像被劃分(分割)為多個區(qū)域； 通過η次連續(xù)迭代，為各區(qū)域指定一個單一分割值； 在每次迭代過程中，針對不同版本的圖像分割，計算區(qū)域邊界處的接縫的代價函數(shù)的值； 針對每個區(qū)域，選擇一個分割值，該分割值使得這些接縫和數(shù)據(jù)的代價函數(shù)之和最小。
2.根據(jù)權(quán)利要求1所述的方法，其中在每次迭代過程中，對最小值的搜索是通過對不具備共同邊界的圖像區(qū)域進行處理來執(zhí)行的，且在每次迭代中更改用于處理的區(qū)域的選擇。
3.根據(jù)權(quán)利要求1所述的方法，其中在這些迭代的子集中，縮小接縫代價函數(shù)向這些數(shù)據(jù)和接縫的代價函數(shù)的組合中的輸入。
【文檔編號】G06K9/70GK103733207SQ201280039682
【公開日】2014年4月16日 申請日期:2012年6月19日 優(yōu)先權(quán)日:2011年8月15日
【發(fā)明者】德米特里·瓦萊里維奇·施穆克 申請人:德米特里·瓦萊里維奇·施穆克