專利名稱：圖像處理設備、圖像處理方法以及程序的制作方法
技術領域：
本發(fā)明涉及圖像處理設備、圖像處理系統以及程序，并且特別地，涉及這樣的圖像處理設備、圖像處理系統以及程序其能夠提高根據輸入圖像生成由對象區(qū)域和背景區(qū)域構成的二值掩碼圖像的處理速度，并且通過節(jié)省存儲器來實現處理。
背景技術：
獲取二值掩碼圖像(其指定圖像中的對象區(qū)域和背景區(qū)域)的處理被稱為圖像分割處理。作為該圖像分割處理的一種方法，已知圖形切割法(參見NPL1)。在該圖形切割法中，通過圖形結構利用關于圖像的顏色分布和邊緣的信息作為能量來表示整個圖像，解決了其最大流問題(Maxflow)，并且分配標記零和一，使得能量最小化，由此獲得二值掩碼圖像。然后，針對所有像素，為了將該圖形結構保存在存儲器中，存儲器使用量非常大， 并且限制了將處理的圖像的分辨率。解決這一問題的一種方法在于利用比像素單位稍大的粒度(例如，以諸如像素組的小區(qū)域為單位)執(zhí)行圖形切割法的想法。最初，在圖形切割法中，沒有限制圖形的節(jié)點之間的連接狀態(tài)，并且允許自由連接。因此，可以通過自由形成小區(qū)域并且通過用小區(qū)域代替像素，來應用該圖形切割法。應當注意，需要以與以像素為單位的方法不同的方法來計算被設置為圖形的節(jié)點和邊緣的能量。在NPL 2和PTL 1中提出了用于定義這樣的小區(qū)域組并應用該圖形切割法的方法。在該方法中，使用小區(qū)域的平均顏色來計算像素之間的鄰近能量和似然能量 (likelihood energy)。在該方法中，以小區(qū)域為單位來執(zhí)行圖形切割法，其中，該小區(qū)域的數量小于像素的數量。因此，實現了存儲器節(jié)省以及更高的速度，并且還可以減少兩種能量的計算量。引用列表專利文獻PTL 1 “ Systems and methods for image data separation，，，EP 1624413A2(2006 年 6 月)非專利文獻NPL 1 :"An Experimental Comparison of Min-Cut/Max-Flow Algorithms for Energy Minimization in Vision，，(2004), Yuri Boykov, Vladimir Kolmogorov, IEEE Transactions on Pattern Analysis and Machine IntelligenceNPL 2 :"Lazy snapping，，(2004) Yin Li, Jian Sun, Chikeung Tang, Heung-Yeung Shum, ACM Transaction. Graphics.

發(fā)明內容
技術問題然而，在NPL 2和PTLl中所提出的方法中，使用小區(qū)域的平均顏色來計算兩種能量，因此，兩者之間的差比以像素為單位執(zhí)行的計算中的兩者之間的差更大。因此，在一些情況下，不能很好地獲得作為圖形切割法的處理結果的二值掩碼圖像。本發(fā)明考慮到了這樣的狀況，以及本發(fā)明旨在提高根據輸入圖像生成由對象區(qū)域和背景區(qū)域構成的二值掩碼圖像的處理速度、并通過節(jié)省存儲器來實現處理，并且還旨在即使以小區(qū)域為單位執(zhí)行諸如圖形切割法的圖像分割處理，也能獲得與以像素為單位執(zhí)行該處理所獲得的結果類似的結果。技術方案根據本發(fā)明的一個方面的圖像處理設備為一種用于輸出圖像被分為對象和背景區(qū)域的二值掩碼圖像的圖像處理設備，并且該圖像處理設備包括三元像(trimap image)獲取裝置，用于獲取圖像以及圖像被劃分為對象區(qū)域、背景區(qū)域和其他區(qū)域的三元像；預劃分裝置，用于基于像素之間的相關性對圖像中的像素進行分類，由此將圖像劃分為小區(qū)域組；小區(qū)域鄰近能量計算裝置，用于基于在小區(qū)域組中彼此鄰近的一對小區(qū)域的邊界附近的像素組的像素值之差，計算小區(qū)域鄰近能量；小區(qū)域似然能量計算裝置，用于基于三元像而選擇小區(qū)域組中的對象區(qū)域和背景區(qū)域，構建概率模型函數，使用概率模型函數獲取各小區(qū)域組的對象似然和背景似然，并且使用對象似然和背景似然計算小區(qū)域似然能量；劃分裝置，用于使用小區(qū)域鄰近能量和小區(qū)域似然能量來將圖像劃分為前景和背景的二值掩碼圖像；以及輸出裝置，用于輸出由劃分裝置劃分的二值掩碼圖像。小區(qū)域似然能量計算裝置可以使用利用各小區(qū)域組的加權平均顏色的概率模型函數，來計算對象似然和背景似然。預劃分裝置可以還包括小區(qū)域中心選擇裝置，用于在圖像中的各像素當中將在光柵掃描的正方向上具有像素值的最小值的像素設置為小區(qū)域中心候選像素，然后從小區(qū)域中心候選像素當中選擇在光柵掃描的反方向上具有最小值的像素作為小區(qū)域中心。小區(qū)域中心選擇裝置可以還包括用于對圖像執(zhí)行微分處理的微分處理裝置，并且可以將已由微分處理裝置執(zhí)行了微分處理的圖像的各像素的像素值當中小于等于期望閾值的像素值設置為零，由此通過減小在小區(qū)域中心處的像素數來執(zhí)行輸出。預劃分裝置可以還包括小區(qū)域擴展處理裝置，用于以量化像素值的升序來設置擴展小區(qū)域的順序。根據本發(fā)明一個方面的圖像處理方法是一種用于輸出圖像被分為對象和背景區(qū)域的二值掩碼圖像的圖像處理設備的圖像處理方法，并且該圖像處理方法包括三元像獲取步驟，用于獲取圖像以及圖像被劃分為對象區(qū)域、背景區(qū)域和其他區(qū)域的三元像；預劃分步驟，用于基于像素之間的相關性對圖像中的像素進行分類，由此將圖像劃分為小區(qū)域組；小區(qū)域鄰近能量計算步驟，用于基于在小區(qū)域組中彼此鄰近的一對小區(qū)域的邊界附近的像素組的像素值之差，計算小區(qū)域鄰近能量；小區(qū)域似然能量計算步驟，用于基于三元像而選擇小區(qū)域組中的對象區(qū)域和背景區(qū)域，構建概率模型函數，使用概率模型函數獲取各小區(qū)域組的對象似然和背景似然，并且使用對象似然和背景似然計算小區(qū)域似然能量；劃分步驟，用于使用小區(qū)域鄰近能量和小區(qū)域似然能量來將圖像劃分為前景和背景的二值掩碼圖像；以及輸出步驟，用于輸出在劃分步驟的處理中劃分的二值掩碼圖像。根據本發(fā)明的一個方面的程序是一種使計算機執(zhí)行包括以下步驟的處理的程序， 其中，該計算機控制用于輸出圖像被分為對象和背景區(qū)域的二值掩碼圖像的圖像處理設備 三元像獲取步驟，用于獲取圖像以及圖像被劃分為對象區(qū)域、背景區(qū)域和其他區(qū)域的三元像；預劃分步驟，用于基于像素之間的相關性對圖像中的像素進行分類，由此將圖像劃分為小區(qū)域組；小區(qū)域鄰近能量計算步驟，用于基于在小區(qū)域組中彼此鄰近的一對小區(qū)域的邊界附近的像素組的像素值之差，計算小區(qū)域鄰近能量；小區(qū)域似然能量計算步驟，用于基于三元像而在小區(qū)域組中選擇對象區(qū)域和背景區(qū)域，構建概率模型函數，使用概率模型函數獲取各小區(qū)域組的對象似然和背景似然，并且使用對象似然和背景似然來計算小區(qū)域似然能量；劃分步驟，用于使用小區(qū)域鄰近能量和小區(qū)域似然能量來將圖像劃分為前景和背景的二值掩碼圖像；以及輸出步驟，用于輸出在劃分步驟的處理中劃分的二值掩碼圖像。在本發(fā)明的一個方面中，獲取圖像以及圖像被劃分為對象區(qū)域、背景區(qū)域和其他區(qū)域的三元像；基于像素之間的相關性對圖像中的像素進行分類，由此將圖像劃分為小區(qū)域組；基于在小區(qū)域組中彼此鄰近的一對小區(qū)域的邊界附近的像素組的像素值之差來計算小區(qū)域鄰近能量；基于三元像而選擇小區(qū)域組中的對象區(qū)域和背景區(qū)域，構建概率模型函數，使用概率模型函數獲取各小區(qū)域組的對象似然和背景似然，并且使用對象似然和背景似然來計算小區(qū)域似然能量；使用小區(qū)域鄰近能量和小區(qū)域似然能量來將圖像劃分為前景和背景的二值掩碼圖像；輸出所劃分的二值掩碼圖像。有益效果根據本發(fā)明，即使以小區(qū)域為單位執(zhí)行諸如圖形切割法的圖像分割處理，也可以獲得與以像素為單位執(zhí)行該處理而獲得的結果類似的結果。


圖1是示出了應用本發(fā)明的圖像分割設備的實施例的配置示例的圖。圖2是示出了圖1中的預分割執(zhí)行單元的配置示例的圖。圖3是用于說明圖像分割處理的流程圖。圖4是示出了輸入圖像和二值掩碼圖像的示例的圖。圖5是用于說明預分割處理的流程圖。圖6是用于說明選擇像素作為小區(qū)域的中心的處理的圖。圖7是用于說明由基于小區(qū)域ID圖生成的小區(qū)域構成的圖像的圖。圖8是用于說明小區(qū)域鄰近能量的圖。圖9是用于說明設置各個小區(qū)域的代表色的處理的圖。圖10是示出了通用個人計算機的配置示例的圖。
具體實施例方式[圖像分割設備的配置示例]圖1是示出了應用本發(fā)明的圖像分割設備的實施例的配置示例的圖。圖像分割設備1通過使用輸入圖像以及輸入圖像的像素被分類為對象像素、背景像素和其他像素中的任一個的三元像，將輸入圖像轉換為由小區(qū)域組構成圖像，其中，小區(qū)域組中的每個小區(qū)域均由多個像素構成。此外，圖像分割設備1以小區(qū)域為單位執(zhí)行圖像分割，即以小區(qū)域為單位將圖像分為對象和背景，由此生成并輸出二值掩碼圖像。圖像分割設備1包括輸入圖像獲取單元11、三元像獲取單元12、預分割執(zhí)行單元13、小區(qū)域鄰近能量計算單元14、小區(qū)域似然能量計算單元15、分割執(zhí)行單元16以及輸出單元17。輸入圖像獲取單元11獲取普通的輸入圖像，并將其提供給預分割執(zhí)行單元13。三元像獲取單元12獲取輸入圖像和由輸入圖像的像素被分類為對象像素、背景像素和其他像素中的任一個的信息構成的三元像，并且將輸入圖像和三元像提供給小區(qū)域似然能量計算單元15。預分割執(zhí)行單元13首先將向其提供的輸入圖像劃分成小區(qū)域，每個小區(qū)域均由多個鄰近像素構成。然后，預分割執(zhí)行單元13設置各個小區(qū)域的小區(qū)域ID(標識符)以生成小區(qū)域ID圖，并將其提供給小區(qū)域鄰近能量計算單元14和小區(qū)域似然能量計算單元15。 此時，預分割執(zhí)行單元13將輸入圖像與小區(qū)域ID圖一起提供給小區(qū)域鄰近能量計算單元 14和小區(qū)域似然能量計算單元15。應當注意，以下將參照圖2描述預分割執(zhí)行單元13的具體配置。小區(qū)域鄰近能量計算單元14基于輸入圖像以及由標識各個小區(qū)域的小區(qū)域ID構成的小區(qū)域ID圖，使用位于小區(qū)域之間的邊界處的像素的像素值來獲得鄰近能量，并且計算這些小區(qū)域的積分值，作為小區(qū)域鄰近能量。小區(qū)域鄰近能量計算單元14將所計算出的小區(qū)域鄰近能量提供給分割執(zhí)行單元16。小區(qū)域似然能量計算單元15基于從預分割執(zhí)行單元13提供的輸入圖像和小區(qū)域 ID圖以及從三元像獲取單元12提供的三元像，計算小區(qū)域似然能量。更具體地，小區(qū)域似然能量計算單元15包括綁定區(qū)域(bound region)設置單元 31、代表色計算單元32、對象似然計算單元33、和背景似然計算單元34。綁定區(qū)域設置單元 31將由對象圖像的像素構成的小區(qū)域綁定到對象圖像，并且將由背景圖像的像素構成的小區(qū)域綁定到背景圖像。對于包括這兩種圖像的像素的小區(qū)域，綁定區(qū)域設置單元31在不矛盾的情況下劃分該小區(qū)域，或者不將該小區(qū)域綁定到任何圖像。代表色計算單元32獲得構成小區(qū)域的像素的顏色信息的加權平均，作為該小區(qū)域的代表色。對象似然計算單元33以綁定到對象圖像的小區(qū)域為單位獲得高斯概率模型的函數，并且使用該高斯概率模型的函數來計算對象的似然，作為對象似然。背景似然計算單元34以綁定到背景圖像的小區(qū)域為單位獲得高斯概率模型的函數，并且使用該高斯概率模型的函數來計算背景的似然，作為背景似然。然后，小區(qū)域似然能量計算單元15使用綁定到對象圖像的小區(qū)域的對象似然以及綁定到背景圖像的小區(qū)域的背景似然，來計算小區(qū)域似然能量。該小區(qū)域似然能量計算單元15將所計算出的小區(qū)域似然能量提供給分割執(zhí)行單元16。應當注意，下文將描述小區(qū)域鄰近能量和小區(qū)域似然能量的細節(jié)。分割執(zhí)行單元16獲得從小區(qū)域鄰近能量計算單元14和小區(qū)域似然能量計算單元 15提供的輸入圖像、小區(qū)域ID圖、小區(qū)域鄰近能量、和小區(qū)域似然能量。然后，分割執(zhí)行單元16執(zhí)行圖像分割，由此基于輸入圖像、小區(qū)域ID圖、小區(qū)域鄰近能量和小區(qū)域似然能量生成二值掩碼圖像，并且將其提供給輸出單元17。
輸出單元17將向其提供的二值掩碼圖像作為處理結果輸出。[預分割執(zhí)行單元的配置示例]接下來，將參照圖2描述預分割執(zhí)行單元13的詳細配置。預分割執(zhí)行單元13包括圖像獲取單元61、小區(qū)域中心選擇單元62、小區(qū)域ID添加單元63、小區(qū)域擴展處理單元64、以及小區(qū)域ID圖輸出單元65。圖像獲取單元61獲取輸入圖像，并將其提供給小區(qū)域中心選擇單元62。小區(qū)域中心選擇單元62包括微分圖像生成單元81、最小值確定單元82、和最小值圖像生成單元83。 當根據輸入圖像形成小區(qū)域時，小區(qū)域中心選擇單元62選擇在小區(qū)域的中心處的像素。更具體地，微分圖像生成單元81例如是Sobel算子濾波器等，并且通過處理輸入圖像的各像素來生成微分圖像。最小值確定單元82基于在微分圖像的各像素當中以光柵掃描順序彼此鄰近的像素之間的像素值之差，檢測最小值像素。最小值圖像生成單元83根據被最小值確定單元82確定為具有最小值的像素，生成最小值圖像。最小值確定單元82將最小值圖像提供給小區(qū)域ID添加單元63。小區(qū)域ID添加單元63將被設置為從小區(qū)域中心選擇單元62提供的最小值圖像的最小值的各像素看作被選作小區(qū)域中心的像素，并將小區(qū)域ID添加到被選作小區(qū)域的中心的相應像素，由此生成初始小區(qū)域ID圖。此外，小區(qū)域ID添加單元63將所生成的初始小區(qū)域ID圖和輸入圖像提供給小區(qū)域擴展處理單元64。小區(qū)域擴展處理單元64根據初始小區(qū)域ID圖，以被選作小區(qū)域中心的各像素的像素值的升序，將小區(qū)域ID逐步傳播到未被選作小區(qū)域中心的像素，由此從小區(qū)域的中心起擴展小區(qū)域以生成小區(qū)域ID圖。此外，小區(qū)域擴展處理單元64將所生成的小區(qū)域ID圖和輸入圖像提供給小區(qū)域ID圖輸出單元65。小區(qū)域ID圖輸出單元65將輸入圖像和所生成的小區(qū)域ID圖提供給小區(qū)域鄰近能量計算單元14和小區(qū)域似然能量計算單元15。[關于圖像分割處理]接下來，將參照圖3中的流程圖描述圖像分割處理。在步驟Sl中，輸入圖像獲取單元11獲取普通圖像作為輸入圖像，并將其提供給預分割執(zhí)行單元13。例如，普通輸入圖像是在圖4的左部分中示出的圖像。在圖4的左部分中，示出了燕尾蝶在樹葉上的圖像。注意，在下文中，將基于該燕尾蝶為輸入圖像中的對象圖像以及其他部分中的圖像為背景圖像的假設給出描述。注意，輸入圖像不限于該圖像，也可以應用其他圖像。此外，對象圖像不限于燕尾蝶，還可以應用其他圖像。在步驟S2中，三元像獲取單元12獲取輸入圖像的像素被分類為對象像素、背景像素和其他像素中的任一個的三元像，并將其提供給小區(qū)域似然能量計算單元15。 更具體地，三元像是例如通過在圖4中使用特定厚度的觸摸筆描繪燕尾蝶的輪廓部分而形成的圖像。在這種情況下，在構成對象圖像的區(qū)域中的像素是在用觸摸筆圍繞的燕尾蝶的區(qū)域中的像素。此外，背景圖像對應于在未用觸摸筆圍繞的外部區(qū)域中的像素。除此之外，即，在觸摸筆的線上的邊界區(qū)域中的像素未被分類為其中的任一種。在步驟S3中，預分割執(zhí)行單元13執(zhí)行預分割，以生成小區(qū)域ID圖，并將其提供給小區(qū)域鄰近能量計算單元14和小區(qū)域似然能量計算單元15。[關于預分割處理]現在，將參照圖5描述預分割處理。
在步驟S31中，圖像獲取單元61獲取輸入圖像，并將其提供給小區(qū)域中心選擇單元62。在步驟S32中，小區(qū)域中心選擇單元62控制微分圖像生成單元81，以生成微分圖像。微分圖像生成單元81為例如通過以下等式(1)表示的Sobel濾波器。[數學式1]
權利要求
1.一種圖像處理設備，用于輸出圖像被分為對象和背景區(qū)域的二值掩碼圖像，所述圖像處理設備包括三元像獲取裝置，用于獲取所述圖像以及所述圖像被劃分為對象區(qū)域、背景區(qū)域和其他區(qū)域的三元像；預劃分裝置，用于基于像素之間的相關性對所述圖像中的像素進行分類，由此將所述圖像劃分為小區(qū)域組；小區(qū)域鄰近能量計算裝置，用于基于在所述小區(qū)域組中彼此鄰近的一對小區(qū)域的邊界附近的像素組的像素值之差，計算小區(qū)域鄰近能量；小區(qū)域似然能量計算裝置，用于基于所述三元像而選擇所述小區(qū)域組中的所述對象區(qū)域和所述背景區(qū)域，構建概率模型函數，使用所述概率模型函數獲取各所述小區(qū)域組的對象似然和背景似然，并且使用所述對象似然和所述背景似然計算小區(qū)域似然能量；劃分裝置，用于使用所述小區(qū)域鄰近能量和所述小區(qū)域似然能量來將所述圖像劃分為前景和背景的二值掩碼圖像；以及輸出裝置，用于輸出由所述劃分裝置劃分的所述二值掩碼圖像。
2.根據權利要求1所述的圖像處理設備，其中，所述小區(qū)域似然能量計算裝置使用利用各所述小區(qū)域組的加權平均顏色的所述概率模型函數，來計算所述對象似然和所述背景似然。
3.根據權利要求1所述的圖像處理設備，其中，所述預劃分裝置還包括小區(qū)域中心選擇裝置，用于在所述圖像中的各像素當中將在光柵掃描的正方向上具有像素值的最小值的像素設置為小區(qū)域中心候選像素，然后從所述小區(qū)域中心候選像素當中選擇在光柵掃描的反方向上具有最小值的像素作為小區(qū)域中心。
4.根據權利要求3所述的圖像處理設備，其中，所述小區(qū)域中心選擇裝置還包括用于對所述圖像執(zhí)行微分處理的微分處理裝置，并且將已由所述微分處理裝置執(zhí)行了所述微分處理的所述圖像的各像素的像素值當中小于等于期望閾值的像素值設置為零，由此通過減小在所述小區(qū)域中心處的像素數來執(zhí)行輸出ο
5.根據權利要求1所述的圖像處理設備，其中，所述預劃分裝置還包括小區(qū)域擴展處理裝置，用于以量化像素值的升序來設置擴展小區(qū)域的順序。
6.一種圖像處理方法，用于輸出圖像被分為對象和背景區(qū)域的二值掩碼圖像的圖像處理設備，所述圖像處理方法包括三元像獲取步驟，用于獲取所述圖像以及所述圖像被劃分為對象區(qū)域、背景區(qū)域和其他區(qū)域的三元像；預劃分步驟，用于基于像素之間的相關性對所述圖像中的像素進行分類，由此將所述圖像劃分為小區(qū)域組；小區(qū)域鄰近能量計算步驟，用于基于在所述小區(qū)域組中彼此鄰近的一對小區(qū)域的邊界附近的像素組的像素值之差，計算小區(qū)域鄰近能量；小區(qū)域似然能量計算步驟，用于基于所述三元像而選擇所述小區(qū)域組中的所述對象區(qū)域和所述背景區(qū)域，構建概率模型函數，使用所述概率模型函數獲取各所述小區(qū)域組的對象似然和背景似然，并且使用所述對象似然和所述背景似然計算小區(qū)域似然能量；劃分步驟，用于使用所述小區(qū)域鄰近能量和所述小區(qū)域似然能量來將所述圖像劃分為前景和背景的二值掩碼圖像；以及輸出步驟，用于輸出在所述劃分步驟的處理中劃分的所述二值掩碼圖像。
7. 一種用于使計算機執(zhí)行包括以下步驟的處理的程序，其中，所述計算機控制用于輸出圖像被分為對象和背景區(qū)域的二值掩碼圖像的圖像處理設備，所述處理包括三元像獲取步驟，用于獲取所述圖像以及所述圖像被劃分為對象區(qū)域、背景區(qū)域和其他區(qū)域的三元像；預劃分步驟，用于基于像素之間的相關性對所述圖像中的像素進行分類，由此將所述圖像劃分為小區(qū)域組；小區(qū)域鄰近能量計算步驟，用于基于在所述小區(qū)域組中彼此鄰近的一對小區(qū)域的邊界附近的像素組的像素值之差，計算小區(qū)域鄰近能量；小區(qū)域似然能量計算步驟，用于基于所述三元像而選擇所述小區(qū)域組中的所述對象區(qū)域和所述背景區(qū)域，構建概率模型函數，使用所述概率模型函數獲取各所述小區(qū)域組的對象似然和背景似然，并且使用所述對象似然和所述背景似然來計算小區(qū)域似然能量；劃分步驟，用于使用所述小區(qū)域鄰近能量和所述小區(qū)域似然能量來將圖像劃分為前景和背景的二值掩碼圖像；以及輸出步驟，用于輸出在所述劃分步驟的處理中劃分的所述二值掩碼圖像。
全文摘要
本發(fā)明提供如下的圖像處理設備、圖像處理方法以及程序其即使以小區(qū)域為單位執(zhí)行諸如圖形切割法的處理，也可以與以像素為單位一樣獲得相同的結果。預分割執(zhí)行單元(13)根據像素之間的相關性對圖像中的像素分類，并且將圖像分割為小區(qū)域組。小區(qū)域鄰近能量計算單元(14)基于小區(qū)域組中的一對鄰近小區(qū)域的邊界附近的像素組的像素值之差來計算小區(qū)域鄰近能量。小區(qū)域似然能量計算單元(15)基于三元像為各小區(qū)域選擇對象區(qū)域和背景區(qū)域，構建概率模型函數，并且針對各小區(qū)域計算對象似然和背景似然。分割執(zhí)行單元(16)使用小區(qū)域鄰近能量和小區(qū)域似然能量來將圖像分割為包括前景和背景的二值掩碼圖像。本發(fā)明可應用于分割對象圖像的圖像處理。
文檔編號G06T7/00GK102165491SQ201080002702
公開日2011年8月24日 申請日期2010年7月23日 優(yōu)先權日2009年7月30日
發(fā)明者山田英史 申請人:索尼公司