專利名稱:用于通過使用基于色彩頻率的顯著圖來修改圖像的方法和裝置的制作方法
技術領域:
本發(fā)明涉及圖像修改的領域,并且更具體地涉及使用基于色彩頻率的顯著圖來修改畫面的方法和裝置。還公開了用于應用該方法的計算機軟件產(chǎn)品和電視機。
背景技術:
顯示技術領域中最近的進展在顯示器大小上展現(xiàn)了很大的多樣性,并且相同的內(nèi)容需要針對不同的設備以不同的尺寸和寬高比來顯示。典型地,為舊的4 3比例的CRT電視記錄的視頻現(xiàn)在顯示在16 9寬屏幕電視上。因此,需要可以針對不同于原始預期的顯示器來調(diào)適圖像的算法?;緢D像調(diào)整大小(resizing)技術是線性縮放或者剪裁。然而,這些技術由于丟失細節(jié)、各向異性的壓扁或拉長、抑制剪裁窗口外的區(qū)域等而導致圖像質(zhì)量降級。因此,需要考慮圖像內(nèi)容的圖像的有效調(diào)適。這種智能調(diào)適在本領域中被稱作“圖像重定目標(retargeting)”或在考慮視頻的情況下被稱作“視頻重定目標”。為了“智能地”修改圖像,許多方法使用定義每個像素的信息值的顯著圖。例如,文獻EP 1968008公開了一種被稱為“接縫雕刻”的用于基于內(nèi)容的 (content-aware)圖像重定目標的方法。根據(jù)能量函數(shù)(通常是亮度梯度函數(shù))來生成來自源圖像的顯著圖,也稱為能量圖像。根據(jù)能量圖像,根據(jù)最小化函數(shù)來確定一個或者多個接縫,使得每個接縫具有最小的能量。通過抑制或者復制接縫來將每個接縫應用于源圖像,以獲得保留內(nèi)容、但具有不同的寬高比的目標圖像。在本文獻中,接縫是從一側(cè)到相對側(cè)通過圖像的像素的連續(xù)路徑。通過在3D視頻空間-時間立方體中定義2D接縫表面來將此技術擴展到視頻重定目標。表面與每個幀的交叉定義本文獻意義上的接縫。多種接縫表面允許接縫隨時間自適應地改變,從而維持時間相干性。
發(fā)明內(nèi)容
盡管接縫雕刻在圖像上給出總體良好的結果,但是存在一些其中接縫雕刻失敗、 從而給出不期望的結果的圖像類別。例如,當多個感興趣的區(qū)域被高頻率紋理區(qū)域分開時, 接縫雕刻將紋理誤解為感興趣的區(qū)域,并且在應當被保留的區(qū)域中接縫被錯誤地選擇。因此,將有利的是實現(xiàn)一種修改圖像的方法,其改進接縫雕刻以在不同圖像類別的情況下獲得更好的結果。為了更好地處理一個或者多個所關心的問題,在本發(fā)明的第一方面中,一種用于修改由像素矩陣定義的圖像的方法包括
計算像素矩陣的色彩頻率分布;
針對每個像素將能量值定義為像素的色彩頻率的加權函數(shù),以便定義圖像顯著圖; 變換圖像,該變換基于像素能量值。
因此,能量函數(shù)基于以下假設人更加留意地觀看包括不常見色彩的區(qū)域。在具體實施例中,該變換是將圖像重定目標修改為具有不同的寬高比的重定目標圖像。為了保留具有吸引人的注視的罕見的色彩的圖像的部分,色彩直方圖用于分析色彩的分布。色彩通道被離散為多個倉(bin),并且像素按照與像素所屬的直方圖倉成反比進行加權。由于感興趣的圖像或者區(qū)域的聚焦在大多數(shù)圖像中通常在中心周圍,并且對象朝著圖像邊界的變形與中心周圍的變形相比較不令人反感,因此每個像素相對于其空間位置的能量被加權,以便對于在中心中視覺上顯著的特征賦予更大的重要性。具體地,對像素能量值通過像素距圖像中心的距離的倒數(shù)加權。其它參數(shù)可被用作能量函數(shù)的一部分。例如,通過將低通濾波器應用于圖像來計算平滑處理后的圖像,并且通過應用于平滑處理后的圖像的對應像素的梯度函數(shù)來加權像素能量值。具體地,低通濾波器可以是2D高斯平滑處理函數(shù),其具有可以包括在4與6之間的平滑處理。并且,梯度函數(shù)可以基于像素亮度或者像素色度??梢酝ㄟ^在接縫組中選擇最小能量值的接縫并且抑制或者復制圖像中所選擇的接縫以修改其寬高比來將能量函數(shù)用于接縫雕刻中,在所述接縫組中,接縫是從圖像的一側(cè)到相對側(cè)的像素的連續(xù)路徑,并且其能量值等于其像素的能量值的和。取決于圖像的類型,由于更容易調(diào)適或者給出更好的結果,一個具體地實施例可能是優(yōu)選的。然而,這些具體實施例的各方面可如適當?shù)幕蛘咚谕哪菢颖唤M合或者修改。在本發(fā)明的第二方面中,存儲在記錄介質(zhì)上的計算機軟件產(chǎn)品包括一組指令,其用于在計算機執(zhí)行該組指令時使得計算機能夠?qū)嵤┻@里上面所述的方法。在本發(fā)明的第三方面中,一種用于修改由像素矩陣定義的圖像的裝置包括 圖像的色彩頻率分布的第一計算器;其連接到
每個像素的能量值的第二計算器,所述能量值是像素的色彩頻率的加權函數(shù),以便定義圖像顯著圖;其連接到
用于變換圖像的圖像修改器,該變換基于像素能量值。在本發(fā)明的第四方面中,電視機包括具有第一寬高比的顯示器以及用于至少接收源圖像的輸入設備。該電視還包括這里如上所述的用于將源圖像修改為要顯示的具有第一寬高比的目標圖像的裝置。
根據(jù)下文描述并且僅作為示例給出的實施例,本發(fā)明的這些和其它方面將是清楚明白的并且將參照所述實施例來闡述,其中
-圖1A、1B、1C是具有其能量圖及其累積能量圖的畫面的圖示; -圖2是根據(jù)本發(fā)明的一個實施例的方法的流程圖;以及 -圖3是實現(xiàn)根據(jù)本發(fā)明的另一個實施例的系統(tǒng)的電視機的示意圖。
具體實施方式
在下面的描述中,圖像修改將針對重定目標,然而,可以在其它圖像變換中使用所公開的能量函數(shù),在所述其它圖像變換中,重要的是將包含高價值信息的區(qū)域與充當背景的其它區(qū)域區(qū)分開。例如,圖像修改可以包括使背景模糊,以便強調(diào)主要對象,或者作為圖像識別方法中第一步驟。描述將使用接縫雕刻作為典型的重定目標方法,但其它使用顯著圖的重定目標方法對于本領域技術人員是眾所周知的。例如,文獻EP 1936566公開了用于創(chuàng)建縮略圖像的高等級顯著圖。典型地,在圖1中,一種用于修改由像素矩陣定義的圖像的方法包括 步驟1,計算像素矩陣的色彩頻率分布;
步驟3,對于每個像素將能量值定義為像素的色彩頻率的加權函數(shù),以便定義所述圖像的顯著 步驟5,變換圖像,所述變換基于像素能量值。實際上,人場景分類表明人依賴局部的基于區(qū)域的信息與依賴全局的配置信息一樣多。另外,人似乎結合這兩種類型的信息以用于原封不動的場景分類。對象取決于它們出現(xiàn)的周圍背景來尋求關注。在圖像中罕見的色彩突出以吸引人的注視。為了保留具有罕見色彩的圖像部分,使用用于分析圖像中色彩分布的色彩直方圖。例如,Cr和Cb通道中的每一個被離散為10個倉。產(chǎn)生圖像的二維(2D)歸一化的CbCr 直方圖,以對每個倉中的圖像像素的數(shù)量進行計數(shù)。然后,與圖像中的像素所屬的直方圖倉成反比地加權所述像素。更具體地,如果(x,y)處的像素落在其直方圖值由H給出的倉中, 則由于CbCr直方圖分析,能量由下式給出
權利要求
1.一種用于修改圖像的方法,所述圖像由像素矩陣來定義,所述方法包括 計算(1)所述像素矩陣的色彩頻率分布; 針對每個像素將能量值定義(3)為所述像素的色彩頻率的加權函數(shù),以便定義所述圖像的顯著圖; 變換(5)所述圖像,所述變換基于所述像素能量值。
2.根據(jù)權利要求1的方法,其中所述變換將所述圖像變換為具有不同的寬高比的重定目標的圖像。
3.根據(jù)權利要求1的方法,其中與所述像素的色彩頻率成反比地加權每個像素能量值。
4.根據(jù)權利要求3的方法,其中在色彩頻率低于預定閾值時,像素能量值由預定參數(shù)加權。
5.根據(jù)權利要求1的方法,其中針對所述像素在所述圖像中的空間位置來加權像素能量值。
6.根據(jù)權利要求5的方法,其中通過像素距圖像中心的距離的倒數(shù)來加權像素能量值。
7.根據(jù)權利要求1的方法,其中通過將低通濾波器應用于所述圖像來計算平滑處理后的圖像,并且通過被應用于平滑處理后的圖像的對應像素的梯度函數(shù)來加權像素能量值。
8.根據(jù)權利要求7的方法,其中所述低通濾波器是2D高斯平滑處理函數(shù)。
9.根據(jù)權利要求8的方法,其中所述平滑處理包括在4和6之間。
10.根據(jù)權利要求7的方法,其中每個像素至少包括亮度值和色度值,梯度函數(shù)基于所述像素亮度。
11.根據(jù)權利要求7的方法,其中每個像素至少包括亮度值和色度值,梯度函數(shù)基于所述像素色度。
12.根據(jù)權利要求2的方法,其中將所述圖像變換為重定目標的圖像包括 從一組接縫中選擇最小能量值的接縫,其中接縫是從圖像的一側(cè)到相對側(cè)的像素的連續(xù)路徑,并且其能量值等于其像素的能量值的和; 抑制或者復制所述圖像中所述選擇的接縫以修改其寬高比。
13.一種計算機軟件產(chǎn)品,其存儲在記錄介質(zhì)上并且包括一組指令,當計算機執(zhí)行所述的一組指令時,所述一組指令使得計算機能夠?qū)嵤└鶕?jù)權利要求1的方法。
14.一種用于修改圖像的裝置,所述圖像由像素矩陣定義,所述裝置包括 所述圖像的色彩頻率分布的第一計算器(26);其連接到 用于每個像素的能量值的第二計算器(28),所述能量值是所述像素的色彩頻率的加權函數(shù),以便定義所述圖像的顯著圖;其連接到 用于變換所述圖像的圖像修改器(30),所述變換基于所述像素能量值。
15.一種電視機,其包括具有第一寬高比的顯示器以及用于至少接收源圖像的輸入設備,其中所述電視還包括根據(jù)權利要求13的、用于將所述源圖像修改為要顯示的具有第一寬高比的目標圖像的裝置。
全文摘要
一種用于修改由像素矩陣定義的圖像的方法包括·計算(1)像素矩陣的色彩頻率分布;·針對每個像素將能量值定義(3)為所述像素的色彩頻率的加權函數(shù),以便定義圖像顯著圖;·變換(5)所述圖像,所述變換基于像素能量值。還公開了一種應用所述方法的計算機軟件產(chǎn)品、一種裝置以及一種電視機。
文檔編號G06T3/00GK102365651SQ201080013785
公開日2012年2月29日 申請日期2010年3月24日 優(yōu)先權日2009年3月26日
發(fā)明者達姆卡特 C., 卡帕迪亞 D., 德 哈恩 G., M. 霍夫曼 P. 申請人:皇家飛利浦電子股份有限公司