專利名稱：用于減輕圖像中的偽影的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本公開(kāi)一般地涉及數(shù)字圖像處理和顯示系統(tǒng)，更具體而言涉及用于減 輕圖像中的偽影(artifact)的系統(tǒng)和方法。
背景技術(shù)：
在數(shù)字圖像或者諸如膠片中的一系列圖像之類的圖像的處理期間注意 到了圖像偽影。常見(jiàn)偽影現(xiàn)象是帶化(banding)，其中不同強(qiáng)度和顏色級(jí) 別的條帶被顯示在圖像的原始平滑線性轉(zhuǎn)變區(qū)域上。諸如顏色校正、縮 放、顏色空間轉(zhuǎn)換以及壓縮之類的處理可能引入帶化效應(yīng)。帶化在動(dòng)畫(huà)素 材中最為普通，在動(dòng)畫(huà)素材中圖像是人造的并且具有高頻分量和最低限度 的噪聲。任何具有有限帶寬的處理都將不可避免地導(dǎo)致混疊、"環(huán)化" (ringing)或帶化。
當(dāng)前的技術(shù)水平是添加噪聲(例如抖動(dòng)(d池ering)和誤差擴(kuò)散 (error diffosion))來(lái)減輕圖像中的偽影。噪聲在某種程度上掩蔽了該現(xiàn) 象，但卻在圖像的其他部分上引入了不合需要的噪聲，并且向諸如壓縮之 類的其他處理引入了額外的負(fù)擔(dān)。
在相關(guān)領(lǐng)域中，由于產(chǎn)生數(shù)字式采樣的圖像的高質(zhì)量表示所需的數(shù)據(jù) 文件較大，常見(jiàn)的做法是向該數(shù)據(jù)文件應(yīng)用各種形式的壓縮，以嘗試減小 數(shù)據(jù)文件的大小，而不會(huì)不利地影響感知到的圖像質(zhì)量。已經(jīng)發(fā)展了各種 公知的技術(shù)和標(biāo)準(zhǔn)來(lái)解決該需求。這些技術(shù)的代表是用于圖像編碼的聯(lián)合 圖片專家組(JPEG)。與JPEG類似但添加了幀間編碼以利用運(yùn)動(dòng)序列中 連續(xù)幀的相似性的是運(yùn)動(dòng)圖片專家組(MPEG)標(biāo)準(zhǔn)?；谛〔ㄗ儞Q已經(jīng)開(kāi)發(fā)了其他標(biāo)準(zhǔn)和專屬系統(tǒng)。
在商業(yè)電影DVD/HD-DVD發(fā)行的過(guò)程中，從傳統(tǒng)的膠片或者從計(jì)算 機(jī)動(dòng)畫(huà)電影掃描的數(shù)字圖像通常具有10比特?cái)?shù)據(jù)并且在某些應(yīng)用中具有 最多達(dá)16比特?cái)?shù)據(jù)。該數(shù)據(jù)需要被轉(zhuǎn)換成8比特YUV格式以便進(jìn)行壓 縮。由于比特深度精度的減小，帶化偽影經(jīng)常出現(xiàn)在具有平滑的顏色變化 的圖像區(qū)域或圖像中。如上所述，抖動(dòng)和誤差擴(kuò)散算法常被用于減輕帶化 偽影。在大多數(shù)抖動(dòng)算法中，具有高空間頻率的數(shù)字信號(hào)被添加到圖像以 掩蔽掉帶化效應(yīng)。然而，DVD/HD-DVD內(nèi)的壓縮是去除具有高空間頻率 的信號(hào)的有損壓縮。因此，即使在壓縮之前通過(guò)抖動(dòng)過(guò)程掩蔽掉了帶化， 在壓縮之后帶化偽影也經(jīng)常會(huì)出現(xiàn)。
用于抖動(dòng)或顏色深度減小的傳統(tǒng)方法是用于顯示應(yīng)用和打印服務(wù)的。 由于抖動(dòng)是處理鏈中的最后一步，因此所添加的高空間頻率被很好地保留 并且在顏色深度被減小時(shí)實(shí)現(xiàn)了掩蔽帶化效應(yīng)的目的。誤差擴(kuò)散是另一種 常見(jiàn)的方法，其中量化誤差被分布在鄰居像素中以產(chǎn)生掩蔽效果并且保持 整體圖像強(qiáng)度。然而，這些方法沒(méi)有考慮到諸如MPEG 1,2，4或H.264之 類的往往會(huì)減小或者截?cái)喔哳l信號(hào)的有損壓縮的影響。因此，大多數(shù)誤差 擴(kuò)散方法將減小壓縮過(guò)程中的比特率效率，這是因?yàn)閴嚎s編碼器將會(huì)使用 若干個(gè)比特來(lái)表示所添加的量化誤差，從而用來(lái)表示圖像的比特較少。同 時(shí)，帶化偽影在壓縮之后易于出現(xiàn)，因?yàn)檠诒涡盘?hào)被減小或截?cái)嗔恕?br> 因此，需要一種用于減輕圖像中的偽影的技術(shù)，其中，在圖像處理 (有損壓縮過(guò)程)之后，偽影仍然得到減輕或抑制。

發(fā)明內(nèi)容
本公開(kāi)的系統(tǒng)和方法提供了一種基于區(qū)域的誤差擴(kuò)散過(guò)程，用于減輕 圖像中的偽影。該系統(tǒng)和方法利用關(guān)于圖像的所關(guān)注區(qū)域(ROI)的知 識(shí)，并且將諸如抖動(dòng)或誤差擴(kuò)散之類的效果應(yīng)用到表現(xiàn)出偽影(例如，帶 化現(xiàn)象)的區(qū)域。本公開(kāi)的系統(tǒng)和方法包括在場(chǎng)景的表現(xiàn)出該現(xiàn)象的第一 幀上限定ROI，并且對(duì)于具有類似特性的若干個(gè)幀自動(dòng)跟蹤ROI。該系統(tǒng) 和方法提供了 ROI和圖像的其余部分之間的平滑轉(zhuǎn)變。另外，本公開(kāi)提供了一種將關(guān)于ROI的信息(例如，元數(shù)據(jù))從獲取傳送到處理再傳送到分
發(fā)的機(jī)制。
根據(jù)本發(fā)明的一個(gè)方面，提供了一種用于減輕至少一個(gè)圖像中的偽影
的方法。該方法包括在至少一個(gè)第一圖像中限定一區(qū)域，該,開(kāi)限定區(qū)域
具有至少一個(gè)偽影；跟蹤所限定區(qū)域到至少一個(gè)第二圖像；以及將誤差擴(kuò) 散函數(shù)應(yīng)用到所限定區(qū)域以掩蔽至少一個(gè)第一圖像和至少一個(gè)第二圖像中 的至少一個(gè)偽影。
在各種所描述的實(shí)施例中，限定一區(qū)域的步驟是通過(guò)繪出該區(qū)域來(lái)手 工執(zhí)行的或者是由檢測(cè)函數(shù)自動(dòng)執(zhí)行的。
在另一方面中，應(yīng)用步驟還包括選擇至少一個(gè)圖像的像素的區(qū)塊 (block)大小，判定至少一個(gè)區(qū)塊是否在所限定區(qū)域內(nèi)，向至少一個(gè)區(qū)塊 添加掩蔽信號(hào)，為至少一個(gè)圖像中的至少一個(gè)區(qū)塊確定量化誤差，以及將 量化誤差分布到鄰居區(qū)塊。
在另一個(gè)方面中，添加掩蔽信號(hào)的步驟包括確定至少一個(gè)區(qū)塊中的至 少一個(gè)像素到所限定區(qū)域的邊界的距離，以及基于所確定的距離來(lái)向關(guān)聯(lián) 到至少一個(gè)像素的掩蔽信號(hào)指派值。
在另一個(gè)方面中，跟蹤步驟還包括為至少一個(gè)第一圖像的所限定區(qū)域 生成二進(jìn)制掩碼(binary mask)。以及將二進(jìn)制掩碼投影到至少一個(gè)第二 圖像以跟蹤所限定區(qū)域。在另一個(gè)方面中，投影步驟還包括估計(jì)所限定區(qū) 域從至少一個(gè)第一圖像到至少一個(gè)第二圖像的運(yùn)動(dòng)。在另一個(gè)方面中，生 成步驟還包括將所限定區(qū)域變換成更大的區(qū)域以捕捉至少一個(gè)第一圖像的 待跟蹤特征。
根據(jù)本公開(kāi)的另一個(gè)方面，提供了一種用于減輕至少一個(gè)圖像中的偽 影的系統(tǒng)，該系統(tǒng)包括跟蹤模塊，被配置用于跟蹤至少一個(gè)第一圖像中 的所限定區(qū)域到至少一個(gè)第二圖像，該所限定區(qū)域具有至少一個(gè)偽影；以 及誤差擴(kuò)散模塊，被配置用于將誤差擴(kuò)散函數(shù)應(yīng)用到所限定區(qū)域以掩蔽至 少一個(gè)第一圖像和至少一個(gè)第二圖像中的至少一個(gè)偽影。在一個(gè)實(shí)施例 中，該系統(tǒng)還包括用戶接口，該用戶接口被配置用于在至少一個(gè)第一圖像 中限定該區(qū)域。根據(jù)本公開(kāi)的另一個(gè)方面，提供了一種可由機(jī)器讀取的程序存儲(chǔ)設(shè) 備，其有形地包含著可由該機(jī)器運(yùn)行來(lái)執(zhí)行用于減輕圖像中的偽影的方法 步驟的指令程序，該方法包括在至少一個(gè)第一圖像中限定一區(qū)域，該所
限定區(qū)域具有至少一個(gè)偽影；跟蹤所限定區(qū)域到至少一個(gè)第二圖像；以及
將誤差擴(kuò)散函數(shù)應(yīng)用到所限定區(qū)域以掩蔽至少一個(gè)第一圖像和至少一個(gè)第 二圖像中的至少一個(gè)偽影。


根據(jù)以下應(yīng)當(dāng)結(jié)合附圖來(lái)閱讀的對(duì)優(yōu)選實(shí)施例的詳細(xì)描述將描述或者 清楚看到本公開(kāi)的這些和其他方面、特征和優(yōu)點(diǎn)。
在附圖中，相似的標(biāo)號(hào)在各幅圖中指代類似的元件，其中 圖1是示出根據(jù)本公開(kāi)一個(gè)方面的用于減輕圖像中的偽影的系統(tǒng)的示 例性圖示；
圖2是根據(jù)本公開(kāi)一個(gè)方面的用于圖像中的基于區(qū)域跟蹤的示例性方 法的流程圖3是具有所限定的待跟蹤區(qū)域的圖像； 圖4示出了根據(jù)本公開(kāi)的跟蹤模型；以及
圖5是根據(jù)本公開(kāi)一個(gè)方面的用于減輕圖像中的偽影的示例性方法的 流程圖。
應(yīng)當(dāng)理解，附圖是用于說(shuō)明本公開(kāi)的概念的，而不一定是用于圖示出 本公開(kāi)的唯一可能的配置。
具體實(shí)施例方式
應(yīng)當(dāng)理解，圖中所示的要素可利用各種形式的硬件、軟件或其組合來(lái) 實(shí)現(xiàn)。優(yōu)選地，這些元件是在一個(gè)或多個(gè)適當(dāng)編程的通用設(shè)備上利用硬件 和軟件的組合來(lái)實(shí)現(xiàn)的，所述通用設(shè)備可包括處理器、存儲(chǔ)器和輸入/輸出 接口。
本說(shuō)明書(shū)例示了本公開(kāi)的原理。因此將會(huì)明白，本領(lǐng)域的技術(shù)人員將 能夠設(shè)計(jì)出雖然在這里沒(méi)有明確描述或示出但卻實(shí)現(xiàn)了本公開(kāi)的原理并被包括在其精神和范圍內(nèi)的各種布置。
這里記載的所有示例和條件性語(yǔ)言意圖用于教導(dǎo)目的以幫助讀者理解 本公開(kāi)的原理和發(fā)明人為推進(jìn)技術(shù)而貢獻(xiàn)的概念，并且應(yīng)當(dāng)被解釋為并不 限于這種具體記載的示例和條件。
另外，這里的所有記載本公開(kāi)的原理、方面和實(shí)施例及其具體示例的 陳述都意圖涵蓋其結(jié)構(gòu)和功能等同物。此外，希望這種等同物包括當(dāng)前已 知的等同物以及未來(lái)開(kāi)發(fā)的等同物，即，所開(kāi)發(fā)的任何執(zhí)行相同功能的要 素，無(wú)論結(jié)構(gòu)如何。
因此，例如，本領(lǐng)域的技術(shù)人員將會(huì)明白，這里給出的框圖表示實(shí)現(xiàn) 本公開(kāi)的原理的示例性電路的概念視圖。類似地，將會(huì)明白，任何流程 圖、狀態(tài)轉(zhuǎn)變圖、偽代碼等等都表示基本上可被表示在計(jì)算機(jī)可讀介質(zhì)中 并且因此可由計(jì)算機(jī)或處理器來(lái)運(yùn)行的各種過(guò)程，無(wú)論這里是否明確示出 這種計(jì)算機(jī)或處理器。
附圖中示出的各種要素的功能可通過(guò)使用專用硬件以及能夠聯(lián)系適當(dāng) 軟件來(lái)運(yùn)行軟件的硬件來(lái)提供。當(dāng)由處理器來(lái)提供時(shí)，這些功能可由單個(gè) 專用處理器、由單個(gè)共享處理器或者多個(gè)單獨(dú)的處理器(其中一些可被共 享)來(lái)提供。另外，對(duì)術(shù)語(yǔ)"處理器"或"控制器"的明確使用不應(yīng)當(dāng)被 解釋為僅僅指能夠運(yùn)行軟件的硬件，而是可以隱含地包括但不限于數(shù)字信
號(hào)處理器("DSP")硬件、用于存儲(chǔ)軟件的只讀存儲(chǔ)器("ROM")、 隨機(jī)訪問(wèn)存儲(chǔ)器("RAM")和非易失性存儲(chǔ)裝置。
還可包括其他傳統(tǒng)的和/或定制的硬件。類似地，圖中所示的任何開(kāi)關(guān) 只是概念性的。其功能可通過(guò)程序邏輯的操作、通過(guò)專用邏輯、通過(guò)程序 控制和專用邏輯的交互或者甚至通過(guò)手工來(lái)執(zhí)行，具體技術(shù)由實(shí)現(xiàn)者根據(jù) 對(duì)上下文的更具體理解來(lái)選擇。
在本申請(qǐng)的權(quán)利要求中，被表達(dá)為用于執(zhí)行指定功能的裝置的任何要 素意圖涵蓋執(zhí)行該功能的任何方式，例如包括a)執(zhí)行該功能的電路元 件的組合，或者b)任何形式的軟件，因此包括固件、微代碼等等，這種 軟件與適當(dāng)?shù)碾娐废嘟Y(jié)合以用于運(yùn)行該軟件以執(zhí)行該功能。這種權(quán)利要求 所限定的公開(kāi)內(nèi)容存在于以下事實(shí)中，即，各種記載的裝置所提供的功能按權(quán)利要求所要求的方式被組合且集合在一起。因此認(rèn)為，任何能夠提供 這些功能的裝置都等同于這里示出的那些。帶化現(xiàn)象可被分類成兩個(gè)類別。在顏色比特減少或顏色量化的過(guò)程 中，帶化可能由于信號(hào)精度的減小而出現(xiàn)。在大多數(shù)情況下，可通過(guò)使用 誤差擴(kuò)散算法來(lái)有效地去除這類誤差。然而，諸如顏色校正、縮放和顏色 空間轉(zhuǎn)換之類的其他過(guò)程由于其有限的處理帶寬而造成了帶化偽影。這類 帶化無(wú)法通過(guò)誤差擴(kuò)散來(lái)有效地應(yīng)對(duì)。需要一個(gè)掩蔽信號(hào)來(lái)掩蔽掉這些帶 化偽影。所添加的掩蔽信號(hào)的量與帶化偽影的強(qiáng)度直接相關(guān)。由于帶化偽 影最可能出現(xiàn)在平滑的線性轉(zhuǎn)變中，所以基于幀的方法將會(huì)向沒(méi)有帶化偽 影的區(qū)域引入不必要的掩蔽信號(hào)，從而降低圖像質(zhì)量。本公開(kāi)的系統(tǒng)和方 法提供了一種基于ROI (即，基于所關(guān)注區(qū)域)的方法，其有效地去除了 兩種類別的帶化，其中所添加的掩蔽信號(hào)的量可由人類操作者調(diào)節(jié)，以實(shí) 現(xiàn)盡可能最佳的圖像質(zhì)量。本公開(kāi)的系統(tǒng)和方法提供了一種基于區(qū)域的誤差擴(kuò)散算法，用于減輕 圖像中的偽影。本公開(kāi)提供了一種交互式系統(tǒng)，用于基于例如由人類操作者或者由自動(dòng)檢測(cè)算法或函數(shù)最初限定的所關(guān)注區(qū)域(ROI)來(lái)去除令人 不快的帶化現(xiàn)象。本公開(kāi)還提供了一種基于ROI的誤差擴(kuò)散和條帶掩蔽方 案，其被設(shè)計(jì)為去除所跟蹤區(qū)域中的帶化，并且使對(duì)其他處理(例如，壓 縮過(guò)程)的副作用達(dá)到最低限度。為了使系統(tǒng)有效地在膠片/視頻處理中實(shí) 際應(yīng)用，提供了一種基于區(qū)域的跟蹤算法來(lái)在若干個(gè)隨后的幀中跟蹤 ROI，從而減少人類操作者的工作?，F(xiàn)在參考附圖，根據(jù)本公開(kāi)實(shí)施例的示例性系統(tǒng)組件在圖1中示出。 掃描設(shè)備103可被提供來(lái)用于將膠片拷貝(film print) 104 (例如，相機(jī)原 始負(fù)片)掃描成數(shù)字格式(例如，Cineon格式或SMPTEDPX文件)。掃 描設(shè)備103可包括例如電視電影機(jī)(tdecine)或任何將會(huì)從這種膠片生成 視頻輸出的設(shè)備，例如具有視頻輸出的ArriLocPro，?；蛘撸梢灾苯邮?用來(lái)自后期制作過(guò)程或數(shù)字影院106的文件(例如，己經(jīng)是計(jì)算機(jī)可讀形 式的文件)。計(jì)算機(jī)可讀文件的可能來(lái)源是AVID，編輯器、DPX文件、 D5帶，等等。所掃描的膠片拷貝被輸入到后處理設(shè)備102，例如計(jì)算機(jī)。該計(jì)算機(jī) 實(shí)現(xiàn)在各種已知的計(jì)算機(jī)平臺(tái)中的任何一種上，這些計(jì)算機(jī)平臺(tái)具有諸如 以下硬件 一個(gè)或多個(gè)中央處理單元(CPU)、存儲(chǔ)器110 (例如隨機(jī)訪問(wèn)存儲(chǔ)器(RAM)和/或只讀存儲(chǔ)器(ROM))以及(一個(gè)或多個(gè))輸入/ 輸出(I/O)用戶接口 112 (例如鍵盤、光標(biāo)控制設(shè)備(例如，鼠標(biāo)、操縱 桿等等)和顯示設(shè)備)。該計(jì)算機(jī)平臺(tái)還包括操作系統(tǒng)和微指令代碼。這 里描述的各種過(guò)程和功能可以是經(jīng)由操作系統(tǒng)運(yùn)行的微指令代碼的一部分 或者軟件應(yīng)用程序的一部分(或其組合)。此外，各種其他外圍設(shè)備可以 通過(guò)諸如并行端口、串行端口或通用串行總線(USB)之類的各種接口和 總線結(jié)構(gòu)連接到該計(jì)算機(jī)平臺(tái)。其他外圍設(shè)備可包括另外的存儲(chǔ)設(shè)備124 和打印機(jī)128。打印機(jī)128可以用于打印膠片126的經(jīng)修改版本，例如膠 片的立體版本。或者，已經(jīng)是計(jì)算機(jī)可讀形式的文件/膠片拷貝106 (例如，數(shù)字影 院，其例如可被存儲(chǔ)在外部硬盤驅(qū)動(dòng)器124上)可被直接輸入到計(jì)算機(jī) 102中。注意，這里使用的術(shù)語(yǔ)"膠片"可以指膠片拷貝或數(shù)字影院。軟件程序包括存儲(chǔ)在存儲(chǔ)器110中的用于減輕圖像中的偽影的誤差擴(kuò) 散模塊114。誤差擴(kuò)散模塊114包括噪聲或信號(hào)生成器116，用于生成一 信號(hào)來(lái)掩蔽圖像中的偽影。噪聲信號(hào)可以是白噪聲、高斯噪聲、利用不同 截止頻率的濾波器來(lái)調(diào)制的白噪聲，等等。截?cái)嗄K118被提供來(lái)確定圖 像的區(qū)塊的量化誤差。誤差擴(kuò)散模塊114還包括被配置為將量化誤差分布 到鄰居區(qū)塊的誤差分布模塊120。還提供了跟蹤模塊132，用于在一場(chǎng)景的若干個(gè)幀中跟蹤ROI。跟蹤 模塊132包括掩碼生成器134，用于為一場(chǎng)景的每個(gè)圖像或幀生成二進(jìn)制 掩碼。二進(jìn)制掩碼是從圖像中限定的ROI生成的，所述限定例如是利用繪 在ROI周圍的由用戶輸入的多邊形或者利用自動(dòng)檢測(cè)算法或函數(shù)來(lái)進(jìn)行 的。二進(jìn)制掩碼是具有像素值1或0的圖像。ROI內(nèi)的所有像素具有值 1，其他像素具有值0。跟蹤模塊132還包括跟蹤模型136，用于在圖像與 圖像之間(例如，在一場(chǎng)景的幀與幀之間)估計(jì)ROI的跟蹤信息。編碼器122被提供來(lái)用于將輸出圖像編碼成任何已知的壓縮標(biāo)準(zhǔn)，例如MPEG 1,2， 4、 h.264，等等。圖2是根據(jù)本公開(kāi)一個(gè)方面用于跟蹤圖像中的所關(guān)注區(qū)域(ROI)的 示例性方法的流程圖。首先，在步驟202，后處理設(shè)備102獲取至少一個(gè) 二維(2D)圖像。如上所述，后處理設(shè)備102通過(guò)獲得計(jì)算機(jī)可讀格式的 數(shù)字主視頻文件來(lái)獲取至少一個(gè)2D圖像?？梢酝ㄟ^(guò)利用數(shù)字視頻相機(jī)捕 捉視頻圖像的時(shí)間序列來(lái)獲取數(shù)字視頻文件。或者，可以利用傳統(tǒng)的膠片 型相機(jī)來(lái)捕捉視頻序列。在此情形下，經(jīng)由掃描設(shè)備103來(lái)掃描膠片。應(yīng)當(dāng)明白，不論膠片被掃描還是已經(jīng)為數(shù)字格式，膠片的數(shù)字文件都 將包括關(guān)于幀的位置的指示或信息，例如幀號(hào)碼、從膠片開(kāi)始起的時(shí)間， 等等。數(shù)字視頻文件的每個(gè)幀將包括一個(gè)圖像，例如I,、 12、……、In。在步驟204中，在至少一個(gè)圖像中限定所關(guān)注區(qū)域R。在一個(gè)實(shí)施例 中，操作者利用諸如用戶接口 112之類的交互式用戶接口來(lái)限定具有帶化 偽影的區(qū)域。參考圖3，通過(guò)在圖像上描畫(huà)出一個(gè)多邊形區(qū)域來(lái)限定該區(qū) 域。在另一個(gè)實(shí)施例中，由自動(dòng)檢測(cè)算法或函數(shù)來(lái)檢測(cè)該區(qū)域。自動(dòng)檢測(cè) 算法將與知識(shí)庫(kù)相交互，該知識(shí)庫(kù)是根據(jù)將會(huì)包括人類操作者所識(shí)別出的 典型偽影的多個(gè)經(jīng)過(guò)處理的膠片編制的。返回圖2，根據(jù)ROI的多邊形，二進(jìn)制掩碼被生成并被用在用于跟蹤 ROI的系統(tǒng)中。二進(jìn)制掩碼是具有像素值1或0的圖像。多邊形內(nèi)的所有 像素具有值1，并且其他像素具有值0。 二進(jìn)制掩碼可用于表示ROI，這 相當(dāng)于由多邊形限定的ROI。然后在步驟206中讀取該場(chǎng)景的下一幀。帶化偽影出現(xiàn)在平滑顏色分級(jí)區(qū)域中。然而， 一般的ROI算法為了進(jìn) 行健壯且準(zhǔn)確的跟蹤，要求該區(qū)域中存在某處明顯的特征。因此，提供了 使用一種不同的跟蹤區(qū)域的跟蹤方案。在步驟208中，ROI R被增長(zhǎng)或變 換到更大的區(qū)域以捕捉該ROI的更顯著特征以便跟蹤。該更大的具有某些 顯著特征的區(qū)域被稱為跟蹤區(qū)域Rt。區(qū)域增長(zhǎng)算法使用ROI的邊界像素作 為種子以及一種"分水嶺"實(shí)現(xiàn)方式來(lái)增長(zhǎng)區(qū)域。為了估計(jì)跟蹤信息，六參數(shù)跟蹤模型136 (例如，仿射運(yùn)動(dòng)模型)被 用于跟蹤該區(qū)域(步驟210)。首先將跟蹤區(qū)域劃分成16x16區(qū)塊，并且 通過(guò)利用亮度強(qiáng)度在下一幀中找出最佳區(qū)塊匹配來(lái)獲得每個(gè)區(qū)塊的運(yùn)動(dòng)向量。所有區(qū)塊的運(yùn)動(dòng)向量被用于估計(jì)跟蹤模型中的六個(gè)參數(shù)，如圖4所 示。線性回歸過(guò)程被用于找出使預(yù)測(cè)像素和實(shí)際像素之間的誤差最小化的最佳參數(shù)。在步驟212中，利用六參數(shù)跟蹤模型將ROI的二進(jìn)制掩碼投影 到下一幀。在步驟214中，系統(tǒng)判定是否處理了該場(chǎng)景的最后一幀。如果 否，系統(tǒng)則將返回到步驟206，直到處理了該場(chǎng)景的所有幀為止。 一旦對(duì) 于若干個(gè)幀可得到ROI，該過(guò)程就可以很容易地被自動(dòng)應(yīng)用到該場(chǎng)景的其 余部分。系統(tǒng)提供關(guān)于跟蹤結(jié)果的實(shí)時(shí)反饋。在步驟216，操作者可評(píng)估該結(jié) 果并且如果結(jié)果不令人滿意可在步驟218修改ROI。例如，操作者可査看 用戶接口 112的顯示器中的ROI以判定ROI是否被正確跟蹤。如果操作者 不滿意，則ROI可被修改并且跟蹤過(guò)程可被重復(fù)。在步驟220中，每個(gè)圖 像或幀的ROI的二進(jìn)制掩碼被存儲(chǔ)到二進(jìn)制文件中，并被用作用于基于 ROI的誤差擴(kuò)散和條帶掩蔽的ROI，下文將對(duì)此進(jìn)行描述。另外，ROI的 二進(jìn)制掩碼被存儲(chǔ)到二進(jìn)制文件中并且可被傳送到下一階段。例如，如果 下一階段是MPEG4 AVC編碼，則ROI的信息可被編碼器用于為ROI分 配適當(dāng)?shù)谋忍?。該元?shù)據(jù)可被存儲(chǔ)在存儲(chǔ)設(shè)備124中并且與圖像相關(guān)聯(lián)， 因此它可被用在其他過(guò)程中。基于ROI的誤差擴(kuò)散和條帶掩蔽方案的流程圖在圖5中示出。如上所 述，在步驟502中獲取至少一個(gè)待處理的圖像。在步驟504中，選擇區(qū)塊大小。圖像可被劃分成任何數(shù)目的區(qū)塊。區(qū) 塊是包含在矩形區(qū)域中的若干個(gè)像素，例如Bm,n，其中m, n表示區(qū)塊索 引。所有區(qū)塊可具有相同大小，例如2x2、 3x3，等等。區(qū)塊大小也可依據(jù) 局部圖像屬性而變化。區(qū)塊大小可由操作者經(jīng)由用戶接口 112來(lái)選擇，或 者它可由圖像大小來(lái)決定，以便對(duì)不同的圖像大小保持恒定的比率。如下 文將描述的，本公開(kāi)的誤差擴(kuò)散方法工作在區(qū)塊級(jí)。 一旦區(qū)塊大小被選 擇，區(qū)塊大小就將對(duì)同一圖像保持相同。應(yīng)當(dāng)明白，區(qū)塊大小可以從單個(gè)像素變化到任何任意大小，例如 2x2、 2x3、 4x4。對(duì)不同區(qū)塊大小的使用使得系統(tǒng)能夠控制掩蔽信號(hào)的空 間頻率。如果接下來(lái)的過(guò)程是往往會(huì)去除高空間頻率的有損壓縮的話，這是很重要的。添加被適當(dāng)控制的掩蔽信號(hào)將減輕壓縮偽影并且避免在有損 壓縮之后帶化重新出現(xiàn)。一旦選擇了區(qū)塊大小之后，在步驟506就將從第一區(qū)塊開(kāi)始處理構(gòu)成圖像的所有區(qū)塊。首先，在步驟508，系統(tǒng)將判定區(qū)塊是否在所限定的所 關(guān)注區(qū)域(ROI)中。如果區(qū)塊不在ROI中，則在步驟516使用簡(jiǎn)單的量 化方案來(lái)減小顏色比特深度，例如區(qū)塊的最低有效位被去除并且量化誤差 不被補(bǔ)償。在步驟516之后，系統(tǒng)在步驟518將轉(zhuǎn)到圖像中的下一區(qū)塊。如果區(qū)塊在ROI中，那么在步驟510中，經(jīng)由噪聲生成器116向圖像 添加噪聲信號(hào)，例如掩蔽信號(hào)?；谙袼嘏c區(qū)域邊界的距離(例如，接近 度)來(lái)向像素指派從0至255的級(jí)別。確定區(qū)塊中的至少一個(gè)像素到所限 定的區(qū)域的邊界的距離，并且基于所確定的距離來(lái)指派與該至少一個(gè)像素 相關(guān)聯(lián)的掩蔽信號(hào)的值。這些級(jí)別被用于按比例減小掩蔽信號(hào)的強(qiáng)度，從 而在區(qū)域邊界區(qū)中形成平滑的轉(zhuǎn)變。計(jì)算ROI中的像素顏色值的均值和方 差。如果像素相對(duì)于均值的顏色差異是方差的三倍那么大，則表明存在一 個(gè)不太可能是帶化偽影的顯著特征。為了保留該特征，向該像素指派級(jí)別 0，這意味著不會(huì)向該像素添加噪聲。其示例是有星星的藍(lán)天的場(chǎng)景，如 圖3所示，其中帶化偽影出現(xiàn)在藍(lán)天中。操作者可以將藍(lán)天選擇為用于去 帶化處理的ROI。天空中的所有星星被適當(dāng)?shù)乇Ａ?，因?yàn)樗鼈兊念伾蹬c ROI中的像素的平均值顯著不同。在步驟512中，為該區(qū)塊確定量化誤差。首先，經(jīng)由截?cái)嗄K118對(duì) 圖像中的每個(gè)區(qū)塊執(zhí)行截?cái)嗪瘮?shù)。截?cái)嗪瘮?shù)被用于通過(guò)將比特深度值除以 恒定的量化因子Q來(lái)減小區(qū)塊中的每個(gè)像素的比特深度，該量化因子Q是 2的冪。 一般來(lái)說(shuō)，量化因子Q等于2X，其中X是要截?cái)嗟谋忍氐臄?shù)目。 例如，對(duì)于從10比特?cái)?shù)據(jù)到8比特?cái)?shù)據(jù)的截?cái)?，恒定的量化因子Q將為 4，即Q-22。截?cái)嗪瘮?shù)被定義如下,， /f7+i^"'、",、e^," ("其中/,》.是區(qū)塊內(nèi)的像素值，A^.是噪聲生成器116在截?cái)嘀疤砑拥男盘?hào)，g是量化因子。/,:,,是被截?cái)嗟南袼刂?。在截?cái)噙^(guò)程中，對(duì)于像素值要1考慮舍入問(wèn)題。例如，如果/,:,等于1.75，即7(4 +A^.)除以4(Q)，則/,: 將需要利用整數(shù)來(lái)表示?；诒绢I(lǐng)域中已知的不同舍入方案，可以是2 或1。在式1內(nèi)，A^是噪聲，例如白噪聲，并且它減輕了結(jié)構(gòu)偽影。 一般 來(lái)說(shuō)，A^.具有隨機(jī)的信號(hào)分布。經(jīng)由用戶接口 112，操作者可以手工控制 A^.的值范圍。默認(rèn)地，A^.的值范圍是從0到Q-l。通過(guò)對(duì)于圖像的所選 區(qū)塊內(nèi)的每個(gè)像素使用相同的噪聲，噪聲樣式的空間頻率在區(qū)塊內(nèi)將會(huì)較 低，這降低了整個(gè)圖像中的噪聲的整體空間頻率。由于噪聲的空間頻率被 降低，因此噪聲(即掩蔽信號(hào))將會(huì)從壓縮過(guò)程中幸存并且在解壓縮期間 抑制偽影。接下來(lái)，如以下式(2)所示為區(qū)塊內(nèi)的每個(gè)像素確定量化誤差，并 且所有量化誤差的總和產(chǎn)生了區(qū)塊量化誤差&. ，該區(qū)塊量化誤差&"基于 誤差擴(kuò)散系數(shù)被分布到鄰居區(qū)塊中。^,"-IX廣g") (2)對(duì)于總的區(qū)塊量化誤差&, ，由下式確定的一部分量化誤差e將被分 布到鄰居區(qū)塊e:cfm'""五 (3)其中c(m,n)是誤差擴(kuò)散系數(shù)。在步驟514中，經(jīng)由誤差分布模塊120將區(qū)塊量化誤差分布到鄰居區(qū) 塊。每個(gè)區(qū)塊內(nèi)的誤差分布函數(shù)被定義如下;乂"w+w"^ (4)其中e是分布到區(qū)塊^n的總誤差，AA、 M是區(qū)塊的尺寸， 是區(qū)塊5^的 加權(quán)系數(shù)。在一個(gè)實(shí)施例中，如式(5)所示的均勻分布被用于計(jì)算加權(quán) 系數(shù)。可以設(shè)計(jì)更復(fù)雜的函數(shù)來(lái)計(jì)算 ，例如，w,..,可被設(shè)定為與I(i，j)成 比例。區(qū)塊^， 的大小決定了在誤差擴(kuò)散過(guò)程中能夠控制的空間頻率的量， 并且被選擇來(lái)實(shí)現(xiàn)最佳的掩蔽偽影的效果。然而，較大的區(qū)塊大小往往會(huì) 生成結(jié)構(gòu)化的偽影，在誤差擴(kuò)散過(guò)程中這是不合需要的。這種結(jié)構(gòu)化的偽 影包括區(qū)塊邊界偽影，其中兩個(gè)不同區(qū)塊中的2個(gè)相鄰像素將被不同地變 換。式1中的A^也被用于通過(guò)包括隨機(jī)噪聲來(lái)破壞潛在的結(jié)構(gòu)化偽影。己經(jīng)發(fā)現(xiàn)，2x2的示例性區(qū)塊大小足以處理720x480像素(例如DVD分辨 率)的圖像，而不會(huì)有可見(jiàn)的區(qū)塊偽影。應(yīng)當(dāng)明白，可以使用其他區(qū)塊大 小和圖像大小，而不會(huì)產(chǎn)生可見(jiàn)的偽影。在己在步驟516中或者通過(guò)步驟510至514來(lái)執(zhí)行量化之后，系統(tǒng)在 步驟518將進(jìn)行到圖像中的下一區(qū)塊，直到圖像中的所有區(qū)塊都被處理為 止。在已通過(guò)誤差擴(kuò)散函數(shù)來(lái)修改圖像之后，可將圖像保存在后處理設(shè)備 的存儲(chǔ)器中，例如保存在存儲(chǔ)設(shè)備124中。 一旦己經(jīng)修改了特定膠片的所 有圖像，就可以根據(jù)任何傳統(tǒng)的壓縮標(biāo)準(zhǔn)(例如MPEG 1, 2， 4、 h.264等 等)經(jīng)由編碼器122來(lái)對(duì)圖像進(jìn)行編碼。然而可將經(jīng)過(guò)壓縮的膠片130存 儲(chǔ)在存儲(chǔ)設(shè)備(例如，存儲(chǔ)設(shè)備124)中或?qū)⑵鋫魉偷娇梢苿?dòng)的存儲(chǔ)設(shè)備 (例如，DVD)。雖然這里已經(jīng)示出并詳細(xì)描述了結(jié)合了本公開(kāi)的教導(dǎo)的實(shí)施例，但是 本領(lǐng)域的技術(shù)人員可以很容易設(shè)計(jì)出仍結(jié)合這些教導(dǎo)的許多其他改變的實(shí) 施例。在已經(jīng)描述了用于減輕圖像中的偽影的系統(tǒng)和方法的優(yōu)選實(shí)施例 (它們意圖為例示性的而非限制性的)后，注意本領(lǐng)域的技術(shù)人員在考慮 以上教導(dǎo)后可以進(jìn)行修改和改變。因此，應(yīng)當(dāng)理解，在所公開(kāi)的公開(kāi)內(nèi)容 的特定實(shí)施例中可以進(jìn)行處于所附權(quán)利要求所限定的公開(kāi)范圍和精神之內(nèi) 的變化。
權(quán)利要求
1.一種用于減輕至少一個(gè)圖像中的偽影的方法，包括在至少一個(gè)第一圖像中限定一區(qū)域(214)，該所限定區(qū)域具有至少一個(gè)偽影；跟蹤所述所限定區(qū)域到至少一個(gè)第二圖像(212)；以及將誤差擴(kuò)散函數(shù)應(yīng)用到所述所限定區(qū)域以掩蔽所述至少一個(gè)第一圖像和至少一個(gè)第二圖像中的所述至少一個(gè)偽影(514)。
2. 如權(quán)利要求1所述的方法，其中，所述應(yīng)用步驟還包括選擇所述至少一個(gè)圖像的像素的區(qū)塊大小(504); 判定至少一個(gè)區(qū)塊是否在所述所限定區(qū)域內(nèi)(508);向所述至少一個(gè)區(qū)塊添加掩蔽信號(hào)(510);為所述至少一個(gè)圖像中的所述至少一個(gè)區(qū)塊確定量化誤差(512);以及將所述量化誤差分布到鄰居區(qū)塊(514)。
3. 如權(quán)利要求2所述的方法，還包括在所述分布步驟之后利用壓縮函數(shù)來(lái)對(duì)所述至少一個(gè)第一圖像和至少一個(gè)第二圖像進(jìn)行編碼。
4. 如權(quán)利要求3所述的方法，其中，所述壓縮函數(shù)是有損的。
5. 如權(quán)利要求2所述的方法，其中，所述添加掩蔽信號(hào)的步驟 (510)包括確定所述至少一個(gè)區(qū)塊中的至少一個(gè)像素到所述所限定區(qū)域的邊界的 距離；以及基于所確定的距離來(lái)向關(guān)聯(lián)到所述至少一個(gè)像素的掩蔽信號(hào)指派值。
6. 如權(quán)利要求2所述的方法，其中，所述掩蔽信號(hào)是噪聲信號(hào)。
7. 如權(quán)利要求2所述的方法，其中，確定量化誤差的步驟(512)還 包括截?cái)嗨鲋辽僖粋€(gè)區(qū)塊中的每個(gè)像素； 為每個(gè)像素確定量化誤差；以及 對(duì)所述至少一個(gè)區(qū)塊中的每個(gè)像素的量化誤差求和。
8. 如權(quán)利要求1所述的方法，其中，所述跟蹤步驟還包括為所述至少一個(gè)第一圖像的所述所限定區(qū)域生成二進(jìn)制掩碼；以及將所述二進(jìn)制掩碼投影到所述至少一個(gè)第二圖像以跟蹤所述所限定區(qū)域(212)。
9. 如權(quán)利要求8所述的方法，其中，所述投影步驟(212)還包括估 計(jì)所述所限定區(qū)域從所述至少一個(gè)第一圖像到所述至少一個(gè)第二圖像的運(yùn) 動(dòng)(210)。
10. 如權(quán)利要求9所述的方法，其中，所述估計(jì)步驟(210)是利用仿 射運(yùn)動(dòng)模型來(lái)執(zhí)行的。
11. 如權(quán)利要求8所述的方法，其中，所述生成步驟還包括將所述所 限定區(qū)域變換成更大的區(qū)域以捕捉所述至少一個(gè)第一圖像的待跟蹤特征(208)。
12. 如權(quán)利要求1所述的方法，其中，所述限定一區(qū)域的步驟(204) 是通過(guò)繪出該區(qū)域來(lái)手工執(zhí)行的或者是利用檢測(cè)函數(shù)自動(dòng)執(zhí)行的。
13. —種用于減輕至少一個(gè)圖像中的偽影的系統(tǒng)(100)，該系統(tǒng)包括跟蹤模塊(132)，被配置用于跟蹤至少一個(gè)第一圖像中的所限定區(qū) 域到至少一個(gè)第二圖像，該所限定區(qū)域具有至少一個(gè)偽影；以及誤差擴(kuò)散模塊(114)，被配置用于將誤差擴(kuò)散函數(shù)應(yīng)用到所述所限 定區(qū)域以掩蔽所述至少一個(gè)第一圖像和至少一個(gè)第二圖像中的所述至少一 個(gè)偽影。
14. 如權(quán)利要求13所述的系統(tǒng)(100)，還包括用戶接口 (212)，該 用戶接口被配置用于在所述至少一個(gè)第一圖像中限定所述區(qū)域。
15. 如權(quán)利要求13所述的系統(tǒng)(100)，還包括編碼器(122)，該編 碼器被配置用于利用壓縮函數(shù)來(lái)對(duì)所述至少一個(gè)第一圖像和至少一個(gè)第二 圖像進(jìn)行編碼。
16. 如權(quán)利要求13所述的系統(tǒng)(100)，其中，所述誤差擴(kuò)散模塊 (114)還包括信號(hào)生成器(116)，該信號(hào)生成器被配置用于生成將被應(yīng)用到至少一個(gè)圖像的掩蔽信號(hào)；所述誤差擴(kuò)散模塊(114)還被配置為用于選擇所述至少一個(gè)圖像的像素的區(qū)塊大小，判定至少一個(gè)區(qū)塊是否在所 述所限定區(qū)域內(nèi)；為所述至少一個(gè)圖像中的所述至少一個(gè)區(qū)塊確定量化誤 差；以及將所述量化誤差分布到鄰居區(qū)塊。
17. 如權(quán)利要求16所述的系統(tǒng)(100)，其中，所述信號(hào)生成器 (116)被配置為生成噪聲信號(hào)。
18. 如權(quán)利要求16所述的系統(tǒng)(100)，其中，所述誤差擴(kuò)散模塊 (114)還被配置用于確定所述至少一個(gè)區(qū)塊中的至少一個(gè)像素到所述所限定區(qū)域的邊界的距離；以及基于所確定的距離來(lái)向關(guān)聯(lián)到所述至少一 個(gè)像素的掩蔽信號(hào)指派值。
19. 如權(quán)利要求16所述的系統(tǒng)(100)，其中，所述誤差擴(kuò)散模塊 (114)還包括截?cái)嗄K(118)，該截?cái)嗄K被配置為截?cái)嗨鲋辽僖粋€(gè)區(qū)塊中的每個(gè)像素，為每個(gè)像素確定量化誤差，以及對(duì)所述至少一個(gè)區(qū)塊 中的每個(gè)像素的量化誤差求和。
20. 如權(quán)利要求13所述的系統(tǒng)(100)，其中，所述跟蹤模塊(132) 還包括掩碼生成器(134)，該掩碼生成器被配置用于為所述至少一個(gè)第 一圖像的所述所限定區(qū)域生成二進(jìn)制掩碼；所述跟蹤模塊(132)還被配 置用于將所述二進(jìn)制掩碼投影到所述至少一個(gè)第二圖像以跟蹤所述所限定 區(qū)域。
21. 如權(quán)利要求20所述的系統(tǒng)(100)，其中，所述跟蹤模塊(132) 還包括跟蹤模型(136)，該跟蹤模型被配置為估計(jì)所述所限定區(qū)域從所 述至少一個(gè)第一圖像到所述至少一個(gè)第二圖像的運(yùn)動(dòng)。
22. 如權(quán)利要求21所述的系統(tǒng)(100)，其中，所述跟蹤模型(136) 是仿射運(yùn)動(dòng)模型。
23. 如權(quán)利要求20所述的系統(tǒng)(100)，其中，所述跟蹤模塊(132) 還被配置用于將所述所限定區(qū)域變換成更大的區(qū)域以捕捉所述至少一個(gè)第 一圖像的待跟蹤特征。
24. —種可由機(jī)器讀取的程序存儲(chǔ)設(shè)備，有形地包含著可由該機(jī)器運(yùn) 行來(lái)執(zhí)行用于減輕圖像中的偽影的方法步驟的指令程序，該方法包括在至少一個(gè)第一圖像中限定一區(qū)域(214)，該所限定區(qū)域具有至少 一個(gè)偽影；跟蹤所述所限定區(qū)域到至少一個(gè)第二圖像(212);以及 將誤差擴(kuò)散函數(shù)應(yīng)用到所述所限定區(qū)域以掩蔽所述至少一個(gè)第一圖像 和至少一個(gè)第二圖像中的所述至少一個(gè)偽影(514)。
全文摘要
本公開(kāi)的系統(tǒng)和方法提供了一種基于區(qū)域的誤差擴(kuò)散算法或函數(shù)，用于減輕圖像中的偽影。該系統(tǒng)和方法利用關(guān)于圖像中的所關(guān)注區(qū)域(ROI)的知識(shí)，并且將諸如抖動(dòng)或誤差擴(kuò)散之類的效果應(yīng)用到表現(xiàn)出偽影(例如，帶化現(xiàn)象)的部分或區(qū)域。該系統(tǒng)和方法包括在至少一個(gè)第一圖像中限定一區(qū)域(204)，該所限定區(qū)域具有至少一個(gè)偽影；跟蹤所限定區(qū)域到至少一個(gè)第二圖像(212)；以及將誤差擴(kuò)散函數(shù)應(yīng)用到所限定區(qū)域以掩蔽至少一個(gè)第一圖像和至少一個(gè)第二圖像中的至少一個(gè)偽影(514)。
文檔編號(hào)H04N7/26GK101601069SQ200780049978
公開(kāi)日2009年12月9日 申請(qǐng)日期2007年6月19日 優(yōu)先權(quán)日2007年1月16日
發(fā)明者學(xué)明·亨瑞·古, 菊 郭 申請(qǐng)人:湯姆遜許可證公司