專利名稱：膠片顆粒模擬方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于在圖像中模擬膠片顆粒的技術(shù)。
背景技術(shù)：
電影(motion picture)膠片包括在片基(film base)上的薄層中涂覆的感光乳劑(emulsion)中分布的鹵化銀晶體。這些晶體的曝光和顯影形成由離散的銀微粒構(gòu)成的照片圖像。在彩色負(fù)象中，銀在顯影之后經(jīng)過化學(xué)去除(chemical removal)，并且，在銀晶體形成的位置上出現(xiàn)染料的微團(tuán)(tinyblob)。在彩色膠片中，這些小的染料斑點(diǎn)被統(tǒng)稱為“顆?！?。由于原始感光乳劑上的銀晶體的隨機(jī)形成，所以顆粒呈現(xiàn)為隨機(jī)分布于所得到的圖像上。在均勻曝光的區(qū)域內(nèi)，一些晶體在曝光之后顯影，而另一些不會如此。
顆粒在大小和形狀方面呈現(xiàn)變化。膠片越快，則所形成的銀團(tuán)(clumps ofsilver)、以及所生成的染料團(tuán)便越大，并且，它們越趨向于以隨機(jī)圖案聚合在一起。顆粒圖案通常被稱為“粒度(granularity)”。裸眼不能區(qū)分從0.0002毫米到約0.002毫米變化的各個(gè)顆粒。相反，眼睛能分辨出顆粒群，其被稱為團(tuán)(blob)。觀看者將這些團(tuán)的組識別為膠片顆粒。隨著圖像分辨率變大，膠片顆粒的百分比變高。在電影和高清晰度圖像上，膠片顆粒變得清晰可見，而在SDTV中，膠片顆粒逐漸失去重要性，并且，在較小的格式中變得不可察覺。
典型地，電影膠片包含從照相膠片的曝光和顯影的物理工藝產(chǎn)生的或從圖像的后續(xù)編輯產(chǎn)生的、取決于圖像的噪聲。照相膠片具有從照相感光乳劑的物理粒度產(chǎn)生的特征擬隨機(jī)(characteristic quasi-random)圖案、或紋理?？商鎿Q地，可在計(jì)算機(jī)生成的圖像上模擬類似的圖案，以便將它們與照相膠片混合。在所述兩種情況下，將這個(gè)取決于圖像的噪聲稱為顆粒。經(jīng)常地，適當(dāng)?shù)念w粒紋理在電影中呈現(xiàn)出期望的特征。在某些實(shí)例中，膠片顆粒提供幫助正確理解二維畫面的視覺暗示。膠片顆粒經(jīng)常在單個(gè)膠片內(nèi)變化，以提供有關(guān)時(shí)間基準(zhǔn)、視點(diǎn)等的各種線索。在電影工業(yè)中，存在用于控制顆粒紋理的很多其它技術(shù)和藝術(shù)用途。因此，在圖像處理和傳遞鏈中保留圖像的顆粒狀呈現(xiàn)已成為一種需要。
一些商用產(chǎn)品具有模擬膠片顆粒的能力，其經(jīng)常用于將計(jì)算機(jī)生成的對象混合到自然場景中。作為最早的用來實(shí)現(xiàn)膠片模擬的數(shù)字膠片應(yīng)用之一的、來自Eastman Kodak Co，Rochester New York的Cineon對于很多顆粒類型產(chǎn)生非常真實(shí)的結(jié)果。然而，Cineon應(yīng)用對于很多高速膠片來說不能產(chǎn)生良好的性能，這是由于，該應(yīng)用對于大顆粒大小設(shè)置產(chǎn)生了顯而易見的對角條紋。此外，當(dāng)圖像經(jīng)過先前的處理時(shí)，例如，當(dāng)復(fù)制或數(shù)字化處理了圖像時(shí)，Cineon應(yīng)用未能以高保真度地模擬顆粒。
模擬膠片顆粒的另一個(gè)商業(yè)產(chǎn)品為來自Visual Infinity Inc.的GrainSurgeryTM，其被用作AdobeAfter Effects的插件。Grain SurgeryTM產(chǎn)品呈現(xiàn)為通過對一組隨機(jī)數(shù)進(jìn)行濾波而產(chǎn)生合成顆粒。這方法有著高計(jì)算復(fù)雜度的缺點(diǎn)。
這些既往的方案均不能解決在壓縮視頻中恢復(fù)膠片顆粒的問題。膠片顆粒構(gòu)成高頻偽隨機(jī)現(xiàn)象，其通常不能使用傳統(tǒng)的空間和時(shí)間方法來被壓縮，該傳統(tǒng)的空間和時(shí)間方法利用視頻序列中的冗余度。通常，使用MPEG-2或ITU-T Rec.H.264|ISO/IEC 14496-10壓縮技術(shù)來處理源自膠片的圖像的嘗試會導(dǎo)致不能接受的低壓縮度、或顆粒紋理的完全損失。
由此，存在對于模擬膠片顆粒的技術(shù)的需要、尤其是對于提供相對低的復(fù)雜度的技術(shù)的需要。

發(fā)明內(nèi)容
簡而言之，根據(jù)本發(fā)明的優(yōu)選實(shí)施例，通過首先至少部分地根據(jù)宏塊的至少一個(gè)屬性來建立至少一個(gè)圖像參數(shù)、之后根據(jù)圖像參數(shù)來建立膠片顆粒塊，而出現(xiàn)用于添加到圖像的宏塊的膠片顆粒塊的模擬。


圖1繪出了用于實(shí)踐本發(fā)明的技術(shù)的膠片顆粒處理鏈中的傳送機(jī)和接收機(jī)的組合的示意性框圖；圖2繪出了根據(jù)本原理的用于模擬膠片顆粒的系統(tǒng)的示意性框圖；圖3繪出了用于生成用于根據(jù)圖2的方法而模擬膠片顆粒的本原多項(xiàng)式模2(modulo 2)的移位寄存器的框圖；以及圖4繪出了示出在根據(jù)圖2的方法而生成膠片顆粒時(shí)的隨機(jī)數(shù)的使用的像素格(pixel grid)。
具體實(shí)施例方式
為理解用于模擬由獨(dú)立的膠片顆粒塊組成的達(dá)到位精度的(bit-accurate)膠片顆粒圖案的本原理的技術(shù)，對膠片顆粒模擬的簡要綜述將提供幫助。圖1繪出了傳送機(jī)10的示意性框圖，該傳送機(jī)10接收輸入視頻信號，并且，隨之，在其輸出生成壓縮的視頻流。另外，傳送機(jī)10還生成指示在樣本中存在的膠片顆粒(如果有的話)的信息。實(shí)際上，傳送機(jī)10可包括有線電視系統(tǒng)、或?qū)嚎s視頻分發(fā)到一個(gè)或多個(gè)下游接收機(jī)11的其它這樣的系統(tǒng)的前端陣列(head-end array)的部分，僅在圖1中示出了所述接收機(jī)中的一個(gè)。傳送機(jī)10還可采用呈現(xiàn)例如DVD的媒體的編碼器的形式。接收機(jī)11對編碼的視頻流進(jìn)行解碼，并根據(jù)從傳送機(jī)10接收的、或在DVD等的情況下直接來自媒體自身的膠片顆粒信息和解碼的視頻而模擬膠片顆粒，以產(chǎn)生具有模擬的膠片顆粒的輸出視頻流。接收機(jī)11可采用機(jī)頂盒、或用來對壓縮的視頻進(jìn)行解碼并在該視頻中模擬膠片顆粒的其它這樣的機(jī)構(gòu)的形式。
膠片顆粒的總體管理需要傳送機(jī)10(即，編碼器)提供有關(guān)傳入視頻中的膠片顆粒的信息。換句話說，傳送機(jī)10對膠片顆?！敖！薄４送?，接收機(jī)11(即，解碼器)根據(jù)從傳送機(jī)10接收的膠片顆粒信息而模擬膠片顆粒。當(dāng)在視頻編碼過程期間保持膠片顆粒中存在困難時(shí)，傳送機(jī)10通過使得接收機(jī)11能夠在視頻信號中模擬膠片顆粒，而增強(qiáng)壓縮的視頻的質(zhì)量。
在圖1中示出的實(shí)施例中，傳送機(jī)10包括視頻編碼器12，其使用諸如ITU-T Rec.H.264|ISO/IEC 14496-10視頻壓縮標(biāo)準(zhǔn)的公知的視頻壓縮技術(shù)中的任一個(gè)來對視頻流進(jìn)行編碼?？蛇x地，在圖1中以虛線繪出的濾波器等形式的膠片顆粒去除器14可存在于編碼器12的上游，以在編碼之前去除傳入視頻流中的任何膠片顆粒。對于傳入視頻不包含膠片顆粒的情況，不存在對于膠片顆粒去除器14的需要。
膠片顆粒建模器16接收輸入視頻流、以及膠片顆粒去除器14(在存在的時(shí)候)的輸出信號。使用這樣的輸入信息，膠片顆粒建模器16建立傳入視頻信號中的膠片顆粒。在此最簡單的形式中，膠片顆粒建模器16可包括查找表，該查找表包含用于不同的生膠片(film stock)的膠片顆粒模型。傳入視頻信號中的信息將指定在轉(zhuǎn)換為視頻信號之前原始用來記錄圖像的特定生膠片，由此，允許膠片顆粒建模器16針對這樣的生膠片而選擇適當(dāng)?shù)哪z片顆粒模型?？商鎿Q地，膠片顆粒建模器16可包括處理器或?qū)Ｓ眠壿嬰娐?，其將?zhí)行一個(gè)或多個(gè)算法來對傳入視頻進(jìn)行采樣，并確定存在的膠片顆粒圖案。
典型地，接收機(jī)11包括視頻解碼器18，其用來對從傳送機(jī)10接收的壓縮的視頻流進(jìn)行解碼。解碼器18的結(jié)構(gòu)將取決于由傳送機(jī)10內(nèi)的編碼器12執(zhí)行的壓縮的類型。由此，例如，采用ITU-T Rec.H.264|ISO/IEC 14496-10視頻壓縮標(biāo)準(zhǔn)來壓縮傳出視頻的編碼器12的傳送機(jī)10內(nèi)的使用，將專門需要H.264兼容的解碼器18。在接收機(jī)11內(nèi)，膠片顆粒模擬器20從膠片顆粒建模器16接收膠片顆粒信息。膠片顆粒模擬器20可采用可編程處理器、或具有模擬膠片顆粒以便通過組合器22與解碼的視頻流組合的能力的專用邏輯電路的形式。
膠片顆粒模擬的目的在于合成模擬原始膠片內(nèi)容的樣貌的膠片顆粒。如所描述的，在圖1的傳送機(jī)10出現(xiàn)膠片顆粒建模，而在接收機(jī)11出現(xiàn)膠片顆粒模擬。具體地，膠片顆粒模擬連同對來自傳送機(jī)10的傳入視頻流進(jìn)行解碼而出現(xiàn)在接收機(jī)11中、在解碼的視頻流的輸出的上游。注意，在接收機(jī)11中出現(xiàn)的解碼過程對添加了膠片顆粒的圖像無用。相反，膠片顆粒模擬構(gòu)成用于在用來顯示的解碼的圖像中合成模擬膠片顆粒的后期處理方法。為此原因，ITU-T Rec.H.264|ISO/IEC 14496-10視頻壓縮標(biāo)準(zhǔn)不包含有關(guān)膠片顆粒模擬過程的規(guī)范。然而，膠片顆粒模擬需要有關(guān)傳入視頻信號中的顆粒圖案的信息，典型地，在使用ITU-T Rec.H.264|ISO/IEC 14496-10視頻壓縮標(biāo)準(zhǔn)時(shí)，如由該壓縮標(biāo)準(zhǔn)的修訂1(保真度范圍擴(kuò)展)指出的，該信息在補(bǔ)充增強(qiáng)信息(SEI)消息中被傳送。
本原理的膠片顆粒模擬技術(shù)使得能夠進(jìn)行達(dá)到位精度的膠片顆粒模擬，并具有針對消費(fèi)產(chǎn)品的應(yīng)用，例如HD DVD播放機(jī)。其它潛在的應(yīng)用可包括機(jī)頂盒、電視機(jī)、以及甚至諸如攝像機(jī)等的記錄裝置。膠片顆粒模擬出現(xiàn)在解碼視頻位流之后、且在像素顯示之前。膠片顆粒模擬過程需要對在SEI消息中傳送的膠片顆粒補(bǔ)充信息進(jìn)行解碼。使膠片顆粒SEI消息起作用的規(guī)范確保該技術(shù)將會在質(zhì)量和復(fù)雜度方面滿足高清晰度系統(tǒng)的需求。
在ITU-T Rec.H.264|ISO/IEC 14496-10膠片顆粒特征SEI消息中傳送的參數(shù)的值遵循這些約束參數(shù)model_id指定模擬模型。它應(yīng)為0，其將膠片顆粒模擬模型識別為頻率濾波。
參數(shù)separate_colour_description_present_flag指定在其中估計(jì)膠片顆粒參數(shù)的色空間是否不同于已在其中對視頻序列進(jìn)行編碼的色空間。此參數(shù)等于0，其指示用于膠片顆粒模擬的色空間與用于編碼的色空間相同。
參數(shù)blending_mode_id指定用來將模擬的膠片顆粒與解碼的圖像混和的混合模式。此參數(shù)等于0，其對應(yīng)于加性混合模式。
參數(shù)log2_scale_factor指定用來表示SEI消息中的膠片顆粒參數(shù)的對數(shù)比例因子。此參數(shù)落在范圍[2，7]中，以確?？墒褂?6位算法來產(chǎn)生膠片顆粒模擬。
參數(shù)intensity_interval_lower_bound[j][i]和intensity_interval_upper_bound[j][i]指定已針對其對膠片顆粒參數(shù)進(jìn)行建模的色分量j的亮度間隔(intensityinterval)i的限制。對于所有j和i，intensity_interval_lower_bound[j][i+1]，此參數(shù)保持大于intensity_interval_upper_bound[j][i]，這是由于，不允許多種的(multi-generational)膠片顆粒。
參數(shù)num_model_values_minus1[j]指定在色分量j的每個(gè)亮度間隔中存在的模型值的數(shù)目。對于所有j，此參數(shù)落在范圍
中，其指定不支持帶通濾波和顏色間的相關(guān)。
參數(shù)comp_model_value[j][i]
指定用于色分量j和亮度間隔i的膠片顆粒。對于所有j和i，此參數(shù)落在范圍
中，以確?？墒褂?6位算法來執(zhí)行膠片顆粒模擬。
參數(shù)comp_model_value[j][i][1]指定水平高截止頻率，其構(gòu)成用于色分量j和亮度間隔i的膠片顆粒形狀的特征。(水平高截止頻率和水平低截止頻率、連同垂直高截止頻率和垂直低截止頻率描述了構(gòu)成期望的膠片顆粒圖案的特征的二維濾波器的屬性)。對于所有j和i，此參數(shù)落在范圍[2，14]中，其包括所有所需的顆粒圖案。
參數(shù)comp_model_value[j][i][2]指定垂直高截止頻率，其構(gòu)成用于色分量j和亮度間隔i的膠片顆粒形狀的特征。對于所有j和i，此參數(shù)落在范圍[2，14]中，其包括所有所需的顆粒圖案。對于SEI消息中的所有色分量j和亮度間隔i的組合，不同對(comp_model_value[j][i][1]、comp_model_value[j][i][2])的數(shù)目保持不大于10。
根據(jù)此規(guī)范，ITU-T Rec.H.264|ISO/IEC 14496-10標(biāo)準(zhǔn)指定的膠片顆粒SEI消息中的所有其它參數(shù)不具有約束。
根據(jù)本原理，除非參數(shù)film_grain_characteristics_cancel_flag等于單位一(unity)、或由參數(shù)film_grain_characteristics_repetition_period指定的幀范圍被耗盡的情況，在當(dāng)前畫面中都出現(xiàn)達(dá)到位精度的膠片顆粒模擬。ITU-TRec.H.264|ISO/IEC 14496-10標(biāo)準(zhǔn)的當(dāng)前規(guī)范允許在所有色分量中模擬膠片顆粒。如果在膠片顆粒SEI消息中、參數(shù)comp_model_present_flag[c]等于單位一，那么，模擬膠片顆粒，并將其添加到解碼的圖像的色分量c。通過指定以下內(nèi)容而出現(xiàn)達(dá)到位精度的膠片顆粒模擬膠片顆粒圖案的數(shù)據(jù)庫；均勻偽隨機(jī)數(shù)發(fā)生器；以及精確的操作序列。典型地，膠片顆粒模擬與每個(gè)色分量無關(guān)地出現(xiàn)。
圖2繪出了[JL1]根據(jù)用于模擬膠片顆粒的本原理的優(yōu)選實(shí)施例的方法的示意性框圖。該方法在執(zhí)行100建立用于模擬的膠片顆粒的參數(shù)時(shí)開始。建立用于模擬的膠片顆粒的膠片顆粒參數(shù)的一部分處理包括提取由傳入視頻信號所攜帶的膠片顆粒信息。通過使用ITU-T Rec.H.264|ISO/IEC 14496-10視頻編碼標(biāo)準(zhǔn)而編碼的傳入視頻信號，膠片顆粒信息將存在于SEI消息中。如圖2所示，提取SEI消息需要使用H.264|MPEG-4 AVC兼容的解碼器101而對傳入的H-264編碼的傳入視頻信號進(jìn)行解碼。
如上所述，SEI消息包含一些參數(shù)，包括intensity_interval_lower_bound[c][i]和intensity_interval_upper_bound[c][i]參數(shù)，其中，i具有從0到參數(shù)num_intensity_intervals_minus1[c]的值的范圍。將SEI消息參數(shù)與在解碼器101的解碼之后、在步驟102期間針對色分量c而計(jì)算的存儲在顯示緩沖器102中的解碼的圖像中的每個(gè)非重疊的8×8像素塊的平均像素亮度值相比較。對于來自解碼的圖像的色分量c的每個(gè)非重疊的8×8像素塊，以下面的方式進(jìn)行在步驟102期間出現(xiàn)的平均值計(jì)算；avg＝0
for(i＝0..7，j＝0..7)avg+＝decoded_image[c][m+i][n+j]avg＝(avg+32)＞＞6其中，(m，n)為塊的左上角的坐標(biāo)，而decoded_image[c][x][y]為色分量c的坐標(biāo)(x，y)上的解碼的像素值，其可取表示三基色分量中的特定色分量的值0、1或2。
使宏塊平均像素亮度值保持不小于intensity_interval_lower_bound[c][i]且不大于intensity_interval_upper_bound[c][i]的i的值用作選擇針對圖像中的當(dāng)前塊而模擬的膠片顆粒的膠片顆粒參數(shù)。如果不存在滿足該條件的值，則對于當(dāng)前塊，將不會出現(xiàn)膠片顆粒模擬。
典型地，膠片顆粒參數(shù)選擇過程包括以下步驟在處理色度分量(c＝1、2)時(shí)，為了適合于4:2:0色度格式而按比例調(diào)整截止頻率，如下comp_model_value[c][s][1]＝Clip(2，14，(comp_model_value[c][s][1]＜＜1))comp_model_value[c][s][2]＝Clip(2，14，(comp_model_value[c][s][2]＜＜1))步驟104開始建立膠片顆粒塊，典型地，盡管不是必需的，其大小為8×8像素。建立8×8像素的膠片顆粒塊的步驟涉及從膠片顆粒數(shù)據(jù)庫105獲取8×8膠片顆粒樣本塊，并將樣本按比例調(diào)整到適當(dāng)?shù)牧炼?，然而，在期望時(shí)需要按比例調(diào)整，但其不是必定會出現(xiàn)的。典型地，數(shù)據(jù)庫103包括4096個(gè)膠片顆粒樣本的169個(gè)圖案，其各自表示64×64膠片顆粒圖案。數(shù)據(jù)庫105以具有從-127到127的范圍的2補(bǔ)形式來存儲所述值。典型地，使用建立限定膠片顆粒圖案的二維濾波器的特定的截止頻率對，而出現(xiàn)每個(gè)膠片顆粒圖案的合成。在SEI消息中傳送的截止頻率允許在膠片顆粒模擬期間訪問膠片顆粒圖案的數(shù)據(jù)庫105。
按比例調(diào)整的截止頻率(comp_model_value[c][s][1]和comp_model_value[c][s][2])確定數(shù)據(jù)庫的哪個(gè)圖案用作膠片顆粒樣本的源。兩個(gè)隨機(jī)生成的值用來從根據(jù)截止頻率而選擇的圖案中選擇8×8塊。用來選擇8×8像素膠片顆粒塊的這些隨機(jī)值表示64×64像素圖案內(nèi)的水平和垂直偏移，并且，使用以下過程而被創(chuàng)建i_offset＝(MSB16(x(k，ec))％52)i_offset &＝0xFFFCi_offset+＝m & 0x0008
j_offset＝(LSB16(x(k，ec))％56)j_offset &＝0xFFF8j_offset+＝n & 0x0008其中，x(k，ec)指示以種子ec開始的(initiated with the seed ec)偽隨機(jī)數(shù)序列x的第k碼元，MSB16和LSB16分別表示16個(gè)最高有效位和16個(gè)最低有效位，并且，(m，n)為解碼的圖像中的當(dāng)前的8×8塊的坐標(biāo)。對于i_offset，第一個(gè)方程生成在范圍
中均勻分布的偽隨機(jī)值，第二個(gè)方程將該值約束為4的倍數(shù)，并且，最后一個(gè)方程在m％16等于8時(shí)將8加到i_offset。對于j_offset執(zhí)行同等的操作。
均勻的偽隨機(jī)數(shù)發(fā)生器106提供用來選擇8×8像素塊的偽隨機(jī)數(shù)。參照圖3，典型地，偽隨機(jī)數(shù)發(fā)生器106[JL2]包括32位移位寄存器，其實(shí)現(xiàn)本原多項(xiàng)式模2算子，x^31+x^3+1，以從數(shù)據(jù)庫中的64×64像素的膠片顆粒圖案中隨機(jī)地選擇8×8像素的膠片顆粒塊。用于8×8膠片顆粒塊選擇的兩個(gè)偽隨機(jī)數(shù)包括分別由移位寄存器輸出的16個(gè)最高有效位(MSB)、以及16個(gè)最低有效位。
使用偽隨機(jī)數(shù)發(fā)生器106創(chuàng)建的偽隨機(jī)值x(k，ec)在圖像的每16個(gè)像素(水平)、以及每16行(垂直)處被更新。相同的偽隨機(jī)數(shù)x(k，ec)用于解碼的圖像的每個(gè)16×16像素的非重疊區(qū)域。如圖4所示，所得到的偽隨機(jī)值x(k，ec)的序列遵循16×16像素格上的光柵掃描次序。盡管所示出的實(shí)施例假定8×8像素塊的光柵掃描次序，但仍可能有其它實(shí)現(xiàn)。
隨機(jī)數(shù)發(fā)生器106取決于被添加膠片顆粒的色分量(c)而具有不同的種子分配(seeding)。一旦接收到膠片顆粒SEI消息，典型地，用于在第一色分量上模擬膠片顆粒的種子e1具有單位一的值。典型地，用于在第二色分量上模擬膠片顆粒的種子e2具有557794999的值；而典型地，用于在第三色分量上模擬膠片顆粒的種子e3具有974440221的值。
參照圖2，在計(jì)算隨機(jī)偏移之后，出現(xiàn)從數(shù)據(jù)庫中提取64個(gè)膠片顆粒值、并按比例調(diào)整(如果需要)，如下scale_f actor＝BIT0(x(k，ec))＝＝0 ？comp_model_value[c][s]-comp_model_value[c][s]
for(i＝0..7，j＝0..7)g＝scale_factor*database[h][v][i+i_offset][j+j_offset]
film_grain_block[i][j]＝(((g+2log2_scale_factor-1)＞＞log2_scale_factor)+32)＞＞6其中，h等于comp_model_value[c][s][1]-2，v等于comp_model_value[c][s][2]-2，并且，因子6按比例調(diào)整從膠片顆粒圖案數(shù)據(jù)庫獲取的膠片顆粒值。BIT0表示LSB。
在步驟108期間，在步驟104期間創(chuàng)建的每個(gè)膠片顆粒塊和先前塊109之間出現(xiàn)去塊化(deblocking)濾波，以確保膠片顆粒圖案的無縫形成。去塊化濾波僅應(yīng)用于相鄰塊之間的垂直邊緣。假定以光柵掃描次序的膠片顆粒塊的模擬、并且current_fg_block的最左邊的像素位于與previous_fg_block的最右邊的像素相鄰，那么，典型地，通過具有系數(shù)1、2、1的3抽頭濾波器(未示出)而出現(xiàn)去塊化濾波如下for(i＝0，j＝0..7)current_fg_block[i][j]＝(previous_fg_block[i+7][j]+(current_fg block[i][j]＜＜1)+current_fg_block[i+1][j]+2)＞＞2previous_fg_block[i+7][j]＝(previous_fg_block[i+6][j]+(previous_fg_block[i+7][j]＜＜1)+current_fg_block[i][j]+2)＞＞2在膠片顆粒模擬過程的結(jié)束，通過方框110，將去塊化的膠片顆粒塊與對應(yīng)的解碼的圖像塊混合，并且，以如下方式在顯示之前將結(jié)果限制(clip)到for(i＝0..7，j＝0..7)display_image[c][m+i][n+j]＝Clip(0，255，decoded_image[c][m+i][n+j]+fg_block[i][j])其中，(m，n)為塊的左上角的坐標(biāo)，而decoded_image[c][x][y]為色分量c的坐標(biāo)(x，y)上的解碼的像素值，并且，display_image[c][x][y]為相同坐標(biāo)上的視頻輸出。
在控制元件112的控制下，開關(guān)元件111控制去塊化的膠片顆粒塊到方框110的通路?？刂圃?12響應(yīng)于SEI消息參數(shù)film_grain_characteristics_cancel_flag是否等于單位一、或是否已超過了參數(shù)film_grain_characteristics_repetition_period所指定的、指示是否應(yīng)如上所述出現(xiàn)膠片顆粒模擬幀范圍，而控制開關(guān)元件。
前面描述了用于模擬膠片顆粒的技術(shù)，其具有在諸如機(jī)頂盒、HD-DVD播放機(jī)、電視機(jī)和攝像機(jī)的消費(fèi)電子裝置方面的應(yīng)用。隨機(jī)存取存儲器的相對低的成本容易允許將膠片顆粒數(shù)據(jù)庫105并入存儲元件內(nèi)。在圖2中的塊114中一般性地繪出的一個(gè)或多個(gè)微處理器、可編程門陣列和專用邏輯電路的組合可容易地執(zhí)行建立膠片顆粒參數(shù)、創(chuàng)建膠片顆粒塊、以及去塊化濾波的步驟，以產(chǎn)生用于添加到視頻圖像的膠片顆粒塊。
權(quán)利要求
1.一種用于模擬用來添加到圖像的塊的膠片顆粒塊的方法，包括以下步驟至少部分地根據(jù)所述塊的屬性而建立至少一個(gè)參數(shù)；以及根據(jù)所述至少一個(gè)參數(shù)來建立至少一個(gè)膠片顆粒塊。
2.如權(quán)利要求1所述的方法，還包括以下步驟對所述膠片顆粒塊進(jìn)行去塊化濾波[JL3]。
3.如權(quán)利要求1所述的方法，其中，所述建立至少一個(gè)膠片顆粒塊的步驟包括以下步驟提供供選擇的多個(gè)膠片顆粒圖案；以及從所述多個(gè)膠片顆粒圖案中選擇一源圖案；從所述源圖案中選擇一膠片顆粒塊。
4.如權(quán)利要求1所述的方法，其中，所述至少一個(gè)圖像參數(shù)包括平均像素亮度。
5.如權(quán)利要求4所述的方法，還包括以下步驟根據(jù)在隨附圖像的補(bǔ)充信息中包含的上像素亮度閾值和下像素亮度閾值，而對所述平均像素亮度進(jìn)行閾值處理。
6.如權(quán)利要求3所述的方法，其中，所述從膠片顆粒圖案中選擇膠片顆粒塊的步驟還包括以下步驟隨機(jī)選擇膠片顆粒塊。
7.如權(quán)利要求6所述的方法，其中，所述從膠片顆粒圖案中隨機(jī)選擇膠片顆粒塊的步驟包括以下步驟生成第一偽隨機(jī)數(shù)和第二偽隨機(jī)數(shù)；基于所述第一偽隨機(jī)數(shù)和第二偽隨機(jī)數(shù)而在膠片顆粒圖案內(nèi)生成第一偏移和第二偏移；以及在由所述第一偏移和第二偏移指定的、膠片顆粒圖案中的位置上提取膠片顆粒塊。
8.如權(quán)利要求7所述的方法，還包括以下步驟按比例調(diào)整所提取的膠片顆粒塊。
9.如權(quán)利要求7所述的方法，其中，所述生成第一數(shù)和第二數(shù)的步驟還包括以下步驟給移位寄存器分配根據(jù)宏塊的色分量而選擇的種子值，以及提取一組最高有效位，作為所述第一隨機(jī)數(shù)；以及提取一組最低有效位，作為所述第二隨機(jī)數(shù)。
10.如權(quán)利要求3所述的方法，其中，所述提供供選擇的多個(gè)膠片顆粒圖案的步驟還包括以下步驟向數(shù)據(jù)庫填充預(yù)定的膠片顆粒圖案。
11.如權(quán)利要求1所述的方法，還包括以下步驟將去塊化的膠片顆粒圖案與所述圖像塊混合。
12.如權(quán)利要求1所述的方法，其中，所述去塊化步驟還包括以下步驟對相鄰塊膠片顆粒之間的垂直邊緣進(jìn)行去塊化。
13.一種用于在至少一個(gè)圖像塊中以4:2:0色度格式來模擬膠片顆粒的方法，包括以下步驟根據(jù)至少一個(gè)塊的至少一個(gè)屬性，以4:4:4色度格式建立至少一個(gè)膠片顆粒參數(shù)；以及根據(jù)所述至少一個(gè)膠片顆粒參數(shù)，通過從數(shù)據(jù)庫中隨機(jī)選擇膠片顆粒塊，而從膠片顆粒圖案的數(shù)據(jù)庫中導(dǎo)出膠片顆粒塊。
14.如權(quán)利要求13所述的方法，還包括以下步驟對所導(dǎo)出的膠片顆粒塊的至少一部分進(jìn)行去塊化[JL5]。
15.如權(quán)利要求13所述的方法，還包括以下步驟將去塊化的膠片顆粒塊與至少一個(gè)圖像塊混合[JL6]。
16.一種用于模擬用來添加到圖像塊的膠片顆粒塊的設(shè)備，包括膠片顆粒模擬器，用于至少部分地根據(jù)塊的屬性而建立至少一個(gè)參數(shù)，并用于根據(jù)所述參數(shù)來建立至少一個(gè)膠片顆粒塊。
17.如權(quán)利要求16所述的設(shè)備，還包括去塊化濾波器，用于對所述膠片顆粒塊進(jìn)行去塊化濾波[JL7]。
18.如權(quán)利要求16所述的設(shè)備，其中，膠片顆粒模擬器還包括數(shù)據(jù)庫，其提供供選擇的多個(gè)膠片顆粒圖案；用于從所述多個(gè)膠片顆粒圖案中選擇一源圖案的部件；以及用于從所述源圖案中選擇一膠片顆粒塊的部件。
19.如權(quán)利要求16所述的設(shè)備，其中，所述至少一個(gè)圖像參數(shù)包括平均像素亮度。
20.如權(quán)利要求19所述的設(shè)備，還包括用于根據(jù)在隨附圖像的補(bǔ)充信息中包含的上像素亮度閾值和下像素亮度閾值、而對平均像素亮度進(jìn)行閾值處理的部件。
21.如權(quán)利要求18所述的設(shè)備，其中，所述用于從膠片顆粒圖案中選擇膠片顆粒塊的部件還包括用于隨機(jī)選擇膠片顆粒塊的部件。
22.如權(quán)利要求21所述的設(shè)備，其中，所述用于從膠片顆粒圖案中隨機(jī)選擇膠片顆粒塊的部件包括用于生成第一偽隨機(jī)數(shù)和第二偽隨機(jī)數(shù)的部件；用于基于所述第一偽隨機(jī)數(shù)和第二偽隨機(jī)數(shù)而在膠片顆粒圖案內(nèi)生成第一偏移和第二偏移的部件；以及用于在由所述第一偏移和第二偏移指定的、膠片顆粒圖案中的位置上提取膠片顆粒塊的部件。
23.如權(quán)利要求22所述的設(shè)備，還包括用于按比例調(diào)整所提取的膠片顆粒塊的部件。
24.如權(quán)利要求22所述的設(shè)備，其中，所述用于生成第一數(shù)和第二數(shù)的部件還包括移位寄存器，給該移位寄存器分配根據(jù)宏塊的色分量而選擇的值，該移位寄存器用于產(chǎn)生一組最高有效位作為所述第一隨機(jī)數(shù)、并產(chǎn)生一組最低有效位作為所述第二隨機(jī)數(shù)。
25.如權(quán)利要求18所述的設(shè)備，其中，所述數(shù)據(jù)庫包括預(yù)定膠片顆粒圖案。
26.如權(quán)利要求16所述的設(shè)備，還包括用于將去塊化的膠片顆粒圖案與宏塊混合的部件。
27.如權(quán)利要求17所述的設(shè)備，其中，所述去塊化濾波器對相鄰塊膠片顆粒之間的垂直邊緣進(jìn)行去塊化。
全文摘要
簡而言之，根據(jù)本發(fā)明的優(yōu)選實(shí)施例，通過首先根據(jù)塊的至少一個(gè)屬性而建立至少一個(gè)圖像參數(shù)、之后根據(jù)圖像參數(shù)來建立膠片顆粒塊，而出現(xiàn)對用于添加到圖像的塊的膠片顆粒塊的模擬?？蓪δz片顆粒塊應(yīng)用去塊化。
文檔編號H04N7/24GK101044510SQ200580035570
公開日2007年9月26日 申請日期2005年10月7日 優(yōu)先權(quán)日2004年10月18日
發(fā)明者克里斯蒂娜·戈米拉, 瓊·拉赫, 杰弗里·A·庫珀 申請人:湯姆森特許公司