專利名稱：用于基于狀態(tài)機(jī)的反向電視電影處理算法的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
此系統(tǒng)并入了用于區(qū)別以電視電影處理生成的視頻與以常規(guī)方式產(chǎn)生的廣播視頻的程序。根據(jù)所述決策，得自所述決策過程的數(shù)據(jù)有助于重建已受到電視電影處理的影片圖像。
背景技術(shù)：
在20世紀(jì)90年代，電視技術(shù)從使用模擬方法來表示并傳輸視頻轉(zhuǎn)換為數(shù)字方法。 一旦認(rèn)識到現(xiàn)有固態(tài)技術(shù)將支持用于處理視頻的新方法，數(shù)字視頻的優(yōu)點(diǎn)便很快得到認(rèn)知。數(shù)字視頻可經(jīng)處理以匹配各種類型的接收器，所述接收器具有不同數(shù)目的線且其線圖案為交錯的或漸進(jìn)的。電纜工業(yè)歡迎實(shí)際上在運(yùn)行中改變帶寬-分辨率權(quán)衡的機(jī)會，從而允許在先前運(yùn)載一個(gè)模擬視頻信道的帶寬中傳輸多達(dá)12個(gè)視頻信道或具有優(yōu)良圖片質(zhì)量的7到8個(gè)數(shù)字視頻信道。數(shù)字圖片將不再受傳輸中由多路徑引起的重影的影響。新技術(shù)提供了高清晰度電視(HDTV)的可能性，所述高清晰度電視具有類似電影的圖像和寬屏幕格式。不同于為4 3的當(dāng)前縱橫比，HDTV的縱橫比為16 9，其類似于電影屏幕。HDTV可包括杜比數(shù)字(Dolby Digital)環(huán)繞聲，所述數(shù)字聲音系統(tǒng)用于DVD和許多電影院中。廣播裝置可選擇傳輸高分辨率HDTV節(jié)目或在相同帶寬中發(fā)送許多較低分辨率節(jié)目。數(shù)字電視還可提供交互式視頻和數(shù)據(jù)服務(wù)。存在用于驅(qū)動數(shù)字電視的兩種基本技術(shù)。第一種技術(shù)使用利用通?？捎糜谥С忠曨l的信道中的較高信噪比的傳輸格式。第二種技術(shù)是使用信號處理以移除存在于單個(gè)圖片中或圖片序列中的不必要空間和時(shí)間冗余。空間冗余在圖片中表現(xiàn)為所述圖片的相對較大區(qū)域具有微小變化。時(shí)間冗余是指圖片中的結(jié)構(gòu)在稍后或早期圖片中再現(xiàn)。信號處理操作最好對均在同一時(shí)間形成而不是在不同時(shí)間被掃描的圖元復(fù)合物的幀或場執(zhí)行。通過電視電影處理從電影圖像形成的NTSC相容場具有不規(guī)則時(shí)基，所述時(shí)基必須經(jīng)校正以實(shí)現(xiàn)理想壓縮。然而，電視電影處理中所形成的視頻可能與具有不同基本時(shí)基的真實(shí)NTSC視頻混合在一起。有效的視頻壓縮是使用視頻特性來消除冗余的結(jié)果。因此，需要一種技術(shù)，其將自動區(qū)別電視電影化視頻與真實(shí)交錯NTSC視頻，且如果檢測到電視電影化視頻，那么反轉(zhuǎn)電視電影處理過程，從而恢復(fù)作為所述電視電影化視頻的來源的電影圖像。

發(fā)明內(nèi)容
此方面的一個(gè)方面包含一種用于處理視頻幀的方法，其包含從所述視頻幀確定多個(gè)度量和使用所述經(jīng)確定的度量來對所述視頻幀進(jìn)行反向電視電影處理。
此方面的另一方面包含一種用于處理視頻幀的設(shè)備，其包含計(jì)算模塊，其經(jīng)配置以從所述視頻幀確定多個(gè)度量；和相位檢測器，其經(jīng)配置以使用所述經(jīng)確定的度量來提供對所述視頻幀的反向電視電影處理。此方面的另一方面包含一種用于處理視頻幀的設(shè)備，其包含用于從所述視頻幀確定多個(gè)度量的裝置和用于使用所述經(jīng)確定的度量來對所述視頻幀進(jìn)行反向電視電影處理的裝置。此方面的另一方面包含一種用于處理數(shù)字化視頻幀的機(jī)器可讀媒體，其包含在執(zhí)行時(shí)致使機(jī)器執(zhí)行以下操作的指令從所述視頻數(shù)據(jù)確定多個(gè)度量，且使用所述經(jīng)確定的度量來對所述視頻幀進(jìn)行反向電視電影處理。此方面的另一方面包含一種視頻壓縮處理器，其經(jīng)配置以從多個(gè)視頻幀確定多個(gè)度量，且使用所述經(jīng)確定的度量來對所述視頻幀進(jìn)行反向電視電影處理。


圖1為說明視頻傳輸系統(tǒng)的方框圖。圖2為說明圖1的組件的其它方面的方框圖。圖3A為說明反轉(zhuǎn)電視電影化視頻的過程的流程圖。圖;3B為展現(xiàn)反向電視電影處理系統(tǒng)的結(jié)構(gòu)的方框。圖4為相位圖。圖5為識別用于創(chuàng)建多個(gè)度量的各個(gè)幀的指導(dǎo)。圖6為說明如何創(chuàng)建圖5的度量的流程圖。圖7為展示可能的相位轉(zhuǎn)變的格狀結(jié)構(gòu)。圖8為展示處理所述度量以到達(dá)估計(jì)相位的流程圖。圖9為說明用于產(chǎn)生決策變量的系統(tǒng)的數(shù)據(jù)流圖。圖10為描繪用于評估分支信息的變量的方框圖。圖IlAUlB和IlC為展示如何計(jì)算較低包絡(luò)的流程圖。圖12為展示一致性檢測器的操作的流程圖。圖13為展示用于計(jì)算與決策變量的偏移量的過程的流程圖，所述偏移量用于補(bǔ)償相位決策中的不一致性。圖14呈現(xiàn)在已經(jīng)估計(jì)了下拉相位之后的反向電視電影處理的操作。
具體實(shí)施例方式以下具體實(shí)施方式
針對于本發(fā)明的某些特定方面。然而，本發(fā)明可用如權(quán)利要求書所界定和涵蓋的多種不同方式來實(shí)施。在此描述中參看附圖，其中相同部分始終用相同數(shù)字表示。圖1為傳輸系統(tǒng)5的功能方框圖，所述傳輸系統(tǒng)5支持將壓縮視頻數(shù)字傳輸?shù)蕉鄠€(gè)終端。傳輸系統(tǒng)5包括數(shù)字視頻源1，其可能是數(shù)字電纜饋入或經(jīng)數(shù)字化的模擬高信號/ 比率源?？稍趥鬏斣O(shè)施2中壓縮視頻1，并在此處將其調(diào)制到載波上以供通過網(wǎng)絡(luò)9傳輸?shù)浇K端3。當(dāng)已知所述源的特性并用其選擇理想匹配形式的處理時(shí)，視頻壓縮提供最佳結(jié)果。舉例來說，停播視頻可以若干方式生成。在視頻攝影機(jī)、廣播室等中以常規(guī)方式產(chǎn)生的廣播視頻在美國符合NTSC標(biāo)準(zhǔn)。根據(jù)所述標(biāo)準(zhǔn)，每一幀由兩個(gè)場組成。一個(gè)場由奇數(shù)線組成，且另一個(gè)場由偶數(shù)線組成。這可稱為“交錯”格式。當(dāng)以大約30個(gè)幀/秒產(chǎn)生幀時(shí)，所述場是相隔1/60秒的電視攝影機(jī)圖像的記錄。另一方面，以M個(gè)幀/秒拍攝影片，其中每一幀由完整圖像組成。這可稱為“漸進(jìn)”格式。對于NTSC裝備中的傳輸，經(jīng)由電視電影處理過程將“漸進(jìn)”視頻轉(zhuǎn)換為“交錯”視頻格式。下文進(jìn)一步論述，在一個(gè)方面中，所述系統(tǒng)有利地確定何時(shí)視頻已經(jīng)得到電視電影處理且執(zhí)行適當(dāng)變換以再生原始漸進(jìn)幀。圖4展示對已轉(zhuǎn)換為交錯視頻的漸進(jìn)幀進(jìn)行電視電影處理的效果。FpF2、F3和F4 是輸入到電視電影處理器的漸進(jìn)圖像。各個(gè)幀下方的數(shù)字“1”和“2”是對奇數(shù)場或偶數(shù)場的指示。請注意，由于幀速率不等，有些場重復(fù)出現(xiàn)。圖4還展示下拉相位Pp Pp P2、P3和 P4。相位Ptl由具有相同第一場的兩個(gè)NTSC相容幀中的第一者來標(biāo)記。隨后四個(gè)幀對應(yīng)于相位Pi、P2、P3*P4。請注意，由P2和P3標(biāo)記的幀具有相同第二場。因?yàn)橛捌瑤現(xiàn)1經(jīng)三次掃描，所以形成兩個(gè)相同的連續(xù)輸出NTSC相容第一場。得自影片幀F(xiàn)1的所有NTSC場均從同一影片圖像獲得，且因此在相同瞬間獲得。得自影片的其它NTSC幀可具有相隔1/M秒的相鄰場。圖2為說明信號準(zhǔn)備單元15的方框圖。在一個(gè)方面中，所述信號準(zhǔn)備單元15可駐留在圖1的數(shù)字傳輸設(shè)施中。在圖2中，信號準(zhǔn)備單元15用以準(zhǔn)備經(jīng)由網(wǎng)絡(luò)9傳輸?shù)臄?shù)據(jù)。在源視頻單元19中恢復(fù)的視頻幀被傳遞到相位檢測器21。相位檢測器21區(qū)別在電視電影處理中生成的視頻與以標(biāo)準(zhǔn)廣播格式開始的視頻。如果所作的決策是所述視頻已受到電視電影處理(從相位檢測器21引出的“是”決策路徑)，那么在反向電視電影處理23中將所述電視電影化視頻返回為其原始格式。識別并消除冗余幀，且將得自同一視頻幀的場重新交織成完整圖像。由于以1Λ4秒的規(guī)則時(shí)間間隔來以照相方式記錄經(jīng)重建影片圖像的序列，因此使用反向電視電影化圖像而非具有不規(guī)則時(shí)基的電視電影化數(shù)據(jù)會使壓縮單元27中所執(zhí)行的運(yùn)動估計(jì)過程更加準(zhǔn)確。圖2中未展示執(zhí)行反向電視電影處理操作所需的額外數(shù)據(jù)。當(dāng)辨識到常規(guī)NTSC視頻時(shí)(從相位檢測器21引出的“否”路徑)，將所述視頻傳輸?shù)浇饨诲e器17以供壓縮，從而產(chǎn)生以1/60秒的時(shí)間間隔來記錄的視頻場。相位檢測器 11連續(xù)分析從源19串流的視頻幀，因?yàn)榭稍谌魏螘r(shí)間接收到不同類型的視頻。作為示例， 符合NTSC標(biāo)準(zhǔn)的視頻可作為商業(yè)廣告插入到電視電影處理的視頻輸出中。相位檢測器21 中所作出的決策應(yīng)當(dāng)是準(zhǔn)確的。將以常規(guī)方式生成的NTSC視為經(jīng)電視電影處理的NTSC來處理可致使視頻信號中的信息受到嚴(yán)重?fù)p失。信號準(zhǔn)備單元15還并入有圖片群組(GOP)分割器沈，以適應(yīng)性地改變一起編碼的圖片群組的組成。其經(jīng)設(shè)計(jì)以在其輸入端處將四類編碼幀中的一者(I、P、B或“跳越幀”) 分配給多個(gè)視頻幀，進(jìn)而移除大量時(shí)間冗余且同時(shí)維持接收終端3處的圖片質(zhì)量。圖片群組分割器26和壓縮模塊27所進(jìn)行的處理由預(yù)處理器25輔助，所述預(yù)處理器25提供用于噪聲移除的二維濾波。在一個(gè)方面中，相位檢測器21在接收到視頻幀之后作出某些決策。這些決策包括(i)本視頻是否來自電視電影處理輸出且3 2下拉相位是否為圖4的定義12中所展示的五個(gè)相位Pc^PpP2I3和P4中的一者；和( )所述視頻產(chǎn)生作為常規(guī)NTSC。將所述決策表示為相位P5。這些決策表現(xiàn)為圖2中所展示的相位檢測器21的輸出。來自相位檢測器21的標(biāo)記為“是”的路徑致動反向電視電影處理器23，從而指示其已經(jīng)具備正確的下拉相位，使得其可挑選出從同一照相圖像形成的場并將其進(jìn)行組合。來自相位檢測器21的標(biāo)記為“否” 的路徑同樣致動解交錯器方框以將表觀NTSC幀分成多個(gè)場以進(jìn)行最佳處理。圖3A為說明對視頻流進(jìn)行反向電視電影處理的過程50的流程圖。在一個(gè)方面中， 由圖2的信號準(zhǔn)備單元15執(zhí)行所述過程50。在步驟51處開始，信號準(zhǔn)備單元15基于所接收的視頻來確定多個(gè)度量。在此方面中，在度量確定單元51中形成四個(gè)度量，所述四個(gè)度量是從同一幀或相鄰幀引出的多個(gè)場之間的差值總和。請注意，在50中所展現(xiàn)的處理功能在圖3B所展示的裝置70中重復(fù)，所述裝置70可包括在信號準(zhǔn)備單元15中。系統(tǒng)結(jié)構(gòu) 70包含度量確定模塊71和反向電視電影處理器72。在51中將所述四個(gè)度量進(jìn)一步組合為從所接收數(shù)據(jù)得到的四個(gè)度量與用于所述六個(gè)假定相位中每一者的這些度量的最可能值之間的歐基理德(Euclidean)距離測量。歐基理德總和稱為分支信息；對于每一所接收的幀，存在六個(gè)此類量。每一假定相位具有后繼相位，在可能的下拉相位的情況下，所述后繼相位隨每一所接收的幀而改變。可能的轉(zhuǎn)變路徑在圖7中展示且由67表示。存在六個(gè)此類路徑。決策過程維持六個(gè)測量，其等效于每一假定相位路徑的歐基理德距離總和。為了使程序響應(yīng)于已改變條件，所述總和中的每一歐基理德距離隨其變舊而減小。歐基理德距離總和最小的相位軌跡被認(rèn)為是有效軌跡。此軌跡的當(dāng)前相位稱為“適用相位”?，F(xiàn)可發(fā)生基于所選擇的相位(只要其不是P5)的反向電視電影處理，如方框52中所示。如果選擇 P5,那么對當(dāng)前幀進(jìn)行解交錯?？偟膩碚f，所述適用相位用作當(dāng)前下拉相位，或用作命令對已經(jīng)被估計(jì)為具有有效NTSC格式的幀進(jìn)行解交錯的指示符。對于從圖2的視頻輸入端19接收的每個(gè)幀，計(jì)算四個(gè)度量中每一者的新值。這些
值被定義為SADk=E I當(dāng)前場1值(i，j)_先前場1值(i，j) |⑴SADss =Σ I當(dāng)前場2值(i，j)_先前場2值(i，j) |⑵
SADro=E I當(dāng)前場1值(i，j)_先前場2值(i，j) I⑶
SADcd=E I當(dāng)前場 1 值(i，j)_當(dāng)前場2值(i，j) |⑷術(shù)語SAD是術(shù)語“絕對差求和”的縮寫。圖5中圖形展示經(jīng)求差以形成度量的場。 下標(biāo)指代場號，字母指示先前(=P)或當(dāng)前(=C)。圖5中的括號是指對所述場進(jìn)行成對求差。SADfs是指當(dāng)前幀的場1 (標(biāo)記為C1)與先前幀的場1 (標(biāo)記為P1)之間的差值，所述場被圖5所提供的定義中標(biāo)記為FS的括號括入；SADss是指當(dāng)前幀的場2 (標(biāo)記為C2)與先前幀的場2(標(biāo)記為P2)之間的差值，所述場均被標(biāo)記為SS的括號括入；SADro是指當(dāng)前幀的場2(標(biāo)記為C2)與當(dāng)前幀的場1(標(biāo)記為C1)之間的差值，所述場被標(biāo)記為CO的括號括入； 且SADto是指當(dāng)前幀的場1與先前幀的場2之間的差值，所述場均被標(biāo)記為PO的括號括入。下文描述用以評估每一 SAD的計(jì)算負(fù)荷。在常規(guī)NTSC中存在大約480條有效水平線。為了使分辨率在水平方向上相同，在具有4 3縱橫比的情況下，應(yīng)存在480X4/3 = 640條等效垂直線或自由度。640X480個(gè)像素的視頻格式是先進(jìn)電視標(biāo)準(zhǔn)委員會所接受的格式之一。因此，每1/30秒(一幀的持續(xù)時(shí)間)產(chǎn)生640X480 = 307，200個(gè)新像素。以
9. 2X106個(gè)像素/秒的速率產(chǎn)生新數(shù)據(jù)，這暗示著運(yùn)行此系統(tǒng)的硬件或軟件以大約10兆字節(jié)或更快的速率處理數(shù)據(jù)。這是系統(tǒng)的高速部分之一。其可由硬件、軟件、固件、中間件、微碼或其任何組合來實(shí)施。SAD計(jì)算器可以是獨(dú)立組件，作為硬件、固件、中間件并入在另一裝置的組件中，或在處理器上所執(zhí)行的微碼或軟件中實(shí)施，或其組合。當(dāng)在軟件、固件、中間件或微碼中實(shí)施時(shí)，執(zhí)行計(jì)算的程序碼或碼段可存儲在例如存儲媒體等機(jī)器可讀媒體中。碼段可表示程序、函數(shù)、子程序、過程、例行程序、子例行程序、模塊、軟件包、類別或任何指令、 數(shù)據(jù)結(jié)構(gòu)或程序語句的組合?？赏ㄟ^傳遞和/或接收信息、數(shù)據(jù)、自變量、參數(shù)或存儲器內(nèi)容將碼段耦合到另一碼段或硬件電路。圖6中的流程圖30明確圖5中的關(guān)系，且其為等式1到4的圖形表示。其展示存儲位置41、42、43和44，其中分別保留SADfs、SADro、SADss和SADpq的最新近值。這些值均由四個(gè)絕對差總和計(jì)算器40產(chǎn)生，所述計(jì)算器40處理先前第一場數(shù)據(jù)的亮度值31、當(dāng)前第一場數(shù)據(jù)的亮度值32、當(dāng)前第二場數(shù)據(jù)的亮度值33和先前第二場數(shù)據(jù)的亮度值34。在定義度量的求和中，術(shù)語“值(i，j)”意謂位置i，j處的亮度值，其中對所有有效像素求和，但不排除對有效像素的有意義子集求和。圖8中的流程圖80為說明用于檢測電視電影化視頻并將其反轉(zhuǎn)以恢復(fù)原始經(jīng)掃描影片圖像的過程的詳細(xì)流程圖。在步驟30中，評估圖6中所定義的度量。繼續(xù)進(jìn)行到步驟83，找到所述四個(gè)度量的較低包絡(luò)值。SAD度量的較低包絡(luò)是動態(tài)確定的量，其是SAD不會穿透到其以下的最高數(shù)字基底。繼續(xù)進(jìn)行到步驟85，根據(jù)先前確定的度量、較低包絡(luò)值和以實(shí)驗(yàn)方式確定的常數(shù)A來確定下文在等式5到10中定義的分支信息量。由于連續(xù)相位值可能是不一致的，因此在步驟87中確定量△以降低此表觀不穩(wěn)定性。當(dāng)相位決策序列與圖7中展示的問題模型一致時(shí)，認(rèn)為所述相位為一致的。在所述步驟之后，前進(jìn)到步驟89 以使用△的當(dāng)前值來計(jì)算決策變量。決策變量計(jì)算器89使用通向其的在80的方框中產(chǎn)生的所有信息來評估決策變量。步驟30、83、85、87和89是圖3中的度量確定51的擴(kuò)展。根據(jù)這些變量，相位選擇器90找到適用相位。決策步驟91使用所述適用相位來反轉(zhuǎn)電視電影化視頻或?qū)ζ浣饨诲e，如圖所示。其是對圖2中的相位檢測器21的操作的更明確敘述。 在一個(gè)方面中，圖8的處理由圖2的相位檢測器21執(zhí)行。在步驟30處開始，檢測器21通過上文參考圖5描述的處理來確定多個(gè)度量，且連續(xù)通過步驟83、85、87、89、90和91。流程圖80說明用于估計(jì)當(dāng)前相位的過程。流程圖在步驟83處描述使用經(jīng)確定的度量和較低包絡(luò)值來計(jì)算分支信息。分支信息可被認(rèn)為是早先論述的歐基理德距離。可用于產(chǎn)生分支信息的示范性等式是以下等式5到10。分支信息量在圖9的方框109中計(jì)算得到。經(jīng)處理的視頻數(shù)據(jù)可存儲在連接到處理器25的存儲媒體中，所述存儲媒體可包括(例如)芯片配置式存儲媒體(例如，ROM、RAM)或盤型存儲媒體(例如，磁性的或光學(xué)的)。在某些方面中，反向電視電影處理23和解交錯器17可每一者含有所述存儲媒體的部分或全部。分支信息量由以下等式定義。分支信息(0)= (SADfs-Hs)2+(SADss-Hs)2+(SADto-Hp)2+(SADco-Lc)2 (5)分支信息(1)= (SADfs-Ls)2+(SADss-Hs)2+(SADto-Lp)2+(SADco-Hc)2 (6)分支信息O) = (SADfs-Hs)2+(SADss-Hs)2+(SADpo-Lp)2+(SADco-Hc)2 (7)分支信息(3)= (SADfs-Hs)2+(SADss-Ls)2+(SADto-Lp)2+(SADco-Lc)2 (8)
分支信息(4)= (SADFS-HS)2+(SADss-Hs)2+(SADPO-HP)2+(SADco-Lc)2 (9)分支信息(5)= (SADFS-LS)2+(SADss-Ls)2+(SADPO-LP)2+(SADco-Lc)2 (10)分支計(jì)算的精確細(xì)節(jié)在圖10的分支信息計(jì)算器109中展示。如計(jì)算器109中所示，在推導(dǎo)分支信息中使用以下量SADfs和SADss的較低包絡(luò)值Ls、SADto的較低包絡(luò)值Lp和 SADco的較低包絡(luò)值L。。所述較低包絡(luò)用作分支信息計(jì)算中的距離偏移量，其單獨(dú)或結(jié)合預(yù)定常數(shù)A創(chuàng)建Hs、Hp和H。。其值在下文描述的較低包絡(luò)跟蹤器中保持最新。H偏移量被定
義為Hs = Ls+A(11)Hpo = Lp+A(12)Hc = Lc+A(13)圖IlAUlB和IlC中呈現(xiàn)跟蹤LS、LP和Lc值的過程。舉例來說，考慮用于Lp的跟蹤算法100，其在圖IlA的頂部展示。在比較器105中將度量SADto與Lp的當(dāng)前值加上閾值 Tp進(jìn)行比較。如果度量SADro超過Lp的當(dāng)前值加上閾值Tp，那么不改變Lp的當(dāng)前值，如方框 115中所示。如果不超過，那么Lp的新值變?yōu)镾ADto與Lp的線性組合，如方框113中所見。 在方框115的另一方面中，Lp的新值為LP+TP。以類似方式計(jì)算圖IlB和IlC中的量Ls和！^。圖IlAUlB和IlC中具有相同功能的處理方框用相同編號表示，但添加撇號(‘或“)以展示其對不同組變量進(jìn)行操作。舉例來說，當(dāng)形成3々01)()與1^的線性組合時(shí)，所述操作在方框113'中展示。對于Lp的情況也是如此，用于115'的另一方面將用L。+T。代替Lc。然而，在Ls的情況下，圖IlB中的算法交替處理SADfs和SADss (依次將每一者標(biāo)記 X)，因?yàn)榇溯^低包絡(luò)適用于所述兩個(gè)變量。當(dāng)將方框108中的SADfs的當(dāng)前值讀取到方框 103中的X位置中且隨后將107中的SADss的當(dāng)前值讀取到方框102中的X位置中時(shí)，發(fā)生 SADfs與SADss值的交替。對于Lp的情況也是如此，用于115”的另一方面將用Ls+Ts代替Ls。 通過實(shí)驗(yàn)來預(yù)定用于測試當(dāng)前較低包絡(luò)值的量A和閾值。圖9為說明用于執(zhí)行圖8的步驟89的示范性過程的流程圖。圖9大體上展示用于更新決策變量的過程。此處，用得自度量的新信息更新六個(gè)決策變量(對應(yīng)于六個(gè)可能
決策)。所述決策變量如下找到D0 =α D4+ 分支信息(0)(14)D1 =α D0+ 分支信息(1)(15)D2 =α D1+ 分支信息O)(16)D3 =α D2+ 分支信息(3)(17)D4 =α D3+ 分支信息(18)D5 =α D5+ 分支信息(5)(19) 量α小于1且限制決策變量對其過去值的依賴性；α的使用等效于隨其數(shù)據(jù)變舊減小每一歐基理德距離的影響。在流程圖62中，待更新的決策變量在左部列出，如在線 101、102、103、104、105和106上可得到的。接著在方框100的一者中將相位轉(zhuǎn)變路徑中的一者上的決策變量的每一者乘以小于1的數(shù)字α 接著將舊決策變量的衰減值相加到分支信息變量的當(dāng)前值，所述分支信息變量由衰減決策變量所在的相位轉(zhuǎn)變路徑上的下一相位進(jìn)行索引。這發(fā)生在方框110中。在方框193中將變量D5偏移量Δ ;Δ在方框112中計(jì)算。如下文描述，選擇所述量以減少由此系統(tǒng)確定的相位序列中的不一致性。最小決策變量在方框20中找到?？偲饋碚f，將特定針對每一決策的新信息相加到已經(jīng)乘以α的適當(dāng)決策變量的先前值，以得到當(dāng)前決策變量的值。當(dāng)掌握新度量時(shí)，可作出新決策；因此，此技術(shù)能夠在接收到每個(gè)幀的場1和場2時(shí)作出新決策。這些決策變量是早先提及的歐基理德距離總和。將適用相位選擇為具有最小決策變量的下標(biāo)的相位。在圖8的方框90中明確作出基于決策變量的決策。某些決策允許在決策空間中進(jìn)行。如方框91中所描述，這些決策為(i)適用相位不是P5。反向電視電影處理視頻(未展示使用適用相位來引導(dǎo)反向電視電影處理過程)；和(ii)適用相位為P5,解交錯視頻。每一相位可視為有限狀態(tài)機(jī)的可能狀態(tài)，其中狀態(tài)之間的轉(zhuǎn)變?nèi)Q于決策變量的當(dāng)前值和六個(gè)分支信息量。當(dāng)所述轉(zhuǎn)變遵循以下模式P5 — P5 或 Ptl — P1 — P2 — P3 — P4或P5 — P5 - P5-P3-P4 — P0時(shí)，機(jī)器正在正確操作。在相干決策串中可能存在偶然誤差，因?yàn)槎攘吭醋员举|(zhì)上可變的視頻。此技術(shù)檢測到與圖7不一致的相位序列。其操作在圖12中概述。算法400在方框405中存儲本相位決策的下標(biāo)(=χ)且在方框406中存儲先前相位決策的下標(biāo)(= y)。在方框410中，測試x = y = 5 ；在方框411中，測試以下各項(xiàng)χ = 1，y = 0 或χ = 2，y = 1 或χ = 3，y = 2 或χ = 4，y = 3 或χ = 0，y = 4。如果任一測試為肯定的，那么在方框420中宣布所述決策為一致的。如果沒有測試為肯定的，那么圖9的方框193中所展示的偏移量在圖13中加以計(jì)算并將其相加到與P5
相關(guān)聯(lián)的決策變量D5。對D5的修改也作為過程200的一部分出現(xiàn)在圖13中，其對相位序列中的不一致性提供校正作用。假設(shè)流程圖200的方框210中的一致性測試已經(jīng)失敗。沿著從方框210 導(dǎo)出的“否”分支前進(jìn)，方框214中的下一測試為是否對于所有i < 5，D5 > Di ；或替代地， 是否對于i < 5，變量Di的至少一者大于D5。如果第一情況有效，那么在方框216中將初始值為\的參數(shù)δ改變?yōu)? 如果第二情況有效，那么在方框217中將δ改變?yōu)? δ。。 在方框112Β中，將Δ的值更新為ΔΒ，其中Δ β = max ( Δ - δ，-40 δ 0)(20)再次返回到方框210，假設(shè)決策串被判斷為一致的。在方框215中將參數(shù)δ改變?yōu)镾+，其由下式定義δ + = max(2 δ , 16 δ 0)(21)將δ的新值插入ΔΑ(方框112Α中對于Δ的更新關(guān)系)。這是Δ A = max ( Δ + δ , 40 δ 0)(22)接著在方框193中將更新的Δ值相加到?jīng)Q策變量D5。圖14展示一旦確定下拉相位如何在系統(tǒng)301中進(jìn)行反向電視電影處理過程。通過此信息，將場305和305'識別為表示相同視頻場。對所述兩個(gè)場一起求平均值，且將其與場306組合以重建幀320。所重建的幀為320'。類似過程將重建幀322。得自幀321和 323的場不是重復(fù)的。通過將其第一場與第二場重新交織在一起來重建這些幀。在以上描述的方面中，每當(dāng)接收到新幀時(shí)，找到四個(gè)新的度量值且使用新近計(jì)算的決策變量來測試六重假定組。其它處理結(jié)構(gòu)可能適于計(jì)算所述決策變量。維特比 (Viterbi)解碼器將組成路徑的分支的度量相加在一起以形成路徑度量。此處定義的決策變量由類似規(guī)則形成每一者是新信息變量的“漏”總和。(在漏求和中，決策變量的先前值在與新信息數(shù)據(jù)相加之前乘以小于1的數(shù)字)。維特比解碼器結(jié)構(gòu)可經(jīng)修改以支持此程序的操作。盡管根據(jù)處理每隔1/30秒出現(xiàn)新幀的常規(guī)視頻來描述本方面，但應(yīng)注意，此過程可應(yīng)用于在時(shí)間上向后記錄和處理的幀。決策空間保持相同，但存在反映輸入幀序列的時(shí)間反轉(zhuǎn)的微小變化。舉例來說，來自時(shí)間反轉(zhuǎn)模式的一串相干電視電影處理決策(展示于此)P4 P3 P2 P1 P0也將在時(shí)間上反轉(zhuǎn)。對第一方面使用此變型將允許所述決策在作出成功決策時(shí)處理兩個(gè)嘗試一者在時(shí)間上向前進(jìn)行，另一者則向后進(jìn)行。盡管所述兩個(gè)嘗試并不獨(dú)立，但其因每一嘗試將以不同次序處理度量而不同。此理念可結(jié)合緩沖器加以應(yīng)用，所述緩沖器經(jīng)維持以存儲用于處理的未來視頻幀。如果發(fā)現(xiàn)視頻段在正向處理方向上給出了不可接受的不一致結(jié)果，那么程序?qū)乃鼍彌_器取出未來幀并試圖通過在反方向上處理幀來克服視頻伸展難度。本專利中所描述的視頻處理還可應(yīng)用于具有PAL格式的視頻。請注意，可將所述方面描述為過程，所述過程被描繪為流程圖、流程框圖、結(jié)構(gòu)圖或方框圖。雖然流程圖可將操作描述為順序過程，但許多操作可并行執(zhí)行或同時(shí)執(zhí)行。此外，可對操作的次序進(jìn)行重新排列。當(dāng)操作完成時(shí)，過程終止。過程可對應(yīng)于方法、函數(shù)、程序、子例行程序、子程序等。當(dāng)過程對應(yīng)于函數(shù)時(shí)，其的終止對應(yīng)于函數(shù)返回到調(diào)用函數(shù)或主函數(shù)。所屬領(lǐng)域的技術(shù)人員還應(yīng)容易了解，本文所揭示的裝置的一個(gè)或一個(gè)以上元件可在不影響所述裝置的操作的情況下進(jìn)行重新配置。同樣，本文所揭示的裝置的一個(gè)或一個(gè)以上元件可在不影響所述裝置的操作的情況下進(jìn)行組合。所屬領(lǐng)域的技術(shù)人員將了解信息和信號可使用多種不同技術(shù)和技藝中的任一種來表示。所屬領(lǐng)域的技術(shù)人員將進(jìn)一步了解，結(jié)合本文所揭示的實(shí)例描述的各種說明性邏輯塊、模塊和算法步驟可實(shí)施為電子硬件、 固件、計(jì)算機(jī)軟件、中間件、微碼或其組合。為了清楚說明硬件與軟件的這種可交換性，上文已經(jīng)大體上在其功能性方面描述了各種說明性組件、塊、模塊、電路和步驟。將此類功能性實(shí)施為硬件還是軟件取決于特定應(yīng)用和對整個(gè)系統(tǒng)施加的設(shè)計(jì)限制。熟練的技術(shù)人員可針對每一特定應(yīng)用以不同方式實(shí)施所描述的功能性，但不應(yīng)將此類實(shí)施方案決策解釋為造成與所揭示方法的范圍的脫離。結(jié)合本文所揭示的實(shí)例描述的方法或算法的步驟可直接在硬件、由處理器執(zhí)行的軟件模塊或所述兩者的組合中實(shí)施。軟件模塊可駐留在RAM存儲器、快閃存儲器、ROM存儲器、EPROM存儲器、EEPROM存儲器、寄存器、硬盤、可移動盤、CD-ROM或此項(xiàng)技術(shù)中已知的任何其它形式的存儲媒體中。示范性存儲媒體耦合到處理器，使得處理器可從存儲媒體讀取信息和向存儲媒體寫入信息。在替代方案中，存儲媒體可與處理器成一體式。處理器和存儲媒體可駐留在專用集成電路(ASIC)中。所述ASIC可駐留在無線調(diào)制解調(diào)器中。在替代方案中，處理器和存儲媒體可作為離散組件駐留在無線調(diào)制解調(diào)器中。另外，結(jié)合本文所揭示的實(shí)例描述的各種說明性邏輯塊、組件、模塊和電路可用通用處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)或其它可編程邏輯裝置、離散門或晶體管邏輯、離散硬件組件或經(jīng)設(shè)計(jì)以執(zhí)行本文描述的功能的其任何組合來實(shí)施或執(zhí)行。通用處理器可以是微處理器，但在替代方案中，所述處理器可以是任何常規(guī)處理器、控制器、微控制器或狀態(tài)機(jī)。處理器還可實(shí)施為計(jì)算裝置的組合，例如 DSP與微處理器的組合、多個(gè)微處理器、結(jié)合DSP核心的一個(gè)或一個(gè)以上微處理器或任何其它此類配置。提供先前對所揭示實(shí)例的描述是為了使得所屬領(lǐng)域的技術(shù)人員能夠制作或使用所揭示的方法和設(shè)備。所屬領(lǐng)域的技術(shù)人員將容易了解對這些實(shí)例的各種修改，且在不脫離所揭示方法和設(shè)備的精神或范圍的情況下，本文所界定的原理可應(yīng)用于其它實(shí)例并可添加額外元件。希望對所述方面的描述為說明性的，而不限制權(quán)利要求書的范圍。
權(quán)利要求
1.一種處理多個(gè)視頻幀的方法，其包含 從所述視頻幀確定多個(gè)度量；和使用所述經(jīng)確定的度量來對所述視頻幀進(jìn)行反向電視電影處理。
2.根據(jù)權(quán)利要求1所述的方法，其中反向電視電影處理包含估計(jì)下拉相位。
3.根據(jù)權(quán)利要求1所述的方法，其中確定包含確定第一度量，所述第一度量指示所述多個(gè)視頻幀中的第一幀的第一場與所述多個(gè)視頻幀中的第二幀的第一場之間的任何差值，所述第一幀在時(shí)間上跟隨所述第二幀；確定第二度量，所述第二度量指示第一幀的第二場與第二幀的第二場之間的任何差值；確定第三度量，所述第三度量指示所述第一幀的所述第一場與所述第二幀的所述第二場之間的任何差值；和確定第四度量，所述第四度量指示所述第一幀的所述第一場與所述第一幀的所述第二場之間的任何差值，且其中所述第一、第二、第三和第四度量中的至少一者指示下拉相位。
4.根據(jù)權(quán)利要求3所述的方法，其中所述四個(gè)度量中的至少一者指示所述視頻幀中的至少一者尚未經(jīng)電視電影處理并符合廣播標(biāo)準(zhǔn)。
5.根據(jù)權(quán)利要求3所述的方法，其中所述第一度量包含所述第一幀的所述第一場與所述第二幀的所述第一場之間的絕對差總和(SADfs)，所述第二度量包含所述第一幀的所述第二場與所述第二幀的所述第二場之間的絕對差總和(SADss)，所述第三度量包含所述第一幀的所述第一場與所述第二幀的所述第二場之間的絕對差總和(SADto)；且所述第四度量包含所述第一幀的所述第一場與所述第一幀的所述第二場之間的絕對差總和(SADJ。
6.根據(jù)權(quán)利要求5所述的方法，其進(jìn)一步包含計(jì)算SADfs與SADss的較低包絡(luò)水平和 SADpo與SADro的較低包絡(luò)水平。
7.根據(jù)權(quán)利要求3所述的方法，其中確定進(jìn)一步包含從所述四個(gè)度量計(jì)算分支信息。
8.根據(jù)權(quán)利要求1所述的方法，其中確定包含 為所述多個(gè)視頻幀中的每一視頻幀確定多個(gè)度量； 從所述度量確定分支信息；和從所述分支信息確定決策變量，且其中對所述視頻幀進(jìn)行反向電視電影處理進(jìn)一步包含為每一視頻幀識別適用相位。
9.根據(jù)權(quán)利要求8所述的方法，其中所述適用相位指示所述多個(gè)視頻幀中的所述視頻幀中的至少一者是已經(jīng)受到電視電影處理還是符合廣播標(biāo)準(zhǔn)。
10.根據(jù)權(quán)利要求9所述的方法，其中反向電視電影處理包含使用所述適用相位作為下拉相位以進(jìn)行反向電視電影處理。
11.根據(jù)權(quán)利要求10所述的方法，其進(jìn)一步包含檢測所述適用相位中的不一致性。
12.根據(jù)權(quán)利要求11所述的方法，其進(jìn)一步包含通過調(diào)整對至少一個(gè)決策變量的補(bǔ)償量來減少所述檢測到的不一致性。
13.根據(jù)權(quán)利要求8所述的方法，其進(jìn)一步包含在類維特比解碼器中確定所述決策變量。
14.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包含至少對所述視頻幀中的重復(fù)場求平均值。
15.根據(jù)權(quán)利要求8所述的方法，其進(jìn)一步包含經(jīng)由狀態(tài)機(jī)確定下拉相位。
16.一種用于處理多個(gè)視頻幀的設(shè)備，其包含計(jì)算模塊，其經(jīng)配置以從所述視頻幀確定多個(gè)度量；和相位檢測器，其經(jīng)配置以使用所述經(jīng)確定的度量來對所述視頻幀進(jìn)行反向電視電影處理。
17.根據(jù)權(quán)利要求16所述的設(shè)備，其中所述相位檢測器經(jīng)進(jìn)一步配置以估計(jì)下拉相位。
18.根據(jù)權(quán)利要求16所述的設(shè)備，其中所述計(jì)算模塊經(jīng)配置以確定第一度量，所述第一度量指示所述多個(gè)視頻幀中的第一幀的第一場與所述多個(gè)視頻幀中的第二幀的第一場之間的任何差值，所述第一幀在時(shí)間上跟隨所述第二幀；確定第二度量，所述第二度量指示第一幀的第二場與第二幀的第二場之間的任何差值；確定第三度量，所述第三度量指示所述第一幀的所述第一場與所述第二幀的所述第二場之間的任何差值；和確定第四度量，所述第四度量指示所述第一幀的所述第一場與所述第一幀的所述第二場之間的任何差值，且其中所述相位檢測器使用所述第一、第二、第三和第四度量中的至少一者來指示下拉相位。
19.根據(jù)權(quán)利要求18所述的設(shè)備，其中所述相位檢測器使用由所述計(jì)算模塊確定的所述四個(gè)度量中的至少一者來指示所述視頻幀中的至少一者尚未受到電視電影處理且符合廣播標(biāo)準(zhǔn)。
20.根據(jù)權(quán)利要求16所述的設(shè)備，其中所述計(jì)算模塊經(jīng)配置以 為所述多個(gè)視頻幀中的每一視頻幀確定多個(gè)度量；從所述度量確定分支信息；和從所述分支信息確定決策變量。
21.根據(jù)權(quán)利要求20所述的設(shè)備，其中相位檢測器經(jīng)配置以基于所述決策變量為每一視頻幀識別適用相位。
22.根據(jù)權(quán)利要求21所述的設(shè)備，其中所述相位檢測器經(jīng)配置以基于所述適用相位指示視頻幀是已經(jīng)受到電視電影處理還是符合廣播標(biāo)準(zhǔn)。
23.根據(jù)權(quán)利要求22所述的設(shè)備，其中所述相位檢測器經(jīng)配置以通過識別所述適用相位作為下拉相位來對所述視頻幀進(jìn)行反向電視電影處理。
24.根據(jù)權(quán)利要求20所述的設(shè)備，其中所述計(jì)算模塊進(jìn)一步包含確定下拉相位的狀態(tài)機(jī)。
25.一種用于處理多個(gè)視頻幀的設(shè)備，其包含 用于從所述視頻幀確定多個(gè)度量的裝置；和用于使用所述經(jīng)確定的度量來對所述視頻幀進(jìn)行反向電視電影處理的裝置。
26.根據(jù)權(quán)利要求25所述的設(shè)備，其中所述反向電視電影處理裝置基于下拉相位來對所述視頻幀進(jìn)行反向電視電影處理。
27.根據(jù)權(quán)利要求25所述的設(shè)備，其中所述用于反向電視電影處理的裝置使用四個(gè)度量中的至少一者來指示所述視頻幀中的至少一者尚未受到電視電影處理且符合廣播標(biāo)準(zhǔn)。
28.根據(jù)權(quán)利要求25所述的設(shè)備，其中所述用于確定所述度量的裝置包含用于為所述多個(gè)視頻幀中的每一視頻幀確定所述多個(gè)度量的裝置；用于從所述度量確定分支信息的裝置；和用于從所述分支信息確定決策變量的裝置，且其中所述用于對所述視頻進(jìn)行反向電視電影處理的裝置包含用于基于所述決策變量為每一視頻幀識別適用相位的裝置。
29.根據(jù)權(quán)利要求觀所述的設(shè)備，其中所述用于識別所述適用相位的裝置包括用于指示所述視頻是已經(jīng)受到電視電影處理還是符合廣播標(biāo)準(zhǔn)的裝置。
30.根據(jù)權(quán)利要求四所述的設(shè)備，其中所述用于反向電視電影處理的裝置識別所述適用相位作為下拉相位以進(jìn)行反向電視電影處理。
31.根據(jù)權(quán)利要求30所述的設(shè)備，其中所述用于識別所述適用相位的裝置包括用于檢測所述適用相位的值中的不一致性的裝置。
32.根據(jù)權(quán)利要求觀所述的設(shè)備，其中所述用于確定下拉相位的裝置包含狀態(tài)機(jī)。
33.一種機(jī)器可讀媒體，其包含用于處理多個(gè)視頻幀的指令，其中所述指令在執(zhí)行時(shí)致使機(jī)器從所述多個(gè)視頻幀確定多個(gè)度量；和使用所述經(jīng)確定的度量來對所述視頻幀進(jìn)行反向電視電影處理。
34.根據(jù)權(quán)利要求33所述的機(jī)器可讀媒體，其中所述指令進(jìn)一步致使所述機(jī)器為所述多個(gè)視頻幀中的每一視頻幀確定多個(gè)度量；從所述度量確定分支信息；和從所述分支信息確定決策變量，其中致使所述機(jī)器對所述視頻幀進(jìn)行反向電視電影處理的所述指令進(jìn)一步致使所述機(jī)器基于所述決策變量來識別視頻幀的適用相位。
35.根據(jù)權(quán)利要求34所述的機(jī)器可讀媒體，其中致使所述機(jī)器識別所述適用相位的所述指令進(jìn)一步致使所述機(jī)器指示所述視頻是已經(jīng)受到電視電影處理還是符合廣播標(biāo)準(zhǔn)。
36.根據(jù)權(quán)利要求35所述的機(jī)器可讀媒體，其中所述指令進(jìn)一步致使所述機(jī)器確定下拉相位以用于對所述視頻幀中的所述多個(gè)視頻幀中的一者進(jìn)行反向電視電影處理。
37.根據(jù)權(quán)利要求34所述的機(jī)器可讀媒體，其中所述指令進(jìn)一步致使所述機(jī)器通過作為狀態(tài)機(jī)操作來確定下拉相位。
38.一種視頻編碼處理器，其經(jīng)配置以從多個(gè)視頻幀確定多個(gè)度量；和使用所述經(jīng)確定的度量來對所述視頻幀進(jìn)行反向電視電影處理。
39.根據(jù)權(quán)利要求38所述的視頻編碼處理器，其中所述處理器通過確定下拉相位來進(jìn)行反向電視電影處理。
40.根據(jù)權(quán)利要求38所述的視頻編碼處理器，其中由所述處理器至少對所述視頻幀中重復(fù)的場一起求平均值以形成反向電視電影處理輸出。
全文摘要
本發(fā)明涉及基于狀態(tài)機(jī)的反向電視電影處理算法。本文描述一種用于處理視頻以確定哪些視頻區(qū)段在電視電影處理中生成和哪些符合NTSC標(biāo)準(zhǔn)的技術(shù)。估計(jì)由電視電影處理產(chǎn)生的視頻區(qū)段中的3:2下拉(見下文)的當(dāng)前下拉相位，且將其用于反轉(zhuǎn)電視電影處理過程。
文檔編號H04N7/26GK102572214SQ20111040830
公開日2012年7月11日 申請日期2006年10月24日 優(yōu)先權(quán)日2005年10月24日
發(fā)明者劉方, 田濤, 維賈雅拉克希米·R·拉韋恩德拉恩 申請人:高通股份有限公司