基于幀相似性和視覺質(zhì)量以及興趣的幀編碼選擇的制作方法
【專利摘要】提供了一種用于在編碼視頻的幀速率下降至低水平以至于失去活動視頻的感覺時確定從視頻序列中選擇具有高視覺吸引力并且可以按高質(zhì)量編碼的幀的系統(tǒng)和方法。從候選輸入幀得到度量，并且這種度量被用于確定是增加還是降低給予該候選輸入幀的權(quán)重。在一個實施例中，該度量可以是與該候選輸入幀相關(guān)聯(lián)的自動曝光數(shù)據(jù)。
【專利說明】基于幀相似性和視覺質(zhì)量以及興趣的幀編碼選擇
[0001]相關(guān)申請的交叉引用
[0002]本申請要求此前于2011年7月1日提交的、名為FRAME ENCODING SELECTIONBASED ON FRAME SIMILARITIES AND VISUAL QUALITY AND INTERESTS 的美國臨時專利申請序列號61/503，795的優(yōu)先權(quán)。該臨時申請通過引用而全部內(nèi)容并入于此。
【技術(shù)領(lǐng)域】
[0003]本發(fā)明的方面總體上涉及視頻處理領(lǐng)域，更具體地，涉及預(yù)測視頻編碼系統(tǒng)。
【背景技術(shù)】
[0004]當(dāng)按10幀/秒(fps)或以上的速率顯示多個圖像時，視頻顯示系統(tǒng)給出了活動視頻的感覺。視頻編碼系統(tǒng)嘗試通過編碼視頻序列并且通過帶寬受限的信道發(fā)送該序列來表達運動。然而，在許多系統(tǒng)中信道帶寬可能會在沒有警告的情況下改變。視頻編碼系統(tǒng)動態(tài)地改變視頻序列的參數(shù)(量化參數(shù)、編碼模式、幀尺寸以及幀速率)，以使所編碼的視頻數(shù)據(jù)適合由信道提供的帶寬。視頻編碼協(xié)議是有損處理，因此，某些編碼參數(shù)可能會降低所恢復(fù)的視頻的感知質(zhì)量。
[0005]然而，在某些情況下，帶寬限制變得如此嚴(yán)重以至于編碼器必須將幀速率下降至恢復(fù)的視頻不再被感覺為“活動”視頻的水平。例如，在l_3fps時，恢復(fù)的視頻很可能被感覺為一系列的靜態(tài)圖像(類似于幻燈片放映的效果)，而非活動視頻。當(dāng)視覺上無吸引力的圖像(模糊的圖像、曝光不足的圖像等)在很長的時間段內(nèi)顯示在終端上時，消費者會感到編碼序列的質(zhì)量特別差。因此，發(fā)明人認識到，在編碼控制方案的領(lǐng)域中，需要在嚴(yán)重的帶寬限制期間選擇高質(zhì)量圖像用于編碼。
【專利附圖】

【附圖說明】
[0006]圖1 (a)是例示根據(jù)本發(fā)明的實施例的視頻編碼系統(tǒng)的簡化框圖。
[0007]圖1 (b)是例示根據(jù)本發(fā)明的實施例的終端的組件的簡化框圖。
[0008]圖2 (a)和(b)例示了根據(jù)本發(fā)明的實施例的、視頻編碼器基于時間數(shù)據(jù)來選擇參考巾貞的編碼操作。
[0009]圖3是例示根據(jù)本發(fā)明的實施例的、用于基于自動曝光數(shù)據(jù)來選擇參考幀的方法的簡化流程圖。
[0010]圖4 (a)和(b)例示了根據(jù)本發(fā)明的實施例的、用于基于空間復(fù)雜性數(shù)據(jù)來選擇參考幀的方法。
[0011]圖5是例示根據(jù)本發(fā)明的實施例的、用于基于運動數(shù)據(jù)來選擇參考幀的方法的簡化流程圖。
[0012]圖6是例示根據(jù)本發(fā)明的實施例的、用于基于視覺興趣指示來選擇參考幀的方法的簡化流程圖。
[0013]圖7是例示根據(jù)本發(fā)明的實施例的、當(dāng)視頻編碼器處于幻燈片放映模式時的方法的簡化流程圖。
【具體實施方式】
[0014]本發(fā)明的實施例提供了這樣的技術(shù)，其用于在編碼視頻的幀速率下降至低水平以至于失去活動視頻的感覺，并且在這樣的幀速率在使用中時，確定從視頻序列中選擇具有高視覺吸引力并且可以按高質(zhì)量編碼的幀。相對于具有較低吸引力和/或質(zhì)量的其它幀，選擇這種幀用于編碼。
[0015]圖1(a)是例示根據(jù)本發(fā)明的實施例的視頻編碼系統(tǒng)100的簡化框圖。如圖所示，系統(tǒng)100可以包括經(jīng)由網(wǎng)絡(luò)130互連的多個終端110、120。終端110、120皆可以在本地位置處捕獲視頻數(shù)據(jù)，并且編碼該視頻數(shù)據(jù)以用于經(jīng)由網(wǎng)絡(luò)130發(fā)送至另一終端。每個終端110、120可以從網(wǎng)絡(luò)130接收另一終端的編碼視頻數(shù)據(jù)，重建該編碼數(shù)據(jù)，以及顯示從其恢復(fù)的視頻數(shù)據(jù)。
[0016]在圖1 (a)中，終端110、120被例示為智能電話，但本發(fā)明的原理并不受限于此。本發(fā)明的實施例在個人計算機(臺式計算機和膝上型計算機)、平板計算機、計算機服務(wù)器、媒體播放器以及/或者專用視頻會議設(shè)備中都可應(yīng)用。
[0017]網(wǎng)絡(luò)130表示在終端110、120之間傳遞編碼視頻數(shù)據(jù)的任何數(shù)目的網(wǎng)絡(luò)，包括例如有線和/或無線通信網(wǎng)絡(luò)。通信網(wǎng)絡(luò)130可以在電路交換或分組交換信道中交換數(shù)據(jù)。代表性網(wǎng)絡(luò)包括電信網(wǎng)絡(luò)、局域網(wǎng)、廣域網(wǎng)和/或因特網(wǎng)。出于本討論的目的，網(wǎng)絡(luò)130的架構(gòu)和拓撲對本發(fā)明的操作來說不重要，除非下面另加說明。
[0018]圖1 (b)是例示根據(jù)本發(fā)明的實施例的終端110的組件的簡化框圖。終端110可以包括視頻編碼器140、攝像機150、運動傳感器160，以及面部檢測器170。攝像機150可以在終端110處捕獲圖像。攝像機150可以包括各種控制部件，包括自動曝光控制部155(在圖1 (b)中單獨示出)。視頻編碼器140可以執(zhí)行編碼處理來壓縮從攝像機150輸入至其的視頻數(shù)據(jù)。運動傳感器160 (諸如陀螺儀或加速度計)可以檢測終端110的運動。面部檢測器170可以分析由攝像機150輸出的幀，并且可以確定該幀內(nèi)容中人面部是否可見。
[0019]如圖1 (b)所示，視頻編碼器140可以包括幾個功能模塊，包括幀緩沖器141、預(yù)處理器142、編碼引擎143、參考圖片緩存144、發(fā)送器145以及控制器146。幀緩沖器141可以在由攝像機150輸出的幀被編碼之前存儲該幀。在各種操作模式中，這些幀可以從緩沖器141中丟棄，以將視頻序列的幀速率調(diào)整為視頻編碼器140必須按其操作的編碼約束，包括可用比特率。
[0020]預(yù)處理器142可以對存儲在緩沖器141中的視頻數(shù)據(jù)執(zhí)行各種分析和信號調(diào)節(jié)操作。例如，預(yù)處理器142可以將各種過濾操作應(yīng)用到幀數(shù)據(jù)，以改進由編碼引擎143應(yīng)用的編碼操作的效率。編碼引擎143可以通過利用輸入視頻數(shù)據(jù)中的時間和空間冗余來編碼該視頻數(shù)據(jù)。典型地，編碼引擎143通過運動補償預(yù)測編碼來編碼輸入視頻數(shù)據(jù)，其涉及遍及參考圖片緩存144搜索以尋找提供用于輸入幀的良好預(yù)測參考的數(shù)據(jù)。參考圖片緩存144可以存儲重建的參考幀數(shù)據(jù)。作為其操作的一部分，編碼引擎143可以將某些幀指定為“參考幀”，其可以用作用于之后接收到的視頻數(shù)據(jù)的預(yù)測參考。編碼引擎143還可以包括解碼參考幀的編碼數(shù)據(jù)和將重建的數(shù)據(jù)存儲在參考圖片緩存144中的功能(未示出)。發(fā)送器145可以緩沖來自編碼引擎143的編碼視頻數(shù)據(jù)，并且可以準(zhǔn)備用于經(jīng)由信道131向終端120發(fā)送的數(shù)據(jù)。控制器146可以管理視頻編碼器140的操作。
[0021 ] 運動傳感器160可以在視頻捕獲期間檢測終端110的運動。運動傳感器160可以被具體實施為加速度計、陀螺儀或相似的傳感器。
[0022]顧名思義，面部檢測器170是分析視頻內(nèi)容并且確定是否可以在該視頻內(nèi)檢測到人面部的功能單元。面部檢測器典型地輸出表示在每個幀內(nèi)任何檢測到的面部的坐標(biāo)的數(shù)據(jù)，而且可能輸出表示面部檢測正確的估計可能性的置信度分數(shù)。
[0023]面部檢測器170還可以輸出標(biāo)識檢測到的面部的特性的元數(shù)據(jù)，例如，面部是否在微笑，眼睛是否被檢測為睜開等。
[0024]終端120可以包括對終端110執(zhí)行的處理操作進行逆轉(zhuǎn)的功能塊(未示出)。因此，終端120可以包括接收來自信道的編碼數(shù)據(jù)的接收器，和逆轉(zhuǎn)由視頻編碼器執(zhí)行的編碼操作的解碼器。解碼器可以生成適于顯示或適于終端120的顯示設(shè)備的恢復(fù)視頻。
[0025]為了支持雙向通信，終端120可以包括其自身的與攝像機、視頻編碼器140、運動傳感器160以及面部檢測器170相對應(yīng)的功能塊(未示出)。在這種實施例中，終端120可以捕獲本地環(huán)境的視頻并對其編碼以遞送至終端110。終端110可以包括其自身的接收器和解碼器，以從由終端120發(fā)送的編碼視頻來恢復(fù)視頻。同樣，這些功能單元僅為方便起見而沒有示出。
[0026]在本發(fā)明的一個實施例中，視頻編碼器對預(yù)測參考的搜索可以強調(diào)時間上最接近正被編碼的幀的參考幀。圖2 (a)和(b)例示了根據(jù)本發(fā)明的實施例的、視頻編碼器基于時間數(shù)據(jù)來選擇參考幀的編碼操作。
[0027]圖2 (a)例示了其中視頻編碼器將N個參考幀201-210存儲在參考圖片緩存中的編碼操作。這些參考幀可供用作被輸入至視頻編碼器的新幀220的預(yù)測參考。預(yù)測參考可以逐像素塊來分配。即，輸入幀可以被解析成多個像素塊，接著每個像素塊可以與每個參考幀的同位置數(shù)據(jù)相比較，以識別與來自輸入幀的像素塊相匹配的一個或多個參考幀像素塊。運動估計搜索可以跨每個像素塊的空間區(qū)域搜索，以尋找匹配的預(yù)測參考。隨著視頻編碼器將輸入像素塊與每個參考幀相比較，其可以確定表示輸入像素塊與對應(yīng)參考幀之間的匹配的質(zhì)量的相似程度。
[0028]圖2 (b)例示了可以應(yīng)用至從預(yù)測參考搜索得到的相似性測度(similaritymeasure)的示例性加權(quán)函數(shù)230、240。加權(quán)函數(shù)230是線性函數(shù)，其從針對時間上最接近輸入幀220的參考幀201的最大值線性地轉(zhuǎn)變至針對時間上離該輸入幀最遠的參考幀210的最小值。加權(quán)函數(shù)240是在多個離散值之間轉(zhuǎn)變的階梯函數(shù)，其針對時間上最接近輸入幀220的參考幀201取最大值,到針對時間上離該輸入幀最遠的參考幀210取最小值。在另一個實施例中，對于時間上遠離輸入?yún)⒖紟^預(yù)定量的參考幀，加權(quán)函數(shù)250可以被設(shè)置成零。圖2 (b)所示的加權(quán)函數(shù)僅僅是示例性的；本發(fā)明可以根據(jù)需要提供任何加權(quán)函數(shù)(指數(shù)減函數(shù)、漸近減函數(shù)等)。
[0029]在操作期間，在參考預(yù)測搜索期間得到的相似性測度可以由與相應(yīng)參考幀相關(guān)聯(lián)的加權(quán)函數(shù)來定標(biāo)(scale)。例如，利用加權(quán)函數(shù)230，如果輸入像素塊對于參考幀202和參考幀208生成相同的相似性測度，則應(yīng)用至參考幀202的較高加權(quán)可以使其相對于參考幀208優(yōu)先被選擇。然而，如果由參考幀208得到的相似性測度很高以至于其值超過參考幀202的相似性測度(在二者都被定標(biāo)之后)，則參考幀208可以被選擇為針對輸入像素塊的預(yù)測參考。
[0030]在操作期間，相似性測度可以由幀差異來生成，幀差異是對輸入像素塊與參考幀的同位置數(shù)據(jù)之間的差異的確定。另選地，相似性測度可以由運動估計搜索或者來自面部檢測器的檢測到的面部的位置來生成。
[0031]可以預(yù)期的是，強調(diào)時間上更靠近正被編碼的幀的參考幀將導(dǎo)致在編碼輸入幀時減小熵，因此，這將有助于當(dāng)編碼幀在解碼器處重建時的更高的視覺質(zhì)量。
[0032]在另一個實施例中，可以執(zhí)行對要編碼的輸入幀的選擇，以減小在解碼器處的視頻重建和回放期間的抖動。盡管幻燈片放映模式趨于使幀速率下降至失去活動視頻的感覺的水平，但如果抖動可以在所重建圖像中最小化，則可以保持所重建圖像的感知質(zhì)量。視頻編碼器可以估計與每個緩沖幀相關(guān)聯(lián)的抖動的量，并且基于所估計的抖動向該幀分配權(quán)重。
[0033]視頻編碼器可以基于將幀辨別為具有良好圖像質(zhì)量的度量來選擇要編碼的幀。圖3是例示根據(jù)本發(fā)明的實施例的、用于基于自動曝光數(shù)據(jù)來選擇參考幀的方法300的簡化流程圖。在圖3中，視頻編碼器可以使用自動曝光(AE)控制作為一個這樣的度量。許多攝像機系統(tǒng)采用響應(yīng)于視頻序列內(nèi)變化的亮度而動態(tài)地調(diào)節(jié)攝像機內(nèi)的曝光設(shè)置的算法。
[0034]在框310處，方法300可以讀取針對作為要編碼的候選者的輸入幀的AE設(shè)置數(shù)據(jù)。接著，在框320處，方法300可以確定AE設(shè)置在輸入幀由攝像機捕獲時是否在改變。如果AE設(shè)置未改變，則在框330處，方法300可以增加給予該輸入幀的權(quán)重。如果AE設(shè)置在改變，則在框340處,方法300可以降低給予該輸入巾貞的權(quán)重。
[0035]典型地，攝像機響應(yīng)于視頻序列內(nèi)的亮度變化而改變其AE設(shè)置。在AE設(shè)置在改變時捕獲的幀可能具有差的圖像質(zhì)量，因為其是曝光過度或曝光不足的。與此相反，在AE設(shè)置穩(wěn)定時捕獲的幀可能具有更好的圖像質(zhì)量，因為攝像機在使用適于所捕獲圖像的亮度的AE設(shè)置進行操作。
[0036]在另一個實施例中，該方法可以檢查先前編碼的幀與可用于編碼的緩沖輸入幀之間的曝光差異。具有與先前編碼幀相似的曝光設(shè)置的緩沖幀相比于具有不同曝光設(shè)置的其它緩沖幀，可以被分配以更高的權(quán)重。
[0037]在又一個實施例中，該方法可以估計每個緩沖幀的亮度(luminance)，并且如果在幀內(nèi)檢測到面部，則估計該面部的亮度。該方法可以增加在其中檢測到面部并且該面部被確定為曝光良好的幀的權(quán)重。該方法可以降低在其中檢測到面部但被確定為曝光不足或者曝光過度的幀的權(quán)重。
[0038]圖4 (a)和(b)例示了根據(jù)本發(fā)明的實施例的、用于基于空間復(fù)雜性數(shù)據(jù)來選擇參考幀的方法。圖4 (a)是例示了用于基于空間復(fù)雜性數(shù)據(jù)來選擇參考幀的方法400的流程圖。具體來說，視頻編碼器可以使用空間復(fù)雜性作為度量來識別作為要編碼的候選者的哪個(哪些)幀具有良好的圖像質(zhì)量。視頻編碼器可以使用預(yù)處理算法來估計空間復(fù)雜性。
[0039]在框410處，方法400可以讀取針對作為要編碼的候選者的輸入幀的復(fù)雜性估計。接著，在框420處，方法400可以將該復(fù)雜性估計與閾值相比較。如果該復(fù)雜性數(shù)據(jù)超出該閾值，則在框430處，方法400可以增加給予輸入幀的權(quán)重。如果該復(fù)雜性數(shù)據(jù)未超出該閾值,則在框440處，方法400可以降低給予輸入幀的權(quán)重。
[0040]空間復(fù)雜性可以按任何方法來確定。預(yù)處理器可以在候選幀內(nèi)執(zhí)行邊緣檢測，以識別該幀內(nèi)的多個邊緣。預(yù)處理器(單獨地或者與編碼引擎合作)可以執(zhí)行圖像數(shù)據(jù)的頻率變換，例如離散余弦變換或小波變換，并且確定在變換后的數(shù)據(jù)內(nèi)發(fā)現(xiàn)的高頻分量的相對強度。根據(jù)這些度量，可以執(zhí)行圖4 (a)的操作。
[0041]在一個實施例中，針對輸入幀的空間復(fù)雜性數(shù)據(jù)可以相對地確定(框410)。具體來說，針對候選輸入幀的空間復(fù)雜性數(shù)據(jù)可以被確定并且與先前選擇的輸入幀的空間復(fù)雜性數(shù)據(jù)相比較。接著，將所得增量與閾值相比較(框420)，以確立輸入幀的權(quán)重應(yīng)當(dāng)增加還是降低(框430和440)。
[0042]圖4 (b)例示了根據(jù)本發(fā)明的實施例的各種加權(quán)函數(shù)。典型地，如果具有高空間復(fù)雜性的圖像可以在解碼器處以足夠的圖像逼真度被恢復(fù)，則其會被感知為具有高圖像質(zhì)量。然而，對于視頻編碼系統(tǒng)來說，針對復(fù)雜圖像保持高圖像質(zhì)量可能是困難的，特別是在可用比特率下降至低水平以至于編碼器進入幻燈片放映模式時。因此，在一個實施例中，如曲線450所示，加權(quán)函數(shù)可以向具有更高復(fù)雜性的幀分配更高的權(quán)重。在另一個實施例中，如曲線460所示，另一個加權(quán)函數(shù)可以向具有中等復(fù)雜性的幀分配更高的權(quán)重。
[0043]在又一個實施例中，方法400可以將復(fù)雜性與表示不同復(fù)雜程度的多個不同閾值相比較，并且響應(yīng)于這些比較來分配不同的權(quán)重。這些閾值例如可以對應(yīng)于圖4 (b)的曲線450、460中的不同階梯水平之間的邊界。一些復(fù)雜性值可以使得給定輸入幀無資格作為用于編碼的候選者。
[0044]圖5是例示了根據(jù)本發(fā)明的實施例的、用于基于運動數(shù)據(jù)來選擇參考幀的方法500的簡化流程圖。具體來說，視頻編碼器可以使用運動數(shù)據(jù)作為度量來識別作為要編碼的候選者的哪個(哪些)幀具有良好的圖像質(zhì)量。視頻編碼器可以經(jīng)由預(yù)處理器從該視頻序列得到運動數(shù)據(jù)，或者可以從與攝像機銜接的運動傳感器接收這種數(shù)據(jù)。
[0045]在框510處，方法500可以讀取針對作為要編碼的候選者的輸入幀的運動數(shù)據(jù)。接著，在框520處，方法500可以將該運動與閾值相比較。如果該運動數(shù)據(jù)超出該閾值，則在框530處，方法500可以降低給予輸入幀的權(quán)重。如果該復(fù)雜性數(shù)據(jù)未超出該閾值，則在框540處，方法500可以增加給予輸入幀的權(quán)重。
[0046]在一個實施例中，針對輸入幀的運動數(shù)據(jù)可以相對地確定(框510)。具體來說，針對候選輸入幀的運動數(shù)據(jù)可以被確定并且與先前選擇的輸入幀的運動數(shù)據(jù)相比較。接著，將所得增量與閾值相比較(框520)，以確立輸入幀的權(quán)重應(yīng)當(dāng)增加還是降低(框530和540)。
[0047]如先前所討論的，運動數(shù)據(jù)可以由視頻編碼器內(nèi)的預(yù)處理算法來生成。這種算法典型地通過估計較大視頻序列內(nèi)的幀中的圖像內(nèi)容的運動來估計該幀的全局運動。另選地，運動傳感器數(shù)據(jù)(例如，由容納攝像機150 (圖1)的終端110 (圖1)內(nèi)的陀螺儀或加速度計提供的)可以提供這種數(shù)據(jù)。
[0048]在另一個實施例中，該運動數(shù)據(jù)可以從由面部檢測器170 (圖1)輸出的數(shù)據(jù)得到。當(dāng)在視頻序列內(nèi)被檢測到時，面部檢測器典型地提供表示面部的坐標(biāo)的數(shù)據(jù)。在一個實施例中，該方法可以由幀至幀的坐標(biāo)數(shù)據(jù)來計算面部的速度，并且可以基于所計算的速度來向單獨的幀分配權(quán)重。
[0049]典型地，由運動的攝像機捕獲的圖像很可能展示偽像，諸如降低所感知的圖像質(zhì)量的運動模糊或滾動百葉窗偽像。因此，加權(quán)函數(shù)可以向低運動幀分配更高權(quán)重，而向具有中等至高度運動的幀分配更低權(quán)重。
[0050]圖6是例示了根據(jù)本發(fā)明的實施例的、用于基于視覺興趣指示來選擇參考幀的方法600的簡化流程圖。具體來說，視頻編碼器可以使用視覺興趣指示作為度量來識別作為要編碼的候選者的哪個(哪些)幀具有良好的視覺興趣。顧名思義，面部檢測算法執(zhí)行掃描視頻序列的幀并且確定視野中是否存在人面部的處理。當(dāng)面部檢測器識別到圖像內(nèi)的面部時，該檢測器可以輸出識別該面部的位置和/或尺寸的數(shù)據(jù)以及指示例如眼睛是睜開還是閉上和該面部是否在微笑的輔助數(shù)據(jù)。視頻編碼器可以使用這些指示來選擇視覺上引起興趣的幀用于編碼。
[0051]在框610處，方法600可以讀取輸入幀的面部檢測器數(shù)據(jù)。接著，在框620處，方法600可以確定在該輸入幀的視野內(nèi)是否檢測到面部。如果檢測到面部，則在框630處，方法600可以增加與該輸入幀相關(guān)聯(lián)的權(quán)重。如果未檢測到面部，則在框640處，方法600可以降低與該輸入幀相關(guān)聯(lián)的權(quán)重。結(jié)果，方法600可以強調(diào)具有更高視覺興趣的幀用于編碼。
[0052]可選的是，在框650處，對于檢測到面部的幀，方法600可以擴展成確定該面部是否被顯示為在微笑。如果是這樣，則在框660處，方法600可以增加與該輸入幀相關(guān)聯(lián)的權(quán)重。如果沒有，則在框670處，方法600可以降低與該輸入幀相關(guān)聯(lián)的權(quán)重。而且，在框680處，方法600可以可選地確定眼睛是否被檢測為睜開。如果是這樣，則在框690處，方法600可以增加與該輸入幀相關(guān)聯(lián)的權(quán)重。如果沒有，則在框700處，方法600可以降低與該輸入幀相關(guān)聯(lián)的權(quán)重。
[0053]方法600還可以使用由面部檢測器提供的其它度量，以調(diào)節(jié)分配給每個幀的權(quán)重。例如，方法600可以確定該面部在視野內(nèi)的尺寸，并且相對于具有更小面部的幀強調(diào)具有更大面部的幀。另外，方法600可以確定面部在視野內(nèi)的位置，并且相對于面部位于視野中心之外的幀強調(diào)面部位于視野中心的幀。而且，方法600可以確定面部在候選輸入幀中的位置，并且將其與面部在先前編碼的輸入幀中的位置相比較。方法600可以相對于其中面部位置差異大的幀強調(diào)其中面部位置差異小的幀。
[0054]方法600還可以向其中面部被檢測為處于自動曝光(AE)計量區(qū)內(nèi)的幀分配優(yōu)先權(quán)重。例如，許多自動曝光控制算法開發(fā)了基于視野中心內(nèi)的圖像內(nèi)容的AE控制。在AE控制區(qū)內(nèi)識別到面部的幀可以具有分配至其的增加的權(quán)重，而在AE控制區(qū)之外識別到面部的幀可以具有分配至其的較低的權(quán)重。
[0055]考慮其中編碼幀速率僅允許每10個幀中的1個幀被編碼的示例。在這種情況下，視頻編碼器將丟棄10個幀中的9個，生成10、20、30、40、50等的默認模式。然而，在某些情況下，由于編碼質(zhì)量的考慮，視頻編碼器可以在幀10被編碼之后選擇幀15用于編碼。在該示例中通過從幀15構(gòu)建新的幀模式，抖動可以被最小化。從而，幀25將獲得用于下一個選擇判定的最聞加權(quán)，而非巾貞30。該加權(quán)可以基于對哪些巾貞在回放期間廣生最小抖動量的估計，該回放并不總是移動與已經(jīng)被編碼的原始幀相距的距離。
[0056]圖7是例示根據(jù)本發(fā)明的實施例的、在視頻編碼器處于幻燈片放映模式時的方法800的簡化流程圖。
[0057]在框810處，視頻編碼器初始地可以按正常運行時模式操作，在該情況下，其根據(jù)一組默認編碼策略緩沖并編碼輸入視頻數(shù)據(jù)，該組默認編碼策略包括默認幀速率。接著，在操作中的某一時間點，視頻編碼器可以進入幻燈片放映模式，在該時間點，幀速率下降至幀不能按足夠高的速率被編碼以在回放時表達運動感覺的水平。典型地，該速率為l_3fps。當(dāng)視頻編碼器進入幻燈片放映模式時，其可以評估包含在其幀緩沖器中的每個輸入幀作為用于編碼的候選者。具體來說，在框820處，視頻編碼器可以例如根據(jù)圖2中描述的搜索方法，基于加權(quán)搜索來對輸入幀可以實現(xiàn)的編碼質(zhì)量進行排名。此后，在框830處，視頻編碼器可以例如根據(jù)圖3-6中描述的一種或多種技術(shù)，基于用于輸入幀的質(zhì)量度量來對該幀可以實現(xiàn)的編碼質(zhì)量進行排名。最后，在框840處，視頻編碼器可以根據(jù)在框820-830處得到的排名來選擇和編碼所緩沖的幀中的一個幀。典型地，這涉及選擇排名最高的幀。
[0058]在視頻編碼器在以幻燈片放映模式進行操作時，在框850處，方法800可以繼續(xù)緩沖由攝像機捕獲的新幀，并且按幻燈片放映的幀速率重復(fù)框820-840的操作，直到視頻序列結(jié)束或者視頻編碼器退出幻燈片放映模式為止。
[0059]視頻編碼器可以基于“顫動(judder)”來選擇用于編碼的緩沖幀，“顫動”是幀之間的時間間隔的一致性。如果當(dāng)前幀速率是每秒鐘特定數(shù)目的幀，例如，每秒鐘1幀，則視頻編碼器可以選擇用于編碼的幀以使得每個所選擇的用于編碼的幀距離先前所選擇的用于編碼的幀大約1秒鐘。
[0060]視頻編碼器還可以通過利用面部區(qū)域上的額外加權(quán)執(zhí)行候選緩沖幀與先前編碼幀的像素之間的絕對差的簡單加權(quán)和，來選擇用于編碼的緩沖幀。這種選擇可以產(chǎn)生非常高效的編碼。
[0061]前述討論列出了可以用于根據(jù)本發(fā)明的各種實施例構(gòu)造的視頻編碼系統(tǒng)中的功能模塊。在實踐中，這些系統(tǒng)可以在多種設(shè)備中應(yīng)用，諸如設(shè)置有集成攝像機(例如，具有攝像能力的電話、娛樂系統(tǒng)以及計算機)的移動設(shè)備和/或諸如視頻會議設(shè)備和具有攝像能力的臺式計算機的有線通信系統(tǒng)。在某些應(yīng)用中，上面描述的功能塊可以作為集成軟件系統(tǒng)的部件被提供，其中，這些塊可以作為計算機程序的分離部件被提供。在其它應(yīng)用中，所述功能塊可以作為處理系統(tǒng)的離散電路組件被提供，諸如專用集成電路或數(shù)字信號處理器內(nèi)的功能單元。本發(fā)明的又一些應(yīng)用可以被具體實施為專用硬件和軟件組件的混合系統(tǒng)。而且，在此描述的功能塊不需要被設(shè)置為分離的單元。例如，盡管圖1 (b)例示了視頻編碼器的組件作為分離的單元，但在一個或多個實施例中，其一些或全部可以被集成并且其不需要是分離的單元。這種實現(xiàn)細節(jié)對于本發(fā)明的操作來說不重要，除非上面另外進行了注釋。
[0062]而且，在此例示的圖僅提供了呈現(xiàn)本發(fā)明的主題所必要的細節(jié)。在實踐中，視頻編碼器典型地包括除了在此描述的那些以外的其它功能單元，包括音頻處理系統(tǒng)、如所示的用于在整個編碼流水線上存儲數(shù)據(jù)的緩沖器、用于管理與通信網(wǎng)絡(luò)的通信的通信收發(fā)器、以及對應(yīng)的解碼器設(shè)備。為清楚起見，已經(jīng)將這些部件從前述討論中省略。
[0063]雖然上面本發(fā)明參照一些實施例進行了詳細描述，但對本領(lǐng)域普通技術(shù)人員而言，在本發(fā)明的范圍和精神內(nèi)的變型是明顯的。因此，本發(fā)明應(yīng)當(dāng)被視為僅根據(jù)權(quán)利要求書的范圍來限制。
【權(quán)利要求】
1.一種視頻編碼方法，包括:當(dāng)編碼幀速率下降至低于預(yù)定閾值時:緩沖由攝像機生成的多個輸入視頻幀，基于幀質(zhì)量度量向每個緩沖的輸入幀分配權(quán)重，編碼最高加權(quán)的幀，以及從緩沖器中丟棄多個較低加權(quán)的幀而不編碼。
2.根據(jù)權(quán)利要求1所述的視頻編碼方法，其中，所述幀質(zhì)量度量是根據(jù)在捕獲每個緩沖的輸入幀期間出現(xiàn)的攝像機自動曝光設(shè)置的變化率而得到的。
3.根據(jù)權(quán)利要求1所述的視頻編碼方法，其中，所述幀質(zhì)量度量是根據(jù)每個緩沖的輸入幀與其前一幀之間的曝光變化而得到的。
4.根據(jù)權(quán)利要求1所述的視頻編碼方法，其中，所述幀質(zhì)量度量是根據(jù)每個緩沖的輸入幀的估計亮度而得到的。
5.根據(jù)權(quán)利要求1所述的視頻編碼方法，其中，所述幀質(zhì)量度量是根據(jù)對每個緩沖的輸入幀執(zhí)行的估計面部檢測而得到的。
6.根據(jù)權(quán)利要求5所述的視頻編碼方法，其中，所述幀質(zhì)量度量進一步是根據(jù)每個輸入幀內(nèi)檢測到的面部區(qū)域的估計亮度而得到的。
7.根據(jù)權(quán)利要求5所述的視頻編碼方法，其中，所述幀質(zhì)量度量進一步是根據(jù)每個輸入幀內(nèi)檢測到的面部的人為現(xiàn)象而得到的。
8.根據(jù)權(quán)利要求5所述的視頻編碼方法，其中，所述幀質(zhì)量度量進一步是根據(jù)每個輸入幀內(nèi)檢測到的面部的位置而`得到的。
9.根據(jù)權(quán)利要求5所述的視頻編碼方法，其中，所述幀質(zhì)量度量進一步是根據(jù)與每個輸入幀內(nèi)檢測到的面部相關(guān)聯(lián)的置信度分數(shù)而得到的。
10.根據(jù)權(quán)利要求7所述的視頻編碼方法，其中，所述人為現(xiàn)象是檢測到的微笑。
11.根據(jù)權(quán)利要求7所述的視頻編碼方法，其中，所述人為現(xiàn)象是檢測到睜眼。
12.根據(jù)權(quán)利要求1所述的視頻編碼方法，其中，所述幀質(zhì)量度量是根據(jù)每個緩沖的輸入幀內(nèi)的空間復(fù)雜性的估計而得到的。
13.根據(jù)權(quán)利要求1所述的視頻編碼方法，其中，所述幀質(zhì)量度量是根據(jù)每個緩沖的輸入幀的運動的估計而得到的。
14.根據(jù)權(quán)利要求1所述的視頻編碼方法，其中，所述幀質(zhì)量度量是根據(jù)與每個輸入幀相關(guān)聯(lián)的抖動的估計而得到的。
15.根據(jù)權(quán)利要求1所述的視頻編碼方法，其中，所述幀質(zhì)量度量是根據(jù)每個輸入幀與至少一個先前編碼幀之間的時間一致性的估計而得到的。
16.根據(jù)權(quán)利要求1所述的視頻編碼方法，其中，所述編碼包括針對要編碼的幀的每個像素塊執(zhí)行以下操作:在要編碼的幀的相應(yīng)像素塊與多個本地存儲的參考幀之間執(zhí)行運動估計搜索，針對由所述搜索識別的每個候選參考幀，確定要編碼的相應(yīng)像素塊與來自相應(yīng)候選參考幀的匹配像素塊之間的相似性測度，根據(jù)候選參考幀的時間位置定標(biāo)該相似性測度，以及基于經(jīng)定標(biāo)的相似性測度選擇一匹配像素塊作為要編碼的像素塊的預(yù)測參考，以及參照該預(yù)測參考來編碼輸入的該像素塊。
17.一種視頻編碼裝置，包括:攝像機，視頻編碼器系統(tǒng)，包括:緩沖器，用于存儲來自攝像機的視頻序列的輸入幀，編碼引擎，用于根據(jù)時間預(yù)測技術(shù)編碼來自緩沖器的所選擇的幀，參考圖片緩存，用于存儲經(jīng)編碼的參考幀的重建視頻數(shù)據(jù)，以及控制器，用于控制視頻編碼序列的操作，其中，當(dāng)編碼幀速率下降至低于預(yù)定閾值時:基于幀質(zhì)量度量向每個緩沖的輸入幀分配權(quán)重，選擇最聞加權(quán)的幀用于編碼，以及從緩沖器中丟棄多個較低加權(quán)的幀而不編碼。
18.根據(jù)權(quán)利要求17所述的裝置，其中，所述幀質(zhì)量度量是根據(jù)在捕獲每個緩沖的輸入幀期間出現(xiàn)的攝像機自動曝光設(shè)置的變化率而得到的。
19.根據(jù)權(quán)利要求17所述的裝置，其中，所述視頻編碼器包括預(yù)處理器，該預(yù)處理器估計所緩沖的幀的曝光，并且所述幀質(zhì)量度量是根據(jù)每個緩沖的輸入幀與其前一幀之間的曝光變化而得到的。
20.根據(jù)權(quán)利要求17所述的裝置，其中，所述視頻編碼器包括預(yù)處理器，該預(yù)處理器估計所緩沖的幀的亮度，并且所述幀質(zhì)量度量是根據(jù)每個緩沖的輸入幀的估計亮度而得到的。
21.根據(jù)權(quán)利要求17所述的裝置，還包括面部檢測器，其中，所述幀質(zhì)量度量是根據(jù)對每個緩沖的輸入幀執(zhí)行的估計面部檢測而得到的。
22.根據(jù)權(quán)利要求17所述的裝置，其中，所述視頻編碼器包括預(yù)處理器，該預(yù)處理器估計所緩沖的幀的空間復(fù)雜性，并且所述幀質(zhì)量度量是根據(jù)每個緩沖的輸入幀內(nèi)的空間復(fù)雜性的估計而得到的。
23.根據(jù)權(quán)利要求17所述的裝置，還包括運動傳感器，其中，所述幀質(zhì)量度量是根據(jù)每個緩沖的輸入幀的運動的估計而得到的。
24.根據(jù)權(quán)利要求17所述的裝置，其中，所述幀質(zhì)量度量是根據(jù)與每個輸入幀相關(guān)聯(lián)的抖動的估計而得到的。
25.根據(jù)權(quán)利要求17所述的裝置，其中，所述幀質(zhì)量度量是根據(jù)每個輸入幀與至少一個先前編碼幀之間的時間一致性的估計而得到的。
26.一種其上存儲有程序指令的計算機可讀存儲設(shè)備，該程序指令在由處理器執(zhí)行時，使該處理器執(zhí)行以下操作:在該存儲設(shè)備中緩沖由攝像機生成的多個輸入視頻幀，基于幀質(zhì)量度量向每個緩沖的輸入幀分配權(quán)重，編碼最高加權(quán)的幀，以及從該存儲設(shè)備中丟棄多個較低加權(quán)的幀而不編碼。
27.根據(jù)權(quán)利要求26所述的存儲設(shè)備，其中，所述幀質(zhì)量度量是根據(jù)在捕獲每個緩沖的輸入幀期間出現(xiàn)的攝像機自動曝光設(shè)置的變化率而得到的。
28.根據(jù)權(quán)利要求26所述的存儲設(shè)備，其中，所述幀質(zhì)量度量是根據(jù)每個緩沖的輸入幀與其前一幀之間的曝光變化而得到的。
29. 根據(jù)權(quán)利要求26所述的存儲設(shè)備，其中，所述幀質(zhì)量度量是根據(jù)每個緩沖的輸入幀的估計亮度而得到的。
30.根據(jù)權(quán)利要求26所述的存儲設(shè)備，其中，所述幀質(zhì)量度量是根據(jù)對每個緩沖的輸入幀執(zhí)行的估計面部檢測而得到的。
31.根據(jù)權(quán)利要求30所述的存儲設(shè)備，其中，所述幀質(zhì)量度量進一步是根據(jù)每個輸入幀內(nèi)檢測到的面部區(qū)域的估計亮度而得到的。
32.根據(jù)權(quán)利要求30所述的存儲設(shè)備，其中，所述幀質(zhì)量度量進一步是根據(jù)每個輸入幀內(nèi)的檢測到的面部的人為現(xiàn)象而得到的。
33.根據(jù)權(quán)利要求30所述的存儲設(shè)備，其中，所述幀質(zhì)量度量進一步是根據(jù)每個輸入幀內(nèi)的檢測到的面部的位置而得到的。
34.根據(jù)權(quán)利要求30所述的存儲設(shè)備，其中，所述幀質(zhì)量度量進一步是根據(jù)與每個輸入幀內(nèi)檢測到的面部相關(guān)聯(lián)的置信度分數(shù)而得到的。
35.根據(jù)權(quán)利要求26所述的存儲設(shè)備，其中，所述幀質(zhì)量度量是根據(jù)每個緩沖的輸入幀內(nèi)的空間復(fù)雜性的估計而得到的。
36.根據(jù)權(quán)利要求26所述的存儲設(shè)備，其中，所述幀質(zhì)量度量是根據(jù)每個緩沖的輸入幀的運動的估計而得到的。
37.根據(jù)權(quán)利要求26所述的存儲設(shè)備，其中，所述幀質(zhì)量度量是根據(jù)與每個輸入幀相關(guān)聯(lián)的抖動的估計而得到的。
38.根據(jù)權(quán)利要求26所述的存儲設(shè)備，其中，所述幀質(zhì)量度量是根據(jù)每個輸入幀與至少一個先前編碼幀之間的時間一致性的估計而得到的。
39.根據(jù)權(quán)利要求26所述的存儲設(shè)備，其中，所述處理器的所述編碼包括，通過以下步驟編碼所述幀的每個像素塊:在要編碼的幀的相應(yīng)像素塊與多個本地存儲的參考幀之間執(zhí)行運動估計搜索，針對由所述搜索識別的每個候選參考幀，確定要編碼的相應(yīng)像素塊與來自相應(yīng)候選參考幀的匹配像素塊之間的相似性測度，根據(jù)候選參考幀的時間位置定標(biāo)該相似性測度，以及基于經(jīng)定標(biāo)的相似性測度選擇一匹配像素塊作為要編碼的像素塊的預(yù)測參考，以及參照該預(yù)測參考來編碼輸入的該像素塊。
40.一種視頻編碼方法，包括:當(dāng)編碼幀速率下降至低于預(yù)定閾值時:選擇用于編碼的輸入幀，針對輸入幀的每個像素塊:在相應(yīng)像素塊與多個本地存儲的參考幀之間執(zhí)行運動估計搜索，針對由所述搜索識別的每個候選參考幀，確定相應(yīng)像素塊與來自相應(yīng)候選參考幀的匹配像素塊之間的相似性測度，根據(jù)候選參考幀的時間位置定標(biāo)該相似性測度，以及基于經(jīng)定標(biāo)的相似性測度選擇一匹配像素塊作為輸入像素塊的預(yù)測參考，以及參照該預(yù)測參考來編碼輸入的該像素塊。
41.根據(jù)權(quán)利要求40所述的方法，其中，所述定標(biāo)根據(jù)定標(biāo)函數(shù)進行，該定標(biāo)函數(shù)對于每個緩沖的參考幀隨著輸入幀與該緩沖的參考幀之間的時間距離增加而減小。
42.根據(jù)權(quán)利要求40所述的方法，其中，所述選擇包括:基于幀質(zhì)量度量向多個緩沖的輸入幀中的每個輸入幀分配權(quán)重，以及選擇最高加權(quán)的輸入幀用于編碼。
43.根據(jù)權(quán)利要求42所述的方法，還包括從緩沖器中丟棄其它較低加權(quán)的輸入幀而不編碼。
44.根據(jù)權(quán)利要求42所述的方法，其中，所述幀質(zhì)量度量是根據(jù)在捕獲每個緩沖的輸入幀期間出現(xiàn)的攝像機自動曝光設(shè)置的變化率而得到的。
45.根據(jù)權(quán)利要求42所述的方法，其中，所述幀質(zhì)量度量是根據(jù)每個緩沖的輸入幀與其前一幀之間的曝光變化而得到的。
46.根據(jù)權(quán)利要求42所述的方法，其中，所述幀質(zhì)量度量是根據(jù)每個緩沖的輸入幀的估計亮度而得到的。
47.根據(jù)權(quán)利要求42所述的方法，其中，所述幀質(zhì)量度量是根據(jù)對每個緩沖的輸入幀執(zhí)行的估計面部檢測而得到的。
48.根據(jù)權(quán)利要求42所述的方法，其中，所述幀質(zhì)量度量是根據(jù)每個緩沖的輸入幀內(nèi)的空間復(fù)雜性的估計而得到的。
49.根據(jù)權(quán)利要求42所述的方法，其中，所述幀質(zhì)量度量是根據(jù)每個緩沖的輸入幀的運動的估計而得到的。
50.根據(jù)權(quán)利要求42所述的方法，其中，所述幀質(zhì)量度量是根據(jù)與每個輸入幀相關(guān)聯(lián)的抖動的估計而得到的。
51.根據(jù)權(quán)利要求42所述的方法，其中，所述幀質(zhì)量度量是根據(jù)每個輸入幀與至少一個先前編碼幀之間的時間一致性的估計而得到的。
【文檔編號】H04N19/20GK103636212SQ201280031787
【公開日】2014年3月12日 申請日期:2012年6月29日 優(yōu)先權(quán)日:2011年7月1日
【發(fā)明者】D·S·普萊斯, 周小松, H-J·吳 申請人:蘋果公司