專利名稱：基于圖像捕捉參數(shù)控制視頻編碼的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻譯碼。
背景技術(shù)：
數(shù)字多媒體能力可并入到各種各樣的裝置中，包括數(shù)字電視機(jī)、數(shù)字直播系統(tǒng)、無線通信裝置、無線廣播系統(tǒng)、個人數(shù)字助理(PDA)、膝上型或桌上型計算機(jī)、數(shù)碼相機(jī)、數(shù)字記錄裝置、視頻游戲裝置、視頻游戲控制臺、蜂窩式或衛(wèi)星無線電話、數(shù)字媒體播放器等。數(shù)字多媒體裝置可實施例如MPEG-2、ITU-H. 263.MPEG-4或ITU-H. 264/MPEG-4第10部分增強(qiáng)型視頻譯碼(AVC)等視頻譯碼技術(shù)，以較高效地發(fā)射及接收或存儲及檢索數(shù)字視頻數(shù)據(jù)。視頻編碼技術(shù)可經(jīng)由空間及時間預(yù)測來執(zhí)行視頻壓縮，以減少或去除視頻序列中固有的冗余。視頻捕捉裝置(例如攝像機(jī))可捕捉視頻，并將其發(fā)送到視頻編碼器以供編碼。視頻編碼器處理捕捉到的視頻，對經(jīng)處理的視頻進(jìn)行編碼，且發(fā)射經(jīng)編碼的視頻數(shù)據(jù)以供存儲或發(fā)射。在任一情況下，對經(jīng)編碼視頻數(shù)據(jù)進(jìn)行編碼以再現(xiàn)所述視頻供顯示。用于存儲或發(fā)射視頻的可用帶寬通常是有限的，且受例如視頻編碼數(shù)據(jù)速率等因素影響。若干因素有助于視頻編碼數(shù)據(jù)速率。因此，當(dāng)設(shè)計視頻編碼器時，關(guān)注之一是改進(jìn)視頻編碼數(shù)據(jù)速率。通常，改進(jìn)實施于視頻編碼器中，且通常增加了視頻編碼器的額外計算復(fù)雜性，這可抵消改進(jìn)的頻編碼數(shù)據(jù)速率的某些益處。

發(fā)明內(nèi)容
本發(fā)明描述用于至少部分地基于視頻捕捉裝置的一個或一個以上參數(shù)來控制視頻譯碼的技術(shù)。所述技術(shù)可在例如相機(jī)等視頻捕捉裝置中執(zhí)行。所述視頻捕捉裝置可感測、 測量或產(chǎn)生一個或一個以上參數(shù)。在一個實例中，本發(fā)明描述一種方法，其包括在視頻捕捉模塊中估計在所述視頻捕捉模塊的重新對焦過程期間捕捉到的視頻數(shù)據(jù)幀的模糊等級；以及在視頻編碼器中至少部分地基于所述幀的所估計的模糊等級而對所述幀進(jìn)行編碼。在另一實例中，本發(fā)明描述一種系統(tǒng)，其包括用于在視頻捕捉模塊中估計在所述視頻捕捉模塊的重新對焦過程期間捕捉到的視頻數(shù)據(jù)幀的模糊等級的裝置；以及用于在視頻編碼器中至少部分地基于所述幀的所估計的模糊等級而對所述幀進(jìn)行編碼的裝置。在另一實例中，本發(fā)明描述一種系統(tǒng)，所述系統(tǒng)包括視頻捕捉模塊，其用以估計在所述視頻捕捉模塊的重新對焦過程期間捕捉到的視頻數(shù)據(jù)幀的模糊等級；以及視頻編碼器，其用以至少部分地基于所述幀的所估計的模糊等級而對所述幀進(jìn)行編碼。本發(fā)明中所描述的技術(shù)可以硬件、軟件、固件或其任一組合來實施。如果以軟件來實施，那么可在例如微處理器、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)或數(shù)字信號處理器(DSP)等一個或一個以上處理器中執(zhí)行軟件。可最初將執(zhí)行所述技術(shù)的軟件存儲于非暫時計算機(jī)可讀存儲媒體中，且在處理器中加載并執(zhí)行。因此，本發(fā)明還預(yù)期一種計算機(jī)可讀媒體，其包括用于致使可編程處理器進(jìn)行以下操作的指令在視頻捕捉模塊中估計在所述視頻捕捉模塊的重新對焦過程期間捕捉到的視頻數(shù)據(jù)幀的模糊等級；以及在視頻編碼器中至少部分地基于所述幀的所估計的模糊等級而對所述幀進(jìn)行編碼。本發(fā)明的一個或一個以上方面的細(xì)節(jié)在附圖及以下描述中陳述。從描述內(nèi)容和圖式并從權(quán)利要求書中將明白本發(fā)明中所描述的技術(shù)的其它特征、目標(biāo)和優(yōu)點(diǎn)。


圖1為說明可實施本發(fā)明的技術(shù)的示范性視頻捕捉裝置及視頻編碼器系統(tǒng)的框圖。圖2為說明可實施本發(fā)明的技術(shù)的另一示范性視頻捕捉裝置及視頻編碼器系統(tǒng)的框圖。圖3為說明可實施本發(fā)明的技術(shù)的視頻編碼器系統(tǒng)的實例的框圖。圖4為說明視頻捕捉裝置進(jìn)行的實例自動對焦重新對焦過程的性能的圖。圖5是說明用于編碼期間的運(yùn)動估計的示范性塊分區(qū)大小的圖。圖6A到6C是說明根據(jù)本發(fā)明的技術(shù)的使用捕捉到的幀中的模糊等級的估計值來進(jìn)行視頻編碼的流程圖。圖7是說明根據(jù)本發(fā)明的方面使用模糊等級的估計值來簡化編碼算法的視頻編碼的流程圖。
具體實施例方式本發(fā)明描述用于至少部分地基于視頻捕捉裝置的一個或一個以上參數(shù)來控制視頻譯碼的技術(shù)。在一些實例中，視頻編碼器可基于在支持連續(xù)自動對焦(CAF)過程的視頻捕捉裝置中的重新對焦期間對幀中的模糊等級的估計值來控制視頻譯碼。在視頻系統(tǒng)(例如視頻編碼系統(tǒng))中，帶寬限制可為關(guān)注點(diǎn)，且可能受例如視頻編碼數(shù)據(jù)速率等參數(shù)影響。 在一個實例中，根據(jù)本發(fā)明的技術(shù)可基于視頻捕捉裝置所捕捉到的視頻幀的特性來調(diào)整視頻譯碼過程的一個或一個以上方面，例如視頻編碼數(shù)據(jù)速率。在一個實例中，可基于幀的所估計模糊等級在編碼視頻幀的過程中更高效地分配位，從而優(yōu)化視頻編碼數(shù)據(jù)速率。在實時視頻記錄期間，視頻幀中的模糊可由若干因素導(dǎo)致。舉例來說，視頻捕捉裝置的快速運(yùn)動或正由視頻捕捉裝置(例如攝像機(jī))捕捉的圖像中的對象的快速運(yùn)動可導(dǎo)致模糊，因為相機(jī)或?qū)ο笠苿犹煲灾聼o法對焦。模糊還可能在具有CAF的系統(tǒng)中的重新對焦階段期間或當(dāng)使用手動對焦時的重新對焦期間發(fā)生。在使用CAF的視頻捕捉裝置中，可例如在逐幀基礎(chǔ)上連續(xù)地調(diào)整透鏡位置，以實現(xiàn)最佳對焦性能。當(dāng)關(guān)注對象在視頻記錄期間已改變或移動時，視頻捕捉裝置通過找到新的關(guān)注對象的新的焦平面來重新對焦。在此重新對焦過程期間出現(xiàn)模糊，且裝置在找到新的焦平面之前捕捉到的幀在實現(xiàn)重新對焦之前可能模糊。視頻編碼器通過執(zhí)行計算以作出關(guān)于幀的內(nèi)容的確定來執(zhí)行視頻數(shù)據(jù)速率控制。這些計算通常增加了視頻編碼器的計算復(fù)雜性。
本發(fā)明的技術(shù)可包含基于由視頻捕捉裝置確定和/或測量的參數(shù)來執(zhí)行視頻捕捉裝置中的功能。在本發(fā)明的一個方面中，視頻編碼器可通過使用視頻編碼器從記錄視頻幀的視頻捕捉裝置獲得的信息來降低額外的計算復(fù)雜性。在一個實例中，視頻捕捉裝置可估計CAF過程的重新對焦階段期間(例如，裝置的快速運(yùn)動期間)的視頻幀中的模糊量。視頻捕捉裝置可向視頻編碼器發(fā)送視頻幀中的模糊量的估計值?；谝曨l幀中的模糊量，視頻編碼器可分配較少的數(shù)據(jù)速率，即較少的譯碼位，來編碼具有高于某一閾值的模糊量的幀，而不必評估視頻編碼器內(nèi)的模糊。事實上，編碼器可依靠已經(jīng)由視頻捕捉裝置確定的模糊參數(shù)。舉例來說，視頻編碼器可分配較少的數(shù)據(jù)速率來編碼模糊幀，因為模糊幀通常具有不受使用較低數(shù)據(jù)速率影響的較低視覺質(zhì)量。 當(dāng)視頻幀的內(nèi)容變得模糊時，根據(jù)本發(fā)明的一個方面，視頻編碼器可分配較少的數(shù)據(jù)速率， 即譯碼位，來編碼模糊幀，從而在給定模糊的情況下，降低帶寬消耗，同時維持可接受的總視覺質(zhì)量。在本發(fā)明的一個方面中，量化參數(shù)(QP)可基于模糊估計值而調(diào)整，且可基于幀中的模糊量而變化。在本發(fā)明的另一方面中，視頻編碼器可使用用于預(yù)測譯碼和運(yùn)動補(bǔ)償?shù)牟煌笮〉膲K分區(qū)來對幀進(jìn)行編碼。在本發(fā)明的另一方面中，視頻編碼器無需實施用于確定幀是否模糊以及幀中的模糊量的算法，因為這些是由視頻捕捉裝置決定的。使用本發(fā)明的技術(shù)，簡化的視頻編碼算法可降低視頻編碼器的計算復(fù)雜性，且較低的數(shù)據(jù)速率可減小視頻編碼器所使用的帶寬?？蓮囊曨l捕捉裝置向視頻編碼器報告模糊估計值。視頻編碼器又可確定特定幀是模糊的，而不花費(fèi)編碼器資源來檢測模糊(這在由視頻編碼器進(jìn)行時可能是計算密集型操作)。代替的是，視頻編碼器可依靠視頻捕捉裝置所評估的模糊估計值。本發(fā)明的方面可用于多種記錄裝置的任一者中，所述記錄裝置可為獨(dú)立的記錄裝置或系統(tǒng)的一部分。出于此論述的目的，使用攝像機(jī)作為示范性視頻捕捉裝置。圖1為說明可實施本發(fā)明的技術(shù)的示范性視頻捕捉裝置和視頻編碼器系統(tǒng)100的框圖。如圖1中所示，系統(tǒng)100包含視頻捕捉裝置102，例如攝像機(jī)，其捕捉視頻流且經(jīng)由鏈路120將視頻流發(fā)送到視頻編碼器110。視頻捕捉裝置102和視頻編碼器110可包括各種各樣的裝置中的任一者，包含移動裝置。在一些實例中，視頻捕捉裝置102和視頻編碼器 110包括無線通信裝置，例如無線手持機(jī)、個人數(shù)字助理(PDA)、移動媒體播放器、相機(jī)或可捕捉并編碼視頻數(shù)據(jù)的任何裝置。在一些實例中，視頻捕捉裝置102和視頻編碼器110可包含于同一外包殼中，作為同一系統(tǒng)的一部分。在其它實例中，視頻捕捉裝置102和視頻編碼器110可駐存在兩個或兩個以上不同裝置中，且可為兩個或兩個以上不同系統(tǒng)的一部分。如果視頻捕捉裝置102和視頻編碼器110駐存在兩個或兩個以上不同裝置中，那么鏈路120可為有線或無線鏈路。在圖1的實例中，視頻捕捉裝置102可包含輸入傳感器單元104、CAF單元106以及模糊估計單元108。視頻編碼器110可包含QP重新調(diào)整單元112、幀模糊評估單元114 以及編碼單元116。根據(jù)本發(fā)明，視頻捕捉裝置102可經(jīng)配置以估計幀的模糊等級，且將模糊估計值發(fā)送到視頻編碼器110。視頻編碼器110可使用模糊信息來確定適當(dāng)?shù)囊曨l編碼數(shù)據(jù)速率且/或簡化視頻編碼算法。視頻捕捉裝置102的輸入傳感器104可感測用于捕捉的幀圖像內(nèi)容。輸入傳感器單元104可包含耦合到傳感器的相機(jī)透鏡，所述傳感器例如為電荷耦合裝置(CCD)陣列或另一圖像感測裝置，其經(jīng)由相機(jī)透鏡接收光，且響應(yīng)于接收到的圖像而產(chǎn)生圖像數(shù)據(jù)。視頻捕捉裝置102可在記錄視頻的同時利用CAF過程。在CAF過程中，相機(jī)透鏡位置可連續(xù)地調(diào)整以實現(xiàn)在視頻幀中的對象上的可接受對焦。當(dāng)新的關(guān)注對象進(jìn)入正被輸入傳感器單元 104捕捉的場景中時，用戶移動視頻捕捉裝置110以捕捉不同對象或不同場景，或者場景內(nèi)的對象移動，輸入傳感器單元104可檢測新對象的存在。輸入傳感器單元104可接著將信號發(fā)送到CAF單元106，CAF單元106分析接收到的信號，且基于所述信號的對焦值來確定在所述場景中檢測到新對象，且觸發(fā)重新對焦過程。新對象上的重新對焦可涉及例如以下動作調(diào)整透鏡位置，直到視頻捕捉裝置通過分析從輸入傳感器單元104接收到的信號的對焦值而實現(xiàn)所要對焦為止，其中每一信號包含幀的像素。CAF單元106可將指示CAF單元106正執(zhí)行重新對焦過程的指示發(fā)送到模糊估計單元108。模糊估計單元108可在重新對焦正發(fā)生時估計幀中的模糊。模糊估計單元108可估計與幀η相關(guān)聯(lián)的模糊B (η)，且將 B(η)發(fā)送到視頻編碼器110。下文將更詳細(xì)地描述估計模糊等級。視頻編碼器110可接收對具有模糊的幀的模糊估計值B (η)，且可在對視頻幀進(jìn)行編碼的過程中利用所述模糊等級，而不必執(zhí)行額外計算以確定幀中的模糊量。在一個實例中，視頻編碼器110可將模糊等級用于QP重新調(diào)整112。換句話說，視頻編碼器110可基于幀的所估計模糊等級來調(diào)整用于對幀進(jìn)行編碼的QP值。QP調(diào)節(jié)經(jīng)編碼圖像中所保留的細(xì)節(jié)量。視頻編碼器在編碼期間執(zhí)行(例如)殘余值的量化。殘余值可為表示殘余值塊的離散余弦變換(DCT)系數(shù)值，所述殘余值塊表示待譯碼的原始塊(例如宏塊)與參考幀中的用于對所述塊進(jìn)行譯碼的預(yù)測塊之間的殘余失真。在一個實例中，當(dāng)編碼器將非常小的QP值用于較高量化時，較大量的圖像細(xì)節(jié)得以保持。然而，使用非常小的QP值導(dǎo)致較高的編碼數(shù)據(jù)速率。隨著QP值增加，視頻編碼速率降低，但細(xì)節(jié)中的一些丟失，且圖像可能變得更為失真。在模糊圖像中，圖像的細(xì)節(jié)已經(jīng)失真， 且視頻編碼器可增加QP，而不影響圖像的質(zhì)量。視頻編碼器可實施算法以確定幀是否模糊。 然而，這些算法增加了視頻編碼器的計算復(fù)雜性。根據(jù)本發(fā)明的技術(shù)，視頻編碼器110可能無需確定幀是否模糊。代替的是，視頻編碼器Iio可從視頻捕捉裝置102接收幀為模糊的指示。在一個實例中，視頻編碼器Iio可接收待編碼的幀η的所估計模糊等級B (η)，且基于所述模糊等級來確定增加還是減小QP。 換句話說，視頻編碼器110可基于從視頻捕捉裝置102獲得的所估計模糊等級B (η)來調(diào)整 QP值。在一個實例中，視頻編碼器110可使用較大QP來編碼具有較高模糊量的幀，且使用較小QP來編碼具有較低模糊量的幀。以此方式，視頻編碼器110可將較多譯碼位分配給較不模糊的幀，且將較少譯碼位分配給較模糊的幀。盡管本文將較大和較小QP值描述為分別對應(yīng)于較多和較少量化，但對于一些譯碼技術(shù)，可為相反情況。在另一實例中，視頻編碼器110可利用模糊等級來簡化由視頻編碼器110實施的編碼算法。簡化的編碼算法可為(例如)針對運(yùn)動估計搜索使用整數(shù)像素精度而不是分?jǐn)?shù)像素精度的算法。其它編碼算法簡化可涉及(例如)利用跳過模式，修改用于運(yùn)動估計中的參考圖片列表，以及修改用于預(yù)測代碼和運(yùn)動補(bǔ)償?shù)膲K分區(qū)大小，如下文更詳細(xì)地闡釋。 在圖像編碼中，基于周圍像素的色彩和強(qiáng)度值而使用內(nèi)插來近似表示像素色彩和強(qiáng)度，且內(nèi)插可用于改進(jìn)幀間譯碼中的壓縮。幀間譯碼是指用以跟蹤?quán)徑鼛瑑?nèi)的移動的運(yùn)動估計，且指示幀內(nèi)的塊相對于一個或一個以上參考幀中的對應(yīng)塊的移位。在編碼期間，編碼器可確定塊在幀內(nèi)的位置?？赏ㄟ^使用子像素或分?jǐn)?shù)內(nèi)插在分?jǐn)?shù)像素等級搜索塊來改進(jìn)壓縮等級。分?jǐn)?shù)越小，編碼器實現(xiàn)的壓縮越高，但編碼算法的計算越密集。舉例來說，可執(zhí)行內(nèi)插以產(chǎn)生分?jǐn)?shù)或子像素值(例如，二分之一和四分之一像素值)，且編碼算法可基于內(nèi)容使用不同的精度等級。對于較詳細(xì)的幀或幀內(nèi)的塊，編碼算法可利用較小的子像素值(例如四分之一)，其將要求在四分之一像素位置處內(nèi)插像素值。對于較不詳細(xì)的幀或幀內(nèi)的塊，編碼算法可利用二分之一像素值的內(nèi)插。在此實例中，與內(nèi)插二分之一像素值相比，內(nèi)插四分之一像素值可提供較好的運(yùn)動估計，但計算較密集。在模糊幀中，圖像中具有較少細(xì)節(jié)，且因此，在子像素等級的內(nèi)插對于保留圖像的細(xì)節(jié)可能不是必要的。因此，可利用整數(shù)像素精度來編碼運(yùn)動估計塊，其中編碼算法查找所述像素值，因此避免內(nèi)插像素值的增加的計算復(fù)雜性。視頻編碼器110可在B(n)評估單元114中將幀的所估計模糊等級B(η)與閾值進(jìn)行比較，以確定是否實施簡化的編碼算法。在一個實例中，可將所述閾值設(shè)定為默認(rèn)值。在另一實例中，可基于視頻捕捉裝置102和/或視頻編碼器110中的設(shè)定值而改變所述閾值。 在另一實例中，閾值可由系統(tǒng)的用戶定義。舉例來說，模糊等級可為范圍W，l]內(nèi)的值，且作為默認(rèn)，可將閾值設(shè)定為0.5，或模糊等級值范圍的中點(diǎn)。在其它實例中，可根據(jù)用戶偏好設(shè)定閾值。如果B(n)評估單元114確定所估計的模糊高于閾值，那么B(n)評估單元114 信令編碼算法單元116實施適當(dāng)?shù)暮喕惴▉砭幋a模糊幀。圖2為說明可實施本發(fā)明的技術(shù)的另一示范性視頻捕捉裝置及視頻編碼器系統(tǒng) 200的框圖。圖2的實例大體上對應(yīng)于圖1的實例，但視頻編碼器在圖1中執(zhí)行的計算的一部分可在圖2的視頻捕捉裝置202中執(zhí)行，如下文將更詳細(xì)地論述。如圖2中所示，系統(tǒng) 200包含視頻捕捉裝置202，例如攝像機(jī)，其捕捉視頻流且經(jīng)由鏈路220將視頻流發(fā)送到視頻編碼器210。視頻捕捉裝置202和視頻編碼器210可包括各種各樣的裝置中的任一者，包含移動裝置。在一些實例中，視頻捕捉裝置202和視頻編碼器210包括無線通信裝置，例如無線手持機(jī)、個人數(shù)字助理(PDA)、移動媒體播放器、相機(jī)或可捕捉并編碼視頻數(shù)據(jù)的任何裝置。在一些實例中，視頻捕捉裝置202和視頻編碼器210可包含于同一外包殼中作為同一系統(tǒng)的一部分。在其它實例中，視頻捕捉裝置202和視頻編碼器210可駐存在兩個或兩個以上不同裝置中，且可為兩個或兩個以上不同系統(tǒng)的一部分。如果視頻捕捉裝置202和視頻編碼器210駐存在兩個或兩個以上不同裝置中，那么鏈路220可為有線或無線鏈路。在圖2的實例中，如在圖1的實例中一樣，視頻捕捉裝置202可包含輸入傳感器 204、CAF單元206以及模糊估計單元208。另外，在此實例中，視頻捕捉裝置202包含QP重新調(diào)整單元212。視頻編碼器210可包含量化單元218、幀模糊評估單元214以及編碼算法單元216。根據(jù)本發(fā)明，視頻捕捉裝置202可經(jīng)配置以估計幀的模糊等級，且基于所估計的模糊等級重新調(diào)整QP。視頻捕捉裝置202可從視頻編碼器210接收先前QP值，基于所述先前QP值，視頻捕捉裝置202可計算經(jīng)重新調(diào)整的QP值。在一個實例中，經(jīng)重新調(diào)整的QP 值可基于幀中的模糊等級，且編碼較不模糊的幀可利用較多量化(例如，較小QP)，且較模糊的幀可利用較少量化(例如較大QP)，其中經(jīng)重新調(diào)整的量化可不超過視頻編碼器210所使用的先前量化量。視頻捕捉裝置202可將經(jīng)重新調(diào)整的QP和模糊估計值發(fā)送到視頻編碼器210。視頻編碼器210可使用模糊信息來確定適當(dāng)?shù)囊曨l編碼數(shù)據(jù)速率且/或簡化視頻編碼算法。視頻編碼器210可在量化期間使用經(jīng)重新調(diào)整的QP。在此實例中，基于模糊等級估計值調(diào)整QP可進(jìn)一步降低視頻編碼器210中的計算復(fù)雜性。視頻編碼器210可基于除模糊之外的因素進(jìn)一步重新調(diào)整QP。視頻捕捉裝置202的輸入傳感器204可感測用于捕捉的幀內(nèi)容。所捕捉的場景的改變可導(dǎo)致輸入傳感器204將信號發(fā)送到CAF單元206，且觸發(fā)重新對焦過程，如上文結(jié)合圖1所描述。CAF單元206可將指示CAF單元206正執(zhí)行重新對焦過程的指示發(fā)送到模糊估計單元208。模糊估計單元208可在重新對焦正發(fā)生時估計幀中的模糊。模糊估計單元 208可估計與幀η相關(guān)聯(lián)的模糊B (η)，且將B (η)發(fā)送到QP重新調(diào)整單元212。QP重新調(diào)整單元212可利用模糊等級來重新調(diào)整幀的QP，如上文所述。視頻捕捉裝置202可將幀η 的模糊估計值B (η)和經(jīng)調(diào)整的QP發(fā)送到視頻編碼器210。在一些實例中，視頻編碼器210可接收對具有模糊的幀的模糊估計值B (η)和經(jīng)調(diào)整的QP，且可在例如對視頻幀進(jìn)行編碼的過程中利用所述模糊等級，而不必執(zhí)行額外計算以確定幀中的模糊量。在一個實例中，視頻編碼器210可在量化單元218中利用經(jīng)重新調(diào)整的QP來量化與幀η中的塊的殘余數(shù)據(jù)相關(guān)聯(lián)的系數(shù)值。除利用經(jīng)重新調(diào)整的QP之外，視頻編碼器210還可利用模糊等級來進(jìn)一步簡化由視頻編碼器210實施的編碼算法。簡化的編碼算法可為(例如)針對運(yùn)動估計搜索使用整數(shù)像素精度而不是分?jǐn)?shù)像素精度的算法，如上文所述。其它編碼算法簡化可涉及(例如) 利用跳過模式，修改用于運(yùn)動估計中的參考圖片列表，以及修改用于預(yù)測代碼和運(yùn)動補(bǔ)償?shù)膲K分區(qū)大小，如下文更詳細(xì)地闡釋。在一個實例中，視頻編碼器210可基于所估計的模糊等級確定要使用編碼算法簡化方法中的哪一者。在一個實例中，如下文進(jìn)一步論述，視頻編碼器210可實施一種或一種以上編碼算法簡化方法。視頻編碼器210可在B(η)評估單元 214中將幀的所估計模糊等級B(η)與閾值進(jìn)行比較，以確定是否實施簡化的編碼算法以及實施哪些簡化的編碼算法。在一個實例中，可將所述閾值設(shè)定為默認(rèn)值。在另一實例中，可基于視頻捕捉裝置202和/或視頻編碼器210中的設(shè)定值而改變所述閾值。在另一實例中， 閾值可由系統(tǒng)的用戶定義。如果Β(η)評估單元214確定所估計的模糊高于閾值，那么B(η) 評估單元214信令編碼算法單元216實施適當(dāng)?shù)暮喕惴▉砭幋a模糊幀。圖3為說明可實施本發(fā)明的技術(shù)的視頻編碼系統(tǒng)300的實例的框圖。如圖3中所示，系統(tǒng)300包含視頻編碼器310，以及模糊估計單元308和QP重新調(diào)整單元312。模糊估計單元308可為圖1的模糊估計單元108或圖2的模糊估計單元208的實例。在一個實例中，QP重新調(diào)整單元312可為視頻編碼器310的一部分。在此實例中，視頻編碼器310可為圖1的視頻編碼器110的實例。在另一實例中，QP重新調(diào)整單元312可不是視頻編碼器 310的一部分。在此實例中，視頻編碼器310可為圖2的視頻編碼器210的實例。視頻編碼器310包含常規(guī)視頻編碼器的元件以及實施本發(fā)明的技術(shù)的元件。視頻編碼系統(tǒng)300可編碼由視頻捕捉裝置(例如圖1的視頻捕捉裝置102或圖2的視頻捕捉裝置20 捕捉的視頻幀。F(n)302可表示視頻編碼器正處理以供編碼的當(dāng)前幀。在其平常操作期間，即當(dāng)幀對焦且視頻捕捉裝置中未發(fā)生重新對焦時，如果視頻編碼器310正在幀間預(yù)測模式下操作，那么視頻編碼器310可對當(dāng)前幀執(zhí)行運(yùn)動估計?；蛘?，如果視頻編碼器310在幀內(nèi)預(yù)測模式下操作，那么視頻編碼器310可對當(dāng)前幀執(zhí)行幀內(nèi)預(yù)測。使用選擇器332，視頻編碼器310可在幀間預(yù)測與幀內(nèi)預(yù)測之間切換。舉例來說，如果幀中的所估計模糊等級超過某一閾值，那么視頻編碼器310可通過使用選擇器332激活運(yùn)動補(bǔ)償單元316而在幀間預(yù)測模式下操作。當(dāng)在幀間預(yù)測模式下操作時，除表示幀間預(yù)測數(shù)據(jù)與當(dāng)前幀之間的差異的殘余數(shù)據(jù)之外，視頻編碼器310還可將運(yùn)動向量數(shù)據(jù)用于運(yùn)動補(bǔ)償，如下文將更詳細(xì)地描述。在一個實例中，視頻編碼器310可在幀內(nèi)預(yù)測模式下操作。可將幀內(nèi)預(yù)測數(shù)據(jù)從當(dāng)前幀302減去，以產(chǎn)生殘余數(shù)據(jù)，且結(jié)果可經(jīng)歷變換單元322中的變換，例如離散余弦變換(DCT)，以產(chǎn)生表示殘余數(shù)據(jù)的變換系數(shù)。經(jīng)變換的幀數(shù)據(jù)(例如變換系數(shù))可接著經(jīng)歷量化單元3M中的量化。視頻編碼器310可具有默認(rèn)QP，其確保某一圖像質(zhì)量，其中較高的量化程度保留經(jīng)編碼幀中的較多細(xì)節(jié)，但導(dǎo)致較高的數(shù)據(jù)速率，即經(jīng)分配以編碼給定幀或塊的殘余數(shù)據(jù)的位的較高數(shù)目。經(jīng)量化的幀數(shù)據(jù)可接著經(jīng)歷熵譯碼單元326，以供進(jìn)一步壓縮。經(jīng)量化的幀可反饋到逆量化單元330和逆變換單元328，且可與來自幀內(nèi)預(yù)測單元318 的結(jié)果組合，以獲得未經(jīng)濾波的信號。未經(jīng)濾波的信號可經(jīng)歷去塊濾波器320，這產(chǎn)生經(jīng)重構(gòu)的幀F(xiàn)(n)，其可用作用于編碼其它幀的參考幀。在一個實例中，視頻捕捉裝置(例如攝像機(jī))的輸入傳感器(例如，圖1的輸入傳感器104或圖2的204)可檢測新的關(guān)注對象何時進(jìn)入正被捕捉的場景中，或用戶可重定向輸入傳感器以捕捉不同對象或不同場景。檢測新對象可致使視頻捕捉裝置起始重新對焦以在新對象上重新建立對焦。重新對焦可使調(diào)整透鏡位置成為必要，直到實現(xiàn)所要對焦為止。 在重新對焦期間，捕捉到的幀可能不具有所要對焦，且因此可能是模糊的。視頻編碼系統(tǒng) 300可利用幀的模糊來降低模糊幀的編碼數(shù)據(jù)速率，且/或簡化應(yīng)用于模糊幀的編碼算法。根據(jù)本發(fā)明的技術(shù)，視頻捕捉裝置中的模糊估計單元308可估計幀F(xiàn)(n)的模糊 B (η)。視頻捕捉裝置(例如圖1的裝置102或圖2的裝置20 可在模糊估計單元314中估計幀的模糊等級。視頻捕捉裝置可將所估計的模糊等級發(fā)送到QP重新調(diào)整單元312，其中基于所估計的模糊等級重新調(diào)整QP值，如上文所述。在一個實例中，QP重新調(diào)整單元312 可在視頻捕捉裝置中，如圖2中所示。在另一實例中，QP重新調(diào)整單元312可在視頻編碼器310中，如圖1中所示。QP重新調(diào)整單元312可基于所估計的模糊等級重新調(diào)整QP值。 視頻編碼器310可進(jìn)一步基于其它因素重新調(diào)整QP值。視頻捕捉裝置還可將所估計的模糊等級發(fā)送到視頻編碼器310，其中幀模糊評估單元314將所估計的模糊等級B (η)與閾值進(jìn)行比較，以確定是否實施簡化的編碼算法。如圖3展示，如果B (η)高于閾值，那么模糊評估單元314將使用簡化的編碼算法的信號發(fā)送到運(yùn)動估計單元310。在一個實例中，編碼的簡化可包含(例如)調(diào)整像素精度等級，以便在運(yùn)動估計塊搜索中不需要像素的子像素內(nèi)插或需要像素的較小子像素內(nèi)插(例如，1/2 而不是1/4或更小)，這使得減少待譯碼的數(shù)據(jù)量。舉例來說，如果所估計的模糊等級超過閾值，那么視頻編碼器310可選擇性地激活整數(shù)像素精度運(yùn)動估計搜索，而不是分?jǐn)?shù)像素精度運(yùn)動估計搜索。在此實例中，代替于花費(fèi)計算資源來將分?jǐn)?shù)像素內(nèi)插在參考幀內(nèi)，視頻編碼器310可依靠整數(shù)像素精度且不執(zhí)行內(nèi)插。通過使用整數(shù)像素精度，視頻編碼器310可選擇不如使用分?jǐn)?shù)像素精度選擇的塊準(zhǔn)確的預(yù)測塊。然而，對于已經(jīng)模糊的幀，降低的精度可能不會顯著影響圖像質(zhì)量。因此，整數(shù)精度可為可接受的。通過消除對執(zhí)行子像素內(nèi)插的需要，視頻編碼器310執(zhí)行較少計算，這導(dǎo)致使用較少的例如電力等系統(tǒng)資源，且減少編碼期間的處理時間和等待時間。在另一實例中，編碼的簡化可涉及通過將幀內(nèi)的較大塊用于運(yùn)動估計來調(diào)整塊分區(qū)等級。舉例來說，在H. 264標(biāo)準(zhǔn)中，幀可分區(qū)成大小為16χ16、8χ16、16x8,8x8,8x4,4x8和4x4的塊。舉例來說，如果所估計的模糊等級超過閾值，那么視頻編碼器310可選擇較大塊分區(qū)，例如16x16，以用于運(yùn)動估計搜索。在此實例中，與編碼較不模糊的幀時相比，視頻編碼器310使用較少的塊來編碼較模糊的幀，因為每一幀將由較少塊組成，且因此，針對所述幀將編碼較少的運(yùn)動向量。通過使用較大的塊分區(qū)，且因此，每幀較少塊，視頻編碼器310編碼較少的運(yùn)動向量，這導(dǎo)致使用較少的系統(tǒng)資源。在又一實例中， 編碼的簡化可包含在跳過模式下操作，其中視頻編碼器310跳過幀而不對其進(jìn)行編碼，例如視頻編碼器310丟棄這些幀。如果所估計的模糊等級超過幀序列的的閾值，那么視頻編碼器310在模糊等級如此高以致連續(xù)幀群組將看起來大體上相同的假設(shè)的基礎(chǔ)上操作。因此，視頻編碼器310可編碼模糊幀中所估計的模糊等級高于某一閾值的一者，且跳過對其它大體上相同的幀的編碼。當(dāng)隨后解碼和/或顯示捕捉到的視頻時，可一次解碼一個經(jīng)編碼幀，且代替跳過的幀而重復(fù)以供顯示。通過使用跳過模式，視頻編碼器310編碼一個幀， 而不是一組幀，因此減少編碼視頻序列所需的計算量，且減少編碼期間所消耗的電力量。另外，編碼一個幀而不是多個幀減少編碼過程期間的處理時間的等待時間。如果所估計的模糊等級高于閾值，那么視頻編碼器310還可利用編碼幀內(nèi)的塊的跳過模式，其中視頻編碼器310編碼一個塊，且使用經(jīng)編碼的塊代替可能因模糊等級而無法辨別的其它塊。如果B (η)高于閾值，那么模糊評估單元314還將信號發(fā)送到參考幀單元304。參考幀單元304可將參考幀F(xiàn) (η)設(shè)定為先前幀F(xiàn) (η-1)。參考幀單元304將信息發(fā)送到運(yùn)動補(bǔ)償單元316，運(yùn)動補(bǔ)償單元316可使用幀間預(yù)測模式，即使用來自其它幀而不是當(dāng)前幀的數(shù)據(jù)，在當(dāng)前模糊幀中執(zhí)行運(yùn)動補(bǔ)償。因此，模糊等級Β(η)可控制用于預(yù)測的幀間模式與幀內(nèi)模式之間的選擇332?？蓪g預(yù)測數(shù)據(jù)從當(dāng)前幀302減去，且結(jié)果可經(jīng)歷變換322， 例如離散余弦變換(DCT)。根據(jù)本發(fā)明的技術(shù)，可將所估計的模糊等級發(fā)送到QP重新調(diào)整單元312，QP重新調(diào)整單元312可在視頻編碼器(圖1)中或在視頻捕捉裝置(圖幻中。QP重新調(diào)整單元 312基于幀中的模糊量Β(η)而調(diào)整QP。在一個實例中，如果所估計的模糊等級高于閾值， 那么重新調(diào)整QP值。在另一實例中，評估幀中的模糊等級，且基于幀中的模糊等級而重新調(diào)整QP值，其中重新調(diào)整的量與幀中的模糊嚴(yán)重性成比例。在一個實例中，幀中的模糊可能不是太嚴(yán)重，且因此，QP的重新調(diào)整可能不是優(yōu)選的。因此，當(dāng)所估計的模糊等級不超過閾值時，可使用默認(rèn)QP值來執(zhí)行量化。在另一實例中，QP重新調(diào)整單元312可基于所估計的模糊等級B (η)而確定幀中是否存在某一模糊量， 以在所估計的模糊等級超過閾值時增加QP。隨著QP增加，視頻編碼速率降低，但細(xì)節(jié)中的一些丟失，且圖像可能變得更加失真。在模糊圖像中，圖像的細(xì)節(jié)已經(jīng)失真，且增加量化等級可對圖像質(zhì)量具有非常小的可察覺影響。QP重新調(diào)整單元312可將經(jīng)調(diào)整的QP(QPnew) 發(fā)送到量化單元324。量化單元3 可使用QPnew來量化從變換單元322接收到的經(jīng)變換的殘余幀數(shù)據(jù)，例如殘余數(shù)據(jù)變換系數(shù)值。經(jīng)量化的幀數(shù)據(jù)可接著經(jīng)歷熵譯碼326，以供進(jìn)一步壓縮、存儲或發(fā)射經(jīng)編碼的數(shù)據(jù)。編碼器可將經(jīng)量化的殘余變換系數(shù)數(shù)據(jù)反饋給逆量化單元330和逆變換單元328，且可與來自幀間預(yù)測316的結(jié)果組合，以獲得表示幀或幀內(nèi)的塊的經(jīng)重構(gòu)數(shù)據(jù)。經(jīng)重構(gòu)數(shù)據(jù)可經(jīng)歷去塊濾波器320，其產(chǎn)生經(jīng)重構(gòu)的幀F(xiàn)(n)。圖4為說明實例自動對焦重新對焦過程(其可稱為CAF過程)的圖。在本發(fā)明的一個方面中，CAF功能性可實施于視頻捕捉裝置(例如圖1的視頻捕捉裝置102或圖2的
14視頻捕捉裝置20 中。CAF過程可為(例如)無源自動對焦算法，其可包含可由CAF單元 106(圖1)或206(圖2、執(zhí)行的對比度測量以及搜索算法(以及其它功能性)。對比度測量可基于通過對所捕捉到的幀中的對焦窗上的亮度值進(jìn)行高通濾波而獲得的對焦值(FV)。 當(dāng)達(dá)到最高對比度時，即當(dāng)FV達(dá)到峰值時，自動對焦算法可確定實現(xiàn)最佳或最優(yōu)對焦。CAF 單元可實施搜索算法以在達(dá)到最高或最優(yōu)對比度(即，F(xiàn)V達(dá)到峰值)的方向上調(diào)整透鏡位置，使得可在幀內(nèi)實現(xiàn)最佳或最優(yōu)對焦。如圖4中所示，可將對焦值(FV)標(biāo)繪為透鏡位置的函數(shù)。透鏡位置范圍可表示視頻捕捉裝置(例如攝像機(jī))的透鏡的范圍，從近端透鏡位置(40 到遠(yuǎn)端透鏡位置(404)變動。最優(yōu)焦點(diǎn)處的幀可具有峰值對焦值FV0(406)。在此實例中，新對象可進(jìn)入幀中，從而產(chǎn)生觸發(fā)CAF單元106或206起始重新對焦過程的信號。此時，幀的對焦值可從FVO (406)降到FVl (408)，而透鏡位置尚未開始改變。接著可逐步調(diào)整透鏡位置，直到達(dá)到新的最優(yōu)或峰值對焦值為止。在此實例中，在新的透鏡位置處，最優(yōu)對焦值可為FVlO (410)。在重新對焦過程期間，視頻捕捉裝置系統(tǒng)可確定每一透鏡位置處的對焦值，直到實現(xiàn)最優(yōu)值為止。在確定搜索方向，即確定透鏡位置是轉(zhuǎn)向近端(40 還是遠(yuǎn)端(404)的過程中，當(dāng)重新對焦被觸發(fā)時，可通過找到FV增加的方向來估計搜索方向。在此實例中，重新對焦過程的第一值可為 FVl (408)。在下一步驟中，透鏡位置可轉(zhuǎn)向近端002)，且可確定對應(yīng)的對焦值FV2 (412)， 其在此情況下可小于FVl (408)。由于FV2(412)小于FVl (408)，所以視頻捕捉裝置系統(tǒng)確定搜索方向應(yīng)朝向透鏡位置的遠(yuǎn)端(404)，因此遠(yuǎn)離FV2(412)。隨著透鏡位置的每次改變，捕捉幀，且確定對焦值，如由FV3到FV9所說明。在一個實例中，當(dāng)?shù)竭_(dá)FV1(K410)時，透鏡位置可在同一方向上連續(xù)改變，在此實例中，朝遠(yuǎn)端位置(404)改變，直到一系列中的特定數(shù)目的步驟給出比已經(jīng)達(dá)到的對焦值低的對焦值為止。舉例來說，達(dá)到FV1(K410)，且在此系統(tǒng)中，可將額外步驟的數(shù)目設(shè)定為三。因此，透鏡位置可增加另外三個步驟，從而產(chǎn)生FVll、FV12和FV13，其全都低于FVlO (410)。視頻捕捉裝置可接著確定FV1(K410)可為新的最優(yōu)對焦值，且返回到對應(yīng)于FV1(K410)的透鏡位置。如上文所提到，可針對在FVl (408)之間捕捉到的每個幀確定模糊等級，且直到 FVlO (410)被分配作為新的最佳對焦值為止?？扇缟衔乃隼妹恳徊襟E處的模糊等級，即用以確定是否重新調(diào)整用于編碼相關(guān)聯(lián)幀的QP，且在一些情況下，確定對QP進(jìn)行調(diào)整的程度。還可將幀的模糊等級與閾值進(jìn)行比較，以確定是否簡化用于所述幀的編碼算法。在一個實例中，可基于幀的對焦值和前面幀的對焦值來確定幀的模糊等級?？苫诔跏枷陆?即從FV0(406)到FV1(408))之后的對焦值改變的百分比(與原始對焦值 (即，F(xiàn)V0)相比)來估計初始模糊等級B (1)，如下:
剛 A=^^
17vO當(dāng)確定搜索方向時，如上文所論述，可逐步調(diào)整透鏡以實現(xiàn)最佳對焦位置?？扇缦略u估此過程期間的模糊
G\ 如果 B1CO,B1=O
B1 =K^\ , m 11
1 FV1果 B1 > 1,B1=I ^ G
/ = 1，2，…其中K可為用于將模糊等級正規(guī)化到選定范圍(例如W，l])的可調(diào)整常數(shù)。Bi為幀i的所估計模糊等級，且FVi為與幀i相關(guān)聯(lián)的對焦值。在一個實例中，K的默認(rèn)值可為FV1，因為FVl是重新對焦過程開始時的初始FV值。通過將K設(shè)定為FV1，將重新對焦過程期間的模糊等級正規(guī)化為初始FV值，這導(dǎo)致將模糊等級正規(guī)化到范圍W，l]。Gi為梯度的絕對值，且可計算如下
G1
透鏡P1-透鏡P“其中透鏡Pi為對應(yīng)于FVi (當(dāng)前幀的對焦值)的透鏡位置，且透鏡Pi-I為對應(yīng)于 FVi (先前幀的對焦值)的透鏡位置。在一個實例中，當(dāng)確定FVn的峰值時，重新對焦過程可結(jié)束，且可使模糊復(fù)位到其初始值，從而指示所述幀對焦。在此實例中，可使模糊復(fù)位到零，Bn = 0。在本發(fā)明的一個實例中，CAF可能不是針對每一幀都有效。如果重新對焦過程期間存在幀跳過，那么可使跳過的幀的模糊等級保持與先前計算的模糊等級相同Bi = Bp1在本發(fā)明的一個方面中，可實時確定如上文所述的模糊，且可實現(xiàn)實時或大體上實時的編碼，其中可利用模糊等級來控制視頻數(shù)據(jù)速率和/或編碼算法的簡化。在本發(fā)明的另一方面中，可在具有延遲的情況下在CAF重新對焦期間評估模糊。 可在CAF重新對焦過程期間通過評估新的焦平面的透鏡位置與重新對焦過程期間的先前透鏡位置之間的透鏡位置差來估計幀i的模糊B [i]，例如如由以下等式所指示B[i]具體延遲=k透鏡位置[N]-透鏡位置[i]N為當(dāng)可找到新的焦平面時，重新對焦過程結(jié)束時的透鏡位置的索弓|，且i = 0，...，(N-l)。k為可調(diào)整常數(shù)，透鏡位置[i]為與所述新的焦平面相關(guān)聯(lián)的透鏡位置，且透鏡位置[N]為與先前重新對焦過程相關(guān)聯(lián)的透鏡位置。在一個實例中，可需要將模糊等級的值限制到某一范圍，且常數(shù)k的值可取決于所界定的范圍。舉例來說，可將模糊等級限制到范圍W，l]，且在此實例中
1
k:
\透鏡遠(yuǎn)端-透麵端\其中透鏡遠(yuǎn)端為最大透鏡位置，且透鏡近端為最小透鏡位置。在其中可在延遲的基礎(chǔ)上評估模糊的實例中，一旦確定最佳對焦位置，就可較準(zhǔn)確地評估從當(dāng)前透鏡位置到所要透鏡位置(即，對應(yīng)于最佳對焦的透鏡位置)的距離。在此實例中，可僅為在初始位置與最佳對焦位置之間的幀確定模糊。在CAF重新對焦過程期間，可在每一搜索步驟處逐幀評估模糊?？筛鶕?jù)幀內(nèi)容的所估計的模糊等級，為了數(shù)據(jù)速率節(jié)省而重新調(diào)整用于編碼當(dāng)前幀的QP。在一個實例中，幀越模糊，用于編碼對應(yīng)幀的量化越少，因為幀中的尖銳邊緣信息越少且細(xì)節(jié)越少。在一些實例中，量化程度可與QP值成比例。在一些實例中，量化程度可與QP值成反比。在任一情況下，QP值可用以指定量化程度。因此，可為較模糊的幀分配較低的編碼數(shù)據(jù)速率。在一些實例中，可使用譯碼速率的所得節(jié)省將較多譯碼位分配給非模糊幀，或具有較少模糊的幀。在一個實例中，可通過QP重新調(diào)整單元112(圖1)或212(圖幻如下確定QP重新調(diào)整
權(quán)利要求
1.一種方法，其包括在視頻捕捉模塊中估計在所述視頻捕捉模塊的重新對焦過程期間捕捉到的視頻數(shù)據(jù)幀的模糊等級；以及在視頻編碼器中至少部分地基于所述幀的所述所估計的模糊等級對所述幀進(jìn)行編碼。
2.根據(jù)權(quán)利要求1所述的方法，其中估計所述模糊等級包括基于與所述幀相關(guān)聯(lián)的對焦值產(chǎn)生所述模糊等級的估計值。
3.根據(jù)權(quán)利要求1所述的方法，其中編碼包括基于所述所估計的模糊等級來選擇將用于編碼所述幀的量化等級。
4.根據(jù)權(quán)利要求3所述的方法，其中選擇量化等級包括為第一所估計模糊等級選擇第一量化等級；以及為第二所估計模糊等級選擇第二量化等級，其中所述第一量化等級大于所述第二量化等級，且所述第一所估計模糊等級大于所述第二所估計模糊等級。
5.根據(jù)權(quán)利要求1所述的方法，其中編碼包括基于所述所估計的模糊等級來選擇將用于編碼所述幀的分區(qū)大小。
6.根據(jù)權(quán)利要求5所述的方法，其中選擇分區(qū)大小包括為第一所估計模糊等級選擇第一分區(qū)；以及為第二所估計模糊等級選擇第二分區(qū)，其中所述第一分區(qū)大于所述第二分區(qū)，且所述第一所估計模糊等級大于所述第二所估計模糊等級。
7.根據(jù)權(quán)利要求1所述的方法，其中編碼包括基于所述所估計的模糊等級來選擇將用于編碼所述幀的像素精度等級。
8.根據(jù)權(quán)利要求7所述的方法，其中選擇像素精度等級包括為第一所估計模糊等級選擇第一像素精度等級；以及為第二所估計模糊等級選擇第二像素精度等級，其中所述第一像素精度等級低于所述第二像素精度等級，且所述第一所估計模糊等級大于所述第二所估計模糊等級。
9.根據(jù)權(quán)利要求1所述的方法，其中編碼包括基于所述所估計的模糊等級來選擇將用于編碼所述幀的一組參考幀。
10.根據(jù)權(quán)利要求9所述的方法，其中選擇一組參考幀包括為第一所估計模糊等級選擇第一組參考幀；以及為第二所估計模糊等級選擇第二組參考幀，其中所述第一組參考幀小于所述第二組參考幀，且所述第一所估計模糊等級大于所述第二所估計模糊等級。
11.根據(jù)權(quán)利要求1所述的方法，其編碼包括以下步驟中的一者如果所述所估計的模糊等級超過閾值，那么丟棄所述幀；以及如果所述所估計的模糊等級超過所述閾值，那么使用跳過模式來編碼所述幀。
12.—種系統(tǒng)，其包括視頻捕捉模塊，其用以估計在所述視頻捕捉模塊的重新對焦過程期間捕捉到的視頻數(shù)據(jù)幀的模糊等級；以及視頻編碼器，其用以至少部分地基于所述幀的所述所估計的模糊等級來編碼所述幀。
13.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中所述視頻捕捉模塊通過基于與所述幀相關(guān)聯(lián)的對焦值產(chǎn)生所述模糊等級的估計值來估計所述模糊等級。
14.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中所述視頻編碼器通過基于所述所估計的模糊等級選擇將用于編碼所述幀的量化等級來編碼所述幀。
15.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中所述視頻編碼器通過以下步驟來選擇量化等級為第一所估計模糊等級選擇第一量化等級；以及為第二所估計模糊等級選擇第二量化等級，其中所述第一量化等級大于所述第二量化等級，且所述第一所估計模糊等級大于所述第二所估計模糊等級。
16.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中所述視頻編碼器通過基于所述所估計的模糊等級選擇將用于編碼所述幀的分區(qū)大小來編碼所述幀。
17.根據(jù)權(quán)利要求16所述的系統(tǒng)，其中所述視頻編碼器通過以下步驟來選擇分區(qū)大為第一所估計模糊等級選擇第一分區(qū)；以及為第二所估計模糊等級選擇第二分區(qū)，其中所述第一分區(qū)大于所述第二分區(qū)，且所述第一所估計模糊等級大于所述第二所估計模糊等級。
18.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中所述視頻編碼器通過基于所述所估計的模糊等級選擇將用于編碼所述幀的像素精度等級來編碼所述幀。
19.根據(jù)權(quán)利要求18所述的系統(tǒng)，其中所述視頻編碼器通過以下步驟來選擇像素精度等級為第一所估計模糊等級選擇第一像素精度等級；以及為第二所估計模糊等級選擇第二像素精度等級，其中所述第一像素精度等級低于所述第二像素精度等級，且所述第一所估計模糊等級大于所述第二所估計模糊等級。
20.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中所述視頻編碼器通過基于所述所估計的模糊等級選擇將用于編碼所述幀的一組參考幀來編碼所述幀。
21.根據(jù)權(quán)利要求20所述的系統(tǒng)，其中所述視頻編碼器通過以下步驟來選擇一組參考幀為第一所估計模糊等級選擇第一組參考幀；以及為第二所估計模糊等級選擇第二組參考幀，其中所述第一組參考幀小于所述第二組參考幀，且所述第一所估計模糊等級大于所述第二所估計模糊等級。
22.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中所述視頻編碼器通過以下步驟中的一者來編碼所述幀如果所述所估計的模糊等級超過閾值，那么丟棄所述幀；以及如果所述所估計的模糊等級超過所述閾值，那么使用跳過模式來編碼所述幀。
23.一種計算機(jī)可讀媒體，其包括用于致使可編程處理器進(jìn)行以下操作的指令在視頻捕捉模塊中估計在所述視頻捕捉模塊的重新對焦過程期間捕捉到的視頻數(shù)據(jù)幀的模糊等級；以及在視頻編碼器中至少部分地基于所述幀的所述所估計的模糊等級來編碼所述幀。
24.根據(jù)權(quán)利要求23所述的計算機(jī)可讀媒體，其中所述用以估計所述模糊等級的指令包括用以基于與所述幀相關(guān)聯(lián)的對焦值產(chǎn)生所述模糊等級的所述估計的指令。
25.根據(jù)權(quán)利要求23所述的計算機(jī)可讀媒體，其中所述用以編碼的指令包括用以基于所述所估計的模糊等級來選擇將用于編碼所述幀的量化等級的指令。
26.根據(jù)權(quán)利要求25所述的計算機(jī)可讀媒體，其中所述用以選擇量化等級的指令包括用以進(jìn)行以下操作的指令為第一所估計模糊等級選擇第一量化等級；以及為第二所估計模糊等級選擇第二量化等級，其中所述第一量化等級大于所述第二量化等級，且所述第一所估計模糊等級大于所述第二所估計模糊等級。
27.根據(jù)權(quán)利要求23所述的計算機(jī)可讀媒體，其中所述用以編碼的指令包括用以基于所述所估計的模糊等級來選擇將用于編碼所述幀的分區(qū)大小的指令。
28.根據(jù)權(quán)利要求27所述的計算機(jī)可讀媒體，其中所述用以選擇分區(qū)大小的指令包括用以進(jìn)行以下操作的指令為第一所估計模糊等級選擇第一分區(qū)；為第二所估計模糊等級選擇第二分區(qū)，其中所述第一分區(qū)大于所述第二分區(qū)，且所述第一所估計模糊等級大于所述第二所估計模糊等級。
29.根據(jù)權(quán)利要求23所述的計算機(jī)可讀媒體，其中所述用以編碼的指令包括用以基于所述所估計的模糊等級來選擇將用于編碼所述幀的像素精度等級的指令。
30.根據(jù)權(quán)利要求四所述的計算機(jī)可讀媒體，其中所述用以選擇像素精度等級的指令包括用以進(jìn)行以下操作的指令為第一所估計模糊等級選擇第一像素精度等級；以及為第二所估計模糊等級選擇第二像素精度等級，其中所述第一像素精度等級低于所述第二像素精度等級，且所述第一所估計模糊等級大于所述第二所估計模糊等級。
31.根據(jù)權(quán)利要求23所述的計算機(jī)可讀媒體，其中所述用以編碼的指令包括用以基于所述所估計的模糊等級來選擇將用于編碼所述幀的一組參考幀的指令。
32.根據(jù)權(quán)利要求31所述的計算機(jī)可讀媒體，其中所述用以選擇一組參考幀的指令包括用以進(jìn)行以下操作的指令為第一所估計模糊等級選擇第一組參考幀；以及為第二所估計模糊等級選擇第二組參考幀，其中所述第一組參考幀小于所述第二組參考幀，且所述第一所估計模糊等級大于所述第二所估計模糊等級。
33.根據(jù)權(quán)利要求23所述的計算機(jī)可讀媒體，其中所述用以編碼的指令包括用以進(jìn)行以下操作中的一者的指令如果所述所估計的模糊等級超過閾值，那么丟棄所述幀；以及如果所述所估計的模糊等級超過所述閾值，那么使用跳過模式來編碼所述幀。
34.一種系統(tǒng)，其包括用于在視頻捕捉模塊中估計在所述視頻捕捉模塊的重新對焦過程期間捕捉到的視頻數(shù)據(jù)幀的模糊等級的裝置；以及用于在視頻編碼器中至少部分地基于所述幀的所述所估計的模糊等級來編碼所述幀的裝置。
35.根據(jù)權(quán)利要求34所述的系統(tǒng)，其中所述用于估計所述模糊等級的裝置包括用于基于與所述幀相關(guān)聯(lián)的對焦值產(chǎn)生所述模糊等級的估計值的裝置。
36.根據(jù)權(quán)利要求34所述的系統(tǒng)，其中所述用于編碼的裝置包括用于基于所述所估計的模糊等級來選擇將用于編碼所述幀的量化等級的裝置。
37.根據(jù)權(quán)利要求36所述的系統(tǒng)，其中所述用于選擇量化等級的裝置包括用于為第一所估計模糊等級選擇第一量化等級的裝置；以及用于為第二所估計模糊等級選擇第二量化等級的裝置，其中所述第一量化等級大于所述第二量化等級，且所述第一所估計模糊等級大于所述第二所估計模糊等級。
38.根據(jù)權(quán)利要求34所述的系統(tǒng)，其中所述用于編碼的裝置包括用于基于所述所估計的模糊等級來選擇將用于編碼所述幀的分區(qū)大小的裝置。
39.根據(jù)權(quán)利要求38所述的系統(tǒng)，其中所述用于選擇分區(qū)大小的裝置包括用于為第一所估計模糊等級選擇第一分區(qū)的裝置；以及用于為第二所估計模糊等級選擇第二分區(qū)的裝置，其中所述第一分區(qū)大于所述第二分區(qū)，且所述第一所估計模糊等級大于所述第二所估計模糊等級。
40.根據(jù)權(quán)利要求34所述的系統(tǒng)，其中所述用于編碼的裝置包括用于基于所述所估計的模糊等級來選擇將用于編碼所述幀的像素精度等級的裝置。
41.根據(jù)權(quán)利要求40所述的系統(tǒng)，其中所述用于選擇像素精度等級的裝置包括用于為第一所估計模糊等級選擇第一像素精度等級的裝置；以及用于為第二所估計模糊等級選擇第二像素精度等級的裝置，其中所述第一像素精度等級低于所述第二像素精度等級，且所述第一所估計模糊等級大于所述第二所估計模糊等級。
42.根據(jù)權(quán)利要求34所述的系統(tǒng)，其中所述用于編碼的裝置包括用于基于所述所估計的模糊等級來選擇將用于編碼所述幀的一組參考幀的裝置。
43.根據(jù)權(quán)利要求42所述的系統(tǒng)，其中所述用于選擇一組參考幀的裝置包括用于為第一所估計模糊等級選擇第一組參考幀的裝置；以及用于為第二所估計模糊等級選擇第二組參考幀的裝置，其中所述第一組參考幀小于所述第二組參考幀，且所述第一所估計模糊等級大于所述第二所估計模糊等級。
44.根據(jù)權(quán)利要求34所述的方法，其所述用于編碼的裝置包括以下各項中的一者 用于在所述所估計的模糊等級超過閾值的情況下丟棄所述幀的裝置；以及用于在所述所估計的模糊等級超過所述閾值的情況下使用跳過模式來編碼所述幀的直ο
全文摘要
本發(fā)明描述用于使用由例如攝像機(jī)等前端裝置所檢測和估計的參數(shù)來改進(jìn)例如視頻編碼器等后端裝置的功能性的技術(shù)。所述技術(shù)可涉及估計與在重新對焦過程期間捕捉到的幀相關(guān)聯(lián)的模糊等級?；谒鏊烙嫷哪：燃墸谒鰯z像機(jī)中或在所述視頻編碼器中調(diào)整用于編碼模糊幀的量化參數(shù)QP。所述視頻編碼器使用所述經(jīng)調(diào)整的QP來編碼所述模糊幀。所述視頻編碼器還使用所述模糊等級估計值來通過簡化所述模糊幀中的運(yùn)動估計和補(bǔ)償來調(diào)整編碼算法。
文檔編號H04N7/50GK102598665SQ201080049648
公開日2012年7月18日 申請日期2010年10月26日 優(yōu)先權(quán)日2009年11月6日
發(fā)明者塞波·R·洪, 梁亮 申請人:高通股份有限公司