專利名稱：視頻幀處理方法，視頻流播放方法及視頻幀記錄裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明有關(guān)于視頻幀的處理，更具體來說，有關(guān)于處理具有圖像配準(zhǔn)(imageregistration)信息的視頻巾貞的方法及相關(guān)裝置。
背景技術(shù)：
·全景視頻(panoramic video)是由描述周圍場(chǎng)景(surrounding scene)的一系列全景視頻幀組成的視頻。因此，當(dāng)全景視頻在顯示裝置上播放時(shí)，觀看者能夠?qū)χ車鷪?chǎng)景有360度視角(360-degree view)。對(duì)于一般用戶而言,倉(cāng)Il建全景視頻內(nèi)容并不容易。目前已經(jīng)開發(fā)出用于產(chǎn)生全景視頻的多種不同系統(tǒng)。舉例來說，創(chuàng)建全景視頻的傳統(tǒng)方法可以分為四類，包括專業(yè)光學(xué)設(shè)備、同步攝像機(jī)(synchronized cameras)、全景視頻紋理(texture)以及前景和背景分割(foreground and background segmentation)。然而，每種傳統(tǒng)方法在實(shí)際實(shí)施時(shí)都存在某些缺點(diǎn)。專業(yè)光學(xué)設(shè)備的方法會(huì)限制所捕獲場(chǎng)景的視頻分辨率(video resolution)。同步攝像機(jī)的方法需要許多個(gè)攝像機(jī),從而不適用于正常使用條件。全景視頻紋理方法的圖割算法(graph cut algorithm)需要巨大的計(jì)算量,并且在復(fù)雜移動(dòng)對(duì)象場(chǎng)景中會(huì)產(chǎn)生偽像(artifact)。前景和背景分割的方法需要極好的對(duì)象分割及追蹤，而即便使用立體攝像機(jī)(stereo camera),極好的對(duì)象分割及追蹤在目前仍然是一個(gè)公開的難題。除了專業(yè)光學(xué)設(shè)備的方法，其他方法均需要縫合(stitch)多個(gè)視頻段。另外，縫合是生成重影(ghosting)或偽像的主要原因。目前尚無用于分析及縫合大范圍不同場(chǎng)景而不產(chǎn)生重影的理想算法。此外，所有傳統(tǒng)全景觀看(viewing)系統(tǒng)要求裁剪和扭曲(cropping and warping)視頻巾貞以顯示正確的透視視圖(perspectiveview)。為顯示每一視頻幀，扭曲算法需要高計(jì)算量，并且及其耗費(fèi)時(shí)間，尤其在低成本手持(hand-held)設(shè)備中，上述現(xiàn)象尤甚。因此，需要一種創(chuàng)新的設(shè)計(jì)，其能夠簡(jiǎn)單并有效的創(chuàng)建和顯示全景視頻。

發(fā)明內(nèi)容有鑒于此，本發(fā)明特提供一種視頻幀處理方法，視頻流播放方法及視頻幀記錄裝置。本發(fā)明實(shí)施例提供了一種處理多個(gè)視頻幀的方法，包含獲取多個(gè)視頻幀的圖像配準(zhǔn)信息，其中圖像配準(zhǔn)信息用于將多個(gè)不同視頻幀轉(zhuǎn)換為同一坐標(biāo)系統(tǒng)；以及使用圖像配準(zhǔn)信息，在多個(gè)視頻幀中搜尋對(duì)應(yīng)于選定場(chǎng)景的多個(gè)目標(biāo)視頻幀。本發(fā)明實(shí)施例又提供了一種視頻流播放方法，包含接收選定場(chǎng)景的播放請(qǐng)求；搜尋用于多個(gè)目標(biāo)視頻幀的視頻流，其中多個(gè)目標(biāo)視頻幀對(duì)應(yīng)于選定場(chǎng)景的圖像配準(zhǔn)信息，圖像配準(zhǔn)信息用于將多個(gè)不同視頻幀轉(zhuǎn)換為同一坐標(biāo)系統(tǒng)；以及依據(jù)在視頻流中找到的多個(gè)目標(biāo)視頻幀執(zhí)行播放操作。本發(fā)明實(shí)施例另提供了一種用于記錄多個(gè)視頻幀的裝置，包含視頻處理電路及信息采集電路。視頻處理電路依據(jù)多個(gè)視頻幀產(chǎn)生視頻流；信息采集電路獲取多個(gè)視頻幀的圖像配準(zhǔn)信息，以及將圖像配準(zhǔn)信息記錄入視頻流中，其中圖像配準(zhǔn)信息用于將多個(gè)不同視頻巾貞轉(zhuǎn)換為同一坐標(biāo)系統(tǒng)。以上所述的視頻幀處理方法，視頻流播放方法及視頻幀記錄裝置能夠保證輸出視頻質(zhì)量，并且具有較低的計(jì)算復(fù)雜度。

圖1是依據(jù)本發(fā)明一個(gè)范例性實(shí)施例的記錄裝置的示意圖。圖2是依據(jù)本發(fā)明另一范例性實(shí)施例的記錄裝置的示意圖。圖3是圖1所示的記錄裝置的替代設(shè)計(jì)。圖4是圖2所示的記錄裝置的替代設(shè)計(jì)。圖5為將被記錄裝置處理的視頻幀的范例性排布的示意圖。圖6為將被記錄裝置處理的視頻幀的另一范例性排布的示意圖。
`
圖7是依據(jù)范例性實(shí)施例的記錄多個(gè)視頻幀的方法流程圖。圖8是依據(jù)本發(fā)明的范例性實(shí)施例的播放裝置的示意圖。圖9是基于播放請(qǐng)求的范例性視頻幀選擇的示意圖。圖10是基于播放請(qǐng)求的另一范例性視頻幀選擇的示意圖。圖11是基于播放請(qǐng)求的又一范例性視頻幀選擇的示意圖。圖12是范例性觀看幀尺寸歸一化操作的示意圖。圖13是范例性幀對(duì)齊處理的示意圖。圖14是依據(jù)一范例性實(shí)施例的視頻流播放方法的流程圖。圖15是依據(jù)本發(fā)明的另一范例性實(shí)施例的播放裝置的示意圖。圖16是依據(jù)另一范例性實(shí)施例的視頻流播放方法的流程圖。圖17是顯示于電子設(shè)備的顯示屏上的動(dòng)態(tài)壁紙的示意圖。圖18是由于桌面滾動(dòng)命令顯示于顯示屏上的另一動(dòng)態(tài)壁紙的示意圖。
具體實(shí)施方式在說明書及權(quán)利要求書當(dāng)中使用了某些詞匯來指稱特定的組件。所屬領(lǐng)域中的技術(shù)人員應(yīng)可理解，制造商可能會(huì)用不同的名詞來稱呼同樣的組件。本說明書及權(quán)利要求書并不以名稱的差異來作為區(qū)分組件的方式，而是以組件在功能上的差異來作為區(qū)分的基準(zhǔn)。在通篇說明書及權(quán)利要求書當(dāng)中所提及的「包含」是開放式的用語，故應(yīng)解釋成「包含但不限定于」。另外，「耦接」一詞在此包含任何直接及間接的電氣連接手段。因此，若文中描述第一裝置耦接于第二裝置，則代表第一裝置可直接電氣連接于第二裝置，或透過其它裝置或連接手段間接地電氣連接至第二裝置。本發(fā)明的主要設(shè)想是通過圖像配準(zhǔn)信息索引視頻流的每一視頻幀，通過利用圖像配準(zhǔn)信息搜尋對(duì)應(yīng)于選定場(chǎng)景的多個(gè)目標(biāo)視頻幀，以及依據(jù)找到的目標(biāo)視頻幀執(zhí)行播放操作。以這種方式，選定視角(viewing angle)的連續(xù)視頻巾貞的重疊區(qū)域被顯示出來。此夕卜，視頻巾貞的圖像配準(zhǔn)結(jié)果用于交互式導(dǎo)航(interactive navigation)和視頻穩(wěn)定技術(shù)(video stabilization),而非用于縫合。裁剪操作就像是在做視頻穩(wěn)定，以便同一視角中的視頻序列在沒有全局運(yùn)動(dòng)信息的情況下能夠被穩(wěn)定的顯示。本發(fā)明的全景視頻系統(tǒng)能夠依據(jù)用戶的視角選擇視頻幀，并且在不發(fā)生圖像扭曲的情況下依據(jù)圖像配準(zhǔn)結(jié)果裁剪視頻幀。由于不需要進(jìn)行圖像縫合及扭曲操作，本發(fā)明的全景顯示方法保證輸出視頻質(zhì)量，本發(fā)明的全景顯示方法不會(huì)產(chǎn)生傳統(tǒng)全景顯示方法中存在的重影及圖像失真。同時(shí)，每一視頻幀的輸出分辨率高，并接近于原始(original)捕獲的分辨率。不同于僅支持不包含復(fù)雜移動(dòng)對(duì)象的有限場(chǎng)景的傳統(tǒng)縫合算法，本發(fā)明的全景視頻系統(tǒng)能夠支持范圍廣泛的各種場(chǎng)景。此外，與傳統(tǒng)方法相比，由于不需要使用專業(yè)硬件或者多個(gè)攝像機(jī)，本發(fā)明的方案具有較低的系統(tǒng)要求。從而，普通用戶使用本發(fā)明的全景視頻系統(tǒng)可以更加容易的創(chuàng)建及瀏覽(navigate)全景視頻。此外，由于不采用高計(jì)算復(fù)雜度(computational complexity)的圖割算法，具有低計(jì)算復(fù)雜度的視頻配準(zhǔn)預(yù)處理(registration pre-processing)也相對(duì)簡(jiǎn)單。本發(fā)明的全景視頻系統(tǒng)通過僅選擇及裁剪視頻幀，而不對(duì)其進(jìn)行復(fù)雜的扭曲操作具有低計(jì)算復(fù)雜度。因此，本發(fā)明的全景視頻系統(tǒng)也適用于低成本手持設(shè)備。盡管不產(chǎn)生真實(shí)的寬視場(chǎng)(wide-field)全景視頻巾貞,用戶仍然能夠擁有與全景顯示設(shè)備/系統(tǒng)交互的相同用戶體驗(yàn)。本發(fā)明的全景視頻系統(tǒng)可包含視頻記錄階段及視頻觀看階段。本發(fā)明技術(shù)特征更進(jìn)一步的細(xì)節(jié)詳述如下。圖1是依據(jù)本發(fā)明一個(gè)范例性實(shí)施例的記錄裝置的示意圖。范例性記錄裝置100包含但不限于視頻處理電路102及信息采集電路104。此外，視頻處理電路102耦接于圖像捕獲裝置101，圖像捕獲裝置101包含單個(gè)鏡頭(lens)112及多個(gè)傳感器113。舉例來說，傳感器113可以包含方向傳感器、多軸加速度計(jì)(multiple-axis accelerometer)、溫度傳感器、磁傳感器、光傳感器以及接近傳感器(proximity sensor)。應(yīng)當(dāng)注意的是,此處圖像捕獲裝置101中的傳感器的數(shù)量及類型僅用作說明之用，并非為本發(fā)明的限制。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)了解，其他類型及數(shù)量的傳感器亦可以置于圖像捕獲裝置101中，此處不再贅述。圖像捕獲裝置101可置于手持設(shè)備中，例如數(shù)碼相機(jī)或手機(jī)中，并且使用單個(gè)鏡頭112捕獲視頻幀F(xiàn)1，在本實(shí)施例及本發(fā)明的其他實(shí)施例中，視頻幀F(xiàn)l可包含多個(gè)幀。舉例來說,用戶可以在希望的方向(例如，水平地從左到右)移動(dòng)/搖攝(pan)圖像捕獲裝置101或者在希望的方向(例如，順時(shí)針或者逆時(shí)針)旋轉(zhuǎn)圖像捕獲裝置101來循序地捕獲視頻幀匕。舉例來說，圖像捕獲裝置101可以被旋轉(zhuǎn)來捕獲其周圍場(chǎng)景的視頻幀，或者繞目標(biāo)對(duì)象旋轉(zhuǎn)以捕獲該目標(biāo)對(duì)象周圍的視圖。視頻處理電路102依據(jù)視頻巾貞F1廣生視頻流VS。在一種實(shí)施方式中，視頻處理電路102可以是將視頻幀F(xiàn)1編碼為視頻流VS的視頻編碼器，其中視頻流VS包含編碼視頻幀F(xiàn)/。在另一實(shí)施方式中，視頻處理電路102可以循序輸出所接收的原圖像數(shù)據(jù)作為包含視頻幀F(xiàn)1的視頻流VS。換句話說，視頻幀F(xiàn)1沒有經(jīng)過壓縮/編碼。信息采集電路104是預(yù)處理電路，用于獲取視頻幀F(xiàn)1的圖像配準(zhǔn)信息INF1,并且將圖像配準(zhǔn)信息INF1記錄進(jìn)視頻流VS。在本實(shí)施例中，圖像配準(zhǔn)信息INF1可用于將不同視頻幀轉(zhuǎn)換為同一坐標(biāo)系統(tǒng)。信息采集電路104可采用一個(gè)或多個(gè)下述范例的信息采集設(shè)計(jì)來獲取視頻幀匕的期望的圖像配準(zhǔn)信息INF115如圖1所示，在用視頻編碼器實(shí)現(xiàn)視頻處理電路102的情況下，視頻流VS將包含編碼視頻幀F(xiàn)/及相應(yīng)于視頻幀匕的圖像配準(zhǔn)信息INF10在視頻處理電路102不對(duì)視頻幀F(xiàn)1應(yīng)用壓縮/編碼操作的情況下，視頻流VS將包含原圖像數(shù)據(jù)(亦即，視頻幀F(xiàn)1)以及相應(yīng)圖像配準(zhǔn)信息INF115關(guān)于信息采集設(shè)計(jì)的第一范例，信息采集電路104可給視頻幀F(xiàn)1的每一視頻幀分配場(chǎng)景編號(hào)，以由此獲取圖像配準(zhǔn)信息INF115舉例來說，但并非本發(fā)明的限制，同一視角下捕獲的視頻幀(例如，包含物理環(huán)境中的相同對(duì)象的已記錄視頻幀)可被分配相同的場(chǎng)景編號(hào)。換句話說，每一視頻幀的圖像配準(zhǔn)信息將記錄該視頻幀的場(chǎng)景編號(hào)。應(yīng)當(dāng)注意全景視頻中的每一可選場(chǎng)景具有唯一場(chǎng)景編號(hào)。關(guān)于信息采集設(shè)計(jì)的第二范例，信息采集電路104可給視頻幀F(xiàn)1的每一視頻幀分配坐標(biāo)，以由此獲取期望的視頻幀F(xiàn)1的圖像配準(zhǔn)信息INF115換句話說，每一視頻幀的圖像配準(zhǔn)信息將記錄視頻幀的坐標(biāo)。舉例來說，分配給視頻幀F(xiàn)1中的初始捕獲場(chǎng)景的起始視頻幀的坐標(biāo)位于原點(diǎn)。從而，對(duì)于對(duì)應(yīng)于偏離初始捕獲場(chǎng)景的捕獲場(chǎng)景的接下來的視頻幀，接下來的視頻幀的圖像配準(zhǔn)信息將記錄不同于原點(diǎn)坐標(biāo)的坐標(biāo)。此外，基于實(shí)際設(shè)計(jì)考慮/要求，分配給各視頻幀的坐標(biāo)可定義一維坐標(biāo)系統(tǒng)、二維坐標(biāo)系統(tǒng)、三維坐標(biāo)系統(tǒng)或者更高維坐標(biāo)系統(tǒng)中的位置。舉例來說，但并非本發(fā)明的限制，通過在兩個(gè)視頻幀之間使用下述具有最小強(qiáng)度誤差平方和(sum of squared intensity error)的成本函數(shù)(cost function),由信息采集電路104執(zhí)行的視頻配準(zhǔn)預(yù)處理操作可將視頻幀對(duì)齊(align)到2D空間:E= Σ [I/ (X，，y，)-10(x, y)]2(I)其中IQ(x，y)和I1' (x’，y’ )對(duì)應(yīng)于視頻幀I。及I/之間的重疊像素對(duì)，其中視頻幀I/是視頻幀I1的變形。視頻幀對(duì)齊處理是為了從一組不同變形中找出具有最小誤差的變形。對(duì)于全局圖像配準(zhǔn)，變形可以從分層匹配(hierarchical matching)的二維平移而來。故本發(fā)明的全景視頻系統(tǒng)可簡(jiǎn)單使用二維平移來對(duì)齊視頻幀。應(yīng)當(dāng)注意，上述描述僅用作說明之用，并非為本發(fā)明的限制。使用另一方法來分配坐標(biāo)值作為每一視頻幀的圖像配準(zhǔn)信息也是可行的。關(guān)于信息采集設(shè)計(jì)的第三范例，信息采集電路104可對(duì)視頻幀F(xiàn)1的每一鄰近視頻幀應(yīng)用全局運(yùn)動(dòng)估計(jì)，并相應(yīng)產(chǎn)生對(duì)應(yīng)全局運(yùn)動(dòng)信息，從而獲取圖像配準(zhǔn)信息INF115換句話說，每一視頻幀的圖像配準(zhǔn)信息將記錄該視頻幀的全局運(yùn)動(dòng)信息。關(guān)于信息采集設(shè)計(jì)的第四范例，信息采集電路104可獲取由傳感器113中的至少一個(gè)傳感器提供的傳感器信息，從而獲取圖像配準(zhǔn)信息INF1，其中傳感器位于產(chǎn)生視頻幀F(xiàn)1的圖像捕獲裝置101上。換句話說，，每一視頻幀的圖像配準(zhǔn)信息將記錄該視頻幀的傳感器信息。因此，當(dāng)圖像捕獲裝置101捕獲視頻幀時(shí)，由傳感器113提供的傳感器信息將指示圖像捕獲裝置101的狀態(tài)，其中傳感器信息包含一個(gè)或多個(gè)傳感器值。將傳感器信息作為圖像配準(zhǔn)信息可降低計(jì)算復(fù)雜度。此外，在視頻幀的大部分區(qū)域被快速移動(dòng)對(duì)象阻塞(occluded)的狀況下，傳感器信息很有幫助。關(guān)于信息采集設(shè)計(jì)的第五范例，信息采集電路104可獲取視頻幀F(xiàn)1中每一幀的平移信息(translate infomation)、旋轉(zhuǎn)信息以及尺度 信息中的至少一個(gè),從而獲取圖像配準(zhǔn)信息INF115從而，每一視頻幀的圖像配準(zhǔn)信息將指示與視頻幀的產(chǎn)生相關(guān)的圖像處理狀態(tài)。
關(guān)于信息采集設(shè)計(jì)的第六范例，信息采集電路104可獲取視頻幀F(xiàn)1中的每一幀的攝像機(jī)捕獲狀況信息，從而獲取圖像配準(zhǔn)信息INF115舉例來說，當(dāng)視頻幀被圖像捕獲裝置101捕獲時(shí)，每一視頻幀的攝像機(jī)捕獲狀況信息將記錄聚焦信息、白平衡信息以及曝光信息中的至少一個(gè)。本發(fā)明的記錄裝置也可用于處理由具有多個(gè)鏡頭的圖像捕獲裝置產(chǎn)生的視頻幀。圖2是依據(jù)本發(fā)明另一范例性實(shí)施例的記錄裝置的示意圖。如圖所示，圖像捕獲裝置201包含多個(gè)鏡頭212_1-212_N，用于分別產(chǎn)生視頻幀F(xiàn)1-Fp關(guān)于由每一鏡頭所捕獲的視頻幀的處理,記錄裝置200中的視頻處理電路202及信息采集電路204的操作與視頻處理電路102及信息采集電路104的操作相同。從而，圖像配準(zhǔn)信息INF1被記錄，用于由鏡頭212_1產(chǎn)生的視頻幀F(xiàn)1 ;圖像配準(zhǔn)信息INF2被記錄，用于由鏡頭212_2產(chǎn)生的視頻幀F(xiàn)2 ；…圖像配準(zhǔn)信息INFn被記錄，用于由鏡頭212_N產(chǎn)生的視頻幀F(xiàn)n。因此，在用視頻編碼器實(shí)現(xiàn)視頻處理電路202的情況下，視頻流VS將包含編碼視頻幀F(xiàn)/-F/及相應(yīng)于視頻幀F(xiàn)1-Fn的圖像配準(zhǔn)信息INF1-1NFnij然而，在視頻處理電路202不對(duì)視頻幀F(xiàn)1-Fn應(yīng)用壓縮/編碼操作的情況下，視頻流VS將包含原圖像數(shù)據(jù)(亦即，視頻幀F(xiàn)1-Fn)以及相應(yīng)圖像配準(zhǔn)信息INF「INFn。如上所述，期望的圖像配準(zhǔn)信息可通過參考傳感器信息來獲取。然而，其并非為本發(fā)明的限制。圖3是圖1所示的記錄裝置的替代設(shè)計(jì)，圖3中的圖像捕獲裝置1301、記錄裝置1300、信息采集電路1304的操作可分別參考圖1中的圖像捕獲裝置101、記錄裝置100、信息采集電路104的操作，此處不再贅述。如圖3所示，圖像捕獲裝置1301中沒有任何傳感器113。然而，通過采用前述的第一、第二、第三、第五以及第六范例性信息采集設(shè)計(jì)中的一種，信息采集電路1304仍可獲取期望的圖像配準(zhǔn)信息INF115圖4是圖2所示的記錄裝置的替代設(shè)計(jì)，圖4中的圖像捕獲裝置1401、記錄裝置1400、信息采集電路1404的操作可分別參考圖2中的圖像捕獲裝置201、記錄裝置200、信息采集電路204的操作，此處不再贅述。如圖4所示，圖像捕獲裝置1401中沒有任何傳感器113。然而，通過采用前述的第一、第二、第三、第五以及第六范例性信息采集設(shè)計(jì)中的一種，信息采集電路1404仍可獲取期望的圖像配準(zhǔn)信息INF1-1NFnq關(guān)于圖1/圖2/圖3 /圖4中所示的記錄裝置100/200/1300/1400，由記錄裝置100/200/1300/1400所接收的視頻幀F(xiàn)^F1-Fn直接由圖像捕獲裝置101/201/1301/1401產(chǎn)生。然而，其僅用作說明之用，并非為本發(fā)明的限制。亦即，本發(fā)明對(duì)將由記錄裝置100/200/1300/1400處理的視頻幀的來源并不加以限制。以輸入至記錄裝置100/1300的視頻幀F(xiàn)1為例，視頻幀F(xiàn)1可擷取自用戶手動(dòng)編輯的視頻剪輯(video clip)。在一替代設(shè)計(jì)中，視頻幀F(xiàn)1可擷取自由不同視角捕獲的多個(gè)視頻剪輯中。請(qǐng)參考圖5，圖5為將被記錄裝置100/1300處理的視頻幀F(xiàn)1的范例性排布的示意圖。如圖5所示，視頻幀F(xiàn)1至少包含第一角度的視頻幀F(xiàn)m-F1,,(圖5中簡(jiǎn)稱為第一幀(Θ P)、第二角度的視頻幀F(xiàn)y-Fw (圖5中簡(jiǎn)稱為第二幀(θ2))以及第三角度的視頻幀F(xiàn)3，1-F3，K (圖5中簡(jiǎn)稱為第三幀(Θ 3))。圖像捕獲裝置101/1301被適當(dāng)移動(dòng)/旋轉(zhuǎn)，以便所有第一角度的幀F(xiàn)1j1-FijN由鏡頭112在同一視角Θ:(例如，Θ 1=0° )產(chǎn)生，所有第二角度的幀F(xiàn)u-F2^由鏡頭112在同一視角θ2 (例如，θ2=5° )產(chǎn)生，所有第三角度的幀F(xiàn)3，1-F3，K由鏡頭112在同一視角θ3 (例如，θ3=10° )產(chǎn)生。視頻幀F(xiàn)u-F1^Fu-F2W及F^-F3, κ級(jí)聯(lián)形成待由記錄裝置100/1300處理的視頻幀匕。
另一替代設(shè)計(jì)中，較低分辨率視頻幀F(xiàn)1 (例如640*480視頻幀)可擷取自高分辨率視頻幀(例如1920*1080視頻幀)。請(qǐng)參考圖6，圖6為將被記錄裝置100/1300處理的視頻幀F(xiàn)1的另一范例性排布的示意圖。如圖6所示，參考視頻幀F(xiàn)kef的圖像分辨率高于視頻幀F(xiàn)1的每一幀的圖像分辨率，其中視頻幀F(xiàn)1包含F(xiàn)1,1、Flj2, F1j3等。由裁剪參考視頻幀F(xiàn)kef得到的視頻幀F(xiàn)1,!包含圖像區(qū)域ApA2及A3 ;由裁剪參考視頻幀F(xiàn)kef得到的視頻幀F(xiàn)li2包含圖像區(qū)域A2、A3及A4 ;由裁剪參考視頻幀F(xiàn)kef得到的視頻幀F(xiàn)li3包含圖像區(qū)域A3、A4及A5。換句話說，下一視頻幀相對(duì)當(dāng)前視頻幀右移D1/D2像素，其中Dl及D2可為正整數(shù)，Dl可等于或者不同于D2。參考視頻幀F(xiàn)kef中的視頻幀F(xiàn)lil-Fli3的位置(亦即，坐標(biāo))可被記錄為相應(yīng)圖像配準(zhǔn)信息。關(guān)于分別顯示于圖2及圖4中的記錄裝置200及1400，信息采集電路204及1404記錄由各個(gè)鏡頭212_1-212_N分別產(chǎn)生的視頻幀F(xiàn)1-Fn的圖像配準(zhǔn)信息INF1_INFn?？紤]圖像捕獲裝置201/1401僅有2個(gè)鏡頭，用于產(chǎn)生一個(gè)左眼視頻幀(例如，F(xiàn)1)以及一個(gè)右眼視頻幀(例如，F(xiàn)2)的特例。由于播放操作可能僅使用一個(gè)圖像配準(zhǔn)信息來選擇一對(duì)左眼視頻幀及右眼視頻幀，信息采集電路204/1404可被配置為僅使用視頻幀F(xiàn)1及F2之一的圖像配準(zhǔn)信息(例如，INF1ANF2)作為加入到視頻流的已記錄的圖像配準(zhǔn)信息，或使用視頻幀F(xiàn)1及F2的圖像配準(zhǔn)信息INF1及INF2的平均值作為加入到視頻流的已記錄圖像配準(zhǔn)信息。圖7是依據(jù)范例性實(shí)施例的記錄多個(gè)視頻幀的方法流程圖。若結(jié)果實(shí)質(zhì)上相同，上述步驟并不要求完全依照?qǐng)D7所示的順序執(zhí)行。上述方法由記錄裝置100/200/1300/1400執(zhí)行，并可簡(jiǎn)要概述如下。步驟300:開始。步驟302:接收視頻巾貞。舉例來說，視頻巾貞可直接產(chǎn)生自向希望的方向移動(dòng)/旋轉(zhuǎn)的圖像捕獲裝置，或者可獲取自其它可行裝置。步驟304:依據(jù)視頻幀產(chǎn)生視頻流。舉例來說，將視頻幀編碼為視頻流或?qū)⒁曨l幀直接作為視頻流輸出。步驟306:獲取視頻幀的圖像配準(zhǔn)信息，其中圖像配準(zhǔn)信息用于將不同視頻幀轉(zhuǎn)換為同一坐標(biāo)系統(tǒng)。步驟308:將圖像配準(zhǔn)信息記錄入視頻流。步驟310:結(jié)束。
本領(lǐng)域技術(shù)人員在讀完上述說明記錄裝置100/200/1300/1400的段落后，能夠輕易地理解圖7中每一步驟的細(xì)節(jié)，為簡(jiǎn)潔起見，此處不再詳述。圖像配準(zhǔn)信息作為包含于視頻流中的視頻幀的索引值(index value)，用于指示哪些視頻幀應(yīng)被歸類(group)為待由下一過程(例如，播放)處理的一個(gè)視頻剪輯。每一視頻剪輯具有特定的圖像配準(zhǔn)信息，處理多個(gè)視頻幀時(shí)可以一個(gè)視頻剪輯作為一個(gè)單元。從而，用戶可觀看與通過用戶交互(user interaction)決定的選定視角相關(guān)的一個(gè)視頻剪輯(亦即，全景視頻內(nèi)的選定場(chǎng)景的視頻內(nèi)容)。請(qǐng)參考圖8，其為依據(jù)本發(fā)明的范例性實(shí)施例的播放裝置的示意圖。范例的播放裝置400包含，但不限于，接收電路402，搜尋電路404以及視頻處理電路406。接收電路402用于接收選定場(chǎng)景S的播放請(qǐng)求REQ_P，也用于接收視頻流VS1。在一范例性實(shí)施例中，視頻流VSl由上述圖像配準(zhǔn)信息INF1及編碼視頻幀F(xiàn)1’組成，或者由上述圖像配準(zhǔn)信息INF1及原視頻幀F(xiàn)1組成?？蛇x的，視頻流VSl可由上述圖像配準(zhǔn)信息INF1-1NFn及編碼視頻幀F(xiàn)/ -F/組成，或者由上述圖像配準(zhǔn)信息INF1-1NFn及原視頻幀F(xiàn)1-F1^i成。因此，搜尋電路404自接收電路402獲取多個(gè)視頻幀及相應(yīng)圖像配準(zhǔn)信息INF115由于圖像配準(zhǔn)信息INF1由記錄裝置100/200/1300/1400加入到視頻流VSl中，當(dāng)接收視頻流VSl時(shí)，播放裝置400獲取圖像配準(zhǔn)信息INF115然而，上述說明并非本發(fā)明的限制。在另ー范例性實(shí)施例中，視頻流VSl僅由上述編碼視頻幀/原視頻幀組成，其中編碼視頻幀/原視頻幀及相應(yīng)圖像配準(zhǔn)信息被分別傳送。搜尋電路404耦接于接收電路402，用于搜尋對(duì)應(yīng)于選定場(chǎng)景S的圖像配準(zhǔn)信息的目標(biāo)視頻幀F(xiàn)t的視頻流VSl (例如，編碼視頻幀F(xiàn)/或原視頻幀F(xiàn)1),其中選定場(chǎng)景S由播放請(qǐng)求REQ_P指示。視頻處理電路406耦接于搜尋電路404及顯示裝置401 (例如，手機(jī)或數(shù)碼相機(jī)的顯示屏)，用于依據(jù)目標(biāo)視頻幀F(xiàn)t執(zhí)行播放操作。舉例來說，當(dāng)目標(biāo)視頻幀F(xiàn)t為編碼視頻幀吋，播放裝置將解碼目標(biāo)視頻幀F(xiàn)t以產(chǎn)生對(duì)應(yīng)解碼視頻幀，并依據(jù)解碼視頻幀產(chǎn)生視頻輸出信號(hào)Svideq至顯示裝置401。以此種方式，擷取自目標(biāo)視頻幀F(xiàn)t的視頻信息傳送至顯示裝置401用于播放。應(yīng)當(dāng)注意，視頻處理電路406并不解碼用于全景視頻播放的所有編碼視頻幀F(xiàn)/，僅有由選定場(chǎng)景S的圖像配準(zhǔn)信息所索引(indexed)的目標(biāo)視頻幀F(xiàn)t被選定并解碼，從而降低了計(jì)算復(fù)雜度?？蛇x的，當(dāng)目標(biāo)視頻幀F(xiàn)t為原視頻幀時(shí)，播放操作將直接參考目標(biāo)視頻幀ら產(chǎn)生視頻輸出信號(hào)Svi■至顯示裝置401。以此種方式，擷取自目標(biāo)視頻幀F(xiàn)t的視頻信息傳送至顯示裝置401用于播放。類似的，視頻處理電路406并不處理用于全景視頻播放的所有原視頻幀F(xiàn)1，僅有由選定場(chǎng)景S的圖像配準(zhǔn)信息所索引的目標(biāo)視頻幀F(xiàn)t被選定并處理，從而降低了計(jì)算復(fù)雜度。請(qǐng)參考圖9，其為基于播放請(qǐng)求的范例性視頻幀選擇的示意圖。假設(shè)用戶從左至右地水平移動(dòng)/搖攝圖像捕獲裝置101/201/1301/1401，隨后從右至左地水平移動(dòng)/搖攝圖像捕獲裝置101/201/1301/1401，則多個(gè)視頻幀F(xiàn)1-F18經(jīng)由ー個(gè)鏡頭被順序捕獲。假設(shè)播放請(qǐng)求REQ_P指示用戶期望觀看選定場(chǎng)景S (例如，圖像捕獲裝置101/201/131/1401的選定視角的視頻內(nèi)容)。如圖9所示，視頻幀F(xiàn)4-F6及F13-F15包含選定場(chǎng)景S的信息，亦即，視頻幀F(xiàn)4-F6及F13-F15對(duì)應(yīng)于選定場(chǎng)景S的視角?；谝曨l幀F(xiàn)1-F18的每ー個(gè)的圖像配準(zhǔn)信息，由于視頻幀F(xiàn)4-F6及F13-F15的各圖像配準(zhǔn)信息對(duì)應(yīng)于選定場(chǎng)景S，視頻幀F(xiàn)4-F6及F13-F15將被選擇。 隨后，視頻處理電路406參考選定視頻幀F(xiàn)4-F6及F13-F15控制顯示裝置401顯示選定場(chǎng)景S的視頻內(nèi)容(亦即，圖9對(duì)應(yīng)陰影區(qū)所指示的視頻片段(video segments))。由于視頻幀F(xiàn)4-F6及F13-F15記錄于不同的時(shí)間，重復(fù)順序從視頻幀F(xiàn)4-F6及F13-F15中選出的視頻片段的播放操作可能導(dǎo)致不連續(xù)的無限視頻(infinite video)。為減少當(dāng)依據(jù)重復(fù)播放方案相同視角的無限視頻被顯示時(shí)用戶感受到的間斷，可在選取自視頻幀F(xiàn)15的視頻片段及選取自視頻幀F(xiàn)4的視頻片段之間的過渡中引入交叉淡化效果(cross-fadeeffect)。此外，調(diào)整從視頻幀F(xiàn)4-F6及F13-F15中選出的視頻片段的重復(fù)順序亦可能減少用戶感受到的間斷。舉例來說，可采用反向播放方案，這樣，按正常次序順序選取自視頻幀F(xiàn)4-F6及F13-F15的視頻片段被顯示，隨后按反向次序順序選取自視頻幀F(xiàn)15-F13及F6-F4的視頻片段被顯示。用戶可瀏覽全景視頻內(nèi)的任意場(chǎng)景。舉例來說，當(dāng)播放請(qǐng)求REQ_P指示用戶期望觀看另ー選定場(chǎng)景S-1時(shí)，依據(jù)視頻幀F(xiàn)8-F11的圖像配準(zhǔn)信息，包含選定場(chǎng)景S-1的信息的視頻幀F(xiàn)8-F11被選定，亦即，視頻幀F(xiàn)8-F11對(duì)應(yīng)于選定場(chǎng)景S-1的視角。隨后，視頻處理電路406參考選定視頻幀F(xiàn)8-F11來控制顯示裝置401顯示選定場(chǎng)景S-1的視頻內(nèi)容(亦即，圖9對(duì)應(yīng)陰影區(qū)所指示的視頻片段)。在圖9所示的范例中，場(chǎng)景選擇及播放操作應(yīng)用于包含視頻幀F(xiàn)1-F18的全景視頻，其中視頻幀F(xiàn)1-F18是由從左至右地水平移動(dòng)/搖攝圖像捕獲裝置101/201/1301/1401，隨后從右至左地水平移動(dòng)/搖攝圖像捕獲裝置101/201/1301/1401順序得到的。然而，如圖10所示，本發(fā)明的場(chǎng)景選擇及播放操作也可以應(yīng)用在僅包含視頻幀F(xiàn)l-FlO的全景視頻上，其中視頻幀F(xiàn)l-FlO是在ー個(gè)方向(例如，從左至右)水平移動(dòng)/搖攝圖像捕獲裝置101/201/1301/1401順序得到的。如圖10所示，視頻幀F(xiàn)4-F6包含選定場(chǎng)景S的信息，基于視頻幀F(xiàn)l-FlO的每ー個(gè)的圖像配準(zhǔn)信息，由于視頻幀F(xiàn)4-F6的各圖像配準(zhǔn)信息對(duì)應(yīng)于選定場(chǎng)景S，視頻幀F(xiàn)4-F6將被選擇。視頻幀F(xiàn)8-F10包含選定場(chǎng)景S-1的信息，由于視頻幀F(xiàn)8-F10的各圖像配準(zhǔn)信息對(duì)應(yīng)于選定場(chǎng)景S-1，視頻幀F(xiàn)8-F10將被選擇。為簡(jiǎn)潔起見，此處不再詳述。此外，如圖11所示，本發(fā)明的場(chǎng)景選擇及播放操作也可以應(yīng)用在另ー僅包含視頻幀F(xiàn)9-F18的全景視頻上，其中視頻幀F(xiàn)9-F18是在ー個(gè)方向(例如，從右至左)水平移動(dòng)/搖攝圖像捕獲裝置101/201/1301/1401順序得到的。如圖11所示，視頻幀F(xiàn)13-F15包含選定場(chǎng)景S的信息，基于視頻幀F(xiàn)9-F18的每ー個(gè)的圖像配準(zhǔn)信息，由于視頻幀F(xiàn)13-F15的各圖像配準(zhǔn)信息對(duì)應(yīng)于選定場(chǎng)景S，視頻幀F(xiàn)13-F15將被選擇。視頻幀F(xiàn)9-F11包含選定場(chǎng)景S-1的信息，由于視頻幀F(xiàn)9-F11的各圖像配準(zhǔn)信息對(duì)應(yīng)于選定場(chǎng)景S-1，視頻幀F(xiàn)9-F11將被選擇。為簡(jiǎn)潔起見，此處不再詳述。除了控制無限視頻的播放外，視頻處理電路406亦可對(duì)由搜尋電路404選定的目標(biāo)視頻幀F(xiàn)t執(zhí)行ー個(gè)或多個(gè)圖像處理操作。舉例來說，視頻處理電路406依據(jù)相關(guān)圖像配準(zhǔn)信息INFt對(duì)擷取自目標(biāo)視頻幀F(xiàn)t的解碼視頻幀/原視頻幀執(zhí)行對(duì)齊操作，并對(duì)應(yīng)產(chǎn)生對(duì)齊視頻幀。從而，依據(jù)對(duì)齊視頻幀，播放操作產(chǎn)生視頻輸出信號(hào)Svideq至顯示裝置401。舉例來說，但并非本發(fā)明的限制，對(duì)齊操作包含視頻捕獲狀況歸ー化、觀看幀尺寸歸ー化(viewing frame size norma丄ization)及/或中貝對(duì)丹處理。當(dāng)目標(biāo)視頻幀F(xiàn)t的圖像配準(zhǔn)信息INFt包含攝像機(jī)捕獲狀況信息，例如聚焦信息、白平衡信息及/或曝光信息吋，依據(jù)目標(biāo)視頻幀F(xiàn)t的攝像機(jī)捕獲狀況信息，視頻處理電路406對(duì)目標(biāo)視頻幀F(xiàn)t的解碼視頻幀/原視頻幀執(zhí)行視頻捕獲狀況歸ー化操作。以此種方式，對(duì)目標(biāo)視頻幀F(xiàn)t的解碼視頻幀/原視頻幀執(zhí)行聚焦歸ー化、曝光歸ー化及/或白平衡歸ー化以移除/最小化攝像機(jī)捕獲狀況差異。當(dāng)目標(biāo)視頻幀F(xiàn)t的圖像配準(zhǔn)信息INFt包含平移信息、旋轉(zhuǎn)信息及/或尺度信息時(shí)，依據(jù)目標(biāo)視頻幀F(xiàn)t的平移信息、旋轉(zhuǎn)信息及尺度信息中的至少ー個(gè)，視頻處理電路406對(duì)目標(biāo)視頻幀F(xiàn)t的解碼視頻幀/原視頻幀執(zhí)行觀看幀尺寸歸ー化操作。舉例來說，觀看幀尺寸歸ー化操作可裁剪目標(biāo)視頻幀F(xiàn)t的至少ー個(gè)解碼視頻幀/原視頻幀，以產(chǎn)生裁剪的視頻幀，其中裁剪前的視頻幀具有第一分辨率，而裁剪的視頻幀具有低于第一分辨率的第二分辨率。圖12為觀看幀尺寸歸ー化操作的范例示意圖。如圖12所示，如果有必要，裁剪的視頻幀可以被放大。由視頻處理電路406執(zhí)行的巾貞對(duì)齊處理可通過特征點(diǎn)匹配(feature pointmatching)及/或圖像扭曲來對(duì)齊巾貞。可選的，當(dāng)全局運(yùn)動(dòng)信息記錄于圖像配準(zhǔn)信息INFt中吋，由視頻處理電路406執(zhí)行的幀對(duì)齊處理可參考全局運(yùn)動(dòng)信息來對(duì)齊幀。請(qǐng)參考圖13，其為范例性幀對(duì)齊處理的示意圖。以圖9中的視頻幀F(xiàn)4及F5為例，由于圖像捕獲裝置101/201/1301/1401的移動(dòng)，視頻幀F(xiàn)4及F5有位于不同位置的共同對(duì)象(例如，房屋)。幀對(duì)齊處理執(zhí)行后，視頻幀F(xiàn)4中的共同對(duì)象與視頻幀F(xiàn)5中的同一共同對(duì)象對(duì)齊。應(yīng)當(dāng)注意，關(guān)于視頻幀F(xiàn)4及F5的每ー個(gè)，在此僅有對(duì)應(yīng)于選定場(chǎng)景視角的裁剪視頻片段將被顯示在顯示屏上。圖14為依據(jù)一范例性實(shí)施例的視頻流播放方法的流程圖。若結(jié)果實(shí)質(zhì)上相同，上述步驟并不要求完全依照?qǐng)D14所示的順序執(zhí)行。上述方法應(yīng)用于播放裝置400，并可簡(jiǎn)要概述如下。步驟800:開始。步驟802:檢查選定場(chǎng)景的播放請(qǐng)求是否接收到。若是，轉(zhuǎn)至步驟804 ;否則，執(zhí)行步驟802以持續(xù)監(jiān)測(cè)播放請(qǐng)求的接收。步驟804:搜尋用于目標(biāo)視頻幀(例如，編碼視頻幀或原視頻幀)的視頻流，其中目標(biāo)視頻幀對(duì)應(yīng)于選定場(chǎng)景的圖像配準(zhǔn)信息，圖像配準(zhǔn)信息用于將多個(gè)不同視頻幀轉(zhuǎn)換為同一坐標(biāo)系統(tǒng)。步驟806:對(duì)擷取自目標(biāo)視頻流的解碼視頻幀/原視頻幀執(zhí)行對(duì)齊操作，并相應(yīng)產(chǎn)生多個(gè)對(duì)齊視頻幀。舉例來說，對(duì)齊操作可包含視頻捕獲狀況歸ー化、觀看幀尺寸歸ー化及/或幀對(duì)齊處理。步驟808:依據(jù)選定場(chǎng)景的對(duì)齊視頻幀執(zhí)行播放操作。步驟810:檢查用于另ー選定場(chǎng)景的播放請(qǐng)求是否接收到。若是，轉(zhuǎn)至步驟804 ;否貝U，執(zhí)行步驟808以持續(xù)執(zhí)行對(duì)選定場(chǎng)景的播放操作。本領(lǐng)域技術(shù)人員在讀完上述說明播放裝置400的段落后，能夠輕易地理解圖14中每ー步驟的細(xì)節(jié)，例如，當(dāng)目標(biāo)視頻幀為編碼視頻幀時(shí)，則對(duì)該編碼視頻幀解碼后再對(duì)解碼視頻幀執(zhí)行對(duì)齊操作。為簡(jiǎn)潔起見，此處不再詳述。除了對(duì)齊操作外，視頻處理電路406亦可對(duì)擷取自目標(biāo)視頻幀F(xiàn)t的解碼視頻幀/原視頻幀執(zhí)行其他圖像處理操作。請(qǐng)參考圖15，其為依據(jù)本發(fā)明的另ー范例性實(shí)施例的播放裝置的示意圖。接收電路902的操作幾乎與接收電路402的操作相同，視頻處理電路906的操作幾乎與視頻處理電路406的操作相同。播放裝置400與播放裝置900的主要不同在于接收電路902更接收?qǐng)D形數(shù)據(jù)(graphic data)D_IN,以及視頻處理電路906更依據(jù)圖形數(shù)據(jù)D_IN處理擷取自目標(biāo)視頻幀F(xiàn)t的解碼視頻幀/原視頻幀。舉例來說，但并非本發(fā)明的限制，圖形數(shù)據(jù)0_爪是用戶界面(user interface)數(shù)據(jù)，視頻處理電路906利用擷取自目標(biāo)視頻幀F(xiàn)t的解碼視頻幀/原視頻幀(例如,對(duì)齊視頻幀)覆蓋圖形數(shù)據(jù)D_IN，以產(chǎn)生混合視頻幀，以及依據(jù)混合視頻幀執(zhí)行選定場(chǎng)景的播放操作。在本實(shí)施例中，視頻處理電路906經(jīng)由視頻輸出信號(hào)Svmro將混合視頻幀傳送至顯示裝置401，以使選定場(chǎng)景的視頻內(nèi)容及圖形數(shù)據(jù)D_IN可顯示于顯示裝置401上。圖16為依據(jù)另ー范例性實(shí)施例的視頻流播放方法的流程圖。若結(jié)果實(shí)質(zhì)上相同，上述步驟并不要求完全依照?qǐng)D16所示的順序執(zhí)行。上述方法應(yīng)用于播放裝置900，并可簡(jiǎn)要概述如下。步驟1000:開始。
步驟1002:檢查選定場(chǎng)景的播放請(qǐng)求是否接收到。若是，轉(zhuǎn)至步驟1004 ;否則，執(zhí)行步驟1002以持續(xù)監(jiān)測(cè)播放請(qǐng)求的接收。步驟1004:搜尋用于目標(biāo)視頻幀(例如，編碼視頻幀或原視頻幀)的視頻流，其中目標(biāo)視頻幀對(duì)應(yīng)于選定場(chǎng)景的圖像配準(zhǔn)信息，圖像配準(zhǔn)信息用于將多個(gè)不同視頻幀轉(zhuǎn)換為同一坐標(biāo)系統(tǒng)。步驟1006:對(duì)擷取自目標(biāo)視頻幀的解碼視頻幀/原視頻幀執(zhí)行對(duì)齊操作，并相應(yīng)產(chǎn)生多個(gè)對(duì)齊的視頻幀。舉例來說，對(duì)齊操作可包含視頻捕獲狀況歸ー化、觀看幀尺寸歸ー化及/或幀對(duì)齊處理。步驟1008:利用對(duì)齊視頻幀覆蓋圖形數(shù)據(jù)，以產(chǎn)生混合視頻幀。步驟1010:依據(jù)選定場(chǎng)景的混合視頻幀執(zhí)行播放操作。步驟1012:檢查用于另ー選定場(chǎng)景的播放請(qǐng)求是否接收到。若是，轉(zhuǎn)至步驟1004 ；否則，執(zhí)行步驟1010以持續(xù)執(zhí)行對(duì)選定場(chǎng)景的播放操作。本領(lǐng)域技術(shù)人員在讀完上述說明播放裝置900的段落后，能夠輕易地理解圖16中每ー步驟的細(xì)節(jié)，例如，當(dāng)目標(biāo)視頻幀為編碼視頻幀時(shí)，則對(duì)該編碼視頻幀解碼后再對(duì)解碼視頻幀執(zhí)行對(duì)齊操作。為簡(jiǎn)潔起見，此處不再詳述。在圖15所示的實(shí)施例中，重疊操作由播放裝置900執(zhí)行。在另一可選設(shè)計(jì)中，重疊操作可由顯示裝置401執(zhí)行。舉例來說，圖8所示的播放裝置400產(chǎn)生擷取自目標(biāo)視頻幀F(xiàn)t的解碼視頻幀/原視頻幀(例如，對(duì)齊視頻幀)，并通過視頻輸出信號(hào)Svmro傳至顯示裝置401。隨后，顯示裝置401利用接收到的視頻幀覆蓋圖形數(shù)據(jù)0_爪，以產(chǎn)生混合視頻幀，井隨后通過顯示混合視頻幀執(zhí)行選定場(chǎng)景的播放操作。為更好理解上述響應(yīng)用戶互動(dòng)而執(zhí)行的場(chǎng)景選擇及播放操作，下文將描述ー實(shí)施范例。假設(shè)圖像配準(zhǔn)信息包含 每ー視頻幀的ニ維坐標(biāo)。因此，基于每ー視頻幀的2維坐標(biāo)，用戶可改變視角以瀏覽全景ニ維空間的所有視頻幀。當(dāng)在某一瀏覽視角停下時(shí)，用戶將觀看裁剪之后連續(xù)的對(duì)齊視頻幀。特別是，當(dāng)用戶選擇一個(gè)新的水平視角來瀏覽時(shí)，系統(tǒng)將找到在X軸上有最小距離的視頻幀:Dist=MinlP-Xi(2)其中P是來自于用戶輸入的累積移動(dòng)像素，Xi是i巾貞的X坐標(biāo)，Dist是所有視頻幀中距離P的最小距離。具有Dist值的視頻幀被選定播放。當(dāng)用戶在某ー視角停下時(shí)，為對(duì)齊輸出幀與連續(xù)視頻幀，需要在顯示前裁剪幀。特別是，對(duì)齊是基于來自于記錄階段的每一視頻幀的(x，y)坐標(biāo)。因此，僅有連續(xù)視頻幀的重疊區(qū)域可被顯示。故視頻幀需要根據(jù)其相應(yīng)坐標(biāo)值進(jìn)行裁剪。在Y軸，裁剪是基于全局空間內(nèi)的相對(duì)坐標(biāo)(relative coordinate)進(jìn)行的。在X軸，裁剪區(qū)域是基于當(dāng)前顯示幀F(xiàn)B及連續(xù)視頻幀的第一幀F(xiàn)A之間的相對(duì)坐標(biāo)值:Cropx=In itx+FBx_FAx(3)其中Cropx是FB在X軸的裁剪像素，F(xiàn)Ax是FA的X坐標(biāo)，F(xiàn)Bx是FB的X坐標(biāo)，Initx是FA在X軸的裁剪像素。Initx可由下列方程定義:Initx=O,若 C=O,(4)Initx=Fff-Off,若 C=I(5)其中Fw是輸入視頻幀的寬度，Ow是輸出裁剪寬度，C是攝像機(jī)搖攝/移動(dòng)方向。攝像機(jī)搖攝/移動(dòng)方向被定義為整個(gè)視頻的最后ー幀及第一幀之間的X坐標(biāo)差。因此，當(dāng)攝像機(jī)向右搖攝/移動(dòng)時(shí)，上述C值等于I ;當(dāng)攝像機(jī)向左搖攝/移動(dòng)時(shí)，上述C值等于O。給定視角的連續(xù)視頻幀的定義為幀是連續(xù)的，并且滿足下列條件:FBx-FAx<Fff-0ff(6)亦即，F(xiàn)A的連續(xù)幀是與FA的裁剪區(qū)域重疊的幀。連續(xù)視頻幀的數(shù)量也可以由Ow控制。換句話說，可減少輸出視場(chǎng)(field-of view)以對(duì)應(yīng)增加連續(xù)視頻巾貞的時(shí)間。舉例來說，Ow的值為0.8xFff^0.9xFw，該值也取決于用于保持輸出高寬比(aspect ratio)的Y軸的裁剪像素。與需要依據(jù)用戶交互解碼寬場(chǎng)視頻幀及裁剪和扭曲選定區(qū)域的傳統(tǒng)系統(tǒng)相反，本發(fā)明的全景視頻系統(tǒng)不需要大寬場(chǎng)緩沖器做視頻解碼，而是使用具有原始捕獲尺寸的幀緩沖器做視頻解碼(如果視頻觀看階段執(zhí)行視頻解碼的話)。此外，本發(fā)明的全景視頻系統(tǒng)也并不需要耗時(shí)的圖像扭曲操作。原始輸入視頻通常在被捕獲時(shí)就已經(jīng)被很好的校準(zhǔn)過，而沒有任何失真。因此，本發(fā)明的全景視頻系統(tǒng)的全景圖像保證不存在任何傳統(tǒng)的縫合視頻全景中經(jīng)常存在的重影及圖像失真。如上所述，圖像處理操作，包括對(duì)齊操作、裁剪操作、歸ー化操作等，由播放裝置400/900中的視頻處理電路406/906執(zhí)行。可選的，上述圖像處理操作可由記錄裝置100/200/1300/1400的視頻處理電路102/202執(zhí)行，而不是由播放裝置400/900中的視頻處理電路406/906執(zhí)行，這樣視頻處理電路406/906不執(zhí)行任何上述圖像處理操作(例如，對(duì)齊操作、裁剪操作及/或歸ー化操作)，而僅依據(jù)視頻幀(例如，解碼視頻幀或原視頻幀)簡(jiǎn)單產(chǎn)生視頻輸出信號(hào)Svideq至顯示裝置401。此外，圖8所示的播放裝置40`0可用于控制電子設(shè)備(例如，手機(jī))中用戶界面的桌面。請(qǐng)結(jié)合圖18參考圖17。圖17是顯示于電子設(shè)備1100的顯示屏(例如，觸摸屏)1102上的動(dòng)態(tài)壁紙的示意圖。圖18是由于桌面滾動(dòng)命令(desktop scrolling command)顯示于顯示屏1102上的另ー動(dòng)態(tài)壁紙的示意圖。如圖17所示，桌面使用通過顯示視頻片段產(chǎn)生的無限視頻作為動(dòng)態(tài)壁紙1104，其中視頻片段對(duì)應(yīng)于圖9所示的選定場(chǎng)景S-1的視角，一些圖標(biāo)1101重疊于動(dòng)態(tài)壁紙1104上。當(dāng)用戶輸入桌面滾動(dòng)命令1106時(shí),舉例來說,通過在顯示屏1102上移動(dòng)他/她的手指,另ー選定場(chǎng)景S的播放請(qǐng)求REQ_P響應(yīng)于桌面滾動(dòng)命令1106生成。依據(jù)對(duì)應(yīng)于另ー選定場(chǎng)景S找到的目標(biāo)視頻幀執(zhí)行播放操作，顯示動(dòng)態(tài)壁紙1204。從而，如圖18所示，桌面現(xiàn)在使用通過顯示視頻片段產(chǎn)生的無限視頻作為動(dòng)態(tài)壁紙1204，其中視頻片段對(duì)應(yīng)于圖9所示的選定場(chǎng)景S的視角。以上所述僅為本發(fā)明的較佳實(shí)施例，本領(lǐng)域相關(guān)的技術(shù)人員依據(jù)本發(fā)明的精神所做的等效變化與修改，都應(yīng)當(dāng)涵蓋在權(quán)利要求書內(nèi)。
權(quán)利要求
1.一種處理多個(gè)視頻幀的方法，其特征在于，包含: 獲取多個(gè)視頻幀的圖像配準(zhǔn)信息，其中所述圖像配準(zhǔn)信息用于將多個(gè)不同視頻幀轉(zhuǎn)換為同一坐標(biāo)系統(tǒng)；以及 使用所述圖像配準(zhǔn)信息，在所述多個(gè)視頻幀中搜尋對(duì)應(yīng)于選定場(chǎng)景的多個(gè)目標(biāo)視頻幀。
2.根據(jù)權(quán)利要求1所述的處理多個(gè)視頻幀的方法，其特征在于，更包含: 接收具有所述多個(gè)視頻幀以及所述圖像配準(zhǔn)信息的視頻流； 其中獲取所述多個(gè)視頻幀的所述圖像配準(zhǔn)信息的步驟包含: 從接收的所述視頻流獲取所述多個(gè)視頻幀的所述圖像配準(zhǔn)信息。
3.根據(jù)權(quán)利要求1所述的處理多個(gè)視頻幀的方法，其特征在于，獲取所述多個(gè)視頻幀的所述圖像配準(zhǔn)信息的步驟包含: 獲取分配給至少一視頻幀的場(chǎng)景編號(hào)。
4.根據(jù)權(quán)利要求1所述的處理多個(gè)視頻幀的方法，其特征在于，獲取所述多個(gè)視頻幀的所述圖像配準(zhǔn)信息的步驟包含: 獲取分配給至少一視頻幀的坐標(biāo)。
5.根據(jù)權(quán)利要求4所述的處理 多個(gè)視頻幀的方法，其特征在于，分配給所述多個(gè)視頻中貞中的起始視頻巾貞的坐標(biāo)位于原點(diǎn)。
6.根據(jù)權(quán)利要求1所述的處理多個(gè)視頻幀的方法，其特征在于，獲取所述多個(gè)視頻幀的所述圖像配準(zhǔn)信息的步驟包含: 獲取全局運(yùn)動(dòng)信息。
7.根據(jù)權(quán)利要求1所述的處理多個(gè)視頻幀的方法，其特征在于，獲取所述多個(gè)視頻幀的所述圖像配準(zhǔn)信息的步驟包含: 獲取至少一傳感器的傳感器信息，其中所述傳感器位于產(chǎn)生所述多個(gè)視頻幀的圖像捕獲裝置上。
8.根據(jù)權(quán)利要求1所述的處理多個(gè)視頻幀的方法，其特征在于，獲取所述多個(gè)視頻幀的所述圖像配準(zhǔn)信息的步驟包含: 獲取至少一視頻幀的平移信息、旋轉(zhuǎn)信息以及尺度信息中的至少一個(gè)。
9.根據(jù)權(quán)利要求1所述的處理多個(gè)視頻幀的方法，其特征在于，獲取所述多個(gè)視頻幀的所述圖像配準(zhǔn)信息的步驟包含: 獲取至少一視頻幀的攝像機(jī)捕獲狀況信息。
10.根據(jù)權(quán)利要求9所述的處理多個(gè)視頻幀的方法，其特征在于，所述攝像機(jī)捕獲狀況信息包含聚焦信息、白平衡信息以及曝光信息中的至少一個(gè)。
11.根據(jù)權(quán)利要求1所述的處理多個(gè)視頻幀的方法，其特征在于，所述多個(gè)視頻幀組成多個(gè)視頻剪輯，每一視頻剪輯具有特定的圖像配準(zhǔn)信息，以及處理所述多個(gè)視頻幀時(shí)以一個(gè)視頻剪輯作為一個(gè)單元。
12.一種視頻流播放方法，其特征在于，包含: 接收選定場(chǎng)景的播放請(qǐng)求； 搜尋用于多個(gè)目標(biāo)視頻幀的視頻流，其特征在于，所述多個(gè)目標(biāo)視頻幀對(duì)應(yīng)于所述選定場(chǎng)景的圖像配準(zhǔn)信息，所述圖像配準(zhǔn)信息用于將多個(gè)不同視頻幀轉(zhuǎn)換為同一坐標(biāo)系統(tǒng)；以及 依據(jù)在所述視頻流中找到的所述多個(gè)目標(biāo)視頻幀執(zhí)行播放操作。
13.根據(jù)權(quán)利要求12所述的視頻流播放方法，其特征在于，依據(jù)在所述視頻流中找到的所述多個(gè)目標(biāo)視頻幀執(zhí)行所述播放操作的步驟包含: 對(duì)擷取自所述多個(gè)目標(biāo)視頻流的多個(gè)視頻幀執(zhí)行對(duì)齊操作，并相應(yīng)產(chǎn)生多個(gè)對(duì)齊的視頻幀。
14.根據(jù)權(quán)利要求13所述的視頻流播放方法，其特征在于，依據(jù)在所述視頻流中找到的所述多個(gè)目標(biāo)視頻幀執(zhí)行所述播放操作的步驟包含: 依據(jù)所述多個(gè)對(duì)齊的視頻幀執(zhí)行所述播放操作。
15.根據(jù)權(quán)利要求13所述的視頻流播放方法，其特征在于，對(duì)擷取自所述多個(gè)目標(biāo)視頻流的所述多個(gè)視頻幀執(zhí)行所述對(duì)齊操作，并相應(yīng)產(chǎn)生所述多個(gè)對(duì)齊的視頻幀的步驟包含: 依據(jù)所述多個(gè)目標(biāo)視頻幀的攝像機(jī)捕獲狀況信息，對(duì)所述多個(gè)視頻幀執(zhí)行視頻捕獲狀況歸一化操作。
16.根據(jù)權(quán)利要求15所述的視頻流播放方法，其特征在于，所述攝像機(jī)捕獲狀況信息包含聚焦信息、白平衡信息以及曝光 信息中的至少一個(gè)。
17.根據(jù)權(quán)利要求13所述的視頻流播放方法，其特征在于，對(duì)擷取自所述多個(gè)目標(biāo)視頻流的所述多個(gè)視頻幀執(zhí)行所述對(duì)齊操作，并相應(yīng)產(chǎn)生所述多個(gè)對(duì)齊的視頻幀的步驟包含: 依據(jù)所述多個(gè)目標(biāo)視頻幀的平移信息、旋轉(zhuǎn)信息以及尺度信息中的至少一個(gè)對(duì)所述多個(gè)視頻幀執(zhí)行觀看幀尺寸歸一化操作。
18.根據(jù)權(quán)利要求17所述的視頻流播放方法，其特征在于，依據(jù)所述多個(gè)目標(biāo)視頻幀的所述平移信息、所述旋轉(zhuǎn)信息以及所述尺度信息中的至少一個(gè)對(duì)所述多個(gè)視頻幀執(zhí)行所述觀看幀尺寸歸一化操作的步驟包含: 裁剪擷取自所述多個(gè)目標(biāo)視頻幀其中之一的視頻幀以產(chǎn)生裁剪的視頻幀，其中所述視頻幀具有第一分辨率，而所述裁剪的視頻幀具有低于所述第一分辨率的第二分辨率。
19.根據(jù)權(quán)利要求12所述的視頻流播放方法，其特征在于，所述播放請(qǐng)求響應(yīng)于桌面滾動(dòng)命令而產(chǎn)生，并且依據(jù)在所述視頻流中找到的所述多個(gè)目標(biāo)視頻幀執(zhí)行所述播放操作的步驟包含: 依據(jù)所述多個(gè)目標(biāo)視頻巾貞顯示動(dòng)態(tài)壁紙。
20.根據(jù)權(quán)利要求12所述的視頻流播放方法，其特征在于，依據(jù)在所述視頻流中找到的所述多個(gè)目標(biāo)視頻幀執(zhí)行所述播放操作的步驟包含: 通過利用擷取自所述多個(gè)目標(biāo)視頻幀的多個(gè)視頻幀覆蓋圖形數(shù)據(jù)產(chǎn)生多個(gè)混合視頻幀； 依據(jù)所述多個(gè)混合視頻幀執(zhí)行所述播放操作。
21.根據(jù)權(quán)利要求20所述的視頻流播放方法，其特征在于，所述圖形數(shù)據(jù)是用戶界面數(shù)據(jù)。
22.根據(jù)權(quán)利要求12所述的視頻流播放方法，其特征在于，所述視頻流傳輸多個(gè)視頻幀，所述多個(gè)視頻幀形成多個(gè)視頻剪輯，每一視頻剪輯具有特定的圖像配準(zhǔn)信息，以及播放所述視頻流時(shí)以一個(gè)視頻剪輯作為一個(gè)單元。
23.一種用于記錄多個(gè)視頻幀的裝置，其特征在于，包含: 視頻處理電路，依據(jù)所述多個(gè)視頻幀產(chǎn)生視頻流；以及 信息采集電路，獲取所述多個(gè)視頻幀的圖像配準(zhǔn)信息，以及將所述圖像配準(zhǔn)信息記錄入所述視頻流中，其中所述圖像配準(zhǔn)信息用于將多個(gè)不同視頻幀轉(zhuǎn)換為同一坐標(biāo)系統(tǒng)。
24.根據(jù)權(quán)利要求23所述的記錄多個(gè)視頻幀的裝置，其特征在于，所述信息采集電路給至少一視頻幀分配場(chǎng)景編號(hào)以獲取所述圖像配準(zhǔn)信息。
25.根據(jù)權(quán)利要求23所述的記錄多個(gè)視頻幀的裝置，其特征在于，所述信息采集電路給至少一視頻幀分配 坐標(biāo)以獲取所述圖像配準(zhǔn)信息。
26.根據(jù)權(quán)利要求25所述的記錄多個(gè)視頻幀的裝置，其特征在于，分配給所述多個(gè)視頻中貞中的起始視頻巾貞的坐標(biāo)位于原點(diǎn)。
27.根據(jù)權(quán)利要求23所述的記錄多個(gè)視頻幀的裝置，其特征在于，所述信息采集電路對(duì)多個(gè)鄰近視頻幀應(yīng)用全局運(yùn)動(dòng)估計(jì)，并相應(yīng)產(chǎn)生全局運(yùn)動(dòng)信息以獲取所述圖像配準(zhǔn)信肩、O
28.根據(jù)權(quán)利要求23所述的記錄多個(gè)視頻幀的裝置，其特征在于，所述信息采集電路獲取由至少一傳感器提供的傳感器信息以獲取所述圖像配準(zhǔn)信息，其中所述傳感器位于產(chǎn)生所述多個(gè)視頻幀的圖像捕獲裝置上。
29.根據(jù)權(quán)利要求23所述的記錄多個(gè)視頻幀的裝置，其特征在于，所述信息采集電路獲取至少一視頻幀的平移信息、旋轉(zhuǎn)信息以及尺度信息中的至少一個(gè)以獲取所述圖像配準(zhǔn)信息。
30.根據(jù)權(quán)利要求23所述的記錄多個(gè)視頻幀的裝置，其特征在于，所述信息采集電路獲取至少一視頻幀的攝像機(jī)捕獲狀況信息以獲取所述圖像配準(zhǔn)信息。
31.根據(jù)權(quán)利要求30所述的記錄多個(gè)視頻幀的裝置，其特征在于，所述攝像機(jī)捕獲狀況信息包含聚焦信息、白平衡信息以及曝光信息中的至少一個(gè)。
全文摘要
本發(fā)明提供一種視頻幀處理方法，視頻流播放方法及視頻幀記錄裝置。記錄多個(gè)視頻幀的裝置包含視頻處理電路及信息采集電路，視頻處理電路依據(jù)多個(gè)視頻幀產(chǎn)生視頻流；信息采集電路獲取多個(gè)視頻幀的圖像配準(zhǔn)信息，以及將圖像配準(zhǔn)信息記錄入視頻流中，其中圖像配準(zhǔn)信息用于將多個(gè)不同視頻幀轉(zhuǎn)換為同一坐標(biāo)系統(tǒng)。以上所述的視頻幀處理方法，視頻流播放方法及視頻幀記錄裝置能夠保證輸出視頻質(zhì)量，并且具有較低的計(jì)算復(fù)雜度。
文檔編號(hào)H04N5/91GK103096008SQ20121037477
公開日2013年5月8日 申請(qǐng)日期2012年9月29日 優(yōu)先權(quán)日2011年10月6日
發(fā)明者朱啟誠(chéng), 陳鼎勻, 何鎮(zhèn)在 申請(qǐng)人:聯(lián)發(fā)科技股份有限公司