具有運(yùn)動(dòng)傳感器的用于立體視頻的設(shè)備和方法
【專利摘要】提供一種具有運(yùn)動(dòng)傳感器的用于立體視頻的設(shè)備和方法。所述設(shè)備包括：相機(jī)單元，具有用于捕獲視頻的一個(gè)鏡頭；視頻編碼器/解碼器，用于對(duì)捕獲的視頻進(jìn)行編碼；運(yùn)動(dòng)傳感器，用于捕獲與捕獲的視頻相應(yīng)的視頻捕獲裝置的運(yùn)動(dòng)數(shù)據(jù)；控制器，用于控制視頻編碼器/解碼器對(duì)捕獲的視頻與捕獲的運(yùn)動(dòng)數(shù)據(jù)一起進(jìn)行編碼。
【專利說明】具有運(yùn)動(dòng)傳感器的用于立體視頻的設(shè)備和方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種具有運(yùn)動(dòng)傳感器的用于立體視頻的設(shè)備和方法。更具體地講，本發(fā)明涉及一種通過使用運(yùn)動(dòng)傳感器來產(chǎn)生用于產(chǎn)生立體視頻的數(shù)據(jù)，以產(chǎn)生立體視頻的設(shè)備和方法。
【背景技術(shù)】
[0002]移動(dòng)終端提供用戶之間的無線通信，以及為用戶提供數(shù)據(jù)服務(wù)和移動(dòng)網(wǎng)絡(luò)接入。隨著技術(shù)的進(jìn)步，現(xiàn)在移動(dòng)終端提供簡(jiǎn)單的電話交談以外的很多額外功能。例如，移動(dòng)終端現(xiàn)在能夠提供額外功能，諸如鬧鈴、短消息服務(wù)(SMS)、多媒體消息服務(wù)(麗S)、電子郵件，游戲，短距離通信的遠(yuǎn)程控制、使用包括在移動(dòng)電話中的數(shù)字相機(jī)的靜止圖像捕獲功能和/或視頻捕獲功能、用于提供音頻和視頻內(nèi)容的多媒體功能、日程安排功能以及可在移動(dòng)終端上執(zhí)行的很多其它功能。使用現(xiàn)在提供的多個(gè)功能，移動(dòng)終端在用戶的日常生活中被經(jīng)常使用。
[0003]隨著移動(dòng)終端的使用的增加，移動(dòng)終端的圖像捕獲功能和/或視頻捕獲功能的使用已增加。另外，用于提供3維(3D)影像和視頻的立體成像的使用已增加，用于為用戶顯示3D影像和3D視頻的顯示器普遍可用。例如，自動(dòng)立體3D顯示器允許在不使用特殊頭盔或眼鏡的情況下可觀看三維圖像的顯示。即使由平面裝置產(chǎn)生圖像，這些方法也使觀看者產(chǎn)生深度感知。存在若干用于自動(dòng)立體3D顯示器的技術(shù)。目前，大多數(shù)平板解決方案采用透鏡鏡頭或視差光柵。如果觀看者將他們的頭部定位在特定觀看位置，則用戶將用每個(gè)眼鏡感知不同圖像，結(jié)果形成提供深度感的立體圖像。
[0004]圖1是示出根據(jù)現(xiàn)有技術(shù)的立體圖像的顯示和圖像的原始場(chǎng)景的示圖。
[0005]圖2是示出根據(jù)現(xiàn)有技術(shù)的圖1的立體圖像的原始場(chǎng)景的示圖。
[0006]參照?qǐng)D1和圖2，立體圖像經(jīng)由立體視覺提供深度感，其中，用戶用兩眼利用雙眼視覺來觀看場(chǎng)景，從而觀看到相同場(chǎng)景的兩個(gè)不同圖像(即，立體圖像)。通過立體眼鏡觀看的兩個(gè)不同圖像(左眼視圖和右眼視圖)具有與觀看在2維(2D)中存在的相同場(chǎng)景的兩個(gè)不同參考點(diǎn)之間的距離相應(yīng)的雙眼視差，因此，得到深度感并產(chǎn)生3D視頻。換句話說，當(dāng)兩眼中的每一只觀看相同場(chǎng)景的各個(gè)圖像時(shí)，由于相同場(chǎng)景的各個(gè)圖像的不同視角，相同場(chǎng)景的兩個(gè)圖像之間的雙眼視差導(dǎo)致深度感，其中，不同視角與觀看相同場(chǎng)景的兩個(gè)不同參考點(diǎn)相應(yīng)。
[0007]因此，相同場(chǎng)景的視角的差導(dǎo)致立體視覺，從而當(dāng)觀看2D場(chǎng)景的兩個(gè)不同視角時(shí)，給觀看者提供深度的印象。因此，用于顯示3D視頻的顯示器利用立體視覺為用戶提供場(chǎng)景的立體視圖。例如，當(dāng)為用戶顯示場(chǎng)景時(shí)，可為用戶提供兩個(gè)圖像，一個(gè)圖像給用戶的左眼，另一圖像給用戶的右眼，其中，兩個(gè)圖像具有一個(gè)場(chǎng)景的各自視角。因此，當(dāng)用戶經(jīng)由具有相同場(chǎng)景的各自視角的兩個(gè)圖像觀看相同場(chǎng)景時(shí)，用戶感知3D的場(chǎng)景。
[0008]可使用用于記錄相同場(chǎng)景的在各個(gè)位置的不同相機(jī)或具有多個(gè)鏡頭的一個(gè)相機(jī)來產(chǎn)生相同場(chǎng)景的不同圖像。然而，移動(dòng)終端可僅包括一個(gè)用于產(chǎn)生2D圖像和視頻的攝像頭。另外，即使移動(dòng)終端可包括多于一個(gè)的攝像頭，移動(dòng)終端在每側(cè)可僅具有一個(gè)數(shù)字?jǐn)z像頭。換句話說，移動(dòng)終端可具有一個(gè)前置攝像頭和一個(gè)后置攝像頭。因此，存在使用利用單個(gè)鏡頭相機(jī)的移動(dòng)終端來產(chǎn)生立體視頻的需要。
【發(fā)明內(nèi)容】
[0009]本發(fā)明的各方面在于解決至少上述問題和/或缺點(diǎn)，并提供至少下面描述的優(yōu)點(diǎn)。因此，本發(fā)明的一方面在于提供一種用于通過使用運(yùn)動(dòng)傳感器來產(chǎn)生用于產(chǎn)生立體視頻的數(shù)據(jù)，以產(chǎn)生立體視頻的設(shè)備和方法。
[0010]根據(jù)本發(fā)明的另一方面，提供一種具有運(yùn)動(dòng)傳感器的用于記錄3維(3D)立體視頻的視頻捕獲裝置。所述視頻捕獲裝置包括:相機(jī)單元，具有用于捕獲視頻的一個(gè)鏡頭；視頻編碼器/解碼器，用于對(duì)捕獲的視頻進(jìn)行編碼；運(yùn)動(dòng)傳感器，用于捕獲與捕獲的視頻相應(yīng)的視頻捕獲裝置的運(yùn)動(dòng)數(shù)據(jù)；控制器，用于控制視頻編碼器/解碼器對(duì)捕獲的視頻與捕獲的運(yùn)動(dòng)數(shù)據(jù)一起進(jìn)行編碼。
[0011]根據(jù)本發(fā)明的一方面，提供一種用于使用視頻捕獲裝置記錄3維(3D)視頻的方法。所述方法包括:初始化3D視頻的記錄；將視頻數(shù)據(jù)捕獲為視頻幀，同時(shí)捕獲視頻捕獲裝置的運(yùn)動(dòng)的運(yùn)動(dòng)數(shù)據(jù)；對(duì)運(yùn)動(dòng)數(shù)據(jù)和捕獲的視頻幀進(jìn)行相關(guān)；根據(jù)相關(guān)性對(duì)捕獲的視頻幀的各個(gè)幀與各自運(yùn)動(dòng)數(shù)據(jù)一起進(jìn)行編碼；將編碼的3D視頻存儲(chǔ)為記錄的3D視頻。
[0012]根據(jù)本發(fā)明的一方面，提供一種用于使用視頻顯示裝置再現(xiàn)3D視頻的方法。所述方法包括:確定3D視頻是否將被再現(xiàn)；確定3D視頻的左眼視圖和右眼視圖的顯示的相關(guān)距離；根據(jù)相關(guān)距離和3D視頻的各個(gè)幀的運(yùn)動(dòng)數(shù)據(jù)，針對(duì)左眼視圖和右眼視圖選擇3D視頻的各個(gè)幀；同時(shí)顯示分別針對(duì)左眼視圖和右眼視圖選擇的幀。
[0013]從下面結(jié)合附圖的詳細(xì)描述，本發(fā)明的其它方面、優(yōu)點(diǎn)和顯著特征對(duì)本領(lǐng)域的技術(shù)人員將變得更加清楚，其中，所述附圖公開本發(fā)明的示例性實(shí)施例。
【專利附圖】
【附圖說明】
[0014]通過下面結(jié)合附圖的描述，本發(fā)明的特定示例性實(shí)施例的上述和其它方面、特征和優(yōu)點(diǎn)將更加明顯，其中，
[0015]圖1是示出根據(jù)現(xiàn)有技術(shù)的立體圖像的顯示和圖像的原始場(chǎng)景的示圖；
[0016]圖2是示出根據(jù)現(xiàn)有技術(shù)的圖1的立體圖像的原始場(chǎng)景的示圖；
[0017]圖3示出根據(jù)本發(fā)明的示例性實(shí)施例的視頻捕獲裝置；
[0018]圖4示出根據(jù)本發(fā)明的示例性實(shí)施例的3維(3D)視頻的記錄；
[0019]圖5示出根據(jù)本發(fā)明的示例性實(shí)施例的記錄3D視頻的方法；
[0020]圖6示出根據(jù)本發(fā)明的示例性實(shí)施例的再現(xiàn)3D視頻的方法。
[0021]在整個(gè)附圖中，應(yīng)該注意，相同的標(biāo)號(hào)用于描述相同或相似的元件、特征和結(jié)構(gòu)。
【具體實(shí)施方式】
[0022]提供下面參照附圖的描述以幫助全面理解由權(quán)利要求及其等同物所限定的本發(fā)明的示例性實(shí)施例。所述描述包括各種具體細(xì)節(jié)以幫助理解，但是這些具體細(xì)節(jié)將被認(rèn)為僅僅是示例性的。因此，本領(lǐng)域的普通技術(shù)人員將認(rèn)識(shí)到，在不脫離本發(fā)明的范圍和精神的情況下，可以對(duì)這里所描述的實(shí)施例進(jìn)行各種改變和修改。此外，為了清楚和簡(jiǎn)明，省略對(duì)公知功能和構(gòu)造的描述。
[0023]下面的描述和權(quán)利要求中所使用的術(shù)語和詞語不局限于書面含義，而僅僅被發(fā)明人使用以使本發(fā)明得以清楚和一致的理解。因此，本領(lǐng)域的技術(shù)人員應(yīng)該清楚，提供下面對(duì)本發(fā)明示例性實(shí)施例的描述僅是為了說明的目的，而不是為了限制本發(fā)明的目的，其中，本發(fā)明由權(quán)利要求和它們的等同物所限定。
[0024]應(yīng)當(dāng)理解，除非上下文清楚地另有指示，否則單數(shù)形式包括復(fù)數(shù)指示物。因此，例如，提及“組件表面”包括提及一個(gè)或多個(gè)這樣的表面。
[0025]術(shù)語“基本上”是指所陳述的特征、參數(shù)或值不需要精確地獲得，但偏差或變化(包括例如，公差、測(cè)量誤差、測(cè)量精度限制和本【技術(shù)領(lǐng)域】的技術(shù)人員公知的其它因素)可發(fā)生不排除特征意圖提供的效果的量。
[0026]本發(fā)明的示例性實(shí)施例包括具有運(yùn)動(dòng)傳感器的用于立體視頻的設(shè)備和方法。
[0027]圖3示出根據(jù)本發(fā)明的示例性實(shí)施例的視頻捕獲裝置。
[0028]參照?qǐng)D3，視頻捕獲裝置300包括控制器301、相機(jī)單元302、視頻編碼/解碼單元303、存儲(chǔ)單元304、運(yùn)動(dòng)傳感器單元305和顯示單元306。然而，視頻捕獲裝置300可以是任意適合的便攜式電子裝置，包括但不限于移動(dòng)電話、個(gè)人數(shù)字助理、數(shù)字媒體播放器、平板計(jì)算機(jī)、個(gè)人計(jì)算機(jī)，以及包括用于捕獲視頻的相機(jī)單元的任意其它合適的和/或類似的便攜式電子裝置。另外，在視頻捕獲裝置300是移動(dòng)電話或任意其它類似移動(dòng)通信裝置的情況下，盡管未示出，但是視頻捕獲裝置300可包括用于執(zhí)行無線通信的射頻(RF)收發(fā)器307和用于接收GPS信號(hào)并計(jì)算GPS位置的全球定位系統(tǒng)(GPS)接收器308。另外，其它示例性實(shí)施例可包括適合于便攜式電子裝置的附加模塊，并且包括在視頻捕獲裝置300中的兩個(gè)或兩個(gè)以上的模塊的功能可被集成為單個(gè)組件。
[0029]控制器301控制視頻捕獲裝置300的操作，包括發(fā)送信號(hào)、接收信號(hào)和在包括在視頻捕獲裝置300的組件之間交換信號(hào)，并且還控制視頻捕獲裝置300的組件的操作。相機(jī)單元302用于捕獲靜止圖像和視頻，并可以是任意適合于便攜式電子裝置的相機(jī)。視頻編碼/解碼單元303對(duì)存儲(chǔ)在存儲(chǔ)單元304上的由相機(jī)單元302捕獲的靜止圖像和視頻進(jìn)行編碼，并對(duì)存儲(chǔ)在存儲(chǔ)單元304上和/或經(jīng)由RF收發(fā)器307接收到的靜止圖像和視頻進(jìn)行解碼，以在顯示單元306上顯示靜止圖像和視頻。運(yùn)動(dòng)傳感器單元305檢測(cè)視頻捕獲裝置300的運(yùn)動(dòng)，并可以是加速度計(jì)、指南針、磁強(qiáng)計(jì)、陀螺儀和/或用于確定運(yùn)動(dòng)的任意其它合適的裝置中的至少一個(gè)。
[0030]根據(jù)本發(fā)明的示例性實(shí)施例，控制器301控制視頻編碼/解碼單元303對(duì)從相機(jī)單元302接收到的視頻數(shù)據(jù)進(jìn)行編碼。視頻捕獲裝置300的用戶可通過激活視頻捕獲裝置300的視頻記錄功能來初始化視頻的記錄。用戶可使用視頻捕獲裝置300的輸入單元(未示出)來初始化視頻記錄功能，其中，輸入單元可以是用于將用戶命令輸入到視頻捕獲裝置300的觸摸屏、輸入鍵和/或任意其它合適的輸入裝置中的至少一個(gè)。在初始化視頻記錄功能之后，用戶可初始化視頻的記錄，以使相機(jī)單元302捕獲提供到視頻編碼/解碼單元303的視頻數(shù)據(jù)。視頻編碼/解碼單元303是可對(duì)捕獲的視頻數(shù)據(jù)進(jìn)行編碼的任意合適的視頻編解碼器(諸如，運(yùn)動(dòng)圖像專家組(MPEG)編解碼器、H.264編解碼器、Windows媒體視頻(WMV)編解碼器、QuickTime編解碼器)和/或任意其它合適的數(shù)字視頻編解碼器，并還可對(duì)編碼的視頻數(shù)據(jù)進(jìn)行解碼，用于在顯示單元306上顯示。
[0031]視頻編碼/解碼單元303可在存儲(chǔ)單元304上存儲(chǔ)編碼的視頻數(shù)據(jù)。根據(jù)由運(yùn)動(dòng)傳感器單元305感測(cè)到的運(yùn)動(dòng)數(shù)據(jù)，存儲(chǔ)的視頻數(shù)據(jù)可包括位置數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)中的至少一個(gè)。例如，當(dāng)相機(jī)單元302正捕獲提供給視頻編碼/解碼單元303的視頻數(shù)據(jù)時(shí)，控制器301可激活運(yùn)動(dòng)傳感器單元305，以同時(shí)捕獲視頻捕獲裝置300的運(yùn)動(dòng)或移動(dòng)的運(yùn)動(dòng)數(shù)據(jù)。換句話說，控制器301可在控制運(yùn)動(dòng)傳感器單元305同時(shí)捕獲視頻捕獲裝置300的運(yùn)動(dòng)數(shù)據(jù)的同時(shí)，控制相機(jī)單元302捕獲視頻數(shù)據(jù)。捕獲的運(yùn)動(dòng)數(shù)據(jù)可被提供到視頻編碼/解碼單元303，使得編碼的視頻數(shù)據(jù)的各個(gè)幀包括與每個(gè)各自幀相應(yīng)的運(yùn)動(dòng)數(shù)據(jù)。
[0032]因此,每當(dāng)針對(duì)參考巾貞捕獲視頻巾貞時(shí),運(yùn)動(dòng)傳感器單元305捕獲與運(yùn)動(dòng)的量相應(yīng)的運(yùn)動(dòng)數(shù)據(jù)。另外，運(yùn)動(dòng)傳感器單元305可捕獲與捕獲的視頻的每一幀相應(yīng)的數(shù)據(jù)，或可捕獲與周期或預(yù)定量的時(shí)間相應(yīng)的數(shù)據(jù)。例如，運(yùn)動(dòng)傳感器單元305可捕獲與每個(gè)第N幀相應(yīng)的數(shù)據(jù)，其中，N是整數(shù)，或可按照周期率或時(shí)間捕獲數(shù)據(jù)。
[0033]圖4示出根據(jù)本發(fā)明的示例性實(shí)施例的3維(3D)視頻的記錄。
[0034]參照?qǐng)D4，當(dāng)用戶在記錄已記錄的對(duì)象的3D視頻的同時(shí)，移動(dòng)視頻捕獲裝置300時(shí)，控制器301控制相機(jī)單元302和運(yùn)動(dòng)傳感器單元305來同時(shí)記錄數(shù)據(jù)。因此，運(yùn)動(dòng)傳感器單元305在3D視頻的記錄期間，記錄與視頻捕獲裝置300的運(yùn)動(dòng)相應(yīng)的數(shù)據(jù)。控制器301確定在3D視頻的各個(gè)幀的記錄之間的運(yùn)動(dòng)的量(S卩，視頻捕獲裝置300移動(dòng)的距離)。例如，如果用戶在圍繞對(duì)象旋轉(zhuǎn)視頻捕獲裝置300時(shí)，產(chǎn)生對(duì)象的視頻記錄，并且所述視頻記錄包括幀H)到幀F(xiàn)12，則控制器301可確定兩個(gè)或兩個(gè)以上記錄的幀之間的運(yùn)動(dòng)的量。在視頻捕獲裝置300在幀F(xiàn)O和幀F(xiàn)3的捕獲之間移動(dòng)的情況下，則運(yùn)動(dòng)傳感器單元305確定已從幀H)的捕獲到幀F(xiàn)3的捕獲移動(dòng)了距離DO (也可被稱為距離數(shù)據(jù)D0)。
[0035]因此，當(dāng)對(duì)捕獲的視頻進(jìn)行編碼時(shí)，視頻編碼/解碼單元303接收與距離DO相應(yīng)的數(shù)據(jù)，并將幀H)和幀F(xiàn)3之間的第一運(yùn)動(dòng)量存儲(chǔ)為距離D0，使得該數(shù)據(jù)被存儲(chǔ)以便與幀F(xiàn)3相應(yīng)。視頻編碼/解碼單元303可對(duì)與距離DO相應(yīng)的數(shù)據(jù)和幀F(xiàn)3的編碼的數(shù)據(jù)一起進(jìn)行編碼，使得幀F(xiàn)3被標(biāo)記為對(duì)于幀H)的距離D0，在當(dāng)前情況下，幀H)是參考幀。在當(dāng)前情況下，運(yùn)動(dòng)傳感器單元305可還將視頻捕獲裝置300在幀F(xiàn)3和幀F(xiàn)6之間移動(dòng)的距離量確定為距離D1，在幀F(xiàn)6和幀F(xiàn)9之間移動(dòng)的距離量確定為距離D2，以及在幀F(xiàn)9和幀F(xiàn)12之間移動(dòng)的距離量確定為距離D3。因此，視頻編碼/解碼單元303可對(duì)幀H)到F12的視頻數(shù)據(jù)進(jìn)行編碼，使得幀F(xiàn)3被標(biāo)記有距離D0，幀F(xiàn)6被標(biāo)記有距離D1，幀F(xiàn)9被標(biāo)記有距離D2，幀F(xiàn)12被標(biāo)記有距離D3。
[0036]因此，針對(duì)具有幀H)到幀F(xiàn)12的3D視頻的捕獲，記錄視頻捕獲裝置300的移動(dòng)量，并將其存儲(chǔ)在存儲(chǔ)單元304上?？砂凑杖我膺m當(dāng)?shù)姆绞酱鎯?chǔ)運(yùn)動(dòng)數(shù)據(jù)DO、DU D2和D3，從而與各個(gè)幀F(xiàn)3、F6、F9和F12相應(yīng)。換句話說，記錄的幀F(xiàn)3、F6、F9和F12可被分別標(biāo)記有運(yùn)動(dòng)數(shù)據(jù)D0、D1、D2和D3，使得運(yùn)動(dòng)數(shù)據(jù)D0-D3與記錄的幀F(xiàn)3、F6、F9和F12的幀數(shù)據(jù)一起被編碼。然而，本示例性實(shí)施例不限于此，運(yùn)動(dòng)數(shù)據(jù)D0-D3可與各自幀分開存儲(chǔ)，或可按照任意適當(dāng)?shù)姆绞奖淮鎯?chǔ)或記錄，使得運(yùn)動(dòng)數(shù)據(jù)與各自記錄的幀相應(yīng)。
[0037]另外，視頻編碼/解碼單元303可還對(duì)幀H)到F12的視頻數(shù)據(jù)進(jìn)行編碼，使得其包括視角。視角可以是與各自右眼視圖和左眼視圖相應(yīng)的相機(jī)的兩個(gè)各自視圖的觀看方向之間的角度。因此，視角還與觀看者的眼睛之間的距離相應(yīng)，由于觀看者的右眼和左眼分別與右眼視圖和左眼視圖相應(yīng)，因此，視角是在與人眼的視角相應(yīng)的預(yù)定范圍內(nèi)?？稍谙嗤瑫r(shí)間將視角捕獲為運(yùn)動(dòng)數(shù)據(jù)，視角可與視頻數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)的記錄一起由視頻捕獲裝置300記錄。因此，除了對(duì)幀H)到幀F(xiàn)12的視頻數(shù)據(jù)進(jìn)行編碼以外，視頻編碼/解碼單元303可還對(duì)與幀H)到F12的任意兩個(gè)的觀看方向之間的角度相應(yīng)的視角進(jìn)行編碼。換句話說，視頻編碼/解碼單元303與幀H)到幀F(xiàn)12的編碼一起對(duì)視角進(jìn)行編碼，其中，視角是幀H)到幀F(xiàn)12的預(yù)定對(duì)或任意其它適當(dāng)對(duì)的觀看方向之間的角距。
[0038]為了顯示根據(jù)上述示例性實(shí)施例記錄的3D視頻，控制器301控制顯示單元305根據(jù)左眼視圖和右眼視圖為觀看3D視頻的用戶顯示幀。在本示例性實(shí)施例中，顯示單元305被用于顯示3D視頻。然而，3D視頻可被顯示在顯示單元305或任意其它合適的顯示單元上，其中，所述任意其它合適的顯示單元可在視頻捕獲裝置300的內(nèi)部或外部，并適合于顯示3D視頻的左眼視圖和右眼視圖。3D視頻被顯示，使得左眼視圖和右眼視圖之間的差與用戶的左眼和右眼之間的距離相應(yīng)。更具體地，用戶的左眼和右眼之間的距離被用于根據(jù)運(yùn)動(dòng)數(shù)據(jù)D0-D3來確定同時(shí)顯示給用戶的幀H)-F12之中的左眼視圖的幀和右眼視圖的幀。
[0039]換句話說，在再現(xiàn)3D視頻中，根據(jù)用戶的眼睛之間的距離來確定相關(guān)距離，從而選擇離彼此特定距離處記錄并同時(shí)顯示給用戶以產(chǎn)生深度感的幀。可根據(jù)觀看3D視頻的用戶的人工輸入和/或調(diào)整來確定相關(guān)距離，可根據(jù)在顯示3D視頻的顯示裝置和觀看3D視頻的用戶之間感測(cè)到的距離自動(dòng)確定相關(guān)距離，相關(guān)距離可以是預(yù)定值。然而，本發(fā)明不限于此，可根據(jù)任意合適的方法和/手段來確定相關(guān)距離。另外，可結(jié)合存儲(chǔ)的幀H)-F12中的一對(duì)的視角來使用相關(guān)距離，使得視角與選擇的幀H)-F12的一對(duì)的視角相應(yīng)，其中，所述選擇的幀H)-F12的一對(duì)被顯示為各自左眼視圖和右眼視圖。
[0040]更具體地，在用戶的眼睛之間的距離與距離DO相關(guān)的情況下，隨后在幀F(xiàn)3 (其被記錄在到幀H)的記錄距離DO處)被顯示為右眼視圖的同時(shí)，幀H)可被顯示為左眼視圖。從而，顯示單元305通過同時(shí)顯示記錄在離彼此距離DO的各自位置處的兩個(gè)幀來提供深度感，其中，距離DO與用戶的眼睛之間的距離相應(yīng)。另外，關(guān)于顯示的3D視頻的用戶的眼睛的視角可被用于選擇幀H)到F12的一對(duì)的相應(yīng)視角，使得幀H)到幀F(xiàn)12的一對(duì)的視角與用戶的眼睛的視角相應(yīng)。換句話說，顯示單元305通過同時(shí)顯示使用單眼鏡頭(或換句話說，視頻捕獲裝置300的單個(gè)鏡頭相機(jī))在不同位置處記錄的幀，將使用單眼鏡頭記錄的視頻顯示為使用雙眼鏡頭記錄的視頻。
[0041]圖5示出根據(jù)本發(fā)明的示例性實(shí)施例的記錄3D視頻的方法。
[0042]參照?qǐng)D5，在步驟501，視頻捕獲裝置300確定用戶是否初始化視頻捕獲功能。在初始化視頻捕獲功能之后，在步驟502，視頻捕獲裝置300確定用戶是否選擇3D視頻的記錄。如果用戶未選擇3D視頻的記錄，則在步驟500，視頻捕獲裝置300進(jìn)行捕獲2D視頻。如果在步驟502，用戶選擇了 3D視頻的記錄，則視頻捕獲裝置300進(jìn)行到步驟503，以初始化運(yùn)動(dòng)傳感器單元305。接下來，在步驟504，視頻捕獲裝置300確定用戶是否開始記錄3D視頻。在用戶開始3D視頻的記錄時(shí)，在步驟505，視頻捕獲裝置300同時(shí)獲取視頻數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)，其中，所述運(yùn)動(dòng)數(shù)據(jù)可包括視角。
[0043]在獲取視頻數(shù)據(jù)和相應(yīng)的運(yùn)動(dòng)數(shù)據(jù)之后，在步驟506，視頻捕獲裝置300將運(yùn)動(dòng)數(shù)據(jù)和各自記錄的視頻幀進(jìn)行相關(guān)。接下來，在步驟507，視頻捕獲裝置300根據(jù)在步驟506完成的相關(guān)對(duì)各個(gè)視頻幀與各自運(yùn)動(dòng)數(shù)據(jù)一起進(jìn)行編碼。在步驟507對(duì)3D視頻進(jìn)行編碼之后，在步驟508，視頻捕獲裝置300存儲(chǔ)編碼的3D視頻。
[0044]圖6示出根據(jù)本發(fā)明的示例性實(shí)施例的再現(xiàn)3D視頻的方法。
[0045]參照?qǐng)D6，在步驟601，可以是任意適合于顯示立體3D視頻的裝置的視頻顯示裝置確定用戶是否已初始化3D視頻的重放(B卩，再現(xiàn))。接下來，在步驟602，視頻顯示裝置根據(jù)確定的距離、感測(cè)到的輸入和用戶的輸入中的至少一個(gè)來確定相關(guān)距離。接下來，在步驟603，視頻顯示裝置根據(jù)各個(gè)幀的相關(guān)距離和運(yùn)動(dòng)數(shù)據(jù)來為左眼視圖和右眼視圖選擇3D視頻的各個(gè)幀。更詳細(xì)地，視頻顯示裝置可根據(jù)幀H)-F12之中的任意對(duì)的幀的視角來選擇3D視頻的各個(gè)幀，其中，幀H)-F12之中的多對(duì)幀的視角被包括在編碼的3D視頻數(shù)據(jù)和/或編碼的3D視頻的運(yùn)動(dòng)數(shù)據(jù)中?？稍?D視頻的解碼時(shí)選擇3D視頻的各個(gè)幀，或可根據(jù)標(biāo)記有3D視頻的各個(gè)幀的運(yùn)動(dòng)數(shù)據(jù)，在編碼的3D視頻的解碼之前選擇3D視頻的各個(gè)幀。然而，本發(fā)明不限于此，可根據(jù)使用運(yùn)動(dòng)數(shù)據(jù)和相關(guān)距離的任意合適方法來分別為左眼視圖和右眼視圖選擇各個(gè)幀。接下來，在步驟604，視頻顯示裝置同時(shí)顯示分別為用戶的左眼視圖和右眼視圖選擇的幀。用戶可佩帶立體眼睛，以正確地觀看由視頻顯示裝置顯示的左眼視圖和右眼視圖。
[0046]雖然已經(jīng)參照本發(fā)明的特定示例性實(shí)施例示出并描述了本發(fā)明，但是本領(lǐng)域的技術(shù)人員將理解，在不脫離由權(quán)利要求及其等同物限定的本發(fā)明的精神和范圍的情況下，可在其中進(jìn)行形式和細(xì)節(jié)上的各種改變。
【權(quán)利要求】
1.一種具有運(yùn)動(dòng)傳感器的用于記錄3維3D立體視頻的視頻捕獲裝置，所述視頻捕獲裝置包括: 相機(jī)單元，具有用于捕獲視頻的一個(gè)鏡頭； 視頻編碼器/解碼器，用于對(duì)捕獲的視頻進(jìn)行編碼； 運(yùn)動(dòng)傳感器，用于捕獲與捕獲的視頻相應(yīng)的視頻捕獲裝置的運(yùn)動(dòng)數(shù)據(jù)； 控制器，用于控制視頻編碼器/解碼器對(duì)捕獲的視頻與捕獲的運(yùn)動(dòng)數(shù)據(jù)一起進(jìn)行編碼。
2.如權(quán)利要求1所述的視頻捕獲裝置，其中，運(yùn)動(dòng)傳感器是加速度計(jì)、指南針、磁強(qiáng)計(jì)和陀螺儀中的至少一個(gè)。
3.如權(quán)利要求3所述的視頻捕獲裝置，其中，控制器同時(shí)控制相機(jī)單元捕獲視頻，同時(shí)控制運(yùn)動(dòng)傳感器捕獲運(yùn)動(dòng)數(shù)據(jù)。
4.如權(quán)利要求1所述的視頻捕獲裝置，其中，控制器對(duì)捕獲的視頻的各個(gè)幀和各個(gè)捕獲的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行相關(guān)。
5.如權(quán)利要求4所述的視頻捕獲裝置，其中，在捕獲各個(gè)幀的同一時(shí)間，捕獲各個(gè)捕獲的運(yùn)動(dòng)數(shù)據(jù)。
6.一種用于使用視頻捕獲裝置來記錄3維3D視頻的方法，所述方法包括: 初始化3D視頻的記·錄； 將視頻數(shù)據(jù)捕獲為視頻幀，同時(shí)捕獲視頻捕獲裝置的運(yùn)動(dòng)的運(yùn)動(dòng)數(shù)據(jù)； 對(duì)運(yùn)動(dòng)數(shù)據(jù)和捕獲的視頻幀進(jìn)行相關(guān)； 根據(jù)相關(guān)性對(duì)捕獲的視頻幀的各個(gè)視頻幀與各自運(yùn)動(dòng)數(shù)據(jù)一起進(jìn)行編碼； 將編碼的3D視頻存儲(chǔ)為記錄的3D視頻。
7.如權(quán)利要求6所述的方法，其中，初始化記錄的3D視頻的步驟包括: 初始化視頻捕獲功能； 確定用戶是否選擇3D視頻的記錄； 初始化運(yùn)動(dòng)傳感器。
8.如權(quán)利要求6所述的方法，其中，同時(shí)捕獲視頻數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)的步驟包括:當(dāng)視頻捕獲裝置正將視頻數(shù)據(jù)捕獲為視頻幀時(shí)，捕獲視頻捕獲裝置的運(yùn)動(dòng)的運(yùn)動(dòng)數(shù)據(jù)。
9.如權(quán)利要求6所述的方法，其中，對(duì)運(yùn)動(dòng)數(shù)據(jù)和捕獲的視頻幀進(jìn)行相關(guān)的步驟包括:在捕獲3D視頻的各個(gè)幀的時(shí)間，對(duì)視頻捕獲裝置已運(yùn)動(dòng)的距離進(jìn)行相關(guān)。
10.如權(quán)利要求9所述的方法，其中，視頻捕獲裝置已運(yùn)動(dòng)的距離是視頻捕獲裝置在記錄參考視頻幀時(shí)的位置和視頻捕獲裝置在記錄3D視頻的各個(gè)視頻幀時(shí)的位置之間的距離。
11.如權(quán)利要求9所述的方法，其中，對(duì)運(yùn)動(dòng)數(shù)據(jù)和捕獲的視頻幀進(jìn)行相關(guān)的步驟包括:將捕獲的視頻幀之中的各個(gè)捕獲的視頻幀和與在捕獲各個(gè)捕獲的視頻幀時(shí)視頻捕獲裝置的位置相應(yīng)的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行相關(guān)。
12.如權(quán)利要求6所述的方法，其中，將運(yùn)動(dòng)數(shù)據(jù)和捕獲的視頻幀進(jìn)行相關(guān)的步驟包括:對(duì)捕獲的視頻幀的一對(duì)之間的視角進(jìn)行相關(guān)。
13.如權(quán)利要求9所述的方法，其中，視角是在記錄捕獲的視頻幀的一對(duì)的參考幀時(shí)視頻捕獲裝置的觀看方向和在記錄所述捕獲的視頻幀的一對(duì)中的另一幀時(shí)視頻捕獲裝置的觀看方向之間的角度距離。
14.如權(quán)利要求6所述的方法，其中，針對(duì)捕獲的視頻幀中的每一個(gè)，發(fā)生對(duì)運(yùn)動(dòng)數(shù)據(jù)和捕獲的視頻幀進(jìn)行相關(guān)。
15.如權(quán)利要求6所述的方法，其中，根據(jù)預(yù)定時(shí)間段，發(fā)生對(duì)運(yùn)動(dòng)數(shù)據(jù)和捕獲的視頻中貞進(jìn)行相關(guān)。
16.如權(quán)利要求6所述的方法，其中，在3D視頻的每個(gè)第N幀，發(fā)生對(duì)運(yùn)動(dòng)數(shù)據(jù)和捕獲的視頻幀進(jìn)行相關(guān)，其中，N是整數(shù)值。
17.一種用于使用視頻顯示裝置來再現(xiàn)3維3D視頻的方法，所述方法包括: 確定3D視頻是否將被再現(xiàn)； 確定3D視頻的左眼視圖和右眼視圖的顯示的相關(guān)距離； 根據(jù)3D視頻的各個(gè)幀的相關(guān)距離和運(yùn)動(dòng)數(shù)據(jù)，針對(duì)左眼視圖和右眼視圖選擇3D視頻的各個(gè)幀； 同時(shí)顯示分別針對(duì)左眼視圖和右眼視圖選擇的幀。
18.如權(quán)利要求17所述的方法，其中，同時(shí)顯示針對(duì)左眼視圖和右眼視圖選擇的幀與由觀看3D視頻的用戶佩帶的立體眼鏡相應(yīng)。
19.如權(quán)利要求17所述的方法，其中，在對(duì)3D視頻進(jìn)行解碼后完成3D視頻的各個(gè)幀的選擇。
20.如權(quán)利要求17所述的方法，其中，根據(jù)標(biāo)記有3D視頻的各個(gè)幀的運(yùn)動(dòng)數(shù)據(jù)，在3D視頻的解碼之前，完成3D視頻的各`個(gè)幀的選擇。
21.如權(quán)利要求17所述的方法，其中，確定相關(guān)距離的步驟包括:用戶調(diào)整相關(guān)距離，使得3D視頻的左眼視圖和右眼視圖為用戶提供深度感。
22.如權(quán)利要求17所述的方法，其中，確定相關(guān)距離的步驟包括:從視頻顯示裝置感測(cè)用戶的距離。
23.如權(quán)利要求17所述的方法，其中，確定相關(guān)距離的步驟包括:從預(yù)定相關(guān)距離之中選擇相關(guān)距離。
24.如權(quán)利要求17所述的方法，其中，根據(jù)3D視頻的各個(gè)幀的相關(guān)距離和運(yùn)動(dòng)數(shù)據(jù)為左眼視圖和右眼視圖選擇3D視頻的各個(gè)幀的步驟包括:選擇具有與相關(guān)距離相應(yīng)的視角的幀的一對(duì)。
25.如權(quán)利要求24所述的方法，其中，視角是在記錄所述幀的一對(duì)的參考幀時(shí)視頻捕獲裝置的觀看方向和在記錄所述幀的一對(duì)的另一幀時(shí)視頻捕獲裝置的觀看方向之間的角度距離。
【文檔編號(hào)】H04N13/02GK103716611SQ201310461214
【公開日】2014年4月9日 申請(qǐng)日期:2013年9月30日 優(yōu)先權(quán)日:2012年10月1日
【發(fā)明者】徐瑞峰, 蔣明, 曹旭, 巴特利·科爾德 申請(qǐng)人:三星電子株式會(huì)社