專利名稱：將三維文本與三維內(nèi)容組合的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理和顯示系統(tǒng)，尤其涉及將三維(3D)方式的文本與相關(guān)聯(lián)的3D內(nèi)容組合的系統(tǒng)和方法。
背景技術(shù)：
近年來，已經(jīng)越來越多地生產(chǎn)出像電影等那樣的3D內(nèi)容。預(yù)計這種趨勢持續(xù)下去到可預(yù)見的將來。與其2D內(nèi)容對應(yīng)物類似，3D內(nèi)容一般伴隨著像字幕或隱藏式字幕那樣的2D文本信息。但是，與在相同深度上顯示2D內(nèi)容的其2D內(nèi)容對應(yīng)物不同，3D內(nèi)容一般顯示在不同深度上以創(chuàng)建3D觀看環(huán)境。由于3D內(nèi)容顯示在不同深度上，所以判定何時，何地，以及如何放置任何伴隨文本信息都成問題。人們已經(jīng)提出了將二維(2D)文本信息與它們的相關(guān)聯(lián)3D內(nèi)容結(jié)合在一起使用。雖然這樣的技術(shù)似乎是直截了當?shù)奈谋竞蛢?nèi)容加入方法，但就3D內(nèi)容而言做不到將文本信息放置在預(yù)定或已知深度上的任何精確控制。另一種已知技術(shù)允許對于所有幀，將3D文本放置在像在TV平面中那樣觀看的固定深度上。從這個技術(shù)產(chǎn)生了若干問題。例如，如果考慮通過平行攝像機捕獲3D內(nèi)容，則所得TV畫面將在無窮遠處。這對于所有幀又使3D文本總是出現(xiàn)在內(nèi)容場景的后面。為了調(diào)整3D內(nèi)容中的文本的深度以便可以適當?shù)赜^看，顯然，必須測試內(nèi)容的每個幀，以確定文本的深度是否如預(yù)期的可觀看。這樣的測試技術(shù)是耗時的，主觀的和低效的。在通過引入全文并入本文中的標識為PCT/US2007/025947的共同待審、共同擁有專利申請中，不引起任何明顯視覺疲勞地以避免妨礙內(nèi)容中的3D效果的方式將3D文本加A 3D內(nèi)容中。在這個引用的申請中，假定了每個圖像的深度信息可經(jīng)由相關(guān)聯(lián)的深度圖獲得。在所引用申請中提出的方法調(diào)整任何插入文本的深度值以便與給定深度圖的最大深度值匹配。這樣的方法可能存在幾方面缺陷。首先，包括在相關(guān)聯(lián)的深度圖中或是具有某種其他形式的深度信息可能無法從內(nèi)容制作者那里獲得。不管如何生成3D內(nèi)容，深度信息的可用性首先取決于是否捕獲了該信息，然后，如果的確可用，則取決于制作者是否愿意包括和共享那種信息。此外，除非在相同獲取時間捕獲了深度，深度信息一般難以從3D內(nèi)容的左右視圖中計算出來。左右視圖通常是從利用兩臺攝像機捕獲的主流3D內(nèi)容中獲得的。上述方法帶來的另一個問題是對于每個幀一般將相關(guān)聯(lián)的深度圖縮放成固定范圍。這樣的縮放妨礙了對于所有幀以相同深度值精確放置3D文本信息的能力。除了上述現(xiàn)有技術(shù)帶來的問題之外，目前已知的是，不存在不依靠任何輔助圖像信息地只單獨根據(jù)內(nèi)容，以及像在后期制作，例如，一般在實時之外進行的離線操作期間，或在內(nèi)容觀看(例如，一般實時進行的在線操作)期間那樣，在已經(jīng)生成和封裝了 3D內(nèi)容和伴隨文本信息之后的時間上，允許將3D文本信息放置在由3D內(nèi)容和文本的制作者或甚至最終觀看者判定的地點上的技術(shù)。

發(fā)明內(nèi)容
現(xiàn)有技術(shù)的這些和其他缺點通過本發(fā)明的各種實施例從3D內(nèi)容中確定視差信息，并將這樣的視差信息與用戶或制作者提供的一個或多個要求一起用于將3D方式的文本最佳地放置到相關(guān)聯(lián)的3D內(nèi)容中來解決。文本位置的確定可以像在線操作那樣在到達圖像內(nèi)容流上實時地進行或像離線操作那樣在整個圖像內(nèi)容上以非實時模式進行。視差信息包括跨越在3D圖像中檢測的所有相應(yīng)特征的一組視差值和視差范圍、所有被處理圖像 內(nèi)容的視差范圍的交集、和示出所有被處理幀的共同視差范圍的視差范圍并集。這些要求的例子包括但不限于整個幀的預(yù)定視差值上的文本位置、整個幀的所選區(qū)域的預(yù)定視差值上的文本放置、避免遮擋內(nèi)容和限制跨過圖像的視差變化量以保持舒適觀看體驗的文本放置等。在本發(fā)明的一個實施例中，將文本與三維(3D)圖像內(nèi)容組合、其中所得圖像能夠通過3D顯示設(shè)備來顯示的方法，包括接收包括至少一個3D圖像的3D圖像內(nèi)容和與至少一個3D圖像相關(guān)聯(lián)的文本兩者，其中至少一個3D圖像包括第一視圖和第二視圖；從至少一個3D圖像中提取視差信息；在第一視圖中確定文本的位置和在第二視圖中確定文本的位置，其中相應(yīng)3D圖像的第二視圖的位置相對于第一視圖的位置偏移至少部分基于視差信息的量。


通過結(jié)合附圖考慮如下詳細描述可以容易地理解本發(fā)明的教導(dǎo)，在附圖中圖I描繪了依照本發(fā)明的實施例組合3D內(nèi)容和相關(guān)聯(lián)的文本的系統(tǒng)；圖2描繪了依照本發(fā)明的實施例的幾個不同圖像例子的屏幕視差與感覺深度之間的關(guān)系；圖3描繪了依照本發(fā)明的實施例離線確定用在與3D內(nèi)容一起顯示文本中的最佳視差值的方法的流程圖；圖4描繪了依照本發(fā)明的實施例在線確定用在與3D內(nèi)容一起顯示文本中的最佳視差值的方法的流程圖；以及圖5描繪了用在圖3和圖4中的特征對應(yīng)和視差值確定的簡化過程。應(yīng)該明白，這些附圖是為了例示本發(fā)明的概念，而未必是例示本發(fā)明的唯一可能配置。為了便于理解，在可能的情況下，使用相同標號表示這些圖形共有的相同元件。
具體實施例方式本發(fā)明的實施例有利地提供了使用從3D內(nèi)容中提取的視差信息將文本與三維(3D)內(nèi)容組合的系統(tǒng)和方法。盡管主要在視頻處理器和顯示器環(huán)境的背景下描述本發(fā)明的實施例，但不應(yīng)該把本發(fā)明的特定實施例視為限制本發(fā)明的范圍。本領(lǐng)域的技術(shù)人員將懂得以及從本發(fā)明的教導(dǎo)中了解到，本發(fā)明的概念可以有利地應(yīng)用在非限制性地像電視機、代碼轉(zhuǎn)換器、視頻播放器、圖像查看器、機頂盒或可用于將文本與3D內(nèi)容組合的任何基于軟件和/或基于硬件實現(xiàn)那樣的幾乎任何基于視頻的處理環(huán)境中。應(yīng)該明白，顯示在這些圖形中的元件可以以硬件、軟件或它們的組合的各種形式實現(xiàn)。優(yōu)選的是，這些元件在可以包括處理器、存儲器和輸入/輸出接口的一個或多個適當編程通用設(shè)備上以硬件和軟件的組合形式實現(xiàn)。顯示在這些圖形中的各種元件的功能可以通過使用專用硬件以及能夠與適當軟件相關(guān)聯(lián)執(zhí)行軟件的硬件來提供。當由處理器提供時，這些功能可以由單個專用處理器，由單個共享處理器，或由其中一些可以共享的多個單獨處理器提供。此外，術(shù)語“處理器”或“控制器”的顯性使用不應(yīng)該理解為專門指能夠執(zhí)行軟件的硬件，而是可以隱性地包括但不限于數(shù)字信號處理器(“DSP”)硬件、存儲軟件的只讀存儲器(“ROM”)、隨機訪問存儲器(“RAM”)和非易失性存儲體。 在本發(fā)明的實現(xiàn)中也可以包括傳統(tǒng)的和/或定制的其他硬件。例如，顯示在圖形中的任何開關(guān)都只是概念性的。它們的功能可以通過程序邏輯的運算，通過專用邏輯，通過程序控制和專用邏輯的交互，或甚至人工地實現(xiàn)，正如從上下文中更具體了解到的那樣，特定的技術(shù)可由實現(xiàn)者選擇。本領(lǐng)域的技術(shù)人員將懂得，本文所表示的方塊圖代表體現(xiàn)本發(fā)明的原理的例示性系統(tǒng)部件和/或電路的概念圖。類似地，將懂得，任何流程圖、流圖、狀態(tài)轉(zhuǎn)變圖、偽碼等代表基本上可以表示在計算機可讀媒體中，因此可以由計算機或處理器執(zhí)行的各種進程，無論本文是否明確示出這樣的計算機或處理器。最后，本文列舉的所有例子和條件語言旨在幫助讀者理解本發(fā)明的原理以及本發(fā)明人為促進現(xiàn)有技術(shù)的進步而貢獻的概念。因此，本發(fā)明的原理應(yīng)該理解為不限于或不局限于這樣具體列舉的例子和條件。二維(2D)視頻中文本的使用是本領(lǐng)域的技術(shù)人員所熟知的。當前對三維(3D)視頻和電影的當前興趣引發(fā)了對將文本加入3D內(nèi)容中的技術(shù)的需要。因此，需要優(yōu)化文本到3D內(nèi)容的插入，以便加入的文本不會妨礙3D內(nèi)容中的3D效果以及當觀看3D內(nèi)容時給觀眾帶來視覺上的愉悅的技術(shù)。按照本文公開的本發(fā)明的各種實施例的原理，文本信息與3D內(nèi)容的組合可以離線或在線地進行。術(shù)語“離線”旨在包含像后期制作操作那樣，在實時觀看事件之外的時間進行的那些操作。術(shù)語“在線”旨在包含正在向，例如，用戶顯示內(nèi)容時TV或內(nèi)容播放器上的實時觀看事件。在像后期制作階段那樣的離線處理中，包括本文本身、它的預(yù)期位置、和3D內(nèi)容的圖像差距(image disparity)或視差信息的3D本文信息通?？梢允潞笤诠ぷ魇抑须S著圖像幀被處理而得到組裝和/或確定。一般可適合離線處理的內(nèi)容的例子包括電視游戲節(jié)目、電影的錄像帶或DVD、包括培訓(xùn)視頻的企業(yè)錄像帶、經(jīng)由電纜、衛(wèi)星或互聯(lián)網(wǎng)提供者提供的電影等。像與內(nèi)容相關(guān)聯(lián)的隱藏式字幕(closed caption)或元數(shù)據(jù)那樣的文本信息可以存儲在文件中，供以后像向用戶顯示內(nèi)容那樣的使用。
在像TV等上的實時觀看事件期間的在線處理中，可以在顯示相關(guān)聯(lián)的內(nèi)容之前生成3D文本信息。實時觀看事件可以包括，例如，電視新聞節(jié)目、現(xiàn)場研討會，和體育賽事。文本可從，例如，相關(guān)聯(lián)的說明(caption)或字幕(subtitle)中獲得，或可以經(jīng)由腳本提供?？商娲氖?，文本可以實時生成。深度或差距信息不可從任何文件中獲得，因此，在一個實施例中，為了實時地向觀眾顯示，必須生成它以便完成文本與3D內(nèi)容的適當組合。在加字幕或加說明的一個例子中，通常在計算機上創(chuàng)建字幕或說明的文本，然后使用時間碼使它與視頻內(nèi)容同步。然后，在廣播或分發(fā)事件之前將文本和視頻內(nèi)容轉(zhuǎn)變成一個或多個文件。文本信息可以通過本領(lǐng)域的技術(shù)人員熟知的傳統(tǒng)過程創(chuàng)建和分發(fā)。例如，一個傳統(tǒng)過程牽涉到從腳本中創(chuàng)建文本文件。該文本文件包括三個值開始幀、結(jié)束幀、和跨越開始幀到結(jié)束幀以及包括結(jié)束幀的幀的文本。對于這個例子，然后在開始幀到結(jié)束幀的所有幀中重復(fù)文本。本發(fā)明的實施例針對與任何其他要求一起確定視差參數(shù)，以便針對相關(guān)聯(lián)的視頻幀定位文本在相關(guān)聯(lián)的感覺深度值上的地點。
在本文的描述中，提及可以與3D內(nèi)容組合的簡單文本的文本信息。這些術(shù)語可以不會造成任何有意限制或喪失一般性和含義地與其他標識的變型一起可交換使用。應(yīng)該懂得，至少存在兩種類型可以依照本發(fā)明的實施例加入內(nèi)容視頻中的文本，即，字幕和說明。字幕一般是為聽得見觀眾預(yù)備的，而說明通常是為耳聾的觀眾預(yù)備的。字幕可以將來自內(nèi)容的對話翻譯成不同語言，但字幕很少顯示所有音頻信息。說明意圖包括來自內(nèi)容的音頻部分的所有信息。例如，說明示出內(nèi)容中像“電話鈴聲”或“腳步”那樣的聲效，而字幕不包括或顯示來自音頻的那種信息。隱藏式字幕是隱藏在視頻信號，沒有特殊解碼器看不見的說明。隱藏式字幕隱藏在，例如，視頻信號的垂直消隱間隔(VBI)的第21行中。開放式字幕(open caption)是已經(jīng)解碼的說明，因此，它們已變成像電影中的字幕那樣電影畫面的組成部分。換句話說，開放式字幕是不能關(guān)閉的。術(shù)語“開放式字幕”也用于指利用字符發(fā)生器創(chuàng)建的字幕。圖I描繪了依照本發(fā)明的實施例組合3D內(nèi)容和相關(guān)聯(lián)的文本的系統(tǒng)10。在圖I中，掃描設(shè)備12是為了將像源于攝像機的電影負片那樣的電影膠片(film print) 14掃描成像Cineon格式那樣的數(shù)字模式或電影和電視工程師協(xié)會(SMPTE)數(shù)字畫面交換(DPX)文件而提供的。掃描設(shè)備12可以包含像，例如，具有視頻輸出端的像Arri LocPio 那樣將生成從電影膠片輸出的視頻的電視電影機(telecine)等?？商娲氖牵梢灾苯邮褂孟褚呀?jīng)在計算機可讀格式的文件那樣，來自后期制作過程或數(shù)字影院16的文件。計算機可讀文件的潛在源是AVID 編輯器、DPX文件、D5磁帶等。而且，例如，立體內(nèi)容或2D圖像形式的3D內(nèi)容以及相關(guān)聯(lián)的深度圖可以由捕獲設(shè)備18提供。包括字幕和說明文件的文本文件可以從腳本中創(chuàng)建并通過字幕管理器提供給系統(tǒng)?？梢詫呙桦娪澳z片、數(shù)字電影圖像和/或3D內(nèi)容以及文本文件輸入后處理設(shè)備22，例如，計算機中。在本發(fā)明的一個實施例中，后處理設(shè)備22可以在各種已知計算機平臺的任何一種上實現(xiàn)，這樣的已知計算機平臺含有像一個或多個中央處理單元(CPU)、像隨機訪問存儲器(RAM)和/或只讀存儲器(ROM)那樣的存儲器24、和像鍵盤、光標控制設(shè)備(例如，鼠標或操縱桿)和顯示設(shè)備那樣的輸入/輸出(1/0)用戶接口 26那樣的硬件。該計算機平臺還包括操作系統(tǒng)和微指令代碼。依照本發(fā)明的可替代實施例，本文所述的各種過程和功能可以是微指令代碼的一部分或者是經(jīng)由操作系統(tǒng)執(zhí)行的軟件應(yīng)用程序的一部分(或它們的組合)。另外，可以通過像并行端口、串行端口或通用串行總線(USB)那樣的各種接口和總線結(jié)構(gòu)將各種其他外圍設(shè)備與計算機平臺連接。這樣其他外圍設(shè)備的例子包括附加存儲設(shè)備28和打印機30。打印機30可以用于打印像立體版本的電影那樣，已經(jīng)使用下面進一步描述的文本插入技術(shù)將文本插入一個或多個場景中的修改后版本的電影32。另外，可以生成修改后電影或視頻的數(shù)字文件34，并提供給3D顯示設(shè)備，因此，觀眾可以觀看到3D內(nèi)容和插入的文本。可替代的是，可以將數(shù)字文件34存儲在存儲設(shè)備28上。在圖I的實施例中，軟件程序包括如下面進一步詳細討論的將文本與3D內(nèi)容組合的存儲在存儲器24中的文本處理模塊38。存在許多管理和顯示3D內(nèi)容的內(nèi)容格式和顯示類型。這些包括立體、全息、和自動立體等。最常用的是需要有源或無源眼鏡的立體顯示器。使用，例如，柱狀透鏡(Lenticular)的自動立體顯示器不需要眼鏡，并且變得更可用于家庭娛樂和專業(yè)娛樂兩者。這些顯示器的許多顯示器以2D+深度格式工作。在這種格式中，組合2D視頻和深度信 息以產(chǎn)生3D效果。如今，三維(3D)圖像以許多不同數(shù)字格式存在。一般說來，3D內(nèi)容包括最初作為分開立體圖像(或視圖)生成的一對圖像或視圖。將懂得，術(shù)語“立體圖像”和“立體視圖”以及術(shù)語“圖像”和“視圖”每一個可以不會喪失含義地以及不會造成任何有意限制地可交換使用?？梢跃幋a這些圖像的每一個。為了存儲，分發(fā)或顯示3D圖像，將像左圖像和右圖像那樣的兩個立體圖像的內(nèi)容組合成單個圖像幀，以便每個幀將代表整個3D圖像，而不是使用每一個在它們自己的幀或文件中的兩個分開立體圖像。 如上所述，如果可以容易地計算深度，則易于插入3D字幕。但是，由于足夠高密度的精確深度圖在最好情況下計算起來也是既困難又費時，所以迫使用戶嘗試尋找確定文本信息在3D內(nèi)容中的位置的可替代方法。按照本發(fā)明的原理，已經(jīng)發(fā)現(xiàn)，屏幕視差信息是有用的，并且是將深度直接用于確定文本在3D內(nèi)容中的位置的適當替代品。圖2描繪了依照本發(fā)明的實施例的幾個不同圖像例子的屏幕視差與感覺深度之間的關(guān)系。在圖2中，X1是左視圖L中的一個點的位置，Xr是右視圖R的相應(yīng)點的位置，以及X是如觀眾所看到的感覺圖像的位置。然后用d表示屏幕視差以及用Z表示感覺深度。在圖2的左側(cè)，圖像X顯示在與負視差一致的感覺深度Z上。在圖2的右側(cè)，圖像X顯示在與正視差一致的感覺深度Z上。如圖2所示，如果將X1定義成左視圖L中的一個點的投影圖像，以及如果將\定義成右視圖R的相同點的相應(yīng)投影圖像，則按照如下的方程一(I)定義屏幕視差d d=Xr的水平位置-X1的水平位置(I)在方程I的構(gòu)造中，假設(shè)了產(chǎn)生左右視圖L和R的兩臺攝像機以彼此之間具有一定程度水平間隔的并排配置排列著。這種并排配置也有意涵蓋攝像機由于一臺攝像機在另一臺攝像機上面的它們垂直排列而展現(xiàn)垂直分開的狀況。當攝像機以垂直或上下配置排列著時，則相應(yīng)地改變方程，以便按照如下的方程二(2)定義屏幕視差d d=Xr的垂直位置-X1的垂直位置(2)在上面的方程(2)中，當d是正的(d>0)時，感覺圖像位于屏幕的后面(S卩，在TV平面的后面)，并且該條件是正視差之一；當d是零(=0)時，感覺圖像位于屏幕上，并且該條件是無視差之一；以及當d是負的(〈O)時，感覺圖像位于屏幕的前面，并且該條件是負視差之
O從實驗性實踐來看，似乎合理地作出屏幕視差d與感覺深度有關(guān)的結(jié)論。感覺深度是如圖2所示觀眾觀看3D內(nèi)容時感覺的深度。感覺深度與真正深度有關(guān)但顯然不同于真正深度。感覺深度一般具有與真正深度的深度排序大致相似的這樣排序。但是，例如，作為攝像機的投影變換的結(jié)果使深度的量發(fā)生變化。為了理解這一點，假設(shè)如果一個幀中的A，B和C點展現(xiàn)如下真正深度的排序真正深度(A) >真正深度(B) >真正深度(C)，則預(yù)計感覺深度的排序如下感覺深度(A) >感覺深度(B) >感覺深度(C)。 如上所解釋，在從真正深度到感覺深度的變換中將不保持這些點之間的實際距離。預(yù)期在同一幀內(nèi)會保持這些關(guān)系。但未必預(yù)計對于跨過不同幀的相同點A，B和C將保持這些關(guān)系。屏幕視差與真正深度之間的精確關(guān)系是復(fù)雜的，不容易確定。當左右視圖由視軸平行的設(shè)備捕獲時，發(fā)現(xiàn)屏幕視差與真正深度之間的關(guān)系基本是線性的。否則，當左右視圖由視軸不平行的設(shè)備捕獲時，諸如，當它們具有內(nèi)八字(toed-in)關(guān)系時，發(fā)現(xiàn)屏幕視差與真正深度之間的關(guān)系基本是非線性的。從本文的實驗性實踐來看，發(fā)現(xiàn)與左右捕獲設(shè)備的取向無關(guān)，屏幕視差與感覺深度之間的關(guān)系總是線性的。根據(jù)這種實驗性實踐，已經(jīng)發(fā)現(xiàn)屏幕視差的絕對值越大(也就是說，屏幕視差的幅度越大)，則感覺深度的絕對值就越大(離屏幕越離)。感覺深度是觀眾體驗的深度。觀眾實際體驗不到真正深度。根據(jù)這種認識，本文已經(jīng)確定，可以和甚至優(yōu)選地將屏幕視差，因此感覺深度用作依照本發(fā)明的原理確定在3D背景下放置文本的適當深度值的有效方式。圖3描繪了依照本發(fā)明的實施例離線確定用在與3D內(nèi)容一起顯示文本中的最佳視差值的方法的流程圖。如上所述，離線方法適合用在，例如，后期制作階段中。圖3的離線方法被描繪成具有兩遍處理。第一遍處理每個幀以確定其某個視差信息。這個視差信息包括一組和一個范圍的可能視差值和一個范圍的共同視差值。第二遍使用與來自制作者或用戶的一組一個或多個所希望要求組合的所收集視差信息為3D文本在3D內(nèi)容中的最終位置選擇滿足制作者/用戶要求的最佳視差值。一個要求一般提供文本放置要達到的條件。這些要求由制作者或用戶或與內(nèi)容相關(guān)聯(lián)的其他個體提供。例如，可以要求將文本信息放置在預(yù)定視差值上，以便在所有幀中屏幕前面的感覺深度看起來幾乎是固定的。這些要求的其它例子包括但不限于整個幀的預(yù)定視差值上的文本位置、整個幀的所選區(qū)域的預(yù)定視差值上的文本位置、避免遮擋內(nèi)容和限制跨過圖像的視差變化量以保持舒適觀看體驗的文本位置等。為了達到將文本放置在像最大感覺深度那樣的預(yù)定值上的示范性要求，如下面的方程所更詳細所示和所述，在觀看的圖像或圖像組的極限內(nèi)滿足這個要求的最佳視差值是d=UDmin。當然，不同要求將導(dǎo)致選擇不同視差值。設(shè)想，可以由制造者設(shè)置或甚至由用戶設(shè)置一個或多個默認要求以便用在離線處理中。在本發(fā)明的可替代實施例中，上述的要求同樣可應(yīng)用于在線處理。
在描繪在圖3中的方法中，第一遍包括步驟S31，S32和S33，而第二遍包括步驟S34，S35，S36，S37和S38。如圖3所示，第一遍對幀進行處理以確定視差范圍。第二遍對來自第一遍的視差信息進行處理以確定每個幀的最佳視差值。圖3的方法從接收一對立體圖像信息的步驟S31開始。通常，讀入該步驟的立體對包括如上所述的左視圖和右視圖。在該方法中將該立體對定義成(L，R)對。然后該方法轉(zhuǎn)到步驟S32。在步驟S32中，進行必要處理以便為每個當前幀計算，更新和保留包括P，DX，IntD和UD的數(shù)值的視差信息。這些變量以及它們的相關(guān)聯(lián)的計算將在下面針對圖5作更詳細描述。P是為一個范圍的幀內(nèi)的每個幀中的每個所檢測點保留視差信息的視差集。一般說來，如下面更詳細討論，設(shè)想該范圍的幀除了當前幀之外，還包括一個或多個以前幀。但是，也設(shè)想，該范圍的幀除了當前幀之外，還可以包括一個或多個以前幀和一個或多個隨后幀。DX是為圖像幀中的所有特征點保留從最小視差值到最大視差值的視差值P的范圍的視差范圍集。IntD是被處理幀的包括視差范圍的交集。UD保留所有被處理幀的共同視差值。當·變量P，DX, IntD和UD的處理完成時，該方法轉(zhuǎn)到步驟S33。設(shè)想，至少將計算的該組變量存儲在存儲器中，或存儲在與該一個或幾個圖像文件相關(guān)聯(lián)的文件中，或存儲在與圖像相同的文件中，當然，后一種情況要求以可與圖像分開的方式將視差信息與輔助圖像數(shù)據(jù)存儲在一起。 在離線處理中，在一個實施例中，希望保留第一遍中P中的所有計算視差信息。當在本文的方法的第二遍中確定視差信息時，可能希望只利用P的一個小范圍的視差集Pi來按照要求確定最佳視差。例如，當在第二遍中處理幀i時，可以將m個幀的視差值集用在第i幀的任一側(cè)上，也就是說，從幀i-m到幀i+m來確定最佳視差值。m的值可以按希望的那樣或大或小。在來自實驗性實踐的一個例子中，將m選擇成像m=5那樣的小正整數(shù)，以便降低對該組視差信息存儲的影響。應(yīng)該注意到，不只是在當前幀上計算視差信息的能力將不僅影響視差集P，而且將影響像視差范圍集DX那樣的其它視差彳目息。在步驟S33中，確定所有立體對(L，R)是否都得到處理。如果該判定被確定為“否”，則圖3的方法返回到將接收另一個立體對以便加以處理的步驟S31。如果該判定被確定為“是”，則圖3的方法轉(zhuǎn)到步驟S34以便開始第二遍處理。在步驟S34中，再次處理立體對。與步驟S31 —樣接收每個立體對。當接收到或讀入一對時，則圖3的方法轉(zhuǎn)到步驟S35。在步驟S35中，從視差信息中以及從自，例如，用戶或制作者接收的一個或多個要求中確定最佳視差值。最佳視差值通過分析視差信息以便盡可能接近地選擇相互滿足視差信息和要求的文本位置的視差值(即，包括在P，DX, IntD和UD的視差信息所代表的視差值中)來確定。下面將更詳細地說明這個概念。在本發(fā)明的一個實施例中，可以將如上例所述的要求公式化成一般函數(shù)f，以便按照如下的方程三(3)找出相關(guān)聯(lián)3D圖像的文本放置的最佳視差值d=f (P, DX, IntD, UD)(3)也就是說，從取決于來自P，DX，IntD和UD的視差參數(shù)值的一些或所有視差信息的要求f(·)中計算最佳視差值d。從下面給出的視差信息的更詳細描述中，將懂得要求函數(shù)的底層參數(shù)是P，因為其余參數(shù)DX，IntD和UD可以直接或間接地從P中計算出來。根據(jù)這種有關(guān)所有視差參數(shù)對P的最終依賴性的知識，可以按照如下的方程四(4)簡化最佳視差值d的公式d=f (P)(4)當然，將明白，d的這個簡單公式包含包括與特定要求所需一樣多的從P中導(dǎo)出的參數(shù)的更嚴格表示。下面描述有關(guān)要求的若干例子以促進更好理解確定最佳視差值d，以便可以符合要求地將文本與相關(guān)聯(lián)的3D圖像放置在一起的方式。在來自實驗性實踐的一個例子中，將一個要求定義成對于整個或完整幀將文本放置在最大負視差上。對于這個例子，對于當前幀，將滿足要求的最佳視差值確定為d=f (P) =UDmin。在來自實驗性實踐的另一個例子中，將一個要求定義成對于當前幀中的整個圖像的所選區(qū)域?qū)⑽谋痉胖迷谧畲筘撘暡钌?。對于這個例子，然后在圖像的限定區(qū)域R中將滿足這個新要求的最佳視差值確定為d=f(P，R) =最大負視差。應(yīng)該注意到，對于該要求，有必 要提供R作為附加參數(shù)。應(yīng)該明白，確定的最佳視差值可能不是整個圖像的最大負視差值。在來自實驗性實踐的又一個例子中，將一個要求定義成相對于圖像內(nèi)容將文本放置在不遮擋內(nèi)容和將使文本的視差變化量保持小值的地點上。通過使視差變化量保持小值，可以為從一個圖像到下一個圖像閱讀文本的觀眾保持合理的舒適水平。當實現(xiàn)要求f( )時，有必要使用來自許多幀的視差信息，以便在最佳視差值上的文本位置從一個幀到下一個幀的過渡將是平滑的，隨著幀的變化給觀眾以愉悅的感覺。優(yōu)選地，幀是連續(xù)幀。此外，在本發(fā)明的一個實施例中，可以將這些幀選擇成以前幀與當前幀，或者隨后幀與當前幀，或一組以前幀和當前幀兩者與當前幀。對于這個例子，在這個要求下的所得最佳視差值未必對應(yīng)于最大負視差。事實上,每個幀的最佳視差值可以小于當前幀中的最大負視差值(也就是說，大于最大負視差值的絕對值)，以便保持文本位置從一個幀到下一個幀的平滑過渡。應(yīng)該注意到，所確定的最佳視差值可能不是整個圖像的最大負視差值。在完成了步驟S35之后，圖3的方法轉(zhuǎn)到步驟S36。在步驟S36中，將來自步驟S35的視差值存儲起來和/或馬上用于生成3D文本?？梢詫⒁暡钪礵與圖像一起存儲，或在一個可替代實施例中，存儲在伴隨著圖像的分開文件中。也可以與與圖像相關(guān)聯(lián)的文本文件一起存儲。在任何情況下，在步驟S35中計算的視差值都最終用在3D文本的生成和放置中。還設(shè)想，可以存儲來自步驟S35的最佳視差值d，然后傳遞給像TV那樣用于生成3D文本的顯示單元中。在來自實驗性實踐的一個例子中，當為左(右)視圖建立了，例如，字幕或說明中的文本的位置時，則使用來自步驟S35的最佳視差值和左(右)視圖中的文本的位置以使用上面給出的視差方程在其他視圖中放置和生成3D文本是直截了當?shù)摹Ｔ诒景l(fā)明的各種實施例中，上面討論的位置可以是視圖中的絕對位置或相對于特定視圖中的已知參考點確定的相對位置。例如，可以將相對位置選成視圖的像左上角那樣的特定角。在完成了步驟S36之后，圖3的方法轉(zhuǎn)到步驟S37。在步驟S37中，確定在第二遍中是否處理了所有立體對(L，R)。如果該判定被確定為“否”，則圖3的方法返回到接收另一個立體對以便作第二遍處理的步驟S34。如果該判定被確定為“是”，則圖3的方法進行到結(jié)束該過程的步驟S38。在圖4中，示出了使用在線處理確定3D文本定位的示范性方法。在上面針對圖3所述的離線處理方法中，假設(shè)了來自圖像的所有數(shù)據(jù)都是可用的。這種假設(shè)提供了立刻對所有幀分別將該方法執(zhí)行多遍的機會。對于在線處理，只有當接收到新圖像幀并可用于處理時可以作出判定。與顯示在圖3中的離線處理方法相反，圖4中的方法存儲已經(jīng)收集和確定的所有信息，然后根據(jù)現(xiàn)有的信息和要求對視差作出判定。本領(lǐng)域的技術(shù)人員將懂得，圖4的方法可以應(yīng)用于離線圖像處理和3D文本定位。但是預(yù)計，圖3的方法對于這樣的離線處理，沒有在圖3中展示的過程那么有效。圖4描繪了依照本發(fā)明的實施例在線確定用在與3D內(nèi)容一起顯示文本中的最佳視差值的方法的流程圖。也就是說，圖4的方法被顯示成每個圖像的單遍處理技術(shù)。圖4的方法從接收和讀圖像信息的立體對(L，R)的步驟S41開始。如上所述，讀入該步驟中的立體對通常包括如上所述的左視圖和右視圖。然后圖4的方法進行到步驟S42。在步驟S42中，進行必要處理以便為每個當前幀計算，更新和保留包括P，DX，IntD和UD的數(shù)值的視差信息。步驟S42以與上述的步驟S32類似的方式操作。這些變量以及 它們的相關(guān)計算將在下面針對圖5作更詳細描述。當計算，更新和保留變量P，DX，IntD和UD的處理完成時，圖4的方法進行到步驟S43。如上所述，設(shè)想，至少將計算的該組變量存儲在存儲器中，或存儲在與該一個或幾個圖像文件相關(guān)聯(lián)的文件中，或存儲在與圖像相同的文件中。在在線處理中，由于可能存儲空間限制和潛在處理時間限制，在確定文本的最佳視差值時可能希望使用較少數(shù)量的幀。與所有以前和隨后幀一般都可用的離線處理不同，對于當前幀的在線處理，通?？梢灾辉L問以前幀，因為當前幀之后的幀還沒有被接收到。應(yīng)該注意到，與該組視差值P有關(guān)的任何限制也將影響其余視差信息，因為DX，IntD和UD都是直接或間接從P和它的分量Pi中導(dǎo)出的。在步驟S43中，從視差信息中以及從自，例如，用戶或制作者接收的一個或多個要求中確定最佳視差值。步驟S43以與上述的步驟S35類似的方式操作。上面針對圖3的步驟S35已經(jīng)描述了確定最佳視差值的示范性技術(shù)。然后圖4的方法進行到步驟S44。在步驟S44中，然后使用在步驟S43中確定的視差值生成和定位像字幕或說明那樣的3D文本以便與3D圖像內(nèi)容一起顯示。然后圖4的方法進行到步驟S45。在步驟S45中，確定所有立體對(L，R)是否都得到處理。如果該判定被確定為“否”，則圖4的方法返回到接收另一個立體對以便加以處理的步驟S41。如果該判定被確定為“是”，則圖4的方法進行到結(jié)束該過程的步驟S46。圖5描繪了用在圖3和圖4中的方法的特征對應(yīng)和視差值確定的簡化過程。也就是說，圖5示出了用在(L，R)對的處理中以便與來自接收圖像本身的導(dǎo)出視差信息一起根據(jù)一種或多種提供的要求確定最佳視差值的示范性視差計算技術(shù)。圖5的技術(shù)已經(jīng)用在上面參考圖3和4示出的方法描述的步驟中。在上面引用的相關(guān)申請，即，發(fā)明名稱為“Method For Distinguishing A 3DImage From A 2D Image And For Identifying The Presence Of A 3D Image Format ByFeature Correspondence Determination (將3D圖像與2D圖像區(qū)分開以及通過特征對應(yīng)確定識別3D圖像格式的存在的方法)”的美國專利申請代理人案號TO090183中詳細說明了顯示在圖5中的技術(shù)。圖5的方法從接收圖像信息的立體對(L，R)的步驟S51開始。通常，接收的立體對包括如上所述的左視圖和右視圖。另外，與圖像信息(內(nèi)容)一起接收視差信息DX，IntD和UD。在本發(fā)明的各種實施例中，可以將圖5的方法初始化，以便將所有視差信息變量設(shè)置成像零那樣的初始值。DX是視差集。交集是IntD以及并集是UD。DX包含至少當前幀和甚至一個或多個以前處理巾貞的視差范圍。IntD包含所有被處理巾貞的視差范圍,UD包含所有被處理幀的共同視差。在完成了步驟S51之后，圖5的方法進行到步驟S52和S53。在步驟S52和S53中，在圖像對(L，R)的分開視圖中進行特征檢測。將在步驟S52中從圖像L檢測的特征標識為FlHFli I i=l. . . nj，并且將在步驟S53中從圖像R檢測的所得特征標識為F2= {F2,1 i=l. . . n2}，其中Ii1和n2是在每個各自圖像中找到的特征的數(shù)量。在步驟S52和S53的每一個之后，圖5的方法進行到步驟S54?；谔卣鲗?yīng)的方法檢測特征并建立所檢測特征之間的一一對應(yīng)。依照本發(fā)明的各種實施例，還設(shè)想，可以使用特征跟蹤來取代上述和下述步驟中的特征檢測和特征對應(yīng)。在來自實驗性實踐的例子中，已經(jīng)將KLT特征跟蹤方法用在步驟S52和S53的執(zhí)行中。這些技術(shù)在現(xiàn)有技術(shù)中是眾所周知的，充分描述在下文引用的文獻中。
在步驟S54中，在來自步驟S52的視圖L中的所得特征Fl與來自步驟S53的視圖R中的所得特征F2之間找出特征對應(yīng)(匹配)。這個步驟中的特征對應(yīng)或匹配過程一般除去一個圖像中與另一個圖像中的特征沒有對應(yīng)的那些特征。當從每個特征集Fl和F2中除去這些特征時，L中的新或剩余特征點可以按照如下的方程五(5)來表征NFl=(NFli) i=l. . . N},(5)以及R中的新或剩余特征點可以按照如下的方程六(6)表征NF2={NF2j i=l. . . N},(6)其中N是具有對應(yīng)性的特征的總數(shù)。指定成(NFli, NF2i)的一對標識在L視圖和R視圖兩者中找到的一對匹配特征點。特征對應(yīng)和匹配被認為在現(xiàn)有技術(shù)中是眾所周知的，本文將不作詳細描述。本文通過引用并入和下文列出的幾個參考文獻公開了應(yīng)用于圖像特征的若干對應(yīng)和選擇技術(shù)。在完成了步驟S54之后，圖5的方法進行到步驟S55。如上所述，設(shè)想可以使用特征跟蹤來進行特征對應(yīng)。在本發(fā)明的各種實施例中，已經(jīng)將特征檢測和特征對應(yīng)計算用于如步驟S52，S53和S54所示尋找匹配特征。但是，如下所示，特征匹配或?qū)?yīng)也可以實現(xiàn)成取而代之的特征跟蹤。首先，計算L中的特征。然后，將在L中計算的特征用作R中的初始特征位置來跟蹤R中的特征。最后，然后將R中跟蹤的特征確定成與L中的特征相對應(yīng)。要除去在R中跟蹤丟失的特征。盡管在本發(fā)明方法的實驗性實踐中使用了 KLT跟蹤方法，但本文的方法不采用特定特征匹配或?qū)?yīng)算法作為優(yōu)選技術(shù)，因為可以設(shè)想出許多特征匹配算法供本發(fā)明的方法使用。Bruce D. Lucas 和 Takeo Kanade 在技術(shù)論文(名稱〃An Iterative ImageRegistration Technique with an Application to Stereo Vision",發(fā)表在 theInternational Joint Conference on Artificial Intelligence 第 674-679 頁，1981)中和Carlo Tomasi 和Takeo Kanade在報告("Detection and Tracking of Point Features"在 Carnegie Mellon University Technical Report CMU-CS-91-132 公開在 1991 年 4 月)中都教導(dǎo)了像KLT跟蹤方法那樣的幾種特征跟蹤方法。David Lowe在論文(名稱"Objectrecognition from local scale-invariant features' 公開在 the Proceedings of theinternational Conference on Computer Vision, 1999 年，第 1150-1157 頁)中公開了已知為SIFT方法的點特征檢測方法。A. Ardeshir Goshtasby在著作(名稱為〃2_D and 3-Dimageregistration:for medical, remote sensing and industrial applications' 由Wiley-Interscience公開,2005，具體在特征選擇的Chapter 3在42-63頁以及在特征對應(yīng)的Chapter 4，63-106頁)中描述了可用在進行特征對應(yīng)中的幾種不同特征檢測和匹配方法。這四個參考文獻的教導(dǎo)通過引用明確地全文并入本文中。在步驟S55中，對于在(L，R)視圖中識別的每對i，在對應(yīng)特征對(NFlyNFZi)之間計算位置差。進行這種計算是為了確定圖像的視差集P和視差范圍DX。在這種計算中，將特征點NFli的位置定義成(xn，yil)，將特征點NF2i的位置定義成(xi2，yi2)。在這個例子中，將位置選擇成相對于兩個圖像中的公共點。在一個例子中，兩個圖像中的公共點可以選成視作原點的左上角。應(yīng)該注意到，在本發(fā)明的各種實施例中，可以使用絕對位置而不是相對位置。此外，在本發(fā)明的各種實施例中，可以將圖像中的其他地點用作公共參考點或原點。然后，可以將第i幀的屏幕視差Pi的集合確定為PiHPfxnjlj = I...N}。然后，可以利用每次P計算迭代地更新分別計算成Prnax和Pmin的最大值和最小值，以便
Pmax=Iiiax(Pi)和Pmin=Iiiin(Pi)。當對圖像對中的所有特征都完成了這種計算時，圖5的方法進行到步驟S56?？梢詥为殲楫斍皫_定屏幕視差P的集合。還設(shè)想，可以在許多個幀i上確定屏幕視差P，其中i可以包括所希望個以前幀或所希望個以前和隨后幀。對于離線處理，通?？梢允呛笠环N情況，因為所有幀一般都是可用的。在線處理可能不允許使用隨后幀信息，因為在處理當前幀的時候，通常還沒有接收到，或不能接收隨后幀。包括在或可以包括在視差集P的計算中的幀的數(shù)量取決于每種單獨實現(xiàn)。在離線處理中，存儲空間一般不是限制性問題。因此，對于離線情況，可能希望像在所有可用幀上那樣，在盡可能多的幀上確定P。在在線處理中，可能更多地限制存儲空間，以及可能約束可用處理時間，以便保持適當在線或?qū)崟r觀看環(huán)境。因此，在在線處理中，可能希望在較少數(shù)量的幀上確定和保持視差信息集P。此刻，在步驟S56中，可以按如下更新和完成視差信息DX，IntD和UD的計算。將更新的視差范圍DX確定為DX=(Pmin, Pmax)。變量DX和P差別很大。視差范圍集DX通常被表示成一維陣列。對于每個幀i，存在表示成值集[HiinPi, HiaxPi]的視差范圍DXi,其中Pi是幀i中的視差值。視差值集P通常被表示成二維陣列。Pi是幀i的每個特征點的視差值的陣列。Pij是幀i中的特征點j的視差值。這樣，當存儲P時，可能希望與它們的對應(yīng)視差值一起保留每個幀的左(或右)圖像中的特征點位置。然后，最小DX的交集IntDmin和最大DX的交集IntDmax可以按照如下的方程七
(7)和八(8)來表征IntDmin=max(IntDmin, Pmin) ；(7)IntDmax=min(IntDmax, Pmax)。(8)上面定義的計算使得可以用IntDmin的以前值和Pmin的當前值的最大者取代交集IntDmin的值。類似地，上面針對IntDmax定義的計算使得可以用IntDmax的以前值和Pmax的當前值的最小者取代交集IntDmax的值。這樣，可以將IntD的值定義成IntD=(IntDmin, IntDmax)。
在相似類型的計算中，將UD定義成(UDmin, UDmax),其中，UDmin=min (UDmin, Pmin);以及UDmax=max(UDmax, Pmax)。上面定義的計算使得可以用UDmin的以前值和Pmin的當前值的最小者取代并集UDmin的值。類似地,上面針對UDmax定義的計算使得可以用UDmax的以前值或Pmax的當前值的最大者取代并集UDmax的值。在完成了步驟S54-S56中的計算時，將P，DX, IntD和UD的值存儲起來供以后使用。在依照本發(fā)明的各種實施例中，這些值可以存儲在處理器中的臨時存儲體中，或者，它們可以存儲在像存儲媒體或與圖像幀相關(guān)聯(lián)的文件那樣的較永久形式中。隨著使用這樣視 差信息的標準不斷演變，設(shè)想，甚至可以將視差信息存儲在圖像文本本身中。然后，圖5的方法進行到從圖5的方法退出的步驟S57。在上面的描述中，應(yīng)該注意到，DX，IntD和UD的值如上所述，是直接或間接地從整個圖像幀的視差集P中計算出來的。在本發(fā)明的各種實施例中，將文本放置在幀的3D圖像中的最佳視差值的計算一般都有意使用即使不是全部也是大多數(shù)的參數(shù)P，DX，IntD和W。例如，當要求基于幾乎整個圖像時，則使用包括DX，IntD和UD的視差信息的一個子集來計算每個幀中的文本的最佳視差值可能就足夠了，因此可希望使用包括DX，IntD和UD的視差信息的一個子集來計算每個幀中的文本的最佳視差值。另一方面，當要求只基于圖像幀的一部分時，優(yōu)選的是使用包括P，DX，IntD和UD的參數(shù)值的視差信息的整個集合。在本發(fā)明的各種實施例中，設(shè)想其他類型的要求將決定相對于3D圖像適當放置文本所需的視差參數(shù)的集合。例如，預(yù)計應(yīng)該將視差信息(P，DX，IntD和UD)的整個集合用于確定文本相對于相關(guān)聯(lián)的3D圖像的放置，以保證文本和圖像的可見性，從而避免它們之間的遮擋。盡管對于每種實現(xiàn)和要求都可以將視差信息的整個集合用于文本放置，但依照本發(fā)明的各種實施例，至少可以部分將文本放置的每次確定所需的視差信息參數(shù)的數(shù)量和類型剪裁成實現(xiàn)和要求相關(guān)的。本文已經(jīng)確定了定義和使用L和R視圖的次序在特征檢測和特征對應(yīng)步驟中是不重要的。但是，當執(zhí)行視差計算步驟時，保持圖像的L和R視圖的標識和次序是重要的。雖然已經(jīng)描述了識別3D圖像格式的方法和系統(tǒng)的各種實施例(旨在例示而非限制)，但注意到，本領(lǐng)域的技術(shù)人員可以按照上面的教導(dǎo)作出修改和改變。因此，可以理解，可以對在本發(fā)明的范圍和精神內(nèi)公開的本發(fā)明的特定實施例作出改變。雖然上文針對本發(fā)明的各種實施例，但也可以不偏離本發(fā)明的基本范圍地設(shè)想出本發(fā)明的其他和進一步實施例。
權(quán)利要求
1.一種將文本與三維(3D)圖像內(nèi)容組合的方法，其中所得圖像能夠被3D顯示設(shè)備顯示，該方法包含 接收包括至少一個3D圖像的所述3D圖像內(nèi)容和與所述至少一個3D圖像相關(guān)聯(lián)的文本兩者，其中所述至少一個3D圖像包括第一視圖和第二視圖； 從所述至少一個3D圖像中提取視差信息； 在所述第一視圖中確定文本的位置；以及 在所述第二視圖中確定文本的位置，其中相應(yīng)3D圖像的所述第二視圖中的位置相對于所述第一視圖中的位置偏移至少部分基于所述視差信息的量。
2.如權(quán)利要求I所述的方法，進一步包含 接收標識文本相對于3D圖像內(nèi)容的所希望位置的至少一個要求；以及其中所述第二視圖中的文本的所述位置的所述偏移量也至少部分基于所述視差信息和 所述至少一個要求。
3.如權(quán)利要求I所述的方法，進一步包含 處理對于每個視圖都含有定位在其中的文本的至少一個3D圖像內(nèi)容的所述第一和第二視圖，以便將文本和相關(guān)3D圖像內(nèi)容的組合顯示在所述3D顯示設(shè)備上。
4.如權(quán)利要求2所述的方法，進一步包含 與從中提取的3D圖像內(nèi)容以及與3D圖像內(nèi)容有關(guān)的文本相關(guān)聯(lián)地存儲所述視差信肩、O
5.如權(quán)利要求4所述的方法，進一步包含 處理對于每個視圖都含有定位在其中的文本的至少一個3D圖像內(nèi)容的所述第一和第二視圖，以便將文本和相關(guān)3D圖像內(nèi)容的組合顯示在所述3D顯示設(shè)備上。
6.如權(quán)利要求2所述的方法，進一步包含 與從中提取的3D圖像內(nèi)容以及與3D圖像內(nèi)容有關(guān)的文本相關(guān)聯(lián)地存儲所述偏移量。
7.如權(quán)利要求6所述的方法，進一步包含 處理對于每個視圖都含有定位在其中的文本的至少一個3D圖像內(nèi)容的所述第一和第二視圖，以便將文本和相關(guān)3D圖像內(nèi)容的組合顯示在所述3D顯示設(shè)備上。
8.如權(quán)利要求2所述的方法，其中所述視差信息包含一組視差值(P)、視差范圍集(DX)、視差值的交集(IntD)、和視差值的并集(UD)。
9.如權(quán)利要求8所述的方法，其中所述提取進一步包含 在所述3D圖像內(nèi)容的第一和第二視圖中檢測至少一對對應(yīng)特征； 為至少一對對應(yīng)特征提取所述視差值； 將該對對應(yīng)特征的所提取視差信息與前一對對應(yīng)特征的提取之后所得的現(xiàn)有視差信息相比較，以確定是否更新所述現(xiàn)有視差信息；以及 當確定有必要更新時，利用當前提取的視差信息的至少某個部分更新所述現(xiàn)有視差信息，以便用更新的視差信息取代現(xiàn)有的視差信息。
10.如權(quán)利要求2所述的方法，其中所述提取進一步包含 將來自所述至少一個3D圖像內(nèi)容的視差信息保留成現(xiàn)有視差信息； 從至少第二 3D圖像內(nèi)容中提取視差信息；以及 當確定有必要更新時，利用至少第二 3D圖像內(nèi)容的所提取視差信息的至少某個部分更新來自至少一個3D圖像內(nèi)容的現(xiàn)有視差信息，以便用更新的視差信息取代現(xiàn)有的視差信息。
11.如權(quán)利要求2所述的方法，進一步包含 與從中提取的3D圖像內(nèi)容以及與3D圖像內(nèi)容有關(guān)的文本相關(guān)聯(lián)地存儲所述第一視圖中的文本的所述位置和所述第二視圖中的文本的所述位置。
12.如權(quán)利要求8所述的方法，其中所述提取進一步包含 根據(jù)從當前圖像中提取的視差信息和從一個或多個以前圖像中提取的視差信息的組合確定所述視差息。
13.如權(quán)利要求8所述的方法，其中所述提取進一步包含 根據(jù)從當前圖像中提取的視差信息、從一個或多個以前圖像中提取的視差信息、和從一個或多個隨后圖像中提取的視差信息的組合確定所述視差信息。
14.如權(quán)利要求2所述的方法，其中所述至少一個要求是從由如下組成的組中選擇的將所述文本放置在整個圖像的預(yù)定視差值上；將所述文本放置在一個圖像的所選區(qū)域的預(yù)定視差值上；以及將所述文本放置成避免遮擋所述內(nèi)容和將相繼視差值的變化量限制成小值。
15.一種將文本與三維(3D)圖像內(nèi)容組合的裝置，其中所得圖像能夠被3D顯示設(shè)備顯示，該裝置包含 接收包括至少一個3D圖像的所述3D圖像內(nèi)容和與所述至少一個3D圖像相關(guān)聯(lián)的文本兩者的部件，其中所述至少一個3D圖像包括第一視圖和第二視圖； 從所述至少一個3D圖像中提取視差信息的部件； 在所述第一視圖中確定文本的位置的部件；以及 在所述第二視圖中確定文本的位置的部件，其中相應(yīng)3D圖像的所述第二視圖中的位置相對于所述第一視圖中的位置偏移至少部分基于所述視差信息的量。
16.一種含有存儲在其上的一個或多個可執(zhí)行指令的機器可讀媒體，所述可執(zhí)行指令當被數(shù)字處理系統(tǒng)執(zhí)行時，使該數(shù)字處理系統(tǒng)可以執(zhí)行將文本與三維(3D)圖像內(nèi)容組合的方法，其中所得圖像能夠被3D顯示設(shè)備顯示，該方法包含 接收包括至少一個3D圖像的所述3D圖像內(nèi)容和與所述至少一個3D圖像相關(guān)聯(lián)的文本兩者，其中所述至少一個3D圖像包括第一視圖和第二視圖； 從所述至少一個3D圖像中提取視差信息； 在所述第一視圖中確定文本的位置；以及 在所述第二視圖中確定文本的位置，其中相應(yīng)3D圖像的所述第二視圖中的位置相對于所述第一視圖中的位置偏移至少部分基于所述視差信息的量。
全文摘要
一種方法和系統(tǒng)定義了通過從3D內(nèi)容中確定視差信息，并將這樣的視差信息與用戶或制作者提供的一個或多個要求一起用于將3D方式的文本最佳地定位到相關(guān)聯(lián)的3D內(nèi)容中來將3D方式的文本最佳地定位到相關(guān)聯(lián)的3D內(nèi)容中。文本位置的確定可以像在線操作那樣在到達圖像內(nèi)容流上實時地進行或像離線操作那樣在整個圖像內(nèi)容上以非實時模式進行。
文檔編號H04N13/00GK102792700SQ201080065403
公開日2012年11月21日 申請日期2010年1月13日 優(yōu)先權(quán)日2010年1月13日
發(fā)明者張濤 申請人:湯姆森特許公司