專利名稱：用于將文本與三維內(nèi)容相結(jié)合的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本公開總體涉及圖像處理和顯示系統(tǒng)，更具體地，涉及用于將文 本與三維內(nèi)容相結(jié)合的系統(tǒng)和方法。
背景技術(shù)：
有兩種類型的文本可以添加至視頻對話字幕(subtitle)和屏幕 字幕(caption)。 一般而言，對話字幕適用于有聽力的觀眾而屏幕字幕 適用于耳聾的觀眾。對話字幕可以將對話翻譯成不同語言，但是很少 示出全部音頻。例如，屏幕字幕示出音效(例如，"電話鈴響"和"腳 步聲")，而對話字幕則不這樣做。
隱藏字幕(closed caption)是隱藏在視頻信號中的屏幕字幕，在 沒有特殊解碼器的情況下是不可見的。隱藏字幕隱藏在例如垂直消隱 間隔(VBI)的第21行中。開放字幕是已經(jīng)解碼的屏幕字幕，所以它 們已經(jīng)是電視畫面的組成部分，如電影中的對話字幕。換言之，不能 關(guān)閉開放字幕。還使用術(shù)語"開放字幕"來指代用字符生成器創(chuàng)建的 對話字幕。
二維(2D)視頻中文本的使用對本領(lǐng)域技術(shù)人員是公知的。當(dāng)前 對三維(3D)視頻和電影的興趣已經(jīng)創(chuàng)建了對向3D內(nèi)容添加文本的 技術(shù)的需要。因此，需要用于對向3D內(nèi)容插入文本進(jìn)行優(yōu)化的技術(shù)， 使得添加的文本不妨礙3D內(nèi)容中的3D效果并且在觀看3D內(nèi)容時不 產(chǎn)生視覺疲勞
發(fā)明內(nèi)容
根據(jù)本公開的一個方面，提供了一種用于將文本與三維(3D)內(nèi) 容相結(jié)合和/或一起顯示的系統(tǒng)和方法。所述系統(tǒng)和方法在與3D內(nèi)容 中的最高深度值相同的水平處插入文本。3D內(nèi)容的一個示例是二維圖 像以及相關(guān)聯(lián)的深度映射。在本情況中，調(diào)整所插入文本的深度值以 匹配給定深度映射的最大深度值。3D內(nèi)容的另一個示例是多幅二維圖 像和相關(guān)聯(lián)的深度映射。在本情況中，連續(xù)調(diào)整所插入文本的深度值 以匹配給定深度映射的最大深度值。3D內(nèi)容的又一個示例是具有右眼 圖像和左眼圖像的立體內(nèi)容。在本情況中，將左眼圖像和右眼圖像之 一中的文本偏移，以匹配立體圖像中的最大深度值。3D內(nèi)容的另一個 示例是具有多幅右眼圖像和左眼圖像的立體圖像。在本情況中，將左 眼圖像或者右眼圖像之一中的文本連續(xù)偏移，以匹配立體圖像中的最 大深度值。因此，本公開的系統(tǒng)和方法產(chǎn)生與3D內(nèi)容相結(jié)合的文本， 其中所述文本不阻礙3D內(nèi)容中的3D效果并且在觀看者觀看時不產(chǎn)生 視覺疲勞。
根據(jù)本公開的另一方面， 一種用于將文本與三維圖像內(nèi)容相結(jié)合 的方法，包括接收三維圖像內(nèi)容；確定三維內(nèi)容的最大深度值；以 及在所述最大深度值處將文本與所述三維圖像內(nèi)容相結(jié)合。
根據(jù)本公開的又一方面， 一種將文本與三維圖像內(nèi)容一起顯示的 方法，包括接收三維圖像內(nèi)容和文本，所述三維圖像內(nèi)容具有最大 深度值；顯示所述三維圖像內(nèi)容；以及在所述最大深度值處顯示所述 文本。
根據(jù)本公幵的另一方面， 一種用于將文本與三維圖像內(nèi)容相結(jié)合 的系統(tǒng)，包括用于接收三維圖像內(nèi)容的裝置；用于確定三維內(nèi)容的 最大深度值的裝置；以及用于在所述最大深度值處將文本與所述三維 圖像內(nèi)容相結(jié)合的裝置。
根據(jù)本公開的又一方面， 一種用于將文本與三維圖像內(nèi)容一起顯 示的系統(tǒng)，包括用于接收三維圖像內(nèi)容和文本的裝置，所述三維圖 像內(nèi)容具有最大深度值；用于顯示所述三維圖像內(nèi)容的裝置；以及用 于在 述最大深度值處顯示所述文本的裝置。


本公開的這些和其它方面、特征以及優(yōu)點(diǎn)將通過以下結(jié)合附圖閱
讀的優(yōu)選實(shí)施例的詳細(xì)描述來描述并變得顯而易見。
在圖中，貫穿這些視圖，相似的參考標(biāo)號表示相似的元件
圖1是根據(jù)本公開的一方面的用于將文本與三維內(nèi)容相結(jié)合的系
統(tǒng)的示例說明；
圖2示出了 2D圖像以及與2D圖像相關(guān)聯(lián)的深度映射的示例； 圖3示出了根據(jù)本公開的向2D圖像添加的文本以及與2D圖像相
關(guān)聯(lián)的深度映射的示例；
圖4示出了根據(jù)本公開的離線對話字幕插入過程的流程圖； 圖5示出了根據(jù)本公開的在線對話字幕插入過程的流程圖； 圖6示出了根據(jù)本公開的在線對話字幕檢測和插入過程；以及 圖7示出了根據(jù)本公開的與立體圖像對相結(jié)合的文本的示例。 應(yīng)當(dāng)理解，這些圖僅用作為示意本公開的概念之用，而不必須是
示意本公開的唯一可能的配置。
具體實(shí)施例方式
應(yīng)理解，可以按照硬件、軟件或其結(jié)合的各種形式來實(shí)現(xiàn)附圖所 示的元件。優(yōu)選地，通過一臺或多臺適當(dāng)編程的通用設(shè)備上的硬件和 軟件的結(jié)合，來實(shí)現(xiàn)這些元件，所述通用設(shè)備可以包括處理器、存儲 器和輸入/輸出接口。
本描述說明了本公開的原理。因此，可以認(rèn)識到，本領(lǐng)域技術(shù)人 員能夠想到各種實(shí)施本公開的原理的設(shè)置，雖然這里沒有顯式地描述 或示出這些設(shè)置，但是，這些設(shè)置包括在本公開的精神和范圍中。
這里闡述的所有示例和條件語言是為了教導(dǎo)的目的，以幫助讀者 理解本公開的原理以及發(fā)明人為了改進(jìn)現(xiàn)有技術(shù)而貢獻(xiàn)的概念，這些 應(yīng)被解釋為并非將本發(fā)明局限于這樣具體闡述的示例和條件。
此外，這里闡述本公開的原理、方面和實(shí)施例以及其具體示例的 所有表述應(yīng)包括其結(jié)構(gòu)和功能的等效物。此外，這樣的等效物應(yīng)包括 當(dāng)前已知的等效物以及未來開發(fā)的等效物，例如，開發(fā)出的執(zhí)行相同
9功能的任何元件，而不論其結(jié)構(gòu)如何。
因此，例如，本領(lǐng)域技術(shù)人員應(yīng)理解，這里呈現(xiàn)的框圖表示了實(shí) 現(xiàn)本公開原理的示意電路圖的概念視圖。類似地，可以認(rèn)識到，任何 流程圖、流程圖表、狀態(tài)轉(zhuǎn)移圖、偽代碼等表示了各種過程，所述過 程可以被實(shí)質(zhì)上表示在計(jì)算機(jī)可讀介質(zhì)中，并從而由計(jì)算機(jī)或處理器 執(zhí)行，而不論是否顯式地示出了這樣的計(jì)算機(jī)或處理器。
可以通過使用專用硬件以及能夠與合適的軟件相關(guān)聯(lián)地執(zhí)行軟 件的硬件，來提供圖中所示的各種元件的功能。在由處理器提供時， 可以由單個專用處理器、單個共享處理器或多個單處理器(其中一些 可以是共享的)來提供該功能。此外，顯式使用的術(shù)語"處理器"或 "控制器"不應(yīng)被解釋為是排他性地指能夠執(zhí)行軟件的硬件，可以隱 含地包括但不限于數(shù)字信號處理器("DSP")硬件、用于存儲軟件
的只讀存儲器("ROM")、隨機(jī)存取存儲器("RAM")、和永久存儲器。
也可以包括其他硬件，不論其為傳統(tǒng)的和/或常規(guī)的。類似地，圖 中所示的任何開關(guān)僅是概念性的?？梢酝ㄟ^程序邏輯的操作、通過專 用邏輯、通過程序控制和專用邏輯的交互，或甚至手動地實(shí)施其功能， 如從上下文中可以更具體地理解的，實(shí)現(xiàn)者可以選擇特定的技術(shù)。
在權(quán)利要求書中，表述為用于執(zhí)行指定功能的裝置的任何元件應(yīng)
包含執(zhí)行該功能的任何方式，例如包括a)執(zhí)行該功能的電路元件的結(jié) 合或者b)任何形式的軟件，從而包括固件、微代碼等，與執(zhí)行該軟件 的適當(dāng)電路相結(jié)合來執(zhí)行該功能。由這樣的權(quán)利要求所限定的本公開
在于以下事實(shí)以權(quán)利要求所要求保護(hù)的方式，將各種所述裝置所提
供的功能結(jié)合并集合在一起。因此，應(yīng)認(rèn)為可以提供這些功能的任何 裝置都與這樣所示的裝置等效。
現(xiàn)在參見圖i，示出了根據(jù)本公開的實(shí)施例的示例系統(tǒng)組件io。
可以提供掃描設(shè)備12用于將膠片14 (例如攝像機(jī)原始膠片負(fù)片)掃描 成數(shù)字格式，例如Cineon格式或者電影電視工程師協(xié)會(SMPTE)的 數(shù)字圖像交換(DPX)文件。掃描設(shè)備12可以包括例如電視電影或者 從膠片生成視頻輸出的任意設(shè)備(如具有視頻輸出的ArriLocProTM)。
10備選地，可以直接使用來自后期制作過程或者數(shù)字電影16的文件(例
如，己經(jīng)具有計(jì)算機(jī)可讀形式的文件)。計(jì)算機(jī)可讀文件的潛在源是
AVIDTM編輯器、DPX文件、D5帶等等。此外，可以由捕捉設(shè)備18來 提供3D內(nèi)容(例如，立體內(nèi)容或者2D圖像和相關(guān)聯(lián)的深度映射)，并 且可以從腳本創(chuàng)建文本文件20 (例如，對話字幕或屏幕字幕文件)并 且由字幕管理者將其提供給系統(tǒng)。
可以對后處理設(shè)備22 (例如計(jì)算機(jī))輸入掃描的膠片、數(shù)字電影 圖像和/或3D內(nèi)容以及文本文件?？梢栽谌我飧鞣N已知的計(jì)算機(jī)平臺上 實(shí)現(xiàn)計(jì)算機(jī)22，該計(jì)算機(jī)平臺具有硬件，如一個或者更多中央處理單 元(CPU)、存儲器24 (如隨機(jī)存取存儲器(RAM)和/或只讀存儲器 (ROM))以及輸入/輸出(I/O)用戶接口26 (如鍵盤、光標(biāo)控制設(shè)備 (例如鼠標(biāo)或者搖桿))以及顯示設(shè)備。該計(jì)算機(jī)平臺還包括操作系統(tǒng) 和微指令代碼。本文描述的各種過程和功能可以是微指令代碼的一部 分或者是經(jīng)由操作系統(tǒng)來執(zhí)行的軟件應(yīng)用程序的一部分(或者是其組 合)。另外，可以通過各種接口和總線結(jié)構(gòu)(如并行端口、串行端口或 者通用串行總線(USB))將各種其它外圍設(shè)備連接至計(jì)算機(jī)平臺。其 它外圍設(shè)備可以包括附加存儲設(shè)備28和打印機(jī)30?？梢允褂么蛴C(jī)30 來打印影片的修訂版本32，例如影片的立體版本，其中已經(jīng)使用下面
描述的文本插入技術(shù)向場景或者多個場景中插入了文本。此外，可以 生成修訂的影片或視頻的數(shù)字文件34并且將其提供給3D顯示設(shè)備，使 得觀看者可以觀看3D內(nèi)容和插入的文本。備選地，可以將數(shù)字文件34 存儲在存儲設(shè)備28中。
如下面更詳細(xì)描述的，軟件程序包括存儲器24中存儲的用于根據(jù) 本公開來將文本與3D內(nèi)容相結(jié)合的文本處理模塊38。
有多種技術(shù)來呈現(xiàn)3D內(nèi)容。最常見的是立體顯示器，立體顯示器 需要有源或無源的眼鏡。使用例如透鏡(Lenticular)的自動立體顯示 器不需要眼鏡并且對于家庭和專業(yè)娛樂正在變得日益可用。很多這些 顯示器在2D+深度格式上操作。在該格式中，將2D視頻和深度信息相 結(jié)合以創(chuàng)建3D效果。
本公開針對一種在3D視頻中插入對話字幕的方法，該方法用于2D+深度和立體類型的顯示器。對于2D+深度顯示器，所提出的方法
在與畫面中的最高深度值相同的水平處插入對話字幕文本。更具體地， 可以連續(xù)調(diào)整所插入的對話字幕的深i值以匹配深度映射的最大深度 值。對于立體內(nèi)容，所提出的方法調(diào)整右圖像中的對話字幕的視差值
(disparity value)。這產(chǎn)生了不阻礙視頻的3D效果的更令人視覺愉快 的對話字幕。
可以用下列兩種方式之一將對話字幕放置在視頻信號上在線 (實(shí)況)或者離線的(后期制作)。在線對話字幕隨事件發(fā)生而進(jìn)行。 在線對話字幕的示例是電視新聞節(jié)目、實(shí)況研討會以及體育事件。可 以從腳本來實(shí)現(xiàn)在線字對話幕，或者實(shí)際上實(shí)時地創(chuàng)建在線對話字幕。 離線對話字幕是在工作室中"在事實(shí)發(fā)生之后"進(jìn)行。離線屏幕字幕 的示例包括電視游戲節(jié)目、錄像帶或電影的DVD、公司錄像帶(例如 培訓(xùn)視頻)、經(jīng)由線纜、衛(wèi)星或者因特網(wǎng)提供的電影等等。在計(jì)算機(jī)上 創(chuàng)建對話字幕的文本，并且使用時間碼將該文本與視頻同步。然后在 廣播或者分發(fā)錄像帶之前將文本和視頻傳送至錄像帶。
在本公開中，對話字幕的創(chuàng)建和分發(fā)優(yōu)選地遵循本領(lǐng)域技術(shù)人員 己知的傳統(tǒng)過程。例如， 一個傳統(tǒng)過程是從腳本創(chuàng)建文本文件。該文 本文件包含三個值(起始幀、結(jié)束幀和文本)。然后在從起始幀至結(jié)束 幀的所有幀中重復(fù)該文本。本公開針對調(diào)整文本位置的深度值，使得 文本位置深度值與視頻幀中的最大深度值相匹配。
在市場中存在多種內(nèi)容格式和顯示器，包括立體的、全息的、以 及自動立體的等等?，F(xiàn)在參見圖2，本公開的一個實(shí)施例針對用于在以 2D+深度格式來操作的自動立體顯示器中插入對話字幕的方法。圖2 示出了2D+深度內(nèi)容格式的示例。更具體地，圖2示出了兩種類型的內(nèi) 容2D圖像40和該2D圖像的深度映射42。深度映射42定義了在2D圖 像40中的每一個像素處的深度值，其中亮的像素表示接近觀察者的點(diǎn)， 暗的像素表示遠(yuǎn)離觀察者的點(diǎn)。
如上所述，存在兩種插入對話字幕的方法針對實(shí)況內(nèi)容的在線 插入以及針對后期制作內(nèi)容的離線插入。如下所述，本公開提出的方 法針對離線和在線對話字幕插入?，F(xiàn)在參見圖3，示出了在深度映射46中插入文本框50并且在2D圖 像44中添加文本48的示例。例如，文本框48是由腳本定義的對話字幕 文本，而文本框50表示在該文本框的每一個點(diǎn)處的恒定深度值。
現(xiàn)在參見圖4，示出了本公開的離線插入過程52。對于對話字幕 的離線插入，在后期制作中創(chuàng)建對話字幕文本圖像并且使用時間碼來 將其與2D視頻同步。在步驟54，通過掃描3D視頻并在內(nèi)容創(chuàng)建期間計(jì)
算每一幀的深度的最大值來確定所插入的文本的深度值。然后，在步 驟56，在具有與該幀的最大深度值相等深度值的對話字幕位置處插入 新文本框，并且在步驟58,將該對話字幕添加至2D圖像44。該過程應(yīng) 當(dāng)在針對該對話字幕而定義的時間間隔期間完成。應(yīng)當(dāng)注意，可以用 任意順序來執(zhí)行步驟56和58，并且最好同時執(zhí)行。
現(xiàn)在參見圖5，示出了本公開的流程圖，該流程圖示出了在線插 入過程60。在在線處理中，無法預(yù)先知道對話字幕的位置并且因此不 能以與針對離線過程52而描述的相同的方式來確定對話字幕的深度 值。在步驟62， 一旦輸入了對話字幕文本，則對對話字幕起始幀的深 度映射進(jìn)行光柵掃描以確定最大深度值，并且在步驟64，在最大深度 值處插入對話字幕文本，并且在步驟66，向2D圖像添加該對話字幕。 應(yīng)當(dāng)注意到，可以用任意順序來執(zhí)行步驟64和66并且最好同時執(zhí)行。 之后在步驟68，確定附加處理資源是否存在。在步驟70中，根據(jù)可用 的處理，當(dāng)附加處理不可用時可以將對話字幕固定在第一幀深度值處， 或者當(dāng)附加處理可用時，可以通過重復(fù)在線處理步驟62-66來確定后續(xù) 幀的深度值。
現(xiàn)在參見圖6，示出了本公開的流程圖，該流程圖示出了具有插 入對話字幕的2D圖像的處理72。存在在2D圖像中已經(jīng)插入對話字幕的 情況，例如如果3D內(nèi)容是從2D內(nèi)容中轉(zhuǎn)換得到的。對于這些情況，在 步驟74，可以通過對話字幕區(qū)域檢測器來標(biāo)識對話字幕的位置，該對 話字幕區(qū)域檢測器能夠使用紋理和顏色信息來檢測并且定位幀中的對 話字幕區(qū)域。對話字幕區(qū)域檢測已經(jīng)成為視頻處理研究中的活躍的研 究方向。根據(jù)當(dāng)前的文獻(xiàn)，對于一些視頻(如新聞視頻)，對話字幕區(qū) 域檢測器可以實(shí)現(xiàn)95%以上的定位精確度。因此，對于3D對話字幕插入而言，對話字幕區(qū)域檢測器應(yīng)當(dāng)是足夠可靠的。 一旦在步驟74定位
了對話字幕區(qū)域(即確定了文本框的坐標(biāo))并且在步驟76將對話字幕文本與圖像隔離(即確定對話字幕的特定像素)，則在步驟78搜索對話字幕起始幀的深度映射(例如進(jìn)行光柵掃描)以確定最大深度值。接下來在步驟80，在最大深度值處插入對話字幕文本。之后，可以應(yīng)用圖5中所示的在線插入過程步驟66-70。
現(xiàn)在參見圖7，還可以擴(kuò)展本公開以覆蓋立體內(nèi)容82。對于立體內(nèi)容，將左或右眼圖像中的文本進(jìn)行偏移，以匹配立體圖像中的最大深度值。例如，可以固定左眼圖像84中的文本88，而調(diào)整或者改變右眼圖像86中的文本。右眼圖像86中的文本90的改變與立體圖像對的視差成正比。該視差值與深度值成反比。
眼睛中的改變是水平方向上的偏移。對于大多數(shù)應(yīng)用，負(fù)偏移(屏幕文本之外)是首選的。然而，本公開允許文本的負(fù)和正偏移。允許的最小偏移值等于最大視覺可接受正值，并且允許的最大偏移值等于最大視覺可接受負(fù)值。圖7示出了立體圖像對的示例，該立體圖像對在右眼圖像86中的文本的具有10像素偏移。
應(yīng)當(dāng)注意到，根據(jù)本公開，需要將文本與3D內(nèi)容(例如立體內(nèi)容或者2D圖像和相關(guān)聯(lián)的深度映射)相結(jié)合，使得該文本有時或者連續(xù)地位于該3D內(nèi)容的最大深度值處。以下進(jìn)一步討論從3D內(nèi)容獲取深度信息的幾種方法。
可以使用主動或者被動的技術(shù)來獲取深度信息。被動方法從常規(guī)光照條件下取得的圖像或者視頻中獲取3D幾何形狀。使用從圖像和視頻中提取的幾何或光度特征來計(jì)算3D幾何形狀。主動方法使用特殊的光源，如激光、結(jié)構(gòu)光或者紅外光。它們基于對象和場景對投影在表面上的特殊光的響應(yīng)來計(jì)算幾何形狀。
單視點(diǎn)方案使用從單一攝像機(jī)視點(diǎn)取得的一幅圖像來恢復(fù)3D幾
何形狀。示例包括光度立體圖像和離焦深度。多視點(diǎn)方案從多個攝像機(jī)視點(diǎn)(由對象運(yùn)動產(chǎn)生，或者具有不同的光源位置)取得的多幅圖像中恢復(fù)3D幾何形狀。立體匹配是通過將立體圖像對中的左圖像和右圖像中的像素進(jìn)行匹配以獲得像素的深度信息來實(shí)現(xiàn)多視點(diǎn)3D恢復(fù)的示例。
幾何方法通過檢測幾何特征(如單一或者多幅圖像中的角、線或者輪廓)來恢復(fù)3D幾何形狀?？梢允褂盟崛〉慕恰⒕€或者輪廓間的
空間關(guān)系來推斷出圖像中的像素的3D坐標(biāo)。光度方法基于場景表面的朝向產(chǎn)生的圖像像斑(patche)的蔭影或陰影來恢復(fù)3D幾何形狀。
對于本公開的應(yīng)用，存在三種可能類型的內(nèi)容計(jì)算機(jī)生成的內(nèi)
容、立體內(nèi)容以及2D內(nèi)容。對于計(jì)算機(jī)生成的內(nèi)容(如動畫中使用的內(nèi)容)，使用非常有限的處理可以獲得深度信息。對于立體內(nèi)容，通過匹配左圖像的像素和右圖像中的像素，可以使用左和右圖像來生成深度。最復(fù)雜的情況是2D內(nèi)容的情況。大多數(shù)當(dāng)前技術(shù)牽涉過度人工處理并且因此必須離線完成。對于數(shù)字電影應(yīng)用來說，將2D內(nèi)容轉(zhuǎn)換為立體圖像對以用于在數(shù)字影院中播放。 一旦獲得了立體圖像對，可以使用立體技術(shù)來獲得深度映射。 一般地，對于對話字幕應(yīng)用，通常不需要高精確性和密集的深度映射。
盡管本文中已經(jīng)詳細(xì)地示出和描述了使用本公開教義的實(shí)施例，本領(lǐng)域技術(shù)人員可以容易地設(shè)計(jì)出仍使用該教義的很多其它改變的實(shí)施例。已經(jīng)描述了用于在聯(lián)網(wǎng)計(jì)算環(huán)境中具有最優(yōu)圖像數(shù)據(jù)劃分方案的并行圖像處理的系統(tǒng)和方法的優(yōu)選實(shí)施例(應(yīng)作為示意性而非限制性)，但是應(yīng)當(dāng)注意，根據(jù)上述教義，本領(lǐng)域技術(shù)人員可以做出修改和變型。因此，應(yīng)當(dāng)理解，在所附權(quán)利要求所概括的本公開的范圍內(nèi)，可以對本公開所公開的特定實(shí)施例中進(jìn)行改變。
權(quán)利要求
1、一種用于將文本與三維圖像內(nèi)容相結(jié)合的方法，所述方法包括下列步驟接收(54)三維圖像內(nèi)容；確定(54)三維內(nèi)容的最大深度值；以及在所述最大深度值處將文本與所述三維圖像內(nèi)容相結(jié)合(58)。
2、 根據(jù)權(quán)利要求l所述的方法，其中，接收三維圖像內(nèi)容的步驟包括接收(54) 二維圖像(40)和深度映射(42)。
3、 根據(jù)權(quán)利要求2所述的方法，其中，確定(54)最大深度值的步驟包括檢測所述深度映射中哪個對象具有最大深度值。
4、 根據(jù)權(quán)利要求l所述的方法，其中，將文本與三維內(nèi)容相結(jié)合(58)的步驟包括將所述文本重疊在所述二維圖像上，并且將所述文本放置在所述深度映射中的所述最大深度值處。
5、 根據(jù)權(quán)利要求l所述的方法，其中，所述三維圖像內(nèi)容包括多個幀，并且，針對每一幀來進(jìn)行確定(62)最大深度值和在所述最大深度值處將文本與三維圖像內(nèi)容相結(jié)合(64、 66)的步驟。
6、 根據(jù)權(quán)利要求l所述的方法，其中，所述三維圖像內(nèi)容包括多個幀，并且，針對少于全部所述多個幀的幀來進(jìn)行確定(62)最大深度值和在所述最大深度值處將文本與三維圖像內(nèi)容相結(jié)合(64、 66)的步驟。
7、 根據(jù)權(quán)利要求l所述的方法，還包括下列步驟確定(74)所述三維內(nèi)容是否包含文本；將所述文本與所述三維內(nèi)容隔離(76);以及在所述最大深度值處將所隔離的文本與所述三維內(nèi)容相結(jié)合(78、 80)。
8、 根據(jù)權(quán)利要求l所述的方法，其中，所述文本是對話字幕、隱藏字幕以及開放字幕之一。
9、 根據(jù)權(quán)利要求l所述的方法，其中，確定三維內(nèi)容的最大深度值的步驟包括檢測立體圖像(82)中的對象的最大深度值，所述立體圖像(82)包括左眼圖像(84)和右眼圖像(86)。
10、 根據(jù)權(quán)利要求9所述的方法，其中，將文本與三維圖像相結(jié)合的步驟包括將文本(88)重疊在所述左眼圖像(84)上；將文本(90)重疊在所述右眼圖像(86)上；以及將所述右眼圖像(86)中的所述文本(90)偏移，使得結(jié)合后的左眼和右眼文本在所述立體圖像的所述最大深度值處可顯示。
11、 一種將文本與三維圖像內(nèi)容一起顯示的方法，所述方法包括下列步驟接收(18、 20)三維圖像內(nèi)容和文本，所述三維圖像內(nèi)容具有最大深度值；顯示(36)所述三維圖像內(nèi)容；以及在所述最大深度值處顯示(36)所述文本。
12、 根據(jù)權(quán)利要求ll所述的方法，還包括下列步驟確定(54)所述三維圖像內(nèi)容的最大深度值。
13、 根據(jù)權(quán)利要求12所述的方法，其中，確定(54)步驟包括檢測所述三維圖像內(nèi)容中哪個對象具有最大深度值。
14、 根據(jù)權(quán)利要求12所述的方法，其中，所述三維圖像內(nèi)容包括多個幀，并且，針對每一幀來進(jìn)行確定(62)最大深度值和在所述最大深度值處顯示(36)所述文本的步驟。
15、 根據(jù)權(quán)利要求12所述的方法，其中，所述三維圖像內(nèi)容包括多個幀，并且，針對少于全部所述多個幀的幀來進(jìn)行確定(62)最大深度值和在所述最大深度值處顯示(36)所述文本的步驟。
16、 根據(jù)權(quán)利要求ll所述的方法，其中，所述文本是對話字幕、隱藏字幕以及開放字幕之一 。
17、 根據(jù)權(quán)利要求ll所述的方法，還包括下列所述步驟確定(74)所述三維內(nèi)容是否包含文本；將所述文本與所述三維內(nèi)容隔離(76);以及在所述最大深度值處顯示(36)所隔離的文本。
18、 根據(jù)權(quán)利要求ll所述的方法，其中，確定三維內(nèi)容的最大深度值的步驟包括檢測立體圖像(82)中的對象的最大深度值，所述立體圖像包括左眼圖像(84)和右眼圖像(86)。
19、 根據(jù)權(quán)利要求18所述的方法，其中，將文本與三維圖像相結(jié)合的步驟包括將文本(88)重疊在所述左眼圖像(84)上； 將文本(90)重疊在所述右眼圖像(86)上；以及 將所述右眼圖像(86)中的所述文本(90)偏移，使得結(jié)合后的 左眼和右眼文本在所述立體圖像的所述最大深度值處可顯示。
20、 一種用于將文本與三維圖像內(nèi)容相結(jié)合的系統(tǒng)，所述系統(tǒng)包括用于接收(54)三維圖像內(nèi)容的裝置；用于確定(54)三維內(nèi)容的最大深度值的裝置；以及用于在所述最大深度值處將文本與所述三維圖像內(nèi)容相結(jié)合(58)的裝置。
21、 根據(jù)權(quán)利要求20所述的系統(tǒng)，其中，用于接收三維圖像內(nèi)容 的裝置包括用于接收(54) 二維圖像(40)和深度映射(42)的裝置。
22、 根據(jù)權(quán)利要求21所述的系統(tǒng)，其中，用于確定(54)最大深 度值的裝置包括用于檢測所述深度映射中哪個對象具有最大深度值的 裝置。
23、 根據(jù)權(quán)利要求20所述的系統(tǒng)，其中，用于將文本與三維內(nèi)容 相結(jié)合(58)的裝置包括用于將所述文本重疊在所述二維圖像上的裝 置以及用于將所述文本放置在所述深度映射中的所述最大深度值處的 裝置。
24、 根據(jù)權(quán)利要求20所述的系統(tǒng)，其中，所述三維圖像內(nèi)容包括 多個幀，并且，用于確定(62)最大深度值的裝置和用于在所述最大 深度值處將文本與三維圖像內(nèi)容相結(jié)合(64、 66)的裝置對每一幀進(jìn) 行操作。
25、 根據(jù)權(quán)利要求20所述的系統(tǒng)，其中，所述三維圖像內(nèi)容包括 多個幀，并且，用于確定(62)最大深度值的裝置和在所述最大深度 值處將文本與三維圖像內(nèi)容相結(jié)合(64、 66)的裝置對少于全部所述多個幀的幀進(jìn)行操作。
26、 根據(jù)權(quán)利要求20所述的系統(tǒng)，還包括 用于確定(74)所述三維內(nèi)容是否包含文本的裝置； 用于將所述文本與所述三維內(nèi)容隔離(76)的裝置；以及 用于在所述最大深度值處將所隔離的文本與所述三維內(nèi)容相結(jié)合(78、 80)的裝置。
27、 根據(jù)權(quán)利要求20所述的系統(tǒng)，其中，所述文本是對話字幕、 隱藏字幕以及開放字幕之一。
28、 根據(jù)權(quán)利要求20所述的系統(tǒng)，其中，用于確定三維內(nèi)容的最 大深度值的裝置包括用于檢測立體圖像(82)中的對象的最大深度值 的裝置，所述立體圖像(82)包括左眼圖像(84)和右眼圖像(86)。
29、 根據(jù)權(quán)利要求28所述的系統(tǒng)，其中，用于將文本與三維圖像 相結(jié)合的步驟包括用于將文本(88)重疊在所述左眼圖像(84)上的裝置； 用于將文本(90)重疊在所述右眼圖像(86)上的裝置；以及 用于將所述右眼圖像(86)中的所述文本(90)偏移，使得結(jié)合后的左眼和右眼文本在所述立體圖像的所述最大深度值處可顯示的裝置。
30、 一種用于將文本與三維圖像內(nèi)容一起顯示的系統(tǒng)，所述系統(tǒng)包括用于接收(18、 20)三維圖像內(nèi)容和文本的裝置，所述三維圖像 內(nèi)容具有最大深度值；用于顯示(36)所述三維圖像內(nèi)容的裝置；以及 用于在所述最大深度值處顯示(36)所述文本的裝置。
31、 根據(jù)權(quán)利要求30所述的系統(tǒng)，還包括用于確定(54)所述三維圖像內(nèi)容的最大深度值的裝置。
32、 根據(jù)權(quán)利要求31所述的系統(tǒng)，其中，用于確定(54)的裝置包括用于檢測所述三維圖像內(nèi)容中哪個對象具有最大深度值的裝置。
33、 根據(jù)權(quán)利要求31所述的系統(tǒng)，其中，所述三維圖像內(nèi)容包括 多個幀，并且，用于確定(54)最大深度值的裝置和用于在所述最大深度值處顯示(36)所述文本的裝置對每一幀進(jìn)行操作。
34、 根據(jù)權(quán)利要求31所述的系統(tǒng)，其中，所述三維圖像內(nèi)容包括 多個幀，并且，用于確定(54)最大深度值的裝置和用于在所述最大 深度值處顯示(36)所述文本的裝置對少于全部所述多個幀的幀進(jìn)行 操作。
35、 根據(jù)權(quán)利要求30所述的系統(tǒng)，其中，所述文本是對話字幕、 隱藏字幕以及開放字幕之一 。
36、 根據(jù)權(quán)利要求30所述的系統(tǒng)，還包括 用于確定(74)所述三維內(nèi)容是否包含文本的裝置； 用于將所述文本與所述三維內(nèi)容隔離(76)的裝置；以及 用于在所述最大深度值處顯示(36)所隔離的文本的裝置。
37、 根據(jù)權(quán)利要求30所述的系統(tǒng)，其中，用于確定三維內(nèi)容的最 大深度值的裝置包括用于檢測立體圖像(82)中的對象的最大深度值 的裝置，所述立體圖像(82)包括左眼圖像(84)和右眼圖像(86)。
38、 根據(jù)權(quán)利要求37所述的系統(tǒng)，其中，用于將文本與三維圖像 相結(jié)合的裝置包括用于將文本(88)重疊在所述左眼圖像(84)上的裝置； 用于將文本(90)重疊在所述右眼圖像(86)上的裝置；以及 用于將所述右眼圖像(86)中的所述文本(90)偏移，使得結(jié)合后的左眼和右眼文本在所述立體圖像的所述最大深度值處可顯示的裝置。
全文摘要
本發(fā)明描述了一種用于將文本與三維3D內(nèi)容相結(jié)合和/或一起顯示的系統(tǒng)(10)和方法(52、60、72)。所述系統(tǒng)(10)和方法(52、60、72)在與3D內(nèi)容中的最高深度值相同的水平處插入文本。3D內(nèi)容的一個示例是二維圖像(44)以及相關(guān)聯(lián)的深度映射(46)。在本情況中，調(diào)整所插入文本(50)的深度值以匹配給定深度映射的最大深度值。3D內(nèi)容的另一個示例是多幅二維圖像和相關(guān)聯(lián)的深度映射。在本情況中，連續(xù)調(diào)整所插入文本的深度值以匹配給定深度映射的最大深度值。3D內(nèi)容的又一個示例是具有右眼圖像(86)和左眼圖像(84)的立體內(nèi)容(82)。在本情況中，將左眼圖像(84)和右眼圖像(86)之一中的文本(88、90)偏移，以匹配立體圖像中的最大深度值。3D內(nèi)容的另一個示例是具有多幅右眼圖像和左眼圖像的立體圖像。在本情況中，將左眼圖像或者右眼圖像之一中的文本連續(xù)偏移，以匹配立體圖像中的最大深度值。因此，本公開的系統(tǒng)(10)和方法(52、60、72)產(chǎn)生與3D內(nèi)容相結(jié)合的文本，其中所述文本不阻礙3D內(nèi)容中的3D效果并且在觀看者觀看時不產(chǎn)生視覺疲勞。
文檔編號H04N13/00GK101653011SQ200780051990
公開日2010年2月17日 申請日期2007年12月19日 優(yōu)先權(quán)日2007年3月16日
發(fā)明者伊則特·伊則特, 張東慶, 約瑟夫·瓦瑟夫·尼吉姆 申請人:湯姆森許可貿(mào)易公司