采用畫中畫的手語窗口的制作方法
【技術(shù)領(lǐng)域】
[0001] 本申請設(shè)及采用畫中畫的手語窗口。本申請設(shè)及美國專利No. 7319753、7765567、 7823174、7882517、7992167、8051443、8041190、8392942、8435172、8453172、8645988、 8667525,所有運些專利均授予Candelore等，并且完全或部分地轉(zhuǎn)讓給本申請的受讓 人。本申請還設(shè)及美國專利申請No. 14/503, 548和14/503, 514,它們的發(fā)明名稱分別為 "沈LECTIVE SIGN LANGUAGE LOCATION"和"沈LECTIVE ENABLEMENT OF SIGN LANGUAGE DISPLAY",兩者均歸于化intani和Candelore,并且與本申請是在同一日期提交的。運里通 過引用將運些專利和申請中的每個并入本文。
[0002] 本專利文檔的公開內(nèi)容的一部分包含受到版權(quán)保護的資料。由于本專利文檔或本 專利公開內(nèi)容出現(xiàn)在專利與商標局專利文件或記錄中，因此版權(quán)所有人不反對任何人對本 專利文檔或本專利公開內(nèi)容的復(fù)制，但會W其他方式保留任何形式的所有版權(quán)權(quán)利。商標 是其相應(yīng)的所有者的財產(chǎn)。
【背景技術(shù)】
[0003] 在模擬和數(shù)字電視系統(tǒng)中均采用隱藏字幕使聽力損害者能夠閱讀電視對白的字 幕，從而更容易地了解電視節(jié)目。正在開發(fā)高級電視系統(tǒng)委員會（ATSC)標準3.0,使之包含 更加高級的規(guī)定，從而為具有各種感知障礙的用戶提供便利。
【附圖說明】
[0004] 通過參考詳細說明書并且結(jié)合附圖，可W最佳地來理解示出操作的組合和方法的 特定示范性實施例W及目標和優(yōu)點，其中：
[0005] 圖1示出了具有手語窗口的視頻顯示器。
[0006] 圖2是按照與本發(fā)明的某些示范性實施例一致的方式具有多個手語窗口位置的 顯示的示范性圖示。
[0007] 由圖3A至圖3F組成的圖3,是按照與本發(fā)明的某些示范性實施例一致的方式在多 個手語窗口位置之間進行循環(huán)W及開啟和關(guān)閉手語窗口的機制的示范性圖示。
[0008] 圖4示出了與本發(fā)明的某些示范性實施例一致的具有手語控制鍵的示范性遙控 器。
[0009] 圖5是與本發(fā)明的某些示范性實施例一致的在多個手語窗口位置之間進行循環(huán) W及開啟和關(guān)閉控制的示范性過程。
[0010] 圖6是與本發(fā)明的某些示范性實施例一致的在所顯示的主要圖像的左上角附近 具有手語窗口的顯示的圖示。
[0011] 圖7 W舉例的方式示出了與本發(fā)明的某些示范性實施例一致的所顯示圖像的手 語窗口的四個位置W及宏塊（microblock)的示范性視頻切片。
[0012] 圖8是與本發(fā)明的某些示范性實施例一致的具有示范性宏塊和視頻切片的手語 窗口的例子。
[0013] 圖9是按照與本發(fā)明的某些示范性實施例一致的方式對主要節(jié)目內(nèi)容加 W處理 W包含手語窗口位置和手語內(nèi)容的方法的示范性過程200的流程圖。
[0014] 圖10是描繪按照與本發(fā)明的某些實施例一致的方式對手語窗口內(nèi)的主要信道內(nèi) 容重新編碼的示范性過程的流程圖。
[0015] 圖11是描繪按照與本發(fā)明的某些實施例一致的方式對手語窗口內(nèi)的主要節(jié)目內(nèi) 容重新編碼的示范性過程的流程圖。
[0016] 圖12是描繪按照與本發(fā)明的某些實施例一致的方式對手語窗口外的主要信道內(nèi) 容重新編碼的示范性過程的流程圖。
[0017] 圖13是與本發(fā)明的某些示范性實施例一致的在手語窗口位置具有手語內(nèi)容和重 新編碼主要節(jié)目內(nèi)容的主要節(jié)目內(nèi)容的示范性包（package)。
[0018] 圖14是按照與本發(fā)明的某些示范性實施例一致的方式對手語內(nèi)容連同重新編碼 的主要節(jié)目內(nèi)容進行編碼的編碼器裝置的示范性例子的方框圖。
[0019] 圖15是按照與本發(fā)明的某些示范性實施例一致的方式對手語內(nèi)容和主要節(jié)目內(nèi) 容解碼的接收機裝置的示范性例子的方框圖。
[0020] 圖16是與本發(fā)明的某些示范性實施例一致的手語內(nèi)容置換（substitution)的示 范性過程的流程圖。
[0021] 圖17是與本發(fā)明的某些示范性實施例一致的手語內(nèi)容置換的示范性過程的流程 圖。
[0022] 圖18是描繪與本發(fā)明的某些示范性實施例一致的數(shù)據(jù)布置的圖示。
[0023] 圖19是與本發(fā)明的某些示范性實施例一致的示范性狀態(tài)機的示范性狀態(tài)圖。
[0024] 圖20是與本發(fā)明的某些示范性實施例一致的接收機裝置的示范性方框圖。
[0025] 圖21是描繪與本發(fā)明的某些示范性實施例一致的示范性解碼過程的流程圖。
[0026] 圖22是描繪與本發(fā)明的某些示范性實施例一致的示范性數(shù)據(jù)布置的圖示。
[0027] 圖23是描繪與本發(fā)明的某些示范性實施例一致的示范性解碼過程的流程圖。
[0028] 圖24是與本發(fā)明的某些示范性實施例一致的示范性系統(tǒng)方框圖。
[0029] 圖25是與本發(fā)明的某些示范性實施例一致的示范性實施過程的流程圖。
[0030] 圖26示出了按照與本發(fā)明的某些示范性實施例一致的方式采用與主要節(jié)目內(nèi)容 分離的IP包傳達手語的示范性實現(xiàn)的包布置。
[0031] 圖27示出了按照與本發(fā)明的某些示范性實施例一致的方式采用與主要節(jié)目內(nèi)容 相同的IP包傳達手語的示范性實現(xiàn)的包布置。
[0032] 圖28示出了按照與本發(fā)明的某些示范性實施例一致的方式執(zhí)行的包置換。
【具體實施方式】
[0033] 本文通篇提到的"一個實施例"、"某些示范性實施例"、"例子"、"實施例"、"一個例 子"、"實施方式"或類似用語是指聯(lián)系所述實施例、例子或?qū)嵤┓绞矫枋龅木唧w特征、結(jié)構(gòu) 或特點包含在在本發(fā)明的至少一個實施例、例子或?qū)嵤┓绞疆斨?。因而，在本說明書從頭到 尾的各處出現(xiàn)的運樣的短語未必全都是指同一實施例、例子或?qū)嵤┓绞健４送?，可W不受限 制地在一個或更多實施例、例子或?qū)嵤┓绞街型ㄟ^任何適當?shù)姆绞浇Y(jié)合所述特定特征、結(jié) 構(gòu)或特點。
[0034] 文中采用的詞語"或"將被解釋為邏輯"或"，其指任何一個或任何組合。因此/'A、 B或C"是指下述的任何選項：A ;B ;C ;A和B ;A和C巧和C ;A、B和C。只有在元件、功能、步 驟或動作的組合通過某種方式發(fā)生內(nèi)在的相互排斥時才會出現(xiàn)運一定義的例外情況。
[0035] 文中采用的單數(shù)冠詞被定義為一個或不只一個。文中采用的詞語"多個"被定義 為兩個或超過兩個。文中采用的詞語"另一個"被定義為至少第二個或更多。文中采用的 詞語"包括"和/或"具有"被定義為含有（即開放性用語）。
[0036] 文中采用的詞語"禪合"被定義為連接，但是其未必是直接的，也未必是機械的。
[0037] 文中采用的詞語"程序"或"計算機程序"或類似詞語被定義為經(jīng)設(shè)計供計算機系 統(tǒng)運行的指令序列。"程序"或"計算機程序"可W包括子例程、函數(shù)、過程、目標方法、目標 實現(xiàn)、可執(zhí)行應(yīng)用、app、窗口小部件、小應(yīng)用程序、小服務(wù)程序、源代碼目標代碼、草案、共享 庫/動載荷庫和/或其他被設(shè)計為在計算機系統(tǒng)上運行的指令序列。文中采用的詞語"處 理器"、"控制器"、"CPU"、"計算機"等既包含硬編程裝置、專用裝置、通用裝置、可編程裝置， 又可W不受限制地按照分布式或集中式配置包含多個運樣的裝置或單個裝置。
[003引文中采用的詞語"非暫態(tài)"意在描述將信號和傳播媒介排除在外的存儲介質(zhì)。例 子包括磁盤存儲器、光存儲器、只讀存儲器、閃速存儲器和隨機存取存儲器。非暫態(tài)一詞僅 意在排除傳播波，而不排除能夠重寫的存儲器或者在掉電時失去其存儲信息的存儲器。
[0039] 文中采用的"程序"一詞也可W用于第二種語境下（上述定義是針對第一種語境 的）。在第二種語境下，該詞的使用具有"電視節(jié)目"或"節(jié)目"的意義?？稍诓豢紤]提供方 法（例如，廣播、有線、衛(wèi)星、Internet等）的情況下應(yīng)用該詞。在運一語境下，采用該詞表 示任何音頻視頻內(nèi)容的連貫序列，例如，那些將被解釋為或者在電子節(jié)目導(dǎo)播巧PG)中被 報告為單個電視節(jié)目的內(nèi)容，而不考慮所述內(nèi)容是電影、體育賽事、多集連續(xù)劇的一集，還 是新聞廣播等。該詞也可W被解釋為包含商業(yè)插播廣告W及其他在電子節(jié)目導(dǎo)視中未報告 為節(jié)目但類似于節(jié)目的統(tǒng)一內(nèi)容。也可W按照一般的常規(guī)意義解釋詞語"節(jié)目"、"電視節(jié) 目"和"節(jié)目內(nèi)容"W及類似詞語，W及使其具有運樣的含義，即所述詞語是指任何能夠在電 視顯示器或類似監(jiān)視器裝置上顯示的A/V內(nèi)容的任何片段。
[0040] 詞語"機頂盒"或"STB"與詞語"機頂終端"同義，并且其使用方式就是有線電視 行業(yè)的常規(guī)方式，即用作為通過有線電視基礎(chǔ)設(shè)施接收的電視信息提供解調(diào)和解碼的電視 部件。所述詞語可W擴展至實現(xiàn)類似目的的衛(wèi)星、Internet和廣播電視裝置。
[0041] 文中采用的"接收機裝置"被用作充當接收器、解碼器等的裝置（用于電視節(jié)目播 放或類似的音頻/視頻內(nèi)容）的通用術(shù)語，所述裝置包括但不限于電視機、電視接收機、有 線或衛(wèi)星機頂盒或機頂終端、電視接收機模塊、Internet協(xié)議電視接收機/解碼器裝置、具 有調(diào)諧器或者可W訪問電視音頻/視頻內(nèi)容的數(shù)字視頻記錄器等。
[0042] 文中采用的"視頻"一詞不僅包括真正的可視信息，而且具有會話的意思（例如， 視頻磁帶記錄器），其不僅包括純粹的視頻信號，還包括與相關(guān)音頻、控制和其他數(shù)據(jù)打包 到一起視頻信號。
[004引詞語"視頻帖"或"帖"是指數(shù)據(jù)的單個視頻帖，其將占據(jù)漸次編碼顯示器，從而實 現(xiàn)一次完整傳送的呈現(xiàn)，例如，所述呈現(xiàn)是從左上到右下。
[0044] 詞語"視頻子帖"或"子帖"是指視頻帖內(nèi)的完整獨立圖像，例如，如本文所討論的 含有手語視頻的手語窗口的呈現(xiàn)。
[0045] 文中采用的詞語"打包介質(zhì)"和類似詞語意在包含記錄介質(zhì)，例如，數(shù)字通用盤 值VD)、緊致盤（CD) W及其他磁、光或其他記錄介質(zhì)，它們一般被商品化為含有電子存儲介 質(zhì)的打包，并且作為零售商品出售，其與可電子下載的數(shù)據(jù)流形成對照。
[0046] "手語"一詞是指所謂的"聾啞手語"，包括鄉(xiāng)村和社區(qū)手語。手語是手勢（統(tǒng)稱為 手和臂的姿勢）的語言，它們一般用作替代或者加強話音和唇讀的交流語言，從而為聽力 損害者提供便利。手語意在表現(xiàn)姿勢，所述姿勢用于與聽力損害者進行非口頭的交流或者 改善交流。例子包括但不限于標準美國手語及其各種速記擴展，而不管從地區(qū)變化W及W 語言、地點和其他促成了各種手語差異的因素為基礎(chǔ)的差異的角度來看所述手勢是不是標 準化的W及為人們普遍識得的。
[0047] 詞語"手語窗口 "（SLW)是指所顯示的圖像內(nèi)的窗口狀顯示，其含有或者被指定為 含有手語視頻內(nèi)容。
[0048] 采用詞語"宏塊"表示由用于生成視頻畫面的一個或多個數(shù)據(jù)塊的集合形成的目 標。運一術(shù)語與各種MPEG (運動圖像專家組）視頻標準W及AVC (高級視頻編碼）中對該 詞語的使用一致，但是又不限于此，因為也可W將該詞語解讀為其他標準中的等價結(jié)構(gòu)。
[0049] 詞語"內(nèi)容置換"或"內(nèi)容替換"是指至少對顯示器的一部分采用其他內(nèi)容置換顯 示器上顯示的視頻內(nèi)容。
[0050] 詞語"包標識符"或"PID"的使用方式與MPEG程序和系統(tǒng)協(xié)議（PSm中的常規(guī) 使用一致，但是其能夠等同地表示使用方式與PSIPPID相同的數(shù)據(jù)構(gòu)造。
[005。 詞語"I帖"是指與各種MPEG標準中的使用一致的帖間編碼視頻帖。I帖是獨立 的并且不依賴于來自相鄰的或者附近的視頻帖的視頻數(shù)據(jù)的視頻帖。
[0052] 詞語"P帖"是指在MPEG W及其他視頻壓縮技術(shù)中用于通過參考在先帖并且通過 預(yù)測遺漏數(shù)據(jù)而建立完整視頻帖的帖內(nèi)編碼預(yù)測性視頻帖。
[005引詞語"B帖"是指在MPEG W及其他視頻壓縮技術(shù)中用于通過參考所述B帖的在先 視頻帖和隨后視頻帖而建立完整視頻帖的帖內(nèi)編碼雙向視頻帖。
[0054] 文中采用的"I包"一詞是指傳送I帖的至少一部分的包。
[00巧]詞語"I宏塊"意在表示要么僅含有I包，要么是不依賴存在于宏塊外部的視頻數(shù) 據(jù)的視頻宏塊。也就是說，所述宏塊可W包括處于宏塊內(nèi)的P數(shù)據(jù)或B數(shù)據(jù)，但是不依賴于 其他處于宏塊外部的數(shù)據(jù)。
[0056] 詞語叩宏塊"和"B宏塊"是指采用來自其他宏塊的數(shù)據(jù)進行帖內(nèi)編碼的宏塊。
[0057] 文中采用的詞語"I編碼位置"或"帖間編碼"位置等是指視頻帖中的一個區(qū)域，該 區(qū)域被編碼為使得所述位置的每個切片（slice)都開始并且結(jié)束于I宏塊，或者被編碼為 使所述位置是自持的，并且對存在于所述位置之外的數(shù)據(jù)不存在空間或時間依賴性。
[0058] 盡管本發(fā)明容許存在很多不同形式的實施例，但是附圖中示出了并且在本發(fā)明的 具體實施例內(nèi)進行了詳細說明，應(yīng)當理解，應(yīng)當對運樣的實施例的公開看作是對原理的舉 例說明，而不是旨在使本發(fā)明局限于所示出和描述的具體實施例。在下述描述當中，采用類 似的附圖標記描述幾幅附圖的圖示當中的相同、類似或?qū)?yīng)部分。
[0059] 上文描述的具有共同所有者的專利所描述的發(fā)明設(shè)及一般被稱為內(nèi)容置換的方 法的各個方面W及用于所述方法的設(shè)備。
[0060] -些具有聽力損害的人可能喜歡手語更勝于隱藏字幕。在一些情況下，可能無法 選擇隱藏字幕。在普通的電視節(jié)目播放中顯示手語窗口的一個問題是，與隱藏字幕一樣，一 些人可能認為它們非常分散注意力，如果運些人不是需要它們的觀眾的話。而且，手語窗口 還占據(jù)著顯示屏的一部分，可能覆蓋主要內(nèi)容或者使其模糊。
[0061] 參考圖1，一些電視節(jié)目播放（例如，緊急記者招待會或演講）是采用處于顯示器 100上所呈現(xiàn)的主要內(nèi)容之內(nèi)的窗口進行廣播的，所述窗口包括將講話內(nèi)容翻譯成手語的 解譯人員。通過圖1的例子對此進行舉例說明。在顯示器100的主要觀看區(qū)域內(nèi)提供主要 內(nèi)容104。手語解譯人員出現(xiàn)在手語窗口（SLW) 108內(nèi)，從而將會話轉(zhuǎn)化成手語，例如，美國 手語。但是，對于那些不需要手語翻譯的人來講，其可能分散人的注意力。因而，運一內(nèi)容 通常是一開始就嵌入的，觀眾不能禁用手語或者將手語移到喜歡的位置。能夠根據(jù)需要或 預(yù)期打開或關(guān)閉手語窗口將是可取的。運樣，那些需要手語的人能夠看到手語，而在聽力沒 有被損害的觀眾正在觀看所述主要內(nèi)容時，其他人可W在不需要時將其關(guān)閉。
[0062] 為了對兩種或更多種類型的數(shù)字電視內(nèi)容信號進行區(qū)分，即，對主要射頻內(nèi)容和 含有用于提供音頻的手語解釋的圖像的輔助內(nèi)容進行區(qū)分，可W利用多個包標識符（例 如，順應(yīng)MPEG的PID)。一般而言，采用單組的包標識符來識別特定的電視節(jié)目。于是，電視 接收機裝置將所有的適當視頻內(nèi)容重新映射至單個PID或者單個PID集合，W供重放。
[0063] 與本發(fā)明一致的某些實施例利用與內(nèi)容的可置換宏塊相關(guān)的多個PID作為提供 內(nèi)容置換的機制，其使得手語窗口（SLW)能夠連同主要內(nèi)容一道顯示?？蒞對手語窗口進 行啟用、禁用，或者將其指定為存在于顯示器上的多個標示位置之一上?？蒞在不需要帶寬 的顯著增加的情況下化合理的硬件成本采用本教導(dǎo)實現(xiàn)運一目的。
[0064] 就與本教導(dǎo)一致的一個方面而言，在上文引用的專利中描述的帖內(nèi)"包交換"適于 在需要時實現(xiàn)手語內(nèi)容對主要內(nèi)容的一部分的置換，或者在不想要或不需要手語內(nèi)容的可 用性時關(guān)閉手語內(nèi)容。就運一方面而言，內(nèi)容創(chuàng)建者創(chuàng)建主要內(nèi)容和用于置換到顯示屏的 一個或多個預(yù)定義區(qū)域內(nèi)的手語內(nèi)容。所述主要內(nèi)容和手語內(nèi)容被交織（interwoven)到 合并內(nèi)容流內(nèi)。
[0065] 在另一個將在本文中首先討論的方面當中，受到替換的主要內(nèi)容并未固定至屏幕 上的單個特定點。主要內(nèi)容包和手語內(nèi)容"替換"包將不再是交織的，而是將替換數(shù)據(jù)在它 們將要替換的帖當中的數(shù)據(jù)之前進行發(fā)送。運樣的替換包在編碼時與一個或多個可能位置 "帖同步"。在其他實施例中，將所述位置固定到單個位置上，但是在任一種情況下都能夠開 啟或關(guān)閉手語窗口。
[0066] 如上所述，能夠?qū)⒁曨l創(chuàng)建為具有嵌入到視頻內(nèi)的插圖畫面，該插圖畫面顯示W(wǎng) 手語進行交流的人。但是，不存在允許顯示或者忽略手語的用戶控制，因為其被處理為主要 節(jié)目內(nèi)容的部分。根據(jù)本教導(dǎo)，提供了一種用于在用戶控制之下向視頻提供針對手語支持 的有效率的方案。只有在用戶希望看到手語窗口時，手語窗口才是可見的；否則所述窗口不 可見，并且所述圖像含有普通的主要視頻節(jié)目內(nèi)容。其有效率地使得用戶能夠啟用具有手 語的節(jié)目版本（針對聽力損害者）和不具有手語的版本（針對非聽力損害者）。在某些實 施例中