專利名稱：基于話音和手勢控制而進行的畫中畫重定位和/或尺寸調(diào)整的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種改善家庭電視的使用的方法和裝置。特別地，本發(fā)明涉及一種可被重定位和/或調(diào)整尺寸的畫中畫(PIP)顯示。
背景技術(shù)：
在電視顯示器上同時顯示多于一個視頻畫面的性能對于電視來說是很常見的。通常該顯示器被分為兩個或多個部分，其中該顯示器的一個主要部分被用于顯示第一視頻數(shù)據(jù)流(例如一個給定的電視頻道)。第二視頻數(shù)據(jù)流被同時地顯示在一個顯示框中，該顯示框像插圖一樣被顯示在第一數(shù)據(jù)流的顯示畫面之上。該插入框通常被表示為畫中畫顯示(“PIP”)。此PIP具有使電視觀眾可同時觀看兩個或多個視頻數(shù)據(jù)流的功能。該功能在這種情況下是很有用的，當一個給定電視頻道上開始一個商業(yè)片斷時，觀眾希望在此商業(yè)片斷期間“搜索”其它的選擇電視頻道，然而又不希望錯過返回商業(yè)片斷的觀看。在其它時候，觀眾可能希望搜索其它的視頻內(nèi)容，或是僅僅觀看其它內(nèi)容而不錯過另一個選擇頻道的內(nèi)容。
在任何情況下，PIP的問題在于PIP通常都是在覆蓋在一個主要畫面之上的一個插入框中顯示。覆蓋的PIP由于主畫面的一部分被遮蓋，因而效果不理想。
在現(xiàn)有的系統(tǒng)中，PIP可利用遙控輸入來實現(xiàn)，從而用戶可決定PIP的尺寸以避免使下面的視頻圖像部分被遮蓋。在其它系統(tǒng)中，用戶可利用遙控來移動PIP至視頻屏幕的預(yù)定或可選擇的部分上。然而，這些系統(tǒng)很不方便或很難于被用戶所操作。
在某些系統(tǒng)中，電視機可以響應(yīng)于聲音控制來控制電視機的功能，例如頻道選擇和音量控制。
然而，這些系統(tǒng)的問題在于用戶并不熟悉聲音控制，而且聲音識別系統(tǒng)在辨別不同的控制特性上是個難題。此外，常常有可能聲音信號并不希望被作為控制命令。
在計算機視覺技術(shù)中，已知有的系統(tǒng)可響應(yīng)于用戶的手勢來控制給定系統(tǒng)的特性，但這些系統(tǒng)也是難以操作的，并且有可能用戶的不正確檢測手勢并不希望被作為控制手勢。
因此，本發(fā)明的目的是克服現(xiàn)有技術(shù)中的缺點。
發(fā)明概述本發(fā)明的系統(tǒng)具有一個視頻顯示裝置，例如電視機，其具有一畫中畫(PIP)顯示和一個處理器。該系統(tǒng)還具有例如麥克風這樣的音頻輸入裝置，和例如攝像機這樣的視頻輸入裝置，用于進行根據(jù)本發(fā)明的操作。
該系統(tǒng)利用用戶的音頻指令和相關(guān)手勢的結(jié)合來控制PIP顯示特性，例如PIP在顯示屏中的位置以及PIP的尺寸。麥克風用于捕獲音頻指令，處理器執(zhí)行一個識別操作來確定用戶希望執(zhí)行PIP控制命令。然后，攝像機捕獲用戶的一個圖像或一系列圖像，該圖像包含用戶帶有一個手勢的至少某一部分。然后該處理器識別該手勢并響應(yīng)于音頻指令和手勢的結(jié)合來執(zhí)行一個PIP顯示特性。
附圖的簡要說明以下是對本發(fā)明實施例的說明，結(jié)合附圖可闡明上述的特征和優(yōu)點。應(yīng)當明白所包含的附圖是為了舉例說明而不能代表本發(fā)明的保護范圍，本發(fā)明的保護范圍由隨后的權(quán)利要求來定義。本發(fā)明最好結(jié)合相應(yīng)的附圖來理解，其中

圖1示出了根據(jù)本發(fā)明一個實施例的示例性系統(tǒng)；圖2示出了說明本發(fā)明一個實施例的操作的流程圖；圖3示出了根據(jù)本發(fā)明一個實施例，用于訓練該系統(tǒng)來識別音頻指令和/或手勢的準備步驟的流程圖。
發(fā)明詳述在以下的論述中，將根據(jù)特定的實施例或系統(tǒng)而舉例性的使用一定的術(shù)語以便于論述。對于本發(fā)明的普通技術(shù)人員來說顯而易見，這些術(shù)語應(yīng)當被理解為還包含易于實現(xiàn)本發(fā)明的其它類似的已知方式。
圖1示出了根據(jù)本發(fā)明一個實施例的示例性系統(tǒng)100，包括一個顯示器110，可操作地與處理器120相耦合，和一個遙控裝置130。處理器120和遙控裝置130通過一個紅外(IR)接收器125如已知技術(shù)那樣被可操作地耦合，紅外接收器125可操作地與處理器120相耦合，IR發(fā)射器131可操作地與遙控裝置130相耦合。
顯示器110可以是電視接收機或者其它可再生用戶能夠觀看或收聽的音視頻內(nèi)容的裝置。處理器120可在顯示器110上產(chǎn)生一個畫中畫(PIP)顯示，如本領(lǐng)域的普通技術(shù)人員所知的那樣。根據(jù)本發(fā)明的處理器120還可對PIP進行定位和尺寸調(diào)整。
遙控裝置130包括多個按鈕，可進行如現(xiàn)有技術(shù)所知的操作。特別的，遙控裝置130還包含一個PIP按鈕134，一個對換按鈕132，和PIP位置控制按鈕137A，137B，137C，137D。PIP按鈕134可用于啟動PIP功能，在顯示器110上顯示一個PIP。對換按鈕132將顯示在顯示器110上的一個PIP圖像和一個主顯示圖像相對換。PIP位置控制按鈕137A，137B，137C，137D使用戶可手動地在顯示器110的可選擇位置上重定位PIP。遙控130還可包含其它控制按鈕，如現(xiàn)有技術(shù)所知，例如頻道選擇鍵139A，139B和138A，138B用于分別為PIP圖像和主顯示圖像選擇視頻數(shù)據(jù)流。
對本領(lǐng)域的技術(shù)人員來說顯而易見，雖然按鈕138A，138B，139A，139B被作為頻道選擇按鈕示出，但按鈕138A，138B，139A，139B也可用于在一個或多個其它視頻源中的多個視頻數(shù)據(jù)流中進行選擇。例如，任何一個視頻數(shù)據(jù)流源(例如PIP和主要顯示圖像)可以為廣播視頻圖像流，而其他源可以為存儲裝置。該存儲裝置(例如VHS模擬磁帶)，數(shù)字存儲裝置例如硬盤驅(qū)動器，光盤存儲裝置等，以及其他任何已知的用于存儲視頻數(shù)據(jù)流的裝置。事實上，PIP和主顯示圖像中的任意一個的視頻數(shù)據(jù)流的任何源都可在不脫離本發(fā)明范圍的情況下根據(jù)本發(fā)明而被使用。
但是如上所述，遙控裝置很難用于PIP的操作。另外，經(jīng)常需要根據(jù)主顯示圖像的變化來操作PIP，例如縮放和移動。例如，隨著主顯示圖像的場景的轉(zhuǎn)換主顯示圖像中的目標區(qū)域也將改變。
根據(jù)本發(fā)明，為了便于PIP，特別是該PIP的顯示特性(例如尺寸，位置等)的操作，處理器可操作的與麥克風122這樣的音頻輸入裝置和攝像機124這樣的圖像輸入裝置連接。該麥克風122與攝像機124分別用于從用戶140處捕獲音頻指令和相關(guān)的手勢，以便于PIP的控制。
特別的根據(jù)本發(fā)明，系統(tǒng)100利用相關(guān)手勢144之后緊接著的一個音頻指令142來控制PIP。該手勢144之后緊跟著的一系列音頻指令142也可用于啟動(例如打開)PIP。該音頻指令142和手勢144彼此相關(guān)，從而系統(tǒng)100可以區(qū)分用戶不用于PIP控制的指令和手勢。特別的，手勢144之后緊隨著的音頻指令142這樣的結(jié)合，可防止系統(tǒng)100根據(jù)錯誤的背景音頻以及由于用戶在系統(tǒng)100或其附近的動作引起的手勢指令而錯誤的啟動PIP。
另外，該音頻指令142和手勢144彼此相關(guān)，從而使系統(tǒng)100可以區(qū)別與PIP尺寸和位置相關(guān)的指令。特別的，一個特定的手勢可以與兩個或更多個音頻指令相關(guān)聯(lián)。例如在“大拇指向上”的手勢之后緊跟著“PIP尺寸”的指令可用于增加PIP的尺寸。但是在“大拇指向上”的手勢之后緊跟著“PIP位置”的指令可用于在向上方向上重新定位PIP。本發(fā)明其他的操作將參照圖2和圖3進行說明。圖2示出了本發(fā)明一個實施例的流程圖200。如圖2中流程圖所示，在處理205期間，用戶140向系統(tǒng)100，特別是麥克風輸入122提供一音頻指令142。該音頻指令向系統(tǒng)100指令用戶發(fā)出一個PIP相關(guān)指令，并指令需要進行PIP操作。該系統(tǒng)100將繼續(xù)接收和翻譯音頻輸入直到接收到一個被識別的音頻指令。術(shù)語被識別的意思是，系統(tǒng)100必須接收一個音頻指令，該指令可由系統(tǒng)100來識別并與PIP的顯示特性相關(guān)。
該音頻指令142可以為一個簡單的單個詞匯，例如用戶140說出“PIP”，從而簡單的指令應(yīng)當緊接著出現(xiàn)一個PIP相關(guān)手勢144。如上所述，音頻指令和手勢的結(jié)合是相關(guān)的，從而對于一個給定的音頻指令系統(tǒng)100只期待一個或多個相隨著的手勢。在發(fā)出一簡單的音頻指令，例如“PIP”時，一緊隨的手勢將指令系統(tǒng)需要的PIP相關(guān)操作。例如手指(例如大拇指)向上，向下，向左，向右，斜向等指令，可指令PIP希望的位置。
一個音頻指令之后緊隨著一個相關(guān)的手勢這樣的結(jié)合還可以啟動PIP，該PIP之前沒有被一個分離的音頻指令和相關(guān)手勢，或遙控器130啟動。其他手勢可用于指令與PIP尺寸相關(guān)的命令，例如兩個手指靠在一起表示希望減少PIP的尺寸等。用戶還可將兩個手指彼此遠離來指令希望增加PIP的尺寸。
應(yīng)當理解上述音頻指令和手勢的例子僅是為了說明本發(fā)明的操作，并不能對其進行限定。本領(lǐng)域的普通技術(shù)人員很容易實現(xiàn)多種音頻指令和對應(yīng)手勢的組合。因此，上述實施例并不能限制本發(fā)明的范圍。
音頻指令還可以為比較復(fù)雜的多單詞句子，例如“PIP尺寸”，用于指令系統(tǒng)100下面的相關(guān)手勢作為改變PIP尺寸的命令。在任何情況下，在處理210中，處理器120都將音頻指令的識別作為一個與PIP相關(guān)的音頻指令。下面將進一步說明除了手勢識別處理以外的該識別處理。當音頻指令沒有被識別作為與PIP相關(guān)的音頻指令時，則如圖2所示，處理器120轉(zhuǎn)到處理205，繼續(xù)監(jiān)視音頻指令直到識別一個與PIP相關(guān)的音頻指令。
當系統(tǒng)100識別到一個音頻指令時，則在處理230期間，處理器120將通過攝像機124獲取用戶140的一個或一系列圖像。目前已經(jīng)存在用于獲取和識別用戶手勢的系統(tǒng)。例如，根據(jù)國際手勢工作組1999年對基于手勢的人機交互通訊的會議記錄，Ying Wu和Thomas S.Huang所作的題目為“可視手勢識別評論”中描述了具有控制功能的手勢的應(yīng)用。這里參考引用該文章。
通常，存在兩種識別手勢的系統(tǒng)。在一個系統(tǒng)中，通常用于手勢識別，攝像機124可獲取一個或一系列圖像以判斷用戶希望的手勢。這種系統(tǒng)通常對用戶的手勢進行靜態(tài)評估。在另一種已知系統(tǒng)中，攝像機124可獲取一系列圖像，從而動態(tài)的判斷一個手勢。這種識別系統(tǒng)通常作為動態(tài)/臨時手勢識別。在一些系統(tǒng)中，動態(tài)手勢識別可通過分析手的運動軌跡并將該軌跡與對應(yīng)特殊手勢的軌跡模式進行比較來執(zhí)行。下面將參照圖3說明手勢和音頻指令的處理。
如本領(lǐng)域技術(shù)人員所知，有很多種方法來使系統(tǒng)識別語音。還有很多種方法使系統(tǒng)識別靜態(tài)和動態(tài)手勢。下面的說明僅用于示意性目的。因此，本發(fā)明可被理解為包含這些其他已知系統(tǒng)。
在任何情況下，當攝像機124獲得一個或一系列圖像后，在處理240中，處理器120開始識別手勢。當處理器120沒有該手勢時，該處理器轉(zhuǎn)到處理230以獲取用戶140的一個或一系列其他圖像。在對該圖像或該系列圖像中的一手勢進行預(yù)定次數(shù)的判斷努力后而沒有識別該手勢時，處理器120可在處理250期間向用戶提供一個指令，說明該手勢沒有被識別。該指令可以采用從揚聲器128輸出的音頻信號或顯示器110的可視信號的形式。在本實施例或其他實施例中，當進行多次嘗試后，該系統(tǒng)可返回到處理205以等待其他音頻指令。
當處理器120識別該手勢時，在處理260期間，該處理器120通過訪問存儲器126對獲取的PIP操作進行判斷。該存儲器126的結(jié)構(gòu)可以為查詢表形式，存儲系統(tǒng)100可根據(jù)對應(yīng)的PIP操作識別的手勢。在處理270中，當從存儲器126中得到要求的PIP操作后，處理器120執(zhí)行該要求的PIP操作。系統(tǒng)轉(zhuǎn)到處理205以等待用戶140的進一步語音指令。
圖3示出在識別語音和手勢輸入的系統(tǒng)100中執(zhí)行的處理的流程圖。雖然用于識別語音和聲音的特殊系統(tǒng)、算法等非常不同，但其通常的操作仍然有相似之處。特殊的，在處理310中，語音或手勢訓練系統(tǒng)提出并捕捉各希望的語音指令或可使別的手勢的一個或多個輸入樣本。詞匯“提出”的意思是系統(tǒng)使用戶提供一特定的輸入樣本。
這樣，在處理320中，系統(tǒng)將所需的音頻指令或可識別手勢的一個或多個捕捉的輸入樣本與一識別該一個或多個輸入樣本的標號相聯(lián)系。在處理330中，將該一個或多個被標號的輸入樣本提供給一分類器(例如處理器120)，從而獲取然后可用于識別用戶指令的模型。
在一個實施例中，該訓練可直接由系統(tǒng)100執(zhí)行，該系統(tǒng)與用戶在設(shè)定過程期間進行交互。在另一實施例中，一組系統(tǒng)只執(zhí)行一次該訓練，訓練產(chǎn)生的結(jié)果(例如所得的模型)將存儲在存儲器126中。在另一實施例中，可利用存儲在存儲器126中的結(jié)構(gòu)只訓練一次該組系統(tǒng)，然后，各系統(tǒng)可從用戶處進行進一步的輸入/訓練，從而改進這些模型。
最后，上面的描述只用于示意性的說明本發(fā)明。本領(lǐng)域技術(shù)人員在不脫離本發(fā)明精神和范圍的情況下，可實現(xiàn)多種替換實施例。例如，雖然所示處理器120與顯示器110分離，但很明顯他們也可結(jié)合在一個單獨顯示裝置，如電視中。另外，處理器可為一專用于執(zhí)行本發(fā)明的處理器或一通用處理器，該通用處理器的功能中只有一個用于執(zhí)行本發(fā)明。另外，處理器可利用一個程序部分、多哥程序部分執(zhí)行操作，或可為利用一專用或多用途集成電路的硬盤裝置。
而且，雖然上述本發(fā)明參照電視顯示上的PIP進行說明，但本發(fā)明還可用于任何可顯示一主圖像和一PIP的顯示裝置或其他已知顯示裝置。
本領(lǐng)域技術(shù)人員在不脫離權(quán)利要求所屬的精神和范圍的情況下可實現(xiàn)多種實施例。在說明權(quán)利要求時，應(yīng)當理解a)詞匯“包括”并不排除權(quán)利要求中所列元件之外的其他元件；b)元件前的詞匯“一個”并不排除出現(xiàn)多個該元件的可能性；c)權(quán)利要求中的任何附圖標記都不限定范圍；和d)多個“裝置”可使用相同結(jié)構(gòu)或功能的部件或硬件或軟件來表示。
權(quán)利要求
1.一種視頻顯示裝置，包括一顯示器(110)，可顯示一主圖像和一覆蓋在該主圖像上的畫中畫圖像(PIP)；一處理器(120)，可操作的與該顯示器(110)連接，用于接收主圖像的第一視頻數(shù)據(jù)流，接收該PIP的第二視頻數(shù)據(jù)流，并響應(yīng)于接收的用戶的音頻指令和相關(guān)手勢來改變PIP的顯示特性。
2.如權(quán)利要求1所述的視頻顯示裝置，其中該PIP顯示特性為該PIP在顯示器上的至少一個位置和該PIP的顯示尺寸。
3.如權(quán)利要求1所述的視頻顯示裝置，包括一用于接收用戶的音頻指令的麥克風(122)；一用于獲取包括相關(guān)手勢的用戶圖像的攝像機(124)。
4.如權(quán)利要求1所述的視頻顯示裝置，其中該處理器(120)用于分析從用戶處接收的音頻信息以識別用戶與PIP相關(guān)的音頻指令何時發(fā)出。
5.如權(quán)利要求1所述的視頻顯示裝置，其中處理器(120)用于在接收到音頻指令后，分析從用戶處接收的圖像信息，以識別由接收的手勢表示的PIP顯示特性中的變化。
6.如權(quán)利要求5所述的視頻顯示裝置，其中該圖像信息包括在一系列圖像中，其中該處理器(120)用于分析該圖像序列從而判斷接收的手勢。
7.如權(quán)利要求6所述的視頻顯示裝置，其中該處理器(120)用于判斷用戶的手的運動軌跡和/或姿勢。
8.如權(quán)利要求1所述的視頻顯示裝置，其中該視頻顯示裝置(110)為一電視機。
9.一種控制覆蓋在主圖像上的畫中畫顯示(PIP)的顯示特性的方法，該方法包括從用戶處接收一音頻指令；判斷該接收的音頻指令是否為多個需要的音頻指令中的一個；如果接收的音頻指令為需要的多個音頻指令中的一個，則分析用戶的手勢；和如果該手勢為與該接收的音頻指令相關(guān)的手勢，則控制顯示特性。
10.如權(quán)利要求9所述的方法，其中分析該手勢包括接收一圖像序列；分析該圖像序列以判斷該手勢。
11.如權(quán)利要求10所述的方法，其中分析該圖像序列包括判斷用戶一個手的運動軌跡和/或姿勢；和通過判斷該運動軌跡和/或姿勢來判斷該手勢。
12.一種計算機程序產(chǎn)品，當執(zhí)行該計算機程序產(chǎn)品時，可使一可編程裝置作為前面權(quán)利要求1-8中任何一個所限定的一視頻顯示裝置來工作。
全文摘要
一視頻顯示裝置，具有一畫中畫(PIP)顯示器，一音頻輸入裝置，一圖像輸入裝置和一處理器。該裝置利用用戶的音頻指令和相關(guān)手勢的組合來控制PIP顯示特性，如顯示其中PIP的位置，PIP的尺寸。一麥克風可捕捉音頻指令，處理器執(zhí)行一識別處理以判斷該PIP控制命令是否為用戶希望的。然后攝像機捕捉包括至少用戶的包括手勢的一些部分的用戶的一個或一系列圖像。該處理然后識別該手勢，并根據(jù)音頻指令和手勢的組合調(diào)整PIP顯示特性。
文檔編號G06T3/00GK1520685SQ02812915
公開日2004年8月11日 申請日期2002年6月20日 優(yōu)先權(quán)日2001年6月29日
發(fā)明者E·科亨-索拉爾, E 科亨-索拉爾 申請人:皇家菲利浦電子有限公司