專利名稱：根據(jù)用戶在多媒體內(nèi)容中的選擇的自動問題編制的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及包括用于讀取在包含描述的文檔中被描述的多媒體內(nèi)容的讀取裝置的電子設(shè)備。本發(fā)明還涉及包含這種設(shè)備的系統(tǒng)。
本發(fā)明同樣涉及當(dāng)用戶使用多媒體內(nèi)容時(shí)用于對打算傳送給搜索引擎的問題加以編制(formulate)的方法，所述多媒體內(nèi)容在包含描述的文檔中進(jìn)行描述。本發(fā)明還涉及包含當(dāng)由處理器執(zhí)行時(shí)用于實(shí)現(xiàn)這種方法的程序代碼指令的程序。
如ISO于1999年7月出版的文件“MPEG-7 Context，Objectives and Technical Roadmap”(稱為ISO/IECJTC1/SC29/WG11/N2861)中指出的，MPEG-7是一種用于描述多媒體內(nèi)容的標(biāo)準(zhǔn)。多媒體內(nèi)容可以與描述所述內(nèi)容的MPEG-7文檔相關(guān)，例如，以便允許在所述多媒體內(nèi)容中進(jìn)行搜索。
特別地，本發(fā)明的目的在于提出一種考慮到搜索信息而利用描述多媒體內(nèi)容的MPEG-7文檔的新的應(yīng)用。
根據(jù)本發(fā)明的并在開頭中描述的設(shè)備的特征在于包括允許用戶在所述多媒體內(nèi)容中做出選擇的用戶命令，用于從所述多媒體內(nèi)容中提取一個(gè)或多個(gè)與所述選擇相關(guān)的環(huán)境數(shù)據(jù)(context data)的提取裝置，用于從所述環(huán)境數(shù)據(jù)中恢復(fù)所述文檔中的一個(gè)或多個(gè)描述的裝置，以及基于所恢復(fù)的描述編制打算傳送給搜索引擎的問題的自動編制裝置。
本發(fā)明允許讀取多媒體內(nèi)容的用戶啟動與他正在多媒體內(nèi)容中讀取的內(nèi)容相關(guān)的搜索，而無需自己編制要被傳送給搜索引擎的問題。根據(jù)本發(fā)明，用戶必須要做的僅僅是在多媒體內(nèi)容中做出選擇。接著，該選擇自動用于通過使用從描述多媒體內(nèi)容的文檔中恢復(fù)的描述來編制問題。
由于本發(fā)明，用戶因此
-既不必選擇用于用戶搜索的相關(guān)關(guān)鍵字，這些關(guān)鍵字通常非常復(fù)雜(通常，對于非專業(yè)用戶來說，獲得令人滿意結(jié)果必須以關(guān)鍵字的各種組合進(jìn)行各種嘗試)，-也不必抓住(seize)將用于用戶搜索的關(guān)鍵字，如果采用沒有字母表鍵盤的設(shè)備，例如電視解碼器、個(gè)人數(shù)字助理、移動電話等，抓住將用于用戶搜索的關(guān)鍵字雖然并非不可能，但也是非常困難的。
此外，問題是通過從描述多媒體內(nèi)容的文檔中恢復(fù)的描述中編制產(chǎn)生的，這些問題是特別相關(guān)的，且能夠獲得特別高質(zhì)量的搜索結(jié)果。
在本發(fā)明的第一實(shí)施例中，多媒體內(nèi)容包含與讀取時(shí)間相關(guān)的多個(gè)多媒體實(shí)體，文檔包括關(guān)于可以從讀取時(shí)間中恢復(fù)的一個(gè)或多個(gè)多媒體實(shí)體的描述，在選擇時(shí)刻的當(dāng)前讀取時(shí)間形成了環(huán)境信息。
例如，通過視頻形成多媒體內(nèi)容。當(dāng)用戶例如通過按下為該目的設(shè)置的按鈕來選擇視頻通道時(shí)，恢復(fù)視頻的當(dāng)前讀取時(shí)間。該當(dāng)前讀取時(shí)間用于發(fā)現(xiàn)與用戶選擇的視頻通道相關(guān)的文檔的描述。
在本發(fā)明的第二實(shí)施例中，多媒體內(nèi)容包含由對象標(biāo)識符標(biāo)識的對象，文檔包括關(guān)于可以從對象標(biāo)識符恢復(fù)的一個(gè)或多個(gè)對象的描述，用戶命令包括對象選擇工具，選中對象的對象標(biāo)識符形成環(huán)境信息。
例如，多媒體內(nèi)容是包含用戶可以借助例如鼠標(biāo)類型的選擇工具，或是借助觸摸屏的觸屏筆來選擇的各種對象的圖像。當(dāng)用戶選擇一個(gè)對象時(shí)，該對象的標(biāo)識符從多媒體內(nèi)容中恢復(fù)，其用于發(fā)現(xiàn)關(guān)于所選中對象的文檔的描述。
在有利方式中，所述文檔是包含一個(gè)或多個(gè)描述的父子節(jié)點(diǎn)的樹結(jié)構(gòu)，這些描述是一個(gè)或多個(gè)描述符的實(shí)例，當(dāng)從父節(jié)點(diǎn)到子節(jié)點(diǎn)沒有其他節(jié)點(diǎn)包含相同描述符的另一實(shí)例描述時(shí)，包含在父節(jié)點(diǎn)中的描述對于子節(jié)點(diǎn)是有效的，所述描述恢復(fù)裝置將環(huán)境信息和一個(gè)或多個(gè)稱為恢復(fù)描述符的描述符的實(shí)例進(jìn)行比較，以便在樹形結(jié)構(gòu)中選擇節(jié)點(diǎn)，并恢復(fù)對于該節(jié)點(diǎn)有效的其他描述。
當(dāng)由視頻形成多媒體內(nèi)容且當(dāng)文檔是按照如下方式構(gòu)造時(shí)，該實(shí)施例是具有優(yōu)勢的第一層次級的節(jié)點(diǎn)(樹的根節(jié)點(diǎn))對應(yīng)于完整的視頻，第二層次級的節(jié)點(diǎn)對應(yīng)于視頻的各個(gè)場景，第三層次級的節(jié)點(diǎn)對應(yīng)于各個(gè)場景的鏡頭……因此對于父節(jié)點(diǎn)有效的描述對于其子節(jié)點(diǎn)也是有效的。本發(fā)明包括搜索起始節(jié)點(diǎn)，恢復(fù)對于該起始節(jié)點(diǎn)同樣有效的其他描述，接著在樹中逐步返回，以用于在每個(gè)層次級上恢復(fù)對于還沒有實(shí)例被恢復(fù)的描述符的實(shí)例描述。起始節(jié)點(diǎn)是包含作為恢復(fù)描述符的實(shí)例并與環(huán)境信息相匹配的描述的節(jié)點(diǎn)。
通過從各個(gè)樹節(jié)點(diǎn)中恢復(fù)描述，本發(fā)明可以精煉問題并因此更好地集中搜索。
通過非限制性示例的方式并參考之后描述的實(shí)施例，本發(fā)明的這些和其他方面將會顯而易見并將被闡明。
在附圖中

圖1是根據(jù)本發(fā)明的設(shè)備示例的框圖，圖2是根據(jù)本發(fā)明的文檔示例的樹形結(jié)構(gòu)圖，圖3是本發(fā)明的原理解釋圖，圖4是根據(jù)本發(fā)明的系統(tǒng)示例的操作圖。
在圖1中示出了根據(jù)本發(fā)明的設(shè)備示例的操作圖。根據(jù)圖1，根據(jù)本發(fā)明的設(shè)備包括-內(nèi)容讀取器DEC-C，用于讀取多媒體內(nèi)容C，-用戶命令CDE，用于當(dāng)讀取多媒體內(nèi)容C時(shí)從多媒體內(nèi)容中做出選擇S，-文檔讀取器DEC-D，其從內(nèi)容讀取器DEC-C中接收一個(gè)或多個(gè)關(guān)于選擇S的數(shù)據(jù)Xi，且其使用內(nèi)容數(shù)據(jù)Xi用于讀取描述多媒體內(nèi)容C的文檔D，以便提供關(guān)于這個(gè)或這些內(nèi)容數(shù)據(jù)X i的描述Aj，-工具QUEST，用于自動編制問題，以便基于在文檔D中讀取的描述Aj來編制問題。
借助舉例的方式，多媒體內(nèi)容C是MPEG-4視頻，內(nèi)容讀取器DEC-C是MPEG-4譯碼器，文檔D是MPEG-7文檔，文檔讀取器DEC-D是MPEG-7譯碼器。
當(dāng)多媒體內(nèi)容是視頻時(shí)，讀取時(shí)間和多媒體內(nèi)容中的每個(gè)圖像相關(guān)。用戶命令例如由簡易按鈕組成。當(dāng)用戶按下該按鈕時(shí)，內(nèi)容讀取器DEC-C提供視頻的當(dāng)前讀取時(shí)間(當(dāng)前讀取時(shí)間是在多媒體內(nèi)容中與在選擇時(shí)刻被讀取的圖像相關(guān)的讀取時(shí)間)。該當(dāng)前讀取時(shí)間接著被用作環(huán)境信息，以便發(fā)現(xiàn)與用戶選擇的視頻通道相關(guān)的文檔描述。
當(dāng)多媒體內(nèi)容為包含對象的圖像時(shí)，對象標(biāo)識符與多媒體內(nèi)容中的每個(gè)對象相關(guān)。用戶命令例如通過鼠標(biāo)形成。當(dāng)用戶用鼠標(biāo)選擇圖像的對象時(shí)，內(nèi)容讀取器DEC-C提供與多媒體內(nèi)容中的所選對象相關(guān)的對象標(biāo)識符。該對象標(biāo)識符于是用作環(huán)境信息，用于發(fā)現(xiàn)與所選對象相關(guān)的文檔描述。
當(dāng)多媒體內(nèi)容是一種視頻，其該視頻的某些圖像至少包含一些對象時(shí)，用戶命令例如為允許用戶在視頻圖像中選擇對象的鼠標(biāo)操作。當(dāng)用戶選擇視頻圖像的對象時(shí)，當(dāng)前讀取時(shí)間和對象標(biāo)識符優(yōu)選地用作環(huán)境數(shù)據(jù)。
在圖2中示出了多媒體內(nèi)容C的文檔D的樹形結(jié)構(gòu)示例。根據(jù)圖2，該樹形結(jié)構(gòu)包括-第一層次級L1，包括表示整個(gè)多媒體內(nèi)容的根節(jié)點(diǎn)N0，-第二層次級L2，包括分別表示多媒體內(nèi)容的第一、第二和第三部分的三個(gè)節(jié)點(diǎn)N1到N3(例如，當(dāng)多媒體內(nèi)容是視頻時(shí)，每個(gè)部分對應(yīng)于視頻的不同場景)，-第三層次級L3，包括節(jié)點(diǎn)N2的兩個(gè)子節(jié)點(diǎn)N21和N22，節(jié)點(diǎn)N3的三個(gè)子節(jié)點(diǎn)N31、N32和N33。節(jié)點(diǎn)N21和N22分別表示多媒體內(nèi)容的第二部分的第一和第二段(portion)。節(jié)點(diǎn)N31、N32和N33表示多媒體內(nèi)容的第三部分的第一、第二和第三段。例如，當(dāng)多媒體內(nèi)容為視頻時(shí)，每個(gè)段對應(yīng)于視頻場景的鏡頭。
樹形結(jié)構(gòu)的節(jié)點(diǎn)優(yōu)選包括作為描述符實(shí)例的描述(描述符是所有多媒體內(nèi)容或部分多媒體內(nèi)容的特征的表示)。環(huán)境數(shù)據(jù)必須使得其可以與用在描述多媒體內(nèi)容的文檔中的其中一個(gè)描述符的實(shí)例內(nèi)容進(jìn)行比較。用于該比較的描述符稱為恢復(fù)描述符。
MPEG-7標(biāo)準(zhǔn)定義了確定數(shù)目的描述符，特別地，描述符《媒體時(shí)間》表示視頻片段的起始時(shí)間和結(jié)束時(shí)間，以及語義描述符，例如描述符《誰》、《什么》、《何時(shí)》、《如何》等。當(dāng)使用的文檔是MPEG-7文檔時(shí)，當(dāng)前讀取時(shí)間優(yōu)選地用作環(huán)境信息，作為描述符《媒體時(shí)間》的實(shí)例的描述內(nèi)容與當(dāng)前讀取時(shí)間進(jìn)行比較，以便在文檔中發(fā)現(xiàn)對應(yīng)于所選片段的節(jié)點(diǎn)。然后恢復(fù)作為描述符《誰》、《什么》、《何時(shí)》和《如何》實(shí)例的描述，用于編制問題。
MPEG-4和MPEG-7標(biāo)準(zhǔn)還定義了對象描述符，特別是對象標(biāo)識描述符。多媒體內(nèi)容的對象通過作為該對象標(biāo)識描述符實(shí)例的描述在所述多媒體內(nèi)容中進(jìn)行標(biāo)識。該描述還包括在MPEG-7文檔中。因此當(dāng)用戶選擇對象時(shí)它可用作環(huán)境信息。在這種情況下，恢復(fù)描述符由對象標(biāo)識描述符形成。
更常見地，包含在父節(jié)點(diǎn)中的描述對于其子節(jié)點(diǎn)也是有效的。例如，關(guān)于整個(gè)視頻的作為描述符《哪里》的實(shí)例描述對于所有場景和所有視頻鏡頭都保持有效。但是，可以為子節(jié)點(diǎn)給出相同描述符的更精確的描述、實(shí)例。這些更精確的描述并非對于整個(gè)視頻是有效的。例如，當(dāng)描述《法國》對于整個(gè)視頻有效時(shí)，描述《巴黎》對于場景SCENE1有效，描述《蒙馬特爾》和《皇室皇宮》對于場景SCENE1的第一和第二鏡頭SHOT1和SHOT2有效。
為了能編制精確的問題，期望使用對于每個(gè)可用描述符的最精確的描述。因此，在本發(fā)明的優(yōu)選實(shí)施例中，樹形結(jié)構(gòu)從起始節(jié)點(diǎn)、子節(jié)點(diǎn)到父節(jié)點(diǎn)穿過。對于每個(gè)層次級，僅當(dāng)沒有其他相同描述符的實(shí)例已被恢復(fù)時(shí)才恢復(fù)描述符。如果我們采用先前的示例，當(dāng)用戶選擇鏡頭SHOT1時(shí)，使用描述《蒙馬特爾》來編制問題。并且當(dāng)用戶選擇場景SCENE1的第三鏡頭SHOT3時(shí)，其不包含描述符《哪里》的實(shí)例，使用描述《巴黎》。
在圖3中示出了概括根據(jù)本發(fā)明的用于編制打算傳送給搜索引擎的問題的方法的詳細(xì)過程。
在步驟1，用戶按下選擇鍵CDE來選擇視頻V的通道。在步驟2，恢復(fù)選擇時(shí)刻的當(dāng)前讀取時(shí)間T。當(dāng)前讀取時(shí)間T構(gòu)成環(huán)境信息。在步驟3，在文檔D中搜索包含定義了時(shí)間范圍的起始時(shí)間Ti和結(jié)束時(shí)間Tf的恢復(fù)描述符《媒體時(shí)間》的實(shí)例描述的節(jié)點(diǎn)，其中在所述時(shí)間范圍中包括當(dāng)前讀取時(shí)間T。在圖3中，匹配該條件的節(jié)點(diǎn)是節(jié)點(diǎn)N31。在步驟4，載有節(jié)點(diǎn)N31的分支B1從節(jié)點(diǎn)N31到根節(jié)點(diǎn)N0穿過，以恢復(fù)作為描述符《誰》、《什么》和《哪里》的實(shí)例的描述D1、D2和D3。在步驟5，描述D1、D2和D3用于產(chǎn)生問題K。
在圖4中表示了根據(jù)本發(fā)明的系統(tǒng)的示例。這種系統(tǒng)包括在服務(wù)器SV上的遠(yuǎn)程搜索引擎SE。它還包括根據(jù)本發(fā)明被稱為EQT的用戶設(shè)備，其允許用戶讀取多媒體內(nèi)容C，以便在讀取期間從多媒體內(nèi)容中做出選擇，從而啟動對于所選通道的搜索。設(shè)備EQT除了包括參考圖1已經(jīng)描述的元件外，還包括收發(fā)器EX/RX，用于將問題K傳送至搜索引擎SE，并接收來自搜索引擎SE的響應(yīng)R。它最后還包括傳送網(wǎng)絡(luò)TR，用于傳送問題K和響應(yīng)R。
在實(shí)際中，本發(fā)明通過使用軟件裝置來實(shí)現(xiàn)。對于該目的，根據(jù)本發(fā)明的設(shè)備包括一個(gè)或多個(gè)處理器，以及一個(gè)或多個(gè)程序存儲存儲器，所述程序包含指令，用于當(dāng)由所述處理器執(zhí)行這些指令時(shí)實(shí)現(xiàn)已被描述的功能。
本發(fā)明獨(dú)立于所使用的視頻格式。通過示例方式，本發(fā)明特別應(yīng)用于MPEG-1、MPEG-2和MPEG-4格式。
權(quán)利要求
1.電子設(shè)備，包括用于讀取在包含描述的文檔中描述的多媒體內(nèi)容的讀取裝置，其特征在于，它包括允許用戶在所述多媒體內(nèi)容中做出選擇的用戶命令，用于從所述多媒體內(nèi)容中提取一個(gè)或多個(gè)與所述選擇相關(guān)的環(huán)境數(shù)據(jù)的提取裝置，用于從所述環(huán)境數(shù)據(jù)中恢復(fù)所述文檔中的一個(gè)或多個(gè)描述的裝置，以及基于所恢復(fù)的描述編制打算傳送給搜索引擎的問題的自動編制裝置。
2.如權(quán)利要求1所述的電子設(shè)備，其特征在于，所述多媒體內(nèi)容包含多個(gè)與讀取時(shí)間相關(guān)的多媒體實(shí)體，所述文檔包括與可以從讀取時(shí)間中恢復(fù)的一個(gè)或多個(gè)多媒體實(shí)體相關(guān)的描述，并且選擇時(shí)刻的當(dāng)前讀取時(shí)間(T)形成環(huán)境數(shù)據(jù)。
3.如權(quán)利要求1所述的電子設(shè)備，其特征在于，所述多媒體內(nèi)容包含由對象標(biāo)識符所標(biāo)識的對象，所述文檔包括與可以由對象標(biāo)識符恢復(fù)的一個(gè)或多個(gè)對象有關(guān)的描述，所述用戶命令包括對象選擇工具，所選對象的對象標(biāo)識符形成環(huán)境數(shù)據(jù)。
4.如權(quán)利要求1所述的電子設(shè)備，其特征在于，所述文檔為包含作為一個(gè)或多個(gè)描述的實(shí)例的一個(gè)或多個(gè)描述的父子節(jié)點(diǎn)(N0、N1、N2、N3、N21、N22、N31、N32、N33)的樹形結(jié)構(gòu)，當(dāng)從父節(jié)點(diǎn)到子節(jié)點(diǎn)沒有其他節(jié)點(diǎn)包含另一個(gè)作為相同描述符的實(shí)例的描述時(shí)，所述父節(jié)點(diǎn)中的內(nèi)容描述對于所述子節(jié)點(diǎn)有效，所述描述恢復(fù)裝置將環(huán)境數(shù)據(jù)與一個(gè)或多個(gè)稱為恢復(fù)描述符的描述符的實(shí)例進(jìn)行比較，以用于在樹形結(jié)構(gòu)中選擇節(jié)點(diǎn)，并用于恢復(fù)對于該節(jié)點(diǎn)有效的其他描述。
5.一種用于在用戶使用多媒體內(nèi)容時(shí)編制打算傳送給搜索引擎的問題的方法，所述多媒體內(nèi)容在包含描述的文檔中進(jìn)行描述，其特征在于所述方法包括-選擇步驟(1)，由用戶在所述多媒體內(nèi)容中進(jìn)行，-提取步驟(2)，用于從多媒體內(nèi)容中提取一個(gè)或多個(gè)與所述選擇相關(guān)的環(huán)境數(shù)據(jù)，-恢復(fù)步驟(3；4)，從所述環(huán)境數(shù)據(jù)中恢復(fù)所述文檔中的一個(gè)或多個(gè)描述，以及-自動編制步驟(5)，從所恢復(fù)的描述中編制所述問題。
6.如權(quán)利要求5所述的編制問題的方法，其特征在于，所述多媒體內(nèi)容包含多個(gè)與讀取時(shí)間相關(guān)的多媒體實(shí)體，所述文檔包括與可以從讀取時(shí)間中恢復(fù)的一個(gè)或多個(gè)多媒體實(shí)體相關(guān)的描述，其特征還在于，當(dāng)前讀取時(shí)間(T)構(gòu)成選擇(S)時(shí)刻處的環(huán)境數(shù)據(jù)。
7.如權(quán)利要求5所述的編制問題的方法，其特征在于，所述多媒體內(nèi)容包含由對象標(biāo)識符所標(biāo)識的對象，所述文檔包括與可以由對象標(biāo)識符恢復(fù)的一個(gè)或多個(gè)對象有關(guān)的描述，所述選擇步驟包括對象選擇，其特征還在于，所選對象的對象標(biāo)識符構(gòu)成環(huán)境數(shù)據(jù)。
8.如權(quán)利要求5所述的編制問題的方法，其特征在于，所述文檔為包含作為一個(gè)或多個(gè)描述符的實(shí)例的一個(gè)或多個(gè)描述的父子節(jié)點(diǎn)(N0、N1、N2、N3、N21、N22、N31、N32、N33)的樹形結(jié)構(gòu)，當(dāng)從父節(jié)點(diǎn)到子節(jié)點(diǎn)沒有其他節(jié)點(diǎn)包含另一個(gè)作為相同描述符的實(shí)例的描述時(shí)，所述父節(jié)點(diǎn)中的內(nèi)容描述對于所述子節(jié)點(diǎn)有效，所述描述恢復(fù)裝置將環(huán)境數(shù)據(jù)與一個(gè)或多個(gè)稱為恢復(fù)描述符的描述符的實(shí)例進(jìn)行比較，以用于在樹形結(jié)構(gòu)中選擇節(jié)點(diǎn)，并用于恢復(fù)對于該節(jié)點(diǎn)有效的其他描述。
9.一種包括程序代碼指令的程序，用于當(dāng)由處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求5所述的方法。
10.一種系統(tǒng)，包括如權(quán)利要求5所述的設(shè)備(EQT)，所述系統(tǒng)包括收發(fā)器裝置(EX/RX)，用于將所述問題傳送至遠(yuǎn)程搜索引擎(SE)，并用于接收來自所述遠(yuǎn)程搜索引擎的對于所述問題的響應(yīng)(R)，搜索引擎(R)和傳送裝置(TR)用于將所述問題從設(shè)備傳送至搜索引擎，并用于將所述響應(yīng)從搜索引擎?zhèn)魉椭了鲈O(shè)備。
全文摘要
本發(fā)明特別具有這樣的目的，其允許使用多媒體內(nèi)容的用戶在所述內(nèi)容中搜索喚起興趣的對象，而無需自己編制問題。為了該目的，選擇工具(例如，按鍵)允許用戶在使用該工具時(shí)選擇內(nèi)容通道。當(dāng)用戶做出選擇時(shí)，從內(nèi)容(例如，當(dāng)前讀取時(shí)間)中提取環(huán)境數(shù)據(jù)。接著該環(huán)境數(shù)據(jù)用于恢復(fù)描述所述內(nèi)容的文檔(例如，MPEG－7文檔)中的一個(gè)或多個(gè)描述?；謴?fù)的描述最終用于自動編制打算傳送給搜索引擎的問題。
文檔編號G06F17/30GK1549982SQ02816818
公開日2004年11月24日 申請日期2002年8月22日 優(yōu)先權(quán)日2001年8月28日
發(fā)明者B·莫里, F·拉發(fā)古伊, ⒐乓, B 莫里 申請人:皇家飛利浦電子股份有限公司