專利名稱：概要再現(xiàn)裝置和概要再現(xiàn)方法
技術(shù)領(lǐng)域：
本發(fā)明概括來說涉及多媒體的處理，尤其是涉及將視頻信號、音頻信號、文本和二進制數(shù)據(jù)記錄在存儲介質(zhì)中，再現(xiàn)該多媒體的被選擇的部分。
背景技術(shù)：
為了盡快收看和分析視頻(例如電影、錄制的體育比賽或新聞廣播)，可制作視頻的概要。已知有對非壓縮視頻和壓縮視頻進行概括的幾種方法。
現(xiàn)有的對視頻進行概括的方法，首先將視頻細(xì)分為場景或“鏡頭(shot)”，之后提取低級別的特征和高級別的特征。低級別的特征通常是顏色分量、動作分量、和聲音分量等基于語法(syntax)的特征，而另一方面，高級別的特征是有含義的信息。
之后，將特征分類，可根據(jù)分類后的特征將鏡頭進一步細(xì)分得到片斷。片斷(segments)可變換為短的圖像序列(例如1秒或2秒的“剪輯”或“靜止”幀)，附加標(biāo)簽和附加索引。因此，視聽者可盡快地掃描概要，選擇要詳細(xì)再現(xiàn)的視頻部分。顯然，這種概要的問題只能根據(jù)概要制作中使用的特征和分類來進行再現(xiàn)。
為了進一步輔助視聽，可根據(jù)相對的重要性來主觀地將片斷排序。因此，可盡快地識別出視頻中的重要事件(高潮的場景、或得分的機會等)(例如參照非專利文獻(xiàn)1和2。)。視聽者可使用再現(xiàn)裝置的快進功能或快退功能，收看所設(shè)定的重要片斷中感興趣的片斷(例如參照非專利文獻(xiàn)3。)。
對新聞視頻進行概括的其它技術(shù)使用動作行為描述符(例如參照專利文獻(xiàn)1。)。制作足球的精彩場面的技術(shù)使用視頻特征與音頻特征的組合(例如參照專利文獻(xiàn)2。)。音頻特征和視頻特征還可用于制作新聞、足球、棒球和高爾夫的視頻的精彩場面(例如參照專利文獻(xiàn)3。)。這些技術(shù)從視頻中提取應(yīng)關(guān)注的事件的重要片斷(得分的機會或新聞故事的導(dǎo)入部分等)。由此，利用包含提取的重要片斷的概要來表示原始的視頻。重要的片斷可提供對原始內(nèi)容的切入點，從而可靈活地進行便利的導(dǎo)航。
另外，現(xiàn)有的節(jié)目檢索裝置在記錄與所述視頻對應(yīng)的輸入信號時，從該輸入信號中提取預(yù)定的信息，根據(jù)該信息的種類，沿時間軸將與所述輸入信號對應(yīng)的視頻(視頻音頻流)片斷化，得到視頻鏡頭。之后，將該視頻鏡頭劃分為預(yù)先設(shè)定的預(yù)定類別，與再現(xiàn)時間位置信息(表示記錄介質(zhì)中該視頻鏡頭的位置的信息)一起記錄在記錄介質(zhì)中。之后，在視聽者在短時間內(nèi)快速瀏覽記錄在所述記錄介質(zhì)中的節(jié)目的情況下，僅連續(xù)再現(xiàn)屬于與視聽者所選擇的信息的種類對應(yīng)的類別的視頻鏡頭(例如參照專利文獻(xiàn)4。)。
另外，其它的節(jié)目檢索裝置按每個重要性切出視頻鏡頭的再現(xiàn)時間范圍的再現(xiàn)時間位置信息，設(shè)定匯總的表格，再現(xiàn)時，根據(jù)與視聽者指定的重要性對應(yīng)的表格中記述的再現(xiàn)時間位置信息，進行再現(xiàn)(例如參照非專利文獻(xiàn)1。)。
專利文獻(xiàn)1美國專利申請第09/845009號專利文獻(xiàn)2美國專利申請第10/046790號專利文獻(xiàn)3美國專利申請第10/374017號專利文獻(xiàn)4日本特開2000-125243號公報(第11頁，圖1)非專利文獻(xiàn)1藤原等著、「Summary DSを用いたビデオの要約記述」，ポイント図解式ブロ一ドバンド十モバイル標(biāo)準(zhǔn)MPEG教科書、株式會社アスキ一、p.177圖5-24、2003年2月11日非專利文獻(xiàn)2「ISO/IEC 15938-52002情報技術(shù)一マルチメデイアコンテンツ記述インタフエ一ス一-Part 5マルチメデイア記述スキ一ム(ISO/IEC 15938-52002 Information technology-Multimediacontent description interface-Part 5Multimedia DescriptionSchemes)」(2002年)
非專利文獻(xiàn)3DVDレコ一ダ一「DVR-7000取扱説明書」(パイオニア株式會社、p.49、2001年)現(xiàn)有技術(shù)的視頻的錄制、概括和再現(xiàn)存在幾個問題。第1是概要不是基于視聽者的先入之見，而是基于提取的特征、分類和重要性的任意先入之見。第2是在使用重要性級別的情況下，重要性級別通常被量化為非常少的級別(例如5個以下)。并且在多數(shù)情況下，僅使用2個級別(即表示感興趣的片斷的級別和表示視頻其余部分的級別)。
尤其是在使用重要性的細(xì)化量化的情況下，分層的層數(shù)非常多，必須管理很多的分層，所以根據(jù)MPEG-7標(biāo)準(zhǔn)提議的分層記述很難處理。
在MPEG-7的記載中，每次編輯內(nèi)容時，必須編輯元數(shù)據(jù)。例如，在從原始內(nèi)容中刪除了某片斷的情況下，必須修正受到該刪節(jié)的影響的全部分層。若編輯操作的次數(shù)增加，則這有可能難以馬上處理。
重要性級別是非常主觀的，同時，極大地依賴于內(nèi)容。即，體育視頻的重要性級別取決于特定的體育類型，完全不能適用于電影或新聞節(jié)目。并且，視聽者不能控制制作的概要的長度。
現(xiàn)有技術(shù)的方法使用的少數(shù)的主觀級別事實上不可能由視聽者根據(jù)概要來編輯組合幾個不同的視頻，來制作反映了視聽者所關(guān)心的內(nèi)容的派生視頻。
另外，現(xiàn)有的檢索裝置中也存在幾個問題。首先，如所述非專利文獻(xiàn)3(DVDレコ一ダ一「DVR-7000」取扱説明書)中記載的節(jié)目檢索裝置那樣，在根據(jù)視聽者自身的主觀，在該視聽者關(guān)心的場景設(shè)定(打刻)章節(jié)標(biāo)志的情況下，要求視聽者執(zhí)行煩雜的操作。
另外，在所述專利文獻(xiàn)4(日本特開2000-125243號公報)或所述非專利文獻(xiàn)1(ポイント図解式ブロ一ドバンド十モバイル標(biāo)準(zhǔn)MPEG教科書)中記載的節(jié)目檢索裝置中，盡管可根據(jù)視聽者的選擇來再現(xiàn)，但在基于預(yù)先設(shè)定的表格單位或類別單位的視頻選擇中，難以把握記錄在記錄介質(zhì)中的視頻整體上的高漲趨勢(例如體育節(jié)目中的比賽流程等)。尤其是在記錄在記錄介質(zhì)中的視頻對于視聽者是初次看的節(jié)目的情況下，不可能把握視頻整體中的高漲趨勢。

發(fā)明內(nèi)容
本發(fā)明為了解決上述問題而提出的，其目的在于提供一種多媒體概括系統(tǒng)和多媒體概括方法，能夠以視聽者可控制的方法來記錄和再現(xiàn)視頻。并且，必須指定不取決于內(nèi)容、并且不是主觀性的重要性級別。另外，必須提供更多的離散的重要性級別。最后，必須使視聽者能夠根據(jù)自己選擇的重要性級別來制作任意長度的概要。
本發(fā)明是一種對多媒體進行概括的系統(tǒng)，具備如下單元存儲分割成區(qū)間序列的壓縮多媒體文件和元數(shù)據(jù)文件的單元，其中該元數(shù)據(jù)文件包含所述序列的各區(qū)間的索引信息和在閉間隔中連續(xù)的重要性的級別信息；在所述閉間隔中選擇重要性級別的閾值的單元；以及使用所述索引信息，僅再現(xiàn)所述多媒體中、具有比所述重要性級別的閾值高的特定的重要性級別的區(qū)間的單元。
根據(jù)本發(fā)明，可制作用戶選擇的、任意長度(再現(xiàn)時間)的概要。


圖1是本發(fā)明實施方式1的再現(xiàn)多媒體的系統(tǒng)的框圖。
圖2是本發(fā)明實施方式1的多媒體的文件結(jié)構(gòu)的框圖。
圖3是本發(fā)明實施方式1的元數(shù)據(jù)文件的數(shù)據(jù)結(jié)構(gòu)的框圖。
圖4是本發(fā)明實施方式1的、使用元數(shù)據(jù)文件的多媒體的附加索引的框圖。
圖5是表示本發(fā)明實施方式1的概要再現(xiàn)的曲線圖。
圖6(A)是本發(fā)明實施方式1的其它的概要再現(xiàn)的曲線圖，(B)是表示概要率的圖解圖像。
圖7是本發(fā)明實施方式1的、將壓縮后的多媒體文件和元數(shù)據(jù)文件記錄在存儲介質(zhì)中的系統(tǒng)的框圖。
圖8是本發(fā)明實施方式1的其它的概要再現(xiàn)的曲線圖。
圖9是本發(fā)明實施方式1的其它的概要再現(xiàn)的曲線圖。
圖10是本發(fā)明實施方式1的其它的概要再現(xiàn)的曲線圖。
圖11是本發(fā)明實施方式1的、記錄多媒體的系統(tǒng)的框圖。
圖12是分割成窗口的多媒體內(nèi)容的框圖。
圖13是表示本發(fā)明實施方式2的視頻檢索裝置的結(jié)構(gòu)的框圖。
圖14是用于說明本發(fā)明實施方式2的視頻檢索裝置的OSD圖像的說明圖。
圖15是用于說明在本發(fā)明實施方式2的視頻檢索裝置的概要再現(xiàn)時，顯示于與該視頻檢索裝置連接的監(jiān)視器、電視等視頻輸出終端130上的視頻的說明圖。
圖16是用于說明在本發(fā)明實施方式3的視頻檢索裝置中進行概要再現(xiàn)時顯示的圖像的說明圖。
圖17是用于在說明本發(fā)明實施方式4的視頻檢索裝置中進行概要再現(xiàn)時顯示的圖像的說明圖。
圖18是用于在說明本發(fā)明實施方式5的視頻檢索裝置中進行概要再現(xiàn)時顯示的圖像的說明圖。
圖19是用于在說明本發(fā)明實施方式6的視頻檢索裝置中進行概要再現(xiàn)時顯示的圖像的說明圖。
圖20是用于說明本發(fā)明實施方式6的視頻檢索裝置的重要場景顯示條的生成方法的說明圖。
圖21是用于在說明本發(fā)明實施方式7的視頻檢索裝置中進行概要再現(xiàn)時顯示的圖像的說明圖。
圖22是用于說明本發(fā)明實施方式7的視頻檢索裝置的滑動顯示條和滑動顯示指示器的說明圖。
圖23是表示本發(fā)明實施方式8的記錄裝置的結(jié)構(gòu)的框圖。
圖24是用于說明CM檢測部的CM檢測的說明圖。
圖25是用于說明元數(shù)據(jù)生成部的重要性級別的修正的說明圖。
圖26是表示本發(fā)明實施方式8的其它的記錄裝置的結(jié)構(gòu)的框圖。
具體實施例方式
發(fā)明概要本發(fā)明的多媒體概括系統(tǒng)和方法對存儲在分割成片斷的壓縮多媒體文件中的多媒體進行概括。
關(guān)聯(lián)的元數(shù)據(jù)文件包含所述圖像序列的各片斷的索引信息和重要性級別信息。在優(yōu)選實施方式中，文件被存儲在DVD等存儲介質(zhì)中。
重要性信息在某個范圍內(nèi)是連續(xù)的。在所述某個范圍內(nèi)選擇重要性級別的閾值或范圍?？稍O(shè)為重要性級別由視聽者來選擇，并基于音頻信號(例如聲音的分類和/或音量)。
在讀出文件時，僅再現(xiàn)具有比重要性級別的閾值高的特定的重要性級別的多媒體片斷。
為了進一步提高概括精度，可設(shè)重要性級別基于區(qū)間窗口。此時，可把內(nèi)容分割成一定長度的窗口、或滑動窗口。
實施方式1再現(xiàn)系統(tǒng)的結(jié)構(gòu)圖1表示再現(xiàn)多媒體的系統(tǒng)100。這里，多媒體的內(nèi)容例如是視頻信號、音頻信號、文本和二進制數(shù)據(jù)。該系統(tǒng)具備將構(gòu)成為文件的多媒體和元數(shù)據(jù)存儲在目錄中的存儲介質(zhì)1(盤或帶等)。在優(yōu)選實施方式中，例如使用MPEG標(biāo)準(zhǔn)或AC-3標(biāo)準(zhǔn)來壓縮多媒體。使用已知的技術(shù)對多媒體進行細(xì)分、分類、附加索引?？筛鶕?jù)時間或幀序號來進行索引附加(參照本說明書中援引的美國專利第6628892號)。
元數(shù)據(jù)包含索引和重要性信息。作為本發(fā)明的優(yōu)點，與現(xiàn)有技術(shù)相對照，重要性信息在某個范圍內(nèi)(例如
或
)是連續(xù)的。因此，重要性級別不是“得分”或“頭條新聞的時間”，而是與實數(shù)相關(guān)的信息，例如重要性為0.567或+73.64這樣的值。
作為另一優(yōu)點，連續(xù)的重要性信息不取決于上下文或內(nèi)容，不象現(xiàn)有技術(shù)那樣是非常主觀的。這些特征均使視聽者能夠?qū)⒍嗝襟w再現(xiàn)至任意的期望長度。
元數(shù)據(jù)是二進制或文本，必要時，可加密保護。元數(shù)據(jù)可包含日期、有效性代碼、文件類型等文件屬性。多媒體和元數(shù)據(jù)的分層文件和目錄結(jié)構(gòu)如圖2所示。
如圖1所示，讀取驅(qū)動器10從存儲介質(zhì)1中讀出多媒體文件和元數(shù)據(jù)文件。讀取緩沖器11暫時存儲由讀取驅(qū)動器10讀出的數(shù)據(jù)。多路信號分離器(demultiplexer)12從讀取緩沖器中依次取得多媒體數(shù)據(jù)，將該多媒體數(shù)據(jù)分離成視頻流和音頻流。
視頻解碼器13處理視頻信號17，音頻解碼器14處理輸出裝置(例如電視監(jiān)視器19)用的音頻信號18。
元數(shù)據(jù)分析部15從讀取緩沖器11中依次取得元數(shù)據(jù)。包含有處理器的再現(xiàn)控制部16控制系統(tǒng)100。元數(shù)據(jù)分析部15的功能性可使用軟件來實施，可作為再現(xiàn)控制部16的一部分被嵌入。
另外，在本說明書中記載的任一個實施方式中，均不必同時記錄和再現(xiàn)多媒體文件和元數(shù)據(jù)文件。實際上，元數(shù)據(jù)文件也可單個地分析，使視聽者能盡快搜索出多媒體文件中感興趣的片斷。并且，多媒體和元數(shù)據(jù)也可復(fù)用為單個文件，在讀出時進行分離。
文件和目錄的結(jié)構(gòu)圖2表示存儲在存儲介質(zhì)1中的文件和目錄的分層結(jié)構(gòu)200。根目錄20包含多媒體目錄21和元數(shù)據(jù)目錄22。多媒體目錄21存儲信息管理文件23、多媒體文件24和備份文件25。元數(shù)據(jù)目錄22存儲元數(shù)據(jù)文件26。另外，也可以是其它的目錄和文件結(jié)構(gòu)。多媒體文件24內(nèi)的數(shù)據(jù)包含被復(fù)用的視頻信號和/或音頻信號。
另外，信息管理文件23和/或多媒體數(shù)據(jù)文件24的任一方均可包含表示元數(shù)據(jù)的有無或其為無效的標(biāo)記。
元數(shù)據(jù)結(jié)構(gòu)圖3表示元數(shù)據(jù)文件26的分層結(jié)構(gòu)300。分層中有5個分層A～E，在最上位分層中包含元數(shù)據(jù)30，接在其下位的是管理信息31、一般信息32、鏡頭信息33以及索引和重要性信息34。
分層B的管理信息31包含作為全部元數(shù)據(jù)30的概括性記述的元數(shù)據(jù)管理信息31a、視頻對象(VOB)元數(shù)據(jù)信息檢索指針31b、和關(guān)聯(lián)的VOB元數(shù)據(jù)信息31c。相互的相關(guān)不必是1對1，例如，可以是針對一個VOB元數(shù)據(jù)信息31c的元數(shù)據(jù)信息檢索指針31b為多個，也可以是針對多個VOB的VOB元數(shù)據(jù)信息31c為1個，或1個也沒有。
在下一分層C中，各VOB元數(shù)據(jù)信息31c包含元數(shù)據(jù)一般信息32a和視頻鏡頭映射信息32b。元數(shù)據(jù)一般信息32a可包含節(jié)目名稱、制作人名、男演員/女演員/記者/選手的名字、內(nèi)容說明、廣播日期或頻道等。正確的對應(yīng)關(guān)系作為表格存儲在元數(shù)據(jù)一般信息32a中。
在下一分層D中，每個視頻鏡頭映射信息32b中均有視頻鏡頭映射一般信息33a、和1個或多個視頻鏡頭入口33b。如上所述，在這些入口之間不必有1對1的對應(yīng)關(guān)系。正確的對應(yīng)關(guān)系作為表格存儲在視頻鏡頭映射一般信息33a中。
在下一分層E中，每個視頻鏡頭入口33b中均有視頻鏡頭開始時間信息34a、視頻鏡頭結(jié)束時間信息34b和視頻鏡頭重要性級別34c。如上所述，也可按幀序號對多媒體附加索引。在可從視頻鏡頭開始時間信息34a取得索引數(shù)據(jù)的情況下，可省略索引信息?？墒褂萌我獾母郊禹樞蛳到y(tǒng)來表示相對的重要性。如上所述，重要性級別是連續(xù)的，并且獨立于內(nèi)容。重要性級別可手動或自動附加。
另外，圖3中，說明了將元數(shù)據(jù)文件200作為5個分層的情況，但只要包含視頻鏡頭重要性級別34c、和可確定與該視頻鏡頭重要性級別34c對應(yīng)的視頻鏡頭再現(xiàn)位置信息的時間信息或索引信息，則分層是多少層均可。另外，圖3中，對元數(shù)據(jù)文件26中將全部視頻對象的元數(shù)據(jù)作為一個文件來處理的情況進行了說明，但例如也可對每個視頻對象設(shè)定獨立的元數(shù)據(jù)文件。
多媒體的索引附加圖4表示本發(fā)明的被記錄和再現(xiàn)的多媒體與元數(shù)據(jù)的關(guān)系。在存儲在信息管理文件23中的程序鏈信息40中，記述多媒體數(shù)據(jù)文件24的多媒體的再現(xiàn)順序。鏈信息包含基于由程序鏈信息40定義的再現(xiàn)單位的程序41。單元42a～b基于由程序41定義的再現(xiàn)單位。另外，DVD(DigitalVersatile Disk，數(shù)字化視頻盤)中，所謂“單元”是用來表示視頻程序的一部分的數(shù)據(jù)結(jié)構(gòu)。
視頻對象信息43a～b記述與通過信息管理文件23中記述的單元42指定的再現(xiàn)時間信息(即上演時間)對應(yīng)的實際的視頻數(shù)據(jù)或音頻數(shù)據(jù)的參照目的地。
時間映射表格(TMAP)44a～b用于將由VOB信息43定義的再現(xiàn)時間信息偏移，將其變換為實際的視頻數(shù)據(jù)或音頻數(shù)據(jù)的地址信息。視頻對象單元(VOBU)45a和45b記述多媒體數(shù)據(jù)文件24內(nèi)的實際的視頻數(shù)據(jù)或音頻數(shù)據(jù)。這些數(shù)據(jù)與再現(xiàn)時間信息一起被復(fù)用于數(shù)據(jù)包結(jié)構(gòu)。VOBU是訪問多媒體并將其再現(xiàn)的最小單位。VOBU包含內(nèi)容的一個或多個圖片組(GOP)。
基于重要性閾值的再現(xiàn)圖5表示本發(fā)明的概要再現(xiàn)，將橫軸51設(shè)為時間，將縱軸50設(shè)為重要性級別。如圖5所示，重要性級別在預(yù)定的范圍55(例如
或
)中連續(xù)地變化。另外，如圖所示，可由視聽者在所述預(yù)定范圍55內(nèi)改變重要性級別的閾值53(56)。
另外，橫軸51所示的時間以圖3的視頻鏡頭開始時間信息34a和視頻鏡頭結(jié)束時間信息34b為基準(zhǔn)。重要性以視頻鏡頭重要性級別34c為基準(zhǔn)。根據(jù)閾值53來評價重要性曲線的例子52。
在多媒體的再現(xiàn)中，再現(xiàn)具有比閾值53高的重要性的多媒體部分(58)，跳過具有比閾值低的重要性的部分(59)。曲線54表示包含于再現(xiàn)中的部分。使用再現(xiàn)控制部16，根據(jù)由元數(shù)據(jù)分析部15得到的元數(shù)據(jù)信息來進行再現(xiàn)。
另外，可指定多個連續(xù)的重要性級別，或一個或多個重要性級別范圍，以便僅再現(xiàn)具有基于重要性范圍的實數(shù)值的特定的重要性的區(qū)間。作為其它方法，也可僅再現(xiàn)重要性最低的區(qū)間。
為了再現(xiàn)期望的程序，由讀取驅(qū)動器10讀出信息管理文件23。由此，可判斷為程序構(gòu)成為例如兩個單元。
各單元利用VOB序號和索引信息(例如開始時間和結(jié)束時間)來記述。VOB1信息43a的時間映射表格44a用于將各上演時間變換為上演時間戳(PTS)或相關(guān)的VOB1內(nèi)的地址信息，由此得到實際的VOBU 45。
同樣，還通過使用VOB2信息43b的時間映射表格44b，與VOB2的VOBU45b組一起獲得單元242b。在該例子中，單元(此時為單元42b)通過VOB43b，使用時間映射表格44b被附加索引。
VOBU45的數(shù)據(jù)被依次提供以用于分離和解碼。使用上演時間(PTM)來同步視頻信號17和音頻信號18，提供給輸出裝置19。
當(dāng)視聽者選擇了期望的程序(例如程序141)時，通過程序鏈信息40可找到包含關(guān)聯(lián)的程序41的結(jié)構(gòu)的單元42a～b。由此，程序鏈信息用于找到對應(yīng)的VOB及上演時間(PTM)。
按如下所示來使用圖4中說明的元數(shù)據(jù)26，且如圖3所示。首先，使用元數(shù)據(jù)管理信息31a來搜索對應(yīng)于期望的VOB序號的元數(shù)據(jù)信息檢索指針31b。之后，使用元數(shù)據(jù)信息檢索指針31b來搜索VOB元數(shù)據(jù)信息31c。VOB元數(shù)據(jù)信息31c包含視頻鏡頭映射信息32b，該視頻鏡頭映射信息32b包含各視頻鏡頭的開始時間、結(jié)束(stop)時間和重要性級別。因此，VOB元數(shù)據(jù)被用于收集具有包含于由單元的開始時間和結(jié)束時間所指定的范圍中的上演時間(PTM)、和對應(yīng)的重要性級別的全部鏡頭。之后，僅保留超過期望的重要性級別53的部分。
另外，能在再現(xiàn)中選擇多個程序，為了僅連結(jié)要再現(xiàn)的區(qū)間，可使用任意的方法。
其它的概要再現(xiàn)圖6A表示本發(fā)明的其它的概要再現(xiàn)，將縱軸50設(shè)為重要性級別，將橫軸51設(shè)為時間，連續(xù)的曲線52表示重要性級別。線63是重要性級別的閾值，線64是僅具有比閾值高的特定的重要性的區(qū)間的再現(xiàn)。其它區(qū)間跳過。
概要率圖6B表示概要率60。概要率可從例如0％變化至100％(即整個范圍55)。概要率被表示為在可作為再現(xiàn)裝置的輸出裝置19中重疊于輸出圖像上的圖解圖像。部分61是可由用戶選擇的當(dāng)前的概要率。閾值63根據(jù)可由用戶選擇的當(dāng)前的概要率61來設(shè)定。用戶可使用任意輸入裝置(例如鍵盤或遙控器17a，參照圖1)來設(shè)定概要率。在概要率為100％的情況下，再現(xiàn)多媒體文件整體，在50％的概要率的情況下，僅再現(xiàn)文件的一半?？稍谠佻F(xiàn)過程中變更概要率。另外，圖解圖像也可就概要率或?qū)嶋H的時間而具有其它方式(例如滑動條或數(shù)值顯示器)。作為其它方法，也可通過元數(shù)據(jù)分析部15或再現(xiàn)控制部16使概要率自動變化。
另外，針對視頻區(qū)間的指針可在列表內(nèi)按重要性的降序排序。因此，通過向包含成為排序順序的區(qū)間的列表的下方前進，直到滿足時間長度的要求，從而可得到任意的期望長度的概要。
記錄系統(tǒng)的結(jié)構(gòu)圖7表示將壓縮后的多媒體文件和元數(shù)據(jù)文件記錄在存儲介質(zhì)2(盤或帶等)中的系統(tǒng)700的框圖。該系統(tǒng)具備取得視頻信號78、音頻信號79、文本、圖像、以及二進制數(shù)據(jù)等作為輸入的視頻編碼器71和音頻編碼器72。各編碼器的輸出通過多路復(fù)用器73被復(fù)用，作為多媒體數(shù)據(jù)暫時存儲在寫入緩沖器74中。另外，也將各編碼器的輸出發(fā)送到元數(shù)據(jù)生成部75，該元數(shù)據(jù)生成部75也將輸出寫入寫入緩沖器中。
之后，寫入驅(qū)動器70在包含有處理器的記錄控制部76的控制下，將多媒體和元數(shù)據(jù)作為文件寫入存儲介質(zhì)2中。文件可使用MPEG或AC-3等標(biāo)準(zhǔn)的多媒體壓縮技術(shù)以壓縮形式寫入。記錄中也可使用加密。另外，元數(shù)據(jù)生成部75可作為嵌入到記錄控制部76中的軟件來實施。
編碼器從輸入信號78～79中提取出特征，例如動作矢量、彩色直方圖、聲音頻率、特性和音量及聲音關(guān)聯(lián)信息。由元數(shù)據(jù)生成部75來分析所提取的特征，求出片斷和與其關(guān)聯(lián)的索引信息和重要性級別。
重要性級別窗口例如圖12所示，重要性級別可通過使用音頻信號來求出。例如，可使用各片斷1201的音量，并且，可將各片斷1201的音頻信號分類為各種類別(聲音、音樂、歡呼聲、拍手、笑聲等)。此時，將內(nèi)容1200整體分割為不重復(fù)的片斷1201(例如1秒的持續(xù)時間)?？蓪ε氖趾蜌g呼聲提供比聲音和音樂高的重要性級別。
在將片斷1201分類之后，用于搜索精彩場面的方法是將內(nèi)容分割成持續(xù)時間相等的片斷1201、即窗口1202。在使用窗口的情況下，各窗口包含圖示的多個被分類的片斷。
之后，通過求出窗口內(nèi)的連續(xù)的拍手和/或歡呼聲的最長長度，或通過求出窗口內(nèi)的拍手和/或歡呼聲的比例(百分比)，可計算各窗口的重要性級別?？上虼翱趦?nèi)的全部區(qū)間賦予窗口的重要性級別。
其它的窗口方式使用在內(nèi)容整體中持續(xù)期間被固定的滑動窗口1203(例如12秒)?；瑒哟翱诎板^(anchor)”片斷(例如窗口內(nèi)的最初、中間或最后的區(qū)間)。該窗口可一次一個片斷地沿正方向(時間方向)滑動。此時，窗口的錨區(qū)間(A)1204的重要性級別基于滑動窗口整體的拍手和/或歡呼聲的比例或連續(xù)的拍手和/或歡呼聲的長度。滑動窗口方法可更正確地搜索出精彩場面的時間。
加權(quán)(Weighted)重要性級別并且，用窗口的系數(shù)(例如音量1211)來進一步對通過上述方策得到的重要性級別(IL)進行加權(quán)(1210)，可得到最終的重要性級別。因此，例如在某個片斷包含多個音量低的拍手的情況下，向該片斷賦予較低的重要性級別，向具有非常大的拍手的片斷賦予較高的重要性級別。
另外，在體育節(jié)目等的情況下，對于得分場景或得分的機會而言，多數(shù)情況下除了拍手或呼歡聲外，還伴隨廣播員或解說者的尖叫聲。由此，在體育節(jié)目等的情況下，將包含拍手或歡呼聲的尖叫聲設(shè)定為一種聲音類別，將該聲音類別用于計算重要性級別也是有效的。
此外，在任一個實施方式中，均不必同時生成多媒體文件和元數(shù)據(jù)文件。例如，可在后面生成元數(shù)據(jù)，另外，可在預(yù)定時間內(nèi)逐漸附加元數(shù)據(jù)。
基于時間閾值的再現(xiàn)圖8表示本發(fā)明的其它的概要再現(xiàn)，將縱軸50設(shè)為重要性級別，將橫軸51設(shè)為時間，連續(xù)的曲線52表示預(yù)定時間內(nèi)的重要性級別。線80是可變的重要性級別的閾值，線81是具有比閾值高的特定的重要性的區(qū)間的再現(xiàn)。其它區(qū)間跳過。
但是，在本實施方式中還使用時間的閾值。僅再現(xiàn)具有比重要性級別的閾值高的特定的重要性級別、且在比時間閾值長的時間內(nèi)維持該重要性級別的區(qū)間。例如，不再現(xiàn)區(qū)間a1～a2，再現(xiàn)區(qū)間b1～b2。由此，排除了時間過短、視聽者不能確切地理解的區(qū)間。
基于使用了附加的區(qū)間延長的時間閾值的再現(xiàn)圖9表示本發(fā)明的其它的概要再現(xiàn)900，將縱軸50設(shè)為重要性級別，將橫軸51設(shè)為時間，曲線52表示預(yù)定時間內(nèi)的重要性級別。線90是重要性級別的閾值，線91是具有比閾值高的特定的重要性的區(qū)間的再現(xiàn)。與上述一樣，其它區(qū)間跳過。在該實施方式及后述的其它實施方式中，延長量可根據(jù)由再現(xiàn)控制部作出的決定而變化。
該實施方式也使用上述的時間閾值。但是，此時，不跳過時間比時間閾值短的區(qū)間。取而代之，使時間延長，以使這種區(qū)間滿足時間閾值的條件。這通過在該短區(qū)間的前面、后面或前后加上多媒體文件的各部分來進行(例如區(qū)間c1～c2)。因此，增大短區(qū)間的大小，使視聽者可適當(dāng)確切地理解該短區(qū)間。另外，還可使用第2時間閾值，而依然跳過非常短的區(qū)間(例如1幀)。
基于使用了利用乘法的區(qū)間延長的時間閾值的再現(xiàn)圖10表示本發(fā)明的其它的概要再現(xiàn)，將縱軸50設(shè)為重要性級別，將橫軸51設(shè)為時間，曲線52表示預(yù)定時間內(nèi)的重要性級別。線1000是重要性級別的閾值，線1001是具有比閾值高的特定的重要性的區(qū)間的再現(xiàn)。其它區(qū)間跳過。
該實施方式也使用上述的時間閾值。但是，此時，將區(qū)間的時間僅延長預(yù)定量d，增大滿足時間閾值的再現(xiàn)區(qū)間的大小。如上所述，可對區(qū)間在前面、后面或前后進行延長。另外，也可乘以系數(shù)，同樣地來延長區(qū)間的時間。
記錄和再現(xiàn)系統(tǒng)的結(jié)構(gòu)圖11表示記錄和再現(xiàn)被存儲在讀取/寫入存儲介質(zhì)3(盤或帶等)中的壓縮多媒體文件和元數(shù)據(jù)文件的系統(tǒng)1100的框圖。
讀取/寫入驅(qū)動器110可將數(shù)據(jù)寫入讀取緩沖器11，可從寫入緩沖器74中讀出數(shù)據(jù)。多路信息分離器12從讀取緩沖器中依次取得多媒體，將該多媒體分離成視頻流和音頻流。視頻解碼器13處理視頻流，音頻解碼器14處理音頻流。但是，此時，由于元數(shù)據(jù)生成部75也接收解碼器13～14的輸出，所以可以使用記錄/再現(xiàn)控制部111將再現(xiàn)的多媒體存儲在存儲介質(zhì)3中。
另外，也可在解碼過程中使用元數(shù)據(jù)生成部75，從視頻數(shù)據(jù)和/或音頻數(shù)據(jù)中提取出重要性級別、附加索引信息和其它元數(shù)據(jù)。
并且，也可手動生成重要性級別、附加索引信息和其它元數(shù)據(jù)，在后面的階段中插入。
另外，上述實施方式均包含檢索功能，視聽者可根據(jù)時間、幀序號或重要性的任一個，直接跳至(定位到)多媒體的特定部分。該檢索功能可使用“縮略”區(qū)間(例如在檢索中輔助視聽者的一個或少數(shù)幾個幀)。
另外，在實施方式1中，說明了該系統(tǒng)中包含存儲介質(zhì)的情況，但該存儲介質(zhì)也可獨立于系統(tǒng)而構(gòu)成。例如，在該系統(tǒng)中內(nèi)置HDD(Hard DiskDrive，硬盤驅(qū)動器)作為所述存儲介質(zhì)的情況下，系統(tǒng)中構(gòu)成為包含存儲介質(zhì)。另一方面，在使用外帶的HDD、DVD等光盤或磁盤作為所述存儲介質(zhì)的情況下，把系統(tǒng)和存儲介質(zhì)單獨構(gòu)成。
實施方式2圖13是表示實施方式2的概要再現(xiàn)裝置1200的結(jié)構(gòu)的框圖。圖13中，對與實施方式1中說明的結(jié)構(gòu)相同的結(jié)構(gòu)附加相同符號。
概要再現(xiàn)裝置1200執(zhí)行在包括DVD-R或DVD-RW在內(nèi)的各種DVD盤、硬盤或藍(lán)光盤(Blu-ray Disk)等存儲介質(zhì)4中根據(jù)上述圖2中說明的目錄結(jié)構(gòu)而記錄的所述視頻的圖像或聲音的再現(xiàn)。另外，該概要再現(xiàn)裝置1200根據(jù)與記錄在所述存儲介質(zhì)4中的所述視頻對應(yīng)的所述重要性級別來執(zhí)行該視頻的概要再現(xiàn)。
下面，說明概要再現(xiàn)裝置1200中進行視頻的概要再現(xiàn)的情況。用戶操作操作部130，選擇要再現(xiàn)的期望視頻，再選擇概要再現(xiàn)。當(dāng)用戶選擇了期望的視頻時，如所述圖4中說明的那樣，由于可利用程序鏈信息40來確定構(gòu)成該視頻的程序41和構(gòu)成該程序41的單元42，所以應(yīng)參照的VOB的序號和該單元的再現(xiàn)開始時間及再現(xiàn)結(jié)束時間的各上演時間(PTM)被確定。
記錄在存儲介質(zhì)4中的元數(shù)據(jù)30(圖3)，在如下等定時，即，在該存儲介質(zhì)4被插入讀取驅(qū)動器11中之后、且用戶選擇概要再現(xiàn)之前，或在用戶選擇了要再現(xiàn)概要的視頻之后，或在該概要裝置1200中再現(xiàn)(普通再現(xiàn))記錄在存儲介質(zhì)4中的節(jié)目的中途，通過讀取驅(qū)動器11被讀出，輸出到驅(qū)動器I/F部3。驅(qū)動器I/F部3將輸入的元數(shù)據(jù)30解調(diào)，輸出到元數(shù)據(jù)分析部15。
元數(shù)據(jù)分析部15參照如上所述根據(jù)程序鏈信息40而檢測出的、對應(yīng)于所述視頻的VOB序號，從元數(shù)據(jù)文件26中讀出對應(yīng)于該視頻的元數(shù)據(jù)30。之后，該元數(shù)據(jù)分析部15從所述元數(shù)據(jù)30中，讀出存儲在對應(yīng)于各VOB的視頻鏡頭重要性級別34c中的重要性級別。
具體而言，首先參照所述VOB的序號，利用元數(shù)據(jù)管理信息31a和VOB元數(shù)據(jù)信息檢索指針31b中存儲的地址信息，確定VOB元數(shù)據(jù)信息31c。之后，訪問對應(yīng)于各VOB元數(shù)據(jù)信息31c的視頻鏡頭映射信息32b。
之后，讀出存儲在視頻鏡頭開始時間信息34a中的開始時間信息、存儲在視頻鏡頭結(jié)束時間信息34b中的結(jié)束時間信息和存儲在視頻鏡頭重要性級別34c中的重要性級別，其中所述視頻鏡頭開始時間信息34a被記述于該視頻鏡頭映射信息32b中包含的各視頻鏡頭入口33b中。當(dāng)確定了視頻鏡頭開始時間信息34a和視頻鏡頭結(jié)束時間信息34b時，確定具有包含于所述單元的再現(xiàn)開始時間和再現(xiàn)結(jié)束時間的范圍內(nèi)的上演時間(PTM)的視頻鏡頭。
將元數(shù)據(jù)分析部15讀出的重要性級別記錄在該元數(shù)據(jù)分析部15中。元數(shù)據(jù)分析部15中可記錄全部與存儲介質(zhì)4中記錄的多個視頻分別對應(yīng)的重要性級別，也可記錄全部與所述存儲介質(zhì)4中記錄的視頻中的成為概要再現(xiàn)對象的視頻對應(yīng)的重要性級別。另外，再現(xiàn)控制部16中也可僅記錄為了生成OSD平面圖像(細(xì)節(jié)如后所述。)所必需的重要性級別。另外，所述重要性級別也可以不記錄在元數(shù)據(jù)分析部15中，而例如在再現(xiàn)控制部16中設(shè)置存儲器(未圖示)，記錄在該存儲器中。此時，所述元數(shù)據(jù)分析部15從所述元數(shù)據(jù)30的視頻鏡頭重要性級別34c中讀出重要性級別，輸出到再現(xiàn)控制部16。
再現(xiàn)控制部16比較記錄在所述元數(shù)據(jù)分析部15中的各重要性級別與預(yù)先設(shè)定的閾值。具體而言，在設(shè)置在再現(xiàn)控制部16中的比較部(未圖示)中，比較從所述元數(shù)據(jù)分析部15輸出的重要性級別與所述閾值。然后，再現(xiàn)控制部14利用所述圖4中說明的程序鏈信息40來確定構(gòu)成與具有比所述閾值大的值的重要性級別對應(yīng)的視頻鏡頭的VOBU，控制讀取驅(qū)動器11以讀出該VOBU。另外，所述閾值構(gòu)成為可通過由用戶操作操作部130來進行調(diào)整。
另外，由所述讀取驅(qū)動器11讀出的VOBU被驅(qū)動器I/F部121解調(diào)。之后，經(jīng)音頻解碼器14將對應(yīng)于該VOBU的聲音的數(shù)據(jù)(音頻數(shù)據(jù))輸出到D/A轉(zhuǎn)換器127。對應(yīng)于所述VOBU的副圖像(視頻中的字幕等)的數(shù)據(jù)(副圖像數(shù)據(jù))在經(jīng)過圖解解碼部123處理之后，作為YUV信號蓄積在圖解平面中。另外，對應(yīng)于所述視頻的圖像的數(shù)據(jù)(視頻數(shù)據(jù))在經(jīng)過視頻解碼部13的處理之后，作為模擬視頻信號蓄積在視頻描繪平面125中。
所述再現(xiàn)控制部16進行上述比較，生成表示由用戶選擇的視頻的重要性級別的變化的圖像(OSD平面圖像)。另外，將對應(yīng)于所述OSD平面圖像的信號(下面稱為OSD信號。)輸出到由幀存儲器等構(gòu)成的OSD平面129。之后，將對應(yīng)于所述OSD信號的OSD平面圖像蓄積在OSD平面129中。
圖14是用于說明OSD平面圖像的說明圖。如圖14所示，再現(xiàn)控制部16生成OSD平面圖像132，該OSD平面圖像132包含作為表示重要性的軸的縱軸133；作為時間軸的橫軸134；表示所述時間軸方向上的重要性級別的變化的重要性級別標(biāo)繪(plot)135；表示在所述比較部中預(yù)先設(shè)定的閾值的切分級別137；和表示在該概要再現(xiàn)裝置1200的概要再現(xiàn)時再現(xiàn)的視頻在節(jié)目整體中的位置的再現(xiàn)指示器136。所述再現(xiàn)指示器136被適當(dāng)?shù)馗旅枥L，以在時間軸134上正確示出從視頻描繪平面125輸出的圖像在節(jié)目整體中的位置。
蓄積在視頻描繪平面125、圖解平面124和OSD平面129中的信號被同步輸出到合成部126。合成部126將蓄積在所述圖解平面124中的YUV信號、蓄積在所述視頻描繪平面125中的所述模擬視頻信號、和蓄積在所述OSD平面129中的所述OSD信號合成，輸出到視頻編碼器71。之后，視頻編碼器71將合成信號變換為預(yù)定信號，輸出到與概要再現(xiàn)裝置1200連接的顯示裝置等外部設(shè)備。
另外，在概要再現(xiàn)裝置1200中進行的概要再現(xiàn)與通過所述圖5等說明的概要再現(xiàn)相同地來進行。
圖15是用于說明概要再現(xiàn)裝置1200的概要再現(xiàn)時、連接于該概要再現(xiàn)裝置1200上的監(jiān)視器、電視機等顯示裝置1300中顯示的視頻的說明圖。圖15中，圖15(A)是示意性地示出與從視頻描繪平面125輸出的模擬視頻信號對應(yīng)的圖像131(下面也稱為視頻平面圖像131。)的圖。圖15(B)是所述圖14中說明的OSD平面圖像132。并且，圖15(C)是將圖15(A)的圖像與圖15(B)的圖像合成得到的圖像，即對應(yīng)于從所述合成部126輸出的合成信號的圖像(下面也稱為合成圖像。)。另外，在存在與字幕等副圖像數(shù)據(jù)對應(yīng)的圖像的情況下，在所述合成圖像上重疊對應(yīng)于該副圖像數(shù)據(jù)的圖像。
如圖15(C)所示，實施方式2的概要再現(xiàn)裝置1200在概要再現(xiàn)時，在所述顯示裝置1300中顯示合成圖像。因此，不會象現(xiàn)有的概要再現(xiàn)裝置那樣，產(chǎn)生用戶不能把握視頻整體的高漲趨勢的問題。即，用戶可通過合成圖像中包含的OSD平面圖像132，一眼即把握視頻中的高漲趨勢。
具體來說明，例如在概要再現(xiàn)的視頻是體育節(jié)目，將表示該體育節(jié)目的視頻的特征的參數(shù)作為“歡呼聲的持續(xù)時間”來算出重要性級別的情況下，重要性級別標(biāo)繪135表示所述體育節(jié)目中的歡呼聲的持續(xù)時間的變化。就體育節(jié)目等而言，越是能左右勝負(fù)去向的場景，歡呼聲或拍手持續(xù)越長時間。因此，用戶僅通過觀察一眼該重要性級別標(biāo)繪135，就可把握該體育節(jié)目中的重要場景在節(jié)目整體中的位置，可一眼把握該體育節(jié)目中的高漲趨勢。
另外，該用戶通過觀察切分級別137相對于重要性級別標(biāo)繪135的位置，可一眼把握通過該概要再現(xiàn)視頻整體被進行了何種程度的概括。另外，用戶在想進一步對視頻進行概括來再現(xiàn)的情況下，通過操作所述操作部130，使所述切分級別137沿縱軸133方向移動。另一方面，在想觀察更多的包含于所述視頻中的視頻的情況下，使所述切分級別137沿與縱軸133相反的方向移動。另外，所述再現(xiàn)控制部16根據(jù)閾值的變化，參照所述程序鏈信息40，調(diào)整再現(xiàn)的視頻鏡頭，控制讀取驅(qū)動器10以讀出該視頻鏡頭中包含的VOBU。
如上所述，根據(jù)實施方式2的概要再現(xiàn)裝置1200，即便記錄在存儲介質(zhì)4中的視頻是用戶初次看的視頻，也可容易地把握該視頻的高漲趨勢。
另外，通過參照OSD平面圖像132，視聽者可盡快地檢測出期望的場景(精彩的場景等)。之后，僅通過邊看所述OSD平面圖像132邊操作操作部130來調(diào)整閾值，就簡單地調(diào)整概要再現(xiàn)的時間。
并且，可利用再現(xiàn)指示器136來容易地把握通過概要再現(xiàn)顯示的圖像在視頻整體中的位置。
另外，即便如現(xiàn)有的概要再現(xiàn)裝置那樣、由于快進等看不到記錄在存儲介質(zhì)中的視頻整體，也可容易地把握精彩的場景等的位置。即，例如，在記錄在存儲介質(zhì)中的節(jié)目的時間長的情況下，盡管是快進，用戶要觀看該視頻整體也需要相當(dāng)長的時間。但是，在實施方式2的概要再現(xiàn)裝置中，節(jié)目的長短不成問題，一眼即可把握精彩場景在視頻整體中的位置。
另外，如現(xiàn)有的概要再現(xiàn)裝置那樣，在設(shè)定(打刻)精彩場面的情況下，有可能漏取該精彩場面，但在實施方式2的概要再現(xiàn)裝置1200中，則不存在這種可能性。
另外，也可以構(gòu)成為，對于OSD平面圖像132中的重要性級別標(biāo)繪135、切分級別137、再現(xiàn)指示器136等的OSD平面圖像中的各要素或該OSD平面圖像132整體，可通過用戶操作操作部130來進行顯示或不顯示的切換。
實施方式3圖16是用于說明實施方式3的概要再現(xiàn)裝置進行概要再現(xiàn)時顯示的圖像的說明圖。下面，對與實施方式1或2中說明的結(jié)構(gòu)一樣的結(jié)構(gòu)附加相同符號，省略說明。
如圖16所示，實施方式3的概要再現(xiàn)裝置中，設(shè)置在再現(xiàn)控制部16中的運算部(未圖示)根據(jù)概要再現(xiàn)的視頻的錄制時間(即普通再現(xiàn)該視頻時所需的時間)、和當(dāng)前的閾值，運算概要再現(xiàn)視頻時所需的時間(下面稱為概要時間。)。另外，再現(xiàn)控制部16運算把所述概要時間除以所述錄制時間的結(jié)果所得的概要率，計數(shù)該概要再現(xiàn)中再現(xiàn)的場景的數(shù)量。
再現(xiàn)控制部16根據(jù)該再現(xiàn)控制部16進行的運算等的結(jié)果，生成包含文本信息141而構(gòu)成的OSD平面圖像140，將對應(yīng)于該OSD平面圖像140的OSD信號輸出到OSD平面129。另外，OSD平面129在與蓄積在所述視頻描繪平面中的信號等同步的定時，將該OSD信號輸出到合成部10。
合成部126中，除了實施方式2中合成的信號外，還合成對應(yīng)于所述OSD平面圖像140的OSD信號。結(jié)果，在顯示裝置1300中，如圖16所示，除了在實施方式2中說明的包含重要性級別標(biāo)繪135的OSD平面圖像外，還顯示包含文本信息141的OSD平面圖像。
如上所述，根據(jù)實施方式3的概要再現(xiàn)裝置，除了實施方式2中說明的重要性級別標(biāo)繪135外，還顯示文本信息141，所以用戶可容易地把握概要再現(xiàn)所需的時間、概要率等。
因此，用戶通過參照顯示于顯示裝置1300中的文本信息，操作操作部130，可調(diào)整閾值。
另外，實施方式3中，說明了作為所述文本信息顯示概要時間等的情況，但也可顯示當(dāng)前再現(xiàn)的場景序號、當(dāng)前再現(xiàn)的節(jié)目的節(jié)目名稱、出演人名、制作人名、錄制的年月日或日期時間或星期幾、錄制的節(jié)目的廣播臺名稱、記錄在存儲介質(zhì)4中的節(jié)目的總數(shù)、當(dāng)前再現(xiàn)的節(jié)目的節(jié)目序號或再現(xiàn)時間位置、存儲介質(zhì)4的名稱等對用戶提供的補充/附加信息。
另外，對于利用文本信息141來顯示的補充/附加信息，不僅使用文本等字符串，還可使用圖標(biāo)或圖像來顯示。
另外，可構(gòu)成為可通過操作部130的用戶操作來單獨地選擇設(shè)定OSD平面圖像132、140的顯示的打開、關(guān)閉。另外，關(guān)于OSD平面圖像132、140的顯示，雙方可以同時打開或關(guān)閉，也可例如進行僅閾值137的顯示打開、關(guān)閉操作等打開或關(guān)閉OSD平面圖像132、140的一部分。
實施方式4圖17是用于說明實施方式4的概要再現(xiàn)裝置中進行概要再現(xiàn)時顯示的圖像的說明圖。下面，對與實施方式1～3中說明的結(jié)構(gòu)一樣的結(jié)構(gòu)附加相同符號，省略說明。
實施方式4的概要再現(xiàn)裝置中的OSD平面129僅蓄積對應(yīng)于實施方式3中說明的文本信息141的OSD信號，將該OSD信號輸出到合成部126。因此，在顯示裝置1300中，如圖17所示，顯示文本信息141和概要再現(xiàn)的視頻的圖像。另外，文本信息141的內(nèi)容與實施方式3中說明的內(nèi)容一樣，所以省略說明。
如上所述，根據(jù)實施方式4的概要生成裝置，由于顯示文本信息141，所以用戶可容易地把握概要再現(xiàn)所需的時間、概要率等。
實施方式5圖18是用于說明實施方式5的概要再現(xiàn)裝置中進行概要再現(xiàn)時顯示的圖像的說明圖。下面，對與實施方式1～4中說明的結(jié)構(gòu)一樣的結(jié)構(gòu)附加相同符號，省略說明。
實施方式5中的概要再現(xiàn)裝置由再現(xiàn)控制部16生成包含有預(yù)先記錄在該再現(xiàn)控制部16中的動作模式顯示文本151和圖標(biāo)圖像152的OSD平面圖像150。
具體地來說明，在該概要再現(xiàn)裝置中若選擇了概要再現(xiàn)，則再現(xiàn)控制部16根據(jù)預(yù)先記錄的動作模式顯示文本151和圖標(biāo)圖像152，生成OSD平面圖像150，將對應(yīng)于該OSD平面圖像的OSD信號輸出到OSD平面129。之后，OSD平面129蓄積從再現(xiàn)控制部16輸出的OSD信號，將該OSD信號輸出到合成部126。
然后，合成部126將對應(yīng)于從視頻描繪平面125輸出的信號的圖像或?qū)?yīng)于從圖解平面124輸出的信號的圖像，和對應(yīng)于從OSD平面129輸出的信號的圖像合成，輸出到視頻編碼器71。結(jié)果，在顯示裝置1300中顯示圖18所示的圖像。
如上所述，根據(jù)實施方式5的概要再現(xiàn)裝置，用戶可一眼把握該概要再現(xiàn)裝置的動作狀態(tài)。
另外，實施方式5中，說明了進行概要再現(xiàn)時顯示的動作模式顯示文本151和圖標(biāo)圖像152，但也可顯示表示普通再現(xiàn)或快進、后退等其它動作狀態(tài)的動作模式顯示文本151和圖標(biāo)圖像152。
另外，也可不顯示動作模式顯示文本151和圖標(biāo)圖像152雙方，而顯示動作模式顯示文本151或圖標(biāo)圖像152任一方。并且，也可通過操作操作部130，切換顯示動作模式顯示文本151和圖標(biāo)圖像152雙方的情況、顯示動作模式顯示文本151或圖標(biāo)圖像152任一方的情況、或動作模式顯示文本151和圖標(biāo)圖像152雙方均不顯示的情況。
實施方式6圖19是用于說明在實施方式6的概要再現(xiàn)裝置中進行概要再現(xiàn)時顯示的圖像的說明圖。下面，對與實施方式1～5中說明的結(jié)構(gòu)一樣的結(jié)構(gòu)附加相同符號，省略說明。
實施方式6中的概要再現(xiàn)裝置中，由再現(xiàn)控制部16生成重要場景顯示條161、重要場景條162、以及適當(dāng)更新顯示后示出當(dāng)前的再現(xiàn)位置的再現(xiàn)指示器163，其中重要場景顯示條161用于表示與具有比當(dāng)前閾值137大的值的重要性級別對應(yīng)的視頻(重要場景)在視頻整體中的位置，重要場景條162表示該重要場景的位置。然后，再現(xiàn)控制部16生成OSD平面圖像160，將OSD信號輸出到OSD平面129。然后，OSD平面129蓄積從再現(xiàn)控制部16輸出的OSD信號，將該OSD信號輸出到合成部126。
合成部126將對應(yīng)于從視頻描繪平面125輸出的信號的圖像或?qū)?yīng)于從圖解平面9輸出的信號的圖像、與對應(yīng)于從OSD平面129輸出的信號的圖像合成，輸出到視頻編碼器71。結(jié)果，顯示裝置1300中顯示圖19所示的圖像。
這里，具體說明重要場景顯示條161的生成方法。圖20是用于說明重要場景顯示條161的生成方法的說明圖。另外，圖20中，對與圖19中說明的結(jié)構(gòu)一樣的結(jié)構(gòu)附加相同符號，省略說明。
例如，在存在實施方式2中說明的重要性級別標(biāo)繪135的情況下，把超過當(dāng)前閾值137的部分設(shè)為重要的場景(例如得分場景等精彩場景)。這樣，重要場景條162可通過將超過該閾值137的部分投影到重要場景顯示條161上來得到。
如上所述，根據(jù)實施方式6的概要再現(xiàn)裝置，可將構(gòu)成為包含重要場景顯示條161的OSD平面圖像160的面積抑制得比構(gòu)成為包含實施方式2中示出的重要性級別標(biāo)繪135的OSD平面圖像的面積小。因此，即便在視頻描繪平面圖像131上重疊顯示該OSD平面圖像160，也不會遮檔視頻圖像。
另外，在普通再現(xiàn)時，若顯示重要場景顯示條161，則可容易地把握重要部位(具有高的重要性級別的精彩場景)相對于當(dāng)前再現(xiàn)位置的相對位置。
另外，通過在重要場景顯示條161中顯示重要場景條162，可比僅顯示文本信息141更容易把握概要率等。
實施方式7圖21是用于說明在實施方式7的概要再現(xiàn)裝置中進行概要再現(xiàn)時顯示的圖像的說明圖。下面，對與實施方式1～6中說明的結(jié)構(gòu)一樣的結(jié)構(gòu)附加相同符號，省略說明。
實施方式7中的概要再現(xiàn)裝置在再現(xiàn)控制部16中生成OSD平面圖像，該OSD平面圖像包含表示視頻的記錄時間的滑動顯示條171、和表示當(dāng)前顯示的場景在視頻整體中的位置的滑動顯示指示器172，將對應(yīng)于該OSD平面圖像的OSD信號輸出到OSD平面129。OSD平面129蓄積從再現(xiàn)控制部16輸出的OSD信號，將該OSD信號輸出到合成部126。另外，適當(dāng)?shù)馗旅枥L滑動顯示指示器172，以在滑動顯示條171上正確地表示從視頻描繪平面圖像125輸出的圖像在視頻整體中的位置。
之后，合成部126將對應(yīng)于從視頻描繪平面125輸出的信號的圖像或?qū)?yīng)于從圖解平面124輸出的信號的圖像、與對應(yīng)于從OSD平面129輸出的信號的圖像合成，輸出到視頻編碼器71。結(jié)果，顯示裝置1300中顯示如圖21所示的圖像。
這里，具體說明滑動顯示條171和滑動顯示指示器172。圖22是用于說明滑動顯示條171和滑動顯示指示器172的說明圖。另外，圖22中，對與圖21中說明的結(jié)構(gòu)一樣的結(jié)構(gòu)附加相同符號，省略說明。
例如，在存在包含實施方式2中說明的重要性級別標(biāo)繪135的OSD平面圖像132的情況下，再現(xiàn)控制部16向OSD平面129輸出OSD信號，該OSD信號對應(yīng)于切取該重要性級別標(biāo)繪135的一部分即虛線包圍的部分(圖22中的173的部分。下面稱為部分標(biāo)繪173)而得到的圖像。另外，再現(xiàn)控制部16運算作為部分標(biāo)繪173而被切出的部分在視頻整體中的位置，為了表示該位置，隨時更新滑動顯示指示器172，使之重合在滑動顯示條171上。
通過上述說明的再現(xiàn)控制部16的處理，生成圖21所示的OSD平面圖像170。
如上所述，根據(jù)實施方式7的概要再現(xiàn)裝置，由于可將表示重要性級別的變動的OSD平面圖像170的面積抑制得較小，所以即便重合顯示于視頻平面圖像131上，也不會遮檔視頻的圖像。
另外，通過放大顯示重要性級別標(biāo)繪的特定部分，可更詳細(xì)且明確地顯示時間軸方向上的重要性級別的變動。因此，即便是重要性級別標(biāo)繪135的變動密集的部位，用戶也可容易地辨識出該變動。
另外，實施方式7中，說明了使用滑動顯示條171和滑動顯示指示器172表示當(dāng)前顯示于顯示裝置1300中的圖像在視頻整體中的位置的情況，但只要是能顯示當(dāng)前顯示的圖像在視頻整體中的位置的方法，也可采用基于使用分?jǐn)?shù)或百分比表述的文本表現(xiàn)、或與滑動顯示條170不同的餅分圖等描繪。
實施方式8圖23是表示實施方式8中的記錄裝置1400的結(jié)構(gòu)的框圖。另外，以下的說明中，對與實施方式1或2中說明的結(jié)構(gòu)一樣的結(jié)構(gòu)附加相同符號，省略說明。
圖23中，CM檢測部300分析音頻編碼器72中提取的音頻信號的特征，檢測出所述視頻中的廣告(Commercial Message，下面也稱為CM)區(qū)間。之后，將對應(yīng)于該檢測結(jié)果的數(shù)據(jù)輸出到元數(shù)據(jù)生成部301。
元數(shù)據(jù)生成部301如實施方式1中說明的那樣，根據(jù)各編碼器提取的視頻信號的特征或音頻信號的特征，算出重要性級別。并且，元數(shù)據(jù)生成部301根據(jù)CM檢測部300中的CM檢測的結(jié)果，修正生成的重要性級別。另外，元數(shù)據(jù)生成部301生成包含修正后的重要性級別的元數(shù)據(jù)，輸出到寫入緩沖器74。之后，所述元數(shù)據(jù)如實施方式1中說明的那樣，與片斷對應(yīng)起來記錄在記錄介質(zhì)2中。
圖24是用于說明CM檢測部300中的CM檢測的說明圖。圖24中，310是將對應(yīng)于輸入到該記錄裝置1400中的視頻信號或音頻信號的視頻內(nèi)容(例如電視廣播的廣播內(nèi)容)分為正編廣播(下面也稱為正編)和CM廣播(下面也稱為CM)來表示的視頻內(nèi)容原理圖。另外，在該視頻內(nèi)容原理圖中，示出CM廣播由CM1、…、CMn等多個CM構(gòu)成的情況。
另外，圖24中，311是表示該CM檢測部300通過分析所述音頻信號而檢測出的、所述視頻內(nèi)容原理圖310的視頻內(nèi)容中無聲音部分(下面也稱為無聲音部位)和有聲音的部分(下面也稱為有聲音部位)的無聲音部位檢測曲線。并且，312是根據(jù)所述無聲音部位來檢測CM用的CM檢測濾波器，313是表示通過CM檢測濾波器312檢測為CM區(qū)間的部分的CM檢測曲線。
通常，在如圖24的視頻內(nèi)容原理圖310所示那樣，視頻的內(nèi)容由正編和CM構(gòu)成的情況下，多數(shù)情況下正編的視頻或聲音與CM的視頻或聲音沒有聯(lián)系。另外，在多個CM連續(xù)的情況下，多數(shù)情況下某CM的視頻或聲音與其它CM的視頻或聲音沒有聯(lián)系。因此，在從正編切換為CM的部分、從CM切換為CM的部分、或從CM切換為正編的部分中，聲音在數(shù)百毫秒之間變成無聲。因此，實施方式8的CM檢測部300分析從音頻編碼器72輸出的聲音的特征，檢測出該無聲音部位，由此進行CM的檢測。
下面，說明CM檢測部300的動作。如上所述，該CM檢測部300分析從音頻編碼器72輸出的聲音的特征，檢測出該無聲音部位。作為無聲音部位的檢測方法，例如可使用變形離散余弦變換(Modified DiscreteCosine Transform，下面也稱為MDCT)。
在使用MDCT的情況下，CM檢測部300對在音頻編碼器72中對模擬音頻信號進行A/D變換、再進行編碼壓縮而得到的數(shù)字信號(也稱為PCM(Pulse Code Modulation，脈沖編碼調(diào)制)信號。)進行MDCT，算出MDCT系數(shù)。之后，算出預(yù)定個數(shù)的MDCT系數(shù)的值的平方和(即相當(dāng)于音頻能量)，比較該平方和的值與預(yù)定的閾值。并且，比較的結(jié)果，在所述平方和的值小于等于所述預(yù)定閾值的區(qū)間為預(yù)定區(qū)間(例如數(shù)百毫秒)的情況下，將該區(qū)間設(shè)為無聲音部位。結(jié)果，在圖24的視頻內(nèi)容原理圖310所示的視頻的情況下，在正編與CM的切換部分和CM與CM的切換部分中，檢測出無聲音部位。
將表示CM檢測部300中檢測出的無聲音部位的信息(例如表示視頻中的該無聲音部位在時間軸上的位置的信息)記錄在CM檢測部300中的存儲器(未圖示)中，或記錄控制部76中的存儲器(未圖示)中。另外，所述預(yù)定的閾值和所述預(yù)定的區(qū)間可根據(jù)該記錄裝置1400的設(shè)計等任意設(shè)定。
接著，CM檢測部300比較檢測出的無聲音部位與CM檢測濾波器312，檢測CM區(qū)間。通常，CM廣播采用一個CM的時間為15秒、30秒、60秒、90秒等預(yù)先決定的時間中的任一種時間來進行。因此，在CM檢測部300中設(shè)定以15秒間隔、30秒間隔等預(yù)定間隔產(chǎn)生使能信號的CM檢測濾波器312。之后，比較記錄在所述存儲器中的無聲音部位的發(fā)生位置(時間軸上的位置)與所述使能信號的發(fā)生位置(時間軸上的位置)，檢測CM。
即，CM檢測部300在檢測出某個無聲音部位的情況下，產(chǎn)生以該無聲音部位的位置為起點的使能信號(下面也稱為起點使能信號)。之后，在起點使能信號之后以預(yù)定間隔(例如15秒間隔、30秒間隔等)發(fā)生的使能信號與后續(xù)的無聲音部位連續(xù)一致的情況下，將作為起點的無聲音部位設(shè)為CM區(qū)間的開始位置(下面也稱為CM IN點(CM進入點))。
下面，在檢測出無聲音部位的位置與使能信號的位置不一致的部位的情況下，將時間上在該不一致部位之前、且最近的無聲音部位的位置與使能信號的位置相一致的部位設(shè)為CM區(qū)間的結(jié)束部位(下面也稱為CMOUT點(CM退出點))。之后，將CM IN點與CM OUT點之間的區(qū)間設(shè)為CM區(qū)間，將表示CM區(qū)間的位置信息輸出到元數(shù)據(jù)生成部301。即，將對應(yīng)于所述CM檢測曲線313的信號輸出到元數(shù)據(jù)生成部300。
圖25是用于說明元數(shù)據(jù)生成部301中的重要性級別的修正的說明圖。另外，圖25(A)是表示元數(shù)據(jù)生成部301中根據(jù)視頻編碼器71的輸出或音頻編碼器72的輸出而生成的重要性級別的變化的一例的重要性級別標(biāo)繪(圖中52)，圖25(B)是所述CM檢測曲線(圖中313)，圖25(C)是由根據(jù)CM檢測曲線修正重要性級別的結(jié)果得到的重要性級別標(biāo)繪(圖中321，下面也稱為修正重要性級別曲線)。
元數(shù)據(jù)生成部301比較在CM檢測部300中得到的CM檢測曲線與重要性級別標(biāo)繪，修正重要性級別。即，將在重要性級別標(biāo)繪中與CM檢測區(qū)間一致的重要性級別降低。具體而言，例如，將與CM區(qū)間一致的重要性級別置換為0等固定值?；蛘撸部蓪εcCM區(qū)間一致的重要性級別乘以使該重要性級別的值減小的固定值(例如0.5)。通過執(zhí)行上述處理，可得到在該元數(shù)據(jù)生成部301中被修正后的重要性級別。
另外，關(guān)于上述說明的CM檢測部300的CM區(qū)間檢測、元數(shù)據(jù)生成部301的元數(shù)據(jù)修正、或包含修正后的重要性級別的元數(shù)據(jù)向記錄介質(zhì)的記錄，可在該記錄裝置1400向記錄介質(zhì)2記錄視頻的過程中執(zhí)行，也可在向記錄介質(zhì)2的視頻記錄結(jié)束之后，根據(jù)記錄在存儲器或硬盤等中的無聲音區(qū)間的時間信息修正重要性級別，在任意定時記錄到記錄介質(zhì)2中。
如上所述，根據(jù)實施方式8的記錄裝置，可將CM區(qū)間中的重要性級別設(shè)定為低的值。即，即便在已向CM廣播的部分賦予了高的重要性級別的情況下，也可將重要性級別修正為低的值。因此，當(dāng)概要再現(xiàn)記錄在記錄介質(zhì)中的視頻時，可防止再現(xiàn)CM。
另外，以上說明中，說明了根據(jù)從音頻編碼器72輸出的音頻信號的特征來檢測CM區(qū)間的情況，但CM區(qū)間的檢測中也可使用從視頻編碼器71輸出的視頻信號的特征，還可使用視頻編碼器71中的視頻信號的編碼壓縮時得到的預(yù)定特征量。
另外，CM區(qū)間的檢測也可僅根據(jù)從視頻信號或音頻信號的任一方得到的特征來進行，還可根據(jù)從視頻信號和音頻信號雙方得到的特征來進行。
另外，在以上說明中，說明了檢測出無聲音部位，檢測出CM區(qū)間，修正重要性級別的情況，但也可利用其它方法來檢測CM區(qū)間，修正重要性級別。例如，也可檢測出輸入到記錄裝置中的音頻信號的音頻方式是立體聲方式還是單聲道方式，來檢測CM區(qū)間。即，在對正編使用單聲道方式，對CM使用立體聲方式的情況下，可通過檢測出單聲道方式與立體聲方式的切換部分，檢測出CM IN點和CM OUT點，來檢測CM區(qū)間。另外，在對正編使用雙語方式，對CM不使用雙語方式的情況下，檢測出不是雙語廣播的部分，作為CM區(qū)間。
并且，當(dāng)在正編與CM的切換點插入了黑畫面的視頻幀的情況下，通過檢測出該黑畫面，可檢測出CM區(qū)間。另外，當(dāng)在對應(yīng)于正編的視頻信號中包含字幕廣播信號、在對應(yīng)于CM的視頻信號中不包含字幕廣播信號的情況下，可通過檢測出該字幕廣播信號，來檢測CM區(qū)間。
另外，在輸入到記錄裝置中的視頻信號或音頻信號上重疊有用于識別CM區(qū)間的信號(下面也稱為CM識別信號)的情況下，通過檢測出該CM識別信號，可檢測出CM區(qū)間。在檢測CM區(qū)間時，在檢測黑畫面等使用視頻信號的特征的情況下，如圖26所示，將記錄裝置1500構(gòu)成為向CM檢測部302輸入視頻編碼器71的輸出。之后，在元數(shù)據(jù)生成部303中，對應(yīng)于根據(jù)視頻信號或音頻信號得到的CM檢測曲線來修正元數(shù)據(jù)。
另外，以上說明中，說明了檢測CM區(qū)間時、僅使用檢測無聲音部位的方法的情況，但在CM檢測部300中，也可使用上述多個CM檢測方法中的任一個，或組合使用多個CM檢測方法。
例如，可將通過檢測出單聲道方式與立體聲方式的切換部分來檢測CM區(qū)間的方法、和通過檢測出無聲音部位來檢測CM區(qū)間的方法組合。在正編和CM雙方均使用立體聲方式的情況下，通過檢測出單聲道方式與立體聲方式的切換部分來檢測CM區(qū)間的方法很難用來檢測CM區(qū)間。但是，通過檢測出該音頻方式的切換來檢測CM區(qū)間的方法可最便于檢測CM區(qū)間，可減小記錄裝置中的運算負(fù)荷。
因此，利用電子節(jié)目表(EPG(Electric Program Guide)預(yù)先取得成為錄制對象的電視廣播的音頻信號的音頻方式，在正編為單聲道方式的情況下或為雙語方式的情況下，采用檢測出音頻方式的切換來檢測CM區(qū)間的方式，在正編是立體聲方式的情況下，采用通過檢測出無聲音部位來檢測CM區(qū)間的方法。
也可以把基于音頻方式的切換的檢測的CM檢測方式的結(jié)果，和基于無聲音部位的檢測的CM檢測方式的結(jié)果，作為獨立的數(shù)據(jù)表格來保存，根據(jù)預(yù)定的基準(zhǔn)來判定在錄制完成后或在任意的定時基于哪種方式的CM檢測是適當(dāng)?shù)模捎萌我环N方式。
另外，所謂所述預(yù)定基準(zhǔn)例如可使用檢測的CM區(qū)間的個數(shù)(下面也稱為CM區(qū)間數(shù))。例如，在對正編為立體聲音頻方式的節(jié)目檢測聲音方式的切換來檢測CM區(qū)間的情況下，CM區(qū)間數(shù)比根據(jù)節(jié)目的廣播時間而假定的一般的CM區(qū)間個數(shù)少得多。因此，在上述情況下，在CM區(qū)間數(shù)比根據(jù)節(jié)目的廣播時間而假定的一般的CM區(qū)間個數(shù)少得多時，判斷為通過檢測出音頻方式的切換來檢測CM是不適當(dāng)?shù)摹?br> 具體而言，例如設(shè)定預(yù)定的閾值(可判斷為比根據(jù)節(jié)目的廣播時間而假定的一般的CM區(qū)間個數(shù)少得多的閾值)，比較CM區(qū)間數(shù)與所述閾值，在CM區(qū)間數(shù)比該閾值小的情況下，可判斷為通過檢測音頻方式的切換來檢測CM是不適當(dāng)?shù)摹?br> 另外，也可將使用通過檢測音頻方式的切換來檢測CM區(qū)間的方法，進行重要性級別的修正而得到的元數(shù)據(jù)，和使用通過檢測無聲音部位來檢測CM區(qū)間的方法，進行重要性級別的修正而得到的元數(shù)據(jù)這兩方元數(shù)據(jù)記錄在記錄介質(zhì)2中，當(dāng)再現(xiàn)該記錄介質(zhì)2時，選擇要使用的元數(shù)據(jù)。
另外，由實施方式8中說明的記錄裝置記錄了元數(shù)據(jù)等的記錄介質(zhì)2可通過在實施方式2中說明的概要再現(xiàn)裝置來再現(xiàn)。
將本發(fā)明記載為優(yōu)選實施方式的例子，但應(yīng)理解在本發(fā)明的精神和范圍內(nèi)，可進行各種其它的適應(yīng)和修改。因此，所附權(quán)利要求的范圍的目的在于網(wǎng)羅全部落入本發(fā)明的真正精神和范圍內(nèi)的變形和修改。
權(quán)利要求
1.一種記錄裝置，具備記錄單元，其將輸入的視頻信號或音頻信號記錄在預(yù)定的記錄介質(zhì)中；特征提取單元，其將所述視頻信號或所述音頻信號劃分為預(yù)定的片斷，針對所述每個片斷提取出所述視頻信號的視頻特征或所述音頻信號的音頻特征；和元數(shù)據(jù)生成單元，其生成包含與所述特征對應(yīng)的特征數(shù)據(jù)、和所述片斷的開始位置的元數(shù)據(jù)，其中，所述記錄單元將所述元數(shù)據(jù)與所述片斷對應(yīng)起來記錄在所述記錄介質(zhì)中。
2.根據(jù)權(quán)利要求1所述的記錄裝置，其特征在于，所述元數(shù)據(jù)生成單元根據(jù)包含于預(yù)定窗口中的各片斷的特征數(shù)據(jù)，生成與所述窗口內(nèi)的全部片斷對應(yīng)的所述特征數(shù)據(jù)。
3.根據(jù)權(quán)利要求2所述的記錄裝置，其特征在于所述窗口具有設(shè)定了預(yù)定的特征數(shù)據(jù)的錨區(qū)間，所述元數(shù)據(jù)生成單元根據(jù)包含于所述窗口中的各片斷的特征數(shù)據(jù)、和在所述錨區(qū)間被設(shè)定的特征數(shù)據(jù)，生成與所述窗口內(nèi)的全部片斷對應(yīng)的所述特征數(shù)據(jù)。
4.根據(jù)權(quán)利要求2或3所述的記錄裝置，其特征在于所述元數(shù)據(jù)生成單元對所述特征數(shù)據(jù)賦予權(quán)值。
5.根據(jù)權(quán)利要求4所述的記錄裝置，其特征在于所述權(quán)值是與所述音頻信號對應(yīng)的聲音音量。
6.一種記錄裝置，具備記錄單元，其將輸入的視頻信號或音頻信號記錄在預(yù)定的記錄介質(zhì)中；特征提取單元，其將所述視頻信號或所述音頻信號劃分為預(yù)定的片斷，針對所述每個片斷提取出所述視頻信號的視頻特征或所述音頻信號的音頻特征；元數(shù)據(jù)生成單元，其生成包含與所述特征對應(yīng)的特征數(shù)據(jù)、和所述片斷的開始位置的元數(shù)據(jù)；以及CM檢測單元，其根據(jù)所述視頻信號或所述音頻信號，來檢測所述視頻信號或所述音頻信號中包含的廣告區(qū)間，其中，所述元數(shù)據(jù)生成單元根據(jù)所述CM檢測單元的檢測結(jié)果，修正所述特征數(shù)據(jù)，生成元數(shù)據(jù)，所述記錄單元將包含修正后的所述特征數(shù)據(jù)的元數(shù)據(jù)，與所述片斷對應(yīng)起來記錄在所述記錄介質(zhì)中。
7.一種記錄方法，包括如下步驟將輸入的視頻信號或音頻信號記錄在預(yù)定的記錄介質(zhì)中；將所述視頻信號或所述音頻信號劃分為預(yù)定的片斷，針對所述每個片斷提取出所述視頻信號的視頻特征或所述音頻信號的音頻特征；生成包含與所述特征對應(yīng)的特征數(shù)據(jù)、和所述片斷的開始位置的元數(shù)據(jù)；在進行所述記錄時，將所述元數(shù)據(jù)與所述片斷對應(yīng)起來記錄在所述記錄介質(zhì)中。
8.一種記錄方法，包括如下步驟將輸入的視頻信號或音頻信號記錄在預(yù)定的記錄介質(zhì)中；將所述視頻信號或所述音頻信號劃分為預(yù)定的片斷，針對所述每個片斷提取出所述視頻信號的視頻特征或所述音頻信號的音頻特征；生成包含與所述特征對應(yīng)的特征數(shù)據(jù)、和所述片斷的開始位置的元數(shù)據(jù)；根據(jù)所述視頻信號或所述音頻信號，檢測出在所述視頻信號或所述音頻信號中包含的廣告區(qū)間，根據(jù)廣告區(qū)間的檢測結(jié)果，修正所述特征數(shù)據(jù)，生成元數(shù)據(jù)，將包含修正后的所述特征數(shù)據(jù)的元數(shù)據(jù)，與所述片斷對應(yīng)起來記錄在所述記錄介質(zhì)中。
9.一種計算機可讀取的記錄介質(zhì)，利用權(quán)利要求7或8所述的記錄方法記錄了與所述元數(shù)據(jù)、所述視頻信號或所述音頻信號對應(yīng)的片斷。
10.根據(jù)權(quán)利要求9所述的計算機可讀取的記錄介質(zhì)，其特征在于存儲與所述元數(shù)據(jù)對應(yīng)的文件的目錄、和存儲與所述片斷對應(yīng)的文件的目錄，被設(shè)置為不同的目錄。
11.一種概要再現(xiàn)裝置，具備特征數(shù)據(jù)提取單元，其從記錄在權(quán)利要求9或10所述的記錄介質(zhì)中的所述元數(shù)據(jù)中，提取出所述特征數(shù)據(jù)；比較單元，其比較與所述特征數(shù)據(jù)對應(yīng)的值和預(yù)先決定的閾值；檢索單元，其檢索記錄在所述記錄介質(zhì)中的所述片斷中、與所述比較結(jié)果對應(yīng)的片斷；以及再現(xiàn)單元，其再現(xiàn)與該檢測單元檢索到的片斷對應(yīng)的視頻或音頻。
12.根據(jù)權(quán)利要求11所述的概要再現(xiàn)裝置，其中，所述檢索單元檢索所述比較單元的比較結(jié)果為值比所述閾值大的特征數(shù)據(jù)所對應(yīng)的片斷。
13.根據(jù)權(quán)利要求11或12所述的概要再現(xiàn)裝置，其中，所述比較單元對與所述檢索單元檢索到的片斷對應(yīng)的視頻的再現(xiàn)時間和預(yù)定的閾值進行比較，該概要再現(xiàn)裝置在所述比較單元的比較結(jié)果為所述再現(xiàn)時間比所述預(yù)定閾值小的情況下，不再現(xiàn)與所述檢索到的片斷對應(yīng)的視頻或音頻。
14.根據(jù)權(quán)利要求11或12所述的概要再現(xiàn)裝置，其中，所述比較單元對與所述檢索單元檢索到的片斷對應(yīng)的視頻的再現(xiàn)時間、和預(yù)定的閾值進行比較，該概要再現(xiàn)裝置在所述比較單元的比較結(jié)果為所述再現(xiàn)時間比所述預(yù)定閾值小的情況下，調(diào)整再現(xiàn)時間，以使包含與所述片斷對應(yīng)的視頻或音頻的、再現(xiàn)的視頻或音頻的再現(xiàn)時間大于等于所述預(yù)定閾值。
15.根據(jù)權(quán)利要求11～14中任一項所述的概要再現(xiàn)裝置，還具備圖像生成單元，其生成表示所述比較單元的比較結(jié)果的圖像；以及合成單元，其將所述圖像生成單元生成的圖像與所述視頻檢測單元檢測到的片斷的視頻合成、輸出。
16.根據(jù)權(quán)利要求15所述的概要再現(xiàn)裝置，其中，所述圖像生成單元生成的圖像包含表示所述特征數(shù)據(jù)的值的變動的圖像；和表示所述閾值的級別的圖像。
17.根據(jù)權(quán)利要求15或16所述的概要再現(xiàn)裝置，其中，所述圖像生成單元生成的圖像包含表示作為所述比較單元的比較結(jié)果，與所述檢索單元檢索到的片斷對應(yīng)的視頻的再現(xiàn)時間的圖像。
18.根據(jù)權(quán)利要求15～17中任一項所述的概要再現(xiàn)裝置，其中，所述圖像生成單元生成的圖像包含表示作為所述比較單元的比較結(jié)果，與所述檢索單元檢索到的片斷對應(yīng)的視頻在視頻整體中的位置的圖像。
19.一種概要再現(xiàn)方法，包括如下步驟從記錄在權(quán)利要求9或10所述的記錄介質(zhì)中的所述元數(shù)據(jù)中，提取出所述特征數(shù)據(jù)；比較與所述特征數(shù)據(jù)對應(yīng)的值和預(yù)先決定的閾值；檢索記錄在所述記錄介質(zhì)中的所述片斷中、與所述比較結(jié)果對應(yīng)的片斷；再現(xiàn)與該檢測單元檢索到的片斷對應(yīng)的視頻或音頻。
20.一種對多媒體進行概括的多媒體概括系統(tǒng)，該多媒體概括系統(tǒng)具備如下單元存儲分割成區(qū)間序列的壓縮多媒體文件、和元數(shù)據(jù)文件的單元，該元數(shù)據(jù)文件包含所述序列的各區(qū)間的索引信息和在閉間隔中連續(xù)的重要性的級別信息；選擇所述閉間隔中的重要性級別的閾值的單元；以及使用所述索引信息，僅再現(xiàn)所述多媒體中、具有比所述重要性級別的閾值高的特定的重要性級別的區(qū)間的單元。
21.一種對多媒體進行概括的多媒體概括方法，包括如下步驟存儲分割成區(qū)間序列的壓縮多媒體文件；存儲元數(shù)據(jù)文件，該元數(shù)據(jù)文件包含所述區(qū)間序列的各區(qū)間的索引信息和在閉間隔中連續(xù)的重要性的級別信息；選擇所述閉間隔中的重要性級別的閾值；以及使用所述索引信息，再現(xiàn)所述多媒體中、具有比所述重要性級別的閾值高的特定的重要性級別的區(qū)間。
全文摘要
系統(tǒng)和方法對存儲在分割成區(qū)間序列的壓縮多媒體文件中的多媒體進行概括，多媒體的內(nèi)容例如是視頻信號、音頻信號、文本和二進制數(shù)據(jù)。關(guān)聯(lián)的元數(shù)據(jù)文件包含各區(qū)間的索引信息和重要性級別。重要性級別在閉間隔中是連續(xù)的。對閉間隔選擇重要性級別的閾值，僅再現(xiàn)多媒體中、具有比重要性級別的閾值高的特定的重要性級別的片斷。也可針對由多個區(qū)間構(gòu)成的固定長度的窗口、即滑動窗口求出重要性級別。并且，利用音量等系數(shù)來對重要性級別進行加權(quán)。
文檔編號H04N5/91GK1910580SQ200580002448
公開日2007年2月7日 申請日期2005年1月7日 優(yōu)先權(quán)日2004年1月14日
發(fā)明者大塚功, 中根和彥, 小川雅晴, 阿賈伊·迪瓦卡蘭 申請人:三菱電機株式會社