視頻數(shù)據(jù)的提供的制作方法
【專利說明】視頻數(shù)據(jù)的提供
[0001]本發(fā)明涉及在通信媒體上提供視頻數(shù)據(jù)。具體地，本發(fā)明涉及通過將“書簽”數(shù)據(jù)應(yīng)用于節(jié)目來識(shí)別記錄節(jié)目的“最精彩部分(highlights)”。這些可以由創(chuàng)建這些節(jié)目的用戶或其他用戶來使用以識(shí)別最感興趣的部分。例如，它們可以用來識(shí)別廣播的部分以編輯成短視頻序列。提供這種最精彩部分是許多電視服務(wù)(特別是體育賽事報(bào)道)的重要部分。
[0002]編輯“最精彩部分”片段的序列所需的提取通常使用標(biāo)準(zhǔn)數(shù)字視頻編緝工具從較長(zhǎng)的視頻序列創(chuàng)建，所述標(biāo)準(zhǔn)數(shù)字視頻編緝工具直接地或者參考該片段中的關(guān)鍵事件來定義每個(gè)視頻片段的起點(diǎn)和終點(diǎn)。每個(gè)片段典型地存儲(chǔ)為獨(dú)立的文件，該獨(dú)立的文件可以隨后提供給觀眾。典型地，給請(qǐng)求“最精彩部分”序列的觀眾提供地址或地址集合，從該址或地址集合檢索構(gòu)成所需序列的片段。
[0003]例如從國(guó)際專利說明書W02004/025508中已知，提供識(shí)別視頻序列中的“最精彩部分”的自動(dòng)程序以便給觀眾提供導(dǎo)航設(shè)備或簡(jiǎn)化和減少視頻生產(chǎn)和編輯中的成本?，F(xiàn)有技術(shù)典型地通過分析視頻序列中視頻或音頻的電平的變化來自動(dòng)識(shí)別視頻片段。更具體地，通過分析視頻信號(hào)的可視部分、音頻部分和文本部分，使用各種超級(jí)直方圖、幀簽名、剪切檢測(cè)方法、隱藏字幕信息、音頻信息等來典型地識(shí)別“最精彩部分”視頻段落的邊界。例如，基于響應(yīng)于運(yùn)動(dòng)員的表現(xiàn)記錄的觀眾歡呼的音量(US7831112)，或分析描述分?jǐn)?shù)的圖像區(qū)域來檢測(cè)變化(US7983442)。
[0004]例如從歐洲專利申請(qǐng)EP142178中還已知，使觀眾手動(dòng)地以書簽標(biāo)記“最精彩部分”以用于以后的訪問。盡管人工輸入比內(nèi)容分析更可靠，但是單獨(dú)的用戶將以不同的方式反應(yīng)，特別是將具有不同的反應(yīng)時(shí)間，范圍從響應(yīng)于語音或手勢(shì)命令、或者如果在預(yù)計(jì)事件的情況下用戶使其手指保持適當(dāng)控制的姿勢(shì)，到如果用戶不太熟悉系統(tǒng)和/或需要尋找控制單元、或者如果相關(guān)節(jié)目建立標(biāo)記需要具有多功能(例如平板計(jì)算機(jī))的幾秒鐘。因此，視頻檢索處理器難以響應(yīng)單獨(dú)以書簽標(biāo)記內(nèi)容，精確地確定內(nèi)容的哪部分適于針對(duì)視頻片段來標(biāo)記。根據(jù)以書簽標(biāo)記的事件是用戶正期待的“定位球(set piece)”還是響應(yīng)時(shí)間將變化較大的某些不期待的事情，能夠發(fā)生其它變化。
[0005]本發(fā)明提供了一種用于從視頻數(shù)據(jù)元素的序列生成視頻片段以根據(jù)需要傳輸和重放的視頻服務(wù)平臺(tái)，該視頻服務(wù)平臺(tái)包括:
[0006]用戶輸入單元，其接收多個(gè)單獨(dú)時(shí)間戳數(shù)據(jù)輸入，每個(gè)單獨(dú)時(shí)間戳數(shù)據(jù)輸入由各用戶生成，并且識(shí)別要用來生成片段的視頻數(shù)據(jù)的一部分；
[0007]聚合系統(tǒng)，其用于計(jì)算從所述多個(gè)單獨(dú)時(shí)間戳數(shù)據(jù)導(dǎo)出的聚合時(shí)間戳值；
[0008]事件標(biāo)記器單元，其用于根據(jù)所述聚合時(shí)間戳數(shù)據(jù)，將事件標(biāo)記器標(biāo)志與視頻數(shù)據(jù)序列的元素相關(guān)聯(lián)；和
[0009]輸出單元，其用于從與事件標(biāo)記器標(biāo)志相關(guān)地定義的多個(gè)視頻數(shù)據(jù)元素生成視頻片段。
[0010]本發(fā)明還提供了一種用于從視頻數(shù)據(jù)元素的序列生成視頻片段以根據(jù)需要傳輸和重放的方法，其中由多個(gè)用戶中的每一個(gè)生成的識(shí)別要用于生成片段的視頻數(shù)據(jù)的一部分的單獨(dú)時(shí)間戳數(shù)據(jù)輸入被聚合以計(jì)算聚合時(shí)間戳值，并且根據(jù)聚合的時(shí)間戳，將事件標(biāo)記器標(biāo)志與視頻數(shù)據(jù)序列的元素相關(guān)聯(lián)。
[0011]用于確定聚合時(shí)間戳值的處理可以根據(jù)與單獨(dú)時(shí)間戳值相關(guān)聯(lián)的元數(shù)據(jù)和/或時(shí)間戳數(shù)據(jù)輸入的分布來選擇。時(shí)間戳數(shù)據(jù)輸入的分布例如通過選擇整個(gè)持續(xù)時(shí)間，或者選擇在事件標(biāo)志之前出現(xiàn)的片段的比例還可用于控制在該片段的事件標(biāo)記器之前和/或之后視頻片段部分的持續(xù)時(shí)間。
[0012]本發(fā)明使觀眾能使用觀眾定義的“臨時(shí)書簽”在視頻序列內(nèi)識(shí)別多個(gè)關(guān)鍵事件(例如，在足球比賽中的進(jìn)球)。與相關(guān)聯(lián)的元數(shù)據(jù)一起地，這些書簽被存儲(chǔ)為時(shí)間代碼，所述元數(shù)據(jù)將時(shí)間代碼識(shí)別為屬于某種類型的事件。在優(yōu)選實(shí)施方式中，不是標(biāo)記最精彩片段的開始和結(jié)束，而是第一值標(biāo)記關(guān)鍵事件，第二值用來定義識(shí)別在標(biāo)記點(diǎn)之前和標(biāo)記點(diǎn)之后要提供的片段的相對(duì)持續(xù)時(shí)間的比率。因此，用戶不需要識(shí)別對(duì)事件本身建立的開始。當(dāng)保持該比率時(shí)，能夠調(diào)整實(shí)際持續(xù)時(shí)間。
[0013]可以在關(guān)鍵事件的時(shí)刻由非專家用戶通過單次交互在直播視頻流上容易地且實(shí)時(shí)地識(shí)別和生成片段。但是，由于不熟悉控制設(shè)備，意識(shí)到事件的重要性所用時(shí)間的不同、外物分心等，用戶響應(yīng)于關(guān)鍵事件所用時(shí)間會(huì)不同。這會(huì)降低系統(tǒng)的有效性，因?yàn)椴煌挠脩魧⒔邮詹煌钠巍@示或多或少感興趣的事件。特別地，片段必須足夠長(zhǎng)以確保關(guān)鍵時(shí)刻(根據(jù)正在討論的運(yùn)動(dòng)，進(jìn)球、接球、擊球、超過)被捕捉，導(dǎo)致任何被傳輸?shù)钠魏芸赡馨ū绕谕嗟年P(guān)鍵時(shí)刻之前和/或之后的事件。這反過來意味著在給定的時(shí)間內(nèi)能給用戶顯示較少的片段。
[0014]更進(jìn)一步的缺陷在于存儲(chǔ)了大量的事件標(biāo)記器。不但引起針對(duì)服務(wù)提供商的存儲(chǔ)問題，而且它使檢索變得困難，特別是如果這些片段對(duì)那些沒有看到或以書簽標(biāo)記原始廣播或者其中的一部分的觀眾可用，并且希望使用書簽來創(chuàng)建最精彩的序列，更是如此。許多標(biāo)簽將與相同的事件有關(guān)，并且未經(jīng)詳細(xì)分析，對(duì)于用戶來說很難識(shí)別與事件有關(guān)的多個(gè)標(biāo)記中的哪一個(gè)將提供最精確的觀看。即使對(duì)于創(chuàng)建標(biāo)記的用戶，他們的反應(yīng)時(shí)間可能從一個(gè)標(biāo)記到另一個(gè)標(biāo)記而變化，導(dǎo)致某些片段的起點(diǎn)和終點(diǎn)比期望的更早或更晚。
[0015]本發(fā)明通過分析在視頻傳輸(所述視頻傳輸可以是流直播或可以視為“按需”時(shí)移紀(jì)錄)期間由多個(gè)用戶生成的事件標(biāo)記器的臨時(shí)分布，識(shí)別彼此臨時(shí)靠近的事件標(biāo)記器，生成聚合的時(shí)間戳，以及生成具有聚合時(shí)間戳的值的聚合事件標(biāo)記器來克服這些缺陷。該聚合值可以為簡(jiǎn)單的中值，或者在時(shí)間戳的分布上的某些更早或更晚的點(diǎn)，例如第25%的點(diǎn)。與事件標(biāo)記器相結(jié)合由用戶提供的元數(shù)據(jù)不但可以用來最初識(shí)別與相同的事件相關(guān)的事件標(biāo)記器，而且用于確定多個(gè)聚合處理中的哪一個(gè)用于每個(gè)這種群組，例如期望針對(duì)諸如罰球等的“定位球”的用戶標(biāo)記行為比諸如沖撞、自由運(yùn)動(dòng)的射門等的意外事件更集中。
[0016]通過HTTP (超文本傳輸協(xié)議)傳送視頻的通用方法包括將大的視頻文件分成多個(gè)較小的文件(稱為塊)，且每個(gè)塊對(duì)應(yīng)于在長(zhǎng)度上可能為幾秒的視頻段，并且每個(gè)視頻段具有其自己的URL(統(tǒng)一資源定位符)。在這種系統(tǒng)中，服務(wù)器平臺(tái)給客戶提供清單文件，(所述清單文件指明請(qǐng)求的片段的每個(gè)塊的URL)，以便客戶能夠請(qǐng)求、編輯并且然后重放視頻。在該實(shí)施方式中，由客戶端設(shè)備創(chuàng)建和解譯清單文件的方式，以便通過首先下載與關(guān)鍵事件有關(guān)的塊(諸如進(jìn)球)，接著進(jìn)一步下載在每個(gè)單獨(dú)的事件之前或之后的序列中的“視頻塊”，來基于其敘述的重要性對(duì)傳輸?shù)膬?nèi)容進(jìn)行排序。還可以給不同事件提供不同的優(yōu)先級(jí)，以便首先傳輸諸如進(jìn)球的事件，稍后傳輸諸如沒能進(jìn)球、犯規(guī)等其它事件。通過將較低優(yōu)先級(jí)事件的定義的“事件標(biāo)記器”塊排序在較高優(yōu)先級(jí)事件的事件標(biāo)記器之前或之后的一段距離發(fā)生的塊之前，與較低優(yōu)先級(jí)事件相關(guān)的塊在完成所有較高優(yōu)先級(jí)的事件的塊的傳輸之前開始傳輸。在任何事件中，在傳輸之后，塊被重新匯編為它們的用于觀看的正確的序時(shí)順序。
[0017]該配置能使適合于帶寬的以靈活方式提供的“最精彩片段”可用。這對(duì)于使用低容量網(wǎng)絡(luò)或處于不可靠覆蓋范圍(例如移動(dòng)用戶可能經(jīng)歷的那樣)的觀眾是有益的。這種配置將允許觀眾可用的多個(gè)單獨(dú)的最精彩片段，在可用帶寬或可靠連接存在限制的情況下被優(yōu)化。視頻塊的優(yōu)先次序還使視頻片段能被“飛速”動(dòng)態(tài)編輯，以匹配專用回放長(zhǎng)度限制。這種設(shè)備在提供“后來者”追趕設(shè)備時(shí)是有用的，所述“后來者”追趕設(shè)備能給觀眾提供在加入直播流之前發(fā)生的關(guān)鍵事件大綱。
[0018]現(xiàn)在，將通過示例的方式并且參照附圖描述本發(fā)明的實(shí)施方式，在附圖中:
[0019]圖1描繪了