植入內(nèi)容到視頻演示中的方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本公開(kāi)設(shè)及一種視頻處理技術(shù)領(lǐng)域，尤其設(shè)及一種將內(nèi)容植入到圖像/視頻序列 中的方法和系統(tǒng)。
【背景技術(shù)】
[0002] 當(dāng)前，最常用的將諸如廣告等內(nèi)容植入視頻播放中的方法是，在視頻開(kāi)始的時(shí)候 W及視頻回放的時(shí)候播放廣告視頻流。例如，在化UTube上，總是會(huì)在視頻流中有幾個(gè)廣告 片段。
[0003] 如圖1(a)所示，觀(guān)看者不得不在所選擇的視頻播放之前觀(guān)看廣告視頻的播放，廣 告的持續(xù)時(shí)間在圖1(a)中用紅色圓圈標(biāo)記。運(yùn)是將廣告植入到視頻序列的基本方法之一。 然而，運(yùn)種廣告播放方式的有效性評(píng)價(jià)并不好。視頻的觀(guān)看者可能在有廣告播放的時(shí)候切 換視頻頻道，并可能直到廣告播放結(jié)束后才轉(zhuǎn)回。運(yùn)種廣告植入的強(qiáng)制方式會(huì)相當(dāng)煩人，并 導(dǎo)致不愉快的觀(guān)看體驗(yàn)。
[0004] 另一種常用的在視頻播放中顯示廣告的方式是在所播放的視頻流的頂層W透明 顯示盒的方式播放廣告內(nèi)容，如圖1 (b)中用紅圈標(biāo)記所示，運(yùn)種植入播放方式也很煩人，也 可能會(huì)影響用戶(hù)對(duì)所選視頻的欣賞。
[0005] 因此，相應(yīng)于本公開(kāi)，對(duì)圖像/視頻處理的挑戰(zhàn)之一是如何在保持原始視頻源的原 有主要內(nèi)容的同時(shí)獲得所期待的結(jié)果。在觀(guān)眾觀(guān)看圖像/視頻的時(shí)候，圖像顯著性可W用作 衡量像素點(diǎn)，區(qū)塊和對(duì)象對(duì)觀(guān)眾視覺(jué)注意力的吸引能力的基本方法之一。然而，通常在往視 頻序列里植入內(nèi)容的時(shí)候不會(huì)納入圖像顯著性信息。而且，現(xiàn)有技術(shù)可能僅僅是在屏幕的 頂層簡(jiǎn)單地疊加廣告，運(yùn)就使得所疊加的內(nèi)容無(wú)法融入屏幕場(chǎng)景中，而運(yùn)會(huì)引起不舒服的 觀(guān)看效果。
[0006] 所公開(kāi)的方法和系統(tǒng)就是用于解決上述的一個(gè)或多個(gè)問(wèn)題W及其他問(wèn)題。

【發(fā)明內(nèi)容】

[0007] 本公開(kāi)內(nèi)容的一個(gè)方面提供了一種基于圖像顯著性的，用于將內(nèi)容植入視頻演示 中的媒體操作方法。該方法包括:建立含有多個(gè)用于植入視頻中的廣告元件的廣告元件池； 獲取展示了至少一個(gè)場(chǎng)景并含有多個(gè)原始帖的一段輸入視頻；W及在所輸入的視頻上執(zhí)行 鏡頭分組和主場(chǎng)景分析，W獲取具有靜態(tài)背景和有限鏡頭運(yùn)動(dòng)的場(chǎng)景。所述方法還包括在 所獲取的場(chǎng)景中檢測(cè)空白候選區(qū)域，W用于植入至少一個(gè)廣告元件，并基于廣告元件的視 頻顯著性調(diào)整所述空白候選區(qū)域和所述至少一個(gè)的廣告元件之間的排列關(guān)系。所述調(diào)整了 的排列關(guān)系用于增加所述廣告元件在其視頻顯著性上的收益，并限制了沒(méi)有植入內(nèi)容的場(chǎng) 景在視頻顯著性上的改變。該方法還包括通過(guò)按照調(diào)整后的空白候選區(qū)域和廣告元件的排 列關(guān)系將所述廣告元件植入所述空白候選區(qū)域中，從而生成一段輸出視頻。
[000引本公開(kāi)另一方面提供了一種基于圖像顯著性的媒體操作系統(tǒng)，用于在視頻播放中 植入內(nèi)容。所述系統(tǒng)包括廣告處理模塊，視頻預(yù)處理模塊，空白候選區(qū)域檢測(cè)模塊，排列關(guān) 系調(diào)整模塊W及輸出模塊。所述廣告處理模塊用于獲得包含多個(gè)用于植入的廣告元件的廣 告元件池。所述視頻預(yù)處理模塊用于對(duì)輸入視頻執(zhí)行鏡頭分組和主場(chǎng)景分析，W獲取具有 靜態(tài)背景的場(chǎng)景和有限鏡頭移動(dòng)的場(chǎng)景，所述輸入視頻呈現(xiàn)至少一個(gè)場(chǎng)景并含有多個(gè)原始 帖。所述空白候選區(qū)域檢測(cè)模塊用于在所獲得的場(chǎng)景中檢測(cè)空白候選區(qū)域，用W植入至少 一個(gè)廣告元件。所述排列調(diào)整模塊用于基于廣告原件的圖像顯著性收益，來(lái)調(diào)整所述空白 候選區(qū)域和所述廣告元件之間的排列關(guān)系，用W增加所述廣告元件的圖像顯著性的收益W 及限制未植入內(nèi)容的場(chǎng)景的圖像顯著性的改變。所述輸出模塊用于通過(guò)按照調(diào)整后的空白 候選區(qū)域和廣告元件的排列關(guān)系而將廣告元件植入空白候選區(qū)域中來(lái)產(chǎn)生一段輸出視頻。
【附圖說(shuō)明】
[0009] W下附圖僅僅是為了說(shuō)明目的而根據(jù)各公開(kāi)實(shí)施例所舉的例子，并不是用于限制 本公開(kāi)的范圍。
[0010]圖1(a)-圖1(b)顯示了兩種當(dāng)前使用的廣告顯示方法。
[0011] 圖2(a)-圖2(b)顯示了兩種與本公開(kāi)一致的廣告植入方法。
[0012] 圖3顯示整合了本公開(kāi)的某些實(shí)施例的一個(gè)典型環(huán)境。
[0013] 圖4顯示了與本公開(kāi)的實(shí)施例一致的一個(gè)典型的計(jì)算系統(tǒng)。
[0014] 圖5顯示了與本發(fā)明實(shí)施例一致的典型的W圖像顯著性為基礎(chǔ)的圖像/視頻操作 系統(tǒng)的結(jié)構(gòu)示意圖。
[0015] 圖6顯示了與本發(fā)明一致的用于植入內(nèi)容到圖像/視頻序列的典型的基于圖像顯 著性的一個(gè)媒體操作過(guò)程的流程圖。
[0016] 圖7顯示了所獲取的與本發(fā)明一致的具有5個(gè)預(yù)測(cè)的平坦表面的典型帖。
[0017] 圖8顯示了與本發(fā)明一致的一個(gè)典型的基于圖像顯著性特性的排列方式調(diào)整過(guò)程 的流程圖。
[0018] 圖9顯示了與本發(fā)明一致的一個(gè)典型的為鏡頭所建的有向無(wú)環(huán)圖(DAG)。
[0019] 圖10顯示了與本發(fā)明一致的一個(gè)典型的狀態(tài)空間和邊緣連接。及
[0020] 圖11顯示了一個(gè)視頻流被劃分為不同的視頻分量，與所公開(kāi)的實(shí)施例一致。
【具體實(shí)施方式】
[0021] 為使本發(fā)明的目的、技術(shù)方案及效果更加清晰、明確，W下參照附圖并舉實(shí)施例對(duì) 本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。同一個(gè)參考標(biāo)號(hào)將盡可能的在所有附圖中的同一或類(lèi)似部件上使 用。顯然，所描述的實(shí)施例只是本發(fā)明的部分而不是全部的實(shí)施例?；谒_(kāi)的實(shí)施例， 本領(lǐng)域的普通技術(shù)人員可能推導(dǎo)出與本發(fā)明一致的其他實(shí)施例，而所有運(yùn)些實(shí)施例都在本 發(fā)明的保護(hù)范圍之內(nèi)。
[0022] 為了提高在所點(diǎn)播和所廣播的視頻中的廣告的有效性，有兩個(gè)方面需要考慮:所 定制的廣告內(nèi)容和一個(gè)為客戶(hù)所接受的廣告植入模式。本發(fā)明提供了一個(gè)基于圖像顯著性 的，用于植入廣告元件進(jìn)圖像/視頻序列里=維場(chǎng)景中的媒體操作方法。
[0023] 此處所使用的圖像顯著性（salience)-詞，可用于指代諸如素點(diǎn)、區(qū)塊和對(duì)象對(duì) 人類(lèi)視覺(jué)的吸引能力。換而言之，圖像顯著性是指，一個(gè)項(xiàng)目相對(duì)于其背景，在人類(lèi)視覺(jué)系 統(tǒng)中得W區(qū)別出來(lái)的狀態(tài)或品質(zhì)。所述項(xiàng)目可W是一個(gè)對(duì)象、一個(gè)區(qū)塊、一群像素點(diǎn)等等。
[0024] 圖2顯示了兩例采用與本發(fā)明一致的廣告植入方法的結(jié)果。如圖2(a)所示，一個(gè)廣 告圖標(biāo)在媒體展示中覆蓋其中一個(gè)初始區(qū)塊。如圖2(b)所示，一個(gè)廣告圖標(biāo)在媒體展示中 融入其中一個(gè)初始區(qū)塊。圖2(a)和圖2(b)都說(shuō)明，只要原始圖像/視頻的剩余部分盡可能的 維持其原始的圖像顯著性不變，那么所植入的廣告元件可獲得最大的圖像顯著性。在某些 實(shí)施例中，所植入的內(nèi)容可能不是廣告，而是可W整合進(jìn)圖像/視頻序列的具有圖像展示的 任何內(nèi)容。
[0025] 圖3是整合了本發(fā)明某些實(shí)施例的一個(gè)典型環(huán)境。如圖3所示，環(huán)境300可包括顯示 單元302，控制單元304，服務(wù)器306和用戶(hù)308。也可W包括其他設(shè)備。
[0026] 所述顯示單元302可W是任何類(lèi)型的能夠播放圖像/視頻序列的設(shè)備，如電視機(jī)， 計(jì)算機(jī)，智能電話(huà)，平板電腦，數(shù)碼相機(jī)等。所述控制單元304可W是任何類(lèi)型的外周設(shè)備， 只要其可W發(fā)送指令到所述顯示單元302即可，例如一個(gè)遙控器，鍵盤(pán)，鼠標(biāo)，控制按鈕，觸 摸屏等。所述顯示單元302和所述控制單元304可W被集成在一個(gè)設(shè)備中。
[0027] 用戶(hù)308可使用控制單元304來(lái)與顯示單元302進(jìn)行互動(dòng)，從而觀(guān)看不同的視頻，控 制客戶(hù)設(shè)置，W及執(zhí)行其他所希望的行動(dòng)，或者用戶(hù)308可W簡(jiǎn)單的僅僅使用手或身體姿態(tài) 來(lái)控制所述顯示單元302,只要所述顯示單元302使用了運(yùn)動(dòng)傳感器或深度攝像機(jī)。所述用 戶(hù)308可W是單個(gè)使用者或者多個(gè)使用者，例如家庭成員在一起看視頻。
[00%]所述顯示單元302,控制單元304,和/或服務(wù)器306可安裝在任何適合的計(jì)算電路 平臺(tái)上。圖4顯示了一個(gè)典型計(jì)算系統(tǒng)400的框圖，所述計(jì)算系統(tǒng)可實(shí)現(xiàn)所述基于視頻顯著 性的媒體操作系統(tǒng)。
[00巧]如圖4所示，計(jì)算系統(tǒng)400可包括處理器402，存儲(chǔ)介質(zhì)404，顯示器406，通訊模塊 408,數(shù)據(jù)庫(kù)410,和外周設(shè)備412。某些設(shè)備可能有所增減。
[0030] 處理器402可包括任何合適的處理器或處理器群。進(jìn)一步，處理器402可W包括用 于多線(xiàn)程或并行處理的多核處理器。存儲(chǔ)介質(zhì)404可包括內(nèi)存模塊，例如只讀存儲(chǔ)器(ROM), 隨機(jī)存取存儲(chǔ)器(RAM),閃存模塊，W及諸如光盤(pán)和硬盤(pán)等大容量存儲(chǔ)器。儲(chǔ)存介質(zhì)404可儲(chǔ) 存計(jì)算機(jī)程序，用于使得當(dāng)處理器402執(zhí)行所述計(jì)算機(jī)程序時(shí)，可W完成不同的進(jìn)程。
[0031] 進(jìn)一步，外周設(shè)備412可包括不同的傳感器和其他輸入/輸出（I/O)設(shè)備，諸如鍵盤(pán) 和鼠標(biāo)，而通訊模塊408可包括一些通過(guò)通訊網(wǎng)卡建立連接的網(wǎng)絡(luò)接口設(shè)備。數(shù)據(jù)庫(kù)410可 包括一個(gè)或多個(gè)數(shù)據(jù)庫(kù)，用于存儲(chǔ)某些數(shù)據(jù)，并用于對(duì)所儲(chǔ)存的數(shù)據(jù)執(zhí)行某些操作，如數(shù)據(jù) 庫(kù)捜索。
[0032] 特別是，存儲(chǔ)介質(zhì)404和數(shù)據(jù)庫(kù)410可存儲(chǔ)一個(gè)廣告池及一段輸入視頻。所述廣告 池和所述輸入視頻可預(yù)先提供并存儲(chǔ)于一當(dāng)?shù)卮鎯?chǔ)介質(zhì)中，或通過(guò)網(wǎng)絡(luò)在線(xiàn)提供。所述計(jì) 算系統(tǒng)400可實(shí)施一基于視頻顯著性的媒體操作方法，并通過(guò)把從所述廣告池中提取的廣 告元件植入所述輸入視頻而產(chǎn)生一輸出視頻。在所產(chǎn)生的輸出視頻中，所植入的廣告元件 可獲得最大的視頻顯著性，只要原始圖像/視頻的剩余部分基本保持其原有的視頻顯著性。
[0033] 圖5顯示了與本發(fā)明所公開(kāi)的實(shí)施例一致的一個(gè)典型的基于視頻顯著性的圖像/ 視頻操作系統(tǒng)的結(jié)構(gòu)示意圖。如圖5所示，所述基于視頻顯著性的媒體操作系統(tǒng)500(如，計(jì) 算系統(tǒng)400)可包括視頻預(yù)處理模塊502,空白候選區(qū)域檢測(cè)模塊503,廣告處理模塊505,排 列關(guān)系調(diào)整模塊506, W及輸出模塊507。某些設(shè)備可能有所增減。所述系統(tǒng)500(如，各種元 件)可W由硬