本發(fā)明涉及一種視頻編輯裝置、視頻編輯程序和視頻編輯方法。具體地，本發(fā)明涉及一種能夠有效地創(chuàng)建通過收集觀看者將表現(xiàn)出感興趣的場景而獲得的摘要視頻的視頻編輯裝置、視頻編輯程序和視頻編輯方法。

背景技術(shù)：

1、對于諸如體育比賽、電影、或電視購物之類的長時間廣播的電視廣播的程序，除了觀看程序之外，觀看者必須花費時間離開他們的生活，他們可能沒有時間從開頭到結(jié)尾觀看長時間的程序，并且需要觀看被編輯成僅包括程序的點的摘要程序。傳統(tǒng)上，通常，廣播站處的視頻編輯器通過僅手動地選擇觀看者被認為對長時間程序表現(xiàn)出感興趣的場景并且編輯所選擇的場景以落入預(yù)定的廣播時間幀內(nèi)來創(chuàng)建摘要視頻。

2、然而，在以這種方式手動編輯摘要視頻的情況下，需要制作成摘要視頻的程序具有相對較長的時間范圍，并且從程序中選擇場景作為點花費大量時間和精力，導(dǎo)致視頻編輯器的工作量大。此外，由于以這種方式創(chuàng)建的摘要視頻是包括從視頻編輯器的視點選擇的點的摘要，因此存在摘要視頻不一定反映觀看者的興趣的問題。

3、鑒于上述問題，存在專利文獻1中公開的技術(shù)作為用于有效地創(chuàng)建摘要視頻的技術(shù)。根據(jù)專利文獻1中公開的技術(shù)內(nèi)容，分析另一觀看者的運動狀態(tài)，基于觀看者的興趣信息計算對程序中的場景的關(guān)注度，從視頻中選擇觀看者的高度關(guān)注的場景，并且連接所選擇的場景以創(chuàng)建摘要視頻。這允許有效地創(chuàng)建反映觀看者的興趣的摘要視頻。

4、引用列表

5、專利文獻

6、專利文獻1：日本特開2012-248987號公報

技術(shù)實現(xiàn)思路

1、發(fā)明要解決的問題

2、然而，僅其他觀看者已經(jīng)關(guān)注的觀看場景可能創(chuàng)建未考慮到內(nèi)容的上下文或場景之間的上下文的摘要視頻，并且可能難以理解該內(nèi)容。例如，在體育轉(zhuǎn)播中，雖然得分場景容易受到高度關(guān)注，但是即使僅采用得分場景來編輯摘要視頻，在前和在后的視頻之間的連接也可能是不自然的，并且存在觀看者不能充分地理解比賽內(nèi)容的可能性。

3、本發(fā)明是鑒于上述點而做出的，并且其目的是提供一種能夠有效地創(chuàng)建通過收集觀看者將表現(xiàn)出感興趣的場景而獲得的摘要視頻的視頻編輯裝置、視頻編輯程序和視頻編輯方法。

4、解決問題的手段

5、為了實現(xiàn)上述目的，根據(jù)本發(fā)明的視頻編輯裝置包括：圖像分析單元、剪切視頻創(chuàng)建單元、剪切視頻選擇單元以及摘要視頻創(chuàng)建單元，圖像分析單元被配置為對用作原始素材的視頻內(nèi)容進行圖像分析；剪切視頻創(chuàng)建單元被配置為基于圖像分析單元的分析結(jié)果通過在預(yù)定分割點處分割視頻內(nèi)容來創(chuàng)建剪切視頻；剪切視頻選擇單元被配置為基于圖像分析單元的分析結(jié)果從剪切視頻中選擇期望的剪切視頻；摘要視頻創(chuàng)建單元被配置為通過連接由剪切視頻選擇單元選擇的剪切視頻來創(chuàng)建摘要視頻，摘要視頻具有比視頻內(nèi)容更短的視頻時間長度。

6、本文中，通過包括對用作原始素材的視頻內(nèi)容進行圖像分析的圖像分析單元，可以通過對視頻內(nèi)容進行圖像分析來從用作原始素材的視頻內(nèi)容中提取將被采用作為摘要視頻的特征圖像。

7、另外，通過包括通過基于圖像分析單元的分析結(jié)果分割視頻內(nèi)容來創(chuàng)建剪切視頻的剪切視頻創(chuàng)建單元，可以將視頻內(nèi)容分割為多個剪切視頻。然后，通過連接來自被分割的剪切視頻的期望的剪切視頻，能夠編輯允許容易地想象整個原始視頻，并且不會給出不協(xié)調(diào)感的摘要視頻。

8、此外，通過包括基于圖像分析單元的分析結(jié)果從多個剪切視頻中選擇期望的剪切視頻的剪切視頻選擇單元，可以優(yōu)先采用將給予觀看者有利印象的剪切視頻，諸如視頻內(nèi)容中具有表演者(演示者、競爭者、評論者等)的有利表情的剪切視頻或表演者在場景視頻中包含的剪切視頻中做出將留下印象的評論以及編輯將對觀看者留下印象的視頻的剪切視頻。

9、此外，通過包括摘要視頻創(chuàng)建單元，基于所選擇的特征剪切視頻來編輯摘要視頻，摘要視頻創(chuàng)建單元通過連接由剪切視頻選擇單元選擇的剪切視頻來創(chuàng)建具有比視頻內(nèi)容更短的視頻時間長度的摘要視頻。因此，能夠在短時間的視頻中編輯可能對觀看者留下印象并且不會給出不協(xié)調(diào)感的視頻。

10、此外，通過包括被配置為通過將剪切視頻分類成預(yù)先準備的多個屬性組來創(chuàng)建場景視頻的場景視頻創(chuàng)建單元，可以將剪切視頻分類成基于視頻內(nèi)容預(yù)先分類的屬性組并且創(chuàng)建一個場景視頻。也就是說，視頻內(nèi)容被分類為多個場景視頻，并且根據(jù)摘要視頻要被編輯的目的而選擇場景視頻，使得在前和在后場景視頻之間的連接是自然的，并且可以在沒有不協(xié)調(diào)感的情況下編輯摘要視頻。

11、此外，通過包括被配置為通過為場景視頻中的每個設(shè)置期望分數(shù)來評估場景視頻的場景視頻評估單元，可以通過在被分類為多個屬性組的場景視頻中使用例如收視率、來自觀看者的詢問次數(shù)等作為參數(shù)向每個場景視頻分配分數(shù)，來識別將對觀看者留下印象的場景視頻。

12、此外，通過包括被配置為基于由場景視頻評估單元設(shè)置的分數(shù)從場景視頻中選擇期望的場景視頻的場景視頻選擇單元，可以基于上述場景視頻評估單元的評估結(jié)果優(yōu)先選擇被視為引起觀看者高度關(guān)注的場景視頻，并且因此可以編輯可能對觀看者留下印象的視頻。

13、此外，在以下情況下：圖像分析單元包括顏色變化量計算單元、文本數(shù)據(jù)提取單元以及ocr(optical?character?recognition，光學(xué)字符識別)分析單元，顏色變化量計算單元被配置為計算視頻內(nèi)容的幀圖像之間的顏色變化量，文本數(shù)據(jù)提取單元被配置為識別視頻內(nèi)容中包含的音頻數(shù)據(jù)并且提取音頻數(shù)據(jù)作為文本數(shù)據(jù)，ocr分析單元被配置為提取視頻內(nèi)容中包含的字符信息，剪切視頻創(chuàng)建單元被配置為使用顏色變化量、文本數(shù)據(jù)和字符信息中的至少一個或更多個參數(shù)作為特征量，來在時間軸上設(shè)置用于分割視頻內(nèi)容的分割點；可以精確地確定視頻內(nèi)容的分割點，并且通過連接剪切視頻而編輯的摘要視頻可以被編輯成不會給出不協(xié)調(diào)感的視頻。

14、例如，在前和在后幀圖像中的顏色變化量大的情況下，估計視頻場景已經(jīng)切換，并且可將顏色變化量很大改變的點設(shè)置為剪切視頻的分割點。此外，基于通過識別音頻數(shù)據(jù)并且將音頻數(shù)據(jù)轉(zhuǎn)換成文本而獲得的文本數(shù)據(jù)，可以基于連詞或上下文設(shè)置剪切視頻的分割點。此外，可以通過ocr處理提取在視頻內(nèi)容中顯示的活動掛圖(flip?chart)上顯示的字符信息，并且可以將字符信息改變的點設(shè)置為剪切視頻的分割點。基于顏色變化量、文本數(shù)據(jù)和字符信息這三個參數(shù)綜合確定場景切換，使得能夠設(shè)置允許更精確地提取剪切視頻的分割點。

15、此外，在以下情況下：顏色變化量計算單元包括rgb(red,green,blue，紅、綠、藍)變化量計算單元以及色相偏移平均值計算單元，rgb變化量計算單元被配置為將視頻內(nèi)容中時間上在前和在后的代表性幀圖像分割成多個圖像區(qū)域，并計算代表性幀圖像的每個圖像區(qū)域中的像素的rgb變化量，色相偏移平均值計算單元被配置為計算代表性幀圖像的色環(huán)上的預(yù)定相鄰色相區(qū)域中的色相偏移平均值，顏色變化量計算單元被配置為基于rgb變化量和色相偏移平均值來計算顏色變化量；基于rgb變化量和色相偏移平均值中的至少兩個參數(shù)來確定顏色變化。因此，能夠防止分割點的錯誤檢測，能夠可靠地檢測分割點，并且能夠編輯沒有不協(xié)調(diào)感的視頻。

16、進一步地，在以下情況下：圖像分析單元還包括形態(tài)分析單元以及對象檢測單元，形態(tài)分析單元被配置為針對每個詞對由文本數(shù)據(jù)提取單元提取的文本數(shù)據(jù)進行形態(tài)分析，對象檢測單元被配置為檢測在視頻內(nèi)容中顯示的期望對象，場景視頻創(chuàng)建單元被配置為根據(jù)基于形態(tài)分析單元的形態(tài)分析的上下文的共性、基于ocr分析單元的ocr分析的字符信息的共性以及基于對象檢測單元的對象檢測的對象的移動的存在或不存在中的至少一個，來將剪切視頻分類為多個屬性組中的一個；根據(jù)基于形態(tài)分析、對象檢測和ocr分析的文本數(shù)據(jù)，可以將剪切視頻精確地分類為基于字符信息的每個元素預(yù)先分類的場景視頻的屬性。

17、此外，在以下情況下：與視頻內(nèi)容的程序配置相對應(yīng)的多個內(nèi)容片段(包括指示視頻內(nèi)容的開頭部分的內(nèi)容的開頭片段)被存儲為屬性組，場景視頻創(chuàng)建單元被配置為基于剪切視頻的內(nèi)容將剪切視頻分類為多個內(nèi)容片段之一；剪切視頻可以被分類為與視頻內(nèi)容的程序配置相對應(yīng)的內(nèi)容片段以形成一組場景視頻。

18、此外，在以下情況下：在場景視頻評估單元被配置為通過根據(jù)預(yù)定參數(shù)和時間段進行加權(quán)來為每個場景視頻設(shè)置分數(shù)的情況下，預(yù)定參數(shù)指示在視頻內(nèi)容的每個場景視頻中來自觀看者的關(guān)注度，時間段對應(yīng)于視頻內(nèi)容的預(yù)先安排的程序配置；通過使用例如收視率、觀看者的反應(yīng)等作為參數(shù)對每個場景視頻分配分數(shù)，能夠編輯這樣的視頻：多個場景視頻中優(yōu)先采用的觀看者將注意的場景視頻。

19、此外，在以下情況下：圖像分析單元進一步包括音量級別檢測單元以及表情檢測單元，音量級別檢測單元被配置為檢測視頻內(nèi)容的音量級別，表情檢測單元被配置為檢測視頻內(nèi)容的表演者的表情，剪切視頻選擇單元被配置為從由音量級別檢測單元檢測的視頻內(nèi)容的音量超過預(yù)定閾值的內(nèi)容片段、由表情檢測單元檢測的視頻內(nèi)容的表演者的表情處于特定狀態(tài)的內(nèi)容片段、或者視頻內(nèi)容的表演者基于由文本數(shù)據(jù)提取單元提取的文本數(shù)據(jù)說出特定術(shù)語的內(nèi)容片段中選擇期望的剪切視頻；能夠編輯這樣的視頻：從被分類為期望的場景視頻的多個剪切視頻中優(yōu)先采用的針對觀看者具有最佳外觀的剪切視頻。

20、為了實現(xiàn)上述目的，根據(jù)本發(fā)明的視頻編輯程序使計算機執(zhí)行以下步驟：通過基于預(yù)定分割條件分割用作原始素材的視頻內(nèi)容來創(chuàng)建剪切視頻；通過將剪切視頻分類成預(yù)先準備的多個屬性組來創(chuàng)建場景視頻；通過為場景視頻中的每個設(shè)置期望分數(shù)來評估場景視頻；基于分數(shù)從場景視頻中選擇期望的場景視頻；從場景視頻中包含的多個剪切視頻中選擇期望的剪切視頻；以及通過連接在選擇剪切視頻的步驟中選擇的剪切視頻，創(chuàng)建具有比視頻內(nèi)容更短的視頻時間長度的摘要視頻。

21、本文中，通過包括通過基于預(yù)定分割條件分割用作原始素材的視頻內(nèi)容來創(chuàng)建剪切視頻的步驟，可以將視頻內(nèi)容分割為多個剪切視頻。然后，通過從被分割的剪切視頻中連接期望的剪切視頻，能夠編輯允許容易地想象整個原始視頻并且不會給出不協(xié)調(diào)感的視頻。

22、此外，通過包括通過將剪切視頻分類成預(yù)先準備的多個屬性組來創(chuàng)建場景視頻的步驟，可以將剪切視頻分類成基于視頻內(nèi)容預(yù)先分類的屬性組并且創(chuàng)建一個場景視頻。

23、此外，通過包括通過為每個場景視頻設(shè)置期望分數(shù)來評估場景視頻的步驟，可以通過在被分類為多個屬性組的場景視頻中使用例如收視率、觀看者的反應(yīng)等作為參數(shù)向每個場景視頻分配分數(shù)，來識別來自觀看者的高度關(guān)注的場景視頻。

24、此外，通過包括基于在評價場景視頻的步驟中所設(shè)置的分數(shù)來從場景視頻中選擇期望的場景視頻的步驟，可以通過基于上述場景視頻的評價結(jié)果從觀看者優(yōu)先選擇被認為具有高度關(guān)注的場景視頻，來采用將給予觀看者良好印象的視頻。

25、此外，通過包括基于分數(shù)從場景視頻中選擇期望的剪切視頻的步驟，可以通過從場景視頻中包含的剪切視頻中選擇具有表演者的有利表情的剪切視頻、或表演者做出將留下印象的評論的剪切視頻以及編輯將對觀看者留下印象的視頻，來優(yōu)先采用將給予觀看者有利印象的剪切視頻。

26、此外，通過包括通過連接在選擇剪切視頻的步驟中選擇的剪切視頻來創(chuàng)建具有比視頻內(nèi)容更短的視頻時間長度的摘要視頻的步驟，基于所選擇的特征剪切視頻來編輯摘要視頻。因此，能夠在短時間的視頻中編輯可能對觀看者留下印象并且不會給出不協(xié)調(diào)感的視頻。

27、此外，在以下情況下：創(chuàng)建剪切視頻的步驟包括以下步驟：計算視頻內(nèi)容的幀圖像之間的顏色變化量；識別視頻內(nèi)容中包含的音頻數(shù)據(jù)并且提取音頻數(shù)據(jù)作為文本數(shù)據(jù)；提取視頻內(nèi)容中包含的字符信息；以及使用顏色變化量、文本數(shù)據(jù)和字符信息中的至少一個或更多個參數(shù)作為特征量，來在時間軸上設(shè)置用于分割視頻內(nèi)容的分割點；能夠精確地確定視頻內(nèi)容的分割點，并且通過連接剪切視頻而編輯的摘要視頻可以被編輯成不會給出不協(xié)調(diào)感的視頻。

28、此外，在以下情況下：計算顏色變化量的步驟包括以下步驟：將視頻內(nèi)容中時間上在前和在后的代表性幀圖像分割成多個圖像區(qū)域，并計算代表性幀圖像的每個圖像區(qū)域中的像素的rgb變化量；計算代表性幀圖像的色環(huán)上的預(yù)定相鄰色相區(qū)域中的色相偏移平均值；以及基于rgb變化量和色相偏移平均值計算顏色變化量；基于rgb變化量和色相偏移平均值中的至少兩個參數(shù)來確定顏色變化。因此，能夠防止分割點的錯誤檢測，能夠可靠地檢測分割點，并且能夠編輯沒有不協(xié)調(diào)感的視頻。

29、此外，在以下情況下：創(chuàng)建場景視頻的步驟包括以下步驟：基于對文本數(shù)據(jù)的每個詞的形態(tài)學(xué)分析，確定每個剪切視頻的上下文的共性；檢測在視頻內(nèi)容中顯示的期望對象，并且確定在每個剪切視頻中對象的移動的存在或不存在；基于ocr分析提取在視頻內(nèi)容中包含的字符信息，并且確定每個剪切視頻的字符信息的共性；基于上下文的共性、對象的移動的存在或不存在、或字符信息的共性中的至少一個，來將剪切視頻分類成多個屬性組中的一個；根據(jù)基于形態(tài)分析、對象檢測和ocr分析的文本數(shù)據(jù)，可以將剪切視頻分類成基于字符信息的每個元素預(yù)先分類的場景視頻的屬性。

30、此外，在以下情況下：選擇剪切視頻的步驟包括以下步驟：確定視頻內(nèi)容的音量級別是否等于或大于預(yù)定閾值；確定視頻內(nèi)容的表演者的表情是否處于特定狀態(tài)；確定由視頻內(nèi)容的表演者說出的詞是否為特定術(shù)語；以及從音量級別等于或大于預(yù)定閾值的內(nèi)容片段、表演者的表情處于特定狀態(tài)的內(nèi)容片段、以及表演者說出特定術(shù)語的內(nèi)容片段中選擇期望的剪切視頻；可從被分類為期望的場景視頻的多個剪切視頻中選擇對于觀看者具有最佳外觀的剪切視頻。

31、發(fā)明效果

32、根據(jù)本發(fā)明的視頻編輯裝置、視頻編輯程序和視頻編輯方法可以有效地創(chuàng)建通過收集觀看者將表現(xiàn)出感興趣的場景而獲得的摘要視頻。