專利名稱：從數(shù)字電視節(jié)目中自動(dòng)抽取圖像的系統(tǒng)及其應(yīng)用的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字電視技術(shù)領(lǐng)域，特別是涉及ー種從數(shù)字電視節(jié)目中自動(dòng)抽取圖像的系統(tǒng)及其應(yīng)用。
背景技術(shù)：
視頻可以理解為在時(shí)間上連續(xù)的圖像序列，通過(guò)調(diào)查和試驗(yàn)發(fā)現(xiàn)，在對(duì)數(shù)字電視的視頻內(nèi)容進(jìn)行理解時(shí)，并非所有的圖像都起著同樣重要的作用。真正對(duì)數(shù)字電視視頻的理解起到重要作用的圖像有以下幾類 有對(duì)應(yīng)字幕的幀； 發(fā)生場(chǎng)景切換的幀； 有人臉出現(xiàn)的幀；·有人物對(duì)象出現(xiàn)的幀； 有一定運(yùn)動(dòng)幅度的幀； 有對(duì)應(yīng)語(yǔ)音出現(xiàn)的幀。上述圖像可以作為判斷是否為對(duì)數(shù)字電視視頻的理解起到重要作用圖像的條件，可以根據(jù)用戶的需求加以組合，最終定義出“關(guān)鍵幀”，該“關(guān)鍵幀”至少符合其中ー個(gè)條件或全部條件。因此，如何從數(shù)字電視的視頻信號(hào)中自動(dòng)抽取出對(duì)內(nèi)容的理解有重要意義的“關(guān)鍵幀”，正是本發(fā)明和業(yè)內(nèi)人士關(guān)注的問(wèn)題。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問(wèn)題是提供ー種從數(shù)字電視節(jié)目中自動(dòng)抽取圖像的系統(tǒng)，能夠從數(shù)字電視的視頻信號(hào)中自動(dòng)抽取出對(duì)內(nèi)容的理解有代表意義的“關(guān)鍵幀”，結(jié)構(gòu)簡(jiǎn)單，容易實(shí)現(xiàn)。為解決上述技術(shù)問(wèn)題，本發(fā)明的從數(shù)字電視節(jié)目中自動(dòng)抽取圖像的系統(tǒng)，包括數(shù)字電視接收終端，該數(shù)字電視接收終端包括解復(fù)用模塊、視頻解碼模塊、字幕解析模塊、音頻解碼模塊、視頻顯示模塊和音頻顯示模塊；其中，還包括圖像判別模塊，與所述視頻解碼模塊相連接，用于接收視頻解碼模塊的輸出幀；通過(guò)場(chǎng)景切換檢測(cè)、人臉檢測(cè)、運(yùn)動(dòng)檢測(cè)和人物對(duì)象檢測(cè)算法分析視頻數(shù)據(jù)；字幕判別模塊，與所述字幕解析模塊相連接，接收字幕解析模塊的解析結(jié)果，確定在當(dāng)前時(shí)刻字幕是否存在；語(yǔ)音判別模塊，與所述音頻解碼模塊相連接，接收音頻解碼模塊輸出的音頻數(shù)據(jù)，判斷當(dāng)前收到的音頻數(shù)據(jù)是否是話音；關(guān)鍵視頻幀和話音提取模塊，與所述圖像判別模塊、字幕判別模塊、語(yǔ)音判別模塊、視頻解碼模塊和音頻解碼模塊相連接；接收視頻數(shù)據(jù)分析檢測(cè)的結(jié)果、字幕判別的結(jié)果和話音判別的結(jié)果，以及音頻和視頻數(shù)據(jù)，判斷接收到的當(dāng)前視頻是否有字幕，接收到的當(dāng)前視頻是否有對(duì)應(yīng)話音，根據(jù)用戶的設(shè)置和視頻數(shù)據(jù)分析檢測(cè)的結(jié)果、字幕判別的結(jié)果和話音判別的結(jié)果提取出關(guān)鍵視頻幀和相關(guān)話音。采用本發(fā)明的從數(shù)字電視節(jié)目中自動(dòng)抽取圖像的系統(tǒng)，可以從數(shù)字電視的視頻信號(hào)中自動(dòng)抽取出對(duì)內(nèi)容的理解有代表意義的“關(guān)鍵幀”，對(duì)這些關(guān)鍵幀可以降低分辨率并進(jìn)行特殊效果處理，如“油畫”、“卡通”等效果；再配以字幕和語(yǔ)音，在數(shù)字電視的基本內(nèi)容可以理解的前提下極大地減少數(shù)據(jù)量并増加趣味性，最終的用途包括 配合字幕和語(yǔ)音制作成電子書籍； 配合字幕打印并制作成卡通畫； 配合字幕并和語(yǔ)音復(fù)用后制作成小分辨率，定期顯示圖像的視頻文件在移動(dòng)設(shè)備上播放。


下面結(jié)合附圖與具體實(shí)施方式
對(duì)本發(fā)明作進(jìn)ー步詳細(xì)的說(shuō)明圖I是本發(fā)明的結(jié)構(gòu)原理框圖；圖2-圖7是采用本發(fā)明進(jìn)行圖像處理前后的效果對(duì)比圖。
具體實(shí)施例方式參見(jiàn)圖I所示，本發(fā)明的從數(shù)字電視節(jié)目中自動(dòng)抽取圖像的系統(tǒng)包括，數(shù)字電視接收終端以及圖像判別模塊、字幕判別模塊、語(yǔ)音判別模塊和關(guān)鍵視頻幀和話音提取模塊。所述數(shù)字電視接收終端是現(xiàn)有的標(biāo)準(zhǔn)框架，其中不包括信道調(diào)諧、解調(diào)制部分。所述數(shù)字電視接收終端包括解復(fù)用模塊、視頻解碼模塊、字幕解析模塊、音頻解碼模塊、視頻顯示模塊和音頻顯示模塊。所述解復(fù)用模塊,用于解析系統(tǒng)層如TS流(MPEG2 System Layer),分離出音頻基本流、視頻基本流和字幕信息，分別輸入到音頻解碼器、視頻解碼器和字幕解析模塊。所述視頻解碼模塊，與解復(fù)用模塊相連接，用于將視頻壓縮流解碼后輸出用于后處理或播放的視頻數(shù)據(jù)。所述字幕解析模塊，與解復(fù)用模塊相連接，用于將字幕信息轉(zhuǎn)換成可以顯示的形式。所述音頻解碼模塊，與解復(fù)用模塊連接，用于將音頻壓縮流解碼后輸出用于后處理或播放的音頻數(shù)據(jù)。所述視頻顯示模塊，與視頻解碼模塊和字幕解析模塊相連接，用于將視頻信息和字幕信息顯示給用戶。所述音頻顯示模塊，與音頻解碼模塊相連接，用于音頻信息的播放。所述圖像判別模塊，與所述視頻解碼模塊連接，用于接收視頻解碼模塊的輸出幀。通過(guò)場(chǎng)景切換檢測(cè)、人臉檢測(cè)、運(yùn)動(dòng)檢測(cè)和人物對(duì)象檢測(cè)等算法分析視頻數(shù)據(jù)，并將分析檢測(cè)的結(jié)果送至“關(guān)鍵視頻幀和話音提取模塊”。所述圖像判別模塊能夠?qū)?chǎng)景切換檢測(cè)、人臉檢測(cè)、運(yùn)動(dòng)檢測(cè)和人物對(duì)象檢測(cè)算法進(jìn)行任意組合(即實(shí)現(xiàn)其中的ー種或幾種算法)，并至少實(shí)現(xiàn)其中ー種算法、但并不要求實(shí)現(xiàn)全部算法，具體的組合應(yīng)根據(jù)實(shí)際需要進(jìn)行確定。所述字幕判別模塊，與所述字幕解析模塊連接，接收字幕解析模塊的解析結(jié)果，確定在當(dāng)前時(shí)刻字幕是否存在，并將結(jié)果送至“關(guān)鍵視頻和話音提取模塊”。所述語(yǔ)音判別模塊，與所述音頻解碼模塊相連接，接收音頻解碼模塊輸出的音頻數(shù)據(jù)，判斷當(dāng)前收到的音頻數(shù)據(jù)是否是話音，并將結(jié)果送至“關(guān)鍵視頻和話音提取模塊”。關(guān)鍵視頻幀和話音提取模塊，與所述圖像判別模塊、字幕判別模塊、語(yǔ)音判別模塊、視頻解碼模塊和音頻解碼模塊相連接；接收視頻數(shù)據(jù)分析檢測(cè)的結(jié)果、字幕判別的結(jié)果和話音判別的結(jié)果，以及音頻和視頻數(shù)據(jù)，判斷接收到的當(dāng)前視頻是否有字幕，接收到的當(dāng)前視頻是否有對(duì)應(yīng)話音，根據(jù)用戶的設(shè)置和視頻數(shù)據(jù)分析檢測(cè)的結(jié)果、字幕判別的結(jié)果和話音判別的結(jié)果提取出關(guān)鍵視頻幀和相關(guān)話音。圖像卡通畫處理模塊，與所述關(guān)鍵視頻幀和話音提取模塊相連接，接收提取出的“關(guān)鍵幀”，將“關(guān)鍵幀”以圖像的形式呈現(xiàn)。采用如圖像的邊界提取，油畫效果處理等常用的圖像特效處理算法對(duì)“關(guān)鍵幀”進(jìn)行特效處理。在保持“關(guān)鍵幀”基本內(nèi)容的前提下増加 圖像的趣味性。從而為電子書籍制作和卡通畫打印模塊提供素材。電子書籍制作模塊，與所述圖像卡通畫處理模塊相連接，將圖像卡通畫處理模塊處理后的“關(guān)鍵幀”制作成電子書籍?？ㄍó嫶蛴∧K，與所述圖像卡通畫處理模塊相連接，將圖像卡通畫處理模塊處理后的“關(guān)鍵幀”打印成卡通畫。圖像音頻編碼復(fù)用模塊，與所述圖像卡通畫處理模塊及關(guān)鍵視頻幀和話音提取模塊相連接，將圖像卡通畫處理模塊處理后的“關(guān)鍵幀”制作成小分辨率，定期顯示圖像的視頻文件。采用本發(fā)明的系統(tǒng)，提取出“關(guān)鍵幀”并進(jìn)行特殊效果處理后，能夠達(dá)到“油畫”、“卡通”等效果。圖2-圖7是采用本發(fā)明最終實(shí)現(xiàn)的效果對(duì)比實(shí)例。圖2(a)-圖7a)是原始的視頻圖像，圖2(b)-圖4(b)是進(jìn)行特殊效果處理后對(duì)應(yīng)的具有帶邊界的油畫效果圖像；圖5(b)是進(jìn)行特殊效果處理后對(duì)應(yīng)的彩色粗邊界提出的圖像；圖6(b)是進(jìn)行特殊效果處理后對(duì)應(yīng)的彩色細(xì)邊界提出的圖像；圖7(b)是進(jìn)行特殊效果處理后對(duì)應(yīng)的素描效果圖像。以上通過(guò)具體實(shí)施方式
和實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明，但這些并非構(gòu)成對(duì)本發(fā)明的限制。在不脫離本發(fā)明原理的情況下，本領(lǐng)域的技術(shù)人員還可做出許多變形和改迸，這些也應(yīng)視為本發(fā)明的保護(hù)范圍。
權(quán)利要求
1.一種從數(shù)字電視節(jié)目中自動(dòng)抽取圖像的系統(tǒng)，包括，數(shù)字電視接收終端，該數(shù)字電視接收終端包括解復(fù)用模塊、視頻解碼模塊、字幕解析模塊、音頻解碼模塊、視頻顯示模塊和音頻顯示模塊；其特征在于，還包括 圖像判別模塊，與所述視頻解碼模塊相連接，用于接收視頻解碼模塊的輸出幀；通過(guò)場(chǎng)景切換檢測(cè)、人臉檢測(cè)、運(yùn)動(dòng)檢測(cè)和人物對(duì)象檢測(cè)算法分析視頻數(shù)據(jù)； 字幕判別模塊，與所述字幕解析模塊相連接，接收字幕解析模塊的解析結(jié)果，確定在當(dāng)前時(shí)刻字幕是否存在； 語(yǔ)音判別模塊，與所述音頻解碼模塊相連接，接收音頻解碼模塊輸出的音頻數(shù)據(jù)，判斷當(dāng)前收到的音頻數(shù)據(jù)是否是話音； 關(guān)鍵視頻幀和話音提取模塊，與所述圖像判別模塊、字幕判別模塊、語(yǔ)音判別模塊、視頻解碼模塊和音頻解碼模塊相連接；接收視頻數(shù)據(jù)分析檢測(cè)的結(jié)果、字幕判別的結(jié)果和話音判別的結(jié)果，以及音頻和視頻數(shù)據(jù)，判斷接收到的當(dāng)前視頻是否有字幕，接收到的當(dāng)前視頻是否有對(duì)應(yīng)話音，根據(jù)用戶的設(shè)置和視頻數(shù)據(jù)分析檢測(cè)的結(jié)果、字幕判別的結(jié)果和話音判別的結(jié)果提取出關(guān)鍵視頻幀和相關(guān)話音。
2.如權(quán)利要求I所述的系統(tǒng)，其特征在于所述圖像判別模塊能夠?qū)?chǎng)景切換檢測(cè)、人臉檢測(cè)、運(yùn)動(dòng)檢測(cè)和人物對(duì)象檢測(cè)算法進(jìn)行任意組合，并至少實(shí)現(xiàn)其中一種算法。
3.權(quán)利要求I所述的系統(tǒng)在電子書籍中的應(yīng)用。
4.權(quán)利要求I所述的系統(tǒng)在卡通畫中的應(yīng)用。
5.權(quán)利要求I所述的系統(tǒng)，在配合字幕并和語(yǔ)音復(fù)用后制作成小分辨率，定期顯示圖像的視頻文件在移動(dòng)設(shè)備上播放的應(yīng)用。
全文摘要
本發(fā)明公開(kāi)了一種從數(shù)字電視節(jié)目中自動(dòng)抽取圖像的系統(tǒng)及其應(yīng)用，包括圖像判別模塊，通過(guò)場(chǎng)景切換檢測(cè)、人臉檢測(cè)、運(yùn)動(dòng)檢測(cè)和人物對(duì)象檢測(cè)算法分析視頻數(shù)據(jù)；字幕判別模塊，確定在當(dāng)前時(shí)刻字幕是否存在；語(yǔ)音判別模塊，判斷當(dāng)前收到的音頻數(shù)據(jù)是否是話音；關(guān)鍵視頻幀和話音提取模塊，接收視頻數(shù)據(jù)分析檢測(cè)的結(jié)果、字幕判別的結(jié)果和話音判別的結(jié)果，根據(jù)用戶的設(shè)置和視頻數(shù)據(jù)分析檢測(cè)的結(jié)果、字幕判別的結(jié)果和話音判別的結(jié)果提取出關(guān)鍵視頻幀和相關(guān)話音。本發(fā)明能夠從數(shù)字電視的視頻信號(hào)中自動(dòng)抽取出對(duì)內(nèi)容的理解有代表意義的“關(guān)鍵幀”。本發(fā)明能夠應(yīng)用于電子書籍、卡通畫及制作成小分辨率，定期顯示圖像的視頻文件。
文檔編號(hào)H04N21/434GK102685574SQ20111005553
公開(kāi)日2012年9月19日 申請(qǐng)日期2011年3月9日 優(yōu)先權(quán)日2011年3月9日
發(fā)明者須澤中 申請(qǐng)人:須澤中