跨媒體的情感關(guān)聯(lián)方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及智能電視技術(shù)領(lǐng)域，具體而言，本發(fā)明涉及一種跨媒體的情感關(guān)聯(lián)方 法和系統(tǒng)。
【背景技術(shù)】
[0002] 智能電視具有全開放式平臺，搭載了操作系統(tǒng)，可以由用戶自行安裝和卸載軟件、 游戲等第三方服務(wù)商提供的程序，擁有傳統(tǒng)電視廠商所不具備的應(yīng)用平臺優(yōu)勢。
[0003] 連接網(wǎng)絡(luò)后，可以實現(xiàn)網(wǎng)絡(luò)搜索、IP電視、視頻點播（V0D)、數(shù)字音樂、網(wǎng)絡(luò)新 聞、網(wǎng)絡(luò)視頻電話等各種應(yīng)用服務(wù)，帶給用戶更便捷的體驗。例如，在智能電視中，Media Center等應(yīng)用程序是智能電視用戶進(jìn)行圖像瀏覽、音頻播放、視頻賞析的重要表現(xiàn)場景。 [0004] 實際應(yīng)用中，在一些平臺上可以針對一段文字或一篇文章，預(yù)先設(shè)置與該文字或 文章的意境相適應(yīng)的背景音樂。這樣，在用戶瀏覽該段文字或該篇文章時，平臺可以自動播 放預(yù)先設(shè)置的背景音樂，以此提高用戶體驗。因此，現(xiàn)有在智能電視用戶進(jìn)行圖像瀏覽時， 可以播放針對瀏覽的圖像所預(yù)先設(shè)置的背景音樂。
[0005] 然而，本發(fā)明的發(fā)明人發(fā)現(xiàn)，智能電視用戶瀏覽一組圖像時，可能會出現(xiàn)不同意境 的背景音樂，即與該組圖像的整體意境不適應(yīng)、不關(guān)聯(lián)的背景音樂，引起智能電視用戶的反 感，導(dǎo)致用戶體驗不佳。
[0006] 因此，有必要提供一種跨媒體的關(guān)聯(lián)方法，使得在智能電視用戶進(jìn)行圖像瀏覽時， 能夠基于準(zhǔn)確度較高的情感識別結(jié)果為用戶自動檢索并播放適應(yīng)于當(dāng)前圖像組意境的音 頻信息，實現(xiàn)不同媒體數(shù)據(jù)之間的關(guān)聯(lián)。

【發(fā)明內(nèi)容】

[0007] 針對上述現(xiàn)有技術(shù)存在的缺陷，本發(fā)明提供了一種跨媒體的情感關(guān)聯(lián)方法和系 統(tǒng)，可以實現(xiàn)在智能電視用戶瀏覽圖像時，基于準(zhǔn)確度較高的情感識別結(jié)果自動播放適應(yīng) 于瀏覽圖像意境的音頻文件，提高用戶體驗。
[0008] 本發(fā)明提供了一種跨媒體的情感關(guān)聯(lián)方法，包括：
[0009] 智能電視播放一組圖像，提取該組圖像的底層視覺特征集合發(fā)送至服務(wù)器；
[0010] 服務(wù)器對所述底層視覺特征集合進(jìn)行屬性約簡，將約簡后的底層視覺特征集合輸 入預(yù)先訓(xùn)練的情感模型，得到該組圖像的情感類別；
[0011] 所述服務(wù)器利用所述情感模型，以及得到的情感類別進(jìn)一步確定與輸入的約簡后 的底層視覺特征集合相應(yīng)的情感特征向量；
[0012] 所述服務(wù)器根據(jù)確定的情感特征向量，從音頻數(shù)據(jù)庫中查找出與該組圖像情感相 關(guān)聯(lián)的音頻文件向所述智能電視返回；
[0013] 所述智能電視將返回的音頻文件關(guān)聯(lián)該組圖像進(jìn)行播放。
[0014] 根據(jù)本發(fā)明的另一個方面，還提供了一種跨媒體的情感關(guān)聯(lián)系統(tǒng)，包括：
[0015] 智能電視，用于播放一組圖像，提取該組圖像的底層視覺特征集合進(jìn)行網(wǎng)絡(luò)發(fā)送； 以及將接收到的音頻文件關(guān)聯(lián)該組圖像進(jìn)行播放；
[0016] 服務(wù)器，用于經(jīng)由網(wǎng)絡(luò)接收到所述智能電視發(fā)送的底層視覺特征集合后，對所述 底層視覺特征集合進(jìn)行屬性約簡，將約簡后的底層視覺特征集合輸入預(yù)先訓(xùn)練的情感模 型，得到該組圖像的情感類別；利用所述情感模型，以及得到的情感類別進(jìn)一步確定與輸入 的約簡后的底層視覺特征集合相應(yīng)的情感特征向量；根據(jù)確定的情感特征向量，從音頻數(shù) 據(jù)庫中查找出與該組圖像情感相關(guān)聯(lián)的音頻文件向所述智能電視返回。
[0017] 根據(jù)本發(fā)明的另一個方面，還提供了一種服務(wù)器，包括：
[0018] 視覺特征接收模塊，用于接收智能電視發(fā)送的一組圖像的底層視覺特征集合；
[0019] 情感識別模塊，用于對所述底層視覺特征集合進(jìn)行屬性約簡，將約簡后的底層視 覺特征集合輸入預(yù)先訓(xùn)練的情感模型，得到該組圖像的情感類別；利用所述情感模型，以及 得到的情感類別進(jìn)一步確定與輸入的約簡后的底層視覺特征集合相應(yīng)的情感特征向量；
[0020] 音頻文件查找模塊，用于根據(jù)所述情感識別模塊確定的情感特征向量，從音頻數(shù) 據(jù)庫中查找出與該組圖像情感相關(guān)聯(lián)的音頻文件，發(fā)送至所述智能電視。
[0021] 根據(jù)本發(fā)明的另一個方面，還提供了一種智能終端，包括：
[0022] 圖像播放單元，用于在播放圖像時，發(fā)送特征提取通知；
[0023] 特征提取單元，用于接收到所述特征提取通知后，對當(dāng)前播放的一組圖像提取底 層視覺特征集合；
[0024] 特征發(fā)送單元，用于將所述特征提取單元提取的底層視覺特征集合發(fā)送至服務(wù) 器；
[0025] 關(guān)聯(lián)音頻播放單元，用于接收到所述服務(wù)器返回的音頻文件后，將所述音頻文件 關(guān)聯(lián)該組圖像播放。
[0026] 根據(jù)本發(fā)明的另一個方面，還提供了一種圖像的情感識別方法，包括：
[0027] 對一組圖像的底層視覺特征集合進(jìn)行屬性約簡；
[0028] 將約簡后的底層視覺特征集合輸入預(yù)先訓(xùn)練的情感模型，得到該組圖像的情感類 另IJ ;利用所述情感模型，以及得到的情感類別進(jìn)一步確定與輸入的約簡后的底層視覺特征 集合相應(yīng)的情感特征向量，將所述情感特征向量作為該組圖像的情感識別結(jié)果。
[0029] 根據(jù)本發(fā)明的另一個方面，還提供了一種圖像的情感識別裝置，包括：
[0030] 約簡處理單元，用于對一組圖像的底層視覺特征集合進(jìn)行屬性約簡；
[0031] 情感識別單元，用于將約簡后的底層視覺特征集合輸入預(yù)先訓(xùn)練的情感模型，得 到該組圖像的情感類別；利用所述情感模型，以及得到的情感類別進(jìn)一步確定與輸入的約 簡后的底層視覺特征集合相應(yīng)的情感特征向量，將所述情感特征向量作為該組圖像的情感 識別結(jié)果。
[0032] 本發(fā)明的技術(shù)方案中，可以提取智能電視用戶瀏覽的一組圖像的底層視覺特征集 合，通過對底層視覺特征集合進(jìn)行屬性約簡，消除冗余、無關(guān)的視覺特征，得到約簡后可描 述該組圖像的情感信息的數(shù)據(jù)；之后，根據(jù)約簡后的底層視覺特征集合、以及預(yù)先訓(xùn)練的情 感模型，確定出該組圖像較為準(zhǔn)確的情感識別結(jié)果。這樣，后續(xù)可以根據(jù)該組圖像的情感識 別結(jié)果，來查找出與該組圖像情感相關(guān)聯(lián)的、適應(yīng)于該組圖像意境的音頻文件。繼而，智能 電視可以播放適應(yīng)于該組圖像意境的音頻文件，增強(qiáng)了適用于當(dāng)前圖像組的情感意境，提 高智能電視用戶體驗。
[0033] 本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，這些將從下面的描述中變 得明顯，或通過本發(fā)明的實踐了解到。
【附圖說明】
[0034] 本發(fā)明上述的和/或附加的方面和優(yōu)點從下面結(jié)合附圖對實施例的描述中將變 得明顯和容易理解，其中：
[0035] 圖1為本發(fā)明實施例的跨媒體的情感關(guān)聯(lián)系統(tǒng)的結(jié)構(gòu)示意圖；
[0036] 圖2為本發(fā)明實施例的圖像的情感識別方法的流程示意圖；
[0037] 圖3為本發(fā)明實施例的跨媒體的情感關(guān)聯(lián)方法的流程示意圖；
[0038] 圖4為本發(fā)明實施例的服務(wù)器的內(nèi)部結(jié)構(gòu)示意圖；
[0039] 圖5a、5b為本發(fā)明實施例的情感識別模塊的內(nèi)部結(jié)構(gòu)示意圖；
[0040] 圖6為本發(fā)明實施例的智能終端的內(nèi)部結(jié)構(gòu)示意圖；
[0041] 圖7為本發(fā)明實施例的圖像的情感識別裝置的內(nèi)部結(jié)構(gòu)示意圖。
【具體實施方式】
[0042] 下面詳細(xì)描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終 相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附 圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對本發(fā)明的限制。
[0043] 本技術(shù)領(lǐng)域技術(shù)人員可以理解，除非特意聲明，這里使用的單數(shù)形式"一"、"一 個"、"所述"和"該"也可包括復(fù)數(shù)形式。應(yīng)該進(jìn)一步理解的是，本發(fā)明的說明書中使用的措 辭"包括"是指存在所述特征、整數(shù)、步驟、操作、元件和/或組件，但是并不排除存在或添加 一個或多個其他特征、整數(shù)、步驟、操作、元件、組件和/或它們的組。應(yīng)該理解，當(dāng)我們稱元 件被"連接"或"耦接"到另一元件時，它可以直接連接或耦接到其他元件，或者也可以存在 中間元件。此外，這里使用的"連接"或"耦接"可以包括無線連接或無線耦接。這里使用 的措辭"和/或"包括一個或更多個相關(guān)聯(lián)的列出項的全部或任一單元和全部組合。
[0044] 本技術(shù)領(lǐng)域技術(shù)人員可以理解，除非另外定義，這里使用的所有術(shù)語（包括技術(shù) 術(shù)語和科學(xué)術(shù)語），具有與本發(fā)明所屬領(lǐng)域中的普通技術(shù)人員的一般理解相同的意義。還應(yīng) 該理解的是，諸如通用字典中定義的那些術(shù)語，應(yīng)該被理解為具有與現(xiàn)有技術(shù)的上下文中 的意義一致的意義，并且除非像這里一樣被特定定義，否則不會用理想化或過于正式的含 義來解釋。
[0045] 本技術(shù)領(lǐng)域技術(shù)人員可以理解，這里所使用的"終端"、"終端設(shè)備"既包括無線信 號接收器的設(shè)備，其僅具備無發(fā)射能力的無線信號接收器的設(shè)備，又包括接收和發(fā)射硬件 的設(shè)備，其具有能夠在雙向通信鏈路上，進(jìn)行雙向通信的接收和發(fā)射硬件的設(shè)備。這種設(shè)備 可以包括：蜂窩或其他通信設(shè)備，其具有單線路顯示器或多線路顯示器或沒有多線路顯示 器的蜂窩或其他通信設(shè)備；PCS(Personal Communications Service，個人通信系統(tǒng)），其可 以組合語音、數(shù)據(jù)處理、傳真和/或數(shù)據(jù)通信能力；PDA(Personal Digital Assistant，個 人數(shù)字助理），其可以包括射頻接收器、尋呼機(jī)、互聯(lián)網(wǎng)/內(nèi)聯(lián)網(wǎng)訪問、網(wǎng)絡(luò)瀏覽器、記事本、 日歷和/或GPS (Global Positioning System，全球定位系統(tǒng)）接收器；常規(guī)膝上型和/或 掌上型計算機(jī)或其他設(shè)備，其具有和/或包括射頻接收器的常規(guī)膝上型和/或掌上型計算 機(jī)或其他設(shè)備。這里所使用的"終端"、"終端設(shè)備"可以是便攜式、可運輸、安裝在交通工具 (航空、海運和/或陸地）中的，或者適合于和/或配置為在本地運行，和/或以分布