戶端110是具有接收并顯示廣播內(nèi)容的功能的電子設(shè)備(例如，智能TV)。
[0062]顯示單元250在控制器210的控制下顯示多個數(shù)據(jù)。顯示單元250包括顯示面板或全息設(shè)備。例如，顯示面板是液晶顯示器(LCD)、有源矩陣有機發(fā)光二極管(AM-OLED)等。將顯示面板實現(xiàn)為例如柔性的、透明的或可穿戴的。全息設(shè)備使用光干涉在空氣中示出三維圖像。
[0063]根據(jù)一些實施例，顯示單元250是與第一客戶端110分離的單獨設(shè)備。例如，顯示單元250和第一客戶端分別與TV和機頂盒相對應(yīng)，通過接口(例如，高清多媒體接口(HDMI))將它們彼此相連。
[0064]輸入單元240接收用戶輸入并將用戶輸入發(fā)送到控制器210。例如，輸入單元240包括攝像機241和麥克風242。攝像機241拍攝靜止圖像或動態(tài)圖像作為用戶輸入，并將拍攝到的圖像發(fā)送給控制器210。根據(jù)多種實施例，攝像機241包括一個或更多個圖像傳感器、鏡頭、圖像信號處理器(ISP)和閃光燈(例如，LED或氙燈)。麥克風242將聲波轉(zhuǎn)換為音頻信號，并將音頻信號發(fā)送到控制器210。此外，輸入單元240還包括鍵盤或安裝在屏幕內(nèi)的觸摸面板。
[0065]存儲單元230存儲由第一客戶端110產(chǎn)生的數(shù)據(jù)(例如，通過麥克風242或攝像機241產(chǎn)生的用戶內(nèi)容)或通過通信單元220從外部設(shè)備接收到的數(shù)據(jù)(例如，與廣播內(nèi)容相關(guān)的信息)。根據(jù)多種實施例，存儲單元230包括本地指紋DB 231。本地指紋DB 231包括根據(jù)每一 DB廣播內(nèi)容的內(nèi)容ID以及與內(nèi)容ID相對應(yīng)的一個或更多個指紋。指紋存在于根據(jù)每一幀的本地指紋DB 231中。此外，在一個動態(tài)圖像中，通過標識信息(例如，偏移量)來區(qū)分指紋。
[0066]存儲單元230還包括本地附加信息DB 232。本地附加信息DB 232包括根據(jù)內(nèi)容ID的基于每一偏移量的一個或多個附加信息。例如，對于內(nèi)容ID “10”，本地附加信息DB232包括偏移量為“100”的附加信息A、偏移量為“200”的附加信息B和偏移量為“300”的附加信息C?；趶娘@示該廣播內(nèi)容的時間點開始識別到與廣播內(nèi)容相匹配的內(nèi)容ID和偏移量的時間點，有選擇地顯示附加信息A到C。
[0067]本地附加信息DB 232還包括根據(jù)每個附加信息的目標條件。基于該目標條件，選擇多個附加信息之一；并同時顯示對應(yīng)廣播內(nèi)容和附加信息二者，或僅顯示附加信息。此夕卜，基于針對條件，選擇多個附加信息。在一些實施例中，依次地或同時地顯示所選的多個附加信息。
[0068]根據(jù)一些實施例，DB 231和232合并為一個DB。例如，合并后的DB包括根據(jù)每一廣播內(nèi)容的內(nèi)容ID、一個或更多個指紋以及一個或更多個附加信息。
[0069]存儲單元230附加地存儲與第一客戶端110的用戶相關(guān)的多個信息(例如，電話號碼、年齡、愛好、地址和工作)。用戶信息用于選擇附加信息。此外，用戶信息用于向外部設(shè)備(例如，第二客戶端120)提供關(guān)于附加信息的詳細信息。
[0070]存儲單元230存儲支持在控制器210的控制下進行指紋提取、內(nèi)容識別、數(shù)據(jù)庫管理和附加信息相關(guān)功能的程序。
[0071]通信單元220在控制器210的控制下通過網(wǎng)絡(luò)(例如，移動通信網(wǎng)絡(luò)(例如，LTE)或者無線或有線LAN)與外部設(shè)備(例如，第二客戶端120或服務(wù)器130到150)進行數(shù)據(jù)通信。此外，通信單元220通過指定的無線頻率信道(例如，藍牙或W1-Fi直連)直接與外部設(shè)備進行數(shù)據(jù)通信，而無需網(wǎng)絡(luò)的中繼(例如，無需接入點(AP)的中繼)。
[0072]廣播接收機270在控制器210的控制下，接收廣播內(nèi)容，將廣播內(nèi)容分為圖像和音頻信號，并分別將圖像和音頻信號發(fā)送到顯示單元250和揚聲器260。廣播接收機270包括用于接收地面廣播、衛(wèi)星廣播、有線廣播、或互聯(lián)網(wǎng)協(xié)議電視(IPTV)廣播的模塊。
[0073]揚聲器260將從控制器210或廣播接收機270接收到的音頻信號轉(zhuǎn)換為聲波，并輸出該聲波。
[0074]控制器210控制第一客戶端110的總體操作和內(nèi)部組件之間的信號流，并處理數(shù)據(jù)?？刂破?10包括指紋提取模塊211、顯示控制模塊212以及內(nèi)容識別模塊213。
[0075]指紋識別模塊211從廣播內(nèi)容提取指紋。廣播內(nèi)容等待通過顯示單元250顯示或正通過顯示單元250進行顯示。提取處理包括例如將至少一個幀轉(zhuǎn)換為數(shù)字串的處理以及基于對應(yīng)幀的順序向數(shù)字串指定偏移量(指紋)的處理。
[0076]內(nèi)容識別模塊213在本地指紋DB 231中識別與所提取的指紋相匹配的指紋，并從本地指紋DB 231中獲取與所識別的指紋相對應(yīng)的內(nèi)容ID。
[0077]顯示控制模塊212通過通信單元220向信息提供服務(wù)器140發(fā)送附加信息請求消息(包括所獲取的內(nèi)容ID和偏移量)。顯示控制模塊212通過通信單元220接收來自信息提供服務(wù)器140的響應(yīng)消息(包括附加信息)，并控制顯示單元250同時顯示附加信息和對應(yīng)廣播內(nèi)容。
[0078]根據(jù)多種實施例，顯示控制模塊212確定是否在從啟動識別操作的時間點開始的預(yù)定第一閾值時間內(nèi)識別到廣播內(nèi)容。識別操作是指從廣播內(nèi)容提取指紋并識別與該指紋相對應(yīng)的內(nèi)容ID及偏移量的操作。當在第一閾值時間內(nèi)識別到內(nèi)容ID和偏移量時，顯示控制模塊212控制顯示單元250顯示與第一閾值時間(例如，3秒)相匹配的附加信息(例如，附加信息A)。當沒有在第一閾值時間內(nèi)識別到廣播內(nèi)容時，顯示控制模塊212確定是否在從啟動識別操作的時間點開始的預(yù)定第二閾值時間內(nèi)識別到廣播內(nèi)容。當在第二閾值時間內(nèi)識別到內(nèi)容ID和偏移量時，顯示控制模塊212控制顯示單元250顯示與第二閾值時間(例如，5秒)相匹配的附加信息(例如，附加信息B)。
[0079]根據(jù)多種實施例，附加信息請求消息還包括關(guān)于第一客戶端110的特征信息。例如，特征信息還包括關(guān)于第一客戶端110的設(shè)備信息、關(guān)于第一客戶端110的位置信息以及對第一客戶端110是否與用戶設(shè)備(例如，第二客戶端120)相連的連接狀態(tài)信息。設(shè)備信息包括指示類型(例如，智能電話或TV)的信息、制造年份以及指示所安裝組件(硬件和軟件)的類型和功能的信息。位置信息包括瑋度和經(jīng)度信息、地理地址信息(例如，416Metan3-dong, Yeongtong-gu，Suwon-si，Gyeongg1-do)和與地理地址相關(guān)的信息中的至少一個。與地理地址相關(guān)的信息包括以下信息中的至少一個:關(guān)于位于(或鄰近)該地理地址的建筑的信息(例如，建筑物名稱、咖啡店名稱、市政廳名稱、商店名稱等)、結(jié)構(gòu)信息(例如，隧道名稱、山脈名稱、BS的小區(qū)ID等)、與地理地址相對應(yīng)的IP地址、以及與地理地址相對應(yīng)的電話號碼。此外，與地理地址無關(guān)的多個信息(例如，與交通工具相關(guān)的速度信息以及車輛標識信息)包括在位置信息中。顯示控制模塊212通過通信單元220接收來自信息提供服務(wù)器140的響應(yīng)消息(包括附加信息)，控制顯示單元250同時顯示附加信息以及對應(yīng)廣播內(nèi)容，或僅顯示附加信息。
[0080]顯示控制模塊212從本地附加信息DB獲取與所獲取的內(nèi)容ID相對應(yīng)的附加信息。顯示控制模塊212從本地附加信息DB 232獲取與所獲取內(nèi)容ID相對應(yīng)的附加信息，并控制顯示單元250顯示所獲取的附加信息。例如，附加信息包括諸如圖像和視頻的兩種類型。例如，將圖像顯示在顯示單元250上而沒有任何聲音，以及在通過揚聲器260輸出聲音的同時將視頻顯示在顯示單元250上。當附加信息是圖像時，顯示控制模塊212控制與廣播內(nèi)容一起以橫幅形式輸出該圖像。備選地，當附加信息是視頻時，顯示控制模塊212控制輸出視頻，而沒有廣播內(nèi)容，且反之亦然。
[0081]控制器210還包括DB管理模塊214。DB管理模塊214通過通信單元220向外部設(shè)備(例如，注冊服務(wù)器130)周期地發(fā)送指紋更新請求。DB管理模塊214通過使用從外部設(shè)備接收到的響應(yīng)消息，來管理本地指紋DB 231。例如，響應(yīng)消息包括新廣播列表(關(guān)于至少一個新廣播內(nèi)容的信息以及“內(nèi)容ID和指紋”)，因此，DB管理模塊214在本地指紋DB 231中注冊新廣播列表。替換廣播內(nèi)容的一部分(例如，動態(tài)圖像幀的一部分)。因此，需要修改與所替換部分相對應(yīng)的指紋和偏移量。于是，響應(yīng)消息包括指紋替換列表(至少一個內(nèi)容ID的新指紋)。因此，在本地指紋DB 231中，DB管理模塊214用新的指紋替換對應(yīng)的現(xiàn)有指紋。響應(yīng)消息包括廣播端列表，因此，DB管理模塊214在本地指紋DB 231中搜索與廣播端列表所包括的內(nèi)容ID相對應(yīng)的內(nèi)容ID，在本地指紋DB 31中刪除所發(fā)現(xiàn)的內(nèi)容ID以及與該內(nèi)容ID相對應(yīng)的指紋。
[0082]DB管理模塊214通過通信單元220向外部設(shè)備(例如，信息提供服務(wù)器)周期性地發(fā)送附加信息更新請求消息。DB管理模塊214通過使用從外部設(shè)備接收到的響應(yīng)消息，管理本地附加信息DB 232。例如，響應(yīng)消息包括具有至少一個新附加信息以及與該新附加信息相對應(yīng)的內(nèi)容ID和偏移量的新附加信息列表。因此，DB管理模塊214識別是否在本地附加信息DB 232中存在與接收到的內(nèi)容ID相匹配的內(nèi)容ID。當在本地附加信息DB 232中存在內(nèi)容ID時，DB管理模塊214根據(jù)對應(yīng)的內(nèi)容ID將接收到的新附加信息注冊在本地附加信息DB 232中。當內(nèi)容ID不存在于本地附加信息DB 232中時，DB管理模塊214在本地附加信息DB 232中注冊接收到的內(nèi)容ID和偏移量以及新附加信息，這是由于在第一客戶端110看來該廣播內(nèi)容本身是新的。針對該廣播內(nèi)容，在維護新的附加信息和內(nèi)容ID期間，用新的附加信息替換附加信息。于是，響應(yīng)消息包括附加信息替換列表(針對該內(nèi)容ID的新的附加信息以及偏移量)。因此，在本地附加信息DB 232中，DB管理模塊214用新的附加信息替換對應(yīng)的現(xiàn)有附加信息。響應(yīng)消息包括附加信息服務(wù)端列表，因此，DB管理模塊214在本地附加信息DB 232中搜索與列表所包括的內(nèi)容ID相匹配的內(nèi)容ID，在本地指紋DB 232中刪除所發(fā)現(xiàn)的內(nèi)容ID以及與該內(nèi)容ID相對應(yīng)的附加信息。
[0083]根據(jù)一些實施例，DB管理模塊214同時做出指紋更新請求和附加信息更新請求。例如，DB管理模塊214通過通信單元220分別向外部設(shè)備(例如，注冊服務(wù)器130和信息提供服務(wù)器140)周期性地發(fā)送指紋和附加信息更新請求消息。
[0084]根據(jù)一些實施例，DB管理模塊214通過通信單元220接收來自外部設(shè)備(例如，注冊服務(wù)器130或信息提供服務(wù)器140)的推送消息，該推送消息包括關(guān)于指紋和附加信息中的至少一個的更新信息。DB管理模塊214基于該推送消息，管理本地指紋DB 231和本地附加信息DB 232。
[0085]控制器210還包括功能執(zhí)行模塊215，用于響應(yīng)于針對所顯示附加信息的用戶輸入，執(zhí)行與附加信息相關(guān)的功能。從輸入單元240接收用戶輸入。此外，從外部輸入設(shè)備280接收用戶輸入。例如，功能執(zhí)行模塊215響應(yīng)于用戶輸入，通過通信單元220向用戶的另一設(shè)備(例如，第二客戶端120)發(fā)送與附加信息相關(guān)的詳細信息。此外，功能執(zhí)行模塊215響應(yīng)于用戶輸入，通過通信單元220向服務(wù)器發(fā)送與用戶的另一設(shè)備相關(guān)的信息。該服務(wù)器是注冊服務(wù)器130或用于提供與廣播內(nèi)容相關(guān)的詳細信息的單獨服務(wù)器。
[0086]功能執(zhí)行模塊215控制一些組件(例如，攝像機241和麥克風242)響應(yīng)于用戶輸入來產(chǎn)生用戶內(nèi)容并通過通信單元220將所產(chǎn)生的用戶內(nèi)容發(fā)送到服務(wù)器。功能執(zhí)行模塊215收集日志信息，并通過通信單元220將所收集的日志信息發(fā)送到執(zhí)行分析服務(wù)器150。日志信息包括廣播內(nèi)容的用戶觀看歷史以及對附加信息的用戶反應(yīng)。備選地，日志信息包括對用戶使用第一客戶端110的模式加以指示的信息。例如，模式信息包括:與由第一客戶端110提供的服務(wù)(例如，上網(wǎng)、TV回