本實(shí)用新型涉及一種智能LED交互裝置。

背景技術(shù)：

隨著電子技術(shù)的不斷發(fā)展，廣告、新聞、資訊、咨詢等信息越來越多的使用LED顯示屏完成，這些顯示屏廣泛分布在樓宇、電梯、過道、地鐵、公交站等位置。隨著用戶體驗(yàn)和感受要求的不斷提高，能夠進(jìn)行智能交互的LED顯示技術(shù)得以出現(xiàn)和發(fā)展。

申請(qǐng)公布號(hào)為CN104080010A(申請(qǐng)?zhí)枮?01410295113.9)的中國發(fā)明專利申請(qǐng)《交互式信息推送系統(tǒng)及方法》，其中公開的交互系統(tǒng)識(shí)別前景圖像中朝向顯示屏的人臉，當(dāng)人臉朝向顯示屏的時(shí)間超過一定的時(shí)間后則播放顯示屏當(dāng)前播放的第一圖文數(shù)據(jù)對(duì)應(yīng)的第二圖文數(shù)據(jù)，進(jìn)而發(fā)送到顯示屏進(jìn)行播放。該系統(tǒng)中人機(jī)的交互內(nèi)容僅限于顯示屏中存儲(chǔ)的內(nèi)容，且是被動(dòng)的播放給用戶，交互的局限性大。并且使用過程中，用戶處于動(dòng)態(tài)狀態(tài)，該系統(tǒng)無法實(shí)時(shí)獲取用戶的動(dòng)態(tài)狀態(tài)，即無法獲知交互用戶是否已經(jīng)更換，進(jìn)而不能的準(zhǔn)確的滿足不同用戶的需求。

申請(qǐng)公開號(hào)為CN102221881A(申請(qǐng)?zhí)枮?01110131915.2)的中國發(fā)明專利申請(qǐng)《基于仿生代理與實(shí)現(xiàn)追蹤興趣區(qū)域分析的人機(jī)交互方法》，其中公開的交互方法，能夠計(jì)算用戶眼球在屏幕上的焦點(diǎn)位置，進(jìn)而得到用戶眼球在屏幕上的焦點(diǎn)位置，進(jìn)而分析用戶關(guān)注的興趣區(qū)域，從而實(shí)現(xiàn)自然、和諧的人機(jī)交互。但是該交互方法也同樣忽略了用戶的動(dòng)態(tài)狀態(tài)檢測(cè)，容易出現(xiàn)興趣內(nèi)容誤傳的情況。

技術(shù)實(shí)現(xiàn)要素：

本實(shí)用新型所要解決的技術(shù)問題是針對(duì)上述現(xiàn)有技術(shù)提供一種能夠?qū)崟r(shí)檢測(cè)用戶的動(dòng)態(tài)狀態(tài)，以確認(rèn)當(dāng)前的交互用戶身份，以確保交互信息準(zhǔn)確性的智能LED交互裝置。

本實(shí)用新型解決上述技術(shù)問題所采用的技術(shù)方案為：一種智能LED交互裝置，其特征在于包括：

中央處理器，用于進(jìn)行數(shù)據(jù)處理和發(fā)送控制命令；

存儲(chǔ)器，與所述中央處理器相連接，用于存儲(chǔ)數(shù)據(jù)；所述存儲(chǔ)器具有用于存儲(chǔ)預(yù)存文字、圖片、視頻、語音的預(yù)存內(nèi)容存儲(chǔ)單元和用于存儲(chǔ)問題、答案的本地知識(shí)庫；

LED顯示屏，與所述中央處理器相連接，用于顯示文字、圖片、視頻；

視頻采集模塊，用于采集LED顯示屏前方的視頻畫面；

人臉檢測(cè)模塊，與所述視頻采集模塊相連接，用于檢測(cè)和獲取視頻采集模塊傳送的視頻畫面中的人臉的坐標(biāo)和特征數(shù)據(jù)；

音頻采集模塊，用于采集用戶的語音信息；

檢測(cè)控制器，分別與所述人臉檢測(cè)模塊、音頻采集模塊相連接，用于計(jì)算比較人臉的尺寸與設(shè)定的人臉尺寸閾值的大小，以及檢測(cè)是否存在用戶語音信息；

注視識(shí)別模塊，分別與所述檢測(cè)控制器和中央處理器相連接，用于計(jì)算分析用戶注視LED顯示屏各個(gè)注視區(qū)域的角度和時(shí)間，進(jìn)而獲取LED顯示屏上用戶的興趣區(qū)域；

聲紋識(shí)別模塊，分別與所述音頻采集模塊和檢測(cè)控制器相連接，用于識(shí)別音頻采集模塊傳送的用戶語音信息中的聲紋特征；

語音識(shí)別模塊，分別與所述音頻采集模塊和檢測(cè)控制器相連接，用于識(shí)別分析音頻采集模塊傳送的用戶語音信息并將用戶語音信息轉(zhuǎn)換為語音文本；

語義分析模塊，分別與所述語音識(shí)別模塊和中央處理器相連接，用于分析語音識(shí)別模塊傳送的語音文本以提取語音文本中的核心詞和關(guān)鍵詞，進(jìn)而將核心詞和關(guān)鍵詞傳送至中央處理器中；

答案提取模塊，分別與所述中央處理器和存儲(chǔ)器中的本地知識(shí)庫相連接，根據(jù)所述中央處理器傳送的核心詞和關(guān)鍵詞，在本地知識(shí)庫中搜索并提取答案，進(jìn)而將答案傳送至中央處理器；

音頻播放模塊，分別與中央處理器、存儲(chǔ)器相連接以根據(jù)所述中央處理器的控制命令播放音頻數(shù)據(jù)。

為了保證交互質(zhì)量，還包括網(wǎng)絡(luò)搜索模塊，所述網(wǎng)絡(luò)搜索模塊與所述中央處理器相連接，所述網(wǎng)絡(luò)搜索模塊當(dāng)答案提取模塊在本地知識(shí)庫中未提取到答案時(shí)，根據(jù)所述中央處理器的控制命令通過網(wǎng)絡(luò)搜索答案。

方便地，還包括語音合成模塊，所述語音合成模塊分別與所述中央處理器和音頻播放模塊相連接以將中央處理器傳送的答案合成為語音音頻并通過所述音頻播放模塊進(jìn)行播放。

與現(xiàn)有技術(shù)相比，本實(shí)用新型的優(yōu)點(diǎn)在于：本實(shí)用新型中的智能LED交互裝置，在使用過程中能夠?qū)崟r(shí)檢測(cè)用戶的動(dòng)態(tài)狀態(tài)和身份特征，以確認(rèn)當(dāng)前的用戶身份，從而實(shí)現(xiàn)交互過程中用戶與需求信息的匹配性，確保將匹配的內(nèi)容準(zhǔn)確的傳送至用戶，使得交互過程更加智能化，避免了交互資源的浪費(fèi)，提高了交互的準(zhǔn)確性、有效性。

附圖說明

圖1為本實(shí)用新型實(shí)施例中智能LED交互裝置的結(jié)構(gòu)框圖。

圖2為本實(shí)用新型實(shí)施例中智能LED交互的流程圖。

具體實(shí)施方式

以下結(jié)合附圖實(shí)施例對(duì)本實(shí)用新型作進(jìn)一步詳細(xì)描述。

如圖1所示，本實(shí)施例中的智能LED交互裝置包括：中央處理器1、存儲(chǔ)器2、LED顯示屏3、視頻采集模塊4、人臉檢測(cè)模塊5、音頻采集模塊6、檢測(cè)控制器7、注視識(shí)別模塊8、聲紋識(shí)別模塊9、語音識(shí)別模塊10、語義分析模塊11、答案提取模塊12、網(wǎng)絡(luò)搜索模塊13、語音合成模塊14以及音頻播放模塊15。

其中中央處理器1，用于進(jìn)行數(shù)據(jù)處理和發(fā)送控制命令。

存儲(chǔ)器2與中央處理器1相連接，用于存儲(chǔ)數(shù)據(jù)。本實(shí)施例中的存儲(chǔ)器2專門設(shè)置有用于存儲(chǔ)預(yù)存文字、圖片、視頻、語音的預(yù)存內(nèi)容存儲(chǔ)單元21，以及用于存儲(chǔ)問題、答案的本地知識(shí)庫22。

LED顯示屏3與中央處理器1相連接，根據(jù)中央處理器1的控制，顯示存儲(chǔ)器2中的文字、圖片、視頻等內(nèi)容。

視頻采集模塊4安裝在LED顯示屏3上，用于采集LED顯示屏3前方的視頻畫面。本實(shí)施例中的視頻采集模塊4可以選用攝像頭，實(shí)施采集LED顯示屏3前方的視頻畫面。

人臉檢測(cè)模塊5與視頻采集模塊4相連接，該人臉檢測(cè)模塊5可以使用現(xiàn)有技術(shù)中的人臉檢測(cè)裝置或者集成芯片，該人臉檢測(cè)模塊5可以用于檢測(cè)和獲取視頻采集模塊4傳送的視頻畫面中的人臉的坐標(biāo)和特征數(shù)據(jù)。

音頻采集模塊6用于采集用戶的語音信息，該音頻采集模塊6可以安裝在LED顯示屏3上，也可以安裝在LED顯示屏3附近，本實(shí)施例中的音頻采集模塊6可以采用話筒。

檢測(cè)控制器7分別與人臉檢測(cè)模塊5、音頻采集模塊6相連接進(jìn)行工作，該檢測(cè)控制器7可以選用單片機(jī)。該檢測(cè)控制器7用于計(jì)算比較人臉的尺寸與設(shè)定的人臉尺寸閾值的大小，從而判斷是否啟動(dòng)該智能LED交互裝置的交互操作。該檢測(cè)控制器7還可以檢測(cè)是否存在用戶語音信息，用戶語音信息的判斷可以根據(jù)需要設(shè)定音頻的聲強(qiáng)閾值，從而判斷采集到用戶語音信息與否。

注視識(shí)別模塊8分別與檢測(cè)控制器7和中央處理器1相連接，該注視識(shí)別模塊8可以采用現(xiàn)有技術(shù)中注視識(shí)別裝置成品或者現(xiàn)有的注視識(shí)別集成芯片。該注視識(shí)別模塊8用于計(jì)算分析用戶注視LED顯示屏3各個(gè)注視區(qū)域的角度和時(shí)間，進(jìn)而獲取LED顯示屏3上用戶的興趣區(qū)域。

聲紋識(shí)別模塊9分別與音頻采集模塊6和檢測(cè)控制器7相連接，該聲紋識(shí)別模塊9可以采用現(xiàn)有的聲紋識(shí)別裝置或者集成芯片，該聲紋識(shí)別模塊9用于識(shí)別音頻采集模塊6傳送的用戶語音信息中的聲紋特征，從而在分析多個(gè)用于語音信息后能夠判斷是否為同一個(gè)用戶的聲紋特征，方便確認(rèn)用戶的身份，進(jìn)而將分析結(jié)果傳送至檢測(cè)控制器7中。

語音識(shí)別模塊10分別與音頻采集模塊6和檢測(cè)控制器7相連接，該語音識(shí)別模塊10可以采用現(xiàn)有的語音識(shí)別裝置或者集成芯片。語音識(shí)別模塊10用于識(shí)別分析音頻采集模塊6傳送的用戶語音信息并將用戶語音信息轉(zhuǎn)換為語音文本。

語義分析模塊11分別與語音識(shí)別模塊10和中央處理器1相連接，該語義分析模塊11可以采用現(xiàn)有的語音分析裝置或者集成芯片。語義分析模塊11可以用于分析語音識(shí)別模塊10傳送的語音文本以提取語音文本中的核心詞和關(guān)鍵詞，進(jìn)而將核心詞和關(guān)鍵詞傳送至中央處理器1中，根據(jù)核心詞和關(guān)鍵詞傳送至中央處理器1的次數(shù)，可以設(shè)置相應(yīng)核心詞和關(guān)鍵詞的權(quán)重，以方便在使用中利用其權(quán)重進(jìn)行控制。

答案提取模塊12分別與中央處理器1和存儲(chǔ)器2中的本地知識(shí)庫22相連接。該答案提取模塊12可以采用現(xiàn)有的信息搜索裝置或者集成芯片，該答案提取模塊12使用的搜索算法可以使用現(xiàn)有技術(shù)中的各種搜索算法。如答案提取模塊12根據(jù)所述中央處理器1傳送的核心詞和關(guān)鍵詞，在本地知識(shí)庫22中通過模糊搜索查詢提取相應(yīng)的答案，進(jìn)而將提取的答案傳送至中央處理器1。中央處理器1也可以根據(jù)接收的答案的頻率來設(shè)置本地知識(shí)庫22中相應(yīng)答案的權(quán)重，從而方便利用答案權(quán)重進(jìn)行答案的選擇控制。

網(wǎng)絡(luò)搜索模塊13與中央處理器1相連接，通過該網(wǎng)絡(luò)搜索模塊13可以實(shí)現(xiàn)和外部廣域網(wǎng)、互聯(lián)網(wǎng)的網(wǎng)絡(luò)連接，進(jìn)而當(dāng)答案提取模塊12在本地知識(shí)庫22中未提取到答案時(shí)，根據(jù)中央處理器1的控制命令，該網(wǎng)絡(luò)搜索模塊13通過網(wǎng)絡(luò)搜索答案，并將搜索到的答案傳送至中央處理器1中，進(jìn)而中央處理器1一方面可以控制將該答案進(jìn)行顯示，另一方面可以將該答案存儲(chǔ)至本地知識(shí)庫22中以備使用。本實(shí)施例中的網(wǎng)絡(luò)搜索模塊13可以采用現(xiàn)有的網(wǎng)絡(luò)搜索裝置或者集成芯片。

語音合成模塊14與中央處理器1相連接，用于將中央處理器1傳送的答案合成為語音音頻。該語音合成模塊14可以使用現(xiàn)有成熟的語音合成裝置或者集成芯片。

音頻播放模塊15分別與語音合成模塊14、中央處理器1、存儲(chǔ)器2相連接，用于播放語音合成模塊14中合成的語音音頻以及存儲(chǔ)器2中的音頻數(shù)據(jù)。該音頻播放模塊15可以使用通用的擴(kuò)音器。音頻播放器軟件可以設(shè)置在中央處理器1。

本實(shí)施例中的智能LED交互方法，包括如下步驟：

步驟1、初始化，中央處理器1調(diào)取存儲(chǔ)器2的預(yù)存內(nèi)容存儲(chǔ)單元21中的文字、圖片、視頻內(nèi)容，控制LED顯示屏3顯示設(shè)定的首頁內(nèi)容，LED顯示屏3上分為多個(gè)顯示區(qū)域，則設(shè)定的首頁內(nèi)容分別在不同的顯示區(qū)域顯示不同的內(nèi)容；

步驟2、利用視頻采集模塊4采集獲取LED顯示屏3前方的視頻畫面；

步驟3、根據(jù)視頻采集模塊4采集的視頻畫面，利用人臉檢測(cè)模塊5實(shí)時(shí)對(duì)視頻畫面圖像進(jìn)行人臉檢測(cè)，判斷是否有人臉存在；當(dāng)視屏畫面圖像中檢測(cè)到人臉，則進(jìn)入步驟4；

步驟4、利用人臉檢測(cè)模塊5遍歷視頻畫面圖像中所有的人臉坐標(biāo)和特征，進(jìn)而將所有的人臉坐標(biāo)和特征數(shù)據(jù)傳送至檢測(cè)控制器7中，檢測(cè)控制器7計(jì)算獲取最大人臉的坐標(biāo)和特征數(shù)據(jù)；

步驟5、檢測(cè)控制器7計(jì)算并判斷最大人臉尺寸是否超過設(shè)定的人臉尺寸閾值，如果最大人臉尺寸超過設(shè)定的人臉尺寸閾值，則將最大人臉的特征數(shù)據(jù)存儲(chǔ)在檢測(cè)控制器7中，并進(jìn)入步驟6；如果最大人臉尺寸未超過設(shè)定的人臉尺寸閾值，則返回步驟2；

步驟6、檢測(cè)控制器7判斷最大人臉在視頻畫面圖像中的出現(xiàn)的累積時(shí)間是否超過設(shè)定的識(shí)別時(shí)間閾值，如果超過設(shè)定的識(shí)別時(shí)間閾值，則進(jìn)入步驟7，如果未超過設(shè)定的識(shí)別時(shí)間閾值，則刪除其內(nèi)存儲(chǔ)的最大人臉的特征數(shù)據(jù)，并返回步驟2；

步驟7、檢測(cè)控制器7檢測(cè)其內(nèi)的交互狀態(tài)標(biāo)識(shí)，如果檢測(cè)控制器7中當(dāng)前的交互狀態(tài)標(biāo)識(shí)示為工作狀態(tài)，則刪除檢測(cè)控制器7內(nèi)存儲(chǔ)的最大人臉的特征數(shù)據(jù)，并返回步驟2，如果檢測(cè)控制器7中當(dāng)前交互狀態(tài)標(biāo)識(shí)示為空閑狀態(tài)，則啟動(dòng)交互；

步驟8、檢測(cè)控制器7檢測(cè)音頻采集模塊6采集的用戶語音信息，進(jìn)而檢測(cè)控制器7判斷是否存在用戶語音信息；

檢測(cè)控制器7獲取語音信息時(shí)，檢測(cè)語音信息對(duì)應(yīng)的音頻聲強(qiáng)是否超出檢測(cè)控制器7中設(shè)定的音頻聲強(qiáng)閾值，如果語音信息的音頻聲強(qiáng)未超過設(shè)定的音頻聲強(qiáng)閾值則視為未接收到語音信息，如果語音信息的音頻聲強(qiáng)超出檢測(cè)控制器7中設(shè)定的音頻聲強(qiáng)閾值，則視為接收到語音信息；同時(shí)檢測(cè)控制器7在其設(shè)定的語音信息檢測(cè)時(shí)間閾值內(nèi)檢測(cè)語音信息，如果在設(shè)定的語音信息檢測(cè)時(shí)間閾值內(nèi)檢測(cè)到語音信息，則視為檢測(cè)到用戶的語音信息，如果在設(shè)定的語音信息檢測(cè)時(shí)間閾值內(nèi)未檢測(cè)到語音信息，則視為未檢測(cè)到用戶的語音信息；

如果檢測(cè)控制器7未檢測(cè)到用戶的語音信息則進(jìn)入步驟9，如果檢測(cè)控制器7檢測(cè)到用戶的語音信息，則進(jìn)入步驟14；

步驟9、檢測(cè)控制器7將其內(nèi)的交互狀態(tài)標(biāo)識(shí)調(diào)整為視覺交互工作狀態(tài)，將步驟4中最大人臉對(duì)應(yīng)的用戶作為當(dāng)次交互用戶，注視識(shí)別模塊8獲取檢測(cè)控制器7中的最大人臉特征數(shù)據(jù)，并分析最大人臉特征數(shù)據(jù)對(duì)應(yīng)的當(dāng)次交互用戶相對(duì)于LED顯示屏3的注視角度，進(jìn)而分析當(dāng)次交互用戶在屏幕上所有的注視區(qū)域，同時(shí)分別對(duì)當(dāng)次交互用戶注視的各個(gè)注視區(qū)域的累計(jì)時(shí)間進(jìn)行計(jì)時(shí)；

步驟10、注視識(shí)別模塊8將用戶注視各個(gè)注視區(qū)域的累積時(shí)間分別與其設(shè)定的注視時(shí)間閾值進(jìn)行比較；

如果用戶注視各個(gè)注視區(qū)域的累積時(shí)間均小于設(shè)定的注視時(shí)間閾值，則注視識(shí)別模塊8分別向檢測(cè)控制器7和中央處理器1反饋當(dāng)次視覺交互工作結(jié)束的信息，檢測(cè)控制器7則將其內(nèi)的交互狀態(tài)標(biāo)識(shí)調(diào)整為空閑狀態(tài)，并刪除其內(nèi)存儲(chǔ)的最大人臉的特征數(shù)據(jù)，而中央處理器1則控制LED顯示屏3仍然顯示首頁內(nèi)容，并返回步驟2；

如果用戶注視各個(gè)注視區(qū)域的累積時(shí)間中有大于設(shè)定的注視時(shí)間閾值，則進(jìn)行步驟11；

步驟11、注視識(shí)別模塊8將LED顯示屏3上用戶注視累積時(shí)間最長的注視區(qū)域識(shí)別為用戶的興趣區(qū)域，注視識(shí)別模塊8將識(shí)別結(jié)果傳送至中央處理器1，中央處理器1控制LED顯示屏3將當(dāng)前興趣區(qū)域顯示內(nèi)容對(duì)應(yīng)的更詳細(xì)的內(nèi)容顯示播放給用戶，如果LED顯示屏3播放的是視頻內(nèi)容，則中央處理器1同時(shí)控制音頻播放模塊15播放相應(yīng)的音頻數(shù)據(jù)；

步驟12、在LED顯示屏3播放興趣區(qū)域的詳細(xì)內(nèi)容過程中，利用視頻采集模塊4實(shí)時(shí)獲取LED顯示屏3前方的視頻畫面并傳送至人臉檢測(cè)模塊5；人臉檢測(cè)模塊5將視頻畫面圖像中所有的人臉坐標(biāo)和特征傳送至檢測(cè)控制器7，檢測(cè)控制器7將獲取的新的人臉特征數(shù)據(jù)與其內(nèi)存儲(chǔ)的最大人臉的特征數(shù)據(jù)進(jìn)行對(duì)比，從而判斷視頻畫面圖像中當(dāng)次交互用戶對(duì)應(yīng)的人臉特征數(shù)據(jù)是否還存在；

如果檢測(cè)控制器7判斷當(dāng)次交互用戶對(duì)應(yīng)的人臉特征數(shù)據(jù)存在，則注視識(shí)別模塊8檢測(cè)默認(rèn)當(dāng)次交互用戶注視LED顯示屏3觀看LED顯示屏3的播放內(nèi)容，從而將注視結(jié)果傳送至中央處理器1，則中央處理器1控制LED顯示屏3持續(xù)播放步驟10中的內(nèi)容；

如果檢測(cè)控制器7判斷當(dāng)次交互用戶對(duì)應(yīng)的人臉特征數(shù)據(jù)丟失，則檢測(cè)控制器7對(duì)該人臉特征數(shù)據(jù)的丟失時(shí)間進(jìn)行計(jì)時(shí)；

步驟13、如果步驟12中的人臉特征數(shù)據(jù)的丟失時(shí)間超過檢測(cè)控制器7內(nèi)設(shè)定的丟失時(shí)間閾值，檢測(cè)控制器7則刪除其內(nèi)存儲(chǔ)的當(dāng)次交互用戶對(duì)應(yīng)的最大人臉特征數(shù)據(jù)，并將其內(nèi)的交互狀態(tài)標(biāo)識(shí)調(diào)整為空閑狀態(tài)，并返回步驟2；

同時(shí)檢測(cè)控制器7向注視識(shí)別模塊8發(fā)送當(dāng)次交互用戶丟失的結(jié)果，注視識(shí)別模塊8則相應(yīng)默認(rèn)當(dāng)次交互用戶未注視LED顯示屏3觀看LED顯示屏3的播放內(nèi)容，從而將注視結(jié)果傳送至中央處理器1，中央處理器1控制LED顯示屏3停止當(dāng)前內(nèi)容的播放，并控制LED顯示屏3顯示設(shè)定的主頁內(nèi)容；

如果步驟12中的人臉特征數(shù)據(jù)的丟失時(shí)間未超出設(shè)定的丟失時(shí)間閾值，則LED顯示屏3繼續(xù)播放當(dāng)前內(nèi)容直至播放結(jié)束；

LED顯示屏3播放結(jié)束后，中央中央處理器1則獲取LED顯示屏3傳送的當(dāng)次視覺交互工作結(jié)束的信息，該當(dāng)次視覺交互工作結(jié)束的信息經(jīng)過注視識(shí)別模塊8傳送至檢測(cè)控制器7，則檢測(cè)控制器7刪除當(dāng)次交互用戶對(duì)應(yīng)的人臉特征數(shù)據(jù)，同時(shí)將其內(nèi)的交互狀態(tài)標(biāo)識(shí)調(diào)整為空閑狀態(tài)，并返回步驟2；

步驟14、檢測(cè)控制器7將其內(nèi)的交互狀態(tài)標(biāo)識(shí)調(diào)整為語音交互工作狀態(tài)，檢測(cè)控制器7控制聲紋識(shí)別模塊9和語音識(shí)別模塊10接收音頻采集模塊6傳送的音頻聲強(qiáng)超出檢測(cè)控制器7中設(shè)定的音頻聲強(qiáng)閾值的語音信息，聲紋識(shí)別模塊9提取語音信息中的聲紋特征并傳送至檢測(cè)控制器7，檢測(cè)控制器7存儲(chǔ)當(dāng)次交互用戶的聲紋特征數(shù)據(jù)；

步驟15、對(duì)獲取的語音信息進(jìn)行識(shí)別和語義分析，具體包括如下步驟：

步驟15.1、語音識(shí)別模塊10識(shí)別語音信息，并將語音信息轉(zhuǎn)換為語音文本，進(jìn)而將該語音文本傳送至語義分析模塊11中；

步驟15.2、語義分析模塊11對(duì)獲取的語音文本進(jìn)行分詞，進(jìn)而提取語音文本中的核心詞和關(guān)鍵詞，進(jìn)而將提取的核心詞和關(guān)鍵詞傳送至中央處理器1中；

步驟15.3、中央處理器1根據(jù)接收到核心詞和關(guān)鍵詞的次數(shù)調(diào)整相應(yīng)核心詞和關(guān)鍵詞的權(quán)重，同時(shí)中央處理器1將對(duì)接收到的核心詞和關(guān)鍵詞傳送至答案提取模塊12，答案提取模塊12根據(jù)接收到的核心詞和關(guān)鍵詞使用相應(yīng)的搜索算法自本地知識(shí)庫22中搜索并提取答案，根據(jù)不同的搜索要求，答案提取模塊12對(duì)本地知識(shí)庫22的搜索算法可以根據(jù)要求采用現(xiàn)有的各種搜索算法；根據(jù)不同核心詞和關(guān)鍵詞的權(quán)重可以擴(kuò)展使用核心詞和關(guān)鍵詞的優(yōu)先級(jí)，進(jìn)而優(yōu)化搜索過程，縮短搜索時(shí)間；

步驟15.4、答案提取模塊12將相應(yīng)的答案搜索結(jié)果傳送至中央處理器1，如果答案提取模塊12在本地知識(shí)庫22中搜索到答案，則將答案傳送至中央處理器1，中央處理器1對(duì)本地?cái)?shù)據(jù)庫中該答案的權(quán)重進(jìn)行調(diào)整，進(jìn)而進(jìn)入步驟15.9，否則將答案提取失敗的結(jié)果傳送至中央處理器1，進(jìn)入步驟15.5；對(duì)答案權(quán)重的調(diào)整可以實(shí)現(xiàn)答案優(yōu)先級(jí)的應(yīng)用，如此在出現(xiàn)多個(gè)能夠使用的答案時(shí)，可以根據(jù)答案的優(yōu)先級(jí)選擇更加精準(zhǔn)的答案；

步驟15.5、中央處理器1向網(wǎng)絡(luò)搜索模塊13傳送前述的核心詞和關(guān)鍵詞并向網(wǎng)絡(luò)搜索模塊13發(fā)送啟動(dòng)工作的控制命令，網(wǎng)絡(luò)搜索模塊13搜索廣域網(wǎng)或互聯(lián)網(wǎng)以獲取前述的核心詞和關(guān)鍵詞對(duì)應(yīng)的答案；

步驟15.6、網(wǎng)絡(luò)搜索模塊13如果搜索到答案，則將答案傳送至中央處理器1，進(jìn)而進(jìn)入步驟15.8和步驟15.9，否則網(wǎng)絡(luò)搜索模塊13向中央處理器1返回獲取答案失敗的結(jié)果，進(jìn)而進(jìn)入步驟15.7；

步驟15.7、中央處理器1控制LED顯示屏3顯示和/或控制音頻播放模塊15語音提示答案獲取失敗，同時(shí)中央處理器1記錄答案獲取失敗的問題，以備人工添加答案；

步驟15.8、中央處理器1將網(wǎng)絡(luò)搜索模塊13搜索到的答案及對(duì)應(yīng)的核心詞和關(guān)鍵詞保存到本地知識(shí)庫22；

步驟15.9、中央處理器1控制LED顯示屏3顯示答案，和/或中央處理器1將答案傳送至語音合成模塊14，語音合成模塊14將答案合成為語音音頻，進(jìn)而通過音頻播放模塊15播放給當(dāng)次交互用戶。

步驟16、在步驟15進(jìn)行的同時(shí)，利用視頻采集模塊4實(shí)時(shí)獲取LED顯示屏3前方的視頻畫面，并利用人臉檢測(cè)模塊5對(duì)實(shí)時(shí)對(duì)視頻畫面圖像進(jìn)行人臉檢測(cè)，判斷是否有人臉存在，如果無人臉存在，則檢測(cè)控制器7對(duì)人臉丟失時(shí)間進(jìn)行累積計(jì)時(shí)，如果人臉丟失的累積時(shí)間超過檢測(cè)控制器7內(nèi)設(shè)置的語音交互用戶丟失時(shí)間閾值，則立即結(jié)束步驟15，同時(shí)檢測(cè)控制器7刪除其內(nèi)存儲(chǔ)的當(dāng)次交互用戶的聲紋特征，并將其內(nèi)的交互狀態(tài)標(biāo)識(shí)調(diào)整為空閑狀態(tài)；注視識(shí)別模塊8則相應(yīng)默認(rèn)無交互用戶未注視LED顯示屏3，從而將注視結(jié)果傳送至中央處理器1，中央處理器1控制LED顯示屏3顯示設(shè)定的主頁內(nèi)容，同時(shí)返回步驟2；

在步驟15進(jìn)行的同時(shí)，如果檢測(cè)控制器7接受到音頻采集模塊6傳送的語音信息則不予響應(yīng)；

步驟17、當(dāng)次語音交互完成后，檢測(cè)控制器7重新等待獲取音頻采集模塊6傳送的語音信息，如果在檢測(cè)控制器7設(shè)定的等待時(shí)間閾值范圍內(nèi)獲取到語音信息，則進(jìn)入步驟18；如果在檢測(cè)控制器7設(shè)定的等待時(shí)間閾值范圍內(nèi)未獲取到語音信息，則刪除當(dāng)次交互用戶的聲紋特征，LED顯示屏3顯示設(shè)定的主頁內(nèi)容，將交互狀態(tài)標(biāo)識(shí)調(diào)整為空閑狀態(tài)，并返回步驟2；

步驟18、聲紋識(shí)別模塊9獲取音頻采集模塊6傳送的新的語音信息，進(jìn)而聲紋識(shí)別模塊9提取新的語音信息的聲紋特征并傳送至檢測(cè)控制器7，檢測(cè)控制器7將新的新的語音信息對(duì)應(yīng)的聲紋特征與存儲(chǔ)的聲紋特征進(jìn)行對(duì)比，進(jìn)而判斷獲取的語音信息對(duì)應(yīng)的聲紋特征是否為當(dāng)次交互用戶的聲紋特征，如果是，則進(jìn)入步驟15；如果不是，則進(jìn)入步驟17。