本發(fā)明涉及互聯(lián)網(wǎng)直播平臺技術(shù)領(lǐng)域，尤其涉及一種應(yīng)用于視頻直播平臺的虛擬機器人多模態(tài)交互方法和系統(tǒng)。

背景技術(shù)：

隨著網(wǎng)絡(luò)直播行業(yè)的發(fā)展，用戶可以通過在網(wǎng)絡(luò)直播平臺上觀看、做活動等方式領(lǐng)取虛擬獎品，并將獲得的虛擬獎品贈送給自己喜歡的主播，進行互動，從而培養(yǎng)用戶的觀看習(xí)慣和平臺粘性。然而現(xiàn)有的網(wǎng)絡(luò)直播平臺的輿情監(jiān)測技術(shù)還不完善，給用戶帶來的體驗感不佳，因此提高直播平臺的智能性，是現(xiàn)在急需解決的重要技術(shù)問題。

技術(shù)實現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題之一是需要提供一種應(yīng)用于視頻直播平臺的虛擬機器人多模態(tài)交互方法，所述視頻直播平臺的應(yīng)用配置有輔助直播的虛擬機器人，所述虛擬機器人具備多模態(tài)交互能力，所述輿情監(jiān)測方法包括以下步驟：信息采集步驟，采集當前特定直播間的直播的輿情信息，所述輿情信息包括：觀看的文本反饋信息；輿情監(jiān)測步驟，調(diào)用文本語義理解能力并生成針對該特定直播間的輿情監(jiān)測結(jié)果；情景事件響應(yīng)步驟，判斷所述輿情監(jiān)測結(jié)果表征的事件，調(diào)用多模態(tài)交互能力并通過所述虛擬機器人輸出多模態(tài)響應(yīng)數(shù)據(jù)。

優(yōu)選地，在所述信息采集步驟中，所述輿情信息還包括：攝像頭所采集的直播圖像信息。

優(yōu)選地，在所述輿情監(jiān)測步驟中，進一步，對所述直播圖像信息進行人臉追蹤和/或人體檢測；調(diào)用視覺語義理解能力，確定當前特定直播間的主播狀態(tài)。

優(yōu)選地，在所述情景事件響應(yīng)步驟中，進一步，若判斷出所述特定直播間的主播處于離開狀態(tài)，調(diào)用多模態(tài)交互能力并通過所述虛擬機器人輸出直播表演，直至監(jiān)測到主播處于直播狀態(tài)。

優(yōu)選地，在所述輿情監(jiān)測步驟中，進一步，對所述文本反饋信息進行情緒解析識別，確定觀看視頻的用戶的情緒反應(yīng)。

優(yōu)選地，在所述情景事件響應(yīng)步驟中，進一步，當所述用戶的情緒為負面情緒時，則判斷所述輿情監(jiān)測結(jié)果表征的事件為直播偏離事件，調(diào)用多模態(tài)交互能力通過并所述虛擬機器人向主播輸出直播偏離信息。

為了解決上述技術(shù)問題，本申請的實施例還提供了一種應(yīng)用于視頻直播平臺的虛擬機器人多模態(tài)交互系統(tǒng)，所述虛擬機器人輔助直播且具備多模態(tài)交互能力，所述系統(tǒng)包括以下模塊：信息采集模塊，其采集當前特定直播間的直播的輿情信息，所述輿情信息包括：觀看的文本反饋信息；輿情監(jiān)測模塊，其調(diào)用文本語義理解能力并生成針對該特定直播間的輿情監(jiān)測結(jié)果；情景事件響應(yīng)模塊，其判斷所述輿情監(jiān)測結(jié)果表征的事件，調(diào)用多模態(tài)交互能力并通過所述虛擬機器人輸出多模態(tài)響應(yīng)數(shù)據(jù)。

優(yōu)選地，所述輿情信息還包括：攝像頭所采集的直播圖像信息。

優(yōu)選地，所述輿情監(jiān)測模塊，其進一步對所述直播圖像信息進行人臉追蹤和/或人體檢測；調(diào)用視覺語義理解能力，確定當前特定直播間的主播狀態(tài)。

優(yōu)選地，所述情景事件響應(yīng)模塊，其進一步，若判斷出所述特定直播間的主播處于離開狀態(tài)，調(diào)用多模態(tài)交互能力并通過所述虛擬機器人輸出直播表演，直至監(jiān)測到主播處于直播狀態(tài)。

優(yōu)選地，所述輿情監(jiān)測模塊，其進一步對所述文本反饋信息進行情緒解析識別，確定觀看視頻的用戶的情緒反應(yīng)。

優(yōu)選地，所述情景事件響應(yīng)模塊，其進一步當所述用戶的情緒為負面情緒時，則判斷所述輿情監(jiān)測結(jié)果表征的事件為直播偏離事件，調(diào)用多模態(tài)交互能力通過并所述虛擬機器人向主播輸出直播偏離信息。

與現(xiàn)有技術(shù)相比，上述方案中的一個或多個實施例可以具有如下優(yōu)點或有益效果：

本發(fā)明實施例，通過對直播間的信息進行實時采集和綜合分析獲取輿情監(jiān)測結(jié)果，根據(jù)該結(jié)果進行決策和行為干預(yù)，例如，在主播離開階段，利用虛擬機器人來輔助視頻直播操作，能夠在該階段保持和用戶的粘性，改善了用戶體驗。

本發(fā)明的其它特征和優(yōu)點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本發(fā)明的技術(shù)方案而了解。本發(fā)明的目的和其他優(yōu)點可通過在說明書、權(quán)利要求書以及附圖中所特別指出的結(jié)構(gòu)和/或流程來實現(xiàn)和獲得。

附圖說明

附圖用來提供對本發(fā)明的進一步理解，并且構(gòu)成說明書的一部分，與本發(fā)明的實施例共同用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的限制。在附圖中：

圖1為本申請實施例的直播平臺輿情監(jiān)測系統(tǒng)所處的應(yīng)用交互場景示意圖；

圖2為本申請實施例的直播平臺輿情監(jiān)測系統(tǒng)的結(jié)構(gòu)示意圖；

圖3為本申請實施例的直播平臺輿情監(jiān)測系統(tǒng)的模塊框圖；

圖4為本申請實施例的直播平臺輿情監(jiān)測系統(tǒng)中人臉追蹤模塊321的模塊框圖；

圖5為本申請實施例的直播平臺輿情監(jiān)測系統(tǒng)中實現(xiàn)人臉追蹤功能的流程圖；

圖6為本申請實施例的直播平臺輿情監(jiān)測系統(tǒng)中人體檢測模塊322的模塊框圖；

圖7為本申請實施例的直播平臺輿情監(jiān)測系統(tǒng)中實現(xiàn)人體檢測功能的流程圖；

圖8為本申請實施例的直播平臺輿情監(jiān)測系統(tǒng)中文本語義分析模塊323的模塊框圖；

圖9為本申請實施例的直播平臺輿情監(jiān)測系統(tǒng)中實現(xiàn)文本語義分析功能的流程圖；

圖10為本申請實施例的直播平臺輿情監(jiān)測方法的流程圖。

具體實施方式

以下將結(jié)合附圖及實施例來詳細說明本發(fā)明的實施方式，借此對本發(fā)明如何應(yīng)用技術(shù)手段來解決技術(shù)問題，并達成相應(yīng)技術(shù)效果的實現(xiàn)過程能充分理解并據(jù)以實施。本申請實施例以及實施例中的各個特征，在不相沖突前提下可以相互結(jié)合，所形成的技術(shù)方案均在本發(fā)明的保護范圍之內(nèi)。

另外，附圖的流程圖示出的步驟可以在諸如一組計算機可執(zhí)行指令的計算機系統(tǒng)中執(zhí)行。并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。

圖1為本申請實施例的直播平臺輿情監(jiān)測系統(tǒng)(應(yīng)用于視頻直播平臺的虛擬機器人多模態(tài)交互系統(tǒng))所處的應(yīng)用交互場景示意圖，如圖1所示，該場景分為用戶端與主播端，下面分別說明用戶端和主播端。

主播端2230可以是計算機、智能手機、平板電腦或其他可穿戴設(shè)備等多種設(shè)備上安裝的app或者網(wǎng)頁端，本發(fā)明針對主播服務(wù)器220的設(shè)備類型不做具體限定。主播210在主播端2230上直播，所述主播服務(wù)器220支持直播平臺運行。用戶端包括多個用戶設(shè)備(121、122……12n)，由多用戶(111、112……11n)對其所屬設(shè)備(121、122……12n)進行控制，其中，用戶設(shè)備(121、122……12n)可以是計算機、平板電腦、智能手機等，本發(fā)明針對用戶設(shè)備的具體類型也不做具體限定。

具體地，主播210通過打開直播軟件或網(wǎng)頁發(fā)起直播指令，便可進入到主播直播間平臺進行直播表演。同樣的，用戶設(shè)備(121、122……12n)上也裝有同一種直播類應(yīng)用客戶端，用戶需要操作用戶設(shè)備，通過互聯(lián)網(wǎng)訪問主播直播間網(wǎng)址，從而進入到感興趣的主播的直播房間(以下簡稱主播直播間)觀看主播的直播表演。其中，本發(fā)明針對直播類應(yīng)用的種類不做具體限定，多種應(yīng)用都可使用，例如：一直播、花椒直播、微博直播等。

一般情況下在直播間平臺上，用戶的網(wǎng)絡(luò)交互端口為直播間用戶端(1231、1232……123n)。當用戶進入到特定直播間時，用戶不僅可以看到如下內(nèi)容：主播的實時表演、用戶留言、彈幕播放等，還可以根據(jù)主播表演情況進行實時反饋，例如：在留言區(qū)上傳用戶留言、在彈幕輸入?yún)^(qū)上傳彈幕文本。所有用戶和主播210均能在直播平臺顯示界面上的留言顯示區(qū)與彈幕顯示區(qū)處觀看到相應(yīng)的留言信息及彈幕信息。

需要說明的是，在本申請實施例中，直播平臺輿情監(jiān)測系統(tǒng)配置有輔助直播的虛擬機器人2201，該虛擬機器人2201具備多模態(tài)交互能力，例如輸出文字信息、語音信息、動畫信息等。而且，該直播平臺輿情監(jiān)測系統(tǒng)能夠根據(jù)直播間主播端2230接收到的用戶留言、彈幕信息等文本信息實時統(tǒng)計用戶的情緒狀況，并將上述情緒反饋信息顯示在直播間平臺主播端對應(yīng)的顯示界面上，實時的反饋給主播210。主播210根據(jù)用戶情緒信息對其表演進行實時的調(diào)整，保持直播間的用戶訪問量及熱度。另一方面，該直播平臺輿情監(jiān)測系統(tǒng)能夠?qū)⑻摂M機器人2201轉(zhuǎn)化成動畫形象，在主播210由于補妝、準備道具等原因短暫離開時代替主播210為用戶進行動畫表演，用戶能夠從其用戶設(shè)備的屏幕上觀看到虛擬機器人2201的動畫形象，并通過耳機、音響等音頻輸出設(shè)備中聽到伴隨動畫表演過程中輸出的音頻信息。

在本實施例中，通過使虛擬機器人2201代替主播210在直播表演過程中的部分工作，輔助主播210進行表演，使得在主播210短暫離開后仍然能向觀眾展示直播表演，保持一定的用戶粘度。接下來，以一個例子來詳細描述直播過程中用戶和主播是如何進行互動的。

(第一種情況)當主播210在線直播演唱表演過程中，用戶根據(jù)主播210的表演情況，通過其用戶設(shè)備進行實時留言或彈幕消息的輸入。例如：“主播，唱的好！”、“唱首歡快的歌”、“別唱了，講個笑話吧”、“主播，眼鏡很好看，哪兒買的??？”、“主播，再唱一首！”、“主播，唱的不好聽，換別的吧！”“主播，66666！”、“主播，想聽你邊彈邊唱啊”“主播，送你跑車！”、“主播，快，喊個麥”、“哈哈哈，主播你好搞笑啊”…….直播間平臺主播端2230接收上述文字信息，由直播平臺輿情監(jiān)測系統(tǒng)利用網(wǎng)絡(luò)語言情緒分析數(shù)據(jù)庫將上述文字進行用戶情緒分析。在一個例子中，上述情緒分析結(jié)果按照程度可以被劃分為五類，分別為：非常積極、積極、一般、消極和非常消極。同時，直播平臺輿情監(jiān)測系統(tǒng)能夠根據(jù)用戶在線數(shù)量，統(tǒng)計出用戶文字信息所表現(xiàn)出的情緒類別占上述五類不同程度情緒的百分比，將統(tǒng)計結(jié)果以及留言關(guān)鍵短句使用頻率最高的前n個(比如10個)詞語顯示在主播服務(wù)器顯示屏的結(jié)果顯示區(qū)域內(nèi)，主播210根據(jù)統(tǒng)計結(jié)果做出調(diào)整表演的動作。例如：給觀眾講個笑話、為觀眾彈琴、給觀眾跳個舞蹈等。

(第二種情況)當主播210因特殊原因需要短暫離開時，一方面，直播平臺輿情監(jiān)測系統(tǒng)可以通過主播攝像頭或者其他影像采集設(shè)備采集主播直播影像，當監(jiān)測到主播210離開時間超過時間閾值后，判斷主播210處于不在線狀態(tài)，直播平臺輿情監(jiān)測系統(tǒng)隨機或者根據(jù)設(shè)定模式使虛擬機器人2201執(zhí)行機器人輔助表演動畫，填補直播間由于主播210不在線導(dǎo)致的表演空白的情況。另一方面，用戶看到在直播過程中，主播離開，則會留下例如：“主播呢？”、“人呢？”“去哪兒了？”等詢問主播去向的關(guān)鍵短句，直播平臺輿情監(jiān)測系統(tǒng)還可以僅僅基于這些文本信息或結(jié)合這些文本信息來解析得到主播離開的情況，并隨機或者根據(jù)設(shè)定模式調(diào)用多模態(tài)交互能力使虛擬機器人2201執(zhí)行機器人輔助表演動畫。而且，在此期間，該系統(tǒng)還可以根據(jù)觀眾情緒反饋隨機調(diào)整播放機器人輔助表演動畫的內(nèi)容，填補直播間由于主播210不在線導(dǎo)致觀眾情緒消極的情況。

通過上述兩種情景的描述，直播平臺輿情監(jiān)測系統(tǒng)不僅能夠幫助主播210關(guān)注用戶留言過程中透露的情緒信息，并進行統(tǒng)計與反饋，還可以對主播210的在線情況進行監(jiān)測，必要時能夠控制虛擬機器人2201代替主播210進行相應(yīng)的動畫表演，代替了主播210的部分工作，使得主播210將多數(shù)精力投入于表演過程中，從而保持直播間熱度，防止由于主播不在線狀態(tài)導(dǎo)致大量觀眾流失的情況發(fā)生。

圖2為本申請實施例的直播平臺輿情監(jiān)測系統(tǒng)的結(jié)構(gòu)示意圖，如圖2所示，直播平臺輿情監(jiān)測系統(tǒng)包括主播攝像頭311、直播類應(yīng)用主播端2230、云端服務(wù)器30和直播類應(yīng)用用戶端123n。

具體地，主播攝像頭311，設(shè)置于直播設(shè)備，能夠采集直播過程中直播畫面信息，虛擬機器人2201可以是以插件形式在直播類應(yīng)用軟件中運行，直播類應(yīng)用主播端2230配置api接口，虛擬機器人運行時調(diào)用api接口，并利用云端服務(wù)器30處理視覺及語義數(shù)據(jù)，使虛擬機器人2201具備視覺能力和語義理解能力。進一步，所述虛擬機器人可以為sdk包。

云端服務(wù)器30具備強大的云計算能力和存儲能力，在輿情監(jiān)測系統(tǒng)中，提供運算、分析和存儲處理功能，獲取輿情監(jiān)測結(jié)果，控制直播類應(yīng)用主播端2230作出相應(yīng)反饋，例如虛擬機器人2201的輔助直播或用戶情緒信息的反饋等。

需要說明的是，插件是利用依據(jù)一定應(yīng)用程序接口規(guī)則編寫出來的小程序，需要依附于特定程序運行，不可單獨完成運行該程序。在本發(fā)明實施例中，采用插件的形式運行虛擬機器人，虛擬機器人插件2201是安裝在直播平臺內(nèi)的功能性插件，該插件的數(shù)據(jù)格式與通訊規(guī)則應(yīng)滿足直播平臺api接口的相應(yīng)規(guī)則，其能夠加載到應(yīng)用軟件和互聯(lián)網(wǎng)傳輸協(xié)議中，并進行實時通信，實現(xiàn)數(shù)據(jù)的交換，需要與直播應(yīng)用軟件可同時運行以實現(xiàn)虛擬機器人所附加于直播平臺的輔助直播功能，但不會對直播平臺軟件的其他功能產(chǎn)生影響。

在本實施例中，虛擬機器人2201的運行為直播應(yīng)用軟件增加了輿情監(jiān)測功能，從而構(gòu)成了本發(fā)明中的輿情監(jiān)測系統(tǒng)。在輿情監(jiān)測系統(tǒng)運行時，其具備如下功能：其一，接收主播攝像頭311端發(fā)送的直播畫面信息；其二，通過互聯(lián)網(wǎng)與直播類應(yīng)用用戶端123n進行觀眾觀看的文字反饋信息、虛擬機器人的視頻流信息等的交互；其三，通過互聯(lián)網(wǎng)實現(xiàn)app主播端2230與云端服務(wù)器30的信息訪問與交互。

具體地，直播平臺輿情監(jiān)測系統(tǒng)在數(shù)據(jù)處理過程中，不僅能夠使虛擬機器人2201在卡通、美女等特定形象動畫形象下進行動作播放，還能夠?qū)崿F(xiàn)如下功能：對主播210進行人臉追蹤、人體監(jiān)測；對直播平臺用戶端輸入的文本信息進行采集分析，并利用情緒分類器追蹤觀眾情緒的反應(yīng)情況，進行實時反饋。在一個例子中，若監(jiān)測到主播210人臉消失超過一定時間閾值t或連續(xù)多幀未監(jiān)測到人臉，可確認主播離開了直播間。在另一個例子中，在通過人臉檢測的方式初步認為主播離開了直播間后，還可再根據(jù)獲取到的文本內(nèi)容確定是否存在與詢問主播去向相關(guān)的觀眾留言，從而判定主播210處于離開直播間的狀態(tài)。在確定主播離開時，按照預(yù)設(shè)的行為，控制虛擬直播機器人2201暫時代替主播進行短時間的直播表演，并告知觀眾主播狀態(tài)。

圖3為本申請實施例的直播平臺輿情監(jiān)測系統(tǒng)的功能模塊框圖，如圖3所示，該系統(tǒng)由如下設(shè)備構(gòu)成：多模態(tài)輸入模塊31、信息處理模塊32和多模態(tài)輸出模塊33。其中，多模態(tài)輸入模塊31(作為信息采集模塊的一個例子)，其采集特定直播間的直播的輿情信息，該輿情信息至少包括用戶觀看的文本反饋信息，優(yōu)選地包括影像信息和用戶觀看的文字反饋信息。信息處理模塊32，其可以包括云端服務(wù)器30和信息轉(zhuǎn)發(fā)處理器(未圖示)，信息轉(zhuǎn)發(fā)處理器接收多模態(tài)輸入模塊31采集到的信息，通過互聯(lián)網(wǎng)訪問并將信息轉(zhuǎn)發(fā)至云端服務(wù)器，或者將從云端服務(wù)器接收到的處理結(jié)果通過互聯(lián)網(wǎng)發(fā)送至直播平臺的主播端；云端服務(wù)器30具備視覺以及語義理解能力，即可以實現(xiàn)人臉追蹤、人體檢測和文本語義分析處理等功能，在接收到文本反饋信息時，調(diào)用文本語義理解能力并生成針對該特定直播間的輿情檢測結(jié)果；在接收到文本反饋信息和圖像信息時，則執(zhí)行人臉追蹤、人體檢測和文本語義分析處理。后期，云端服務(wù)器30將處理結(jié)果，反饋至信息轉(zhuǎn)發(fā)處理器，由信息轉(zhuǎn)發(fā)處理器完成數(shù)據(jù)的輸出預(yù)處理，并完成輿情監(jiān)測數(shù)據(jù)的輸出。多模態(tài)輸出模塊33(作為情景事件響應(yīng)模塊的一個例子)，其接收信息處理模塊32輸出的結(jié)果，并判斷輿情監(jiān)測結(jié)果表證的事件，并調(diào)用多模態(tài)交互能力，通過虛擬機器人輸出多模態(tài)響應(yīng)數(shù)據(jù)，其中，多模態(tài)響應(yīng)數(shù)據(jù)包括輔助直播信息與輿情反饋信息。

下面對直播平臺輿情監(jiān)測系統(tǒng)中的模塊組成及功能進行詳細說明。首先，說明多模態(tài)輸入模塊31。參見圖3，該多模態(tài)輸入模塊31主要包括第一采集模塊311和第二采集模塊312。具體地，第一采集模塊311，其在直播過程中采集主播表演的影像信息，將上述信息從視頻格式轉(zhuǎn)化成幀圖像格式，輸出直播幀圖像。該模塊311的采集設(shè)備可以是外掛攝像頭、內(nèi)置前置攝像頭等，本申請針對第一采集模塊311的采集設(shè)備類型不作具體限定。第二采集模塊312，其接收直播平臺用戶端傳送的用戶輿情信息，其中，用戶輿情信息為用戶觀看的文本反饋信息，進一步，用戶觀看的文字反饋信息包括用戶留言信息和用戶彈幕信息。

接下來，對信息處理器32的云端服務(wù)器的組成及功能進行詳細說明。該云端服務(wù)器主要包括如下模塊：人臉追蹤模塊321、人體檢測模塊322、文本語義分析模塊323。具體地，人臉追蹤模塊321，能夠?qū)Λ@取到的幀圖像信息進行人臉檢測和人臉追蹤處理，并基于處理結(jié)果判斷是否檢測到主播的臉部信息，輸出人臉檢測結(jié)果；人體檢測模塊322，從獲取到的幀圖像信息中提取運動的人體目標，基于提取結(jié)果判斷是否檢測到主播的人體信息，并輸出人體檢測結(jié)果；文本語義分析模塊323，能夠?qū)@取的用戶輿情信息進行分句處理提取關(guān)鍵短句，利用預(yù)設(shè)的網(wǎng)絡(luò)語言情緒分析數(shù)據(jù)庫和情緒程度置信度模型對關(guān)鍵詞進行情緒分析，從而得到用戶情緒信息并進行統(tǒng)計，輸出高頻情緒信息及高頻關(guān)鍵短句。

圖4為本申請實施例的直播平臺輿情監(jiān)測系統(tǒng)中人臉追蹤模塊321的模塊框圖，如圖4所示，人臉追蹤模塊321由如下單元構(gòu)成：圖像輸入單元3211、人臉檢測單元3212、人臉追蹤單元3213和追蹤結(jié)果輸出單元3214。其中，圖像輸入單元3211，其通過互聯(lián)網(wǎng)獲取來自信息交互處理器的單幀或連續(xù)幀格式的主播直播圖像；人臉檢測單元3212，其將單幀圖像利用預(yù)設(shè)的人臉特征分類器進行人臉檢測，輸出檢測結(jié)果；人臉追蹤單元3213，其將上述檢測結(jié)果作為運動目標樣本，進行人臉追蹤處理，輸出處理結(jié)果；追蹤結(jié)果輸出單元3214，其能夠利用上述追蹤結(jié)果，進行人臉在線時間的判斷，從而對人臉是否處于在線狀態(tài)進行判定，輸出判定結(jié)果至信息轉(zhuǎn)發(fā)處理器。

圖5為本申請實施例的直播平臺輿情監(jiān)測系統(tǒng)中人臉追蹤模塊321原理的實施流程圖。如圖5所示，圖像輸入單元3211獲取單幀主播直播圖像后，執(zhí)行人臉檢測單元3212，在該單元中，采用adaboost算法對圖像中的人臉進行檢測，首先需要對人臉特征進行提取，然后生成人臉特征的級聯(lián)分類器，將該分類器作為檢測工具預(yù)設(shè)進人臉檢測單元3212中，能夠?qū)崿F(xiàn)對實時獲取的單幀主播直播圖像進行在線人臉檢測。

具體地，人臉特征提取的實施步驟如下所示：1)將人臉數(shù)據(jù)庫樣本利用雙線性插值法歸一化到到同一像素大小，提取單幀圖像的線性矩形特征；2)將每一個特征在訓(xùn)練圖像子窗口中按照像素點的排列滑動計算，歷遍整個圖像，獲取各個位置的各類矩形特征，計算每一類特征個數(shù)；3)利用特征端點積分圖，計算出每類矩形特征的特征值；4)獲取人臉特征和非人臉特征。在確定了矩形特征數(shù)量和特征值后，需要對每一個特征f，訓(xùn)練一個弱分類器h，從而，獲取多個強分類器及級聯(lián)分類器，進而，獲取最終的人臉特征并區(qū)分人臉區(qū)域，具體實施過程如下列步驟所示：1)將特征值(按照具有相同特征值的特征)進行排序，計算每個特征值的權(quán)重，計算相鄰特征值的分類誤差，得到弱分類器；2)計算對應(yīng)所有特征的弱分類器的加權(quán)錯誤率，投票組合成強分類器；3)將多個強分類器連接在一起進行操作，構(gòu)成級聯(lián)分類器，篩選人臉樣本特征。在人臉級聯(lián)分類器生成后，即可作為單幀圖像實時人臉檢測的工具，進而輸出已識別出人臉區(qū)域的主播直播單幀圖像，執(zhí)行人臉追蹤單元3213。

需要說明的是，在本發(fā)明實施例中，采用adaboost算法對直播幀圖像中的人臉區(qū)域進行檢測，本申請針對人臉檢測的實施方法不作具體限定，可以使用其他方法進行替代。

在追蹤單元3213中，采用camshift算法對圖像中的人臉區(qū)域進行實時的追蹤，首先為了方便計算，對圖像色調(diào)進行預(yù)處理，初始化幀圖像中人臉區(qū)域的初始位置，進行實時跟蹤。具體實施過程如下列步驟所示：1)將色彩空間為rgb的幀圖像轉(zhuǎn)化為hsv空間幀圖像，并提取hsv空間的色調(diào)分量；2)獲取輸入圖像的顏色直方圖，計算各像素點的色調(diào)分量分布概率，獲得上述輸入圖像的色調(diào)概率分布圖；3)利用上述色調(diào)概率分布圖，初始化搜索窗的參數(shù)，計算搜索窗的質(zhì)心；4)獲取初始化輸入圖像的人臉中心，計算人臉中心與搜索窗質(zhì)心的距離，5)若上述距離大于預(yù)設(shè)閾值，重復(fù)上述3)和4)步，直到其距離小于預(yù)設(shè)閾值，并輸出人臉檢測標志數(shù)據(jù)，啟動追蹤結(jié)果輸出單元3214。

需要說明的是，在本發(fā)明實施例中，采用camshift算法對直播幀圖像中的人臉區(qū)域進行追蹤，本申請針對人臉追蹤的實施方法不作具體限定，可以使用其他方法進行替代。

當追蹤結(jié)果輸出單元3214接收到人臉檢測標志數(shù)據(jù)后，該單元根據(jù)該數(shù)據(jù)進行解析，對人臉是否在線進行判斷。具體地，當檢測到人臉區(qū)域時，人臉處于在線狀態(tài)；當未檢測到人臉區(qū)域時，人臉處于不在線狀態(tài)。進一步，追蹤結(jié)果輸出單元3214能夠?qū)θ四槞z測標志數(shù)據(jù)進行實時的檢測，當檢測到該數(shù)據(jù)的輸出接連為人臉不在線狀態(tài)時，并且輸出的時間到達預(yù)設(shè)的非在線時間閾值t或者達到連續(xù)設(shè)定幀數(shù)的圖像均未檢測到人臉時，則判斷主播人臉處于不在線狀態(tài)。在一個實施例中，直播視頻平均一分鐘輸出24幀圖像，每幀圖像輸出一次人臉檢測標志數(shù)據(jù)，因此，針對非在線時間閾值t的計算，是通過計算單位時間內(nèi)接收幀圖像的次數(shù)得到的。

圖6為本申請實施例的直播平臺輿情監(jiān)測系統(tǒng)中人體檢測模塊322的模塊框圖，如圖6所示，人體檢測模塊322包括下列單元：圖像提取單元3221、圖像預(yù)處理單元3222、運動目標獲取單元3223和人體檢測輸出單元3224。具體地，圖像提取單元3221，其通過互聯(lián)網(wǎng)獲取來自信息交互處理器的多幀格式的主播直播圖像；圖像預(yù)處理單元3222，其利用連續(xù)三幀圖像獲取絕對差灰度圖像，計算差分閾值；運動目標獲取單元3223，其基于上述絕對差灰度圖像，提取相對運動區(qū)域，并獲取運動目標，輸出人體檢測標志數(shù)據(jù)；人體檢測輸出單元3224其利用上述人體檢測結(jié)果，對具有人體標志的單幀直播圖像的在線時間進行判斷，進而判定主播人體是否處于在線狀態(tài)。

圖7為本申請實施例的直播平臺輿情監(jiān)測系統(tǒng)中人體檢測模塊322原理的實施流程圖。如圖7所示，圖像提取單元3221獲取單幀主播直播圖像后，執(zhí)行圖像預(yù)處理單元3222。在該單元中，需要對幀圖像進行預(yù)處理，具體地，需要滿足如下步驟：1)采集連續(xù)三幀圖像；2)從連續(xù)三幀圖像中得到連續(xù)兩幀圖像的絕對差灰度圖像；3)求取差分閾值。當完成圖像預(yù)處理單元3221的工作過程后，需要將上述圖像預(yù)處理結(jié)果傳輸?shù)竭\動目標獲取單元3223中。在運動目標獲取單元3223中，首先，根據(jù)上述差分閾值，將圖像預(yù)處理單元3221獲得的連續(xù)兩幀的絕對差灰度圖像進行二值化處理，分別提取連續(xù)兩幀圖像的相對運動區(qū)域，然后，通過與運算，得到上述連續(xù)兩幀圖像相對運動區(qū)域的交集，獲得最終的運動目標圖像(在本實施例中，運動目標即為人體)，進而輸出人體檢測標志數(shù)據(jù)。人體檢測輸出單元3224，接收運動目標獲取單元3223發(fā)送的人體檢測結(jié)果數(shù)據(jù)包后，解析該數(shù)據(jù)包后獲得人體檢測標志數(shù)據(jù)，讀取該數(shù)據(jù)后，對主播人體是否在線進行判斷。具體地，當檢測到人體圖像時，主播人體處于在線狀態(tài)；當未檢測到人體圖像時，主播人體處于不在線狀態(tài)。進一步，人體檢測輸出單元3214能夠?qū)θ梭w檢測標志數(shù)據(jù)進行實時的檢測，當檢測到該數(shù)據(jù)的輸出連續(xù)為人體不在線狀態(tài)時，并且輸出的時間到達預(yù)設(shè)的非在線時間閾值t時，則判斷主播人體處于不在線狀態(tài)。需要說明的是，針對非在線時間閾值t的計算同樣是通過計算單位時間內(nèi)接收幀圖像的次數(shù)得到的。

需要說明的是，差分閾值是完成圖像二值化的關(guān)鍵計算參數(shù)，能夠直接影響圖像前景(即運動目標)和背景的分割效果，在本實施例中，采用最大類間方差法對差分閾值進行計算，本發(fā)明針對差分閾值的計算方法不做具體限定，實施操作人員可以根據(jù)實際需求選取適當?shù)姆椒ㄟM行替代，替代方法包括：迭代法、直方圖法、自適應(yīng)局部閾值法等。

圖8為本申請實施例的直播平臺輿情監(jiān)測系統(tǒng)中文本語義分析模塊323的模塊框圖，如圖8所示，文本語義分析模塊323包括如下單元：文本語義輸入單元3231、分句處理單元3232、情緒分析單元3233、情緒統(tǒng)計單元3234和語義分析輸出單元3235。其中，文本語義輸入單元3231，其通過互聯(lián)網(wǎng)獲取來自信息交互處理器的觀眾觀看的文字反饋信息(輿情文本信息)；分句處理單元3232，其將用戶輿情文本信息分成只含有單獨情緒的短句；情緒分析單元3233，其利用nlp技術(shù)、預(yù)設(shè)的網(wǎng)絡(luò)語言情緒分析數(shù)據(jù)庫和情緒程度置信度模型，對上述單獨情緒的短句先進行情緒分析處理，輸出短句情緒程度置信度；情緒統(tǒng)計單元3234，其能夠?qū)ι鲜銮楦蟹治鼋Y(jié)果和高頻關(guān)鍵短句(出現(xiàn)頻率較高的單獨情緒短句)進行單位時間內(nèi)的統(tǒng)計；語義分析輸出單元3235，其將上述統(tǒng)計結(jié)果輸出到主播服務(wù)器顯示屏上。

圖9為本申請實施例的直播平臺輿情監(jiān)測系統(tǒng)中語義分析模塊323原理的實施流程圖。如圖9所示，語義分析模塊323的分句處理單元3232接收用戶端發(fā)送的用戶輿情信息，將用戶輿情信息進行分句處理，標記短句標識，將帶有短句標識的短句數(shù)據(jù)包發(fā)送至情緒分析單元3233中。其中，用戶輿情信息為文本信息，并包括用戶留言文字信息和用戶彈幕文字信息。具體地，分句處理可以根據(jù)標點符號(例如：逗號、感嘆號、問號等)等標識，提取有效的短句信息，例如：“去哪兒？”、“在嗎？”、“唱歌”、“主播6666”、“你好逗啊”、“唱得不好聽”、“不喜歡這個表演”、“主播的表演真無聊”、“打得太爛”、“別唱了”、“還是跳舞吧”等。

然后，在情緒分析單元3233中，首先，將分句處理單元3232得到的有效的短句數(shù)據(jù)包利用短句標識進行解析，然后利用網(wǎng)絡(luò)語言情緒分析數(shù)據(jù)庫對解析后的短句進行情緒分析，輸出該短句所包含的情緒參量、語氣參量、行動參量的留言人意圖信息。其中，網(wǎng)絡(luò)語言情緒分析數(shù)據(jù)庫是利用nlp技術(shù)(神經(jīng)語言程序?qū)W)，結(jié)合常用網(wǎng)絡(luò)語言情緒對照表所構(gòu)建的，其預(yù)設(shè)于分句處理單元3232中，能夠根據(jù)短句中的關(guān)鍵詞元素一方面進行逐一分析，另一方面綜合各信息元素進行整體分析，進而輸出該短句所具備的留言人實際意圖。具體地，該數(shù)據(jù)庫利用標點符號(例如：逗號、感嘆號、問號等)、主語標識(例如：你們、主播、大家、我、他等)、時間狀語(例如：一會兒、馬上、半小時、三分鐘等)、地點狀語(例如：家、臥室、馬路、沙發(fā)等)、副詞標識(例如：別、十分、太、特別、非常等)等分句關(guān)鍵詞元素，分析出短句中的留言人意圖信息。

其中，留言人意圖信息為情緒分析單元3233的輸出結(jié)果，其包括情緒參量、語氣參量和行動參量。網(wǎng)絡(luò)語言情緒分析數(shù)據(jù)庫可以將短句按照如下方式進行評價，從而輸出留言人意圖信息。具體地，留言人意圖信息中的各個參量按下列描述進行表示：在情緒參量中，用1-10表示觀眾情緒的積極度，1表示最積極，10表示最消極；語氣參量，其用1-5表示觀眾情緒程度，1表示“接近所述情緒”，2表示“輕微”，3表示“十分”，4表示“特別”，5表示“極度”；行動參量，其用1-5表示觀眾欲離開的程度，1表示“想繼續(xù)觀看”，5表示“馬上離開”。進一步，對關(guān)鍵詞元素的情緒分析如下列示例所示：問號對應(yīng)的情緒為疑問；“太好了”對應(yīng)的情緒為高興；“不喜歡”對應(yīng)的情緒為煩感；“6666”對應(yīng)的情緒為高興；“別”對應(yīng)的情緒為抗拒等。按照上述情緒分析，對短句中留言人意圖的分析結(jié)果按照下列示例進行輸出：當解析出的短句內(nèi)容為“主播6666”時，情緒信息為2，語氣信息為2，行動意圖為1；當解析出的短句內(nèi)容為“主播，人呢？”時，情緒信息為6、語氣信息為2、行動意圖為2。

需要說明的是，在本發(fā)明是實施例中，情緒參量、語氣參量和行動參量為留言人意圖信息的一個組成示例，本發(fā)明對其不作具體限定。

然后，將每個分句所對應(yīng)的留言人意圖信息進行情緒程度置信度的計算，輸出短句情緒程度百分比。其中，情緒程度分為五類，分別為非常積極、積極、一般、消極和非常消極，每種留言人意圖信息都對應(yīng)不同的情緒程度比例。另外，情緒程度置信度的計算是根據(jù)留言人意圖中的參量信息的歷史數(shù)據(jù)作為訓(xùn)練樣本，留言人意圖中的參量信息的實時輸入信息作為測試樣本，利用bp神經(jīng)網(wǎng)絡(luò)訓(xùn)練出情緒置信度計算模型，比如：短句“主播6666”所對應(yīng)的五種情緒程度百分比分別為“非常積極60％、積極35％、一般5％、消極0％、非常消極0％”；短句“主播，人呢？”所對應(yīng)的五種情緒程度百分比分別為“非常積極0％、積極5％、一般60％、消極35％、非常消極0％”。最后，將每個短句所對應(yīng)的情緒程度置信度以數(shù)據(jù)包的形式發(fā)送給情緒統(tǒng)計單元3234。

需要說明的是，本發(fā)明在情緒置信度計算中采用了bp神經(jīng)網(wǎng)絡(luò)的方式訓(xùn)練情緒情緒置信度計算模型，本發(fā)明對此部分的計算方法不作具體限定，還可以采用其他方法進行替代。

接著，在情緒分析完成后，情緒統(tǒng)計單元3234需要先接收分句處理單元3232發(fā)送的帶有短句標識的短句數(shù)據(jù)包和情緒分析單元3233傳輸?shù)亩叹淝榫w程度置信度，并且解析接收到的數(shù)據(jù)包獲取關(guān)鍵分句的情緒信息和短句信息。然后，設(shè)定分句采集時間閾值為單位時間，一方面，將分句情緒信息按照單位時間內(nèi)的分句情緒程度置信度進行統(tǒng)計，得到相應(yīng)的統(tǒng)計結(jié)果，即為單位時間內(nèi)的觀眾觀看的反饋情緒；另一方面，先將相似短句(例如：“主播，666666”與“主播666”為相似短句)進行分類整合，統(tǒng)計短句信息出現(xiàn)的頻率，將單位時間內(nèi)頻率值由大到小排列，其中，序列數(shù)為1-10所對應(yīng)的短句信息，即為高頻短句信息。最后，將上述單位時間內(nèi)的觀眾觀看的反饋情緒(單位時間內(nèi)分句情緒程度置信度)和高頻短句信息進行實時輸出。需要說明的是，為了對觀眾情緒進行準確、有效的實時反饋，單位時間的設(shè)定不宜過長，10s左右為最佳。

最后，再次參考圖8、9，進入到語義分析輸出單元3235，該單元接收情緒統(tǒng)計單元3234的統(tǒng)計結(jié)果，將該結(jié)果顯示在主播服務(wù)器顯示屏的特定位置上，從而將觀眾實時的觀看情緒反饋給主播。

再次參考圖3，接下來針對多模態(tài)輸出設(shè)備33進行詳細說明。如圖3所示，多模態(tài)輸出設(shè)備33包括如下模塊：主播在線狀態(tài)判定模塊331、輔助直播信息輸出模塊332、輿情信息反饋模塊333。其中，主播在線狀態(tài)判定模塊331，其接收人臉追蹤模塊321、人體檢測模塊322的處理結(jié)果，對主播在線狀態(tài)進行判定，輸出主播在線狀態(tài)信息；輔助直播信息輸出模塊332，其接收文本語義分析模塊323和主播在線狀態(tài)判定模塊331的輸出信息，根據(jù)主播直播狀態(tài)，將輔助直播的視頻流信息和主播狀態(tài)信息輸出到直播平臺用戶端；輿情信息反饋模塊333，其接收文本語義分析模塊323和主播在線狀態(tài)判定模塊331的輸出信息，根據(jù)實時獲取到的情緒程度置信度，判斷觀眾是否產(chǎn)生負面情緒，是否發(fā)生直播偏離事件，并由虛擬機器人向主播輸出直播偏離信息。

具體地，主播在線狀態(tài)判定模塊331，接收人臉追蹤模塊321、人體檢測模塊322的數(shù)據(jù)處理結(jié)果，獲取主播人臉在線狀態(tài)信息、主播人體在線狀態(tài)信息，根據(jù)主播在線狀態(tài)判定依據(jù)，對主播是否處于在線狀態(tài)進行判斷，輸出判斷結(jié)果。需要說明的是，主播在線狀態(tài)判定依據(jù)如下所示：當主播人臉處于在線狀態(tài)和/或主播人體處于在線狀態(tài)時，判定主播處于直播在線狀態(tài)；當主播人臉處于不在線狀態(tài)且主播人體處于不在線狀態(tài)時，判定處于主播直播不在線狀態(tài)。

接下來，對輿情信息反饋模塊333進行詳細說明。如圖3所示，輿情信息反饋模塊333接收文本語義分析模塊323的數(shù)據(jù)處理結(jié)果和主播在線狀態(tài)判定模塊331輸出的主播在線狀態(tài)信息，從而獲取觀眾觀看的反饋情緒信息以及高頻短句信息，根據(jù)負面情緒判定原則，判斷觀眾是否產(chǎn)生負面情緒，是否發(fā)生直播偏離事件，并由虛擬機器人向主播輸出直播偏離信息。需要說明的是，在單位時間內(nèi)觀眾觀看的反饋情緒(單位時間內(nèi)分句情緒程度置信度)中，情緒程度為一般、消極、非常消極所占的百分比之和大于等于40時，觀眾的情緒反應(yīng)滑向負面，則判定發(fā)生直播偏離事件，此時，虛擬機器人調(diào)用其多模態(tài)交互能力向主播輸出直播偏離信息。

如圖3所示，輔助直播信息輸出模塊332包括如下單元：視頻流輸出單元3321和文本信息輸出單元3322。其中，視頻流輸出單元3321接收文本語義分析模塊323、主播在線狀態(tài)判定模塊331和輿情信息反饋模塊333的數(shù)據(jù)處理結(jié)果，獲取主播在線狀態(tài)信息、負面情緒反饋信息、觀眾觀看的反饋情緒信息以及高頻短句信息，根據(jù)不同的直播狀態(tài)，調(diào)取不同的輔助機器人表演數(shù)據(jù)庫的視頻流信息，并向直播平臺用戶端發(fā)送；文本信息輸出單元3312接收文本語義分析模塊323、主播在線狀態(tài)判定模塊331和輿情信息反饋模塊333的數(shù)據(jù)處理結(jié)果，獲取主播在線狀態(tài)信息、負面情緒反饋信息、觀眾觀看的反饋情緒信息以及高頻短句信息，根據(jù)不同的直播狀態(tài)，向直播平臺用戶端隨機輸出預(yù)設(shè)的主播不在線狀態(tài)的文字信息。

需要說明的是，在輔助直播信息輸出模塊332中，當獲取到主播處于不在線狀態(tài)時，輸出輔助機器人視頻流信息和主播不在線狀態(tài)文字信息。其中，主播不在線狀態(tài)文字信息的示例如下所示：“主播正在補妝”、“主播正在換衣服”等。

在本例中，輔助機器人表演數(shù)據(jù)庫是針對主播處于不在線狀態(tài)構(gòu)建的以動畫形象為載體的動畫視頻流數(shù)據(jù)庫，其可以存儲于云端服務(wù)器30也可以存儲在主播段應(yīng)用軟件中，具有聲頻輔助信息。該數(shù)據(jù)庫中具有多種不同類型的視頻流數(shù)據(jù)，其按照不同的直播狀態(tài)進行輸出。其中，直播狀態(tài)為直播不在線和/或觀眾產(chǎn)生負面情緒和/或高頻短句中有與詢問主播去向的短句出現(xiàn)。

需要說明的是，本發(fā)明對觀眾觀看的反饋情緒信息獲取方式采用計算五類不同情緒程度百分比，進而按照相應(yīng)的比例，對是否是否發(fā)生直播偏離事件進行判定，本發(fā)明對觀眾觀看的反饋情緒信息的獲取方式和負面情緒的判定方法不做具體限定，以采用其他形式進行替代。

圖10為本申請實施例的直播平臺輿情監(jiān)測方法(應(yīng)用于視頻直播平臺的虛擬機器人多模態(tài)交互方法)的流程圖。如圖10所示，一方面，首先，主播直播圖像采集設(shè)備(攝像頭)采集到直播直播過程中的視頻圖像，將其轉(zhuǎn)化成單幀圖像格式，在獲取到的單幀圖像后，進入到人臉追蹤模塊321中進行人臉追蹤處理，其實施過程如圖4、圖5所示的所述人臉追蹤處理的原理及流程，輸出主播人臉在線狀態(tài)信息。同時，還可以根據(jù)需要對單幀圖像進行人體檢測，啟動人體檢測模塊322進行人體檢測處理，其實施過程如圖6、圖7所示的所述人體檢測處理的原理及流程，輸出主播人體在線狀態(tài)信息。另一方面，該方法能夠獲取直播平臺用戶端的文本信息，并將該文本信息傳輸至文本語義分析模塊323中,進行文本語義分析處理，其實施過程如圖8、圖9所示的所述文本語義分析處理的原理及流程，進而輸出情緒反饋置信度和高頻短句信息。然后，進入到主播在線狀態(tài)判定模塊331，完成對主播在線狀態(tài)數(shù)據(jù)的輸出，并發(fā)送至輔助直播信息輸出模塊332和輿情信息反饋模塊333中。當輔助直播信息輸出模塊332接收到主播在線狀態(tài)數(shù)據(jù)，該模塊只對解析出主播處于不在線狀態(tài)有效，進而輔助直播信息輸出模塊332可以根據(jù)觀眾產(chǎn)生負面情緒和/或高頻短句中有與詢問主播去向的短句出現(xiàn)，調(diào)用虛擬機器人表演數(shù)據(jù)庫的信息，不僅輸出虛擬機器人輔助表演動畫視頻流，還對主播狀態(tài)文字信息進行輸出。當主播在線狀態(tài)數(shù)據(jù)發(fā)送至輿情信息反饋模塊333時，輿情信息反饋模塊333的實施只對解析出主播處于在線狀態(tài)有效，根據(jù)文本語義分析模塊323輸出的情緒信息和高頻短句，判定觀眾反饋情緒中是否產(chǎn)生負面情緒，當解析主播處于在線狀態(tài)時，若觀眾產(chǎn)生負面情緒，則輸出直播偏離信息，并顯示在主播服務(wù)器顯示屏上，從而提示主播適當調(diào)整其表演方式，調(diào)動觀眾的積極性；若觀眾并沒有產(chǎn)生負面情緒，則輿情監(jiān)測系統(tǒng)繼續(xù)對觀眾觀看的反饋情緒進行輸出。

由于本發(fā)明的方法描述的是在計算機系統(tǒng)中實現(xiàn)的。例如，本文所述的方法可以實現(xiàn)為能以控制邏輯來執(zhí)行的軟件，其由機器人操作系統(tǒng)中的cpu來執(zhí)行。本文所述的功能可以實現(xiàn)為存儲在非暫時性有形計算機可讀介質(zhì)中的程序指令集合。當以這種方式實現(xiàn)時，該計算機程序包括一組指令，當該組指令由計算機運行時其促使計算機執(zhí)行能實施上述功能的方法?？删幊踢壿嬁梢詴簳r或永久地安裝在非暫時性有形計算機可讀介質(zhì)中，例如只讀存儲器芯片、計算機存儲器、磁盤或其他存儲介質(zhì)。除了以軟件來實現(xiàn)之外，本文所述的邏輯可利用分立部件、集成電路、與可編程邏輯設(shè)備(諸如，現(xiàn)場可編程門陣列(fpga)或微處理器)結(jié)合使用的可編程邏輯，或者包括它們?nèi)我饨M合的任何其他設(shè)備來體現(xiàn)。所有此類實施例旨在落入本發(fā)明的范圍之內(nèi)。

應(yīng)該理解的是，本發(fā)明所公開的實施例不限于這里所公開的特定結(jié)構(gòu)、處理步驟或材料，而應(yīng)當延伸到相關(guān)領(lǐng)域的普通技術(shù)人員所理解的這些特征的等同替代。還應(yīng)當理解的是，在此使用的術(shù)語僅用于描述特定實施例的目的，而并不意味著限制。

說明書中提到的“一個實施例”或“實施例”意指結(jié)合實施例描述的特定特征、結(jié)構(gòu)或特性包括在本發(fā)明的至少一個實施例中。因此，說明書通篇各個地方出現(xiàn)的短語“一個實施例”或“實施例”并不一定均指同一個實施例。

雖然本發(fā)明所公開的實施方式如上，但所述的內(nèi)容只是為了便于理解本發(fā)明而采用的實施方式，并非用以限定本發(fā)明。任何本發(fā)明所屬技術(shù)領(lǐng)域內(nèi)的技術(shù)人員，在不脫離本發(fā)明所公開的精神和范圍的前提下，可以在實施的形式上及細節(jié)上作任何的修改與變化，但本發(fā)明的專利保護范圍，仍須以所附的權(quán)利要求書所界定的范圍為準。