它包括:頭部11、身體7、底座8。頭部11包含一個攝像頭4、一個臉部顯示器3、兩個麥克風(fēng)2、兩個揚聲器I以及一個云臺5 ;身體7包括控制觸摸屏6 ;底座8包含帶有八個聲納9的運動裝置10和工控機。工控機相當于前面所述的控制裝置，是本發(fā)明的關(guān)鍵部件。
[0034]兩個揚聲器I與攝像頭4并排在臉部顯示器3上，這樣更為緊湊和美觀；兩個麥克風(fēng)2在頭部11的耳朵部分，可以接受更廣的聲源范圍；云臺5將頭部11和身體7上部相連，云臺5底端連接在身體7，云臺5運動部分與頭部固定；控制觸摸屏6安裝在身體7正中，身體7下部與底座8相連，底座8外殼下運動裝置10 ;攝像頭4、臉部顯示器3、麥克風(fēng)2、揚聲器1，云臺5通過USB集線器與運動裝置10內(nèi)部的工控機連接，實現(xiàn)數(shù)據(jù)的獲取與反饋。
[0035]圖3是該實施例的自閉癥兒童輔助機器人的控制裝置的功能模塊圖。如圖所示，控制模塊由工控機實現(xiàn)，其包括:語音識別模塊、語音輸出模塊、頭部控制模塊、臉部表情模塊、運動控制模塊，視覺檢測模塊、行為記錄模塊、中央控制單元。頭部控制模塊通過控制PELCO-D通訊協(xié)議的云臺5來達到頭部上下左右的轉(zhuǎn)動，左右轉(zhuǎn)動范圍為0°?180°，上下轉(zhuǎn)動在-15°?30°。
[0036]語音識別模塊是通過麥克風(fēng)2接受聲音數(shù)據(jù)，傳輸?shù)街醒肟刂茊卧?，利用語音識別軟件轉(zhuǎn)化成數(shù)據(jù)輸入到語音輸出模塊和臉部表情模塊。并且可以記錄煩躁，生氣等不良聲音到行為記錄模塊。
[0037]視覺檢測模塊通過攝像頭4獲取圖像數(shù)據(jù)，實現(xiàn)人臉識別和表情檢測，視覺檢測的過程是通過頭部控制模塊轉(zhuǎn)動頭部，避免了底座運動規(guī)劃路徑的復(fù)雜問題。首先進行人臉識別，將人臉識別結(jié)果數(shù)據(jù)傳送到運動控制模塊；再進行表情檢測，表情檢測所獲取的數(shù)據(jù)通過中央控制單元傳送到到臉部表情模塊和語音輸出模塊。表情檢測可以檢測多種表情，保存檢測到的表情傳送到行為記錄模塊。
[0038]語音輸出模塊接受由中央控制單元接受處理的語音識別模塊的數(shù)據(jù)和視覺檢測數(shù)據(jù)，通過揚聲器I發(fā)出相應(yīng)的語音。在視覺檢測模塊的表情識別過程中，由中央控制單元協(xié)調(diào)，通過語音呼喚引起自閉癥兒童注意，便于視覺檢測。語音可以用戶自定義。
[0039]臉部表情模塊通過接受語音識別模塊和視覺檢測模塊的數(shù)據(jù)，通過臉部顯示屏3來顯示機器人的情緒，機器人的情緒通過卡通表情圖片來表現(xiàn)，并通過顯示表情反饋給自閉癥兒童，更生動，更易于接受，同時面部表情t旲塊也可以顯不其他圖片和動畫。臉部顯不器是8寸800*600的LED彩色顯示屏，易于與自閉癥兒童交流。這些圖像動畫可以由用戶自定義。
[0040]運動控制模塊通過獲取數(shù)據(jù)控制運動裝置10來接近和跟蹤自閉癥兒童，運動裝置10前后共包含八個聲納9，用于避障，并且與兒童保持合適的距離。運動裝置部分是采用的P1neerf移動機器人，并使用其中的聲納和工控機。中央控制單元是通過工控機來實現(xiàn)的。
[0041]控制觸摸屏6能夠顯示行為記錄模塊的數(shù)據(jù)，手動操作運行機器人，直接訪問機器人系統(tǒng)內(nèi)部，對各個部分模塊功能進行調(diào)試修改、調(diào)整參數(shù)、維護程序?？刂朴|摸屏6采用的是12寸彩色觸摸屏，便于操作訪問。
[0042]圖4是上述實施例的自閉癥兒童輔助機器人的運動控制流程圖。自閉癥兒童機器人通過攝像頭檢測識別人臉，對其跟蹤，接近兒童。檢測人臉的過程需要轉(zhuǎn)動云臺，同時可以語音輸出呼喚兒童，引起自閉癥兒童的注意，減少檢測過程的時間。檢測到之后會運動跟蹤兒童，通過云臺反饋的角度尋找位置。在機器人移動過程中通過聲納判斷是否接近兒童，這一過程同時檢測人臉，若在5s檢測不到，停止移動。云臺轉(zhuǎn)動繼續(xù)檢測人臉確定兒童的位置。接近兒童，之后便可以與兒童交流。
[0043]圖5是上述實施例的自閉癥兒童輔助機器人的交流功能實現(xiàn)流程圖。如圖5所示，首先機器人會檢測自閉癥兒童的表情，機器人會根據(jù)不同表情，進行不同語言交流和臉部表情反饋，例如當檢測到不開心的表情時，機器人會顯示疑惑的表情，并且問道:“你為什么不開心啊？ ”如果檢測到兒童說話，機器人會引導(dǎo)自閉癥兒童，說更多的話，有助于兒童交流。如果兒童不說話，機器人會提出主動要求，問兒童一些感興趣的問題，機器人會提出玩游戲或者唱歌的，這些都是根據(jù)針對兒童自身感興趣的情況提出的，有助于緩解兒童的情緒。如果兒童一直不說話或者不開心，機器人會做記錄。針對自閉癥兒童的其他的情緒，機器人也會類似引導(dǎo)兒童多說話，適當?shù)母纳苾和榫w，并且做好記錄，達到輔助治療的目的。這一過程最大的特點就是根據(jù)不同自閉癥兒童來定義交流內(nèi)容，更有針對性，并且可以通過機器人所記錄內(nèi)容知道兒童的討厭的或喜歡的事物，據(jù)此做出適當?shù)母倪M。
[0044]以上所述的具體實施例，對本發(fā)明的目的、技術(shù)方案和有益效果進行了進一步詳細說明，應(yīng)理解的是，以上所述僅為本發(fā)明的具體實施例而已，并不用于限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
【主權(quán)項】
1.一種自閉癥兒童輔助機器人，包括圖像采集裝置、聲音采集裝置、聲音播放裝置和控制裝置，其中， 所述圖像采集裝置用于采集機器人外部的圖像信息并發(fā)送給控制裝置； 所述聲音采集裝置用于采集機器人外部的聲音信息并發(fā)送給控制裝置； 所述聲音播放裝置能夠播放音頻；其特征在于: 所述控制裝置根據(jù)所述圖像采集裝置采集的圖像識別人臉，并在識別到人臉時檢測該人臉的表情信息，并根據(jù)該表情信息產(chǎn)生用于控制所述聲音播放裝置的控制信息，所述聲音播放裝置根據(jù)該控制信息播放相應(yīng)的音頻。
2.如權(quán)利要求1所述的自閉癥兒童輔助機器人，其特征在于，所述控制裝置還根據(jù)所述聲音采集裝置采集的聲音識別人的語音，獲得人的語音信息，并根據(jù)該語音信息產(chǎn)生所述用于控制所述聲音播放裝置的控制信息。
3.如權(quán)利要求2所述的自閉癥兒童輔助機器人，其特征在于，還包括行為記錄裝置，所述控制裝置根據(jù)所檢測的人臉的表情信息和/或所識別的語音信息生成行為信息，并控制所述行為記錄裝置記錄所述行為信息。
4.如權(quán)利要求3所述的自閉癥兒童輔助機器人，其特征在于，所述行為信息包括下述信息的至少一種:所述表情信息、識別到人的語音的頻度信息、所識別的語音信息本身。
5.如權(quán)利要求1至4中任一項所述的自閉癥兒童輔助機器人，其特征在于，還包括用于使所述機器人進行移動的運動裝置，當所述控制裝置根據(jù)所述圖像采集裝置采集的圖像識別到人臉時，控制裝置控制所述運動裝置朝向所述人臉所處的位置進行移動。
6.如權(quán)利要求5所述的自閉癥兒童輔助機器人，其特征在于，還包括人體距離檢測裝置，其用于檢測機器人與人體的距離，所述控制裝置根據(jù)該人體距離檢測裝置檢測的機器人與人體的距離控制所述運動裝置進行停止和運動，以便在機器人在移動到離人體一定的距離處停止運動。
7.如權(quán)利要求1至4中任一項所述的自閉癥兒童輔助機器人，其特征在于，所述圖像采集裝置可以在所述控制裝置的控制下進行傾斜和/或轉(zhuǎn)動，并在所述控制裝置識別到人臉時被控制轉(zhuǎn)動以朝向所述人臉。
8.如權(quán)利要求7所述的自閉癥兒童輔助機器人，其特征在于，包括頭部，所述圖像采集裝置位于頭部，所述控制裝置控制頭部的傾斜和/或轉(zhuǎn)動來傾斜和/或轉(zhuǎn)動所述圖像采集 目.ο
9.如權(quán)利要求2所述的自閉癥兒童輔助機器人，其特征在于，還包括臉部表情裝置，該臉部表情裝置位于所述頭部的臉部位置，能夠模擬人的表情； 所述控制裝置還根據(jù)所檢測的人臉的表情信息和/或所識別的語音信息生成機器人表情信息，并根據(jù)該機器人表情信息控制所述臉部表情裝置模擬相應(yīng)的表情。
10.如權(quán)利要求9所述的自閉癥兒童輔助機器人，其特征在于，所述臉部表情裝置是顯示屏，其通過顯示卡通表情圖片來模擬相應(yīng)的表情。
【專利摘要】本發(fā)明公開了自閉癥兒童輔助機器人，機器人包括圖像采集裝置、聲音采集裝置、聲音播放裝置和控制裝置，圖像采集裝置用于采集機器人外部的圖像信息并發(fā)送給控制裝置；聲音采集裝置用于采集機器人外部的聲音信息并發(fā)送給控制裝置；聲音播放裝置能夠播放音頻；控制裝置根據(jù)圖像采集裝置采集的圖像識別人臉，并在識別到人臉時檢測該人臉的表情信息，以及根據(jù)聲音信息識別語音。并且，控制裝置根據(jù)表情信息和/或語音信息產(chǎn)生用于控制聲音播放裝置的控制信息，聲音播放裝置根據(jù)該控制信息播放相應(yīng)的音頻。本發(fā)明的自閉癥兒童輔助機器人能夠移動接近自閉癥兒童，并與之進行交流，輔助自閉癥兒童治療。
【IPC分類】A61M21-00
【公開號】CN104800950
【申請?zhí)枴緾N201510192507
【發(fā)明人】鄭碎武, 楊愛龍, 宋永博, 喬紅, 李小青, 趙向
【申請人】中國科學(xué)院自動化研究所
【公開日】2015年7月29日
【申請日】2015年4月22日