一種基于遠(yuǎn)程出席設(shè)備的虛擬出席系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開(kāi)了一種遠(yuǎn)程出席設(shè)備及相應(yīng)的遠(yuǎn)程出席系統(tǒng)。該遠(yuǎn)程出席設(shè)備中，運(yùn)動(dòng)部分接收來(lái)自控制部分的控制命令；視頻部分采集現(xiàn)場(chǎng)畫(huà)面，通過(guò)網(wǎng)絡(luò)部分送到云服務(wù)器；音頻部分采集現(xiàn)場(chǎng)聲音，通過(guò)網(wǎng)絡(luò)部分送到云服務(wù)器；音頻、視頻部分接收來(lái)自云服務(wù)器的音頻、視頻信號(hào)實(shí)現(xiàn)聲音、畫(huà)面還原。音頻部分采用多麥克風(fēng)陣列采集現(xiàn)場(chǎng)聲音，對(duì)每個(gè)麥克風(fēng)采集的聲音進(jìn)行初級(jí)濾波，并對(duì)音頻進(jìn)行波束處理形成單一信號(hào)，對(duì)單一信號(hào)進(jìn)行次級(jí)濾波處理，得到主音源的方位。本發(fā)明可以允許用戶在可接入互聯(lián)網(wǎng)的任意地點(diǎn)啟動(dòng)遠(yuǎn)程出席設(shè)備，出現(xiàn)在期望的地方進(jìn)行現(xiàn)場(chǎng)溝通；避免用戶頻繁參加各種現(xiàn)場(chǎng)會(huì)議，減少路途時(shí)間的消耗。
【專利說(shuō)明】一種基于遠(yuǎn)程出席設(shè)備的虛擬出席系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種虛擬出席系統(tǒng)，尤其涉及一種基于遠(yuǎn)程出席設(shè)備的虛擬出席系 統(tǒng)，屬于遠(yuǎn)程會(huì)議【技術(shù)領(lǐng)域】。

【背景技術(shù)】
[0002] 目前，計(jì)算機(jī)遠(yuǎn)程會(huì)議系統(tǒng)已經(jīng)在社會(huì)生活中的各個(gè)領(lǐng)域得到廣泛應(yīng)用。同時(shí)，隨 著電子信息技術(shù)的不斷發(fā)展，機(jī)器人技術(shù)也開(kāi)始進(jìn)入遠(yuǎn)程會(huì)議【技術(shù)領(lǐng)域】。
[0003] 據(jù)有關(guān)媒體報(bào)道，美國(guó)Anybots公司開(kāi)發(fā)出一種稱為QB的遠(yuǎn)程監(jiān)控機(jī)器人。該QB 機(jī)器人的高度可變，最高大約有1. 75米，相當(dāng)于一個(gè)成年人的正常高度。QB機(jī)器人依靠?jī)?個(gè)輪子四處移動(dòng)，移動(dòng)的速度能夠達(dá)到人類(lèi)行走的速度，并能在移動(dòng)過(guò)程中保持自我平衡。 QB機(jī)器人通過(guò)一只眼睛中具有500萬(wàn)像素的攝像機(jī)，以及在它頭部朝下安裝的一個(gè)分辨率 低一些的攝像機(jī)，可以"看見(jiàn)"周?chē)奈矬w；同時(shí)可以通過(guò)互聯(lián)網(wǎng)將攝像機(jī)拍攝的視頻內(nèi)容 傳送給遠(yuǎn)程控制者。QB機(jī)器人的另外一只眼睛則起著激光筆的作用，內(nèi)置的激光制導(dǎo)系統(tǒng) 確保它不會(huì)撞上家具或者門(mén)框。QB機(jī)器人通過(guò)三個(gè)麥克風(fēng)可以"聽(tīng)見(jiàn)"周?chē)穆曇?，并將?音傳送給遠(yuǎn)程控制者。它還具有一個(gè)高質(zhì)量的揚(yáng)聲器，用以播放遠(yuǎn)程控制者的聲音。QB機(jī) 器人通過(guò)液晶顯示屏幕，可以將遠(yuǎn)程控制者的圖像傳送到現(xiàn)場(chǎng)的人們那里。這樣，QB機(jī)器 人具有能使遠(yuǎn)程控制者在會(huì)議室外進(jìn)行交流的優(yōu)點(diǎn)，可以代替主人親臨現(xiàn)場(chǎng)出席會(huì)議。
[0004] 但是，該QB機(jī)器人的移動(dòng)范圍有限，不能自動(dòng)定位主聲源，導(dǎo)致遠(yuǎn)程控制者有時(shí) 看不到現(xiàn)場(chǎng)畫(huà)面。由于價(jià)格相對(duì)昂貴，目前只有有限的用戶在使用，因此該QB機(jī)器人的使 用率還比較低。


【發(fā)明內(nèi)容】

[0005] 針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明所要解決的首要技術(shù)問(wèn)題在于提供一種遠(yuǎn)程出席設(shè) 備（也稱為Rro機(jī)器人）。
[0006] 本發(fā)明所要解決的另一個(gè)技術(shù)問(wèn)題在于提供一種基于上述遠(yuǎn)程出席設(shè)備的虛擬 出席系統(tǒng)。
[0007] 為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明采用下述的技術(shù)方案：
[0008] -種遠(yuǎn)程出席設(shè)備，包括運(yùn)動(dòng)部分、控制部分、視頻部分、音頻部分和網(wǎng)絡(luò)部分；其 中，
[0009] 所述運(yùn)動(dòng)部分接收來(lái)自所述控制部分的控制命令，用來(lái)控制所述遠(yuǎn)程出席設(shè)備按 照指定路線行駛；
[0010] 所述視頻部分采集現(xiàn)場(chǎng)畫(huà)面，進(jìn)行處理后送到所述控制部分，由所述控制部分通 過(guò)所述網(wǎng)絡(luò)部分送到云服務(wù)器；所述控制部分通過(guò)所述網(wǎng)絡(luò)部分接收來(lái)自云服務(wù)器的視頻 信號(hào)，并傳送到所述視頻部分，由所述視頻部分實(shí)現(xiàn)畫(huà)面還原；
[0011] 所述控制部分通過(guò)所述網(wǎng)絡(luò)部分接收來(lái)自云服務(wù)器的音頻信號(hào)，并傳送到所述音 頻部分，由所述音頻部分實(shí)現(xiàn)聲音還原；
[0012] 所述音頻部分采用多麥克風(fēng)陣列采集現(xiàn)場(chǎng)聲音，對(duì)所述多麥克風(fēng)陣列中每個(gè)麥克 風(fēng)采集的音頻進(jìn)行初級(jí)濾波，并對(duì)所有通道的音頻進(jìn)行波束處理形成單一信號(hào)，對(duì)所述單 一信號(hào)進(jìn)行次級(jí)濾波處理，從而得到主音源的方位。
[0013] 其中較優(yōu)地，所述控制部分得到主音源的方位后發(fā)出控制指令，并轉(zhuǎn)換成電機(jī)的 速度信號(hào)，通過(guò)PWM信號(hào)的形式發(fā)送到電機(jī)驅(qū)動(dòng)器，所述電機(jī)驅(qū)動(dòng)器對(duì)所述PWM信號(hào)進(jìn)行功 率放大，從而驅(qū)動(dòng)電機(jī)完成相應(yīng)的轉(zhuǎn)向動(dòng)作，使視野攝像頭朝向主音源的方位。
[0014] 其中較優(yōu)地，所述運(yùn)動(dòng)部分包括兩個(gè)驅(qū)動(dòng)輪，分別設(shè)置于左右兩側(cè)，當(dāng)兩個(gè)驅(qū)動(dòng)輪 同步等速前轉(zhuǎn)即是前進(jìn)，左驅(qū)動(dòng)輪后傳且右驅(qū)動(dòng)輪前轉(zhuǎn)即是左轉(zhuǎn)，左驅(qū)動(dòng)輪前傳且右驅(qū)動(dòng) 輪前轉(zhuǎn)即是右轉(zhuǎn)。
[0015] 其中較優(yōu)地，所述視頻部分包括視野攝像頭與循跡攝像頭，循跡攝像頭對(duì)主音源 進(jìn)行跟蹤，并進(jìn)行面部識(shí)別，確定準(zhǔn)確位置后，調(diào)節(jié)視野攝像頭的位置使其對(duì)準(zhǔn)主音源的面 部。
[0016] 一種虛擬出席系統(tǒng)，基于上述的遠(yuǎn)程出席設(shè)備實(shí)現(xiàn)，包括：
[0017] 遠(yuǎn)程終端，用于操控遠(yuǎn)程出席設(shè)備；
[0018] 遠(yuǎn)程出席設(shè)備，用于采集現(xiàn)場(chǎng)的音頻與視頻，播放遠(yuǎn)程終端的音頻和視頻；
[0019] 云服務(wù)器，用于采集、存儲(chǔ)和轉(zhuǎn)發(fā)網(wǎng)絡(luò)數(shù)據(jù)流；
[0020] 所述遠(yuǎn)程出席設(shè)備通過(guò)互聯(lián)網(wǎng)與所述云服務(wù)器相連，所述云服務(wù)器通過(guò)互聯(lián)網(wǎng)與 所述遠(yuǎn)程終端相連，通過(guò)所述遠(yuǎn)程終端控制遠(yuǎn)程出席設(shè)備。
[0021] 其中較優(yōu)地，所述遠(yuǎn)程出席設(shè)備使用所述云服務(wù)器提供的密鑰，連接所述遠(yuǎn)程終 端，并對(duì)所述密鑰進(jìn)行比對(duì)。
[0022] 其中較優(yōu)地，所述密鑰比對(duì)成功，所述遠(yuǎn)程出席設(shè)備與所述遠(yuǎn)程終端進(jìn)行時(shí)間同 步，建立通信連接。
[0023] 其中較優(yōu)地，所述時(shí)間同步的信號(hào)包括視頻信號(hào)、音頻信號(hào)和控制信號(hào)，將所述視 頻信號(hào)、所述音頻信息進(jìn)行壓縮，同時(shí)添加統(tǒng)一基準(zhǔn)的時(shí)間標(biāo)記，變?yōu)閿?shù)據(jù)幀；所述控制終 端根據(jù)所述統(tǒng)一基準(zhǔn)發(fā)出正確的操控指令。
[0024] 其中較優(yōu)地，所述遠(yuǎn)程出席設(shè)備不工作時(shí)處于低功耗狀態(tài)，當(dāng)所述遠(yuǎn)程出席設(shè)備 接收到所述云服務(wù)器的啟動(dòng)命令請(qǐng)求后開(kāi)始喚醒進(jìn)行工作。
[0025] 其中較優(yōu)地，當(dāng)所述遠(yuǎn)程出席設(shè)備采用電池供電時(shí)，利用無(wú)線充電方式進(jìn)行充電。
[0026] 與現(xiàn)有技術(shù)相比較，本發(fā)明具有以下有益效果：
[0027] 用戶可以在可接入互聯(lián)網(wǎng)的任意地點(diǎn)啟動(dòng)遠(yuǎn)程出席設(shè)備，在所期望的地點(diǎn)進(jìn)行現(xiàn) 場(chǎng)溝通。該遠(yuǎn)程出席設(shè)備可以自動(dòng)定位主聲源，讓遠(yuǎn)程控制者實(shí)時(shí)跟蹤說(shuō)話者的畫(huà)面，產(chǎn)生 身臨會(huì)議現(xiàn)場(chǎng)的感覺(jué)。另外，用戶通過(guò)遠(yuǎn)程終端可以控制遠(yuǎn)程出席設(shè)備在無(wú)線信號(hào)覆蓋范 圍內(nèi)自主移動(dòng)，在任意地點(diǎn)實(shí)現(xiàn)視頻溝通，操作靈活方便。

【專利附圖】

【附圖說(shuō)明】
[0028] 圖1是本發(fā)明所提供的遠(yuǎn)程出席設(shè)備的數(shù)據(jù)流向圖；
[0029] 圖2是遠(yuǎn)程出席設(shè)備中，運(yùn)動(dòng)部分的結(jié)構(gòu)示意圖；
[0030] 圖3是遠(yuǎn)程出席設(shè)備中，跟蹤面部位置實(shí)現(xiàn)升降的示意圖；
[0031] 圖4是遠(yuǎn)程出席設(shè)備中，實(shí)現(xiàn)頭部升降的原理示意圖；
[0032] 圖5是遠(yuǎn)程出席設(shè)備中，核心處理器的結(jié)構(gòu)示意圖；
[0033] 圖6是遠(yuǎn)程出席設(shè)備中，媒體采集過(guò)程的原理示意圖；
[0034] 圖7是遠(yuǎn)程出席設(shè)備中，解碼顯示過(guò)程的原理示意圖；
[0035] 圖8是遠(yuǎn)程出席設(shè)備中，無(wú)線充電過(guò)程的原理示意圖；
[0036] 圖9是本發(fā)明所提供的虛擬出席系統(tǒng)的整體結(jié)構(gòu)示意圖；
[0037] 圖10是虛擬出席系統(tǒng)中，網(wǎng)絡(luò)數(shù)據(jù)流同步過(guò)程的原理示意圖；
[0038] 圖11是虛擬出席系統(tǒng)中，遠(yuǎn)程喚醒過(guò)程的原理示意圖。

【具體實(shí)施方式】
[0039] 下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說(shuō)明。
[0040] 圖1所示是本發(fā)明提供的一種遠(yuǎn)程出席設(shè)備（Remote Presence Device, RPD)，也 稱為RH)機(jī)器人。它由運(yùn)動(dòng)部分、控制部分、視頻部分、音頻部分和網(wǎng)絡(luò)部分組成。其中， 運(yùn)動(dòng)部分接收來(lái)自控制部分的控制命令，用來(lái)控制遠(yuǎn)程出席設(shè)備按照指定路線行駛；視頻 部分采集現(xiàn)場(chǎng)畫(huà)面，進(jìn)行相應(yīng)的處理后送到控制部分由控制部分通過(guò)網(wǎng)絡(luò)部分送到云服務(wù) 器；音頻部分采集現(xiàn)場(chǎng)聲音，進(jìn)行相應(yīng)的處理后送到控制部分由控制部分通過(guò)網(wǎng)絡(luò)部分送 到云服務(wù)器；控制部分通過(guò)網(wǎng)絡(luò)接收來(lái)自云服務(wù)器的視頻信號(hào)，并傳送到視頻部分，由視頻 部分實(shí)現(xiàn)畫(huà)面還原；控制部分通過(guò)網(wǎng)絡(luò)接收來(lái)自云服務(wù)器的音頻信號(hào)，并傳送到音頻部分， 由音頻部分實(shí)現(xiàn)畫(huà)面還原；通過(guò)控制部分接收和發(fā)送數(shù)據(jù)，從而實(shí)現(xiàn)遠(yuǎn)程出席設(shè)備所在現(xiàn) 場(chǎng)與用戶的互動(dòng)。
[0041] 圖2所示是Rro機(jī)器人的運(yùn)動(dòng)部分，包括單片機(jī)、電機(jī)驅(qū)動(dòng)器、電機(jī)、減速器和驅(qū)動(dòng) 輪。其中，驅(qū)動(dòng)輪由兩個(gè)驅(qū)動(dòng)輪構(gòu)成，分別設(shè)置于Rro機(jī)器人左側(cè)與右側(cè)，能夠前進(jìn)、左轉(zhuǎn)、 右轉(zhuǎn)，不能后退。雙輪同步等速前轉(zhuǎn)即是前進(jìn)，左輪后傳、右輪前轉(zhuǎn)即是左轉(zhuǎn)，反之是右轉(zhuǎn)， 如圖2中雙箭頭所示。因?yàn)閮奢喰D(zhuǎn)中心與機(jī)器人中心重合，可以認(rèn)為其轉(zhuǎn)彎半徑為0。為 保證Rro機(jī)器人能夠平穩(wěn)移動(dòng)，還設(shè)置了多個(gè)從動(dòng)輪，其中前端設(shè)置2個(gè)從動(dòng)輪，后端設(shè)置1 個(gè)從動(dòng)輪（圖中未示）。在本Rro機(jī)器人中，單片機(jī)可以采用但不限于51單片機(jī)、ARM板、 FPGA等，用于從通信串口接收控制指令，并將該控制指令轉(zhuǎn)換成電機(jī)的速度信號(hào)，通過(guò)PWM 信號(hào)的形式發(fā)送到電機(jī)驅(qū)動(dòng)器，該電機(jī)驅(qū)動(dòng)器對(duì)PWM信號(hào)進(jìn)行功率放大，從而驅(qū)動(dòng)電機(jī)。電 機(jī)通過(guò)減速器與驅(qū)動(dòng)輪相連接，使得Rro機(jī)器人完成相應(yīng)的動(dòng)作。例如控制部分得到主音 源的方位后發(fā)出控制指令，并轉(zhuǎn)換成電機(jī)的速度信號(hào)，通過(guò)PWM信號(hào)的形式發(fā)送到電機(jī)驅(qū) 動(dòng)器，電機(jī)驅(qū)動(dòng)器對(duì)PWM信號(hào)進(jìn)行功率放大，從而驅(qū)動(dòng)電機(jī)完成相應(yīng)的轉(zhuǎn)向動(dòng)作，使視野攝 像頭朝向主音源的方位。
[0042] 針對(duì)不同身高的用戶或用戶的不同站、坐等姿勢(shì)，Rro機(jī)器人的運(yùn)動(dòng)部分還設(shè)置有 頭部調(diào)節(jié)單元。如圖3和圖4所示，由遠(yuǎn)程用戶手動(dòng)調(diào)節(jié)升降或者根據(jù)面部識(shí)別和跟蹤的 結(jié)果實(shí)現(xiàn)自動(dòng)升降。手動(dòng)模式與自動(dòng)模式可以通過(guò)操控遠(yuǎn)程終端進(jìn)行設(shè)置，也可以在現(xiàn)場(chǎng) 進(jìn)行設(shè)置。具體說(shuō)明如下：（1)手動(dòng)升降：在溝通過(guò)程中，如果機(jī)器人面對(duì)的溝通對(duì)象身高 與機(jī)器人不匹配，視野攝像頭中顯示的圖像會(huì)讓操控者覺(jué)得不舒服。此時(shí)，現(xiàn)場(chǎng)用戶可以通 過(guò)升降按鈕對(duì)機(jī)器人顯示器（包括視野攝像頭）調(diào)節(jié)，使其位于適當(dāng)?shù)奈恢谩＃?)自動(dòng)升 降：如果高度不適宜，人的臉部在視野攝像頭的位置會(huì)偏離中心。通過(guò)跟蹤攝像頭進(jìn)行人臉 位置識(shí)別，并根據(jù)此位置自動(dòng)調(diào)整顯示器高度，使其位于適當(dāng)?shù)奈恢谩?br> [0043] 圖5所示是核心處理器的內(nèi)部結(jié)構(gòu)，包括驅(qū)動(dòng)模塊、編碼算法模塊、解碼算法模 塊、RTP (實(shí)時(shí)傳輸協(xié)議）模塊。其中，RTP模塊通過(guò)WiFi、LAN、3G無(wú)線網(wǎng)絡(luò)、4G無(wú)線網(wǎng)絡(luò)等 與網(wǎng)絡(luò)部分相連。RTP模塊接收通過(guò)網(wǎng)絡(luò)部分傳輸來(lái)的控制命令，由解碼算法模塊轉(zhuǎn)換成相 應(yīng)的驅(qū)動(dòng)信號(hào)。驅(qū)動(dòng)模塊對(duì)上述驅(qū)動(dòng)信號(hào)進(jìn)行放大，從而可以驅(qū)動(dòng)攝像頭、麥克風(fēng)、顯示器 和音箱等設(shè)備。同時(shí)，攝像頭、麥克風(fēng)、顯示器和音箱等設(shè)備的信號(hào)由驅(qū)動(dòng)模塊放大后，由編 碼算法模塊對(duì)其進(jìn)行編碼，然后由RTP模塊通過(guò)網(wǎng)絡(luò)部分傳輸?shù)竭h(yuǎn)程終端。
[0044] 在本發(fā)明中，視頻部分包括視野攝像頭與循跡攝像頭。循跡攝像頭對(duì)主音源進(jìn)行 跟蹤，并進(jìn)行面部識(shí)別，確定準(zhǔn)確位置后，調(diào)節(jié)視野攝像頭的位置使其對(duì)準(zhǔn)主音源的面部。
[0045] 圖6是媒體采集過(guò)程的原理示意圖。視頻部分采集Rro機(jī)器人及遠(yuǎn)程終端中各個(gè) 攝像頭的圖像信息，編碼為所需格式，經(jīng)RTP模塊傳輸出去；同時(shí)從網(wǎng)絡(luò)部分獲取圖像信息 幀，解碼并通過(guò)QT(挪威TrollTech公司出品的C++圖形用戶界面庫(kù)）環(huán)境自帶的圖像庫(kù) 播放。
[0046] 由于從各個(gè)攝像頭采集的圖像格式各不相同，為了編碼方便，需將其預(yù)先轉(zhuǎn)化為 YUV420格式，編碼方式采用H264或H265。具體地說(shuō)，一方面，將圖像格式轉(zhuǎn)換成為YUV420P 格式，經(jīng)由視頻編碼模塊進(jìn)行H264/H265編碼，傳遞給RTP模塊組織成為網(wǎng)絡(luò)協(xié)議數(shù)據(jù)傳輸 至網(wǎng)絡(luò)部分；另一方面，視頻編碼模塊收到來(lái)自網(wǎng)絡(luò)部分的RTP數(shù)據(jù)，根據(jù)SDP(會(huì)話描述協(xié) 議）進(jìn)行判讀以獲取H264/H265編碼參數(shù)信息，并據(jù)此對(duì)圖像數(shù)據(jù)進(jìn)行解碼，解碼的結(jié)果為 YUV420P RAW圖像格式，此圖像格式需經(jīng)轉(zhuǎn)換模塊將其再轉(zhuǎn)換成RGB24格式的視頻流，由QT 顯示模塊驅(qū)動(dòng)顯示器進(jìn)行顯示。
[0047] 如圖7所示，音頻部分采集RH)機(jī)器人及遠(yuǎn)程終端麥克風(fēng)的音頻信息，經(jīng)濾波等 處理后采用AAC編碼方式進(jìn)行編碼，并經(jīng)RTP模塊將編碼后的音頻信息傳輸出去；同時(shí)從 網(wǎng)絡(luò)部分獲取音頻數(shù)據(jù)幀，解碼為PCM格式并進(jìn)行播放。RH)機(jī)器人及遠(yuǎn)程終端之間采用 RTSP (實(shí)時(shí)流傳輸）協(xié)議進(jìn)行通信，彼此之間既是對(duì)方的RTSP服務(wù)器，也是對(duì)方的RTSP客 戶端。Rro機(jī)器人啟動(dòng)后，自動(dòng)加載RTSP服務(wù)器程序。遠(yuǎn)程終端向RH)機(jī)器人提交申請(qǐng)后， 作為RTSP服務(wù)器的Rro機(jī)器人開(kāi)始提供視頻及音頻網(wǎng)絡(luò)數(shù)據(jù)流服務(wù)，同時(shí)也向遠(yuǎn)程終端提 出申請(qǐng)。作為RTSP服務(wù)器的遠(yuǎn)程終端接到申請(qǐng)后也提供相應(yīng)的視頻、音頻和控制流數(shù)據(jù)服 務(wù)。
[0048] 一般來(lái)說(shuō)，RH)機(jī)器人工作在寫(xiě)字樓走廊、辦公室、會(huì)議室甚至工廠車(chē)間的場(chǎng)合比 較多，環(huán)境噪音比較多。特別是會(huì)議室，就某個(gè)議題熱烈爭(zhēng)論的情況也不少見(jiàn)。為了解決這 個(gè)問(wèn)題，本發(fā)明采用多麥克風(fēng)陣列，通過(guò)麥克風(fēng)的不同指向和布局，采用包括但不限于AEC 或NLMS等回聲消除算法，消除回聲和背景噪音，實(shí)現(xiàn)聲音保真。具體說(shuō)明如下：首先，針對(duì) 多麥克風(fēng)陣列中每個(gè)麥克風(fēng)采集的音頻進(jìn)行初級(jí)濾波，然后對(duì)所有通道的音頻進(jìn)行波束處 理，形成單一信號(hào)后，再次對(duì)該單一信號(hào)進(jìn)行次級(jí)濾波處理，次級(jí)濾波的濾波階數(shù)比初級(jí)濾 波要高。在此基礎(chǔ)上，對(duì)多麥克風(fēng)陣列的信號(hào)進(jìn)行處理，獲知主音源的方位。多麥克風(fēng)陣列 在處理時(shí)，可以采用現(xiàn)有的音頻3D空間映射算法，分析得出主音源方位。在獲得主音源的 方位后，依據(jù)方位數(shù)據(jù)調(diào)整攝像頭指向完成對(duì)說(shuō)話者的實(shí)時(shí)跟蹤。
[0049] 另外，Rro機(jī)器人可以采用電池、直流或交流方式進(jìn)行供電。當(dāng)Rro機(jī)器人采用直 流或交流方式供電時(shí)，需要運(yùn)行到指定的有電源的地點(diǎn)，由人工將插頭插入插座充電。如果 采用電池供電時(shí)，可以選擇無(wú)線充電方式，將機(jī)器人放置到充電平臺(tái)上自動(dòng)開(kāi)始充電過(guò)程。 如圖8所示，Rro機(jī)器人可以根據(jù)電量情況，在到達(dá)設(shè)定值時(shí)自動(dòng)移動(dòng)到充電平臺(tái)進(jìn)行充 電，并將電量的情況實(shí)時(shí)傳送到遠(yuǎn)程終端，方便用戶使用。
[0050] 圖9所示是本發(fā)明所提供的一種面向遠(yuǎn)程會(huì)議的虛擬出席系統(tǒng)，基于上述遠(yuǎn)程出 席設(shè)備實(shí)現(xiàn)，包括：遠(yuǎn)程出席設(shè)備、遠(yuǎn)程終端和網(wǎng)絡(luò)服務(wù)器。其中，用戶在云服務(wù)器中進(jìn)行網(wǎng) 絡(luò)注冊(cè)，并把Rro機(jī)器人的產(chǎn)品序列號(hào)添加在云服務(wù)器中接受云的管理，并建立和分配賬 號(hào)以限制用戶訪問(wèn)Rro機(jī)器人的范圍。用戶注冊(cè)賬號(hào)后，可在任意地點(diǎn)登錄云服務(wù)器。登 錄后用戶即可瀏覽自己可訪問(wèn)的Rro列表，并獲知其狀態(tài)，如電池電量、是否被占用、是否 正在充電等等，找到自己想訪問(wèn)的Rro機(jī)器人并且其可以訪問(wèn)后，可向云服務(wù)器請(qǐng)求建立 與機(jī)器人的連接。用戶通過(guò)遠(yuǎn)程終端開(kāi)始操控Rro機(jī)器人。
[0051] 在本發(fā)明中，遠(yuǎn)程終端可以運(yùn)行在臺(tái)式計(jì)算機(jī)、筆記本電腦、平板電腦、智能手機(jī) 等設(shè)備上，其操作系統(tǒng)也可是Windows、Linux、MacOS、iOS、Android等。遠(yuǎn)程終端接入互聯(lián) 網(wǎng)的方式可以是LAN+Router、WiFi+AP或者3G/4G網(wǎng)絡(luò)。另外，RH)機(jī)器人接入互聯(lián)網(wǎng)的方 式可以為WiFi+AP或者3G/4G網(wǎng)絡(luò)。
[0052] 在操控過(guò)程中，RH)機(jī)器人采集的圖像和聲音通過(guò)各種形式，接入網(wǎng)絡(luò)服務(wù)器并 傳輸?shù)皆品?wù)器，再傳送到給遠(yuǎn)程終端。遠(yuǎn)程終端采集的圖像、聲音及用戶控制指令通過(guò) 網(wǎng)絡(luò)傳遞給Rro機(jī)器人。RH)機(jī)器人及遠(yuǎn)程終端彼此既是對(duì)方的RTSP服務(wù)器，也是對(duì)方的 RTSP客戶端。Rro機(jī)器人啟動(dòng)后，自動(dòng)加載RTSP服務(wù)器程序。遠(yuǎn)程終端向Rro機(jī)器人提交 申請(qǐng)后，作為RTSP服務(wù)器的RH)機(jī)器人開(kāi)始提供視頻及音頻網(wǎng)絡(luò)數(shù)據(jù)流服務(wù)，同時(shí)也向遠(yuǎn) 程終端提出申請(qǐng)。作為RTSP服務(wù)器的遠(yuǎn)程終端接到申請(qǐng)后也提供相應(yīng)的視頻、音頻和控制 流數(shù)據(jù)服務(wù)。
[0053] 在實(shí)際應(yīng)用中，用戶看到的RH)機(jī)器人傳來(lái)的圖像和聲音是若干時(shí)間之前的，播 放前需要進(jìn)行同步處理?？紤]到網(wǎng)絡(luò)延遲，本發(fā)明將操控指令也看作特殊的網(wǎng)絡(luò)數(shù)據(jù)流進(jìn) 行時(shí)間標(biāo)記以實(shí)現(xiàn)同步處理。圖10所示是網(wǎng)絡(luò)數(shù)據(jù)流同步原理圖，云服務(wù)器回話接到客戶 端定時(shí)發(fā)出的請(qǐng)求后，將視野攝像頭與循跡攝像頭圖像經(jīng)過(guò)H264/H265壓縮，麥克風(fēng)音頻 經(jīng)過(guò)AAC壓縮后，變?yōu)閿?shù)據(jù)幀；并添加統(tǒng)一基準(zhǔn)的時(shí)間標(biāo)記，由各自網(wǎng)絡(luò)數(shù)據(jù)流的子會(huì)話分 別進(jìn)行RTP預(yù)處理后，交由RTP機(jī)制通過(guò)網(wǎng)絡(luò)發(fā)往客戶端。客戶端定時(shí)通過(guò)RTP發(fā)出請(qǐng)求， 并以異步方式監(jiān)控網(wǎng)絡(luò)數(shù)據(jù)流，獲取數(shù)據(jù)幀，根據(jù)數(shù)據(jù)幀所攜帶的時(shí)間標(biāo)記作同步處理，并 進(jìn)行播放，同時(shí)將控制指令發(fā)送給電機(jī)控制器，將操控指令視為特殊的網(wǎng)絡(luò)數(shù)據(jù)流加以處 理。
[0054] 為提升RH)機(jī)器人的待機(jī)時(shí)間，本RH)機(jī)器人在停止工作后自動(dòng)進(jìn)入睡眠狀態(tài)，以 節(jié)省用電，延長(zhǎng)機(jī)器人待機(jī)時(shí)間。云服務(wù)器接收用戶請(qǐng)求后，會(huì)通過(guò)互聯(lián)網(wǎng)發(fā)來(lái)喚醒指令， 啟動(dòng)通信程序和網(wǎng)絡(luò)數(shù)據(jù)流服務(wù)器，并獲取遠(yuǎn)程終端的IP地址，建立起Rro機(jī)器人與遠(yuǎn)程 終端的網(wǎng)絡(luò)連接以進(jìn)行遠(yuǎn)程視頻通話。如圖11所示，遠(yuǎn)程喚醒工作的基本流程如下：
[0055] 1.用戶通過(guò)遠(yuǎn)程終端登錄云，提供自己的用戶名和密碼，如果通過(guò)系統(tǒng)認(rèn)證，則自 動(dòng)生成隨機(jī)密鑰。
[0056] 2.用戶在云中瀏覽自己具備權(quán)限的、可訪問(wèn)的RPD機(jī)器人后，提供RPD機(jī)器人的 ID給云服務(wù)器，請(qǐng)求連接。
[0057] 3.云服務(wù)器接收請(qǐng)求后，會(huì)發(fā)送喚醒命令，喚醒相應(yīng)的RH)機(jī)器人進(jìn)入工作狀態(tài)。
[0058] 4.云服務(wù)器啟動(dòng)RH)機(jī)器人通信程序，并提供密鑰。
[0059] 5. RH)機(jī)器人使用密鑰連接遠(yuǎn)程終端，經(jīng)過(guò)密鑰比對(duì)后，同步兩機(jī)時(shí)間，建立通信 連接。
[0060] 當(dāng)用戶使用完畢之后，遠(yuǎn)程終端通過(guò)云服務(wù)器發(fā)出停止命令。Rro機(jī)器人接收到停 止命令后，向云服務(wù)器給出反饋，繼續(xù)開(kāi)始休眠。
[0061] 利用本發(fā)明，可以允許用戶在可接入互聯(lián)網(wǎng)的任意地點(diǎn)啟動(dòng)遠(yuǎn)程出席設(shè)備，出現(xiàn) 在期望的地方進(jìn)行現(xiàn)場(chǎng)溝通；避免用戶頻繁參加各種現(xiàn)場(chǎng)會(huì)議，減少路途時(shí)間的消耗。 [0062] 上面對(duì)本發(fā)明所提供的基于遠(yuǎn)程出席設(shè)備的虛擬出席系統(tǒng)進(jìn)行了詳細(xì)的說(shuō)明。對(duì) 本領(lǐng)域的一般技術(shù)人員而言，在不背離本發(fā)明實(shí)質(zhì)精神的前提下對(duì)它所做的任何顯而易見(jiàn) 的改動(dòng)，都將構(gòu)成對(duì)本發(fā)明專利權(quán)的侵犯，將承擔(dān)相應(yīng)的法律責(zé)任。
【權(quán)利要求】
1. 一種遠(yuǎn)程出席設(shè)備，其特征在于包括運(yùn)動(dòng)部分、控制部分、視頻部分、音頻部分和網(wǎng) 絡(luò)部分；其中， 所述運(yùn)動(dòng)部分接收來(lái)自所述控制部分的控制命令，用來(lái)控制所述遠(yuǎn)程出席設(shè)備按照指 定路線行駛； 所述視頻部分采集現(xiàn)場(chǎng)畫(huà)面，進(jìn)行處理后送到所述控制部分，由所述控制部分通過(guò)所 述網(wǎng)絡(luò)部分送到云服務(wù)器；所述控制部分通過(guò)所述網(wǎng)絡(luò)部分接收來(lái)自云服務(wù)器的視頻信 號(hào)，并傳送到所述視頻部分，由所述視頻部分實(shí)現(xiàn)畫(huà)面還原； 所述控制部分通過(guò)所述網(wǎng)絡(luò)部分接收來(lái)自云服務(wù)器的音頻信號(hào)，并傳送到所述音頻部 分，由所述音頻部分實(shí)現(xiàn)聲音還原； 所述音頻部分采用多麥克風(fēng)陣列采集現(xiàn)場(chǎng)聲音，對(duì)所述多麥克風(fēng)陣列中每個(gè)麥克風(fēng)采 集的音頻進(jìn)行初級(jí)濾波，并對(duì)所有通道的音頻進(jìn)行波束處理形成單一信號(hào)，對(duì)所述單一信 號(hào)進(jìn)行次級(jí)濾波處理，從而得到主音源的方位。
2. 如權(quán)利要求1所述的遠(yuǎn)程出席設(shè)備，其特征在于， 所述控制部分得到主音源的方位后發(fā)出控制指令，并轉(zhuǎn)換成電機(jī)的速度信號(hào)，通過(guò)PWM 信號(hào)的形式發(fā)送到電機(jī)驅(qū)動(dòng)器，所述電機(jī)驅(qū)動(dòng)器對(duì)所述PWM信號(hào)進(jìn)行功率放大，從而驅(qū)動(dòng) 電機(jī)完成相應(yīng)的轉(zhuǎn)向動(dòng)作，使視野攝像頭朝向主音源的方位。
3. 如權(quán)利要求1所述的遠(yuǎn)程出席設(shè)備，其特征在于， 所述運(yùn)動(dòng)部分包括兩個(gè)驅(qū)動(dòng)輪，分別設(shè)置于左右兩側(cè)；當(dāng)兩個(gè)驅(qū)動(dòng)輪同步等速前轉(zhuǎn)即 是前進(jìn)，左驅(qū)動(dòng)輪后傳且右驅(qū)動(dòng)輪前轉(zhuǎn)即是左轉(zhuǎn)，左驅(qū)動(dòng)輪前傳且右驅(qū)動(dòng)輪前轉(zhuǎn)即是右轉(zhuǎn)。
4. 如權(quán)利要求1所述的遠(yuǎn)程出席設(shè)備，其特征在于， 所述視頻部分包括視野攝像頭與循跡攝像頭，循跡攝像頭對(duì)主音源進(jìn)行跟蹤，并進(jìn)行 面部識(shí)別，確定準(zhǔn)確位置后，調(diào)節(jié)視野攝像頭的位置使其對(duì)準(zhǔn)主音源的面部。
5. -種虛擬出席系統(tǒng)，基于權(quán)利要求1?4中任意一項(xiàng)所述的遠(yuǎn)程出席設(shè)備實(shí)現(xiàn)，其特 征在于包括： 遠(yuǎn)程終端，用于操控遠(yuǎn)程出席設(shè)備； 遠(yuǎn)程出席設(shè)備，用于采集現(xiàn)場(chǎng)的音頻與視頻，播放遠(yuǎn)程終端的音頻和視頻； 云服務(wù)器，用于采集、存儲(chǔ)和轉(zhuǎn)發(fā)網(wǎng)絡(luò)數(shù)據(jù)流； 所述遠(yuǎn)程出席設(shè)備通過(guò)互聯(lián)網(wǎng)與所述云服務(wù)器相連，所述云服務(wù)器通過(guò)互聯(lián)網(wǎng)與所述 遠(yuǎn)程終端相連，通過(guò)所述遠(yuǎn)程終端控制遠(yuǎn)程出席設(shè)備。
6. 如權(quán)利要求5所述的虛擬出席系統(tǒng)，其特征在于， 所述遠(yuǎn)程出席設(shè)備使用所述云服務(wù)器提供的密鑰，連接所述遠(yuǎn)程終端，并對(duì)所述密鑰 進(jìn)行比對(duì)。
7. 如權(quán)利要求6所述的虛擬出席系統(tǒng)，其特征在于， 所述密鑰比對(duì)成功，所述遠(yuǎn)程出席設(shè)備與所述遠(yuǎn)程終端進(jìn)行時(shí)間同步，建立通信連接。
8. 如權(quán)利要求7所述的虛擬出席系統(tǒng)，其特征在于， 所述時(shí)間同步的信號(hào)包括視頻信號(hào)、音頻信號(hào)和控制信號(hào)，將所述視頻信號(hào)、所述音頻 信息進(jìn)行壓縮，同時(shí)添加統(tǒng)一基準(zhǔn)的時(shí)間標(biāo)記，變?yōu)閿?shù)據(jù)幀；所述控制終端根據(jù)所述統(tǒng)一基 準(zhǔn)發(fā)出正確的操控指令。
9. 如權(quán)利要求5所述的遠(yuǎn)程出席系統(tǒng)，其特征在于， 所述遠(yuǎn)程出席設(shè)備不工作時(shí)處于低功耗狀態(tài)，當(dāng)所述遠(yuǎn)程出席設(shè)備接收到所述云服務(wù) 器的啟動(dòng)命令請(qǐng)求后開(kāi)始喚醒進(jìn)行工作。
10.如權(quán)利要求5所述的遠(yuǎn)程出席系統(tǒng)，其特征在于， 當(dāng)所述遠(yuǎn)程出席設(shè)備采用電池供電時(shí)，利用無(wú)線充電方式進(jìn)行充電。
【文檔編號(hào)】H04N21/6437GK104159061SQ201410307237
【公開(kāi)日】2014年11月19日 申請(qǐng)日期:2014年6月30日 優(yōu)先權(quán)日:2014年6月30日
【發(fā)明者】湯道宇 申請(qǐng)人:北京品創(chuàng)聯(lián)拓科技有限公司