本實(shí)用新型屬于重型機(jī)械遠(yuǎn)程無人操作技術(shù)領(lǐng)域，更為具體地講，涉及一種用于重型機(jī)械遠(yuǎn)程無人操作的立體視覺隨動(dòng)顯示系統(tǒng)。

背景技術(shù)：

隨著基建工程技術(shù)的大力發(fā)展，重型機(jī)械的應(yīng)用范圍日益廣泛。而隨著電子技術(shù)的參與度越來越高，重型機(jī)械的遠(yuǎn)程無人操作也成為行業(yè)熱點(diǎn)。重型機(jī)械的遠(yuǎn)程無人操作在某些極端或危險(xiǎn)環(huán)境下具有明顯的優(yōu)勢(shì)，例如抗洪搶險(xiǎn)、危險(xiǎn)品泄露搶救、山體塌陷泥石清除、礦洞挖掘、高層建筑灌漿等作業(yè)場(chǎng)景。然而現(xiàn)有的技術(shù)方案還停留在使用單目攝像頭、平面顯示器顯示影像、人眼輔助作業(yè)的階段，缺乏相應(yīng)的臨場(chǎng)感知和深度感知，操作復(fù)雜、估計(jì)不準(zhǔn)。目前國(guó)內(nèi)市場(chǎng)還沒有一套可供遠(yuǎn)距離操作、具備現(xiàn)場(chǎng)環(huán)境深度信息感知的無人作業(yè)系統(tǒng)提供給施工人員使用。

技術(shù)實(shí)現(xiàn)要素：

本實(shí)用新型的目的在于克服現(xiàn)有技術(shù)的不足，提供一種用于重型機(jī)械遠(yuǎn)程無人操作的立體視覺隨動(dòng)顯示系統(tǒng)，通過本地模擬艙和遠(yuǎn)端隨動(dòng)平臺(tái)進(jìn)行配合，使得本地操作人員可以實(shí)時(shí)觀看重型機(jī)械工作現(xiàn)場(chǎng)的立體高清影像，從而實(shí)現(xiàn)具有真實(shí)臨場(chǎng)感的實(shí)時(shí)遠(yuǎn)程操控，進(jìn)一步加強(qiáng)遠(yuǎn)程無人操控的安全性、沉浸感、環(huán)境感知等特色體驗(yàn)。

為實(shí)現(xiàn)上述目的，本實(shí)用新型提供一種用于重型機(jī)械遠(yuǎn)程無人操作的立體視覺隨動(dòng)顯示系統(tǒng)，包括本地模擬艙和遠(yuǎn)端隨動(dòng)平臺(tái)，其特征在于，所述本地模擬艙包括姿態(tài)慣性傳感器、圖像處理模塊、虛擬現(xiàn)實(shí)頭戴顯示器和本地通信模塊，遠(yuǎn)端隨動(dòng)平臺(tái)安裝在重型機(jī)械上，包括立體攝像頭、圖像采集模塊、電機(jī)控制模塊、驅(qū)動(dòng)電機(jī)和遠(yuǎn)端通信模塊；

本地模擬艙的姿態(tài)慣性傳感器佩戴于操作人員頭部，采集操作人員頭部俯仰角度和左右轉(zhuǎn)動(dòng)角度，通過本地通信模塊無線發(fā)送給遠(yuǎn)端隨動(dòng)平臺(tái)的遠(yuǎn)端通信模塊；

遠(yuǎn)端通信模塊將所接收到的操作人員頭部俯仰角度和左右轉(zhuǎn)動(dòng)角度轉(zhuǎn)發(fā)給電機(jī)控制模塊，電機(jī)控制模塊根據(jù)頭部俯仰角度和左右轉(zhuǎn)動(dòng)角度，向驅(qū)動(dòng)電機(jī)發(fā)送垂直和水平轉(zhuǎn)動(dòng)信號(hào)；

驅(qū)動(dòng)電機(jī)根據(jù)接收到的垂直和水平轉(zhuǎn)動(dòng)信號(hào)進(jìn)行轉(zhuǎn)動(dòng)，立體攝像頭固定在驅(qū)動(dòng)電機(jī)的轉(zhuǎn)動(dòng)底板上，跟隨驅(qū)動(dòng)電機(jī)轉(zhuǎn)動(dòng)；

立體攝像頭持續(xù)拍攝視頻圖像，圖像采集模塊獲取立體攝像頭所拍攝到的視頻圖像后通過遠(yuǎn)端通信模塊無線發(fā)送給本地通信模塊，本地通信模塊將所接收到的視頻圖像轉(zhuǎn)發(fā)給圖像處理模塊，圖像處理模塊對(duì)視頻進(jìn)行處理后發(fā)送至虛擬現(xiàn)實(shí)頭戴顯示器向操作人員進(jìn)行顯示。

進(jìn)一步地，姿態(tài)慣性傳感器嵌入虛擬現(xiàn)實(shí)頭戴顯示器內(nèi)部。

進(jìn)一步地，姿態(tài)慣性傳感器包含地磁傳感器、加速度傳感器、陀螺儀傳感器，通過加速度傳感器和陀螺儀傳感器檢測(cè)操作人員頭部俯仰角度和左右轉(zhuǎn)動(dòng)角度，通過地磁傳感器對(duì)操作人員頭部俯仰角度和左右轉(zhuǎn)動(dòng)角度進(jìn)行漂移誤差修正。

進(jìn)一步地，本地通信模塊和遠(yuǎn)端通信模塊采用5GHz頻段進(jìn)行無線通信。

進(jìn)一步地，驅(qū)動(dòng)電機(jī)包括兩臺(tái)電機(jī)，其中一臺(tái)用于垂直方向的轉(zhuǎn)動(dòng)驅(qū)動(dòng)，另外一臺(tái)用于水平方向的轉(zhuǎn)動(dòng)驅(qū)動(dòng)。

進(jìn)一步地，立體攝像頭采用免驅(qū)USB3.0高清雙目攝像頭。

本實(shí)用新型用于重型機(jī)械遠(yuǎn)程無人操作的立體視覺隨動(dòng)顯示系統(tǒng)，包括本地模擬艙和安裝于重型機(jī)械上的遠(yuǎn)端隨動(dòng)平臺(tái)，本地模擬艙的姿態(tài)慣性傳感器采集操作人員頭部俯仰角度和左右轉(zhuǎn)動(dòng)角度，發(fā)送到遠(yuǎn)端隨動(dòng)平臺(tái)由電機(jī)控制模塊生成垂直和水平轉(zhuǎn)動(dòng)信號(hào)，控制驅(qū)動(dòng)電機(jī)帶動(dòng)立體攝像頭進(jìn)行轉(zhuǎn)動(dòng)，立體攝像頭拍攝到的視頻圖像將回傳至本地模擬艙，由本地模擬艙的圖像處理模塊按照預(yù)設(shè)操作對(duì)視頻進(jìn)行處理后發(fā)送至虛擬現(xiàn)實(shí)頭戴顯示器向操作人員進(jìn)行顯示。本實(shí)用新型通過在重型機(jī)械上架設(shè)遠(yuǎn)端隨動(dòng)平臺(tái)，使得本地操作人員可以通過本地模擬艙的姿態(tài)慣性傳感器來對(duì)遠(yuǎn)端隨動(dòng)平臺(tái)的立體攝像頭進(jìn)行控制，并使用虛擬現(xiàn)實(shí)頭戴顯示器觀看到實(shí)時(shí)立體高清影像，從而實(shí)現(xiàn)具有真實(shí)臨場(chǎng)感的實(shí)時(shí)遠(yuǎn)程操控，進(jìn)一步加強(qiáng)遠(yuǎn)程無人操控的安全性、沉浸感、環(huán)境感知等特色體驗(yàn)。

附圖說明

圖1是本實(shí)用新型用于重型機(jī)械遠(yuǎn)程無人操作的立體視覺隨動(dòng)顯示系統(tǒng)的具體實(shí)施方式結(jié)構(gòu)圖。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本實(shí)用新型的具體實(shí)施方式進(jìn)行描述，以便本領(lǐng)域的技術(shù)人員更好地理解本實(shí)用新型。需要特別提醒注意的是，在以下的描述中，當(dāng)已知功能和設(shè)計(jì)的詳細(xì)描述也許會(huì)淡化本實(shí)用新型的主要內(nèi)容時(shí)，這些描述在這里將被忽略。

圖1是本實(shí)用新型用于重型機(jī)械遠(yuǎn)程無人操作的立體視覺隨動(dòng)顯示系統(tǒng)的具體實(shí)施方式結(jié)構(gòu)圖。如圖1所示，在本實(shí)施例中，用于重型機(jī)械遠(yuǎn)程無人操作的立體視覺隨動(dòng)顯示系統(tǒng)包括本地模擬艙1和遠(yuǎn)端隨動(dòng)平臺(tái)2，操作人員通過本地模擬艙1向遠(yuǎn)端隨動(dòng)平臺(tái)2發(fā)出指令，觀看遠(yuǎn)端傳輸回來的視頻圖像，而遠(yuǎn)端隨動(dòng)平臺(tái)安裝在重型機(jī)械上，用于跟隨操作人員指令進(jìn)行動(dòng)作，采集工作現(xiàn)場(chǎng)的視頻圖像并發(fā)回本地模擬艙。其中，本地模擬艙包括姿態(tài)慣性傳感器11、圖像處理模塊12、虛擬現(xiàn)實(shí)頭戴顯示器13和本地通信模塊14，遠(yuǎn)端隨動(dòng)平臺(tái)2安裝在重型機(jī)械上，包括立體攝像頭21、圖像采集模塊22、電機(jī)控制模塊23、驅(qū)動(dòng)電機(jī)24和遠(yuǎn)端通信模塊25。

本實(shí)用新型用于重型機(jī)械遠(yuǎn)程無人操作的立體視覺隨動(dòng)顯示系統(tǒng)的工作過程可以劃分為兩條工作線，其中一條是角度驅(qū)動(dòng)，由姿態(tài)慣性傳感器11、電機(jī)控制模塊23、驅(qū)動(dòng)電機(jī)24完成，另外一條是視頻采集與顯示，由圖像處理模塊12、虛擬現(xiàn)實(shí)頭戴顯示器13、立體攝像頭21、圖像采集模塊22完成，本地模擬艙1和遠(yuǎn)端隨動(dòng)平臺(tái)2之間的通信由本地通信模塊14和遠(yuǎn)端通信模塊25來完成，本實(shí)施例中本地通信模塊14和遠(yuǎn)端通信模塊25采用5GHz頻段進(jìn)行無線通信，以實(shí)現(xiàn)遠(yuǎn)距離高清圖像無線傳輸。

姿態(tài)慣性傳感器11佩戴于操作人員頭部，采集操作人員頭部俯仰角度和左右轉(zhuǎn)動(dòng)角度，通過本地通信模塊14無線發(fā)送給遠(yuǎn)端隨動(dòng)平臺(tái)2的遠(yuǎn)端通信模塊25。姿態(tài)慣性傳感器11是一種檢測(cè)和測(cè)量加速度、傾斜、沖擊、振動(dòng)、旋轉(zhuǎn)和多自由度(DoF)運(yùn)動(dòng)的傳感器，是解決導(dǎo)航、定向和運(yùn)動(dòng)載體控制的重要部件，目前已經(jīng)在多個(gè)領(lǐng)域得到了廣泛的應(yīng)用。本實(shí)施例中，姿態(tài)慣性傳感器11包含地磁傳感器、加速度傳感器、陀螺儀傳感器，通過加速度傳感器和陀螺儀傳感器檢測(cè)操作人員頭部俯仰角度和左右轉(zhuǎn)動(dòng)角度，通過地磁傳感器對(duì)操作人員頭部俯仰角度和左右轉(zhuǎn)動(dòng)角度進(jìn)行漂移誤差修正。為了便于佩戴，可以將姿態(tài)慣性傳感器11嵌入虛擬現(xiàn)實(shí)頭戴顯示器13內(nèi)部。

遠(yuǎn)端通信模塊25在接收到操作人員頭部俯仰角度和左右轉(zhuǎn)動(dòng)角度后轉(zhuǎn)發(fā)給電機(jī)控制模塊23，電機(jī)控制模塊23根據(jù)頭部俯仰角度和左右轉(zhuǎn)動(dòng)角度，向驅(qū)動(dòng)電機(jī)24發(fā)送垂直和水平轉(zhuǎn)動(dòng)信號(hào)。

驅(qū)動(dòng)電機(jī)24根據(jù)接收到的垂直和水平轉(zhuǎn)動(dòng)信號(hào)進(jìn)行轉(zhuǎn)動(dòng)。本實(shí)用新型中立體攝像頭21固定在驅(qū)動(dòng)電機(jī)24的轉(zhuǎn)動(dòng)底板上，因此當(dāng)驅(qū)動(dòng)電機(jī)24轉(zhuǎn)動(dòng)時(shí)，立體攝像頭21就會(huì)跟隨驅(qū)動(dòng)電機(jī)轉(zhuǎn)動(dòng)，從而使立體攝像頭21的視角與操作人員的視角保持一致。本實(shí)施例中，驅(qū)動(dòng)電機(jī)包括兩臺(tái)電機(jī)，其中一臺(tái)用于垂直方向的轉(zhuǎn)動(dòng)驅(qū)動(dòng)，即完成根據(jù)操作人員頭部俯仰角度生成的垂直轉(zhuǎn)動(dòng)信號(hào)的執(zhí)行，另外一臺(tái)用于水平方向的轉(zhuǎn)動(dòng)驅(qū)動(dòng)，即完成根據(jù)操作人員左右轉(zhuǎn)動(dòng)角度生成的水平轉(zhuǎn)動(dòng)信號(hào)的執(zhí)行。

立體攝像頭21持續(xù)拍攝視頻圖像，發(fā)送給圖像采集模塊22。立體攝像頭是一種用于模擬人類兩眼攝像圖像的攝像頭。人類觀看自然景物時(shí)，不僅能看到其高度和寬度，而且能辨別遠(yuǎn)近，產(chǎn)生深度感，形成立體視覺。目前業(yè)內(nèi)普遍認(rèn)為立體視覺主要靠雙眼獲取雙目立體信息，經(jīng)大腦融合而得。人兩眼瞳距約58～72mm，這使兩眼看同一物體時(shí)，左右視角略有差別，成像于視網(wǎng)膜亦不僅相同，這種雙眼視覺差異稱為雙目視差。因此，立體攝像頭通常采用雙目攝像頭，來模擬兩眼攝取圖像。本實(shí)施例中立體攝像頭21采用免驅(qū)USB3.0高清雙目攝像頭，以便于安裝與維護(hù)。

圖像采集模塊22獲取立體攝像頭所拍攝到的視頻圖像，通過遠(yuǎn)端通信模塊25無線發(fā)送給本地通信模塊14，本地通信模塊14將所接收到的視頻圖像轉(zhuǎn)發(fā)給圖像處理模塊12。

圖像處理模塊12用于接收本地通信模塊14轉(zhuǎn)發(fā)的由遠(yuǎn)端隨動(dòng)平臺(tái)2上的立體攝像頭21采集的視頻圖像，按照預(yù)設(shè)操作對(duì)視頻進(jìn)行處理后發(fā)送至虛擬現(xiàn)實(shí)頭戴顯示器13向操作人員進(jìn)行顯示。圖像處理模塊12的預(yù)設(shè)操作一般包括圖像去噪、對(duì)比度增強(qiáng)、圖像校正、圖像融合等，可以根據(jù)實(shí)際應(yīng)用場(chǎng)景的具體情況來進(jìn)行配置。

虛擬現(xiàn)實(shí)頭戴顯示器13即VR(Virtual Reality虛擬現(xiàn)實(shí))頭顯，是一種利用頭戴式顯示器將人的對(duì)外界的視覺、聽覺封閉，引導(dǎo)用戶產(chǎn)生一種身在虛擬環(huán)境中的感覺。虛擬現(xiàn)實(shí)頭戴顯示器13的顯示原理是左右眼屏幕分別顯示左右眼的圖像，人眼獲取這種帶有差異的信息后在腦海中產(chǎn)生立體感。采用虛擬現(xiàn)實(shí)頭戴顯示器13對(duì)立體攝像頭21采集的視頻圖像進(jìn)行顯示，可以使操作人員對(duì)重型機(jī)械工作現(xiàn)場(chǎng)的場(chǎng)景有更加清晰、深入的觀測(cè)，從而避免操作失誤，提高操作效率和安全性。

盡管上面對(duì)本實(shí)用新型說明性的具體實(shí)施方式進(jìn)行了描述，以便于本技術(shù)領(lǐng)域的技術(shù)人員理解本實(shí)用新型，但應(yīng)該清楚，本實(shí)用新型不限于具體實(shí)施方式的范圍，對(duì)本技術(shù)領(lǐng)域的普通技術(shù)人員來講，只要各種變化在所附的權(quán)利要求限定和確定的本實(shí)用新型的精神和范圍內(nèi)，這些變化是顯而易見的，一切利用本實(shí)用新型構(gòu)思的發(fā)明創(chuàng)造均在保護(hù)之列。