本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體而言，涉及一種多信息融合定位設(shè)備及系統(tǒng)。

背景技術(shù)：

近年來，人工智能已廣泛應(yīng)用于工業(yè)、安防、交通、家居和可穿戴設(shè)備等領(lǐng)域，使人類的生活發(fā)生了翻天覆地的變化，如無人機(jī)、機(jī)器人。隨著智能機(jī)器的廣泛應(yīng)用，對智能機(jī)器在某些小環(huán)境內(nèi)的精準(zhǔn)定位技術(shù)提出了更高的要求。如何利用視覺，讓機(jī)器在一個特定環(huán)境內(nèi)對自己進(jìn)行精準(zhǔn)定位，是很多智能機(jī)器面臨的問題。

目前，智能機(jī)器在特定環(huán)境(如某些小環(huán)境內(nèi))內(nèi)對自己進(jìn)行定位的方式，均是基于單信息源進(jìn)行定位，并且還需要依靠聯(lián)網(wǎng)來處理；但是，基于單信息源進(jìn)行定位的方式達(dá)不到所需要的精度，并且，后續(xù)的聯(lián)網(wǎng)處理使得實(shí)時性達(dá)不到應(yīng)用的需求。

發(fā)明人在研究中發(fā)現(xiàn)，現(xiàn)有技術(shù)中的基于單信息源進(jìn)行定位的定位系統(tǒng)，達(dá)不到所需要的精度，且其聯(lián)網(wǎng)處理使得實(shí)時性達(dá)不到應(yīng)用的需求。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明實(shí)施例的目的在于提供一種多信息融合定位設(shè)備及系統(tǒng)，以基于三維空間位置信息和方向信息的融合信息實(shí)現(xiàn)定位，提高了定位精度，且處理過程中實(shí)時性較好。

第一方面，本發(fā)明實(shí)施例提供了一種多信息融合定位設(shè)備，包括：多維圖像采集裝置、慣性測量單元和定位信息融合裝置；

所述多維圖像采集裝置，用于獲取其監(jiān)測范圍內(nèi)動態(tài)連續(xù)的視頻圖像，將視頻圖像依次發(fā)送至所述定位信息融合裝置；

所述慣性測量單元，用于獲取所述多維圖像采集裝置在載體坐標(biāo)系中的九軸信息，將所述九軸信息發(fā)送至所述定位信息融合裝置；所述九軸信息至少包括：三軸加速度信號和旋轉(zhuǎn)角速度信號；

所述定位信息融合裝置，用于根據(jù)所述動態(tài)連續(xù)的視頻圖像構(gòu)建三維模型，并利用分割識別方法從所述三維模型中獲取所述視頻圖像在三維模型中的空間位置信息；以及，對所述九軸信息進(jìn)行積分處理，得到所述視頻圖像的方向信息；將所述方向信息與所述空間位置信息進(jìn)行融合處理，得到所述多維圖像采集裝置在其監(jiān)測范圍內(nèi)的位置信息。

結(jié)合第一方面，本發(fā)明實(shí)施例提供了第一方面的第一種可能的實(shí)施方式，其中，所述的多信息融合定位設(shè)備，還包括導(dǎo)航定位裝置；

所述導(dǎo)航定位裝置，用于獲取所述多維圖像采集裝置所在的地理位置；

所述定位信息融合裝置，還用于將所述多維圖像采集裝置在其監(jiān)測范圍內(nèi)的位置信息與所述地理位置進(jìn)行融合處理，得到所述多維圖像采集裝置在地球上的位置信息。

結(jié)合第一方面的第一種可能的實(shí)施方式，本發(fā)明實(shí)施例提供了第一方面的第二種可能的實(shí)施方式，其中，所述多維圖像采集裝置包括單目鏡頭；

所述單目鏡頭，用于采集其視覺范圍內(nèi)動態(tài)連續(xù)的視頻圖像，將所述視頻圖像以第一預(yù)設(shè)幀頻率發(fā)送至所述定位信息融合裝置。

結(jié)合第一方面的第一種可能的實(shí)施方式，本發(fā)明實(shí)施例提供了第一方面的第三種可能的實(shí)施方式，其中，所述多維圖像采集裝置包括雙目鏡頭；所述雙目鏡頭包括：第一組采集鏡頭和第二組采集鏡頭；

所述第一組采集鏡頭，用于采集其視覺范圍內(nèi)動態(tài)連續(xù)的視頻圖像，將所述視頻圖像以第一預(yù)設(shè)幀頻率發(fā)送至所述定位信息融合裝置；

所述第二組采集鏡頭，用于采集其視覺范圍內(nèi)的動態(tài)連續(xù)的視頻圖像，將所述視頻圖像以所述第一預(yù)設(shè)幀頻率發(fā)送至所述定位信息融合裝置。

結(jié)合第一方面的第二種可能的實(shí)施方式或者第三種可能的實(shí)施方式，本發(fā)明實(shí)施例提供了第一方面的第四種可能的實(shí)施方式，其中，所述慣性測量單元包括以下任意一種融合傳感器：加速度傳感器和角速度傳感器；或者，加速度傳感器和磁感應(yīng)傳感器；或者，加速度傳感器、角速度傳感器和磁感應(yīng)傳感器；

所述加速度傳感器，用于采集所述多維圖像采集裝置在載體坐標(biāo)系中的三軸加速度信號，并將所述三軸加速度信號發(fā)送至所述定位信息融合裝置；

所述角速度傳感器，用于采集所述多維圖像采集裝置在載體坐標(biāo)系中的三軸角速度信號，并將所述三軸角速度信號發(fā)送至所述定位信息融合裝置；

所述磁感應(yīng)傳感器，用于采集所述多維圖像采集裝置在載體坐標(biāo)系中的三軸磁感應(yīng)信號，并將所述三軸磁感應(yīng)信號發(fā)送至所述定位信息融合裝置。

結(jié)合第一方面的第四種可能的實(shí)施方式，本發(fā)明實(shí)施例提供了第一方面的第五種可能的實(shí)施方式，其中，所述定位信息融合裝置包括：專用視覺處理裝置、控制裝置和存儲器；

所述控制裝置，用于控制所述專用視覺處理裝置處理過程中的算法，以及與所述算法對應(yīng)的處理結(jié)果；

所述專用視覺處理裝置，用于在所述控制裝置的控制下，提取所述第一預(yù)設(shè)圖片中的視頻圖像數(shù)據(jù)，對所述視頻圖像數(shù)據(jù)進(jìn)行三維建模處理，得到三維模型，并利用分割識別方法從所述三維模型中獲取所述視頻圖像數(shù)據(jù)對應(yīng)的空間位置信息，得到對應(yīng)的障礙物信息；

所述存儲器，用于在所述控制裝置的控制下，存儲所述視頻圖像數(shù)據(jù)、所述三維模型、所述視頻圖像數(shù)據(jù)對應(yīng)的空間位置信息和所述障礙物信息。

結(jié)合第一方面的第五種可能的實(shí)施方式，本發(fā)明實(shí)施例提供了第一方面的第六種可能的實(shí)施方式，其中，所述定位信息融合裝置還包括：語音識別合成裝置；

所述語音識別合成裝置，用于接收用戶發(fā)送的語音信息，對所述語音信息進(jìn)行識別處理，得到對應(yīng)的目的地址；以及，根據(jù)所述目的地址和所述障礙物信息，合成與所述目的地址對應(yīng)的提示語音，輸出所述提示語音以進(jìn)行提示。

結(jié)合第一方面的第六種可能的實(shí)施方式，本發(fā)明實(shí)施例提供了第一方面的第七種可能的實(shí)施方式，其中，所述定位信息融合裝置還包括：路徑規(guī)劃子系統(tǒng)；

所述路徑規(guī)劃子系統(tǒng)，用于根據(jù)所述障礙物信息對原有導(dǎo)航路徑進(jìn)行調(diào)整或者重新生成導(dǎo)航路徑。

結(jié)合第一方面的第七種可能的實(shí)施方式，本發(fā)明實(shí)施例提供了第一方面的第八種可能的實(shí)施方式，其中，所述的多信息融合定位設(shè)備，還包括：無線傳輸模塊；所述專用視覺處理裝置包括：超聲波檢測器和信息融合處理器；

所述超聲波檢測器，用于檢測所述障礙物的距離信息，將所述距離信息傳輸所述信息融合處理器；

所述信息融合處理器，用于根據(jù)所述視頻圖像及所述距離信息確定所述障礙物信息，并輸出所述障礙物信息；

所述無線傳輸模塊，用于將所述障礙物信息發(fā)送給對應(yīng)的遠(yuǎn)程控制端。

第二方面，本發(fā)明實(shí)施例還提供了一種多信息融合定位系統(tǒng)，包括：上述第一方面任一項(xiàng)所述的多信息融合定位設(shè)備，還包括：智能機(jī)器和遠(yuǎn)程控制端；

所述多信息融合定位設(shè)備嵌入所述智能機(jī)器中，用于實(shí)時檢測所述智能機(jī)器前方的障礙物信息，并將所述障礙物信息發(fā)送給所述遠(yuǎn)程控制端；

所述遠(yuǎn)程控制端，用于接收所述障礙物信息，根據(jù)所述障礙物信息實(shí)時監(jiān)控所述智能機(jī)器的行走狀態(tài)，并在工作人員的控制下，對所述智能機(jī)器的行走狀態(tài)進(jìn)行匹配的控制。

本發(fā)明實(shí)施例提供的一種多信息融合定位設(shè)備及系統(tǒng)，包括：多維圖像采集裝置，用于獲取其監(jiān)測范圍內(nèi)動態(tài)連續(xù)的視頻圖像，并發(fā)送至定位信息融合裝置；慣性測量單元，用于獲取多維圖像采集裝置在載體坐標(biāo)系中的九軸信息，并發(fā)送至定位信息融合裝置；定位信息融合裝置，用于根據(jù)動態(tài)連續(xù)的視頻圖像構(gòu)建三維模型，并利用分割識別方法從三維模型中獲取視頻圖像在三維模型中的空間位置信息；以及，對九軸信息進(jìn)行積分處理，得到視頻圖像的方向信息；將方向信息與空間位置信息進(jìn)行融合處理，得到多維圖像采集裝置在其監(jiān)測范圍內(nèi)的位置信息；

與現(xiàn)有技術(shù)中的基于單信息源進(jìn)行定位的定位系統(tǒng)，達(dá)不到所需要的精度，且其聯(lián)網(wǎng)處理使得實(shí)時性達(dá)不到應(yīng)用的需求相比，其能夠通過的視頻圖像構(gòu)建三維模型，獲取對應(yīng)的空間位置信息，并通過慣性測量單元得到對應(yīng)的方向信息，最終基于三維空間位置信息和方向信息的融合信息實(shí)現(xiàn)定位，提高了定位精度，并且，上述定位過程均是基于前端進(jìn)行處理，無需進(jìn)行聯(lián)網(wǎng)，也使得處理的實(shí)時性較好。

為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能更明顯易懂，下文特舉較佳實(shí)施例，并配合所附附圖，作詳細(xì)說明如下。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例的技術(shù)方案，下面將對實(shí)施例中所需要使用的附圖作簡單地介紹，應(yīng)當(dāng)理解，以下附圖僅示出了本發(fā)明的某些實(shí)施例，因此不應(yīng)被看作是對范圍的限定，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他相關(guān)的附圖。

圖1示出了本發(fā)明實(shí)施例所提供的一種多信息融合定位設(shè)備的結(jié)構(gòu)示意圖；

圖2示出了本發(fā)明實(shí)施例所提供的另一種多信息融合定位設(shè)備的結(jié)構(gòu)示意圖；

圖3示出了本發(fā)明實(shí)施例所提供的另一種多信息融合定位設(shè)備的結(jié)構(gòu)示意圖；

圖4示出了本發(fā)明實(shí)施例所提供的一種多信息融合定位設(shè)備中慣性測量單元的結(jié)構(gòu)示意圖；

圖5示出了本發(fā)明實(shí)施例所提供的一種多信息融合定位設(shè)備中定位信息融合裝置的結(jié)構(gòu)示意圖；

圖6示出了本發(fā)明實(shí)施例所提供的一種多信息融合定位設(shè)備中專用視覺處理裝置的結(jié)構(gòu)示意圖；

圖7示出了本發(fā)明實(shí)施例所提供的一種多信息融合定位系統(tǒng)的結(jié)構(gòu)示意圖。

主要標(biāo)識說明：

10、多維圖像采集裝置；20、慣性測量單元；30、定位信息融合裝置；40、導(dǎo)航定位裝置；101、第一組采集鏡頭；102、第二組采集鏡頭；201、加速度傳感器；202、角速度傳感器；203、磁感應(yīng)傳感器；301、專用視覺處理裝置；302、控制裝置；303、存儲器；304、語音識別合成裝置；305、路徑規(guī)劃子系統(tǒng)；3011、超聲波檢測器；3012、信息融合處理器；1、智能機(jī)器；2、多信息融合定位設(shè)備；3、遠(yuǎn)程控制端。

具體實(shí)施方式

為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。通常在此處附圖中描述和示出的本發(fā)明實(shí)施例的組件可以以各種不同的配置來布置和設(shè)計(jì)。因此，以下對在附圖中提供的本發(fā)明的實(shí)施例的詳細(xì)描述并非旨在限制要求保護(hù)的本發(fā)明的范圍，而是僅僅表示本發(fā)明的選定實(shí)施例?；诒景l(fā)明的實(shí)施例，本領(lǐng)域技術(shù)人員在沒有做出創(chuàng)造性勞動的前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

考慮到智能機(jī)器在特定環(huán)境(如某些小環(huán)境內(nèi))內(nèi)對自己進(jìn)行定位的方式，均是基于單信息源進(jìn)行定位，并且還需要依靠聯(lián)網(wǎng)來處理；但是，基于單信息源進(jìn)行定位的方式達(dá)不到所需要的精度，并且，后續(xù)的聯(lián)網(wǎng)處理使得實(shí)時性達(dá)不到應(yīng)用的需求?；诖?，本發(fā)明實(shí)施例提供了一種多信息融合定位設(shè)備及系統(tǒng)，下面通過實(shí)施例進(jìn)行描述。

參考圖1，本發(fā)明實(shí)施例提供了一種多信息融合定位設(shè)備2，包括：多維圖像采集裝置10、慣性測量單元20和定位信息融合裝置30；

多維圖像采集裝置10，用于獲取其監(jiān)測范圍內(nèi)動態(tài)連續(xù)的視頻圖像，將視頻圖像依次發(fā)送至定位信息融合裝置30。

慣性測量單元20，用于獲取多維圖像采集裝置10在載體坐標(biāo)系中的九軸信息，將九軸信息發(fā)送至定位信息融合裝置30；九軸信息至少包括：三軸加速度信號和旋轉(zhuǎn)角速度信號。

定位信息融合裝置30，用于根據(jù)動態(tài)連續(xù)的視頻圖像構(gòu)建三維模型，并利用分割識別方法從三維模型中獲取視頻圖像在三維模型中的空間位置信息；以及，對九軸信息進(jìn)行積分處理，得到視頻圖像的方向信息；將方向信息與空間位置信息進(jìn)行融合處理，得到多維圖像采集裝置10在其監(jiān)測范圍內(nèi)的位置信息。

本發(fā)明實(shí)施例提供的多信息融合定位設(shè)備2作為一個整體可以應(yīng)用在智能機(jī)器1上，其與智能機(jī)器1的連接方式如下：智能機(jī)器1上設(shè)置有插拔接口，上述多信息融合定位設(shè)備2可以直接通過上述插拔接口接入上述智能機(jī)器1上；或者，上述多信息融合定位設(shè)備2通過數(shù)據(jù)線與智能機(jī)器1上的插拔接口電連接；上述兩種安裝方式均能實(shí)現(xiàn)多信息融合定位設(shè)備2與智能機(jī)器1的數(shù)據(jù)通信，多信息融合定位設(shè)備2能夠采集視覺范圍內(nèi)的動態(tài)連續(xù)圖像數(shù)據(jù)，同時對采集的數(shù)據(jù)進(jìn)行處理，以獲取圖像數(shù)據(jù)對應(yīng)的空間位置信息。

具體的，上述多維圖像采集裝置10可以為單目鏡頭，也可以為雙目鏡頭，雙目鏡頭對應(yīng)有一定的視覺范圍，該雙目鏡頭可以在自己的視覺范圍內(nèi)獲取動態(tài)連續(xù)的視頻圖像，然后將獲取到的視頻圖像依次均發(fā)送至定位信息融合裝置30；本發(fā)明實(shí)施例中，多維圖像采集裝置10將獲取的視頻圖像發(fā)送至定位信息融合裝置30的方法包括：將獲取的視頻圖像以第一預(yù)設(shè)幀頻率發(fā)送至定位信息融合裝置30。其中，上述第一預(yù)設(shè)幀頻率可以預(yù)先進(jìn)行設(shè)置，如設(shè)置每秒30幀；本發(fā)明實(shí)施例中對上述第一預(yù)設(shè)幀頻率的設(shè)置不做具體限制。

通過上述雙目鏡頭可以對空間進(jìn)行差分實(shí)時圖像信息采集，其中，上述雙目鏡頭中的每一組鏡頭可以采用一個或多個攝像頭進(jìn)行視頻圖像采集。

而上述定位信息融合裝置30本身具有數(shù)據(jù)處理功能，其在接收到第一預(yù)設(shè)幀頻率的視頻圖像后，根據(jù)所述視頻圖像對應(yīng)的所有的圖像數(shù)據(jù)進(jìn)行三維建模處理，得到對應(yīng)動態(tài)連續(xù)的圖像數(shù)據(jù)的三維模型；然后根據(jù)建立的該三維模型，可以從中獲取圖像數(shù)據(jù)中對應(yīng)的空間位置信息；上述空間位置信息即：三維點(diǎn)云圖、物體間相對位置、方向和距離等信息。

上述慣性測量單元20，可以獲取多維圖像采集裝置10在載體坐標(biāo)系中的九軸信息，該九軸信息至少包括：加速度信號和旋轉(zhuǎn)角速度信號；然后將九軸信息發(fā)送至定位信息融合裝置30；定位信息融合裝置30還用于對該九軸信息進(jìn)行積分處理，得到視頻圖像的方向信息；最終，定位信息融合裝置30將上述方向信息與該空間位置信息進(jìn)行融合處理，得到多維圖像采集裝置10在其監(jiān)測范圍內(nèi)的位置信息，以實(shí)現(xiàn)定位。

本發(fā)明實(shí)施例提供的一種多信息融合定位設(shè)備2，與現(xiàn)有技術(shù)中的基于單信息源進(jìn)行定位的定位系統(tǒng)，達(dá)不到所需要的精度，且其聯(lián)網(wǎng)處理使得實(shí)時性達(dá)不到應(yīng)用的需求相比，其能夠通過的視頻圖像構(gòu)建三維模型，獲取對應(yīng)的空間位置信息，并通過慣性測量單元20得到對應(yīng)的方向信息，最終基于三維空間位置信息和方向信息的融合信息實(shí)現(xiàn)定位，提高了定位精度，并且，上述定位過程均是基于前端進(jìn)行處理，無需進(jìn)行聯(lián)網(wǎng)，也使得處理的實(shí)時性較好。

考慮到多維圖像采集裝置10采集的視頻圖像可能會存在不清晰的部分，對此，根據(jù)該圖像建立的三維模型可能會定位不準(zhǔn)確，對此，本發(fā)明實(shí)施例的多信息融合定位設(shè)備2中，還包括高精度輔助圖像采集裝置；

高精度輔助圖像采集裝置，用于采集視覺范圍內(nèi)的高精度圖像視頻數(shù)據(jù)，將高精度圖像視頻數(shù)據(jù)以第二預(yù)設(shè)幀頻率發(fā)送至定位信息融合裝置30；其中，此處的第二預(yù)設(shè)幀頻率與上述第一預(yù)設(shè)幀頻率可以相同，也可以不同；本發(fā)明實(shí)施例中，設(shè)置上述第二預(yù)設(shè)幀頻率與上述第一預(yù)設(shè)幀頻率不同。

定位信息融合裝置30還用于，根據(jù)上述高精度圖像視頻數(shù)據(jù)對三維模型進(jìn)行校準(zhǔn)處理，得到校準(zhǔn)后的三維模型，并從校準(zhǔn)后的三維模型中獲取視頻圖像對應(yīng)的空間位置信息。

本發(fā)明實(shí)施例中，上述高精度輔助圖像采集裝置可以是高精度攝像頭，該攝像頭可以自動對焦，其用于通過對焦參數(shù)對雙目差分圖像信息(即多維圖像采集裝置10采集的高精度圖像數(shù)據(jù))的處理進(jìn)行矯正和補(bǔ)充，另外該系統(tǒng)還可以采集高清晰度(或者說高精度)的視頻圖像數(shù)據(jù)或者圖片；通過采集的高精度視頻圖像數(shù)據(jù)來彌補(bǔ)多維圖像采集裝置10采集的圖像數(shù)據(jù)的不足，能夠建立更加精準(zhǔn)的三維模型。

為了進(jìn)一步實(shí)現(xiàn)對多信息融合定位設(shè)備2的定位，參考圖2，上述多信息融合定位設(shè)備2，還包括導(dǎo)航定位裝置40；

導(dǎo)航定位裝置40，用于獲取多維圖像采集裝置10所在的地理位置；

定位信息融合裝置30，還用于將多維圖像采集裝置10在其監(jiān)測范圍內(nèi)的位置信息與地理位置進(jìn)行融合處理，得到多維圖像采集裝置10在地球上的位置信息。

其中，上述導(dǎo)航定位裝置40可以為北斗衛(wèi)星導(dǎo)航系統(tǒng)，或者，GPS(Global Positioning System，全球定位系統(tǒng))，其可以定位多維圖像采集裝置10在地球上的地理位置，并將該地理位置發(fā)送至定位信息融合裝置30；由定位信息融合裝置30將上述地理位置與融合得到的多維圖像采集裝置10的位置信息再次進(jìn)行融合處理，以得到多維圖像采集裝置10在地球上的位置信息。

進(jìn)一步的，該多信息融合定位設(shè)備2中，上述多維圖像采集裝置10包括單目鏡頭；

單目鏡頭，用于采集其視覺范圍內(nèi)動態(tài)連續(xù)的視頻圖像，將視頻圖像以第一預(yù)設(shè)幀頻率發(fā)送至定位信息融合裝置30。

進(jìn)一步的，參考圖3，該多信息融合定位設(shè)備2中，上述多維圖像采集裝置10也可以包括雙目鏡頭；雙目鏡頭包括：第一組采集鏡頭101和第二組采集鏡頭102；

第一組采集鏡頭101，用于采集其視覺范圍內(nèi)動態(tài)連續(xù)的視頻圖像，將視頻圖像以第一預(yù)設(shè)幀頻率發(fā)送至定位信息融合裝置30；

第二組采集鏡頭102，用于采集其視覺范圍內(nèi)的動態(tài)連續(xù)的視頻圖像，將視頻圖像以第一預(yù)設(shè)幀頻率發(fā)送至定位信息融合裝置30。

具體的，無論多維圖像采集裝置10包括單目鏡頭，還是雙目鏡頭，其均是將采集的視頻圖像轉(zhuǎn)換成對應(yīng)的圖像格式，并以轉(zhuǎn)換后的第一預(yù)設(shè)圖片，發(fā)送至定位信息融合裝置30。

進(jìn)一步的，參考圖4，該多信息融合定位設(shè)備2中，慣性測量單元20包括：加速度傳感器201和角速度傳感器202；或者，慣性測量單元20包括：加速度傳感器201和磁感應(yīng)傳感器203；或者，慣性測量單元20包括：加速度傳感器201、角速度傳感器202和磁感應(yīng)傳感器203；

加速度傳感器201，用于采集多維圖像采集裝置10在載體坐標(biāo)系中的三軸加速度信號，并將三軸加速度信號發(fā)送至定位信息融合裝置30；

角速度傳感器202，用于采集多維圖像采集裝置10在載體坐標(biāo)系中的三軸角速度信號，并將三軸角速度信號發(fā)送至定位信息融合裝置30；

磁感應(yīng)傳感器203，用于采集多維圖像采集裝置10在載體坐標(biāo)系中的三軸磁感應(yīng)信號，并將三軸磁感應(yīng)信號發(fā)送至定位信息融合裝置30。

具體的，慣性測量單元20(Inertial measurement unit，簡稱為IMU)的融合體現(xiàn)在其為加速度傳感器201、角速度傳感器202、磁感應(yīng)傳感器203這三者之間的融合，其中，融合的慣性測量單元20必須包括加速度傳感器201，即慣性測量單元20可以包括加速度傳感器201和角速度傳感器202的融合，可以為加速度傳感器201和磁感應(yīng)傳感器203的融合，也可以為加速度傳感器201、角速度傳感器202和磁感應(yīng)傳感器203的融合；而對應(yīng)的上述加速度傳感器201、角速度傳感器202和磁感應(yīng)傳感器203分別用于獲取三軸加速度傳感器201、三軸角速度傳感器202和三軸磁感應(yīng)傳感器203的信息，然后發(fā)送至定位信息融合裝置30，以便定位信息融合裝置30將對應(yīng)的慣性測量單元20采集的信息與空間位置信息、地理位置信息進(jìn)行融合，以實(shí)現(xiàn)定位。

其中，上述加速度傳感器可以為加速度計(jì)(用A表示)，上述角速度傳感器可以為陀螺儀(用G表示)，上述磁感應(yīng)傳感器可以為地磁指南針(用M表示)，即IMU(慣性測量單元)的融合可以為A+G、A+M，或者為A+G+M。其中，上述A用于計(jì)算移動距離，上述G和M均用于計(jì)算旋轉(zhuǎn)角度，在計(jì)算旋轉(zhuǎn)角度是，G的精度較地磁M的精度高。而上述A、G和M的計(jì)算過程由不同的算法決定。

進(jìn)一步的，參考圖5，該多信息融合定位設(shè)備2中，定位信息融合裝置30包括：專用視覺處理裝置301、控制裝置302和存儲器303；

控制裝置302，用于控制專用視覺處理裝置301處理過程中的算法，以及與算法對應(yīng)的處理結(jié)果；

專用視覺處理裝置301，用于在控制裝置302的控制下，提取第一預(yù)設(shè)圖片中的視頻圖像數(shù)據(jù)，對視頻圖像數(shù)據(jù)進(jìn)行三維建模處理，得到三維模型，并利用分割識別方法從三維模型中獲取視頻圖像數(shù)據(jù)對應(yīng)的空間位置信息，得到對應(yīng)的障礙物信息；

存儲器303，用于在控制裝置302的控制下，存儲視頻圖像數(shù)據(jù)、三維模型、視頻圖像數(shù)據(jù)對應(yīng)的空間位置信息和障礙物信息。

具體的，在定位信息融合裝置30中，由專用視覺處理裝置301實(shí)施真正的運(yùn)算過程，由控制裝置302控制專用視覺處理裝置301實(shí)施的算法和對應(yīng)的運(yùn)算結(jié)果；由存儲器303實(shí)施的存儲功能，由控制裝置302控制存儲器303進(jìn)行存儲的路徑和數(shù)據(jù)流。

進(jìn)一步的，參考圖5，該多信息融合定位設(shè)備2中，定位信息融合裝置30還包括：語音識別合成裝置304；

語音識別合成裝置304，用于接收用戶發(fā)送的語音信息，對語音信息進(jìn)行識別處理，得到對應(yīng)的目的地址；以及，根據(jù)目的地址和障礙物信息，合成與目的地址對應(yīng)的提示語音，輸出提示語音以進(jìn)行提示。

本發(fā)明實(shí)施例中，用戶可以直接通過語音識別合成裝置304說出該多信息融合定位設(shè)備2其所嵌入的智能機(jī)器1的目的地址，語音識別合成裝置304則根據(jù)用戶的語音信息合成對應(yīng)的目的地址，并根據(jù)目的地址和障礙物信息，合成與目的地址對應(yīng)的提示語音，輸出提示語音以進(jìn)行提示，比如，提示智能機(jī)器1進(jìn)行左轉(zhuǎn)等。

進(jìn)一步的，參考圖5，該多信息融合定位設(shè)備2中，定位信息融合裝置30還包括：路徑規(guī)劃子系統(tǒng)305；路徑規(guī)劃子系統(tǒng)305，用于根據(jù)障礙物信息對原有導(dǎo)航路徑進(jìn)行調(diào)整或者重新生成導(dǎo)航路徑。

具體的，路徑規(guī)劃子系統(tǒng)305用于根據(jù)接收的障礙物信息，對原有導(dǎo)航路徑進(jìn)行調(diào)整或者重新生成導(dǎo)航路徑，以對多信息融合定位設(shè)備2嵌入的智能機(jī)器1實(shí)時避障。

進(jìn)一步的，參考圖6，該多信息融合定位設(shè)備2中還包括：無線傳輸模塊；專用視覺處理裝置301包括：超聲波檢測器3011和信息融合處理器3012；

超聲波檢測器3011，用于檢測障礙物的距離信息，將距離信息傳輸信息融合處理器3012；

信息融合處理器3012，用于根據(jù)視頻圖像及距離信息確定障礙物信息，并輸出障礙物信息；

無線傳輸模塊，用于將障礙物信息發(fā)送給對應(yīng)的遠(yuǎn)程控制端3。

本發(fā)明實(shí)施例提供的一種多信息融合定位設(shè)備，與現(xiàn)有技術(shù)中的基于單信息源進(jìn)行定位的定位系統(tǒng)，達(dá)不到所需要的精度，且其聯(lián)網(wǎng)處理使得實(shí)時性達(dá)不到應(yīng)用的需求相比，其能夠通過的視頻圖像構(gòu)建三維模型，獲取對應(yīng)的空間位置信息，并通過慣性測量單元20得到對應(yīng)的方向信息，最終基于三維空間位置信息和方向信息的融合信息實(shí)現(xiàn)定位，提高了定位精度，并且，上述定位過程均是基于前端進(jìn)行處理，無需進(jìn)行聯(lián)網(wǎng)，也使得處理的實(shí)時性較好。

本發(fā)明實(shí)施例提供了一種多信息融合定位系統(tǒng)，參考圖7，包括：多信息融合定位設(shè)備2，還包括：智能機(jī)器1和遠(yuǎn)程控制端3；

多信息融合定位設(shè)備2嵌入智能機(jī)器1中，用于實(shí)時檢測智能機(jī)器1前方的障礙物信息，并將障礙物信息發(fā)送給遠(yuǎn)程控制端3；

遠(yuǎn)程控制端3，用于接收障礙物信息，根據(jù)障礙物信息實(shí)時監(jiān)控智能機(jī)器1的行走狀態(tài)，并在工作人員的控制下，對智能機(jī)器1的行走狀態(tài)進(jìn)行匹配的控制。

本發(fā)明實(shí)施例中的多信息融合定位設(shè)備2可以應(yīng)用在智能機(jī)器1上，其與智能機(jī)器1的連接方式如下：智能機(jī)器1上設(shè)置有插拔接口，上述多信息融合定位設(shè)備2可以直接通過上述插拔接口接入上述智能機(jī)器1上；或者，上述多信息融合定位設(shè)備2通過數(shù)據(jù)線與智能機(jī)器1上的插拔接口電連接；上述兩種安裝方式均能實(shí)現(xiàn)多信息融合定位設(shè)備2與智能機(jī)器1的數(shù)據(jù)通信。

上述多信息融合定位設(shè)備2能夠采集自身視覺范圍內(nèi)的動態(tài)連續(xù)圖像數(shù)據(jù)，同時對采集的數(shù)據(jù)進(jìn)行三維建模處理，得到三維模型，并從三維模型中獲取圖像數(shù)據(jù)對應(yīng)的空間位置信息；其中，上述空間位置信息包括：三維點(diǎn)云圖、物體間相對位置、方向和距離等信息。

上述遠(yuǎn)程控制端3可以是服務(wù)器，其實(shí)時采集接收多信息融合定位設(shè)備2發(fā)送的障礙物信息，根據(jù)障礙物信息實(shí)時監(jiān)控智能機(jī)器1的行走狀態(tài)，如智能機(jī)器1是否行走在有障礙物的路徑上等；并在工作人員的控制下，對智能機(jī)器1的行走狀態(tài)進(jìn)行匹配的控制，即對行走在有障礙物的路徑上的智能機(jī)器1進(jìn)行實(shí)時規(guī)避控制。

其中，上述智能機(jī)器1可以是車，以智能機(jī)器1為汽車為例，將多信息融合定位設(shè)備2(以下簡稱為視覺卡)裝載在汽車上，并能夠與車實(shí)現(xiàn)數(shù)據(jù)通信；例如在一個停車場，通過本發(fā)明實(shí)施例提供的多信息融合定位設(shè)備2對整個停車場的視頻圖像數(shù)據(jù)進(jìn)行了掃描處理，以構(gòu)建停車場的三維模型，并獲取汽車的空間位置信息，并采集該停車場的九軸信息和地理位置信息，最終，通過定位該汽車在整個停車場的空間位置信息、上述九軸信息和地理位置信息進(jìn)行融合處理，得到汽車在地球中的精確位置。

本發(fā)明實(shí)施例提供的一種多信息融合定位系統(tǒng)，與現(xiàn)有技術(shù)中的基于單信息源進(jìn)行定位的定位系統(tǒng)，達(dá)不到所需要的精度，且其聯(lián)網(wǎng)處理使得實(shí)時性達(dá)不到應(yīng)用的需求相比，其能夠通過的視頻圖像構(gòu)建三維模型，獲取對應(yīng)的空間位置信息，并通過慣性測量單元20得到對應(yīng)的方向信息，最終基于三維空間位置信息和方向信息的融合信息實(shí)現(xiàn)定位，提高了定位精度，并且，上述定位過程均是基于前端進(jìn)行處理，無需進(jìn)行聯(lián)網(wǎng)，也使得處理的實(shí)時性較好。

本發(fā)明實(shí)施例所提供的多信息融合定位設(shè)備和系統(tǒng)可以為設(shè)備上的特定硬件或者安裝于設(shè)備上的軟件或固件等。本發(fā)明實(shí)施例所提供的裝置，其實(shí)現(xiàn)原理及產(chǎn)生的技術(shù)效果和前述方法實(shí)施例相同，為簡要描述，裝置實(shí)施例部分未提及之處，可參考前述方法實(shí)施例中相應(yīng)內(nèi)容。所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為描述的方便和簡潔，前述描述的系統(tǒng)、裝置和單元的具體工作過程，均可以參考上述方法實(shí)施例中的對應(yīng)過程，在此不再贅述。

在本發(fā)明所提供的實(shí)施例中，應(yīng)該理解到，所揭露裝置和方法，可以通過其它的方式實(shí)現(xiàn)。以上所描述的裝置實(shí)施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時可以有另外的劃分方式，又例如，多個單元或組件可以結(jié)合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點(diǎn)，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些通信接口，裝置或單元的間接耦合或通信連接，可以是電性，機(jī)械或其它的形式。

所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部單元來實(shí)現(xiàn)本實(shí)施例方案的目的。

另外，在本發(fā)明提供的實(shí)施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨(dú)物理存在，也可以兩個或兩個以上單元集成在一個單元中。

所述功能如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時，可以存儲在一個計(jì)算機(jī)可讀取存儲介質(zhì)中?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計(jì)算機(jī)軟件產(chǎn)品存儲在一個存儲介質(zhì)中，包括若干指令用以使得一臺計(jì)算機(jī)設(shè)備(可以是個人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實(shí)施例所述方法的全部或部分步驟。而前述的存儲介質(zhì)包括：U盤、移動硬盤、只讀存儲器(ROM，Read-Only Memory)、隨機(jī)存取存儲器(RAM，Random Access Memory)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。

應(yīng)注意到：相似的標(biāo)號和字母在下面的附圖中表示類似項(xiàng)，因此，一旦某一項(xiàng)在一個附圖中被定義，則在隨后的附圖中不需要對其進(jìn)行進(jìn)一步定義和解釋，此外，術(shù)語“第一”、“第二”、“第三”等僅用于區(qū)分描述，而不能理解為指示或暗示相對重要性。

最后應(yīng)說明的是：以上所述實(shí)施例，僅為本發(fā)明的具體實(shí)施方式，用以說明本發(fā)明的技術(shù)方案，而非對其限制，本發(fā)明的保護(hù)范圍并不局限于此，盡管參照前述實(shí)施例對本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，其依然可以對前述實(shí)施例所記載的技術(shù)方案進(jìn)行修改或可輕易想到變化，或者對其中部分技術(shù)特征進(jìn)行等同替換；而這些修改、變化或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明實(shí)施例技術(shù)方案的精神和范圍。都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)以所述權(quán)利要求的保護(hù)范圍為準(zhǔn)。