標(biāo)定工具進(jìn)行離線標(biāo)定，獲取雙目相機(jī)的內(nèi)參數(shù)、畸變參數(shù)和外參數(shù)；雙目相機(jī)獲取雙目立體圖像并傳輸給嵌入式處理器，嵌入式處理器首先利用標(biāo)定參數(shù)對(duì)雙目圖像進(jìn)行校正，再使用半全局匹配的立體配算法實(shí)時(shí)處理雙目立體圖像，生成稠密視差圖；數(shù)據(jù)采集模塊將采集到的雙目左圖像和計(jì)算獲取的稠密視差圖通過有線或無線的方式傳輸給數(shù)據(jù)處理模塊。數(shù)據(jù)處理模塊應(yīng)用計(jì)算機(jī)視覺和模式識(shí)別技術(shù)在稠密視差圖中提取出碼頭的輪廓，或?qū)⒊砻芤暡顖D轉(zhuǎn)換為三維點(diǎn)云數(shù)據(jù)來提取碼頭的輪廓，并計(jì)算船舶與碼頭的距離和角度信息，并根據(jù)距離信息推導(dǎo)出預(yù)警信息；數(shù)據(jù)存儲(chǔ)模塊將雙目立體圖像、稠密視差圖、碼頭輪廓、船舶到碼頭的距離和角度信息以及預(yù)警信息存儲(chǔ)在本地硬盤中；數(shù)據(jù)傳輸模塊將雙目左圖像或右圖像、碼頭輪廓、船舶到碼頭的距離和角度以及預(yù)警信息通過有線或無線的方式傳輸給外界客戶端如無人船控制系統(tǒng)以輔助船舶在碼頭靠泊，或輸出到顯示終端輔助艦載操作員安全作業(yè)。
[0037]作為一優(yōu)選的實(shí)施方式，對(duì)于所述碼頭輪廓的提取，首先將碼頭建模為平面模型，在稠密視差圖中采用高斯濾波、邊緣提取技術(shù)獲取碼頭迎水面輪廓；或者在三維點(diǎn)云數(shù)據(jù)中采用RANSAC算法、點(diǎn)云投影、降采樣、濾波技術(shù)獲取碼頭迎水面輪廓。
[0038]作為一優(yōu)選的實(shí)施方式，所述預(yù)警信息的多級(jí)推導(dǎo)規(guī)則如下:
[0039]當(dāng)碼頭與船舶的距離小于L3米時(shí)發(fā)出三級(jí)預(yù)警，當(dāng)距離小于L2米時(shí)發(fā)出二級(jí)預(yù)警，當(dāng)距離小于LI米時(shí)發(fā)出一級(jí)預(yù)警，其中L1〈L2〈L3。
[0040]如圖3所示，為本實(shí)施例所述系統(tǒng)的安裝示意圖；其中:將所述的數(shù)據(jù)采集平臺(tái)I通過螺絲安裝在船舶主桅桿上，離船身具有一定的高度；所述數(shù)據(jù)采集平臺(tái)I安裝時(shí)，在水平方向上使雙目相機(jī)的光軸朝向船艏方向；在豎直方向上使雙目相機(jī)的光軸與船長(zhǎng)方向具有一定的夾角a，使數(shù)據(jù)采集平臺(tái)I獲取到船舶前方的視野。所述的數(shù)據(jù)處理平臺(tái)2可以放置在桅桿上，也可以放置船舶上其他任意可行的位置；通過有線或無線的方式連接數(shù)據(jù)處理平臺(tái)2，即可獲取到雙目左圖像、碼頭的輪廓、船舶到碼頭的距離和角度以及預(yù)警信息。
[0041]在另一實(shí)施例中，基于上述系統(tǒng)實(shí)現(xiàn)的基于雙目立體視覺的船舶靠泊輔助系統(tǒng)的輔助靠泊方法，包括如下步驟:
[0042]步驟1:數(shù)據(jù)采集模塊實(shí)時(shí)采集雙目立體圖像數(shù)據(jù)，并對(duì)雙目圖像進(jìn)行立體匹配計(jì)算，獲取稠密視差圖；
[0043]步驟2:將步驟I中采集到的雙目立體圖像數(shù)據(jù)和計(jì)算出的稠密視差圖通過有線或者無線的傳輸方式發(fā)送到數(shù)據(jù)處理模塊；
[0044]步驟3:數(shù)據(jù)處理模塊實(shí)時(shí)地對(duì)步驟2傳輸?shù)臄?shù)據(jù)進(jìn)行處理，獲得實(shí)時(shí)碼頭的輪廓、船舶到碼頭的距離和角度，以及預(yù)警信息；
[0045]步驟4:數(shù)據(jù)存儲(chǔ)模塊實(shí)時(shí)保存步驟1、3得到的雙目立體圖像、稠密視差圖、碼頭的輪廓、船舶到碼頭的距離和角度以及預(yù)警信息，同時(shí)數(shù)據(jù)傳輸模塊實(shí)時(shí)地將雙目左/右圖像、碼頭的輪廓、船舶到碼頭的距離和角度以及預(yù)警信息通過有線或者無線的方式發(fā)送給外界，外界利用這些信息輔助船舶在碼頭靠泊；
[0046]步驟5:重復(fù)步驟I到步驟4，進(jìn)行數(shù)據(jù)的實(shí)時(shí)更新，從而實(shí)現(xiàn)裝置的碼頭停靠輔助功能。
[0047]本發(fā)明通過雙目立體視覺技術(shù)、圖像處理技術(shù)、網(wǎng)絡(luò)技術(shù)等的綜合運(yùn)用來輔助船舶在碼頭?？?，通過雙目相機(jī)獲取豐富的碼頭環(huán)境信息，提高了獲取碼頭信息的魯棒性，相對(duì)于三維激光掃描儀，本發(fā)明成本更低獲取環(huán)境信息更加豐富。通過本發(fā)明可以獲取到視頻影像、碼頭的輪廓、船舶到碼頭的距離和角度信息，以及預(yù)警信息；本發(fā)明能夠存儲(chǔ)上述信息，并將信息通過有線或無線的方式傳輸給外界用戶；可以將信息傳輸給外界客戶端如無人船舶系統(tǒng)，來輔助無人船舶碼頭?？?；也可以輸出到顯示終端輔助艦載操作員安全作業(yè)。
[0048]以上對(duì)本發(fā)明的具體實(shí)施例進(jìn)行了描述。需要理解的是，本發(fā)明并不局限于上述特定實(shí)施方式，本領(lǐng)域技術(shù)人員可以在權(quán)利要求的范圍內(nèi)做出各種變形或修改，這并不影響本發(fā)明的實(shí)質(zhì)內(nèi)容。
【主權(quán)項(xiàng)】
1.一種基于雙目立體視覺的船舶靠泊輔助系統(tǒng)，其特征在于，所述系統(tǒng)包括數(shù)據(jù)采集平臺(tái)和數(shù)據(jù)處理平臺(tái)，數(shù)據(jù)采集平臺(tái)和數(shù)據(jù)處理平臺(tái)之間采用有線或無線的連接方式； 所述的數(shù)據(jù)采集平臺(tái)包括數(shù)據(jù)采集模塊，數(shù)據(jù)采集模塊實(shí)時(shí)采集雙目立體圖像數(shù)據(jù)，對(duì)雙目立體圖像數(shù)據(jù)進(jìn)行計(jì)算以獲取稠密視差圖，并將采集到的雙目立體圖像數(shù)據(jù)以及計(jì)算獲取的稠密視差圖通過有線或者無線的傳輸方式發(fā)送到數(shù)據(jù)處理平臺(tái)； 所述的數(shù)據(jù)處理平臺(tái)包括數(shù)據(jù)處理模塊、數(shù)據(jù)存儲(chǔ)模塊和數(shù)據(jù)傳輸模塊，其中:所述數(shù)據(jù)處理模塊實(shí)時(shí)地對(duì)數(shù)據(jù)采集模塊所輸出的稠密視差圖進(jìn)行處理，以獲得實(shí)時(shí)碼頭的輪廓、船舶到碼頭的距離和角度以及預(yù)警信息；所述數(shù)據(jù)存儲(chǔ)模塊用于實(shí)時(shí)保存雙目立體圖像、稠密視差圖、碼頭的輪廓、船舶到碼頭的距離和角度以及預(yù)警信息；所述數(shù)據(jù)傳輸模塊用于將雙目左/右圖像、碼頭輪廓、船舶到碼頭的距離和角度以及預(yù)警信息采用有線或無線連接的方式實(shí)時(shí)傳輸給外界客戶端以輔助船舶在碼頭靠泊，或輸出到顯示終端輔助艦載操作員安全作業(yè)。2.根據(jù)權(quán)利要求1所述的一種基于雙目立體視覺的船舶靠泊輔助系統(tǒng)，其特征在于，所述的數(shù)據(jù)采集模塊由雙目相機(jī)和嵌入式處理器組成，其中:所述雙目相機(jī)用于實(shí)時(shí)采集雙目立體圖像數(shù)據(jù)，并傳輸給嵌入式處理器；所述嵌入式處理器對(duì)雙目立體圖像數(shù)據(jù)進(jìn)行立體匹配計(jì)算，以獲取稠密視差圖。3.根據(jù)權(quán)利要求2所述的一種基于雙目立體視覺的船舶靠泊輔助系統(tǒng)，其特征在于，所述的嵌入式處理器計(jì)算稠密視差圖采用半全局匹配算法。4.根據(jù)權(quán)利要求1所述的一種基于雙目立體視覺的船舶靠泊輔助系統(tǒng)，其特征在于，所述的數(shù)據(jù)處理模塊實(shí)時(shí)地對(duì)稠密視差圖進(jìn)行處理，具體的:將稠密視差圖轉(zhuǎn)換為三維點(diǎn)云，在三維點(diǎn)云中提取出碼頭輪廓，或直接在稠密視差圖中提取碼頭輪廓，并計(jì)算船舶到碼頭的距離和角度。5.根據(jù)權(quán)利要求4所述的一種基于雙目立體視覺的船舶靠泊輔助系統(tǒng)，其特征在于，所述的數(shù)據(jù)處理模塊對(duì)碼頭輪廓和船舶到碼頭的距離和角度信息進(jìn)行分析，推導(dǎo)出船舶在碼頭靠泊的預(yù)警信息。6.根據(jù)權(quán)利要求5所述的一種基于雙目立體視覺的船舶靠泊輔助系統(tǒng)，其特征在于，所述的預(yù)警信息多級(jí)推導(dǎo)規(guī)則如下: 當(dāng)船舶與碼頭的距離小于L3米時(shí)發(fā)出三級(jí)預(yù)警； 當(dāng)距離小于L2米時(shí)發(fā)出二級(jí)預(yù)警； 當(dāng)距離小于LI米時(shí)發(fā)出一級(jí)預(yù)警； 其中:Ll<L2<L3o7.一種采用權(quán)利要求1-6任一項(xiàng)所述系統(tǒng)的基于雙目立體視覺的船舶靠泊輔助方法，其特征在于，包括如下步驟: 步驟1:數(shù)據(jù)采集模塊實(shí)時(shí)采集雙目立體圖像數(shù)據(jù)，并對(duì)雙目圖像進(jìn)行立體匹配計(jì)算，獲取稠密視差圖； 步驟2:將步驟I中采集到的雙目立體圖像數(shù)據(jù)和計(jì)算出的稠密視差圖通過有線或者無線的傳輸方式發(fā)送到數(shù)據(jù)處理模塊； 步驟3:數(shù)據(jù)處理模塊實(shí)時(shí)地對(duì)步驟2傳輸?shù)臄?shù)據(jù)進(jìn)行處理，獲得實(shí)時(shí)碼頭的輪廓、船舶到碼頭的距離和角度，以及預(yù)警信息； 步驟4:數(shù)據(jù)存儲(chǔ)模塊實(shí)時(shí)保存步驟1、3得到的雙目立體圖像、稠密視差圖、碼頭的輪廓、船舶到碼頭的距離和角度以及預(yù)警信息，同時(shí)數(shù)據(jù)傳輸模塊實(shí)時(shí)地將雙目左/右圖像、碼頭的輪廓、船舶到碼頭的距離和角度以及預(yù)警信息通過有線或者無線的方式發(fā)送給外界，外界利用這些信息輔助船舶在碼頭靠泊； 步驟5:重復(fù)步驟I到步驟4，進(jìn)行數(shù)據(jù)的實(shí)時(shí)更新，從而實(shí)現(xiàn)裝置的碼頭?？枯o助功會(huì)K。
【專利摘要】本發(fā)明提供了一種基于雙目立體視覺的船舶靠泊輔助系統(tǒng)及方法，系統(tǒng)由數(shù)據(jù)采集平臺(tái)和數(shù)據(jù)處理平臺(tái)構(gòu)成，其中：數(shù)據(jù)采集平臺(tái)包含數(shù)據(jù)采集模塊，數(shù)據(jù)采集模塊由雙目相機(jī)和嵌入式處理器組成，來實(shí)現(xiàn)數(shù)據(jù)采集模塊功能；數(shù)據(jù)處理平臺(tái)包含數(shù)據(jù)處理模塊、數(shù)據(jù)存儲(chǔ)模塊和數(shù)據(jù)傳輸模塊，數(shù)據(jù)處理平臺(tái)采用工控機(jī)或高性能嵌入式設(shè)備來實(shí)現(xiàn)數(shù)據(jù)處理、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)傳輸模塊的功能。本發(fā)明采用有線或無線連接的方式實(shí)現(xiàn)將雙目左/右圖像、碼頭的輪廓、船舶到碼頭的距離和角度以及預(yù)警信息傳輸給外界客戶端以輔助船舶靠泊，或傳輸?shù)斤@示終端輔助艦載操作員安全作業(yè)。本發(fā)明基于立體視覺的測(cè)距技術(shù)不僅成本低，而且能獲取豐富的環(huán)境信息。
【IPC分類】G05B19/048
【公開號(hào)】CN105204411
【申請(qǐng)?zhí)枴緾N201510489925
【發(fā)明人】楊明, 鄧琉元, 王春香, 王冰
【申請(qǐng)人】上海交通大學(xué)
【公開日】2015年12月30日
【申請(qǐng)日】2015年8月11日