專利名稱：前視聲納圖像的實時拼接方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種前視聲納的圖像拼接方法和系統(tǒng)，可實時的將分辨率較低的前 視聲納圖像拼接為一個高分辨率，大范圍的圖像。
背景技術(shù)：
前視聲納利用聲波的回波信息進(jìn)行成像，主要用于水下目標(biāo)觀測，廣泛的應(yīng)用 于水下探測，搜救，水下入侵檢測以及導(dǎo)航等。特別在渾濁的水中，光線會被吸收散 射，導(dǎo)致光學(xué)成像設(shè)備無法探測遠(yuǎn)距離的目標(biāo)，甚至導(dǎo)致無法成像。所以在渾濁的水域 內(nèi)進(jìn)行探測，聲納是一種非常重要的手段?，F(xiàn)有的前視聲納設(shè)DIDSON(Dual-Frequency Identification Sonar)是運用聲頻“鏡頭”能在黑暗中、混水中能生成幾乎等同影像質(zhì)量 圖像的聲納。它是美國空間與海上戰(zhàn)爭系統(tǒng)中心研發(fā)，作為其海港防御計劃的一個組成 部份，可被用來識別大型的海港內(nèi)潛入水域的入侵者。但是由于DIDSON成像的視角小 (水平方向為28.8° )，分辨率低(垂直分辨率為512，水平方向在小于512)，很難觀測 大的范圍，不利于發(fā)現(xiàn)水中的目標(biāo)。因此在實際的應(yīng)用中會將DIDSON安裝在船體的云 臺上，通過船體以及云臺的運動，來觀測較大的范圍。然而，在同一時刻也只能觀測到 一個小視角范圍內(nèi)的圖像，這仍然不滿足水中目標(biāo)物的檢測，由于水下環(huán)境復(fù)雜，要判 別一個物體的性質(zhì)，需要有個連續(xù)的過程，最好能夠顯示大范圍的水中的影像。實時的 將多幅小視角的聲納圖像拼接為一個大范圍的圖像，在水下探測中具有重要的作用。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對已有技術(shù)存在的缺陷提供一種前視聲納圖像的實時拼接 方法和系統(tǒng)，可以實時的將多幅視角小，分辨率低的聲納圖像拼接為一個大范圍，高分 辨率的聲納圖像，有利于提高前視聲納目標(biāo)探測的水平，擴(kuò)大觀測視角，方便對水下大 的目標(biāo)進(jìn)行探測。本發(fā)明的構(gòu)思是圖像拼接采用了多個傳感器融合的方法，首先通過云臺的姿 態(tài)信息、船體的姿態(tài)傳感器信息以及差分GPS信息，計算出每一聲納圖像對應(yīng)到慣性坐 標(biāo)系統(tǒng)下的坐標(biāo)。其次將不同位置的聲納圖像根據(jù)慣性坐標(biāo)下的位置，結(jié)合相鄰圖像之 間的相關(guān)性計算出坐標(biāo)變換矩陣，將圖像投影在一個平面內(nèi)；最后通過灰度拉伸，調(diào)整 聲納圖像亮度，在重疊區(qū)域采用雙線形的插值，實現(xiàn)重疊區(qū)域的融合；最終將多幅聲納 圖像拼接在一起。本發(fā)明的系統(tǒng)結(jié)構(gòu)為姿態(tài)傳感器固定安裝在船上，可以測量出船體的三維姿 態(tài)信息。差分GPS固定安裝在船上，可測量出船體的大地坐標(biāo)，用來確定船的位置。兩 維云臺固定安裝在船上，經(jīng)由云臺控制器通過PC控制它的運動。前視聲納固定安裝在云 臺上，會隨著云臺的運動而動作，聲納圖像數(shù)據(jù)通過網(wǎng)絡(luò)連接到計算機(jī)。GPS信號以及 慣性系統(tǒng)的信息號都通過串口連接到計算機(jī)。根據(jù)云臺的安裝位置、姿態(tài)傳感器信息和GPS信息，可計算出當(dāng)前聲納圖像在大地坐標(biāo)系下的位置和姿態(tài)。根據(jù)聲納的成像原理，可將圖像重新投影到大地坐標(biāo)系 下。在目標(biāo)探測區(qū)域內(nèi)，PC控制云臺的運動以及船體的運動，前視聲納可獲取到不同位 置和角度的水下圖像，這些圖像都能夠通過計算投影到同一個大地坐標(biāo)系下，不同圖像 之間通過融合算法進(jìn)行融合，這樣就將多幅小范圍的聲納圖像拼接為一個較大范圍的圖像。上述的姿態(tài)傳感器采用了 TSS公司的MAHRS SURFACE ；上述的GPS采用了 Simrad公司的MX421 ；上述云臺為自制的二維云臺；上述前視聲納DIDSON采用Sound Metrics公司的長距型雙頻識別聲納。根據(jù)上述的發(fā)明構(gòu)思，本發(fā)明采用下述的技術(shù)方案一種前視聲納圖像的實時拼接方法，其特征在于拼接步驟是(1)將GPS、姿態(tài)傳感器以及云臺安裝在船上云臺安裝在船頭的支架上，其 水平旋轉(zhuǎn)面與船甲板面平行，旋轉(zhuǎn)中心線盡量在船體中軸線上，GPS安裝在船體中心位 置，姿態(tài)傳感器安裝位置要保證其中心線與船體中軸線重合。云臺控制器和PC放置在船 上，計算機(jī)通過串口聯(lián)線連接云臺控制器、姿態(tài)傳感器和GPS，并通過網(wǎng)絡(luò)網(wǎng)線連接前 視聲納。(2)啟動PC、GPS、姿態(tài)傳感器設(shè)備、云臺、前視聲納；檢查各部分?jǐn)?shù)據(jù)鏈路 通訊是否正常；(3)通過PC控制云臺在探測范圍內(nèi)運動；(4)同時獲取各個傳感器信息數(shù)據(jù)，包括以下四種傳感器信息 從串口讀取云臺反饋的姿態(tài)信息； 從串口讀取姿態(tài)傳感器發(fā)送的船體姿態(tài)信息； 從串口讀取GPS信息； 從網(wǎng)絡(luò)讀取聲納回波信息；(5)根據(jù)前視聲納回波信號的強(qiáng)度將聲納信息恢復(fù)為聲納的灰度圖象；從聲納介紹到的信號為采樣點聲波的回波強(qiáng)度，將回波強(qiáng)度看做圖像的灰度 值，即可以得到聲納的灰度圖像，變換公式如下I(x, y) =F(S(i，j))其中，I(X，y)為聲納圖像在(X，y)的灰度，S(i，j)為聲納信號在(i，j)的回 波強(qiáng)度，F(xiàn)(X)為變換方程。(6)通過灰度拉伸將當(dāng)前的聲納圖像亮度調(diào)整到與拼接后圖像亮度達(dá)到一致； 由于信號增益的不同，以及聲波回波強(qiáng)度的變化，可能會造成不同時間下采集的聲納圖 像亮度有所不同，因此采用了圖像灰度拉伸的方法將亮度調(diào)整一致。(7)通過上述四種傳感器信息，經(jīng)過坐標(biāo)變換計算出當(dāng)前聲納圖像變換到大地坐 標(biāo)下的變換矩陣T；這里的大地坐標(biāo)也就是拼接后圖像的坐標(biāo)系。(8)根據(jù)該變換矩陣T，得大地坐標(biāo)系投影平面的每個像素點與當(dāng)前聲納圖像 中像素點的變換關(guān)系；如果當(dāng)前聲納圖像與在大地坐標(biāo)系投影平面的圖像中有重疊的部 分，那么在重疊區(qū)域中通過圖像灰度相關(guān)法搜索最佳的匹配點；通過四對以上新的匹配 點重新計算出變換矩陣T'，并將圖像映射到大地坐標(biāo)投影的圖像中，即拼接后的圖像
4中；(9)通過融合算法使圖像重疊部分融合，并在產(chǎn)生空洞處采用雙線形插值的方法 將圖像補(bǔ)齊；(10)重復(fù)(3) (9)即可實現(xiàn)前視聲納圖像的拼接。一種前視聲納圖像和實時拼接系統(tǒng)，應(yīng)用與上述方法，包括前視聲納、GPS、 姿態(tài)傳感器、云臺、云臺控制器和計算機(jī)。以上拼接方法中，船體在大地坐標(biāo)系下的位置是通過GPS獲取的，但是由于 GPS的數(shù)據(jù)更新頻率較低，而聲納圖像更新數(shù)據(jù)較快，在兩次GPS更新之間不能夠的直 接得到船體的位置信息。因此在計算聲納圖像對應(yīng)的位置時，是利用船體的航向和速 度，計算出在單位時間內(nèi)船位置的變化量，間接的獲得船體的位置。本發(fā)明具有如下顯而易見的突出特點和顯著優(yōu)點本發(fā)明提供了一種實用快速 的方法實現(xiàn)前視聲納DIDSON圖像的拼接方法。通過云臺運動參數(shù)，GPS和慣性傳感器 信號直接計算出聲納圖像序列的拼接參數(shù)，減少了圖像匹配搜索的范圍，提高了圖像匹 配的實時性。這種拼接方法可實時的將小視角的單幅前視聲納圖像拼接為一個大范圍的 聲納圖像，擴(kuò)大了觀測的視野，方便了水下目標(biāo)的觀測。另外，由于在聲納匹配中添加 了 GPS信息，拼接的聲納圖像可以直接用于水下目標(biāo)尺寸的測量和水下導(dǎo)航。


圖1是本發(fā)明的傳感器安裝示意圖；圖2是坐標(biāo)關(guān)系圖；圖3為本發(fā)明的系統(tǒng)框具體實施例方式本發(fā)明的一個優(yōu)選實施例如下詳述參見圖1為拼接系統(tǒng)各個部件的安裝圖， 其中1為船體，2為姿態(tài)傳感器，該傳感器安裝時器中軸線需要和船體的中軸線對齊， 這樣做的目的是為了更加準(zhǔn)確的測量出船體的姿態(tài)，尤其是航線信息；3為GPS，GPS 也盡量安置在船的中心位置，這樣會減少由于坐標(biāo)變換引起的誤差；4為一個兩維的云 臺，云臺與船體固定連接，云臺可以在水平方向(航向)旋轉(zhuǎn)，旋轉(zhuǎn)角度范圍為-160° 160°，另外在俯仰方向可以旋轉(zhuǎn)，范圍為0° -80°，可以調(diào)節(jié)聲納探測水域的深 度。5為前視聲納。參見圖3為系統(tǒng)的框圖，其中8為計算機(jī)，2為姿態(tài)傳感器，3為GPS，它們通 過串口 6聯(lián)線連接到計算機(jī)，7為云臺控制器，連接到云臺4，云臺控制器(7)通過串口 6聯(lián)線連接到計算機(jī)8，5為前視聲納傳感器，通過網(wǎng)絡(luò)9聯(lián)線連接到計算機(jī)8。實現(xiàn)拼接的拼接步驟是1.將GPS、姿態(tài)傳感器以及云臺安裝在船上；云臺安裝在船頭的支架上，其水 平旋轉(zhuǎn)面與船甲板面平行，旋轉(zhuǎn)中心線盡量在船體中軸線上，GPS安裝在船體中心位 置，姿態(tài)傳感器安裝位置要保證其中心線與船體中軸線重合。云臺控制器和PC放置在船 上，連接各部分的數(shù)據(jù)線。2.啟動PC、GPS、姿態(tài)傳感器、云臺、前視聲納；檢查各部分?jǐn)?shù)據(jù)鏈路通訊是3.通過PC控制云臺在探測范圍內(nèi)運動
4.同時獲取各個傳感器信息數(shù)據(jù)，
包括以下四種傳感器信息 從串口讀取云臺反饋的姿態(tài)信息； 從串口讀取姿態(tài)傳感器發(fā)送的船體姿態(tài)信息； 從串口讀取GPS信息； 從網(wǎng)絡(luò)讀取聲納回波信息；
5.根據(jù)聲納回波信號的強(qiáng)度將聲納信息恢復(fù)為聲納的灰度圖象；從聲納介紹到
將回波強(qiáng)度看做圖像的灰度值，即可以得到聲納的灰
否正常
的信號為采樣點聲波的回波強(qiáng)度， 度圖像，變換公式如下I(x, y) =F(S(i，j))其中，I(X，y)為聲納圖像在(X，y)的灰度，S(i，j)為聲納信號在(i，j)的回 波強(qiáng)度，F(xiàn)(X)為變換方程。6.通過灰度拉伸將當(dāng)前的聲納圖像亮度調(diào)整到與拼接后圖像亮度達(dá)到一致；由 于信號增益的不同，以及聲波回波強(qiáng)度的變化，可能會造成不同時間下采集的聲納圖像 亮度有所不同，因此采用了圖像灰度拉伸的方法將亮度調(diào)整一致。7.通過傳感器信息，計算出當(dāng)前聲納圖像變換到大地坐標(biāo)下的變換矩陣T ；這里 的大地坐標(biāo)也就是拼接后圖像的坐標(biāo)系。坐標(biāo)關(guān)系如圖2所示，其中XYZO為大地坐標(biāo) 系，船體的坐標(biāo)系為X1Y1Z1O1，它在大地坐標(biāo)系下的變換矩陣可以通過GPS以及姿態(tài)傳 感器MAHRS測量出來，假設(shè)GPS測量出來的位置坐標(biāo)為(X，y，ζ), MAHRS測量出來 船體的三個方向的姿態(tài)角度(航向，俯仰，橫滾)為(Ψ，θ , φ),那么船體在大地坐 標(biāo)系下的變換矩陣為
權(quán)利要求
1. 一種前視聲納圖像的實時拼接方法，其特征在于拼接步驟是a.將GPS(3)、姿態(tài)傳感器(2)以及云臺⑷安裝在船上；云臺⑷安裝在船頭的支 架上，其水平旋轉(zhuǎn)面與船甲板面平行，旋轉(zhuǎn)中心線在船體中軸線上，GPS(3)安裝在船體 中心位置，姿態(tài)傳感器(2)安裝位置要保證其中心線與船體中軸線重合。云臺控制器(7) 和計算機(jī)⑶放置在船上，計算機(jī)⑶通過串口(6)連接云臺控制器(7)、姿態(tài)傳感器(2) 和GPS(3)，并通過網(wǎng)絡(luò)(9)網(wǎng)線連接前視視聲納(5)；b.啟動計算機(jī)(8)、GPS(3)、姿態(tài)傳感器(2)、云臺(4)、前視聲納(5)；檢查各部 數(shù)據(jù)鏈路通訊是否正常；C.通過計算機(jī)(8)控制云臺(4)在探測范圍內(nèi)運動；d.同時獲取各個傳感器信息數(shù)據(jù)，包括以下四種傳感器信息； 從串口(6)讀取云臺(4)反饋的姿態(tài)信息； 從串口(6)讀取姿態(tài)傳感器(2)發(fā)送的船體姿態(tài)信息； 從串口(6)讀取GPS (3)信息； 從網(wǎng)絡(luò)(9)讀取前視聲納(5)的回波信息；e.根據(jù)前視聲納回波信號的強(qiáng)度將聲納信息恢復(fù)為聲納的灰度圖象；f.通過灰度拉伸將當(dāng)前的聲納圖像亮度調(diào)整到與拼接后圖像亮度達(dá)到一致；由于信 號增益的不同，以及聲波回波強(qiáng)度的變化，可能會造成不同時間下采集的聲納圖像亮度 有所不同，因此采用了圖像灰度拉伸的方法將亮度調(diào)整一致；g.通過所述四種傳感器信息，經(jīng)過坐標(biāo)變換計算出當(dāng)前聲納圖像變換到大地坐標(biāo)下 的變換矩陣T；這里的大地坐標(biāo)也就是拼接后圖像的坐標(biāo)系；h.根據(jù)該變換矩陣T，得到大地坐標(biāo)系投影平面的每個像素點與當(dāng)前聲納圖像中像素 點的變換關(guān)系；如果當(dāng)前聲納圖像與在大地坐標(biāo)系投影平面的圖像中有重疊的部分，那 么在重疊區(qū)域中通過圖像灰度相關(guān)法搜索最佳的匹配點；通過四對以上新的匹配點重新 計算出變換矩陣T'，并將圖像映射到大地坐標(biāo)投影的圖像中，即拼接后的圖像中；i.通過融合算法使圖像重疊部分融合，并在產(chǎn)生空洞處采用雙線形插值的方法將圖像 補(bǔ)齊；j.重復(fù)步驟c 步驟I，即實現(xiàn)了前視聲納圖像的拼接。
2. 一種前視聲納圖像的實時拼接系統(tǒng)，應(yīng)用于根據(jù)權(quán)利要求1所述的前視聲納圖像 的實時拼接方法，包括前視聲納(5)、GPS(3)、姿態(tài)傳感器(2)、云臺(4)、云臺控制器 (7)和計算機(jī)(8)，其特征在于姿態(tài)傳感器(2)安裝在船體(1)上，并通過通過串口(6)聯(lián) 線連接到計算機(jī)(8)；云臺(4)固定安裝在船體(1)上，并通過云臺控制器(7)通過串口 (6)聯(lián)線連接到計算機(jī)(8)；前視聲納傳感器(5)固定安裝在云臺(4)上，通過網(wǎng)絡(luò)(9) 網(wǎng)線連接到計算機(jī)(8)。
全文摘要
本發(fā)明涉及一種前視聲納圖像的拼接方法和系統(tǒng)。本方法是通過安裝在船體上云臺的姿態(tài)信息、船體的姿態(tài)傳感器信息以及差分GPS信息，計算出每一聲納圖像對應(yīng)到慣性坐標(biāo)系統(tǒng)下的坐標(biāo)。然后將不同位置的聲納圖像根據(jù)大地坐標(biāo)下的位置，結(jié)合相鄰圖像之間的相關(guān)性計算出坐標(biāo)變換矩陣，將圖像投影在一個平面內(nèi)；最后通過灰度拉伸，調(diào)整聲納圖像亮度，在重疊區(qū)域采用雙線形的插值，實現(xiàn)重疊區(qū)域的融合。這種拼接方法可實時的將小視角的單幅前視聲納圖像拼接為一個大范圍的聲納圖像，擴(kuò)大了觀測的視野，方便了水下目標(biāo)的觀測。另外，由于在聲納匹配中添加了GPS信息，拼接的聲納圖像可以直接用于水下目標(biāo)尺寸的測量和水下導(dǎo)航。
文檔編號G01S15/89GK102012513SQ20101021554
公開日2011年4月13日 申請日期2010年6月29日 優(yōu)先權(quán)日2010年6月29日
發(fā)明者謝少榮, 陳金波, 高同躍, 龔振邦 申請人:上海大學(xué)