專利名稱：具有圖像增強功能的自適應場景圖像輔助系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及移動機械系統(tǒng)中使用的具有圖像增強功能的自適應場景圖像輔助系統(tǒng)。
背景技術：
在各種移動機械操作領域，如機動車輛行駛、船舶進港，吊塔等裝載機械抓取、移動或放置貨物，特別是當移動物體的許可移動范圍比較狹小時，需要操作人員非常仔細考慮移動時的周邊環(huán)境，以防止物體移動時出現(xiàn)碰觸、碰撞和摩擦的現(xiàn)象。一個常見的例子是，汽車駕駛員尤其是大型車輛的駕駛員，由于車體的遮蔽會出現(xiàn)一系列盲區(qū)，例如后視鏡和觀后鏡的觀察角度的不足而存在觀察盲區(qū)。由于此類盲區(qū)的存在，對駕駛員的車體空間感提出較高要求，尤其是當駕駛車輛通過狹窄區(qū)域以及停車、倒車時，駕駛?cè)藛T很容易因為視覺盲區(qū)的存在和行進時由于觀察不全面造成剮蹭，碰撞而產(chǎn)生危險。常用的解決方式是超聲倒車雷達和倒車攝像頭，倒車雷達可以較好對盲區(qū)的障礙物進行距離檢測，并將障礙物的檢測結(jié)果通過聲音和圖形的方式進行提示，這樣可以對駕駛員進行有限的提示。但是超聲雷達存在一個不直觀明顯的問題，同時由于測距探頭的個數(shù)有限，因此無法做到全方位各個角度都進行可靠檢測。另外，由于測距存在一定的精度誤差，此類測距方法無法提供準確可靠的測距。另外一個解決方案是倒車攝像頭，此方法通過在車尾安裝一個廣角攝像頭完成對后視圖像的攝取和顯示，同時該方法配合測距雷達等可以完成對后面圖像的采集和顯示。 但是該方法存在一個明顯的弊端該方法僅僅對車輛后面圖像實時采集和顯示，他無法對全景圖像進行，因此當車輛處于非倒車狀態(tài)時該方法失效。隨著圖像處理技術的發(fā)展，目前出現(xiàn)了一種全景的倒車系統(tǒng)，該系統(tǒng)通過把多個攝像頭的圖像經(jīng)過畸變校準以后進行拼接，并顯示給駕駛員，以有利于駕駛?cè)藛T對周邊環(huán)境進行測評。此方法十分有效的解決了汽車周邊視野的問題，如中國專利200710106237. 8 披露的技術方案。但是上述專利披露的技術方案也存在一些待提高的地方技術方案僅采用3路圖像采集，對體積過大的車輛或者掛車進行圖像合成時，會導致對圖像傳感器的光學組件的視野和分辨率要求提高，同時該專利沒有談到圖像的畸變矯正，當采用廣角攝像頭時，不進行矯正的畸變圖像將使觀察者觀察得到的空間關系變差；同時上述專利也無法有針對性地對行駛方向和速度以及駕駛員轉(zhuǎn)向趨勢進行突出顯示，在霧天雨天或者照明條件比較差時也沒對圖像進行增強的功能，以使操作人員自適應的獲得清晰有效的圖像。

發(fā)明內(nèi)容
本發(fā)明的目的是對上述現(xiàn)有技術的缺陷進行改進，提供一種具有圖像增強功能的自適應場景圖像輔助系統(tǒng)，以提供全方周邊圖像信息，該系統(tǒng)能夠根據(jù)監(jiān)控物體運動趨勢提供自適應的場景變化以及對圖像進行增強處理，以提供更有效的信息。本發(fā)明的目的是通過以下技術方案實現(xiàn)的，具有圖像增強功能的自適應場景圖像輔助系統(tǒng)，包括如下單元圖像傳感器，安裝于被監(jiān)控物體上，用于獲取所述被監(jiān)控物體周邊環(huán)境的圖像信息，且任意相鄰兩個所述圖像傳感器存在互相重疊的視野區(qū)域，其中，所述被監(jiān)控物體是指需要本系統(tǒng)進行周圍環(huán)境監(jiān)控的設備；場景決策單元，根據(jù)所述被監(jiān)控物體的運動信息或/和操作者操作意圖信息，生成場景配置參數(shù)；標定單元，用于對所述圖像傳感器進行標定，生成所述圖像傳感器的標定參數(shù)；圖像處理單元，分別與所述圖像傳感器、場景決策單元和標定單元連接，接收所述圖像傳感器傳輸?shù)膱D像信息，并根據(jù)所述場景決策單元傳輸來的場景配置參數(shù)以及所述標定單元傳輸來的所述圖像傳感器的標定參數(shù)， 對所述圖像傳感器傳輸?shù)膱D像信息進行處理；輸出單元，與所述圖像處理單元連接，用于輸出所述圖像處理單元傳輸來的圖像信號。上述具有圖像增強功能的自適應場景圖像輔助系統(tǒng)，其中，所述被監(jiān)控物體的運動信息或/和操作者操作意圖信息包括速度信號、檔位信號、轉(zhuǎn)向趨勢信號、加速度信號和轉(zhuǎn)向燈信號。上述具有圖像增強功能的自適應場景圖像輔助系統(tǒng)，其中，所述場景配置參數(shù)包括最佳場景視點和圖像比例。上述具有圖像增強功能的自適應場景圖像輔助系統(tǒng)，其中，所述場景決策單元采用自適應方式進行最佳場景視點的選取，根據(jù)運動趨勢方向以確定視點方向，根據(jù)運動速度以確定視點的距離，由視點方向和視點距離構成自適應的視角。上述具有圖像增強功能的自適應場景圖像輔助系統(tǒng)，其中，所述場景決策單元預先設定好若干個固定位置作為最佳場景視點，再根據(jù)被監(jiān)控物體的運動方向和轉(zhuǎn)向趨勢， 選擇其中某個最佳場景視點。上述具有圖像增強功能的自適應場景圖像輔助系統(tǒng)，其中，所述圖像此例為一定值或者一個與距離有關的函數(shù)。上述具有圖像增強功能的自適應場景圖像輔助系統(tǒng)，其中，所述圖像處理單元包括圖像采集單元，與所述圖像傳感器連接，采集所述圖像傳感器獲取的被監(jiān)控物體周邊環(huán)境的圖像信息；圖像畸變矯正單元，與所述圖像采集單元和所述標定單元連接，根據(jù)所述標定單元傳輸來的所述圖像傳感器的標定參數(shù)，對所述圖像傳感器傳輸來的圖像信息進行畸變矯正；圖像防抖和圖像增強單元，與所述圖像畸變矯正單元連接，采用電子防抖和圖像增強算法對所述圖像畸變矯正單元傳輸來的圖像信息進行處理，以提高圖像合成質(zhì)量；視角變換單元，分別與所述圖像防抖和圖像增強單元、所述場景決策單元和所述標定單元連接， 根據(jù)所述場景決策單元傳輸來的場景配置參數(shù)和所述標定單元傳輸來的所述圖像傳感器的標定參數(shù)，對所述圖像防抖和圖像增強單元傳輸來的圖形信息進行處理，以形成特定視角的圖像信息；圖像融合單元，與所述視角變換單元連接，對各個所述圖像傳感器獲取的圖像以及汽車的圖像進行融合，形成汽車與周邊環(huán)境的合成圖像。上述具有圖像增強功能的自適應場景圖像輔助系統(tǒng)，其中，所述圖像防抖和圖像增強單元包括圖像防抖模塊和圖像增強模塊；所述圖像防抖模塊與所述圖像畸變矯正單元連接，采用電子防抖算法消除幀間圖像模糊；所述圖像增強模塊與所述圖像防抖模塊連接，采用圖像增強算法提高圖像質(zhì)量。
上述具有圖像增強功能的自適應場景圖像輔助系統(tǒng)，其中，所述圖像防抖模塊包括運動檢測模塊、運動估計模塊和運動補償模塊；所述運動檢測模塊與所述所述圖像畸變矯正單元連接，采用運動檢測算法獲取圖像在不同幀之間發(fā)生的位置移動；所述運動估計模塊與所述運動檢測模塊連接，對有效運動進行估計；所述運動補償模塊與所述運動估計模塊連接，根據(jù)所述運動估計模塊的計算結(jié)果，對原始的圖像進行補償，以得到消除隨機抖動以后的圖像。上述具有圖像增強功能的自適應場景圖像輔助系統(tǒng)，其中，所述圖像增強模塊包括圖像亮度調(diào)整模塊、圖像對比度增強模塊和圖像勾勒模塊；所述圖像亮度調(diào)整模塊與所述運動補償模塊連接，用于矯正由于各個所述圖像傳感器的鏡頭的感光特征不一致而導致的圖像亮度差異；所述圖像對此度增強模塊與所述圖像亮度調(diào)整模塊連接，用于對獲得的圖像進行對比度增強；所述圖像勾勒模塊與所述圖像對比度增強模塊連接，用于對圖像邊緣進行勾勒和對障礙物進行突出及勾畫，以使圖像具有更強的可辨識性。上述具有圖像增強功能的自適應場景圖像輔助系統(tǒng)，其中，所述圖像傳感器的標定參數(shù)包括所述圖像傳感器的鏡頭光學參數(shù)和所述圖像傳感器的畸變參數(shù)，以及所述圖像傳感器的姿態(tài)和位置參數(shù)。本發(fā)明具有圖像增強功能的自適應場景圖像輔助系統(tǒng)在被監(jiān)控物體上安裝多個圖像傳感器，任意相鄰兩個圖像傳感器存在互相重疊的視野區(qū)域，以保證全方位獲取被監(jiān)控物體周邊環(huán)境的圖像信息，不存在視野盲區(qū)，圖像處理單元根據(jù)場景決策單元和標定單元傳輸?shù)膮?shù)對各個圖像傳感器獲取的圖像信息進行處理，以提供有效信息，并通過輸出單元輸出，直觀、具體。
以下結(jié)合附圖和具體實施方式
來進一步說明本發(fā)明。

圖1為本發(fā)明具有圖像增強功能的自適應場景圖像輔助系統(tǒng)的結(jié)構示意圖。圖2為本發(fā)明中自適應場景決策的最佳場景視點的位置示意圖。圖3為本發(fā)明中非自適應場景決策的最佳場景視點的位置示意圖。圖4A 圖4D為本發(fā)明中獲得的圖像的各融合區(qū)域示意圖。圖5A 圖5D為本發(fā)明中標定模板的示意圖。圖6為本發(fā)明中標定圖像傳感器實施例一的示意圖。圖7為本發(fā)明中標定圖像傳感器實施例二的示意圖。圖8為本發(fā)明中圖像防抖和圖像增強單元的結(jié)構示意圖。圖9本發(fā)明中圖像防抖模塊以及圖像增強模塊的結(jié)構示意圖。
具體實施例方式以下通過圖1 圖9，詳細介紹本發(fā)明的具體實施例，以便進一步了解本發(fā)明的內(nèi)容。本發(fā)明具有圖像增強功能的自適應場景圖像輔助系統(tǒng)包括圖像傳感器，安裝于被監(jiān)控物體上，用于獲取所述被監(jiān)控物體周邊環(huán)境的圖像信息，且任意相鄰兩個所述圖像傳感器存在互相重疊的視野區(qū)域，其中，所述被監(jiān)控物體是指需要本系統(tǒng)進行周圍環(huán)境監(jiān)控的設備，例如汽車、船舶；場景決策單元，根據(jù)所述被監(jiān)控物體的運動信息或/和操作者操作意圖信息，生成場景配置參數(shù)；標定單元，用于對所述圖像傳感器進行標定，生成所述圖像傳感器的標定參數(shù)；圖像處理單元，分別與所述圖像傳感器、場景決策單元和標定單元連接，接收所述圖像傳感器傳輸?shù)膱D像信息，并根據(jù)所述場景決策單元傳輸來的場景配置參數(shù)以及所述標定單元傳輸來的所述圖像傳感器的標定參數(shù)，對所述圖像傳感器傳輸?shù)膱D像信息進行處理；輸出單元，與所述圖像處理單元連接，用于輸出所述圖像處理單元傳輸來的圖像信號。本發(fā)明具有圖像增強功能的自適應場景圖像輔助系統(tǒng)在被監(jiān)控物體上安裝多個圖像傳感器，任意相鄰兩個圖像傳感器存在互相重疊的視野區(qū)域，以保證全方位獲取被監(jiān)控物體周邊環(huán)境的圖像信息，不存在視野盲區(qū)，圖像處理單元根據(jù)場景決策單元和標定單元傳輸?shù)膮?shù)對各個圖像傳感器獲取的圖像信息進行處理，以提供有效信息，并通過輸出單元輸出，直觀、具體。以汽車為被監(jiān)控物體，詳細說明本發(fā)明具有圖像增強功能的自適應場景圖像輔助系統(tǒng)參見圖1，本實施例的具有圖像增強功能的自適應場景圖像輔助系統(tǒng)包括多個圖像傳感器1、場景決策單元3、標定單元5、圖像處理單元2和輸出單元4。所述多個圖像傳感器1安裝在汽車車體的外表面上，且環(huán)繞車體一周，所述圖像傳感器1用于獲取汽車周邊環(huán)境的圖像信息，且任意相鄰兩個所述圖像傳感器1存在互相重疊的視野區(qū)域；所述圖像傳感器1的個數(shù)應保證能全方位獲取汽車周邊環(huán)境的圖像信息，并且不存在視野盲區(qū)；安裝所述圖像傳感器1時，所述圖像傳感器1的視野可以只包含汽車周邊的環(huán)境， 也可以既包含汽車周邊的環(huán)境，又包含部分車體，即拍攝車體的部分，以確保在圖像拼接時能夠顯示車體與障礙物的位置關系；所述圖像傳感器1可以是彩色圖像傳感器、黑白圖像傳感器、紅外圖像傳感器或者它們的組合，例如，黑白圖像傳感器和彩色圖像傳感器的組合、黑白圖像傳感器和紅外圖像傳感器的組合、彩色圖像傳感器和紅外圖像傳感器的組合、黑白圖像傳感器和彩色圖像傳感器以及紅外圖像傳感器的組合。所述場景決策單元3與所述圖像處理單元2連接，所述場景決策單元3根據(jù)汽車的運動信息或/和操作者操作意圖信息，生成場景配置參數(shù)，并將所述場景配置參數(shù)傳輸給所述圖像處理單元2;所述運動信息或/和操作者操作意圖信息包括汽車的速度信號、檔位信號、轉(zhuǎn)向趨勢信號、加速度信號和轉(zhuǎn)向燈信號；所述場景配置參數(shù)包括最佳場景視點和圖像比例；若汽車配置了車速表和方向轉(zhuǎn)角傳感器，所述場景決策單元3可根據(jù)車速表和方向轉(zhuǎn)角傳感器傳輸來的汽車的運動信息，采用自適應方式選取最佳場景視點，即根據(jù)運動趨勢方向以確定視點方向，根據(jù)運動速度以確定視點的距離，由視點方向和視點距離構成自適應的視角，假設某一時刻汽車車速檢測為V，最佳場景視點將位于汽車運動方向的距離 L處，L = f (vTs,式中Ts為顯示時間，f (χ)為自變量χ的函數(shù)，根據(jù)實際系統(tǒng)需要，該函數(shù)f 為定值、分段函數(shù)、或者解析函數(shù)，且L不能大于汽車運動方向上所述圖像傳感器1的視野的最大值，同時L的選取也與場景中是否存在障礙物有關系，如圖2所示；所述場景決策單元3也可以選擇固定的幾個點作為最佳場景視點，如圖3所示，最佳場景視點可以選擇圖3中PO P5的若干個固定方位點，所述場景決策單元3根據(jù)汽車運動方向和轉(zhuǎn)向趨勢確定合適的最佳場景視點當汽車無轉(zhuǎn)向趨勢且處于前進狀態(tài)時，最佳場景視點選擇PO點；當汽車無轉(zhuǎn)向趨勢且處于后退狀態(tài)時，最佳場景視點選擇P4點；當汽車處于前進狀態(tài)，且有向右轉(zhuǎn)的趨勢時，最佳場景視點選擇P2點；當汽車處于前進狀態(tài)， 且有向左轉(zhuǎn)的趨勢時，最佳場景視點選擇Pl點；當汽車處于后退狀態(tài)，且有向右轉(zhuǎn)的趨勢時，最佳場景視點選擇P5點；當汽車處于后退狀態(tài)，且有向左轉(zhuǎn)的趨勢時，最佳場景視點選擇P3點；若汽車未裝配車速傳感器，使用檔位傳感器可確定當前汽車的運行方向當檔位位于前進檔時，可判定為車輛處于前進方向或者操作者存在前進的操作意圖；當檔位位于后退檔時，可判定為車輛處于后退狀態(tài)，或者當前操作者存在后退的操作意圖；若汽車未裝配方向盤轉(zhuǎn)角傳感器，則轉(zhuǎn)向趨勢可以通過轉(zhuǎn)向燈的狀態(tài)判決當轉(zhuǎn)向燈處于為左轉(zhuǎn)向燈打開時，判定車輛存在左轉(zhuǎn)向趨勢；當轉(zhuǎn)向燈處于為右轉(zhuǎn)向燈打開時， 判定車輛存在右轉(zhuǎn)向趨勢；若汽車裝配了加速度傳感器，且加速度傳感器的敏感方向與汽車的車體縱軸垂直且位于水平面上，此時可以通過加速度傳感器的輸出而判斷汽車的轉(zhuǎn)向趨勢所述加速度傳感器的加速度信號要經(jīng)過濾波以去除噪聲的影響，當濾波后的加速度信號檢測到左方向的加速度時，即可判定汽車存在向左的轉(zhuǎn)向趨勢；當檢測到向右的加速度信號時，則判定為汽車存在向右的轉(zhuǎn)向趨勢；當濾波后的加速度信號低于一定門限時，則判為汽車不存在有效轉(zhuǎn)向趨勢；若汽車存在多種轉(zhuǎn)向趨勢傳感器時，如同時具備轉(zhuǎn)向燈傳感器、方向角傳感器、以及加速度傳感器，將綜合上述傳感器信息進行轉(zhuǎn)向趨勢判決，也可以采用優(yōu)先級順序進行判斷，一個可用的優(yōu)先級為轉(zhuǎn)向燈信號的優(yōu)先級高于方向盤轉(zhuǎn)角傳感器信息，方向盤轉(zhuǎn)角傳感器信息優(yōu)先級高于加速度傳感器；若沒有任何信息可供決策時，所述場景決策單元3將選擇頂視點，如圖3所示的PT 為缺省的頂視點，即選自汽車中心點上方；除了自適應轉(zhuǎn)換場景之外，所述場景決策單元3可以根據(jù)操作者(本實施例中指駕駛員)的需要而手工控制和選擇；所述場景決策單元3除了對場景進行調(diào)整外，還可以產(chǎn)生變此例尺信息，該此例尺為可以為定值，意味著在融合后的圖像中，各融合區(qū)域A、B、C、D的此例是一致的，如圖4A 所示；當視場范圍較大時，由于所述輸出單元4的尺寸有限，因此此例尺選擇不是一個定值，而是一個與距離有關的函數(shù)，以使距離汽車越遠的范圍內(nèi)，圖像壓縮的越厲害，而在距離汽車較近的范圍內(nèi)，圖像壓縮較小，如圖4B 圖4D所示，圖4B 圖4D中的粗箭頭表示視角方向，細箭頭表示汽車的運動趨勢。所述標定單元5與所述圖像處理單元2連接，向所述圖像處理單元2傳輸所述圖像傳感器1的標定參數(shù)；所述圖像傳感器1的標定參數(shù)包括所述圖像傳感器1的鏡頭光學參數(shù)和所述圖像傳感器1的畸變參數(shù)，以及所述圖像傳感器1的姿態(tài)和位置參數(shù)，其中，圖像傳感器的鏡頭光學參數(shù)和圖像傳感器的畸變參數(shù)在機器視覺領域被稱作內(nèi)部參數(shù)，圖像傳感器的姿態(tài)和位置參數(shù)在機器視覺領域被稱作外部參數(shù)；若汽車上安裝的所述所述圖像傳感器1的個數(shù)大于1，則對每個所述圖像傳感器1 都要進行標定；所述圖像傳感器1安裝后，使用本系統(tǒng)監(jiān)測汽車移動前，先對每個所述圖像傳感器1進行標定，獲得每個所述圖像傳感器1的鏡頭光學參數(shù)、每個所述圖像傳感器1的畸變參數(shù)，以及每個所述圖像傳感器1的姿態(tài)和位置參數(shù)；對所述圖像傳感器1進行標定包括以下步驟步驟1，測算所述圖像傳感器1的鏡頭光學參數(shù)和所述圖像傳感器1的畸變參數(shù)；步驟1. 1所述圖像傳感器1從不同方位和姿態(tài)獲取標定模塊的圖像信息；所述標定模板為表面設有平面圖樣、三維圖樣或線狀圖樣的矩形板，所述標定模板表面的圖樣可以是若干多邊形，例如若干分立的正方形，如圖5A和圖5B所示，可以是帶有直線或曲線特征的圖樣，例如棋盤格或網(wǎng)格，如圖5C所示，也可以是帶有角點特征的圖樣，例如若干圓點，如圖5D所示；所述標定模板表面的圖樣以及所述標定模板的尺寸是預先設定好的；至少從4個不同方位和姿態(tài)獲取標定模塊的圖像信息；步驟1. 2，根據(jù)獲取的所述標定模塊的圖像信息，采用相機標定方法計算所述圖像傳感器1的鏡頭光學參數(shù)和所述圖像傳感器1的畸變參數(shù)；所述相機標定方法可以是非線性模型的相機標定方法或者線性模型的相機標定方法；例如，基于徑向約束的非線性相機標定方法(RAC)，參考文獻為《A versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses〉〉，Roger Y. Tsai, IEEE Journal of Robotics and Automation, Vol. RA-3, No. 4, August 1987，pages 323—344;張正友的基于2D靶標的攝像機標定算法，參考文獻《Z.amng. A flexible new technique for camera calibration)). I EEE Transactions on Pattern Analysis and Machine Intelligence，22(11) : 1330-1334，2000 ;折反式相機和魚眼相機的標定方法，參考文獻為dcaramuzza，D. (2008). 《Omnidirectional Vision :from Calibration to Robot Motion Estimation》ETH Zurich Thesis no.17635 ；步驟2，測算所述圖像傳感器1的姿態(tài)和位置參數(shù)；步驟2. 1，確定標定區(qū)域；—個所述標定區(qū)域?qū)谝粋€所述圖像傳感器1 ；所述標定區(qū)域中設置基準?？课恢茫龌鶞释？课恢糜扇舾苫鶞释？繀⒖季€限定而形成，該基準停靠參考線的形狀和坐標是預先設定，在標定時將汽車?？坑谠摶鶞释？课恢脙?nèi)，所述基準?？课恢门c汽車的外形特征相吻合，以保證汽車容易準確?？浚徊襟E2. 2，汽車置于基準?？课恢脙?nèi)；標定時汽車停靠在所述基準?？课恢脙?nèi)，并保持位置不變；步驟2. 3，在所述標定區(qū)域內(nèi)放置所述標定模板，所述圖像傳感器1獲取所述標定模板的圖像信息；所述標定模板以預先設定的姿態(tài)和位置放置，如水平放置、垂直放置、傾斜放置或上述姿態(tài)的組合；步驟2. 4，根據(jù)獲取的所述標定模板的圖像信息，采用所述相機標定方法計算所述圖像傳感器1的姿態(tài)和位置參數(shù)；即采用所述相機標定方法計算每個所述圖像傳感器1相對于所述標定模板的姿態(tài)旋轉(zhuǎn)量和位移量；由于所述標定模板在所述標定區(qū)域內(nèi)的位置和姿態(tài)都是已知的，汽車的尺寸信息是可以事先測量的，這樣每個所述圖像傳感器1的位置和姿態(tài)均可以計算出來，這樣就可以獲得獲得每一個所述圖像傳感器1的姿態(tài)參數(shù)和位移參數(shù)；如果在標定區(qū)域沒有設置所述基準?？繀⒖季€，將所述標定模塊放置在相鄰兩個所述圖像傳感器1的重疊區(qū)域中，使所述兩個圖像傳感器1都能同時拍攝到該標定模板的圖樣，同樣，所述標定模板的姿態(tài)和位置都是預先設定的，標定時進行各個所述圖像傳感器 1的兩兩定位，則可以依次計算出各個所述圖像傳感器的姿態(tài)參數(shù)和位移參數(shù)；圖6所示為第一個標定區(qū)域的例子，所述基準?？繀⒖季€61限定所述基準?？课恢?2(圖6中兩條基準?？繀⒖季€的交點62稱為參考點)，所述基準?？课恢迷O置在所述標定區(qū)域6內(nèi)，汽車?？吭谒龌鶞释？课恢脙?nèi)，在汽車的前、后、左、右四個方向各放置一所述標定模塊Al、A2、A3、A4，所述標定模塊Al、A2、A3、A4水平放置，標定時所述圖像傳感器1對水平面放置的標定模板進行拍攝；圖7所示為第二個標定區(qū)域的例子，汽車?？吭谒龌鶞释？课恢脙?nèi)，在汽車的前、后、左、右四個方向各放置一所述標定模塊Al、A2、A3、A4，所述標定模塊Al、A2、A3、A4 豎直放置，標定時所述圖像傳感器1對豎直放置的標定模板進行拍攝；事實上根據(jù)需要，所述標定模板可以采取豎直、水平或者以特定的姿態(tài)放置的組
I=I O繼續(xù)參見圖1，所述圖像處理單元2包括圖像采集單元21，與所述圖像傳感器1連接，采集所述圖像傳感器1獲取的汽車周邊環(huán)境的圖像信息；圖像畸變矯正單元22，與所述圖像采集單元21和所述標定單元5連接，根據(jù)所述標定單元5傳輸來的所述圖像傳感器1的鏡頭光學參數(shù)和所述圖像傳感器1的畸變參數(shù)， 以及所述圖像傳感器1的姿態(tài)和位置參數(shù)，對所述圖像傳感器1傳輸來的圖像信息進行畸變矯正；所述畸變由于所述圖像傳感器1的鏡頭畸變以及所述圖像傳感器1不理想產(chǎn)生， 所述畸變包括切向畸變、徑向畸變、薄棱鏡畸變、偏心畸變，所述畸變通過所述圖像傳感器1 的鏡頭光學參數(shù)(包括了光學系統(tǒng)不理想造成的畸變參數(shù))和所述圖像傳感器的畸變參數(shù)描述；所述圖像畸變矯正單元22采用插值或者卷積的方法矯正所述圖像傳感器1傳輸來的圖像信息進行畸變矯正；圖像防抖和圖像增強單元23，與所述圖像畸變矯正單元22連接，采用電子防抖和圖像增強算法對所述圖像畸變矯正單元22傳輸來的圖像信息進行處理，以提高圖像合成
質(zhì)量；視角變換單元M，分別與所述圖像防抖和圖像增強單元23、所述場景決策單元3 和所述標定單元5連接，根據(jù)所述場景決策單元3傳輸來的場景配置參數(shù)和所述標定單元 5傳輸來的所述圖像傳感器1的姿態(tài)參數(shù)和位置參數(shù)，對所述圖像防抖和圖像增強單元23 傳輸來的圖形信息進行處理，以形成特定視角的圖像信息；所述視角變換單元M根據(jù)所述場景決策單元3傳輸來的最佳場景視點和圖像比例，以及所述標定單元5傳輸來的所述圖像傳感器1的姿態(tài)參數(shù)和位置參數(shù)，對所述圖像防抖和圖像增強單元23傳輸來的圖形信息進行視角變換和圖像縮放，以形成特定視角的圖
象信息；
信
以線性攝像機模型(小孔成像模型)為例來描述此視角變換； u
AR',R 1A 式中[u ν]τ為視角變換前的圖像元素，即在原始視角下的圖像，[u' ν' ]τ為視角變換后的圖像元素，R1為原始旋轉(zhuǎn)單應矩陣，為圖像傳感器所在位置的旋轉(zhuǎn)矩陣和平移
和
為新視點旋轉(zhuǎn)單應矩陣，同樣由新的視點所在位置的旋轉(zhuǎn)矩陣和
furi3η矢量構成巧和巧為旋轉(zhuǎn)矩陣R =r21r27r23的第一個列矢量η =rIR;=[r,,r2,t'] J/31r32r3 ,_/3
rM
r22 r37
R；
7M00ayvO001
第二列矢量、 平移矩陣所構成； A為相機的內(nèi)部參數(shù)模型，定義為A =αχ, ay, u0, ν0, Y是線性模型內(nèi)部參數(shù)αχ, ay分別是u，ν軸的尺度因子，或稱為有效焦距α χ = f/dx, α y = f/dy, dx, dy分別為水平方向和垂直方向的像元間距；Utl，Vtl是光學中心;γ是u軸和ν軸的不垂直因子，很多情況下Y=O;圖像融合單元25，與所述視角變換單元M連接，對各個所述圖像傳感器1獲取的圖像以及汽車的圖像進行融合，形成汽車與周邊環(huán)境的合成圖像；所述圖像融合單元25采用的融合方法可以是直接將配準位置的來自兩個所述圖
11像傳感器1的圖像進行拼接；配準位置，即拼接線位置，依據(jù)兩個所述圖像傳感器1的視野范圍和清晰度范圍而決定，確保在拼接線兩側(cè)、來自兩個所述圖像傳感器1的圖像清晰度是一致，拼接線為弧型線或直線。圖像融合時可以選用直接將拼接線兩側(cè)的原始圖像通過搬移而形成融合后的圖像，拼接線可以顯示為特殊顏色和灰度，以利于監(jiān)控者確定拼接線位置，也可以不顯示拼接線，以不破壞圖像的整體性；所述圖像融合單元25采用的融合方法也可以是融合區(qū)域采用來自兩個相鄰區(qū)的圖像在同一個融合點進行加權平均，這樣在拼接區(qū)就不存在拼接線，圖象一致性會更好；在圖像融合時為了能夠使融合位置更加準確，需要對融合區(qū)域的圖像進行配準， 配準的方法為在拼接區(qū)域附近尋找圖像特征，如角點，輪廓，邊緣等特征，然后利用這些圖像特征對兩個圖像傳感器的圖像進行匹配，以尋找最佳的匹配線，然后圖像在該最佳匹配線上進行融合，以避免重影等情況的出現(xiàn)。融合時可以采用變權重的方式進行變權重融合， 在拼接區(qū)內(nèi)，圖像融合后的某一點的圖像，越遠離圖像傳感器的點在融合圖像中所占的權重越小，而來在同一位置來自另外一個圖像傳感器的圖像的權重則越大；所述圖像融合單元25在融合后的場景圖像中，需要增加汽車的俯視平面圖，或者俯視三維圖像，或者與所述決策單元3輸出的視角相一致的三維透視圖像，該圖像具有一定的透明程度，以顯示被設備遮蔽的周邊圖像信息，被監(jiān)控對象的透明程度可以手工設定， 同時被監(jiān)控對象圖像的顏色等的顏色也可以設定；所述圖像融合單元25除了將各個所述圖像傳感器1的圖像信息進行融合之外，還可增加諸如障礙物距離等附屬信息；可將外部傳感器的信號可以合并顯示在最終全景的場景圖像中，如距離信息，障礙物信息，等外部參數(shù)加以合并。所述輸出單元4與所述圖像融合25連接，用于輸出所述圖像融合25傳輸來的圖
像信息。參見圖8，所述圖像防抖和圖像增強單元23包括圖像防抖模塊231和圖像增強模塊 232 ；所述圖像防抖模塊231與所述圖像畸變矯正單元22連接，采用電子防抖算法消除幀間圖像模糊；由于汽車會不可避免發(fā)生振動，即所述圖像傳感器1會不斷發(fā)生抖動，因此，所述圖像傳感器1拍攝的圖像在不同的幀之間有可能會發(fā)生位置移動，如果不進行圖像防抖就會導致圖像模糊和拼縫錯誤，所述圖像防抖模塊231用于完成抖動的檢測和消除功能，以提高圖像融合和拼接的質(zhì)量；所述圖像增強模塊232與所述圖像防抖模塊231連接，采用圖像增強算法提高圖
像質(zhì)量。參見圖9，所述圖像防抖模塊231包括運動檢測模塊2311、運動估計模塊2312和運動補償模塊2313;所述運動檢測模塊2311與所述所述圖像畸變矯正單元22連接，采用運動檢測算法獲取圖像在不同幀之間發(fā)生的位置移動；常用的運動檢測算法包括投影法(PA Projection Algorithm)，代表點匹配算 ^ (RPM =Representative Point Matching)，位平面匹配法(BPM :Bit Plane Matching)等，采用上述方法，可以估算圖像在不同幀之間發(fā)生的平移量和旋轉(zhuǎn)量，或者變焦值；所述運動估計模塊2312與所述運動檢測模塊2311連接，對有效運動進行估計；所述運動估計模塊2312估計相鄰幀之間存在的運動參數(shù)，通過濾除隨機運動的影響，獲得有效全局運動矢量，并獲得序列幀的運動趨勢，得到實際的圖像偏移值、旋轉(zhuǎn)值以及縮放值等；所述運動補償模塊2313與所述運動估計模塊2312連接，根據(jù)所述運動估計模塊 2312計算得到的圖像的偏移、旋轉(zhuǎn)和縮放，對原始的圖像進行補償，以得到消除隨機抖動以后的圖像；當各個所述圖像傳感器1的振動可以忽略時，可以省去所述圖像防抖模塊231。繼續(xù)參見圖9，所述圖像增強模塊232包括圖像亮度調(diào)整模塊2321、圖像對此度增強模塊2322和圖像勾勒模塊2323 ；所述圖像亮度調(diào)整模塊2321與所述運動補償模塊2313連接，用于矯正由于各個所述圖像傳感器1的鏡頭的感光特征不一致而導致的圖像亮度差異，該差異將導致在融合后的圖像中存在明顯亮度不一致的區(qū)域；亮度調(diào)節(jié)系數(shù)可在本系統(tǒng)初次使用時通過在標定場景的亮度測量獲得，或者在本系統(tǒng)運行時實時計算得到，經(jīng)過亮度調(diào)整的圖像，在拼接時不會出現(xiàn)不同亮度的區(qū)域；所述圖像對比度增強模塊2322與所述圖像亮度調(diào)整模塊2321連接，用于對獲得的圖像進行對此度增強；當下雨、霧天或照明情況差時會導致所述圖像傳感器1拍攝到模糊降質(zhì)圖像，所述圖像對比度增強模塊2322就是用于處理由于此類原因造成的圖像劣化，以提高圖像的視覺效果；常見的圖像對比度增強算法包括直方圖均衡法(HE)，局部直方圖均衡法(AHE)， 非重疊塊直方圖均衡法(POSHE)，插值自適應直方圖均衡化，以及廣義直方圖均衡化方法， 通過上述算法均可以實現(xiàn)對圖像的局部信息的自適應對比度增強，以增加圖像的對比度， 提高降質(zhì)圖像的肉眼可辨識性，提高圖像的視覺效果；所述圖像勾勒模塊2323與所述圖像對此度增強模塊2322連接，用于對圖像邊緣進行勾勒和對障礙物進行突出及勾畫，以使圖像具有更強的可辨識性，對觀察者的目光進行有效的提示指引；在監(jiān)測操作過程中，操作有時需要使用眼睛余光觀察本系統(tǒng)，因此需要采用合適方法對圖像進行突出，可采用眾多的圖像邊緣算子對圖像的邊緣特征進行提取，并可以根據(jù)障礙物的特征對特殊的圖型進行特征檢測，以檢測特殊的物體，檢測到障礙物后，根據(jù)其邊緣的位置，對邊緣進行勾勒或者采用特殊形狀(圓形，長方形等)將障礙物標識與圖像中。是否采用圖像勾勒功能或者圖像勾勒的邊界線的顏色邊緣的粗細等可以通過操作人員進行控制，同時可以根據(jù)外部的傳感器數(shù)據(jù)，如障礙物距離等數(shù)據(jù)，對特殊區(qū)域進行勾畫；所述圖像增強模塊232可根據(jù)需要省去部分模塊，例如，當不需要對圖像進行邊緣勾勒時，可以省去所述圖像勾勒模塊2323，同樣地，所述亮度調(diào)整模塊2321和圖像對此度增強模塊2322也可以通過有選擇的省去。本發(fā)明提供的具有圖像增強功能的自適應場景圖像輔助系統(tǒng)，通過自適應的對被監(jiān)控物體周圍的環(huán)境進行判決，使操作人員能夠看到盡可能多的直觀有效信息，以有效提高安全性，在各種運動機械領域，也可以為操作者提供盡可能多的有效信息，提高生產(chǎn)效率。 以上顯示和描述了本發(fā)明的基本原理、主要特征和本發(fā)明的優(yōu)點。本行業(yè)的技術人員應該了解，本發(fā)明不受上述實施例的限制，上述實施例和說明書中描述的只是說明本發(fā)明的原理，在不脫離本發(fā)明精神和范圍的前提下本發(fā)明還會有各種變化和改進，這些變化和改進都落入要求保護的本發(fā)明范圍內(nèi)。
權利要求
1.一種具有圖像增強功能的自適應場景圖像輔助系統(tǒng)，其特征在于，包括圖像傳感器，安裝于被監(jiān)控物體上，用于獲取所述被監(jiān)控物體周邊環(huán)境的圖像信息，且任意相鄰兩個所述圖像傳感器存在互相重疊的視野區(qū)域，其中，所述被監(jiān)控物體是指需要本系統(tǒng)進行周圍環(huán)境監(jiān)控的設備；場景決策單元，根據(jù)所述被監(jiān)控物體的運動信息或/和操作者操作意圖信息，生成場景配置參數(shù)；標定單元，用于對所述圖像傳感器進行標定，生成所述圖像傳感器的標定參數(shù)；圖像處理單元，分別與所述圖像傳感器、場景決策單元和標定單元連接，接收所述圖像傳感器傳輸?shù)膱D像信息，并根據(jù)所述場景決策單元傳輸來的場景配置參數(shù)以及所述標定單元傳輸來的所述圖像傳感器的標定參數(shù)，對所述圖像傳感器傳輸?shù)膱D像信息進行處理；輸出單元，與所述圖像處理單元連接，用于輸出所述圖像處理單元傳輸來的圖像信號。
2.如權利要求1所述的具有圖像增強功能的自適應場景圖像輔助系統(tǒng)，其特征在于， 所述被監(jiān)控物體的運動信息或/和操作者操作意圖信息包括速度信號、檔位信號、轉(zhuǎn)向趨勢信號、加速度信號和轉(zhuǎn)向燈信號。
3.如權利要求1所述的具有圖像增強功能的自適應場景圖像輔助系統(tǒng)，其特征在于， 所述場景配置參數(shù)包括最佳場景視點和圖像比例。
4.如權利要求3所述的具有圖像增強功能的自適應場景圖像輔助系統(tǒng)，其特征在于， 所述場景決策單元采用自適應方式進行最佳場景視點的選取，根據(jù)運動趨勢方向以確定視點方向，根據(jù)運動速度以確定視點的距離，由視點方向和視點距離構成自適應的視角。
5.如權利要求3所述的具有圖像增強功能的自適應場景圖像輔助系統(tǒng)，其特征在于， 所述場景決策單元預先設定好若干個固定位置作為最佳場景視點，再根據(jù)被監(jiān)控物體的運動方向和轉(zhuǎn)向趨勢，選擇其中某個最佳場景視點。
6.如權利要求3所述的具有圖像增強功能的自適應場景圖像輔助系統(tǒng)，其特征在于， 所述圖像此例為一定值或者一個與距離有關的函數(shù)。
7.如權利要求1所述的具有圖像增強功能的自適應場景圖像輔助系統(tǒng)，其特征在于， 所述圖像處理單元包括；圖像采集單元，與所述圖像傳感器連接，采集所述圖像傳感器獲取的被監(jiān)控物體周邊環(huán)境的圖像信息；圖像畸變矯正單元，與所述圖像采集單元和所述標定單元連接，根據(jù)所述標定單元傳輸來的所述圖像傳感器的標定參數(shù)，對所述圖像傳感器傳輸來的圖像信息進行畸變矯正；圖像防抖和圖像增強單元，與所述圖像畸變矯正單元連接，采用電子防抖和圖像增強算法對所述圖像畸變矯正單元傳輸來的圖像信息進行處理，以提高圖像合成質(zhì)量；視角變換單元，分別與所述圖像防抖和圖像增強單元、所述場景決策單元和所述標定單元連接，根據(jù)所述場景決策單元傳輸來的場景配置參數(shù)和所述標定單元傳輸來的所述圖像傳感器的標定參數(shù)，對所述圖像防抖和圖像增強單元傳輸來的圖形信息進行處理，以形成特定視角的圖像信息；圖像融合單元，與所述視角變換單元連接，對各個所述圖像傳感器獲取的圖像以及汽車的圖像進行融合，形成汽車與周邊環(huán)境的合成圖像。
8.如權利要求7所述的具有圖像增強功能的自適應場景圖像輔助系統(tǒng)，其特征在于，所述圖像防抖和圖像增強單元包括圖像防抖模塊和圖像增強模塊；所述圖像防抖模塊與所述圖像畸變矯正單元連接，采用電子防抖算法消除幀間圖像模糊；所述圖像增強模塊與所述圖像防抖模塊連接，采用圖像增強算法提高圖像質(zhì)量。
9.如權利要求8所述的具有圖像增強功能的自適應場景圖像輔助系統(tǒng)，其特征在于， 所述圖像防抖模塊包括運動檢測模塊、運動估計模塊和運動補償模塊；所述運動檢測模塊與所述所述圖像畸變矯正單元連接，采用運動檢測算法獲取圖像在不同幀之間發(fā)生的位置移動；所述運動估計模塊與所述運動檢測模塊連接，對有效運動進行估計； 所述運動補償模塊與所述運動估計模塊連接，根據(jù)所述運動估計模塊的計算結(jié)果，對原始的圖像進行補償，以得到消除隨機抖動以后的圖像。
10.如權利要求8所述的具有圖像增強功能的自適應場景圖像輔助系統(tǒng)，其特征在于， 所述圖像增強模塊包括圖像亮度調(diào)整模塊、圖像對比度增強模塊和圖像勾勒模塊；所述圖像亮度調(diào)整模塊與所述運動補償模塊連接，用于矯正由于各個所述圖像傳感器的鏡頭的感光特征不一致而導致的圖像亮度差異；所述圖像對此度增強模塊與所述圖像亮度調(diào)整模塊連接，用于對獲得的圖像進行對此度增強；所述圖像勾勒模塊與所述圖像對比度增強模塊連接，用于對圖像邊緣進行勾勒和對障礙物進行突出及勾畫，以使圖像具有更強的可辨識性。
11.如權利要求1或7所述的具有圖像增強功能的自適應場景圖像輔助系統(tǒng)，其特征在于，所述圖像傳感器的標定參數(shù)包括所述圖像傳感器的鏡頭光學參數(shù)和所述圖像傳感器的畸變參數(shù)，以及所述圖像傳感器的姿態(tài)和位置參數(shù)。
全文摘要
本發(fā)明的具有圖像增強功能的自適應場景圖像輔助系統(tǒng)包括圖像傳感器，安裝于被監(jiān)控物體上，用于獲取所述被監(jiān)控物體周邊環(huán)境的圖像信息；場景決策單元，根據(jù)所述被監(jiān)控物體的運動信息或/和操作者操作意圖信息，生成場景配置參數(shù)；標定單元，用于對所述圖像傳感器進行標定，生成所述圖像傳感器的標定參數(shù)；圖像處理單元，分別與所述圖像傳感器、場景決策單元和標定單元連接，接收所述圖像傳感器傳輸?shù)膱D像信息，對所述圖像傳感器傳輸?shù)膱D像信息進行處理；輸出單元，與所述圖像處理單元連接。本發(fā)明的具有圖像增強功能的自適應場景圖像輔助系統(tǒng)能夠根據(jù)監(jiān)控物體運動趨勢提供自適應的場景變化以及對圖像進行增強處理，以提供更有效的信息。
文檔編號G06T5/00GK102196242SQ20111003875
公開日2011年9月21日 申請日期2011年2月11日 優(yōu)先權日2010年2月12日
發(fā)明者王炳立 申請人:王炳立