一種管道視頻檢測的自動光源系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供了包括視頻采集模塊，光環(huán)境評價模塊，光源控制模塊裝置的一種管道檢測機器人視頻檢測的自動光源系統(tǒng)。該系統(tǒng)采用圖像處理結合神經網絡的方法將光照評價融合于管道視頻檢測過程之中，通過光源提供光照，視頻采集產生取樣圖像，進行圖像處理評價光照效果，結合神經網絡算法產生控制信號反饋光照調節(jié)的閉環(huán)控制方式，實現(xiàn)自動光源的自動光照調整。在視頻檢測過程中，采用均勻間隔采樣的方式采集檢測圖像，運用灰度統(tǒng)計直方圖進行光照亮度的反映，根據(jù)灰度分布的統(tǒng)計特征，運用神經網絡進行光照評價并運算產生反饋控制信號進行光源亮度調節(jié)，實現(xiàn)管道光源調整的高效化，優(yōu)質化。
【專利說明】一種管道視頻檢測的自動光源系統(tǒng)
【技術領域】
[0001]本發(fā)明涉及管道視頻檢測的自動光源系統(tǒng)，具體涉及上位機和下位機的通訊方式，基于圖像處理技術和神經網絡算法對檢測環(huán)境光照的評價，光源系統(tǒng)光照的控制和調整方法。
【背景技術】
[0002]目前，我國很多管道機器人對管道進行檢測采用的都是視頻檢測方法(ClosedCircuit Television，簡稱CCTV)，而在視頻檢測過程中，光源系統(tǒng)提供的光照環(huán)境對視頻成像影響很大，影響著視頻觀看的效果以及運用圖像處理技術對管道進行測量的質量。
[0003]現(xiàn)有CCTV檢測用的光源系統(tǒng)是以人工方式進行控制的，工作人員在控制機器人運動和攝像頭觀察角度的同時需要根據(jù)經驗對光源系統(tǒng)進行調節(jié)，以滿足檢測過程中的光照需求，費時費力，而且由于管道環(huán)境和檢測的復雜性，往往操作中視頻界面會出現(xiàn)一會過暗，一會又曝光過度產生眩目感的情況，增加了操作人員在看視頻時的視覺疲勞感，這都制約著機器人的管道檢測效率。在通過圖像處理技術對管道進行檢測方面上，大多都是針對于采集的圖像進行直接的變換、分割、分析來實現(xiàn)識別和測量，忽略了光照環(huán)境可調節(jié)的影響，雖然圖像處理技術已經有很多算法能夠實現(xiàn)圖像亮度的調節(jié)和各種檢測與分割，但是結合光源系統(tǒng)實現(xiàn)合適的環(huán)境光照，得到優(yōu)質的圖像，無論從視覺效果還是檢測精度方面，都會有更好的效果。

【發(fā)明內容】

[0004]本發(fā)明的一個目的，是提供一種管道檢測環(huán)境照明情況下對光照進行智能調整的控制方式和方法。
[0005]本發(fā)明的該目的通過以下技術方案來實現(xiàn):
[0006]管道視頻檢測的自動光源系統(tǒng)包括圖像采集模塊，圖像處理及反饋控制信號模塊、光源控制模塊三部分。本系統(tǒng)通過管道機器人的CXD攝像頭進行圖像采集，通過USB線傳輸給上位機進行圖像處理。上位機同時通過MAX232串行通訊接口與下位機的光照控制單元進行通訊，根據(jù)圖像處理及控制算法獲得的結果反饋光照控制信號，由下位機根據(jù)信號實現(xiàn)相應的光照調節(jié)。
[0007]本系統(tǒng)的上位機采用筆記本電腦，外連管道檢測攝像頭及光照控制單元，實現(xiàn)圖像采集和光源亮度控制，內裝配套功能的專用軟件，實現(xiàn)采集圖像的處理和控制信號的輸出，軟件提供各器件的驅動及管道視頻視頻成像界面，評價信息界面及控制信息界面。與上位機相連的圖像采集模塊采用成品CCD攝像頭，下位機光照控制模塊采用ATmegaie單片機作為主控制器，通過固定端口輸出不同占空比的PWM波信號實現(xiàn)光照電流的輸出和調整。
[0008]本發(fā)明技術方案突出的實質性特點和顯著的進步主要體現(xiàn)在:
[0009]采用圖像采集和圖像處理方式結合自組織特征映射神經網絡算法對光照系統(tǒng)進行控制，將光照控制融合到管道機器人視頻檢測過程中，實時高效；采用交互反饋、相互促進策略將光照調整，視頻檢測，圖像處理與測量幾個方面聯(lián)系起來，形成相互促進相互優(yōu)化的效果:光照的優(yōu)化調整給予工作人員優(yōu)良的管道檢測觀察效果，同時利于通過圖像處理進行相關測量數(shù)據(jù)的獲得，通過圖像處理對圖像不同灰度區(qū)間的像素比例進行統(tǒng)計作為圖像亮度的特征輸入到神經網絡中進行分類和評價，并利用自組織特征映射神經網絡權值形成的拓撲結構作為光照亮度調節(jié)的搜索路徑，實現(xiàn)模糊方式的快速調節(jié)，優(yōu)化了管道視頻檢測的光源調節(jié)的算法問題；在操作界面中，采用盡最大可視化、友好化的宗旨，集實時視頻顯示，檢測環(huán)境評價(光照評價、神經網絡神經元分布與調節(jié)跟蹤)，控制信息實時顯示，數(shù)據(jù)與控制信息存儲歷史，畫面軟件優(yōu)化等功能界面于一體，便于操作和記錄，提供更好的管道檢測平臺。
[0010]根據(jù)本發(fā)明的一個方面，提供了一種管道檢測視頻的自動光源系統(tǒng)，其特征在于包括:
[0011]視頻采集單元，用于實時采集觀察角度的管道環(huán)境圖像；
[0012]圖像處理單元，用于接收來自視頻采集單元的管道環(huán)境圖像信號，進行光照評價并輸出對光源的反饋控制信號；
[0013]光源控制單元，用于根據(jù)所述反饋控制信號，進行光源照明的亮度調整。
[0014]根據(jù)本發(fā)明的另一個方面，提供了一種管道檢測視頻的自動光源亮度控制方法，其特征在于包括:
[0015]A)用視頻采集單元實時采集觀察角度的管道環(huán)境圖像；
[0016]B)用圖像處理單元接收來自視頻采集單元的管道環(huán)境圖像信號，進行光照評價并輸出對光源的反饋控制信號；
[0017]C)用光源控制單元，根據(jù)所述反饋控制信號，進行光源照明的亮度調整。
【專利附圖】

【附圖說明】
[0018]圖1是根據(jù)本發(fā)明的一個實施例的系統(tǒng)工作流程圖。
[0019]圖2是根據(jù)本發(fā)明的一個實施例的圖像處理單元工作流程之采集圖像獲取灰度特征流程圖。
[0020]圖3是根據(jù)本發(fā)明的一個實施例的圖像處理單元工作之神經網絡工作流程圖。
[0021]圖4是根據(jù)本發(fā)明的一個實施例的圖像處理單元軟件系統(tǒng)功能模塊組成示意圖。
[0022]圖5是根據(jù)本發(fā)明的一個實施例的光源控制單元電路圖。
[0023]圖6是根據(jù)本發(fā)明的一個實施例的光源控制單元控制方法流程圖。
[0024]圖7是根據(jù)本發(fā)明的一個實施例的系統(tǒng)裝置配置示意圖。
【具體實施方式】
[0025]如圖1所示，根據(jù)本發(fā)明的一個實施例的管道視頻檢測機器人的自動光源系統(tǒng)包括:視頻采集單元101、圖像處理單元102、光源控制單元103,各單元協(xié)調動作,交互促進。
[0026]視頻采集單元101在管道視頻檢測機器人運行過程中對管道內的圖象信息進行視頻采集，并將采集到的視頻信息通過線纜傳輸給圖像處理單元102。
[0027]根據(jù)本發(fā)明的一個實施例，圖像處理單元102包括上位機中加載的多個功能模塊(如圖4所示),包括:[0028]-視頻顯示功能模塊(401)，用于實時的以視頻界面的方式于上位機顯示管道檢測視頻信息；
[0029]-灰度直方圖評價模塊(402)根據(jù)視頻圖像提供圖像灰度化后的灰度分布信息；
[0030]-控制信息顯示模塊(403)，用于對于上位機對下位機的反饋控制信號，和下位機對光源的亮度控制信息，進行整合記錄及實時顯示；
[0031]-神經網絡功能模塊(404)，其為系統(tǒng)的核心模塊，用于通過對資料信息的學習形成對光照情況的分類，形成并顯示具有特征學習的神經網絡拓撲結構，以此作為控制搜索的選擇路徑，根據(jù)采集圖像的特征向量沿神經網絡結構進行調節(jié)控制，實現(xiàn)快速模糊控制；
[0032]-控制狀態(tài)選擇模塊(405)，其具有對光源進行人工手動調節(jié)和自動調節(jié)的切換功能，用于進行自動調節(jié)和手動調節(jié)，自動調節(jié)即根據(jù)視頻檢測調整合適光照，手動調節(jié)則通過人機交互界面進行控制，通過鼠標滾輪對PWM占空比進行調節(jié)以控制亮度。
[0033]圖2和圖3是根據(jù)本發(fā)明的一個實施例的圖像處理單元102的工作流程圖。圖像處理單元102的工作包括采集圖像獲取灰度特征向量(圖2)和輸入神經網絡進行光照分類并產生控制信號(圖3)的兩個部分。
[0034]如圖2所示，根據(jù)本發(fā)明的一個實施例的圖像處理單元102以均勻時間間隔從獲得的視頻采集一幀圖像(步驟201 )，在該時間間隔內完成圖像灰度化(步驟202)，一方面在顯不界 面輸出灰度直方圖反映光照環(huán)境的灰度分布情況(203), —方面對灰度圖的如[0，46)、[46，233]、(233，256]的三個灰度區(qū)間的像素數(shù)ma、mb、m。與圖像總像素數(shù)A相除的結果進行統(tǒng)計，從而運算產生特征向量P (a，b，c) (204)。而上述三個灰度區(qū)間的選擇是以管道環(huán)境進行圖像采集和實驗統(tǒng)計獲得的。
[0035]根據(jù)本發(fā)明的一個實施例的本系統(tǒng)的神經網絡為自組織特征映射神經網絡，并以大量的實驗圖片的特征向量進行訓練，同時對于人工判斷為合適光照的圖片進行標記，將因其獲得興奮的神經元標記為有效神經元，訓練結束后成形為一個具有有效神經元和非有效神經元的神經網絡。如圖3所示，根據(jù)本發(fā)明的一個實施例，在實時檢測中，將采集圖像的特征向量輸入神經網絡(301)，獲得相應興奮的步進神經元，判斷該神經元是否有效神經元；如果“是”，則不對光照進行改變(302);如果“否”，則搜索最近的第二灰度區(qū)間比例增大的神經元為參考神經元(303)，比較該神經元與參考神經元的第三灰度區(qū)間比例差值的正/負，對應的通過串口通訊向下位機發(fā)送光源的減弱/增強信號(如果差值為零則搜索次近神經元重復進行判斷和信號發(fā)送)(304，305);繼續(xù)采集并獲得光照變化后的圖像特征向量并獲得新興神經元(306);判斷相應的步進神經元是否有效神經元，若“否”則繼續(xù)重復上述步驟進行搜索(307)，若“是”則進行試探是否需穩(wěn)定于此，其策略為沿上一步光照調節(jié)方式繼續(xù)進行(308)，根據(jù)新的步進神經元是否仍為有效神經元來判斷是否肯定試探過程，如果“否”，則否決試探，返回上一步的調節(jié)狀態(tài)結束本階段循環(huán)(310)，如果“是”則肯定并繼續(xù)進行試探(310)，直至判斷為否而結束本階段循環(huán)。
[0036]圖5是根據(jù)本發(fā)明的一個實施例的光源控制單元電路圖。光源控制單元103采用ATmegal6作為下位機處理芯片進行光源亮度控制,單片機采用最小系統(tǒng)，由外部晶振電路((:4、05、乂1)、復位電路、三極管放大驅動電路(01、1?1、1?2、1?3、(:1、02、03、01)、串口通訊電路(MAX232、Jl)四部分組成。單片機通過21端口(PD7/0C2)加載三極管驅動電路對LED燈輸出PWM信號波，通過改變信號占空比實現(xiàn)對燈光亮度的調節(jié)。單片機通過端口 14 (PDO/RXD)、15 (PD1/TXD)外接MAX232與上位機串口實現(xiàn)串口通訊，單片機用查詢方式獲取上位機信號，當上位機通過串口 Jl向單片機發(fā)送光源控制信號時，MAX232進行電位轉換由發(fā)送至14端口，單片機根據(jù)信號改變21端口 PWM信號占空比實現(xiàn)亮度調節(jié)，并通過15端口發(fā)送占空比狀態(tài)，呈現(xiàn)于人機交互界面中。
[0037]圖6是根據(jù)本發(fā)明的一個實施例的光源控制單元控制方法流程圖。如圖6所示，根據(jù)本發(fā)明的一個具體實施例，啟動光源控制單元103進行光照，下位機處理芯片進行初始化(601 )，根據(jù)管道環(huán)境信息的統(tǒng)計和實驗，設置初始化PWM波占空比為0.8，采用為256級可調節(jié)占空比亮度控制；下位機不斷通過串口查詢上位機是否有中斷反饋信號(602)，當有信號時，則通過串口通訊將操作指令傳輸給單片機(603)，單片機根據(jù)信號改變PWM波的占空比輸出(604)，實現(xiàn)對進行相應的光照增強/減弱調節(jié)，并反饋即時的PWM狀態(tài)以呈現(xiàn)于人機交互界面(605 )，如此實現(xiàn)快速有效的光照亮度控制的執(zhí)行。
[0038]以上僅是本發(fā)明的具體應用范例，對本發(fā)明的保護范圍不構成任何限制。凡采用等同變換或者等效替換而形成的技術方案，均落在本發(fā)明權利保護范圍之內。
【權利要求】
1.管道檢測視頻的自動光源系統(tǒng)，其特征在于包括: 視頻采集單元(101)，用于實時采集觀察角度的管道環(huán)境圖像； 圖像處理單元(102)，用于接收來自視頻采集單元(101)的管道環(huán)境圖像信號，進行光照評價并輸出對光源的反饋控制信號； 光源控制單元(103 )，用于根據(jù)所述反饋控制信號，進行光源照明的亮度調整。
2.根據(jù)權利要求1的自動光源系統(tǒng)，其特征在于所述圖像處理單元(102)包括用于進行如下操作的部分: -視頻顯示功能模塊(401)，用于以視頻界面的方式于上位機顯示管道檢測視頻信息；-灰度直方圖評價模塊(402)，用于對所述管道檢測視頻信息進行灰度化，并提供圖像灰度化后的灰度分布信息； -控制信息顯示模塊(403)，用于對上位機對下位機的反饋控制信號，和下位機對光源的亮度控制信息，進行整合記錄及實時顯示； -神經網絡功能模塊(404)，用于通過對資料信息的學習形成對光照情況的分類，形成并顯示具有特征學習的神經網絡拓撲結構，以此作為控制搜索的選擇路徑，根據(jù)采集圖像的特征向量沿神經網絡結構進行調節(jié)控制，實現(xiàn)快速模糊控制； -控制狀態(tài)選擇模塊(405 )，用于控制亮度。
3.根據(jù)權利要求2的自動光源系統(tǒng)，其特征在于所述灰度直方圖評價模塊(402)對灰度圖的三個預定的灰度區(qū)間的像素數(shù)(ma、mb、m。)與圖像總像素數(shù)(A)相除的結果進行統(tǒng)計，從而運算產生特征向量(P(a，b，c))(步驟204)，其中上述三個灰度區(qū)間的選擇是以管道環(huán)境進行圖像采集和實驗統(tǒng)計獲得的。
4.根據(jù)權利要求3的自動光源系統(tǒng)，其特征在于所述神經網絡功能模塊(404) 將采集圖像的特征向量輸入神經網絡(步驟301)，獲得相應興奮的步進神經元； 判斷上述神經元是否有效神經元，如“是”則不對光照進行改變(步驟302)，如“否”則搜索最近的第二灰度區(qū)間比例增大的神經元為參考神經元(步驟303)，并比較該比例增大的神經元與參考神經元的第三灰度區(qū)間比例差值的正/負，并通過串口通訊向下位機發(fā)送光源的減弱/增強信號，(步驟304和305)； 繼續(xù)采集并獲得光照變化后的圖像特征向量并獲得新興神經元(步驟306)； 判斷相應的步進神經元是否有效神經元，若“否，，則繼續(xù)重復上述步驟進行搜索(步驟307)，若“是”則進行試探是否需穩(wěn)定于此，其策略為沿上一步光照調節(jié)方式繼續(xù)進行(步驟308)，根據(jù)新的步進神經元是否仍為有效神經元來判斷是否肯定試探過程，如“否”則否決試探并返回上一步的調節(jié)狀態(tài)結束本階段循環(huán)(步驟310)，如“是”則肯定并繼續(xù)進行試探(步驟310)直至判斷為否而結束本階段循環(huán)。
5.根據(jù)權利要求4的自動光源系統(tǒng),其特征在于 控制狀態(tài)選擇模塊(405)具有對光源進行人工手動調節(jié)和自動調節(jié)的切換功能，用于進行自動調節(jié)和手動調節(jié)， 自動調節(jié)即根據(jù)視頻檢測調整合適光照，手動調節(jié)則通過人機交互界面進行控制，通過鼠標滾輪對PWM占空比進行調節(jié)以控制亮度； 所述光源控制單元(103)包括用于進行如下操作的部分: 通過單片機控制輸出不同占空比的PWM信號產生光照效果， 接收所述反饋控制信號，進行光源照明的亮度調整， 所述光源控制單元通過ATmegal6單片機于端口產生不同占空比的PWM信號來控制光源光照強弱，可實現(xiàn)256級的不同占空比輸出亮度控制。
6.管道檢測視頻的自動光源亮度控制方法，其特征在于包括: A)用視頻采集單元(101)實時采集觀察角度的管道環(huán)境圖像； B)用圖像處理單元(102)接收來自視頻采集單元(101)的管道環(huán)境圖像信號，進行光照評價并輸出對光源的反饋控制信號； C)用光源控制單元(103)，根據(jù)所述反饋控制信號，進行光源照明的亮度調整。
7.根據(jù)權利要求6的方法，其特征在于所述步驟B)包括: BI)以視頻界面的方式于上位機顯示管道檢測視頻信息； B2)對所述管道檢測視頻信息進行灰度化，并提供圖像灰度化后的灰度分布信息； B3)對上位機對下位機的反饋控制信號，和下位機對光源的亮度控制信息，進行整合記錄及實時顯示； B4)通過對資料信息的學習形成對光照情況的分類，形成并顯示具有特征學習的神經網絡拓撲結構，以此作為控制搜索的選擇路徑，根據(jù)采集圖像的特征向量沿神經網絡結構進行調節(jié)控制，實現(xiàn)快速模糊控制； B5)進行亮度控制。`
8.根據(jù)權利要求7的方法，其特征在于所述步驟B2)包括: 對灰度圖的三個預定的灰度區(qū)間的像素數(shù)(ma、mb、m。)與圖像總像素數(shù)(A)相除的結果進行統(tǒng)計，從而運算產生特征向量(P(a，b，c))(步驟204)，其中上述三個灰度區(qū)間的選擇是以管道環(huán)境進行圖像采集和實驗統(tǒng)計獲得的。
9.根據(jù)權利要求8的方法，其特征在于所述步驟B4)包括: 將采集圖像的特征向量輸入神經網絡(步驟301)，獲得相應興奮的步進神經元； 判斷上述神經元是否有效神經元，如“是”則不對光照進行改變(步驟302)，如“否”則搜索最近的第二灰度區(qū)間比例增大的神經元為參考神經元(步驟303)，并比較該比例增大的神經元與參考神經元的第三灰度區(qū)間比例差值的正/負，并通過串口通訊向下位機發(fā)送光源的減弱/增強信號，(步驟304和305)； 繼續(xù)采集并獲得光照變化后的圖像特征向量并獲得新興神經元(步驟306)； 判斷相應的步進神經元是否有效神經元，若“否”則繼續(xù)重復上述步驟進行搜索(步驟307)，若“是”則進行試探是否需穩(wěn)定于此，其策略為沿上一步光照調節(jié)方式繼續(xù)進行(步驟308)，根據(jù)新的步進神經元是否仍為有效神經元來判斷是否肯定試探過程，如“否”則否決試探并返回上一步的調節(jié)狀態(tài)結束本階段循環(huán)(步驟310)，如“是”則肯定并繼續(xù)進行試探(步驟310)直至判斷為否而結束本階段循環(huán)。
10.根據(jù)權利要求9的方法，其特征在于進一步包括 根據(jù)視頻檢測調整合適光照，和/或通過人機交互界面進行控制以通過鼠標滾輪對PWM占空比進行調節(jié)以控制亮度； 其中 所述步驟C)包括: 通過單片機控制輸出不同占空比的PWM信號產生光照效果，接收所述反饋控制信號，進行光源照明的亮度調整。
【文檔編號】G06N3/02GK103679266SQ201310629662
【公開日】2014年3月26日 申請日期:2013年11月29日 優(yōu)先權日:2013年11月29日
【發(fā)明者】李天劍, 劉相權, 王會香 申請人:北京信息科技大學