專利名稱：圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理方法、特別是將環(huán)狀圖像變換成全景展開圖像時(shí)的修正方法。
背景技術(shù)：
在現(xiàn)有技術(shù)中，使用內(nèi)視鏡等全方位攝像裝置對(duì)孔的側(cè)壁面進(jìn)行拍攝，并根據(jù)拍攝到的圖像，檢查缺陷及損傷等。這時(shí)，一般的方法是將拍攝到的環(huán)狀圖像變換成全景展開圖像。在進(jìn)行這種變換時(shí)，當(dāng)全方位攝像裝置的光軸與孔的中心軸發(fā)生偏移時(shí)，需要進(jìn)行修正處理。作為這種修正處理，在日本特開2000-331168號(hào)公報(bào)中公開了如下內(nèi)容攝像機(jī)拍攝管渠內(nèi)表面時(shí)，進(jìn)行數(shù)據(jù)匹配處理，求出攝像機(jī)的光軸與管渠的中心軸之間的偏移量。然而，在上述日本特開2000-331168號(hào)公報(bào)中記載的技術(shù)中，需要事先對(duì)作為基準(zhǔn)的圖像數(shù)據(jù)進(jìn)行保存，該圖像數(shù)據(jù)是·使攝像機(jī)的光軸與管渠的中心線相一致地設(shè)置該攝像機(jī)時(shí)的狀態(tài)下的圖像數(shù)據(jù)。因此，在產(chǎn)品的批次產(chǎn)生變化時(shí)或者更換鏡頭時(shí)，需要重新獲取作為基準(zhǔn)的圖像數(shù)據(jù)。而且，數(shù)據(jù)匹配處理需時(shí)較長(zhǎng)。

發(fā)明內(nèi)容
鑒于上述問題，本發(fā)明的目的在于提供一種圖像處理方法，根據(jù)該圖像處理方法，無需事先保存作為基準(zhǔn)的圖像數(shù)據(jù)，并且能夠簡(jiǎn)單地對(duì)光軸和孔的中心軸之間的位置偏移進(jìn)行修正，進(jìn)而轉(zhuǎn)換成全景展開圖像。本發(fā)明為一種圖像處理方法，在對(duì)通過全方位攝像裝置拍攝孔的側(cè)壁面而得到的環(huán)狀圖像進(jìn)行極坐標(biāo)變換來生成全景展開圖像時(shí)，對(duì)所述全方位攝像裝置的光軸與所述孔的中心軸之間的位置偏移引起的變形進(jìn)行修正，該圖像處理方法的特征在于，具備以下步驟從所述環(huán)狀圖像中提取內(nèi)圓以及外圓；分別求出所提取的所述內(nèi)圓以及外圓的中心；和，使在進(jìn)行所述極坐標(biāo)變換時(shí)作為基準(zhǔn)的處理中心在所述內(nèi)圓中心和所述外圓中心之間依次移動(dòng)，同時(shí)變換成全景展開圖像。根據(jù)本發(fā)明，通過讓在進(jìn)行極坐標(biāo)變換時(shí)作為基準(zhǔn)的處理中心在內(nèi)圓中心和外圓中心之間依次移動(dòng)，同時(shí)變換成全景展開圖像，來對(duì)全方位攝像裝置的光軸與孔的中心軸之間的位置偏移所引起的變形進(jìn)行了修正。所以，能夠根據(jù)環(huán)狀圖像數(shù)據(jù)自身對(duì)由所述位置偏移引起的變形進(jìn)行修正。所以，沒有必要像上述日本特開2000-331168號(hào)公報(bào)中所述的那樣，事先對(duì)修正數(shù)據(jù)進(jìn)行保存。在產(chǎn)品的批次產(chǎn)生變化時(shí)或者更換鏡頭時(shí)，無需獲取作為基準(zhǔn)的圖像數(shù)據(jù)。因此，不必進(jìn)行在不產(chǎn)生位置偏移的條件下將全方位攝像裝置設(shè)置到孔內(nèi)這種難度較高的作業(yè)。而且，沒有必要進(jìn)行數(shù)據(jù)匹配處理等需時(shí)較長(zhǎng)的處理，能夠通過簡(jiǎn)單的處理對(duì)位置偏移引起的變形進(jìn)行修正。另外，在本發(fā)明中，孔包括管道的孔。


圖1是表示通過本發(fā)明實(shí)施方式中的全方位攝像系統(tǒng)對(duì)孔側(cè)壁面進(jìn)行拍攝時(shí)的狀態(tài)的示意圖。圖2是表示存在中心位置偏移的環(huán)狀圖像的示意圖。圖3是表示存在中心位置偏移的全景展開圖像的示意圖。圖4是表示在垂直方向上存在變形的鏡頭所形成的環(huán)狀圖像的示意圖。圖5是表示利用全方位攝像系統(tǒng)進(jìn)行處理的流程圖。圖6是表示修正后的全景展開圖像的示意圖。符號(hào)說明10 :全方位攝像裝置；11 :廣角鏡頭；12 :圖像傳感器；20 :圖像處理裝置；21 :圓形圖像輸入部；22 :圖像變換部；23 :展開圖像輸出部；24 :修正數(shù)據(jù)獲取部；30 :顯示裝置；100 :全方位攝像系統(tǒng)；H :孔；L1 :全方位攝像裝直的光軸；L2 :孔的中心軸。
具體實(shí)施例方式參照附圖，說明本發(fā)明的實(shí)施方式。這里，如圖1所示，舉例說明利用全方位攝像系統(tǒng)100從上方對(duì)作為被拍攝物體的孔H內(nèi)的側(cè)壁面(以下也稱孔壁面)進(jìn)行拍攝的情形。另外，孔H例如可以是用于設(shè)置燃料噴射裝置(噴射器)的孔。但是不限定其用途、形狀、孔徑以及深度等。例如，孔H可以是貫穿孔，也可以是具有底面的孔。另外，孔H可以是孔徑固定的直孔，也可以是孔徑是逐漸變化的錐孔。全方位攝像系統(tǒng)100由全方位攝像裝置10、圖像處理裝置20以及顯示裝置30構(gòu)成。全方位攝像裝置10拍攝孔H在四周360度全方位上存在的側(cè)壁面，輸出圓形圖像數(shù)據(jù)。全方位攝像裝置10具備能夠進(jìn)行360度拍攝的廣角鏡頭(全方位攝像鏡頭)11、經(jīng)由經(jīng)由該廣角鏡頭11輸入入射光的圖像傳感器12等。廣角鏡頭11配設(shè)在圖像傳感器12的受光面下方。由此，通過廣角鏡頭11形成的圓形的像在圖像傳感器12的受光面上成像。CCD、CMOS等組成的受光元件以二維方式排列，形成圖像傳感器12，各受光元件輸出與受光量相應(yīng)的數(shù)值。由此，圖像傳感器12生成亮度分布數(shù)據(jù)，該亮度分布數(shù)據(jù)具有由多個(gè)受光元件輸出的多個(gè)受光量的數(shù)值。由圖像傳感器12生成的圓形的亮度分布數(shù)據(jù)被進(jìn)行A/D轉(zhuǎn)換，作為圓形圖像數(shù)據(jù)輸出到圖像輸出裝置20。圖像處理裝置20作為其功能塊具有圓形圖像輸入部21、圖像變換部22、展開圖像輸出部23以及修正數(shù)據(jù)獲取部24。另外，圖像處理裝置20由具備CPU、R0M、RAM、圖像存儲(chǔ)器等的所謂的微型計(jì)算機(jī)構(gòu)成。從全方位攝像裝置10被輸入的圓形圖像數(shù)據(jù)經(jīng)由圓形圖像輸入部21被讀入到圖像處理裝置20中。被讀入到圖像處理裝置20中的圓形圖像數(shù)據(jù)在圖像變換部22中被變換成全景展開圖像數(shù)據(jù)，該全景展開圖像數(shù)據(jù)經(jīng)由展開圖像輸出部23被輸出到顯示裝置30上。檢查人員目視顯示在顯示裝置30上的全景展開圖像，來檢查孔壁面上有無缺陷等?；蛘?，雖然沒有圖示，也可以將全景展開圖像輸出到解析裝置中，在該解析裝置中自動(dòng)判定有無缺陷等。如圖2所示，全方位攝像裝置10輸出的圓形圖像數(shù)據(jù)表示的圓形圖像中有環(huán)狀的領(lǐng)域存在，該環(huán)狀的領(lǐng)域夾在外圓和內(nèi)圓之間。以下，稱該領(lǐng)域內(nèi)存在的圖像為環(huán)狀圖像。這里，外圓是圓形圖像的外周側(cè)的邊界，表示孔H的上側(cè)開口或全方位攝像裝置10的攝影界限。內(nèi)圓表示孔H的下側(cè)開口、孔H的底面邊緣、孔H內(nèi)部的角部等孔H的斷面圓形部分的下側(cè)端。這樣，孔H即使不是貫穿孔，也能夠發(fā)現(xiàn)內(nèi)圓。另外，即使孔H內(nèi)不存在角部，也能夠通過在投光方面下工夫，來發(fā)現(xiàn)內(nèi)圓。圖像變換部22對(duì)圓形圖像數(shù)據(jù)中夾在外圓和內(nèi)圓之間的環(huán)狀圖像數(shù)據(jù)進(jìn)行極坐標(biāo)變換，生成全景展開圖像數(shù)據(jù)。但是，圖像變換部22只是對(duì)環(huán)狀圖像數(shù)據(jù)進(jìn)行極坐標(biāo)變換的話，則會(huì)生成體現(xiàn)了全方位攝像裝置10的光軸LI和孔H的中心軸L2之間的位置偏移(以下稱中心位置偏移，參照?qǐng)D1。)、廣角鏡頭11在垂直方向上的變形等的全景展開圖像數(shù)據(jù)。所以，修正數(shù)據(jù)獲取部24獲取用于修正中心位置偏移、垂直方向變形等的修正數(shù)據(jù)，將獲取的修正數(shù)據(jù)輸出到圖像變換部22。并且，圖像變換部22基于該修正數(shù)據(jù)，將環(huán)狀圖像數(shù)據(jù)變換成全景展開圖像數(shù)據(jù)。在不存在中心位置偏移時(shí)，環(huán)狀圖像的內(nèi)心和外心的中心相一致，在同一高度的部位上拍攝的各個(gè)圖像在環(huán)狀圖像上均處于同心圓上，進(jìn)行極坐標(biāo)展開后，則形成水平線。但是，中心位置偏移實(shí)際上是存在的。因此，在圖像變換部22中，只是將環(huán)狀圖像進(jìn)行極坐標(biāo)展開，實(shí)際在同一高度的部位拍攝到的部分并不是水平線狀，而是如圖3所示，成波紋狀。因此，修正數(shù)據(jù)獲取部24獲取中心位置偏移的修正處理所需的修正數(shù)據(jù)。另外，使用完全沒有變形的理想的廣角鏡頭11拍攝的環(huán)狀圖像中，等間隔的高度上拍攝的孔壁面的圖像可以描繪出等間隔的同心圓。然而，實(shí)際上的廣角鏡頭11在垂直方向上存在變形。因此，如圖4所示，同心圓的間隔并不相同。所以，在圖像變換部22中，只是將環(huán)狀圖像進(jìn)行極坐標(biāo)變換時(shí)，會(huì)出現(xiàn)具有與實(shí)際間隔不對(duì)應(yīng)的間隔的全景展開圖像。例如，廣角鏡頭11是魚眼鏡頭時(shí)，一般來說，被拍攝物體的圖像越靠周邊變形越大。作為減輕上述變形、獲取更多的周邊信息量的方式，具有立體投影方式。將該立體投影方式的魚眼鏡頭用做廣角鏡頭11時(shí)，被拍攝物體從視角的角度來說，與從中心部進(jìn)行拍攝的情形相比，從周邊部進(jìn)行拍攝時(shí)能夠拍攝到更大范圍。從中心部拍攝的被拍攝體與從周邊部進(jìn)行拍攝的被拍攝體相比，視角上成像較小。于此對(duì)應(yīng)，在全景展開圖像中，被拍攝物體理想的是被顯示成本來的大小。所以，在依次放大處理圓的半徑的同時(shí)，對(duì)環(huán)狀圖像數(shù)據(jù)進(jìn)行極坐標(biāo)展開。另外，修正數(shù)據(jù)根據(jù)廣角鏡頭11的鏡頭特性等被確定，并被事先保存在所述RAM中。該修正數(shù)據(jù)表示擴(kuò)大處理圓的中心間隔、處理圓半徑的具體的比率。修正數(shù)據(jù)獲取部24讀取所述修正數(shù)據(jù)，并將其輸出到圖像變換部22。顯示裝置30可以由液晶顯示器、有機(jī)EL顯示器、CRT顯示器等公知的顯示裝置構(gòu)成。接著，參照?qǐng)D5所示的流程圖，說明全方位攝像系統(tǒng)100的處理工作。此外，圖像處理裝置20內(nèi)的各處理按照所述ROM中事先保存的程序執(zhí)行。
首先，如圖1所示，將全方位攝像裝置10的先端部插入到孔H中，實(shí)施拍攝。全方位攝像裝置10拍攝到的圓形圖像數(shù)據(jù)被輸出到圖像處理裝置20的圓形圖像輸入部21中(STEPl)。輸入到圖像處理裝置20中的圓形圖像數(shù)據(jù)被保存到所述圖像存儲(chǔ)器中。然后，修正數(shù)據(jù)獲取部24獲取修正數(shù)據(jù)，并將獲取的修正數(shù)據(jù)輸出到圖像變換部22 中(STEP2)。具體來說，修正數(shù)據(jù)獲取部24首先對(duì)圖像存儲(chǔ)部中保存的圓形圖像數(shù)據(jù)進(jìn)行二值化處理等公知的邊界提取處理，提取如圖2所示的外圓以及內(nèi)圓(STEP2-1)。然后，修正數(shù)據(jù)獲取部24對(duì)提取的外圓以及內(nèi)圓進(jìn)行公知的計(jì)算處理，分別求出外圓中心Oout、內(nèi)圓中心Oin、外圓半徑r out以及內(nèi)圓半徑r in,并將由這些組成的修正數(shù)據(jù)輸出到圖像變換部22中(STEP2-2)。外圓中心Oout相當(dāng)于光軸LI，內(nèi)圓中心Oin相當(dāng)于孔H的中心軸L2，外圓中心Oout與內(nèi)圓中心Oin之間的位置偏移相當(dāng)于中心位置偏移。接著，修正數(shù)據(jù)獲取部24從所述RAM中讀取修正數(shù)據(jù)，將其輸出到圖像變換器22中(STEP2-3)。所述修正數(shù)據(jù)表示擴(kuò)大處理圓的中心間隔、處理圓半徑的具體的比率。并且，圖像變換部22利用修正數(shù)據(jù)將環(huán)狀圖像數(shù)據(jù)進(jìn)行極坐標(biāo)變換，形成全景展開圖像(STEP3)。具體來說，首先，圖像變換部22將展開處理開始中心(最初的處理圓的中心)設(shè)定成內(nèi)圓中心Oin，該展開處理開始中心被作為開始進(jìn)行展開處理的基準(zhǔn)(最初的處理圓的中心)。接著，以所述內(nèi)圓中心Oin為中心,按通過分辨率等確定的每個(gè)角度在圓周方向上，對(duì)位于以內(nèi)圓半徑r in為半徑的處理圓上的環(huán)狀圖像數(shù)據(jù)進(jìn)行極坐標(biāo)變換，在水平方向上展開成直線狀。另外，計(jì)算出的像素位置不一定與環(huán)狀圖像數(shù)據(jù)的最小像素的位置一致。在這些位置不相一致時(shí)，只要利用計(jì)算出的像素位置所接觸到的比率來對(duì)環(huán)狀圖像數(shù)據(jù)(亮度數(shù)據(jù))進(jìn)行插值計(jì)算，求出被計(jì)算出的像素位置中的圖像數(shù)據(jù)(亮度數(shù)據(jù))即可。按根據(jù)分辨率等確定的每個(gè)間隔，以從內(nèi)圓中心Oin到外圓中心Oout的順序，依次讓處理圓中心以直線狀移動(dòng)的同時(shí)，反復(fù)進(jìn)行所述展開處理(圖2中箭頭所示)。于此同時(shí)，基于修正數(shù)據(jù)，從內(nèi)圓半徑r in向外圓半徑r out依次增長(zhǎng)處理圓的半徑，該修正數(shù)據(jù)用于修正廣角鏡頭11在垂直方向上的變形。通過這種方式，從內(nèi)圓向外圓依次對(duì)環(huán)狀圖像數(shù)據(jù)進(jìn)行極坐標(biāo)變換。由此，如圖6所示，在水平方向上呈直線狀的展開圖像依次被向上堆積，獲得被實(shí)施了修正的全景展開圖像。然后，圖像處理裝置20經(jīng)由展開圖像輸出部23將獲得的全景展開圖像輸出到顯示裝置30(STEP4)。其結(jié)果，能夠在顯示裝置30上顯示不存在變形的全景展開圖像。以上述說明的方式，根據(jù)環(huán)狀圖像數(shù)據(jù)本身獲取用于修正中心位置偏移的修正數(shù)據(jù)。因此，沒有必要像上述專利文獻(xiàn)I所述的那樣，預(yù)先保存用于修正中心位置偏移的修正數(shù)據(jù)，在產(chǎn)品的批次發(fā)生變化時(shí)或進(jìn)行廣角鏡頭更換時(shí)，沒有必要重新獲取修正數(shù)據(jù)。所以，無需進(jìn)行像在中心位置不發(fā)生偏移的條件下將全方位攝像裝置10的先端插入到孔H內(nèi)的這種高精度且難度高的作業(yè)。而且，即使不進(jìn)行數(shù)據(jù)匹配處理等需時(shí)較長(zhǎng)的處理，也能夠獲得對(duì)中心位置偏移進(jìn)行了修正的全景展開圖像。以上就本發(fā)明的實(shí)施方式進(jìn)行了說明。但是，本發(fā)明并不僅限于此。例如，雖然說明了使處理圓中心從內(nèi)圓中心Oin依次向外圓中心Oout移動(dòng)的情形,但也可以使處理圓中心從外圓中線Oout依次向內(nèi)圓中心Oin移動(dòng)。
權(quán)利要求
1.一種圖像處理方法，通過全方位攝像裝置拍攝孔的側(cè)壁面，獲得環(huán)狀圖像，在對(duì)該環(huán)狀圖像進(jìn)行極坐標(biāo)變換生成全景展開圖像時(shí)，對(duì)所述全方位攝像裝置的光軸與所述孔的中心軸之間的位置偏移引起的變形進(jìn)行修正，該圖像處理方法的特征在于，具備以下步驟 從所述環(huán)狀圖像中提取內(nèi)圓以及外圓的步驟； 分別求出所提取的所述內(nèi)圓以及外圓的中心的步驟；和， 使在進(jìn)行所述極坐標(biāo)變換時(shí)作為基準(zhǔn)的處理中心在所述內(nèi)圓中心和所述外圓中心之間依次移動(dòng)，同時(shí)變換成全景展開圖像的步驟。
全文摘要
本發(fā)明提供一種圖像處理方法。該圖像處理方法具備從環(huán)狀圖像中提取內(nèi)圓以及外圓的步驟；分別求出所提取的內(nèi)圓以及外圓的中心的步驟；和使在進(jìn)行極坐標(biāo)變換時(shí)作為基準(zhǔn)的處理中心在所述內(nèi)圓中心和所述外圓中心之間依次移動(dòng)，同時(shí)變換成全景展開圖像的步驟。由此，在對(duì)環(huán)狀圖像進(jìn)行極坐標(biāo)變換使其成為全景展開圖像時(shí)，能夠?qū)θ轿粩z像裝置(10)的光軸與孔(H)的中心軸(L2)之間的位置偏移所引起的變形進(jìn)行修正。其中，所述環(huán)狀圖像是通過全方位攝像裝置(10)對(duì)孔(H)的側(cè)壁面進(jìn)行拍攝而獲得的。
文檔編號(hào)G01N21/88GK103048327SQ20121028978
公開日2013年4月17日 申請(qǐng)日期2012年8月15日 優(yōu)先權(quán)日2011年10月11日
發(fā)明者及川聰, 大久保巖謙 申請(qǐng)人:本田技研工業(yè)株式會(huì)社