專利名稱：圖像處理方法、三維位置測量方法以及圖像處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種以規(guī)定的對象物的測量以及檢查等為目的，對包含所述對象物的濃淡圖像數(shù)據(jù)進行處理，提取在圖像上的所述對象物的位置的方法以及裝置。
背景技術(shù)：
在從濃淡圖像中提取對象物的一般方法中，預(yù)先將拍攝該對象物的模型得到的圖像(本說明書中稱為“模型圖像”)進行記錄，從處理對象圖像中提取與該模型圖像對應(yīng)的圖像區(qū)域進行處理。
作為提取與模型圖像對應(yīng)的圖像區(qū)域的代表性方法，熟知的是利用各構(gòu)成圖像的濃度數(shù)據(jù)進行標(biāo)準(zhǔn)化相關(guān)運算的方法。另外，在專利文獻1中也公開了，分別對處理對象圖像、模型圖像求出圖像中的邊緣像素(構(gòu)成邊緣的一個像素)的濃度的變化方向(濃度梯度方向)，對其變化方向的分布圖形進行比較的方法。
(專利文獻1)特開2002-230549號公報在現(xiàn)有的標(biāo)準(zhǔn)相關(guān)運算的方法中，處理有陰影產(chǎn)生、背景復(fù)雜或?qū)Ρ榷鹊偷膱D像時，存在無法確保提取精度的問題。另外，當(dāng)對象物存有欠缺或毛刺等形狀缺陷時，可能無法提取與模型圖像對應(yīng)的圖像區(qū)域。
另外，對于處理對象圖像，該方法是在對模型圖像逐個像素進行掃描的同時執(zhí)行相關(guān)運算，因此，只能以像素單位求出對象物的位置。為了求出亞像素單位的位置，雖然公開了假定在各掃描位置得到的類似度的變化近似于拋物線，并計算出該拋物線的頂點的方法，但由于不能說這種類似度的變化一定近似于拋物線，因此存在無法進行高可靠度測量的問題。
另外，比較濃度梯度方向圖形的方法，具有不易受到陰影等噪聲的影響，并且還可以提取包含欠缺或毛刺等缺陷的對象物的優(yōu)點。但是，在該方法中也是以像素單位進行處理對象圖像和模型圖像的比較，因此即使對象物的邊緣位置以亞像素級發(fā)生變化，該邊緣的像素的濃度梯度方向也不發(fā)生變化，很難提取所述位置的變化。

發(fā)明內(nèi)容
本發(fā)明是針對上述問題而產(chǎn)生的，其目的在于提供一種可以將對象物的位置以亞像素單位進行提取，適用于高精度的定位以及測量處理的圖像處理方法以及圖像處理裝置。
本發(fā)明的圖像處理方法，在進行對處理對象圖像的處理之前，執(zhí)行以下步驟步驟A，對于預(yù)先拍攝特定的模型得到的模型圖像，從該圖像中的邊緣提取邊緣像素；步驟B，對提取的各邊緣像素，分別以其邊緣像素為基準(zhǔn)檢索濃度梯度方向，提取亞像素單位的邊緣位置；步驟C，對于在所述步驟B中提取了邊緣位置的邊緣像素，將其提取位置以及用于提取的濃度梯度方向與其邊緣像素進行對應(yīng)設(shè)置，并記錄。
基于上述內(nèi)容，模型圖像優(yōu)選設(shè)置為，拍攝需要測量的對象物的模型，從得到的圖像中剪切出包含所述模型的規(guī)定大小的圖像。在步驟A中，對該模型圖像進行掃描邊緣提取濾鏡(filter)等，可以將濃度梯度大小在設(shè)置值以上的像素作為邊緣像素提取。但是，使用硬件進行邊緣提取處理時，也可以對包含所述模型圖像的整個圖像進行邊緣提取處理。
在步驟B中，可以以所述邊緣像素為起點檢索其濃度梯度方向，將在其方向上濃度的變化量超過規(guī)定閾值的位置作為邊緣位置提取。另外，也可以將所述濃度的變化量進行微分，求出濃度變化的起點或終點，或者它們的中間點，將其作為邊緣位置。
其中，當(dāng)在檢索方向上有多個邊緣像素并且這些邊緣像素的濃度梯度方向相同時(即，各濃度梯度方向間的角度差在設(shè)定值以內(nèi)時)，可以對這些多個邊緣像素求出一個邊緣位置。此時，在步驟C中，可以對所述多個的邊緣像素中的每一個對應(yīng)設(shè)置相同的邊緣位置以及濃度梯度方向。
在所述步驟C中，例如，根據(jù)步驟A的提取結(jié)果，記錄模型圖像上的邊緣像素的坐標(biāo)的同時，可以將所述亞像素單位的邊緣位置以及濃度梯度方向作為附加有對應(yīng)的邊緣像素的坐標(biāo)的數(shù)據(jù)進行記錄。其中，濃度梯度方向可以作為相對于表示其方向的矢量的設(shè)置的基準(zhǔn)矢量的角度進行表示。
本發(fā)明的圖像處理方法，在完成了上述有關(guān)模型圖像的記錄處理后，對于處理對象圖像執(zhí)行下面的第1、第2、第3各步驟。
在第1步驟中，在處理對象圖像中以像素單位掃描與所述模型圖像相同大小的檢索區(qū)域，對于每一個掃描位置計算出所述檢索區(qū)域的圖像和模型圖像的類似度。
對于類似度的計算可以使用以濃淡圖像數(shù)據(jù)作為對象的標(biāo)準(zhǔn)化相關(guān)運算以及所述專利文件1的方法。即，該第1步驟與現(xiàn)有的對象物的位置提取處理是一樣的，由此可以以像素單位求出對象物的位置。
在第2步驟中，在根據(jù)在所述第1步驟中算出的類似度提取的位置，重新設(shè)定所述檢索區(qū)域，在該檢索區(qū)域提取與記錄有所述亞像素單位的邊緣位置的模型圖像中的邊緣像素對應(yīng)的邊緣像素，對于提取的各邊緣像素，分別計算出對所述模型圖像執(zhí)行的步驟B以及通過步驟B得到的亞像素單位的邊緣位置和所述記錄邊緣位置的偏置量。
即，在包含在檢索區(qū)域內(nèi)的邊緣像素中，模型圖像中的對應(yīng)像素也是邊緣像素，并且將在該邊緣像素中對應(yīng)設(shè)置了所述像素單位的邊緣位置的像素作為對象，可以分別用和對模型圖像進行的方法相同的方法提取邊緣位置。此時，當(dāng)檢索方向上有多個邊緣像素時，也可以從這些多個像素中求出一個邊緣位置，將算出的邊緣位置與所述多個邊緣像素分別對應(yīng)設(shè)置。
另外，在邊緣位置的偏置量的計算處理中，可以對每一個提取了邊緣位置的邊緣像素，分別計算出其邊緣位置和模型圖像中的邊緣位置的坐標(biāo)差，求出其差值的平均值。
其中，在根據(jù)類似度的計算中，包括提取類似度比規(guī)定值(閾值)還大的位置的情況，以及將類似度高的位置從高開始只選擇規(guī)定的數(shù)量的情況。
在第3步驟中，根據(jù)在所述第2步驟中計算出的偏置量修改所述檢索區(qū)域的設(shè)定位置，將修改后的設(shè)定位置特定為所述對象物的位置。
由此，能夠?qū)⒃诘?步驟中求出的對象物的大概位置以亞像素單位進行修改，可以精確求出對象物的位置。
在上述圖像處理方法的優(yōu)選形式中，在所述第1步驟，在每一個掃描位置，計算出所述模型圖像的各邊緣像素的濃度梯度方向的分布圖形和所述檢索區(qū)域內(nèi)的各邊緣像素的濃度梯度方向的分布圖形的類似度。
“各邊緣像素的濃度梯度方向的分布圖形”，可以將表示在各邊緣像素的濃度梯度方向的角度數(shù)據(jù)作為分別與其邊緣像素的坐標(biāo)對應(yīng)設(shè)置的虛擬圖像進行構(gòu)成。另外，也可以對處理對象圖像，作成同樣的虛擬圖像，對其圖像連續(xù)掃描所述模型圖像一側(cè)的虛擬圖像的同時，計算出各掃描位置的圖形的類似度，當(dāng)類似度變?yōu)樽畲髸r提取與所述模型圖像一側(cè)的虛擬圖像重疊的圖像區(qū)域。
即，在上述形式中，根據(jù)所述專利文獻1所述的方法執(zhí)行了第1步驟。這樣，即使有陰影等噪聲產(chǎn)生或者在對象物上存在欠缺以及毛刺等缺陷，也可以精確地進行像素單位的位置提取。即，即使有亞像素單位的位置偏差，但如果以像素單位來看的話，也能夠準(zhǔn)確地特定對象物的位置。因而，通過執(zhí)行下面的第2、第3步驟就可以更準(zhǔn)確地求出對象物的位置。
在上述圖像處理方法的優(yōu)選形式中，在第2步驟中，重新在第1步驟所算出的最高類似度的位置上設(shè)定檢索區(qū)域。
本發(fā)明的圖像處理方法，可以適用于高精度地測量對象物的位置以及對象物的定位處理等用途。另外，為進行三維測量處理，即使在立體圖像間進行特征點的對應(yīng)設(shè)置的時候，也可以適用本發(fā)明的方法，從一方的圖像中提取模型圖像，在另一方的圖像中提取與該模型圖像對應(yīng)的圖像區(qū)域。
在上述圖像處理方法的優(yōu)選形式中，根據(jù)該圖像處理方法，可以計算出通過視野互相重疊的多臺攝像機產(chǎn)生的圖像的各對象物的邊緣位置，根據(jù)得到的各圖像的邊緣位置，指定對應(yīng)的位置，進行對象物的三維測量。這樣，由于可以精確地求出各圖像上的對象物的位置，所以提高了從攝像機的校準(zhǔn)數(shù)據(jù)和這些圖像的對應(yīng)關(guān)系中計算出的三維位置的精度。
其次，本發(fā)明的圖像處理裝置，包括輸入濃淡圖像的圖像輸入裝置；對于從所述圖像輸入裝置輸入的濃淡圖像，從該圖像中的邊緣提取邊緣像素以及該邊緣像素的濃度梯度方向的邊緣提取裝置；根據(jù)所述邊緣提取裝置的提取結(jié)果，對于所述濃淡圖像上的邊緣像素，以其像素為基準(zhǔn)檢索濃度梯度方向，提取亞像素單位的邊緣位置的邊緣位置提取裝置；存儲包含對象物模型的模型圖像以及從該模型圖像中提取的數(shù)據(jù)的存儲器；從所述圖像輸入裝置輸入了包含所述模型圖像的圖像時，將對于該輸入圖像的所述邊緣提取裝置以及邊緣位置提取裝置的處理結(jié)果，作成與通過邊緣提取裝置提取的各邊緣像素對應(yīng)設(shè)置的數(shù)據(jù)，記錄到所述存儲器的記錄裝置；從所述圖像輸入裝置輸入了包含與所述模型對應(yīng)的對象物的處理對象圖像時，在該處理對象圖像中以像素單位掃描與所述模型圖像相同大小的檢索區(qū)域，在每一個掃描位置計算出所述檢索區(qū)域內(nèi)的圖像和模型圖像的類似度的類似度計算裝置；在根據(jù)所述類似度計算裝置算出的類似度提取的位置，重新設(shè)定所述檢索區(qū)域，在該檢索區(qū)域，根據(jù)所述邊緣提取裝置的處理結(jié)果，提取與在所述存儲器中記錄有邊緣位置的模型圖像中的邊緣像素對應(yīng)的邊緣像素的對應(yīng)邊緣像素提取裝置；將通過所述對應(yīng)邊緣像素提取裝置提取的邊緣像素以及其相鄰的圖像在所述邊緣位置提取裝置進行處理，通過該處理，計算出所提取的亞像素單位的邊緣位置和記錄在所述存儲器中的邊緣位置的偏置量的偏置量計算裝置；根據(jù)通過所述偏置量計算裝置算出的偏置量，修改所述檢索區(qū)域的設(shè)定位置，將修改后的設(shè)定位置特定為所述對象位置的位置特定裝置。
再有，在該圖像處理裝置上，優(yōu)選設(shè)置存儲圖像用的存儲器(以下稱為“圖像存儲器”)。
基于上述內(nèi)容，在圖像輸入裝置中，可以包括從攝像機等外部設(shè)備接收圖像信號的接口電路以及A/D轉(zhuǎn)換電路。但是，在輸入數(shù)字圖像數(shù)據(jù)時，不需要設(shè)置A/D轉(zhuǎn)換電路。
除了圖像輸入裝置以及存儲器之外的各裝置，可以由安裝了為執(zhí)行各個裝置的處理的軟件的計算機構(gòu)成。但是，任何一個裝置也不必限定于計算機，可以由包含晶體管等的邏輯電路構(gòu)成。特別是，如果將邊緣提取裝置設(shè)計成邏輯電路，將從圖像輸入裝置輸入的圖像直接輸入并進行處理，就可以快速進行根據(jù)其他裝置的處理，能夠縮短處理時間。
從圖像輸入裝置輸入包含模型圖像的圖像后，通過邊緣提取裝置、邊緣位置提取裝置以及記錄裝置執(zhí)行所述步驟A、B和C的處理。另外，從圖像輸入裝置輸入處理對象圖像后，分別通過類似度計算裝置執(zhí)行第1步驟；通過邊緣提取裝置、邊緣位置提取裝置、對應(yīng)邊緣像素提取裝置以及偏置量計算裝置執(zhí)行第2步驟；通過位置特定裝置執(zhí)行第3步驟。其中，在將邊緣提取裝置作為邏輯電路構(gòu)成時，可以在輸入圖像的同時啟動該電路，產(chǎn)生將各像素的濃度梯度的大小以及濃度梯度方向與坐標(biāo)對應(yīng)設(shè)置的虛擬圖像，存儲到所述圖像存儲器中。此時，其他裝置可以訪問存儲器中的虛擬圖像，獲取邊緣像素的位置以及濃度梯度方向。
在上述圖像處理裝置中，還可以設(shè)置將通過位置特定裝置特定的對象物的位置輸出的裝置；以及以特定的位置為基準(zhǔn)設(shè)置測量區(qū)域，在該區(qū)域內(nèi)執(zhí)行規(guī)定的測量處理的裝置等。
根據(jù)本發(fā)明，將對象物的位置以像素單位提取后，根據(jù)和將該位置作為基準(zhǔn)的模型圖像的位置關(guān)系，求出亞像素單位的邊緣位置的偏置量，由于根據(jù)該偏置量對最初求出的對象物的位置進行了修改，所以可以精確地提取對象物的位置。


圖1為適用本發(fā)明的圖像處理裝置的框圖。
圖2為記錄對象圖像和處理對象圖像的示例示意圖。
圖3為將邊緣像素、濃淡邊緣位置以及濃淡邊緣位置的提取方法圖形化的示意圖。
圖4為將對象物的位置以亞像素單位提取的處理的示例流程圖。
圖5為將對象物的位置以亞像素單位提取的處理的另一示例流程圖。
圖6為適用本發(fā)明的另一圖像處理裝置的框圖。
圖7為檢查時的圖像以及顯示了檢查區(qū)域的圖像的示意圖。
附圖標(biāo)記1 圖像處理裝置2 圖像輸入部3 邊緣提取部4 圖像存儲器10 控制部11 CPU14 硬盤22 與模型圖像對應(yīng)的區(qū)域M 模型圖像S 假設(shè)位置601 攝像部602 本體部620 運算處理部622 圖像處理部623 測量處理部C0，C1 攝像機A1 正向圖像
A2 斜向圖像W 工作對象70 測量對象區(qū)域具體實施方式
圖1表示本發(fā)明的一個具體實施例的圖像處理裝置的構(gòu)成。
該圖像處理裝置1是以拍攝設(shè)定形狀的對象物而得到的濃淡圖像作為處理對象，對該圖像上的對象物的位置進行測量的裝置，包括圖像輸入部2、邊緣提取部3、圖像存儲器4、輸入輸出接口5、圖像輸出部6、監(jiān)視器7、控制部10等。
圖像輸入部2，包括攝像機用的接口以及A/D轉(zhuǎn)換電路，所以將從省略圖示的模擬攝像機傳送過來的濃淡圖像信號輸入并進行數(shù)字轉(zhuǎn)換。轉(zhuǎn)換后的數(shù)字圖像在存儲到圖像存儲器4的同時，還傳輸?shù)竭吘壧崛〔?。
該具體實施例的邊緣提取部3包括對所述數(shù)字圖像進行微分處理，計算每一個像素的濃度梯度大小的電路；和計算每一個像素的表示所述濃度梯度的方向的角度數(shù)據(jù)的電路。即，對構(gòu)成輸入圖像的所有像素，求出濃度梯度的大小和濃度梯度方向。這些計算結(jié)果，被編輯成與各個像素坐標(biāo)對應(yīng)設(shè)置的虛擬圖像，并存儲到圖像存儲器中。
而且，在下文中仿照專利文獻1的記述，將濃度梯度的大小稱為“邊緣強度”，將表示濃度梯度方向的角度數(shù)據(jù)稱為“邊緣代碼”，將根據(jù)它們的虛擬圖像稱為“邊緣強度圖像”、“邊緣代碼圖像”。
輸入輸出接口5，與省略圖示的輸入部(鍵盤，鼠標(biāo)等)以及外部設(shè)備連接。而且，輸入部用于在進行測量之前輸入各種設(shè)定條件(包括后述的為提取模型圖像的區(qū)域指定。)所述圖像輸出部6，包括D/A轉(zhuǎn)換電路以及連向監(jiān)視器7的接口電路。該圖像輸出部6，能夠按照控制部10傳輸來的命令，從圖像存儲器4讀取規(guī)定類型的圖像數(shù)據(jù)，將其顯示在監(jiān)視器7上；而且，可以接收由控制部10提供的測量結(jié)果等數(shù)據(jù)，將其顯示在所述監(jiān)視器7上。
所述控制部10，包括CPU11、ROM12、RAM13以及硬盤14。硬盤14中存儲有用于測量處理的程序以及設(shè)定數(shù)據(jù)，CPU11利用這些進行一系列的測量處理。再有，所述硬盤14中設(shè)置有為記錄用于提取對象物的模型數(shù)據(jù)的區(qū)域(以下將該區(qū)域稱為“記錄區(qū)域”)。
下面，針對上述圖像處理裝置1的測量處理進行詳細(xì)的說明。
圖2為用于記錄所述模型圖像的濃淡圖像(以下稱為“記錄對象圖像”)以及測量對象的濃淡圖像(以下稱為“處理對象圖像”)的示例。
記錄對象圖像是拍攝測量對象物的合格品模型得到的。所述CPU11將該記錄對象圖像顯示在監(jiān)視器7上，并接收由用戶進行的區(qū)域指定操作。然后當(dāng)進行了指定操作后，將所指定的區(qū)域21內(nèi)的圖像作為模型圖像M提取。該模型圖像M和所述區(qū)域21的左上角頂點A的坐標(biāo)(mx1，my1)以及右下角頂點B的坐標(biāo)(mx2，my2)一起，記錄到所述硬盤14的記錄區(qū)域。
如圖2的(2)所示，在測量處理中，從處理對象圖像中提取與所述模型圖像M對應(yīng)的圖像區(qū)域22。然后，將該區(qū)域22的左上角頂點S的坐標(biāo)(Sx，Sy)，即與區(qū)域21的點A對應(yīng)的位置作為對象物的假設(shè)位置。接著，在該具體實施例中，提取所述區(qū)域22中的邊緣和模型圖像中的邊緣之間的亞像素單位的位置偏置量，將距離所述假設(shè)位置S有所述位置偏置量的點，作為對象物的實際位置進行設(shè)置。(下文中，將該實際位置的坐標(biāo)稱為(0x，0y)。)在上述求出對象物的假設(shè)位置S的處理以及求出所述邊緣間的位置偏置量的處理中，都是使用基于圖像上的邊緣像素以及其濃度梯度方向的數(shù)據(jù)。下面，針對在一系列處理中使用的數(shù)據(jù)，順序進行說明。
首先，作為基本的數(shù)據(jù)是所述邊緣代碼圖像以及邊緣強度圖像。如前面所述，這些圖像由邊緣提取部3產(chǎn)生。
邊緣提取部3，對從圖像輸入部2輸入的圖像掃描設(shè)定大小的掩模的同時，在各掃描位置對所述掩模內(nèi)的圖像啟動蘇貝爾算子(Sobeloperator)等邊緣提取用濾鏡，每一個像素都提取x軸(沿水平方向的軸)以及y軸(沿垂直方向的軸)的濃度梯度Ex(x，y)，Ey(x，y)。接著，邊緣提取部利用這些濃度梯度Ex(x，y)、Ey(x，y)計算出所述的邊緣強度以及邊緣代碼。
其中，對于邊緣強度以及邊緣代碼的計算，可以適用所述專利文獻1中記述的方法。因此在此省略詳細(xì)說明，邊緣強度是表示所述濃度梯度Ex(x，y)，Ey(x，y)的合成矢量的長度。另外，邊緣代碼是所述合成矢量的方向，用從設(shè)定的基準(zhǔn)方向(如x軸的正方向)上看的角度來表示(在專利文獻1中與本具體實施例有所不同的是，將與濃度梯度方向直交的方向作為邊緣代碼，但是以任何一個方向作為邊緣代碼，其概念是相同的。)。
每一個像素所計算出的邊緣強度以及邊緣代碼，與各自的像素的坐標(biāo)對應(yīng)設(shè)置，以Ei(x，y)、Ec(x，y)的形式表示。因而，以這些數(shù)據(jù)Ei(x，y)、Ec(x，y)作為構(gòu)成像素的圖像分別作為邊緣強度圖像、邊緣代碼圖像進行設(shè)置。
從處理對象圖像產(chǎn)生的邊緣強度圖像以及邊緣代碼圖像和所述處理對象圖像一起存儲到圖像存儲器4中。
另外，從由所述記錄對象圖像產(chǎn)生的邊緣強度圖像以及邊緣代碼圖像中，分別提取與所述模型圖像對應(yīng)的區(qū)域內(nèi)的數(shù)據(jù)，存儲到所述記錄區(qū)域中。以下，將記錄的邊緣強度圖像作為邊緣強度模型圖像，各像素表示為MEi(x，y)；將記錄的邊緣代碼圖像作為邊緣代碼模型圖像，各像素表示為MEc(x，y)。
接著，在本具體實施例中，將在濃淡圖像中出現(xiàn)的邊緣位置，以亞像素單位進行提取(以下，將該邊緣位置稱為“濃淡邊緣位置”。)。對于模型圖像提取的濃淡邊緣位置記錄到所述記錄區(qū)域。
圖3的(A)，順序表示包含所述對象物圖像的濃淡圖像、由該濃淡圖像轉(zhuǎn)換成的邊緣圖像、以及將該邊緣圖像上的邊緣利用所述濃淡邊緣位置進行細(xì)線化的濃淡邊緣圖像。其中，三種類型的圖像中，邊緣圖像以及濃淡邊緣圖像是為說明邊緣像素以及濃淡邊緣位置而設(shè)置的，不是在該具體實施例中產(chǎn)生的。
邊緣圖像可以通過轉(zhuǎn)換所述的邊緣強度圖像而產(chǎn)生。具體地，將邊緣強度大于等于設(shè)定閾值Ei0的像素作為邊緣像素設(shè)置為黑像素，將邊緣強度小于所述閾值Ei0的像素設(shè)置為白像素。并且，在圖中的邊緣模型圖像中，邊緣的濃度梯度方向以箭頭表示。
圖3的(B)表示了為求出邊緣圖像中的任意邊緣像素K(坐標(biāo)為(xk，yk))的濃淡邊緣位置的方法。在該具體實施例中，以所述邊緣像素K為起點檢索其濃度梯度方向，將從邊緣像素K觀察的濃淡值的變化量達(dá)到全部變化量的50％的點L提取，將該點L的坐標(biāo)(xL，yL)作為所述濃淡邊緣位置。并且，可以適當(dāng)更改確定該濃淡邊緣位置的基準(zhǔn)。
圖3的(A)所示濃淡邊緣圖像是顯示了針對每一個邊緣像素通過上述方法求出的濃淡邊緣位置的圖像(實際上，由于是亞像素單位的位置，不能作為圖像表示)。
并且，在圖3的圖像中，由于濃度梯度方向是沿著x軸或者y軸的，因此濃淡邊緣位置的坐標(biāo)(xL，yL)中的一方與目標(biāo)中的邊緣像素相同。如果在斜方向上出現(xiàn)濃度梯度時，需要利用沿著該方向的邊緣強度的變化，求出x和y的各方向的濃淡邊緣位置。
另外，邊緣圖像上的邊緣通常具有多個像素的寬度，所以即使在求出濃淡邊緣位置的處理中，也可能在濃淡邊緣位置的檢索方向上存在具有與其方向相同的濃度梯度方向的邊緣像素。這時，優(yōu)選將濃度方向相同的多個邊緣像素作為一個組，并對該組求出一個點的濃淡邊緣位置?；蛘撸部梢灶A(yù)先實施使邊緣圖像中的邊緣寬度成為一個像素的細(xì)線化處理后，求出對于該細(xì)線化的邊緣的濃淡邊緣位置。這時，在檢索濃淡邊緣位置的處理中，優(yōu)選以經(jīng)過細(xì)線化處理得到的邊緣像素為起點，檢索其濃度梯度方向的正反兩個方向。
在該具體實施例中，利用邊緣強度圖像以及邊緣代碼圖像，對邊緣強度大于等于所述閾值Ei0的像素順序掃描的同時，根據(jù)上述圖3的(B)的方法提取濃淡邊緣位置(xL，yL)。接著，對于模型圖像，通過將提取的濃淡邊緣位置(xL，yL)存儲到利用所述邊緣像素坐標(biāo)(x，y)的二維排列數(shù)據(jù)MXL(x，y)、MYL(x，y)中，將邊緣像素與濃淡邊緣位置對應(yīng)設(shè)置。即，MXL(x，y)＝xL、MYL(x，y)＝y(tǒng)L。
而且，如上所述，在對多個像素的邊緣像素組求出一個邊緣位置的時候，可以對構(gòu)成該組的所有像素對應(yīng)設(shè)置所述濃淡邊緣位置。
接著，對于模型圖像，關(guān)于也包含邊緣像素以外的像素的所有構(gòu)成像素，分別設(shè)置有表示是否設(shè)定了所述濃淡邊緣位置的標(biāo)記數(shù)據(jù)ML(x，y)。該模型圖像的濃淡邊緣位置MXL(x，y)、MYL(x，y)以及標(biāo)記數(shù)據(jù)ML(x，y)全部都記錄到記錄區(qū)域，在測量處理中使用。
如上所述，在硬盤14的記錄區(qū)域中，除所述模型圖像之外，還記錄有邊緣強度模型圖像MEi(x，y)、邊緣代碼模型圖像MEc(x，y)、濃淡邊緣位置MXL(x，y)、MYL(x，y)以及標(biāo)記數(shù)據(jù)ML(x，y)。另外，即使對于處理對象圖像，也可以在輸入圖像的同時，由邊緣提取部3生成邊緣強度圖像Ei(x，y)以及邊緣代碼圖像Ec(x，y)。
接著，針對使用上述各種數(shù)據(jù)的測量處理的具體實施例進行說明。
在從處理對象圖像中提取對象物的假設(shè)位置S的處理中，使用邊緣強度圖像Ei(x，y)、邊緣代碼圖像Ec(x，y)、邊緣強度模型圖像MEi(x，y)以及邊緣代碼模型圖像MEc(x，y)，將與模型圖像最類似的區(qū)域提取。具體地，在處理對象圖像中以像素單位掃描與模型圖像相同大小的檢索區(qū)域的同時，對于每一個掃描位置，求出檢索區(qū)域和模型圖像之間的邊緣代碼的分布圖形的類似度，將類似度最大的掃描位置提取。
而且，由于該提取處理采用了與專利文獻1所公開的方法相同的方法，因此，在此省略詳細(xì)的說明。
接著，以所述假設(shè)位置S為基準(zhǔn)重新設(shè)置檢索區(qū)域，在該檢索區(qū)域求出對于模型圖像的邊緣的位置偏置量，然后求出對象物的實際位置。下面，參照圖4對該處理進行詳細(xì)說明。其中，圖4中的dx是在x軸方向上的位置偏差，dy是在y軸方向上的偏差。另外n是濃淡邊緣位置的提取數(shù)量。另外，(Sx，Sy)是表示所述對象物的假設(shè)位置的S點的坐標(biāo)，(x，y)是表示對于該點S的目標(biāo)像素的相對位置?？梢哉J(rèn)為模型圖像的目標(biāo)像素的對應(yīng)點是通過該(x，y)來表示的。
首先，在最初的ST101(ST為“步驟”的簡稱，下文同)，在所述n，dx，dy設(shè)置初始值0，以所述點S為起點，將目標(biāo)像素一個像素一個像素地移動的同時(按照ST102、ST103、ST104、ST111、ST112、ST113、ST114的各步驟。)，對各目標(biāo)像素執(zhí)行如下處理。其中，在ST111、ST113中，判斷x，y的值是否達(dá)到圖2所示的模型圖像的大小(mx2-mx1)，(my2-my1)(后述圖5中的ST218、ST220也同樣。)。
最初，對于模型圖像的對應(yīng)像素，判斷所述標(biāo)記數(shù)據(jù)ML(x，y)是否設(shè)置為開(on)(ST105)。其中，在該實施例中，將標(biāo)記數(shù)據(jù)ML(x，y)為“1”時為開狀態(tài)。
在所述ML(x，y)＝1，即為模型圖像的對應(yīng)像素對應(yīng)設(shè)置了濃淡邊緣位置(MXL(x，y)、MYL(x，y))的時候，ST105變?yōu)椤笆恰?，進入ST106，判斷目標(biāo)像素是否是邊緣像素。具體地，如果從處理對象圖像生成的邊緣強度圖像的像素Ei(Sx+x，Sy+y)大于等于所述的閾值Ei0，則判斷為目標(biāo)像素是邊緣像素。
如果ST106為“是”，在接下來的ST107中，將目標(biāo)像素的邊緣代碼Ec(Sx+x，Sy+y)和模型圖像的對應(yīng)像素的邊緣代碼MEc(x，y)進行比較。此時，如果Ec(Sx+x，Sy+y)和MEc(x，y)的差值的絕對值小于等于設(shè)定值，則判斷為兩方的邊緣代碼一致，進入ST108。
在ST108中，對目標(biāo)像素提取所述濃淡邊緣位置(xL，yL)。接著，在接下來的ST109中增加所述提取數(shù)量n，進入ST110。
在ST110中，利用在ST108中求出的濃淡邊緣位置(xL，yL)、模型圖像的對應(yīng)像素的濃淡邊緣位置(MXL(x，y)、MYL(x，y))以及所述點S的坐標(biāo)(Sx，Sy)，按照x，y的各軸方向，求出處理對象圖像的濃淡邊緣位置相對于模型的濃淡邊緣位置的偏置量dx，dy。同時在ST110中，也執(zhí)行將每一個像素的偏置量dx，dy進行加法運算的處理。
通過對與所述模型圖像對應(yīng)的圖像區(qū)域內(nèi)的所有的像素執(zhí)行上述操作，可以求出所述圖像區(qū)域內(nèi)的濃淡邊緣位置相對于模型圖像的偏置量dx，dy的總和。其中，當(dāng)所述ST105、ST106、ST107中的任何一步中的判斷結(jié)果為“否”時，則跳過ST108～110。
當(dāng)完成了對與模型圖像對應(yīng)的圖像區(qū)域內(nèi)的所有的像素的處理后，在ST115中，利用所述n計算出偏置量dx，dy的平均值dx/n，dy/n。然后，將所述點S的坐標(biāo)(Sx，Sy)加上平均后的偏置量得到的坐標(biāo)，代入表示對象物實際位置的坐標(biāo)(0x，0y)。
按照上述一連串的處理，可以以用像素單位求出的對象物的位置為基準(zhǔn)，以亞像素單位提取邊緣位置相對于模型圖像的偏置量，只用其偏置量對所述對象物的位置進行修改。這樣，由于能夠以亞像素單位求出對象物的位置，所以與現(xiàn)有技術(shù)相比可以大幅提高位置測量的精度。
圖5為求出所述對象物實際位置(0x，0y)的處理的另一示例。
該具體實施例，基本處理的內(nèi)容與圖4相同，其特征在于，根據(jù)邊緣代碼的表示方向改變計算偏置量的方法。為執(zhí)行該方法，在該具體實施例中，將濃淡邊緣位置的提取數(shù)量在x，y軸方向分別計數(shù)。圖中，xn為在x軸方向的提取數(shù)量，yn為在y軸方向的提取數(shù)量。
其他參數(shù)與所述圖4相同。
首先在ST201～204，進行與所述圖4的ST101～104相同的設(shè)定后，將x，y一個一個移動的同時，對與模型圖像對應(yīng)的區(qū)域22內(nèi)的各像素分別執(zhí)行以下的處理。
在ST205～207中，與所述圖4的ST105～107同樣，對是否為模型圖像的對應(yīng)像素設(shè)置了濃淡邊緣位置、目標(biāo)像素是否是邊緣像素以及目標(biāo)像素的邊緣代碼是否與模型像素的對應(yīng)像素的邊緣代碼一致進行判斷。如果ST205～207的判斷結(jié)果都是“是”，則進入ST208，對目標(biāo)像素提取濃淡邊緣位置(xL，yL)。
在接下來的ST209中，將目標(biāo)像素的邊緣代碼Ec(Sx+x，Sy+y)用表示水平方向的180°進行除法運算，將其余數(shù)作為θ。接著，當(dāng)θ比90°大時，在ST211中以180°減去θ得到的值更新所述θ的值。在接下來的ST212中，判斷θ是否比22°大，如果判斷結(jié)果為“否”，則進入ST214。如果判斷結(jié)果為“是”，接著在ST213中，將|θ-90°|的值和22°進行比較，如果|θ-90°|≤22°則執(zhí)行ST215，如果|θ-90°|＞22°則執(zhí)行ST216以及ST217。
即，如果目標(biāo)像素的邊緣代碼表示的方向和x軸方向(0°或180°方向)的角度差值在22°以內(nèi)，則目標(biāo)像素的濃度梯度方向作為是沿著x軸方向的，進入ST214，對有關(guān)x軸方向的偏置量dx以及提取數(shù)量xn進行更新。另外，如果目標(biāo)像素的邊緣代碼表示的方向和y軸方向(90°或270°方向)的角度差值在22°以內(nèi)，則目標(biāo)像素的濃度梯度方向作為是沿著y軸方向的，進入ST215，對有關(guān)y軸方向的偏置量dy以及提取數(shù)量yn進行計算。另外，在對于與x軸以及y軸對應(yīng)的四個方向(0°、90°、180°、270°的各方向)的任意一個方向，當(dāng)目標(biāo)像素的邊緣代碼具有比22°大的角度差值的時候(比如22°＜θ＜68°)，則在ST216中，對x，y軸兩方向的提取數(shù)量xn，yn進行更新，在ST217中，對x，y軸兩方向的偏置量dx，dy進行更新。
對與模型圖像對應(yīng)的圖像區(qū)域內(nèi)的所有像素進行處理結(jié)束后，在ST222中，將所述偏置量dx，dy分別通過提取數(shù)量xn，yn進行平均，將根據(jù)其平均值對所述點S的坐標(biāo)(Sx，Sy)進行補正后的坐標(biāo)，代入對象物的實際位置(0x，0y)。
按照上述步驟，由于只計算相對于模型發(fā)生偏差的方向上的提取數(shù)量，因而可以進一步提高位置偏置量dx，dy的平均值的可靠度。從而能夠更精確地求出對象物的位置。
本圖像處理也可以用于，根據(jù)多臺攝像機在不同位置拍攝同一個對象物得到的圖像，對該對象物的三維的位置進行測量(常說的利用立體攝像機的三維測量)。作為求出多個圖像間的對應(yīng)點的方法，在使用將在一個攝像機圖像上的對象物的圖像和在其他攝像機上的對象物的圖像進行匹配、找到對應(yīng)點的方法時，本圖像處理可以適用。下面對其具體實施例進行說明。
圖6為其他具體實施例的檢查裝置的整體構(gòu)成的框圖。攝像部601包括兩臺攝像機C0、C1，設(shè)置在檢查線的上方，對工廠的檢查線L、被搬送來的檢查對象物W(以下稱為“工作對象W”)順序進行拍攝。雖然省略了圖示，但其中一臺攝像機C0，將其光軸以相對于檢查線呈垂直的方向進行設(shè)置。另一臺攝像機C1，使其和所述攝像機C0視野重疊，以將其光軸傾斜的狀態(tài)進行設(shè)置。下文中，將從所述攝像機C0得到的圖像A0稱為“正向圖像A0”，將從攝像機C1得到的圖像A1稱為“斜向圖像A1”。
該檢查裝置，除所述攝像部601之外，還包括本體部602、監(jiān)視器603、控制臺604等。本體部602設(shè)置有對應(yīng)各攝像機C0，C1的圖像輸入部610，611、攝像機驅(qū)動部612、運算處理部620以及輸出部628等。所述攝像機驅(qū)動部612，接收從工作對象檢出用傳感器(省略圖示)傳輸來的檢測信號，并同時驅(qū)動各攝像機C0，C1。各攝像機C0，C1產(chǎn)生的圖像信號輸入到各自的圖像輸入部610，611，并進行數(shù)字轉(zhuǎn)換。由此產(chǎn)生各攝像機的測量處理用的數(shù)字圖像(所述正向圖像A0以及斜向圖像A1)。
所述運算處理部620是由計算裝置成的，所以在執(zhí)行了利用所述每個攝像機的圖像的測量處理后，從其處理結(jié)果判斷所述工作對象W是否適當(dāng)。輸出部628是將所述測量處理以及判斷處理的結(jié)果，向PLC等外部設(shè)備輸出的輸出用接口。
運算處理部620，除存儲所述圖像A0，A1的圖像存儲器621之外，還設(shè)置有圖像處理部622、測量處理部623、判斷部624、顯示控制部625、參數(shù)計算部626以及參數(shù)存儲部627等。其中，圖像存儲器621以及參數(shù)存儲部627以外的其他各部，是通過專用的程序在所述計算機中設(shè)置的功能。
圖像存儲器621以及參數(shù)存儲部627，設(shè)置在所述計算機的內(nèi)存(RAM等)中。
其中，盡管在圖6中沒有圖示，在運算處理部620中設(shè)置有用于記錄檢查時必需的信息(檢查區(qū)域的設(shè)定條件以及模型圖像等)的存儲器(以下，將該存儲器稱為“記錄用存儲器”。)。另外，向該記錄用存儲器的記錄處理以及運算處理部620的各處理部執(zhí)行的處理的設(shè)置以及更改，可以適當(dāng)根據(jù)控制臺4的操作進行。
圖像處理部622，通過雙值化、邊緣提取以及圖形匹配等，提取所述工作對象W的檢查對象部位的構(gòu)成點。測量處理部623，對通過所述圖像處理部622提取的每一個檢查對象部位，進行測量其位置以及大小等的處理。其中，該具體實施例的圖像處理部622以及測量處理部623設(shè)置為可以選擇二維或者三維的處理來執(zhí)行。
判斷部624，通過進行所述測量處理部623的測量結(jié)果和設(shè)定的閾值的比較等，對工作對象W的適當(dāng)與否進行判斷。該判斷結(jié)果輸出到輸出部628以及顯示控制部625。
所述顯示控制部625是控制所述監(jiān)視器603的顯示動作的，可以將在所述圖像輸入部610、611中產(chǎn)生的正向圖像A0、斜向圖像A1在一個畫面中并排顯示。并且還可以根據(jù)情況隨意接收圖像處理部622、測量處理部623以及判斷部624的處理結(jié)果，與上述圖像一起顯示。
在參數(shù)存儲部627中，存儲用于三維測量的運算式中的各種系數(shù)。這些系數(shù)的值，根據(jù)通過各攝像裝置成的立體坐標(biāo)系和表示在實際空間上的位置的空間坐標(biāo)系的關(guān)系(各坐標(biāo)間的原點之間的距離以及立體坐標(biāo)系相對于空間坐標(biāo)系的旋轉(zhuǎn)偏置量等)發(fā)生變動(以下將這些系數(shù)稱為“參數(shù)”。)。在執(zhí)行檢查之前，將這些參數(shù)通過圖像處理部622以及參數(shù)計算部626算出后，存儲到所述參數(shù)存儲部627中。其中，在計算該參數(shù)的處理中，使用具有多項特征的校準(zhǔn)用工作對象。
再有，在所述參數(shù)存儲部627中，還記錄用于構(gòu)成對應(yīng)矩陣(homographic matrix)的參數(shù)。
其次，將配置有如圖7所示的按鈕式字符鍵的工作(遙控器、電話等)作為檢查對象，在此，針對測量按鍵高度時的檢查處理進行詳細(xì)說明。
首先，利用拍攝工作W得到的正向圖像A0，指定包含作為測量對象的按鍵的區(qū)域70(在該實施例中指定“2”鍵)。然后，同時驅(qū)動攝像機C0、C1、產(chǎn)生圖像，對于正向圖像A0，利用與前述具體實施例相同的方法，以亞像素單位求出區(qū)域70內(nèi)的對象物(在該實施例中指定“2”鍵)的邊緣位置。另外，斜向圖像A1由于存在視差，所以使用預(yù)先進行的攝像機校準(zhǔn)得到的內(nèi)部常數(shù)進行偏位修正，作成對應(yīng)的從正面透視的偏位修正圖像(例如參照非專利文獻2)。
(非專利文獻2)高地“數(shù)字照相測量法(DigitalPhotogrammetry立體圖像方式)”第15回三維工學(xué)論壇資料集，2005.12，pp15-32對于該偏位修正圖像也和所述具體實施例一樣，以亞像素單位求出邊緣位置，在該階段只能得到偏位修正圖像的每個邊緣像素的邊緣位置，所以從得到的偏位修正圖像的各邊緣位置，通過補正計算出與通過攝像機C0得到的檢查對象物的亞像素單位的邊緣位置對應(yīng)的邊緣位置。這樣，可以以亞像素單位求出攝像機C0的圖像上的對象物和通過攝像機C1得到的偏位修正圖像上的對象物的位置的對應(yīng)關(guān)系。另外，在求對應(yīng)位置時，利用所謂的核點限制條件。還可以以測量對象物的取得高度范圍信息為基準(zhǔn)，限定對應(yīng)點的搜索區(qū)域。將這樣得到的偏位修正圖像上的對象物的位置(邊緣位置)轉(zhuǎn)換為偏位修正前的圖像，求出在攝像機C1的坐標(biāo)系中的對象物的位置。然后，以用亞像素單位求出的攝像機C0和攝像機C1的對應(yīng)點為基準(zhǔn)，實施人們熟知的三維位置測量處理就可以進行高精度的三維位置測量。
更具體地說，執(zhí)行如下①至⑤的操作。
①進行通過攝像機C0得到的正向圖像的模型圖像的記錄。
②對于通過攝像機C0得到的處理對象圖像，利用模型圖像，用與所述具體實施例相同的亞像素單位求出對象物的實際位置，由此可以將攝像機C0的圖像中的模型圖像的邊緣位置以亞像素單位求出。
③對通過攝像機C1得到的處理對象圖像進行偏位修正。根據(jù)該偏位修正將攝像機C1的斜向圖像轉(zhuǎn)換為和攝像機C0的圖像相同的正向圖像。
偏位修正(也稱作核點圖像補正)是指，為使一臺攝像機的攝影畫面和另一臺攝像機的攝影畫面在同一個坐標(biāo)系及同一個平面上，通過對一臺攝像機的圖像進行坐標(biāo)轉(zhuǎn)換來進行補正。另外，為了與特定的攝影畫面在同一個坐標(biāo)系及同一個平面上，也可以同時對兩方的攝影畫面進行坐標(biāo)轉(zhuǎn)換。如本具體實施例，在一方為垂直視角，另一方為斜向視角的立體三維位置測量處理中，將攝像機C1的斜向圖像轉(zhuǎn)換為和攝像機C0同樣的正向圖像進行補正。執(zhí)行了該補正后，進行對應(yīng)點搜索時的攝像機C1的圖像上的核線的方向變?yōu)樗椒较?。具體地，通過預(yù)先執(zhí)行立體攝像機的校準(zhǔn)，可以求出攝像機C0的攝影畫面的坐標(biāo)系和攝像機C1的攝影畫面的坐標(biāo)系的旋轉(zhuǎn)以及并進關(guān)系，利用這些關(guān)系通過執(zhí)行如下1)至3)的處理產(chǎn)生偏位修正圖像。
1)對于產(chǎn)生的偏位修正圖像的像素i，利用通過預(yù)先校準(zhǔn)得到的關(guān)系計算出應(yīng)該轉(zhuǎn)換為像素的四個角Ai、Bi、Ci、Di的坐標(biāo)位置的攝像機1的圖像上的坐標(biāo)ai、bi、ci、di。
2)求出攝像機C1的圖像上的ai、bi、ci、di圍起的區(qū)域(以下稱為abcd區(qū)域)的平均濃度。由于abcd區(qū)域跨越攝像機C1的多個像素(通常認(rèn)為跨越四個像素)，因此通過加權(quán)各像素的包含在abcd區(qū)域內(nèi)的面積的比例，加算各個像素的濃度值，由此來確定偏位修正圖像上的像素i的濃度。
3)對于要產(chǎn)生1)和2)的處理的偏位修正圖像的所有像素重復(fù)上述操作。
④對于通過上述偏位修正得到的偏位修正圖像，使其與②同樣以亞像素單位求出對象物的位置。由此，可以以亞像素單位求出偏位修正圖像中的模型圖像的邊緣位置。
此時，模型圖像的搜索區(qū)域的設(shè)置在，由在攝像機C0的圖像中經(jīng)過匹配的模型圖像的、與攝像機C0圖像上的各像素或者代表像素的坐標(biāo)對應(yīng)的核線規(guī)定的范圍內(nèi)進行設(shè)置。也可以在和核線垂直的方向設(shè)置具有一個像素到幾個像素寬的范圍的搜索區(qū)域。當(dāng)檢測距離(攝像機和檢測對象間的距離)被限制在一定范圍內(nèi)的時候，可以使用對應(yīng)矩陣計算出與該距離范圍對應(yīng)的區(qū)域，從而只在該區(qū)域內(nèi)進行搜索。
⑤通過上述處理，分別以亞像素單位求出了攝像機C0的圖像內(nèi)的模型圖像的位置的坐標(biāo)和攝像機C1的偏位修正圖像內(nèi)的模型圖像的位置的坐標(biāo)，雖然也能夠以亞像素單位得出兩個圖像內(nèi)互相對應(yīng)的邊緣位置的坐標(biāo)，但是為了進行三維位置測量，需要掌握在攝像機C1的原始圖像的坐標(biāo)系上的對應(yīng)點，而不是攝像機C1的偏位修正圖像上的坐標(biāo)。因此，將補正圖像的坐標(biāo)系逆轉(zhuǎn)換為攝像機C1的坐標(biāo)系。利用由預(yù)先校準(zhǔn)求出的關(guān)系，通過計算求出該逆轉(zhuǎn)換。由于逆轉(zhuǎn)換是通過計算得到的，因此如果補正圖像上的邊緣位置是以亞像素單位求出的，那么通過逆轉(zhuǎn)換計算的該邊緣位置的攝像機C1圖像上的坐標(biāo)也同樣可以得到亞像素的精度。通過該模型圖像的邊緣位置的亞像素單位的坐標(biāo)，和與其一一對應(yīng)設(shè)置的攝像機C0圖像上的邊緣位置的亞像素單位的坐標(biāo)來計算三維位置坐標(biāo)。
其中，在步驟④中，也可以替代模型圖像，將在攝像機C0圖像的處理對象圖像中提取出的、與模型圖像對應(yīng)的攝像機C0圖像內(nèi)的區(qū)域作為用于搜索對應(yīng)點的模型圖像進行處理。另外，在步驟①中，也可以替代模型圖像的記錄，每次提取攝像機C0的處理對象圖像的預(yù)先設(shè)置的范圍的圖像，用其替代模型圖像進行處理。
另外，在該具體實施例中，將其中的一個作為正向圖像，其他的作為斜向圖像，但根據(jù)設(shè)置的攝像機的位置以及角度，即使沒有正向圖像的場合，通過取得對每臺攝像機的圖像的在同一個面上投影的偏位修正圖像，當(dāng)然可以同樣地以亞像素單位求出對應(yīng)位置。
權(quán)利要求
1.一種圖像處理方法，是以規(guī)定大小的濃淡圖像作為處理對象，從該處理對象圖像中提取與預(yù)先特定的模型對應(yīng)的對象物位置的方法，其特征在于，預(yù)先執(zhí)行以下步驟步驟A，對于拍攝所述模型得到的模型圖像，從其圖像中的邊緣提取邊緣圖像；步驟B，對提取的各邊緣像素，分別以其邊緣像素為基準(zhǔn)檢索濃度梯度方向，提取亞像素單位的邊緣位置；步驟C，對于在所述步驟B中提取了邊緣位置的邊緣像素，將其提取位置以及用于提取的濃度梯度方向?qū)?yīng)于相應(yīng)的邊緣像素進行記錄；在預(yù)先執(zhí)行上述步驟后，對于所述處理對象圖像執(zhí)行以下第1、第2、第3各步驟在所述第1步驟，以像素單位對處理對象圖像掃描與所述模型圖像相同大小的檢索區(qū)域，在每一個掃描位置計算出所述檢索區(qū)域的圖像和模型圖像的類似度；在所述第2步驟，在根據(jù)所述第1步驟中計算出的類似度提取的位置，重新設(shè)定檢索區(qū)域，在該檢索區(qū)域提取與記錄有所述亞像素單位的邊緣位置的模型圖像中的邊緣像素對應(yīng)的邊緣像素，對所提取的各邊緣像素分別計算出步驟B以及通過步驟B得到的亞像素單位的邊緣位置和所述記錄的邊緣位置的偏置量；在所述第3步驟，根據(jù)在所述第2步驟中計算出的偏置量修正所述檢索區(qū)域的設(shè)定位置，將修正后的設(shè)定位置特定為所述對象物的位置。
2.如權(quán)利要求1所述圖像處理方法，其特征在于，在所述第1步驟中，在各掃描位置計算出所述模型圖像的各邊緣像素的濃度梯度方向的分布圖形和所述檢索區(qū)域內(nèi)的各邊緣像素的濃度梯度方向的分布圖形的類似度。
3.如權(quán)利要求1所述圖像處理方法，其特征在于，在所述第2步驟中，在所述第1步驟計算出最高類似度的位置，重新設(shè)定檢索區(qū)域。
4.一種三維位置測量方法，其特征在于，根據(jù)權(quán)利要求1所述的圖像處理方法，計算出通過視野互相重疊的多臺攝像機生成的圖像的各對象物邊緣位置，根據(jù)得到的各圖像的邊緣位置特定對應(yīng)的位置，進行對象物的三維測量。
5.一種圖像處理裝置，其特征在于，包括輸入濃淡圖像的圖像輸入裝置；對于從所述圖像輸入裝置輸入的濃淡圖像，從該圖像的邊緣中提取邊緣像素以及該邊緣像素的濃度梯度方向的邊緣提取裝置；根據(jù)所述邊緣提取裝置的提取結(jié)果，對于所述濃淡圖像上的邊緣像素，以該像素為基準(zhǔn)檢索濃度梯度方向，提取亞像素單位的邊緣位置的邊緣位置提取裝置；存儲包含對象物模型的模型圖像以及從該模型圖像中提取的數(shù)據(jù)的存儲器；從所述圖像輸入裝置輸入了包含所述模型圖像的圖像時，將對于該輸入圖像的所述邊緣提取裝置以及邊緣位置提取裝置的處理結(jié)果，作成與通過邊緣提取裝置提取的各邊緣像素對應(yīng)設(shè)置的數(shù)據(jù)，并記錄到所述存儲器中的記錄裝置；從所述圖像輸入裝置輸入了包含與所述模型對應(yīng)的對象物的處理對象圖像時，對該處理對象圖像以像素單位掃描與所述模型圖像相同大小的檢索區(qū)域，在每一個掃描位置計算出所述檢索區(qū)域內(nèi)的圖像和模型圖像的類似度的類似度計算裝置；在根據(jù)通過所述類似度計算裝置算出的類似度提取的位置，重新設(shè)定所述檢索區(qū)域，在該檢索區(qū)域，根據(jù)所述邊緣提取裝置的處理結(jié)果，提取與在所述存儲器中記錄有邊緣位置的模型圖像中的邊緣像素對應(yīng)的邊緣像素的對應(yīng)邊緣像素提取裝置；將通過所述對應(yīng)邊緣像素提取裝置提取的邊緣像素以及其相鄰的圖像在所述邊緣位置提取裝置進行處理，計算出通過該處理提取的亞像素單位的邊緣位置和記錄在所述存儲器中的邊緣位置的偏置量的偏置量計算裝置；根據(jù)通過所述偏置量計算裝置計算出的偏置量，修改所述檢索區(qū)域的設(shè)定位置，將修改后的設(shè)定位置特定為所述對象物位置的位置特定裝置。
全文摘要
本發(fā)明公開了按亞像素單位提取對象物位置的圖像處理方法、三維位置測量方法以及圖像處理裝置，從拍攝對象物的合格品模型得到的模型圖像中提取其圖像上的邊緣像素、其濃度梯度方向以及亞像素單位的邊緣位置，并記錄到硬盤(14)中。當(dāng)輸入處理對象圖像時，CPU(11)以像素單位求出與模型圖像對應(yīng)的圖像區(qū)域的位置后，在其圖像區(qū)域中，提取與模型圖像一側(cè)的對應(yīng)像素相對應(yīng)的亞像素單位的邊緣位置的邊緣像素。然后，對這些邊緣像素提取亞像素單位的邊緣位置，計算出其提取位置和模型圖像的邊緣位置的偏置量。接著，根據(jù)對各個邊緣像素求出的偏置量的平均值修正所述像素單位的位置，作為對象物的實際位置。
文檔編號G01B11/00GK1834582SQ200610057440
公開日2006年9月20日 申請日期2006年3月15日 優(yōu)先權(quán)日2005年3月15日
發(fā)明者藤枝紫朗, 池田泰之 申請人:歐姆龍株式會社