專利名稱：成像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種成像裝置，尤其涉及一種能夠?qū)?duì)待檢查的物 體進(jìn)行拍攝的攝像機(jī)所產(chǎn)生的移動(dòng)畫面圖像顯示在比攝像機(jī)實(shí)際視場(chǎng)更寬的視 場(chǎng)中的鑲嵌圖像上的成像裝置。
背景技術(shù)：
在相關(guān)領(lǐng)域中，圖像鑲嵌通常指的是這樣的技術(shù)通過在改變視場(chǎng)的同時(shí)組合多 個(gè)所拍攝的靜止圖像來產(chǎn)生一張視場(chǎng)比攝像機(jī)實(shí)際視場(chǎng)更寬的寬視場(chǎng)圖像。在諸如對(duì)由物 鏡放大的拍攝對(duì)象進(jìn)行拍攝的放大觀察裝置之類的成像裝置的情況下，可以通過移動(dòng)其上 固定了待檢查物體的可移動(dòng)載物臺(tái)來改變視場(chǎng)。這種寬視場(chǎng)圖像被稱為鑲嵌圖像，其通過 在根據(jù)圖像之間的相對(duì)位置以這種方式改變視場(chǎng)的同時(shí)對(duì)多個(gè)所拍攝的靜止圖像進(jìn)行耦 合來生成。 例如，在配備了對(duì)可移動(dòng)載物臺(tái)的位置進(jìn)行檢測(cè)的傳感器并自動(dòng)拍攝由用戶指定 的拍攝范圍的已知成像裝置的情況下，通過可移動(dòng)載物臺(tái)的控制信息判斷圖像之間的相對(duì) 位置關(guān)系并進(jìn)行靜止圖像的組合。在這種成像裝置中，當(dāng)指定了拍攝范圍并一旦開始拍攝 時(shí)，該流程中間不能改變拍攝范圍。另外，需要高度準(zhǔn)確地檢測(cè)可移動(dòng)載物臺(tái)的位置，因此 存在系統(tǒng)配置變得復(fù)雜和成本很高的問題。 另一方面，還有一種通過組合圖像與靜止圖像間的圖案匹配來判斷圖像間相對(duì)位 置關(guān)系的成像裝置。然而，還沒有這樣一種成像裝置，其能夠在使用戶確定在拍攝期間的視 場(chǎng)與在顯示單元上圖像生成期間的鑲嵌圖像之間的位置關(guān)系的同時(shí)獲取靜止圖像并將靜 止圖像與鑲嵌圖像耦合。因此，能夠想象一種成像裝置，其中在將拍攝過程中的視場(chǎng)顯示為 鑲嵌圖像上的移動(dòng)圖像的同時(shí)，在用戶指定的定時(shí)處獲取靜止圖像并將該靜止圖像合成到 鑲嵌圖像。 此外，已知一種技術(shù)，其在改變攝像頭焦點(diǎn)位置的同時(shí)拍攝多個(gè)靜止圖像，將這些 靜止圖像結(jié)合，并相應(yīng)地生成多焦點(diǎn)圖像(omnifocal image)和表面形狀數(shù)據(jù)。多焦點(diǎn)圖 像的景深比攝像頭的實(shí)際視場(chǎng)的景深和在整個(gè)視場(chǎng)內(nèi)正確對(duì)焦的合成圖像更深。通過對(duì)焦 點(diǎn)位置不同的多個(gè)靜止圖像之間的像素值進(jìn)行比較，以及通過提取正確對(duì)焦的焦點(diǎn)位置的 像素值，來生成多焦點(diǎn)圖像。另一方面，表面形狀數(shù)據(jù)是示出了待檢查物體表面的凹凸或者 臺(tái)階的高度信息的差值，并且通過比較靜止圖像之間的像素值并確定正確對(duì)焦的焦點(diǎn)位置 來產(chǎn)生表面形狀數(shù)據(jù)。 通常，在多焦點(diǎn)圖像和表面形狀數(shù)據(jù)中，可以識(shí)別正確對(duì)焦的范圍，S卩，比景深大 的凹凸或臺(tái)階。因此，正確對(duì)焦的范圍越小，則能夠得到的圖像數(shù)據(jù)質(zhì)量越高；然而攝像頭 的實(shí)際視場(chǎng)變得越窄。因此，如果對(duì)多個(gè)以這種方式產(chǎn)生的多焦點(diǎn)圖像進(jìn)行組合，則可以 獲得具有寬視場(chǎng)的多焦點(diǎn)圖像作為鑲嵌圖像。然而，為了在這樣的鑲嵌圖像上的適當(dāng)位置 處顯示拍攝期間的視場(chǎng)作為移動(dòng)畫面圖像，當(dāng)試圖通過圖像間的圖案匹配執(zhí)行幀圖像定位 時(shí)，存在有時(shí)由于重疊部分中對(duì)焦不準(zhǔn)的模糊導(dǎo)致的不能定位的問題。作為消除重疊部分
4中對(duì)焦不準(zhǔn)的模糊的方法，可以想到使用用于在預(yù)定范圍內(nèi)改變攝像頭的焦點(diǎn)位置并搜索 正確對(duì)焦的焦點(diǎn)位置的功能的方法，即，使用自動(dòng)對(duì)焦功能的方法。然而，在該方法中，當(dāng)對(duì) 幀圖像定位時(shí)，需要控制攝像頭來改變焦點(diǎn)位置，并且每次改變了焦點(diǎn)位置時(shí)都必須通過 執(zhí)行圖案匹配來搜索能夠定位的焦點(diǎn)位置；因此，存在定位所需時(shí)間過長(zhǎng)的問題。

發(fā)明內(nèi)容
已經(jīng)考慮到上述情況做出了本發(fā)明，本發(fā)明的目的是提供一種能夠獲取靜止圖像 并將其耦合到鑲嵌圖像同時(shí)使得用戶能識(shí)別拍攝期間的視場(chǎng)與圖像生成期間的鑲嵌圖像 之間的位置關(guān)系的成像裝置。更具體地，本發(fā)明另一個(gè)目的是提供一種能夠?qū)⑴臄z期間的 視場(chǎng)顯示在由多焦點(diǎn)圖像構(gòu)成的鑲嵌圖像上的適當(dāng)位置處卻不增加系統(tǒng)配置復(fù)雜性的成 像裝置。此外，本發(fā)明的又一個(gè)目的是提供一種成像裝置，其能夠防止圖像間重疊部分中產(chǎn) 生對(duì)焦不準(zhǔn)的模糊，于是提高了定位準(zhǔn)確度，而不會(huì)增加在將拍攝期間的視場(chǎng)作為移動(dòng)畫 面圖像顯示在鑲嵌圖像上的適當(dāng)位置處時(shí)用于定位幀圖像所需的時(shí)間。 本發(fā)明第一方面的成像裝置包括可移動(dòng)載物臺(tái)，能夠在固定待檢查物體的同時(shí) 在兩個(gè)不同方向上移動(dòng)；攝像頭，其與可移動(dòng)載物臺(tái)相對(duì)布置，對(duì)待檢查物體進(jìn)行拍攝并產(chǎn) 生由多個(gè)連續(xù)幀圖像構(gòu)成的移動(dòng)畫面圖像；焦點(diǎn)位置改變單元，其改變攝像頭的焦點(diǎn)位置； 靜止圖像獲取單元，其控制攝像頭和焦點(diǎn)位置改變單元，并獲取焦點(diǎn)位置不同的不少于兩 個(gè)的靜止圖像；多焦點(diǎn)圖像產(chǎn)生單元，其將不少于兩個(gè)的靜止圖像進(jìn)行結(jié)合，并產(chǎn)生比攝像 頭的實(shí)際視場(chǎng)的景深更深的多焦點(diǎn)圖像；高度形狀數(shù)據(jù)產(chǎn)生單元，其根據(jù)在多焦點(diǎn)圖像的 每個(gè)像素中的對(duì)焦位置來產(chǎn)生待檢查物體的高度形狀數(shù)據(jù)；焦點(diǎn)位置控制單元，其從高度 形狀數(shù)據(jù)獲取與多焦點(diǎn)圖像的至少一部分對(duì)應(yīng)的對(duì)焦位置，并控制焦點(diǎn)位置改變單元以使 幀圖像的焦點(diǎn)位置與對(duì)焦位置實(shí)質(zhì)上一致；特征量提取單元，其從通過控制焦點(diǎn)位置改變 單元所獲取的幀圖像以及多焦點(diǎn)圖像或參考圖像中提取特征量，所述參考圖像是根據(jù)構(gòu)成 多焦點(diǎn)圖像的多個(gè)靜止圖像而提取的圖像；相對(duì)位置確定單元，其通過比較特征量來確定 幀圖像與參考圖像之間的相對(duì)位置；活動(dòng)圖像顯示單元，其根據(jù)相對(duì)位置的確定結(jié)果來更 新幀圖像相對(duì)于多焦點(diǎn)圖像的顯示位置，并將移動(dòng)畫面圖像顯示在多焦點(diǎn)圖像上；和鑲嵌 圖像產(chǎn)生單元，其獲取與被活動(dòng)圖像顯示單元顯示為移動(dòng)畫面圖像的幀圖像相對(duì)應(yīng)的新的 多焦點(diǎn)圖像，并產(chǎn)生與多焦點(diǎn)圖像耦合的鑲嵌圖像。 在所述成像裝置中，通過將從幀圖像與從參考圖像提取的特征量進(jìn)行比較來確定 幀圖像與參考圖像之間的相對(duì)位置，并根據(jù)確定結(jié)果將移動(dòng)畫面圖像顯示在多焦點(diǎn)圖像上 的適當(dāng)位置處。根據(jù)這種配置，拍攝期間的視場(chǎng)作為移動(dòng)畫面圖像被顯示為在多焦點(diǎn)圖像 上的適當(dāng)位置處；因此，可以獲取靜止圖像并將其耦合到鑲嵌圖像，同時(shí)使得用戶確定拍攝 期間的視場(chǎng)與圖像生成期間的鑲嵌圖像之間的位置關(guān)系。更具體地說，通過比較從幀圖像 與從參考圖像提取的特征量，判斷幀圖像與參考圖像之間的相對(duì)位置關(guān)系；因此，可以將 拍攝期間的視場(chǎng)顯示在多焦點(diǎn)圖像上的適當(dāng)位置處而不會(huì)使系統(tǒng)配置復(fù)雜。另外，從高度 形狀數(shù)據(jù)獲取多焦點(diǎn)圖像的對(duì)焦位置的至少一部分，并控制焦點(diǎn)位置改變單元以獲取幀圖 像，從而使得幀圖像的焦點(diǎn)位置實(shí)質(zhì)上與對(duì)焦位置一致；因此，可以防止在圖像間的重疊部 分中產(chǎn)生對(duì)焦不準(zhǔn)的模糊而不會(huì)增加對(duì)幀圖像定位所需的時(shí)間。 在本發(fā)明的第二方面的成像裝置中，除了上述配置外，相對(duì)位置確定單元根據(jù)過去的相對(duì)位置的確定結(jié)果來估計(jì)幀圖像與參考圖像之間的重疊區(qū)域；并且焦點(diǎn)位置控制單 元從高度形狀數(shù)據(jù)獲取重疊區(qū)域的對(duì)焦位置，并控制焦點(diǎn)位置改變單元以使得幀圖像的焦 點(diǎn)位置與對(duì)焦位置實(shí)質(zhì)一致。根據(jù)這種配置，預(yù)先調(diào)節(jié)攝像頭的焦點(diǎn)位置以使得與幀圖像 和參考圖像之間的重疊區(qū)域的對(duì)焦位置一致從而獲取幀圖像，并執(zhí)行參考圖像的定位；因 此，可以提高定位準(zhǔn)確度。 在本發(fā)明的第三方面的成像裝置中，除了上述配置外，在獲取重疊區(qū)域的對(duì)焦位 置的情況下，焦點(diǎn)位置控制單元將幀圖像與參考圖像的重疊區(qū)域中的對(duì)焦部分中看起來面 積最大的焦點(diǎn)位置判定為對(duì)焦位置。 在本發(fā)明的第四方面的成像裝置中，除了上述配置外，特征量提取單元通過將構(gòu) 成多焦點(diǎn)圖像的焦點(diǎn)位置不同的多個(gè)靜止圖像之中在重疊區(qū)域中對(duì)焦部分面積最大的靜 止圖像設(shè)置為參考圖像來提取特征量。 本發(fā)明的第五方面的成像裝置除了上述配置外還包括參考圖像候選獲取單元， 其獲取焦點(diǎn)位置不同而與幀圖像拍攝條件相同的多個(gè)參考圖像候選，并且其中特征量提取 單元通過將參考圖像候選之中在重疊區(qū)域中的對(duì)焦部分面積最大的參考圖像候選設(shè)置為 參考圖像來提取特征量。 在本發(fā)明的第六方面的成像裝置中，除了上述配置外，特征量提取單元通過將多 焦點(diǎn)圖像設(shè)置為參考圖像來提取特征量。 本發(fā)明的第七方面的成像裝置除了上述配置外，還包括鑲嵌形狀數(shù)據(jù)產(chǎn)生單元，
其耦合高度形狀數(shù)據(jù)，并產(chǎn)生具有比攝像頭實(shí)際視場(chǎng)寬的范圍的鑲嵌形狀數(shù)據(jù)。 本發(fā)明的第八方面的成像裝置除了上述配置外，還包括參考圖像產(chǎn)生單元，其根
據(jù)鑲嵌圖像和鑲嵌形狀數(shù)據(jù)來產(chǎn)生參考圖像作為在對(duì)焦部分面積最大的焦點(diǎn)位置的圖像。
根據(jù)該配置，圖像區(qū)域面積最大的正確對(duì)焦的焦點(diǎn)位置的圖像被用作參考圖像并執(zhí)行幀圖
像的定位；因此，可改善幀圖像和參考圖像的定位精度。 在本發(fā)明的第九方面的成像裝置中，除了上述配置外，在通過重疊區(qū)域中的特征
量不能確定相對(duì)位置的情況下，相對(duì)位置確定單元通過將整個(gè)幀圖像的特征量與整個(gè)參考
圖像的特征量進(jìn)行比較來確定相對(duì)位置，并且在通過將整個(gè)幀圖像的特征量與整個(gè)參考圖
像的特征量進(jìn)行比較不能確定相對(duì)位置的情況下，參考圖像產(chǎn)生單元產(chǎn)生新的參考圖像作
為其焦點(diǎn)位置與能夠確定相對(duì)位置的最后幀圖像的焦點(diǎn)位置實(shí)質(zhì)相同的圖像。根據(jù)該配
置，其焦點(diǎn)位置與能夠確定相對(duì)位置的最后幀圖像的焦點(diǎn)位置實(shí)質(zhì)相同的圖像被用作新的
參考圖像，并且執(zhí)行幀圖像的定位；因此，可改善幀圖像和參考圖像的定位精度。 本發(fā)明的第十方面的成像裝置除了上述配置外，還包括定位減小部分，其通過減
小構(gòu)成移動(dòng)畫面圖像的幀圖像來產(chǎn)生定位幀圖像，并通過減小參考圖像來產(chǎn)生定位參考圖
像；和顯示減小單元，其通過減小構(gòu)成移動(dòng)畫面圖像的幀圖像來產(chǎn)生顯示幀圖像，并通過減
小鑲嵌圖像來產(chǎn)生顯示鑲嵌圖像，并且其中特征量提取單元從定位幀圖像和定位參考圖像
提取特征量；相對(duì)位置確定單元確定定位幀圖像與定位參考圖像之間的相對(duì)位置；活動(dòng)圖
像顯示單元將顯示幀圖像構(gòu)成的移動(dòng)畫面圖像作為活動(dòng)圖像顯示在顯示鑲嵌圖像上；以及
鑲嵌圖像產(chǎn)生單元以高于定位參考圖像的分辨率來對(duì)多焦點(diǎn)圖像與鑲嵌圖像之間的相對(duì)
位置進(jìn)行估計(jì)，將多焦點(diǎn)圖像組合到鑲嵌圖像，并產(chǎn)生新的鑲嵌圖像。 根據(jù)本發(fā)明的成像裝置，將拍攝期間的視場(chǎng)作為移動(dòng)畫面圖像顯示在多焦點(diǎn)圖像上的適當(dāng)位置處；因此，可以獲取靜止圖像并將其耦合到鑲嵌圖像，而同時(shí)使用戶確認(rèn)拍攝 期間的視場(chǎng)與圖像生成期間的鑲嵌圖像之間的位置關(guān)系。更具體地說，通過比較從幀圖像 與從參考圖像提取的特征量，來判斷幀圖像與參考圖像之間的相對(duì)位置關(guān)系；因此，可以將 拍攝期間的視場(chǎng)顯示在多焦點(diǎn)圖像上的適當(dāng)位置處而不會(huì)使系統(tǒng)配置變得復(fù)雜。另外，從 高度形狀數(shù)據(jù)獲取多焦點(diǎn)圖像的對(duì)焦位置的至少一部分，控制焦點(diǎn)位置改變單元以使得幀 圖像的焦點(diǎn)位置與對(duì)焦位置實(shí)質(zhì)一致從而獲取幀圖像；因此，可以防止圖像間的重疊部分 中產(chǎn)生對(duì)焦不準(zhǔn)的模糊，而不會(huì)增加用于對(duì)幀圖像定位所需的時(shí)間。因此，可以防止圖像間 的重疊部分中產(chǎn)生對(duì)焦不準(zhǔn)的模糊并且提高定位準(zhǔn)確度，而不會(huì)增加在將拍攝期間的視場(chǎng) 作為移動(dòng)畫面圖像顯示在鑲嵌圖像上的適當(dāng)位置處的情況下對(duì)幀圖像定位所需的時(shí)間。


圖1是示出根據(jù)本發(fā)明一個(gè)優(yōu)選實(shí)施例的成像裝置的示意配置的示例并示出一 個(gè)放大觀察裝置來作為成像裝置的示例的示圖； 圖2是示出圖1所示放大觀察裝置的相關(guān)部分的配置示例并示出系統(tǒng)主體中功能 配置的示例的框圖； 圖3是示出在圖2所示系統(tǒng)主體中的活動(dòng)定位單元的配置示例并示出匹配處理部 分中的功能配置的框圖； 圖4是示例性地示出在圖l所示放大觀察裝置中顯示活動(dòng)圖像期間的操作示例并 示出了移動(dòng)畫面圖像Al和顯示鑲嵌圖像A3的說明示圖； 圖5是示例性地示出在圖1所示放大觀察裝置中顯示活動(dòng)圖像期間的操作示例并 示出了一個(gè)活動(dòng)屏幕的說明示圖； 圖6A和圖6B是每一個(gè)示出了圖1所示放大觀察裝置中圖案匹配操作示例并示出 了其中通過比較整體特征點(diǎn)B3來提取特征點(diǎn)之間的正確對(duì)應(yīng)的狀態(tài)的示圖；
圖7A和圖7B是示出在圖1所示放大觀察裝置中圖案匹配操作的示例并示出比較 重疊區(qū)域B5和B6中的特征點(diǎn)的狀態(tài)的示圖； 圖8是示出在圖1所示放大觀察裝置中顯示活動(dòng)圖像期間的操作的示例流程圖；
圖9是示出在圖1所示放大觀察裝置中顯示活動(dòng)圖像期間的操作的示例流程圖。
具體實(shí)施例方式
優(yōu)選實(shí)施例1〈放大觀察裝置〉 圖1是示出根據(jù)本發(fā)明優(yōu)選實(shí)施例1的成像裝置的示意配置的示例的系統(tǒng)示圖， 并且示出一個(gè)放大觀察裝置1作為成像裝置的示例，其包括系統(tǒng)主體100、攝像機(jī)單元200 和控制板300。放大觀察裝置1是一個(gè)數(shù)字顯微鏡，其通過對(duì)由物鏡放大的拍攝對(duì)象進(jìn)行拍 攝來產(chǎn)生移動(dòng)畫面圖像，并可以在系統(tǒng)主體100的顯示單元110上顯示移動(dòng)畫面圖像。
攝像機(jī)單元200是用于在改變視場(chǎng)的同時(shí)拍攝待檢查物體的拍攝單元，其包括攝 像頭210、可移動(dòng)支持器220和可移動(dòng)載物臺(tái)230。攝像頭210是讀取裝置，其拍攝作為拍 攝對(duì)象的待檢查物體并產(chǎn)生由以恒定幀速持續(xù)的多個(gè)幀圖像構(gòu)成的移動(dòng)畫面圖像，并包括 可拆卸鏡頭單元、布置在圓筒形外殼中的電荷耦合器件(CCD)圖像傳感器、照明裝置、作為
7改變攝像頭210的對(duì)焦位置的單元的對(duì)焦機(jī)構(gòu)，等?？梢苿?dòng)支持器220是將攝像頭210可移動(dòng)地保持在與物鏡中軸平行的方向上的保持單元。在這種情況下，平行于攝像頭210的物鏡的中軸的方向被稱為z軸方向，可以通過旋轉(zhuǎn)位置調(diào)節(jié)旋鈕221來調(diào)節(jié)攝像頭210在z軸方向上的位置。 可移動(dòng)載物臺(tái)230是保持待檢查物體的保持單元，并且其在待檢查物體被固定的狀態(tài)下在與z軸相交的平面內(nèi)是可移動(dòng)的。在這種情況下，與z軸垂直的平面被稱為xy平面，可以通過旋轉(zhuǎn)位置調(diào)節(jié)旋鈕231和232來調(diào)節(jié)可移動(dòng)載物臺(tái)230在xy平面內(nèi)的位置。即，可移動(dòng)載物臺(tái)230是在固定了待檢查物體的同時(shí)通過旋轉(zhuǎn)位置調(diào)節(jié)旋鈕231和232可以在兩個(gè)不同方向上移動(dòng)的載物臺(tái)。 更具體地說，通過旋轉(zhuǎn)位置調(diào)節(jié)旋鈕231來調(diào)節(jié)x軸方向上的位置，通過旋轉(zhuǎn)位置調(diào)節(jié)旋鈕232可以調(diào)節(jié)y軸方向上的位置。將攝像頭210布置成與該可移動(dòng)載物臺(tái)230面對(duì)。 控制板300是用于指示拍攝的開始和結(jié)束、將拍攝圖像數(shù)據(jù)等獲取到系統(tǒng)主體IOO中的輸入裝置。 系統(tǒng)主體100是圖像處理裝置，其將攝像頭210所拍攝的移動(dòng)畫面圖像作為活動(dòng)圖像顯示在顯示單元110上，對(duì)由多個(gè)靜止圖像構(gòu)成的多焦點(diǎn)圖像進(jìn)行組合，并產(chǎn)生視場(chǎng)比攝像頭210的實(shí)際視場(chǎng)寬的鑲嵌圖像。
〈系統(tǒng)主體> 圖2是示出圖1所示放大觀察裝置1的相關(guān)部分的配置示例并示出系統(tǒng)主體100中功能配置的示例的框圖。系統(tǒng)主體IOO包括顯示減小單元121和134、顯示鑲嵌圖像存儲(chǔ)單元122、活動(dòng)圖像更新單元123、保持鑲嵌圖像存儲(chǔ)單元124、鑲嵌形狀數(shù)據(jù)存儲(chǔ)單元125、參考圖像產(chǎn)生單元126、參考圖像存儲(chǔ)單元127、活動(dòng)定位單元128、靜止圖像獲取單元129、多焦點(diǎn)圖像產(chǎn)生單元130、鑲嵌圖像產(chǎn)生單元131、高度形狀數(shù)據(jù)產(chǎn)生單元132、鑲嵌形狀數(shù)據(jù)產(chǎn)生單元133、焦點(diǎn)位置控制單元135以及顯示單元110。 顯示減小單元121操作來處理從攝像頭210獲得的移動(dòng)圖像數(shù)據(jù)，并產(chǎn)生減小了圖像尺寸的減小移動(dòng)圖像數(shù)據(jù)。更具體地說，執(zhí)行操作以使顯示減小單元121以預(yù)定減小比率將從攝像頭210連續(xù)獲得的幀圖像減小、產(chǎn)生顯示幀圖像并將該顯示幀圖像輸出到活動(dòng)圖像更新單元123。例如，通過像素跳過處理和像素值平均步驟來執(zhí)行幀圖像的減小。在這種情況下，執(zhí)行減小處理而不改變高寬比，即，幀圖像的高寬比在減小之前和之后不變。
顯示鑲嵌圖像存儲(chǔ)單元122是鑲嵌圖像保持單元，其保持顯示鑲嵌圖像，并例如由易失性半導(dǎo)體存儲(chǔ)器來構(gòu)成。活動(dòng)圖像更新單元123操作以根據(jù)從顯示減小單元121發(fā)送的減小比率信息來控制顯示單元IIO，并且更新從顯示減小單元121連續(xù)獲得的顯示幀圖像相對(duì)于顯示鑲嵌圖像的顯示位置，并相應(yīng)地在顯示鑲嵌圖像上顯示活動(dòng)圖像?；顒?dòng)圖像是由多個(gè)連續(xù)顯示幀圖像構(gòu)成的移動(dòng)畫面圖像。 保持鑲嵌圖像存儲(chǔ)單元124是鑲嵌圖像保持單元，其保存保持鑲嵌圖像，并由例如硬盤驅(qū)動(dòng)(HDD)之類的非易失性存儲(chǔ)元件來構(gòu)成。鑲嵌形狀數(shù)據(jù)存儲(chǔ)單元125是圖像數(shù)據(jù)保持單元，其保存鑲嵌形狀數(shù)據(jù)并由例如硬盤驅(qū)動(dòng)(HDD)之類的非易失性存儲(chǔ)元件來構(gòu)成。 參考圖像產(chǎn)生單元126操作來從保持鑲嵌圖像存儲(chǔ)單元124和鑲嵌形狀數(shù)據(jù)存儲(chǔ)單元125分別讀出保持鑲嵌圖像和鑲嵌形狀數(shù)據(jù)，并根據(jù)這些圖像數(shù)據(jù)產(chǎn)生幀圖像的定位參考圖像。參考圖像是用于確定幀圖像與鑲嵌圖像之間的相對(duì)位置關(guān)系的圖像，也是與保持鑲嵌圖像的一部分對(duì)應(yīng)的特定焦點(diǎn)位置處的圖像。參考圖像存儲(chǔ)單元127是參考圖像保持單元，其保存由參考圖像產(chǎn)生單元126產(chǎn)生的參考圖像。 活動(dòng)定位單元128包括定位減小部分128a和128b以及匹配處理部分128c?；顒?dòng)定位單元128操作來減小分別從攝像頭210連續(xù)得到的幀圖像以及從參考圖像存儲(chǔ)單元127讀出的參考圖像，并拽行匹配處理。 定位減小部分128a操作來以用于定位的恒定減小比率減小從攝像頭210獲得的幀圖像，以產(chǎn)生定位幀圖像并將該定位幀圖像輸出到匹配處理部分128c。定位減小部分128b操作來以用于定位的恒定減小比率減小從參考圖像存儲(chǔ)單元127讀出的參考圖像，以產(chǎn)生定位鑲嵌圖像并將該定位鑲嵌圖像輸出到匹配處理部分128c。 匹配處理部分128c操作來利用定位幀圖像與定位鑲嵌圖像之間的圖案匹配確定
它們之間的相對(duì)位置，以產(chǎn)生相對(duì)位置信息并將其輸出到活動(dòng)圖像更新單元123。 活動(dòng)圖像更新單元123操作來根據(jù)從活動(dòng)定位單元128接收的相對(duì)位置信息來確
定顯示幀圖像與顯示參考圖像之間的相對(duì)位置，并更新顯示幀圖像相對(duì)于用于顯示的幀圖
像的顯示鑲嵌圖像的相對(duì)位置。 靜止圖像獲取單元129操作來根據(jù)來自控制板300的獲取指令控制攝像頭210，以在改變攝像頭210的焦點(diǎn)位置的同時(shí)得到多個(gè)靜止圖像，并將多個(gè)靜止圖像輸出到多焦點(diǎn)圖像產(chǎn)生單元130。更具體地說，根據(jù)來自靜止圖像獲取單元129的對(duì)焦(F)控制信號(hào)來控制攝像頭210的對(duì)焦機(jī)構(gòu)，并且從攝像頭210獲取焦點(diǎn)位置不同的多個(gè)靜止圖像作為靜止圖像數(shù)據(jù)。 多焦點(diǎn)圖像產(chǎn)生單元130操作來通過對(duì)由靜止圖像獲取單元129獲取的多個(gè)靜止圖像進(jìn)行組合來產(chǎn)生多焦點(diǎn)圖像。多焦點(diǎn)圖像的景深比攝像頭210的實(shí)際視場(chǎng)以及在整個(gè)視場(chǎng)內(nèi)正確對(duì)焦的合成圖像的景深更深。更具體地說，通過比較焦點(diǎn)位置不同的多個(gè)靜止圖像之間的像素值以及通過提取正確對(duì)焦的焦點(diǎn)位置的像素值，來產(chǎn)生多焦點(diǎn)圖像。順便地說，在這種情況所示的多焦點(diǎn)圖像中，還包括了其中含有大約還差幾個(gè)像素而沒有正確對(duì)焦的像素的圖像。 鑲嵌圖像產(chǎn)生單元131包括保持定位部分131a和圖像耦合部分131b，并操作來通過組合多個(gè)多焦點(diǎn)圖像產(chǎn)生保持鑲嵌圖像。 保持定位部分131a操作來確定由多焦點(diǎn)圖像產(chǎn)生單元130產(chǎn)生的多焦點(diǎn)圖像與從保持鑲嵌圖像存儲(chǔ)單元124讀出的保持鑲嵌圖像之間的相對(duì)位置。通過多焦點(diǎn)圖像與保持鑲嵌圖像之間的圖案匹配來執(zhí)行相對(duì)位置的確定，并以比定位參考圖像更高的分辨率來估計(jì)多焦點(diǎn)圖像與保持鑲嵌圖像之間的相對(duì)位置。 圖像耦合部分131b操作來根據(jù)保持定位部分131a的確定結(jié)果組合多焦點(diǎn)圖像和保持鑲嵌圖像，以產(chǎn)生新的保持鑲嵌圖像，并且更新保持鑲嵌圖像存儲(chǔ)單元124中的保持鑲嵌圖像。更具體地說，根據(jù)由保持定位部分131a所估計(jì)的圖像之間的相對(duì)位置來對(duì)由多焦點(diǎn)圖像產(chǎn)生單元130所產(chǎn)生的多焦點(diǎn)圖像與從保持鑲嵌圖像存儲(chǔ)單元124讀出的保持鑲嵌圖像進(jìn)行組合，從而產(chǎn)生新的保持鑲嵌圖像。 通過根據(jù)多焦點(diǎn)圖像與保持鑲嵌圖像之間的相對(duì)位置來耦合這兩種圖像以執(zhí)行組合。此外，在耦合多焦點(diǎn)圖像與保持鑲嵌圖像的情況下，對(duì)這兩種圖像的重疊部分執(zhí)行像素值的混合處理，以使得接合處更不明顯。 混合處理是執(zhí)行圖像間像素值的混合的圖像處理，S卩，其執(zhí)行加權(quán)平均并得到合成圖像的像素值，并且響應(yīng)于像素位置來適當(dāng)?shù)馗淖儓?zhí)行加權(quán)平均情況中的權(quán)重；因此，其使得接合處更不明顯。在執(zhí)行圖像間像素值混合的情況下采用的權(quán)重被設(shè)置來響應(yīng)于與重疊部分圖像區(qū)域的圖像末端的距離而增加。 高度形狀數(shù)據(jù)產(chǎn)生單元132操作來根據(jù)由靜止圖像獲取單元129獲取的多個(gè)靜止圖像來產(chǎn)生待檢查物體的高度形狀數(shù)據(jù)。高度形狀數(shù)據(jù)是示出例如待檢查物體的表面的凹凸或臺(tái)階的高度信息的差值，由距離參考面的高度的二維分布所提供。更具體地說，通過比較焦點(diǎn)位置不同的多個(gè)靜止圖像之間的像素值并通過確定正確對(duì)焦的焦點(diǎn)位置來產(chǎn)生高度形狀數(shù)據(jù)。 鑲嵌形狀數(shù)據(jù)產(chǎn)生單元133操作來通過對(duì)由高度形狀數(shù)據(jù)產(chǎn)生單元132產(chǎn)生的多個(gè)高度形狀數(shù)據(jù)進(jìn)行耦合，來產(chǎn)生具有比攝像頭210的實(shí)際視場(chǎng)更寬范圍的鑲嵌形狀數(shù)據(jù)。更具體地說，首先，根據(jù)保持定位部分131a對(duì)相對(duì)位置確定結(jié)果，判斷處在將由高度形狀數(shù)據(jù)產(chǎn)生單元132產(chǎn)生的高度形狀數(shù)據(jù)耦合到從鑲嵌形狀數(shù)據(jù)存儲(chǔ)單元125讀出的鑲嵌形狀數(shù)據(jù)的情況下的相對(duì)位置關(guān)系。隨后，根據(jù)相對(duì)位置關(guān)系執(zhí)行對(duì)來自高度形狀數(shù)據(jù)產(chǎn)生單元132的高度形狀數(shù)據(jù)與鑲嵌形狀數(shù)據(jù)進(jìn)行耦合的操作，產(chǎn)生新的鑲嵌形狀數(shù)據(jù)，并更新鑲嵌形狀數(shù)據(jù)存儲(chǔ)單元125中的鑲嵌形狀數(shù)據(jù)。 焦點(diǎn)位置控制單元135操作來根據(jù)高度形狀數(shù)據(jù)確定與多焦點(diǎn)圖像的至少一部分對(duì)應(yīng)的對(duì)焦位置，并控制攝像頭210的對(duì)焦機(jī)構(gòu)，從而使幀圖像的焦點(diǎn)位置實(shí)質(zhì)上與對(duì)
焦位置一致。 顯示減小單元134操作來在每次更新保持鑲嵌圖像時(shí)，從保持鑲嵌圖像存儲(chǔ)單元124中讀出更新之后的保持鑲嵌圖像，以預(yù)定的減小比率減小所讀出的保持鑲嵌圖像，并產(chǎn)生顯示鑲嵌圖像。 在這種情況下，活動(dòng)定位單元128是以比保持定位部分131a低的準(zhǔn)確度進(jìn)行匹配處理并輸出低準(zhǔn)確度坐標(biāo)數(shù)據(jù)作為相對(duì)位置信息的處理單元。 在參考圖像產(chǎn)生單元126中，例如，從保持鑲嵌圖像提取與最后組合的多焦點(diǎn)圖像對(duì)應(yīng)的圖像區(qū)域，并通過所提取的圖像區(qū)域和對(duì)應(yīng)的鑲嵌形狀數(shù)據(jù)來產(chǎn)生定位參考圖像。在這種情況下，執(zhí)行操作來產(chǎn)生參考圖像，作為焦點(diǎn)位置的圖像，所述焦點(diǎn)位置的圖像是在包括正確對(duì)焦的鄰近像素的單個(gè)圖像區(qū)域中面積最大的圖像。即，在正確對(duì)焦的圖像區(qū)域中面積最大的焦點(diǎn)位置的圖像用作參考圖像；因此，可以提高幀圖像的定位準(zhǔn)確度。
另外，在構(gòu)成鑲嵌圖像的多焦點(diǎn)圖像是比幀圖像具有更高亮度分辨率的高分辨率圖像或者是比幀圖像具有更寬亮度動(dòng)態(tài)范圍的高動(dòng)態(tài)范圍(HDR)圖像的情況下，參考圖像產(chǎn)生單元126執(zhí)行轉(zhuǎn)換圖像數(shù)據(jù)格式的處理，例如，在產(chǎn)生與鑲嵌圖像的一部分對(duì)應(yīng)的參考圖像的情況下，從16位圖像數(shù)據(jù)轉(zhuǎn)換到8位圖像數(shù)據(jù)的處理。 順便地說，在本優(yōu)選實(shí)施例中，參考圖像產(chǎn)生單元126從存儲(chǔ)的多焦點(diǎn)圖像和鑲嵌形狀數(shù)據(jù)產(chǎn)生作為針對(duì)幀圖像待定位的對(duì)象的參考圖像；然而，參考圖像可以從構(gòu)成多焦點(diǎn)圖像的多個(gè)靜止圖像之中選擇在正確對(duì)焦的圖像區(qū)域中面積最大的靜止圖像；或者多焦點(diǎn)圖像本身可以用作參考圖像。
此外，當(dāng)在拍攝多焦點(diǎn)圖像的時(shí)刻獲取的靜止圖像和幀圖像中成像條件(亮度的色調(diào)值等等)不同并且不能執(zhí)行下文將要描述的匹配處理時(shí)，在相同成像條件下獲取焦點(diǎn)位置不同的多個(gè)靜止圖像作為拍攝多焦點(diǎn)圖像時(shí)的幀圖像，以用作參考圖像的候選圖像；可以從這些候選圖像之中選擇在正確對(duì)焦的圖像區(qū)域中面積最大的靜止圖像作為參考圖像?！雌ヅ涮幚聿糠?gt; 圖3是示出在圖2所示系統(tǒng)主體100中的活動(dòng)定位單元128的配置示例并示出在匹配處理部分128c中的功能配置示例的框圖。匹配處理部分128c包括特征量提取單元141和相對(duì)位置確定單元142。 特征量提取單元141操作來分別從定位幀圖像和定位參考圖像中提取特征量。作為特征量，只要特征量成為比較圖像時(shí)的標(biāo)記，就可以使用任何特征量；不過，在這種情況下，提取多條邊相交的頂點(diǎn)作為特征點(diǎn)。 相對(duì)位置確定單元142包括比較部分143、相對(duì)位置計(jì)算部分144和重疊區(qū)域估計(jì)部分145。相對(duì)位置確定單元142操作來通過比較特征點(diǎn)確定定位幀圖像和定位鑲嵌圖像之間的相對(duì)位置。比較部分143操作來將從定位幀圖像提取的特征點(diǎn)與從定位鑲嵌圖像提取的特征點(diǎn)進(jìn)行比較，并將其比較結(jié)果輸出到相對(duì)位置計(jì)算部分144。 通過例如從一個(gè)像素中提取包括特征點(diǎn)的區(qū)域作為模板并通過從其它圖像搜索與模板區(qū)域最相似的區(qū)域來執(zhí)行特征點(diǎn)的比較。作為用于測(cè)量區(qū)域間相似度的指標(biāo)，可以想到從區(qū)域中的像素得到亮度值的誤差平方和的方法以及使用歸一化相關(guān)的方法，其中以平均亮度對(duì)區(qū)域中每個(gè)像素的亮度值歸一化。 相對(duì)位置計(jì)算部分144操作來根據(jù)比較部分143的比較結(jié)果確定定位幀圖像與定位參考圖像之間的相對(duì)位置，將其確定結(jié)果輸出到重疊區(qū)域估計(jì)部分145，并且將相對(duì)位置信息輸出到活動(dòng)圖像更新單元123。 重疊區(qū)域估計(jì)部分143操作來根據(jù)過去相對(duì)于定位幀圖像的相對(duì)位置的確定結(jié)
果來估計(jì)當(dāng)前定位幀圖像和定位參考圖像的重疊區(qū)域。例如，執(zhí)行操作以使得根據(jù)由一個(gè)
幀先前提供的相對(duì)于定位幀圖像的相對(duì)位置的確定結(jié)果來設(shè)置幀圖像與定位參考圖像之
間的重疊區(qū)域，并將重疊區(qū)域判斷為當(dāng)前幀圖像與參考圖像的重疊區(qū)域。 比較部分143操作來對(duì)由重疊區(qū)域估計(jì)部分145所估計(jì)的重疊區(qū)域中的特征點(diǎn)進(jìn)
行比較，并將其比較結(jié)果輸出到相對(duì)位置計(jì)算部分144。隨后，在作為比較的結(jié)果不能確定
相對(duì)位置的情況下，對(duì)重疊區(qū)域中的特征點(diǎn)執(zhí)行操作，對(duì)整個(gè)定位幀圖像中包括的所有特
征點(diǎn)和整個(gè)定位參考圖像中包括的所有特征點(diǎn)進(jìn)行比較(這是定位鑲嵌圖像的匹配處理
的目的)，并將其比較結(jié)果輸出到相對(duì)位置計(jì)算部分144。 S卩，相對(duì)位置計(jì)算部分144操作來根據(jù)從過去的相對(duì)位置的確定結(jié)果所估計(jì)的在幀圖像與參考圖像之間的重疊區(qū)域中的特征點(diǎn)的比較結(jié)果，來確定相對(duì)位置。另一方面，在不能通過比較這種重疊區(qū)域中的特征點(diǎn)來確定相對(duì)位置的情況下，相對(duì)位置計(jì)算部分144
操作來根據(jù)整個(gè)定位幀圖像的特征點(diǎn)和整個(gè)參考圖像的特征點(diǎn)的比較結(jié)果確定相對(duì)位置。
此外，對(duì)第一幀處的定位幀圖像執(zhí)行操作來比較整個(gè)定位幀圖像包括的所有特征點(diǎn)與整個(gè)參考圖像包括的所有特征點(diǎn)，并將其比較結(jié)果輸出到相對(duì)位置計(jì)算部分144。艮卩，對(duì)于第一定位幀圖像，將幀圖像的所有特征點(diǎn)與參考圖像的所有特征點(diǎn)進(jìn)行比較，并確定
11相對(duì)位置。另一方面，對(duì)于第二幀以后的定位幀圖像，首先，對(duì)根據(jù)過去的相對(duì)于幀圖像的相對(duì)位置的確定結(jié)果所估計(jì)的重疊區(qū)域中的特征點(diǎn)進(jìn)行比較并確定相對(duì)位置。此時(shí)，如果不能確定相對(duì)位置，則對(duì)幀圖像的所有特征點(diǎn)和參考圖像的所有特征點(diǎn)進(jìn)行比較并確定相對(duì)位置。 在這種情況下，第一幀圖像例如是在產(chǎn)生鑲嵌圖像期間一旦停止了拍攝并隨后重新開始拍攝的情況下在重新拍攝之后首次獲得的幀圖像。 —般而言，在從兩個(gè)靜止圖像(其中圖像的每個(gè)部分都重疊并且在這些圖像之間搜索對(duì)應(yīng)的特征點(diǎn)的組)中提取每個(gè)特征點(diǎn)的情況下，從兩個(gè)圖像的重疊區(qū)域提取特征點(diǎn)并搜索對(duì)應(yīng)特征點(diǎn)的組的方式在錯(cuò)誤響應(yīng)出現(xiàn)概率方面比通過從整個(gè)圖像提取特征點(diǎn)來進(jìn)行搜索的錯(cuò)誤響應(yīng)出現(xiàn)概率更低。即，優(yōu)選地對(duì)重疊區(qū)域中的特征點(diǎn)進(jìn)行比較來確定相對(duì)位置；相應(yīng)地，可以提高定位幀圖像的定位成功概率。另外，與對(duì)屏幕中所有特征點(diǎn)進(jìn)行比較的情況相比，提高了定位速度。 在這種情況下，當(dāng)特征量提取單元141從當(dāng)前定位幀圖像提取特征點(diǎn)時(shí)，從由重疊區(qū)域估計(jì)部分145估計(jì)的重疊區(qū)域中提取特征點(diǎn)。隨后，在不能僅通過重疊區(qū)域中的特征點(diǎn)確定相對(duì)位置的情況下，也對(duì)除了重疊區(qū)域以外的區(qū)域中的特征點(diǎn)進(jìn)行提取操作。
在由顯示幀圖像構(gòu)成的移動(dòng)畫面圖像作為活動(dòng)圖像被顯示在顯示鑲嵌圖像上的情況下，活動(dòng)圖像更新單元123操作來根據(jù)由相對(duì)位置計(jì)算部分144得到的相對(duì)位置確定結(jié)果，來更新顯示定位，并將其顯示數(shù)據(jù)輸出到顯示單元110。 此外，針對(duì)由重疊區(qū)域估計(jì)部分145估計(jì)的重疊區(qū)域，特征量提取單元141根據(jù)與重疊區(qū)域?qū)?yīng)的鑲嵌形狀數(shù)據(jù)來在定位參考圖像中確定焦點(diǎn)位置，所述焦點(diǎn)位置是在重疊區(qū)域中包括了正確對(duì)焦的相鄰像素的單個(gè)圖像區(qū)域中面積最大的區(qū)域。隨后，執(zhí)行操作以使得根據(jù)焦點(diǎn)位置確定結(jié)果來控制攝像頭210，并相應(yīng)地得到焦點(diǎn)位置與參考圖像實(shí)質(zhì)相同的幀圖像。根據(jù)從特征量提取單元141提供的F控制信號(hào)來控制攝像頭210的對(duì)焦機(jī)構(gòu)。
如上所述，在本優(yōu)選實(shí)施例中，由于由重疊區(qū)域估計(jì)部分145所估計(jì)的幀圖像與參考圖像的重疊區(qū)域中的對(duì)焦位置是根據(jù)鑲嵌形狀數(shù)據(jù)確定的，因此，即使用戶移動(dòng)了可移動(dòng)載物臺(tái)230以及改變了作為幀圖像定位對(duì)象的參考圖像的相對(duì)位置，攝像頭210的焦點(diǎn)位置也總是與重疊區(qū)域中的對(duì)焦位置一致。因此，即使當(dāng)待成像的對(duì)象中存在凹凸并且改變了對(duì)焦位置時(shí)，也可以避免定位所需的重疊區(qū)域中對(duì)焦不準(zhǔn)的模糊。
除此之外，從焦點(diǎn)位置不同的至少兩個(gè)靜止圖像中自動(dòng)選擇具有所估計(jì)的重疊區(qū)域中的鑲嵌形狀的、對(duì)焦最準(zhǔn)確的靜上圖像作為參考圖像，可以相對(duì)于參考圖像定位幀圖像。因此，可以相對(duì)于重疊區(qū)域中的鑲嵌形狀來對(duì)對(duì)焦最準(zhǔn)確的參考圖像和對(duì)焦最準(zhǔn)確的幀圖像進(jìn)行定位。 此外，在即使通過將整個(gè)幀圖像的特征量與整個(gè)參考圖像的特征量相比較也不能
確定相對(duì)位置的情況下，參考圖像產(chǎn)生單元126操作來產(chǎn)生新的參考圖像作為與能夠確定
其中的相對(duì)位置的最后幀圖像焦點(diǎn)位置實(shí)質(zhì)上相同的圖像。這使得可以提高幀圖像和參考
圖像的定位準(zhǔn)確度，因?yàn)閹瑘D像的定位是通過使用其焦點(diǎn)位置與能夠確定相對(duì)位置的最后
幀圖像的焦點(diǎn)位置實(shí)質(zhì)相同的圖像作為新參考圖像來執(zhí)行的。〈活動(dòng)屏幕> 圖4和圖5是示例性地示出在圖1所示放大觀察裝置1中顯示活動(dòng)圖像期間的操作示例的說明示圖。圖4示出了攝像頭210拍攝的移動(dòng)畫面圖像Al和顯示鑲嵌圖像A3。另外，圖5示出了其中移動(dòng)畫面圖像A 1布置為在鑲嵌圖像A3之上的活動(dòng)圖像的活動(dòng)屏幕111。 移動(dòng)畫面圖像A1由以恒定幀速重復(fù)產(chǎn)生的顯示幀圖像A2構(gòu)成。例如，顯示幀圖像A2以每秒15幀(fps)來產(chǎn)生。 顯示鑲嵌圖像A3是通過減小用于顯示活動(dòng)屏幕的保持鑲嵌圖像所產(chǎn)生的鑲嵌圖像，并由多個(gè)多焦點(diǎn)圖像構(gòu)成。 活動(dòng)屏幕111是顯示在顯示單元110上的監(jiān)視器屏幕，并且其上顯示了在圖像生成期間的顯示鑲嵌圖像A3和移動(dòng)畫面圖像A1。在活動(dòng)屏幕lll中，將移動(dòng)畫面圖像A1布置到根據(jù)由當(dāng)前定位幀圖像與定位參考圖像之間的圖案匹配確定的相對(duì)位置所決定的顯示位置處。 S卩，將拍攝期間的移動(dòng)畫面圖像Al顯示為在圖像生成期間的顯示鑲嵌圖像A3上的恰當(dāng)位置處的活動(dòng)圖像，因此，用戶在對(duì)拍攝期間的視場(chǎng)與圖像生成期間的鑲嵌圖像之間的位置關(guān)系進(jìn)行確認(rèn)的同時(shí)，可以獲取靜止圖像并將其耦合到保持鑲嵌圖像。
〈圖案匹配> 圖6A和圖6B是每個(gè)示出在圖1所示放大觀察裝置1中的圖案匹配操作的示例的示意圖，其示出了這種狀態(tài)其中通過對(duì)每個(gè)從參考圖像B1和定位幀圖像B2提取的所有特征點(diǎn)B3進(jìn)行比較來提取這些特征點(diǎn)之間的正確對(duì)應(yīng)。圖6A示出了將從參考圖像Bl提取的特征點(diǎn)B3與幀圖像B2中的每個(gè)特征點(diǎn)B3進(jìn)行比較的狀態(tài)；圖6B示出了根據(jù)特征點(diǎn)B3的比較所提取的特征點(diǎn)之間的正確對(duì)應(yīng)。 參考圖像B1是與圖像生成期間的鑲嵌圖像的一部分對(duì)應(yīng)的圖像，并預(yù)先從保持鑲嵌圖像中提取作為圖案匹配的處理對(duì)象。例如，將最后耦合的多焦點(diǎn)圖像提取作為參考圖像B1。作為替換，當(dāng)相對(duì)于保持鑲嵌圖像最后耦合的多焦點(diǎn)圖像與當(dāng)前幀圖像的重疊區(qū)域的尺寸小于恒定水平并且不能確定這些圖像之間的相對(duì)位置時(shí)，則將與相對(duì)于保持鑲嵌圖像最后耦合的多焦點(diǎn)圖像相鄰的其它多焦點(diǎn)圖像提取來作為參考圖像B1。
在參考圖像Bl與幀圖像B2之間的位置關(guān)系不清楚的情況下，通過將圖像整體設(shè)置為一個(gè)對(duì)象來提取特征點(diǎn)B3。隨后，通過比較這些特征點(diǎn)來判斷對(duì)于從參考圖像B1提取的各個(gè)特征點(diǎn)B3是否在幀圖像B2中存在類似的特征點(diǎn)。 可以通過包括特征點(diǎn)B3的預(yù)定區(qū)域來測(cè)量特征點(diǎn)之間的相似度，例如，對(duì)5像素X5像素的矩形區(qū)域計(jì)算的亮度值的誤差平方和或歸一化相關(guān)。 根據(jù)這樣的比較結(jié)果來提取特征點(diǎn)之間的正確對(duì)應(yīng)。例如，將相同方向上平行移動(dòng)的特征點(diǎn)之間的對(duì)應(yīng)提取為正確對(duì)應(yīng)。通過根據(jù)所提取特征點(diǎn)之間的正確對(duì)應(yīng)以判斷特征點(diǎn)在圖像中的移動(dòng)量并且通過由所述移動(dòng)量判斷幀圖像B2相對(duì)于參考圖像B1的移動(dòng)量，來確定參考圖像Bl與幀圖像B2之間的相對(duì)位置。 圖7A和圖7B是每個(gè)示出在圖1所示放大觀察裝置1中圖案匹配操作的示例的示圖，并示出其中對(duì)從參考圖像與第(n-l)幀圖像之間的相對(duì)位置所估計(jì)的重疊區(qū)域B5和B6中的特征點(diǎn)B3進(jìn)行比較的狀態(tài)。圖7A示出從參考圖像與第(n-l)幀圖像之間的相對(duì)位置所得到的這兩種圖像的重疊區(qū)域B4。此外，圖7B示出從參考圖像與第(n-l)幀圖像之間的相對(duì)位置所估計(jì)的參考圖像與第n幀圖像的重疊區(qū)域B5和B6。
在知道了參考圖像Bl與幀圖像B2之間的大致位置關(guān)系的情況下，從一個(gè)圖像適當(dāng)?shù)靥崛∧０鍏^(qū)域并搜索對(duì)應(yīng)于其它圖像的區(qū)域的相鄰部分；從而可以高準(zhǔn)確度地確定這些圖像之間的相對(duì)位置。 S卩，根據(jù)由一個(gè)幀預(yù)先提供的第(n-1)幀圖像與所述參考圖像之間相對(duì)位置的確
定結(jié)果，得到這些圖像的重疊區(qū)域B4。重疊區(qū)域B4被判斷為當(dāng)前第n幀圖像和參考圖像的
重疊區(qū)域B5和B6。隨后，針對(duì)參考圖像的重疊區(qū)域B5中的各個(gè)特征點(diǎn)B3從第n幀圖像的
重疊區(qū)域B6提取相似的特征點(diǎn)；因此可以確定這些圖像之間的相對(duì)位置。 通過針對(duì)參考圖像的重疊區(qū)域B5中的各個(gè)特征點(diǎn)B3從第n幀圖像的重疊區(qū)域B6
中提取在對(duì)應(yīng)于特征點(diǎn)的位置附近的預(yù)定區(qū)域并且通過搜索所述區(qū)域的內(nèi)部，來進(jìn)行相似
特征點(diǎn)的提取。 在本優(yōu)選實(shí)施例中，對(duì)于跟隨第二幀之后的定位幀圖像以及定位參考圖像的定位，采取了如圖7所示的對(duì)重疊區(qū)域中的特征點(diǎn)進(jìn)行比較的方法。另一方面，在通過第一幀的定位幀圖像以及定位參考圖像的定位并通過重疊區(qū)域中特征點(diǎn)的比較而不能確定相對(duì)位置的情況下，或者在根據(jù)獲取指令所獲取的靜止圖像以及保持鑲嵌圖像的定位的情況下，采取了如圖6所示的對(duì)所有特征點(diǎn)進(jìn)行比較的方法。 圖8和圖9中所示的步驟S101到S124是每個(gè)示出圖1所示放大觀察裝置1中的顯示活動(dòng)圖像期間的操作的示例的流程圖。首先，參考圖像產(chǎn)生單元126從保持鑲嵌圖像提取與最后組合的多焦點(diǎn)圖像對(duì)應(yīng)的圖像區(qū)域，并產(chǎn)生參考圖像作為單個(gè)圖像區(qū)域中面積最大的焦點(diǎn)位置的圖像，所述單個(gè)圖像區(qū)域包括了來自所提取圖像區(qū)域的正確對(duì)焦的相鄰像素和相應(yīng)鑲嵌形狀數(shù)據(jù)(步驟S101)。 接下來，特征量提取單元141控制攝像頭210的對(duì)焦機(jī)構(gòu)，調(diào)整焦點(diǎn)位置，并獲取焦點(diǎn)位置與參考圖像實(shí)質(zhì)相同的定位幀圖像(步驟S102和S103)。隨后，如果所獲取的定位幀圖像是第一幀圖像，則從整個(gè)圖像提取特征點(diǎn)(步驟S104和S105)。
接著，相對(duì)位置確定單元142對(duì)每個(gè)圖像的所有特征點(diǎn)進(jìn)行比較，并確定當(dāng)前定位幀圖像與定位參考圖像之間的相對(duì)位置(步驟S106)。此時(shí)，如果，不能確定相對(duì)位置，則將參考圖像改為定位成功的最后幀圖像和焦點(diǎn)位置實(shí)質(zhì)相同的圖像，并通過比較整個(gè)改變的參考圖像中包括的所有特征點(diǎn)與幀圖像的所有特征點(diǎn)來確定相對(duì)位置(步驟S107、S112和S113)。 隨后，如果可以確定相對(duì)位置并在步驟S107中成功定位了幀圖像，則根據(jù)相對(duì)位置的確定結(jié)果改變幀圖像相對(duì)于鑲嵌圖像的顯示位置，并更新活動(dòng)圖像(步驟S114、 S116和S117)。當(dāng)即使通過比較整個(gè)所改變的參考圖像的特征點(diǎn)與整個(gè)幀圖像的特征點(diǎn)也不能確定相對(duì)位置并且定位失敗時(shí)，告知匹配錯(cuò)誤(步驟S14和S115)。 當(dāng)能夠確定相對(duì)位置并且在步驟S107中幀圖像定位成功時(shí)，根據(jù)相對(duì)位置確定結(jié)果來改變幀圖像相對(duì)于鑲嵌圖像的顯示位置，并更新活動(dòng)圖像(步驟S107、 S116和S117)。 另一方面，如果所獲取的定位幀圖像不是第一幀圖像，則相對(duì)位置確定單元142引用之前的定位結(jié)果，即，由一個(gè)幀之前所提供的定位幀圖像與定位參考圖像之間的相對(duì)位置的確定結(jié)果，并估計(jì)當(dāng)前定位幀圖像與定位參考圖像之間的重疊區(qū)域(步驟S104、S108和S109)。特征量提取單元141從所估計(jì)的重疊區(qū)域中提取特征點(diǎn)。
接著，相對(duì)位置確定單元142對(duì)當(dāng)前定位幀圖像與定位參考圖像之間的重疊區(qū)域 中的特征點(diǎn)進(jìn)行比較，并確定這些圖像之間的相對(duì)位置(步驟S110)。此時(shí)，如果不能確定 相對(duì)位置，則執(zhí)行步驟S105之后的處理程序(步驟Sill)。 當(dāng)能夠確定相對(duì)位置并且在步驟Sill中定位成功時(shí)，根據(jù)相對(duì)位置確定結(jié)果來 改變幀圖像相對(duì)于鑲嵌圖像的顯示位置，并更新活動(dòng)圖像(步驟Slll、 S116和S117)。
如果在更新活動(dòng)圖像之后給出組合靜止圖像的獲取指令，靜止圖像獲取單元129 根據(jù)獲取指令來獲取焦點(diǎn)位置不同的多個(gè)靜止圖像(步驟S118和S120)。多焦點(diǎn)圖像產(chǎn)生 單元130將這些靜止圖像進(jìn)行結(jié)合并產(chǎn)生多焦點(diǎn)圖像(步驟S121)。 鑲嵌圖像產(chǎn)生單元131通過多焦點(diǎn)圖像與保持鑲嵌圖像之間的圖案匹配來估計(jì) 這些圖像之間的相對(duì)位置，根據(jù)它的估計(jì)結(jié)果執(zhí)行處理來耦合這兩種圖像，并更新保持鑲 嵌圖像(步驟S122到S124)。 重復(fù)從步驟S102到步驟SI 18的處理程序，直到指示拍攝完成(步驟SI 19)。
根據(jù)本優(yōu)選實(shí)施例，將拍攝期間的視場(chǎng)作為活動(dòng)圖像顯示在圖像生成期間的鑲嵌 圖像上的適當(dāng)位置處；因此，可以獲取靜止圖像并將其耦合到鑲嵌圖像，而同時(shí)使得用戶確 定拍攝期間的視場(chǎng)與圖像生成期間的鑲嵌圖像之間的位置關(guān)系。更具體地說，通過比較從 幀圖像與從參考圖像提取的特征量，判斷幀圖像與鑲嵌圖像之間的相對(duì)位置關(guān)系；因此，可 以在由多焦點(diǎn)圖像所構(gòu)成的鑲嵌圖像上的適當(dāng)位置處顯示拍攝期間的視場(chǎng)，而不會(huì)使系統(tǒng) 構(gòu)造變得復(fù)雜。另外，獲取了其焦點(diǎn)位置與定位參考圖像的焦點(diǎn)位置實(shí)質(zhì)上相同的幀圖像， 并且執(zhí)行了幀圖像定位；因此，可以防止在圖像間的重疊部分中產(chǎn)生對(duì)焦不準(zhǔn)的模糊，而與 采用自動(dòng)對(duì)焦功能的方法相比不會(huì)增加用于定位所需的時(shí)間。 除此之外，在比較特征量的情況下，根據(jù)過去的相對(duì)位置的確定結(jié)果來估計(jì)幀圖 像與參考圖像之間的重疊區(qū)域，并比較重疊區(qū)域中的特征量；因此，可以提高幀圖像與參考 圖像之間的定位準(zhǔn)確度。 另外，在本優(yōu)選實(shí)施例中，描述了通過控制攝像頭210的對(duì)焦機(jī)構(gòu)來獲取焦點(diǎn)位 置不同的多個(gè)靜止圖像的示例；然而，本發(fā)明不限于此。例如，在本發(fā)明中，還可以包括能夠 在z軸方向上移動(dòng)的可移動(dòng)載物臺(tái)；配備一個(gè)檢測(cè)可移動(dòng)載物臺(tái)230在z軸方向上的位置 的位置傳感器；并且在z軸方向上移動(dòng)可移動(dòng)載物臺(tái)230的同時(shí)獲取焦點(diǎn)位置不同的靜止 圖像。 此外，在本優(yōu)選實(shí)施例中，描述了其中在比較定位幀圖像與定位參考圖像的情況 下多條邊相交的頂點(diǎn)作為特征量的示例；然而，本發(fā)明不限于此。例如，對(duì)于圖像上的預(yù)定 區(qū)域，分別從定位幀圖像和定位參考圖像提取區(qū)域中的對(duì)比度值作為特征量；并且在這些 圖像間進(jìn)行比較。此外，對(duì)于重疊區(qū)域中的預(yù)定區(qū)域，可以根據(jù)該區(qū)域中的特征量而無需提 取邊和對(duì)比度來執(zhí)行模板匹配。
權(quán)利要求
一種成像裝置，包括可移動(dòng)載物臺(tái)，能夠在固定待檢查物體的同時(shí)在兩個(gè)不同方向上移動(dòng)；攝像頭，其與可移動(dòng)載物臺(tái)相對(duì)布置，對(duì)待檢查物體進(jìn)行拍攝并產(chǎn)生由多個(gè)連續(xù)幀圖像構(gòu)成的移動(dòng)畫面圖像；焦點(diǎn)位置改變單元，其改變攝像頭的焦點(diǎn)位置；靜止圖像獲取單元，其控制攝像頭和焦點(diǎn)位置改變單元，并獲取焦點(diǎn)位置不同的不少于兩個(gè)的靜止圖像；多焦點(diǎn)圖像產(chǎn)生單元，其將不少于兩個(gè)的靜止圖像進(jìn)行結(jié)合，并產(chǎn)生比攝像頭的實(shí)際視場(chǎng)的景深更深的多焦點(diǎn)圖像；高度形狀數(shù)據(jù)產(chǎn)生單元，其根據(jù)在多焦點(diǎn)圖像的每個(gè)像素中的對(duì)焦位置來產(chǎn)生待檢查物體的高度形狀數(shù)據(jù)；焦點(diǎn)位置控制單元，其從高度形狀數(shù)據(jù)獲取與多焦點(diǎn)圖像的至少一部分對(duì)應(yīng)的對(duì)焦位置，并控制焦點(diǎn)位置改變單元以使幀圖像的焦點(diǎn)位置與對(duì)焦位置實(shí)質(zhì)上一致；特征量提取單元，其從通過控制焦點(diǎn)位置改變單元所獲取的幀圖像以及多焦點(diǎn)圖像或參考圖像中提取特征量，所述參考圖像是根據(jù)構(gòu)成多焦點(diǎn)圖像的多個(gè)靜止圖像而提取的圖像；相對(duì)位置確定單元，其通過比較特征量來確定幀圖像與參考圖像之間的相對(duì)位置；活動(dòng)圖像顯示單元，其根據(jù)相對(duì)位置的確定結(jié)果來更新幀圖像相對(duì)于多焦點(diǎn)圖像的顯示位置，并將移動(dòng)畫面圖像顯示在多焦點(diǎn)圖像上；和鑲嵌圖像產(chǎn)生單元，其獲取與被活動(dòng)圖像顯示單元顯示為移動(dòng)畫面圖像的幀圖像相對(duì)應(yīng)的新的多焦點(diǎn)圖像，并產(chǎn)生與多焦點(diǎn)圖像耦合的鑲嵌圖像。
2. 如權(quán)利要求l所述的成像裝置，其中相對(duì)位置確定單元根據(jù)相對(duì)位置過去的確定結(jié)果來估計(jì)幀圖像與參考圖像之間的重 疊區(qū)域；和焦點(diǎn)位置控制單元從高度形狀數(shù)據(jù)獲取重疊區(qū)域的對(duì)焦位置，并控制焦點(diǎn)位置改變單 元以使得幀圖像的焦點(diǎn)位置與對(duì)焦位置實(shí)質(zhì)一致。
3. 如權(quán)利要求2所述的成像裝置，其中在獲取重疊區(qū)域的對(duì)焦位置的情況下，焦點(diǎn)位置控制單元將幀圖像與參考圖像的重疊 區(qū)域中的對(duì)焦部分面積最大的焦點(diǎn)位置判定為對(duì)焦位置。
4. 如權(quán)利要求2或3所述的成像裝置，其中特征量提取單元通過將構(gòu)成多焦點(diǎn)圖像的焦點(diǎn)位置不同的多個(gè)靜止圖像之中在重疊 區(qū)域中對(duì)焦部分面積最大的靜止圖像設(shè)置為參考圖像來提取特征量。
5. 如權(quán)利要求2或3所述的成像裝置，還包括參考圖像候選獲取單元，其獲取焦點(diǎn)位置不同而與幀圖像拍攝條件相同的多個(gè)參考圖 像候選，并且其中特征量提取單元通過將參考圖像候選之中在重疊區(qū)域中的對(duì)焦部分面積最大的參考 圖像候選設(shè)置為參考圖像來提取特征量。
6. 如權(quán)利要求1到3中任一個(gè)所述的成像裝置，其中 特征量提取單元通過將多焦點(diǎn)圖像設(shè)置為參考圖像來提取特征量。
7. 如權(quán)利要求1到3中任一個(gè)所述的成像裝置，還包括鑲嵌形狀數(shù)據(jù)產(chǎn)生單元，其耦合高度形狀數(shù)據(jù)，并產(chǎn)生具有比攝像頭實(shí)際視場(chǎng)寬的范 圍的鑲嵌形狀數(shù)據(jù)。
8. 如權(quán)利要求7所述的成像裝置，還包括參考圖像產(chǎn)生單元，其根據(jù)鑲嵌圖像和鑲嵌形狀數(shù)據(jù)來產(chǎn)生參考圖像作為在對(duì)焦部分 面積最大的焦點(diǎn)位置的圖像。
9. 如權(quán)利要求8所述的成像裝置，其中在通過重疊區(qū)域中的特征量不能確定相對(duì)位置的情況下，相對(duì)位置確定單元通過將整 個(gè)幀圖像的特征量與整個(gè)參考圖像的特征量進(jìn)行比較來確定相對(duì)位置，以及在通過將整個(gè)幀圖像的特征量與整個(gè)參考圖像的特征量進(jìn)行比較不能確定相對(duì)位置 的情況下，參考圖像產(chǎn)生單元產(chǎn)生新的參考圖像來作為其焦點(diǎn)位置與能夠確定相對(duì)位置的 最后幀圖像的焦點(diǎn)位置實(shí)質(zhì)相同的圖像。
10. 如權(quán)利要求1所述的成像裝置，還包括定位減小部分，其通過減小構(gòu)成移動(dòng)畫面圖像的幀圖像來產(chǎn)生定位幀圖像，并通過減小參考圖像來產(chǎn)生定位參考圖像；禾口顯示減小單元，其通過減小構(gòu)成移動(dòng)畫面圖像的幀圖像來產(chǎn)生顯示幀圖像，并通過減小鑲嵌圖像來產(chǎn)生顯示鑲嵌圖像，并且其中特征量提取單元從定位幀圖像和定位參考圖像提取特征量； 相對(duì)位置確定單元確定定位幀圖像與定位參考圖像之間的相對(duì)位置； 活動(dòng)圖像顯示單元將顯示幀圖像構(gòu)成的移動(dòng)畫面圖像作為活動(dòng)圖像顯示在顯示鑲嵌圖像上；以及鑲嵌圖像產(chǎn)生單元以高于定位參考圖像的分辨率來對(duì)多焦點(diǎn)圖像與鑲嵌圖像之間的 相對(duì)位置進(jìn)行估計(jì)，將多焦點(diǎn)圖像組合到鑲嵌圖像，并產(chǎn)生新的鑲嵌圖像。
全文摘要
本發(fā)明提供了一種成像裝置，包括靜止圖像獲取單元，其獲取多個(gè)靜止圖像；多焦點(diǎn)圖像產(chǎn)生單元，其結(jié)合靜止圖像，并產(chǎn)生多焦點(diǎn)圖像；焦點(diǎn)位置控制單元，其從高度形狀數(shù)據(jù)獲取多焦點(diǎn)圖像的至少一部分的對(duì)焦位置，并控制焦點(diǎn)位置從而幀圖像的焦點(diǎn)位置與對(duì)焦位置實(shí)質(zhì)一致；特征量提取單元，其從幀圖像和多焦點(diǎn)圖像或參考圖像提取特征量；相對(duì)位置確定單元，其確定幀圖像與參考圖像之間的相對(duì)位置；和活動(dòng)圖像顯示單元，其更新幀圖像的顯示位置，并將移動(dòng)畫面圖像顯示在多焦點(diǎn)圖像上。
文檔編號(hào)H04N1/028GK101753775SQ20091024695
公開日2010年6月23日 申請(qǐng)日期2009年12月11日 優(yōu)先權(quán)日2008年12月12日
發(fā)明者康宇范, 豬俁政寬 申請(qǐng)人:株式會(huì)社其恩斯