基于單幅sem二維圖像的三維信息快速提取方法
【專利摘要】基于單幅SEM二維圖像的三維信息快速提取方法，涉及三維信息提取【技術(shù)領(lǐng)域】。解決了在納米研究領(lǐng)域，對目標(biāo)物體的位置及高度進行測量時，通常需要借助第三方設(shè)備，但由于存在尺寸效應(yīng)，容易出現(xiàn)納米操作困難、測量精度低的問題。基于單幅SEM二維圖像的三維信息快速提取方法包括以下步驟：步驟一、采用OpenCV建立SEM二維圖像的目標(biāo)識別文件；步驟二、使用目標(biāo)識別文件對圖像進行興趣區(qū)域快速識別，提取物體在SEM二維圖像中的二維位置信息；步驟三、獲得目標(biāo)物體的高度。本發(fā)明對實時圖像的處理速度極快，通過使用單幅二維圖像，在不需要添加其他設(shè)備的情況下實現(xiàn)三維信息的提取。本發(fā)明適用于對三維信息進行提取。
【專利說明】基于單幅SEM 二維圖像的三維信息快速提取方法

【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及三維信息提取【技術(shù)領(lǐng)域】。

【背景技術(shù)】
[0002]目前，在納米研究領(lǐng)域，基于SEM的納米操作通常借助第三方設(shè)備來測量目標(biāo)物體的位置及高度。由于尺寸效應(yīng)，第三方附加檢測設(shè)備通常成本很高、極易損壞并且對納米操作有一定的影響。


【發(fā)明內(nèi)容】

[0003]本發(fā)明為了解決在納米研究領(lǐng)域，對目標(biāo)物體的位置及高度進行測量時，通常需要借助第三方設(shè)備，但由于存在尺寸效應(yīng)，容易出現(xiàn)納米操作困難、測量精度低的問題，提出了基于單幅SEM 二維圖像的三維信息快速提取方法。
[0004]基于單幅SEM 二維圖像的三維信息快速提取方法包括以下步驟:
[0005]步驟一、采用OpenCV建立SEM 二維圖像的目標(biāo)識別文件；
[0006]步驟二、使用目標(biāo)識別文件對圖像進行興趣區(qū)域快速識別，提取物體在SEM 二維圖像中的二維位置信息；
[0007]步驟三、獲得目標(biāo)物體的高度。
[0008]步驟一中所述的采用OpenCV獲得SEM圖像的目標(biāo)識別文件的方法為:
[0009]步驟一一、將SEM 二維圖像分為目標(biāo)選擇圖像和待測圖像；
[0010]步驟一二、在目標(biāo)選擇圖像中截取探針針尖和納米線正樣本；
[0011]步驟一三、采用Matlab使探針針尖和納米線正樣本歸一化為大小相同的圖像；
[0012]步驟一四、采用OpenCV的Haartraining分類器分別訓(xùn)練探針針尖和納米線正樣本，分別獲得目標(biāo)識別文件；
[0013]步驟一五、對待測圖像進行目標(biāo)識別，分析目標(biāo)識別文件的準(zhǔn)確率，多次訓(xùn)練目標(biāo)識別文件；
[0014]步驟一六、檢測目標(biāo)識別文件的準(zhǔn)確率是否達到預(yù)設(shè)值，當(dāng)沒有達到預(yù)設(shè)的準(zhǔn)確率時，返回執(zhí)行步驟一二，當(dāng)達到預(yù)設(shè)的準(zhǔn)確率時，完成SEM 二維圖像的目標(biāo)識別文件的建立。
[0015]步驟二中所述的使用目標(biāo)識別文件對圖像進行興趣區(qū)域快速識別，提取物體在SEM 二維圖像中的二維位置信息的過程為:
[0016]步驟二一、使用準(zhǔn)確率高的目標(biāo)識別文件快速識別原始SEM 二維圖像的興趣區(qū)域；
[0017]步驟二二、對識別的興趣區(qū)域進行圖像預(yù)處理操作；
[0018]步驟二三、采用Roberts邊緣提取方法檢測興趣區(qū)域內(nèi)的圖像，獲得興趣區(qū)域中探針針尖和納米線的邊緣圖像；
[0019]步驟二四、搜索圖像最右側(cè)白色像素；
[0020]步驟二五、判斷是否搜索到圖像最右側(cè)白色像素，判斷結(jié)果為是，則執(zhí)行步驟二六，判斷結(jié)果為否，則返回執(zhí)行步驟二四；
[0021]步驟二六、判斷納米線邊緣與探針針尖邊緣是否接觸；
[0022]步驟二七、根據(jù)步驟二六的判斷結(jié)果對SEM 二維圖像中物體在XOY平面內(nèi)的位置信息進行提取。
[0023]步驟三所述的獲得目標(biāo)物體的高度的方法為:
[0024]步驟三一、在SEM 二維圖像下通過納米定位器對探針進行定位，分析不同高度下的SEM 二維圖像模糊度；
[0025]步驟三二、建立探針高度與模糊度的關(guān)系模型，通過Matlab擬合獲得圖像模糊度與探針Z向高度的模型；
[0026]步驟三三、對興趣區(qū)域進行分析，根據(jù)圖像的直方圖對像素值進行劃分，獲得中間區(qū)域像素值；
[0027]步驟三四、對中間區(qū)域的像素進行統(tǒng)計，獲得亞興趣區(qū)域像素的位置及顏色；
[0028]步驟三五、對亞興趣區(qū)域像素值進行求方差運算，獲得SEM 二維圖像的模糊度，根據(jù)該模糊度，利用擬合的模型實現(xiàn)對目標(biāo)物體高度的獲取。。
[0029]有益效果:本發(fā)明使用OpenCV訓(xùn)練識別目標(biāo)物體的文件，通過訓(xùn)練文件快速獲得二維圖像中的興趣區(qū)域，通過圖像處理獲得目標(biāo)物體的二維平面位置，當(dāng)多個目標(biāo)物體邊緣接觸時，使用Freeman鏈碼區(qū)分并重定向物體邊緣，使用基于亞興趣區(qū)域的圖像模糊度函數(shù)及評價函數(shù)確定物體距離基底的高度。本發(fā)明對實時圖像的處理速度極快，三維信息的提取通常在0.1s以內(nèi)；通過使用單幅二維圖像，在不需要添加其他設(shè)備的情況下實現(xiàn)三維信息的提?。煌瑫r解決了不同物體邊緣相交，不易區(qū)分的問題。

【專利附圖】

【附圖說明】
[0030]圖1為【具體實施方式】一所述的基于單幅SEM 二維圖像的三維信息快速提取方法流程圖；
[0031]圖2為【具體實施方式】二所述的采用OpenCV獲得SEM圖像的目標(biāo)識別文件的方法流程圖；
[0032]圖3為【具體實施方式】三所述的使用目標(biāo)識別文件對圖像進行興趣區(qū)域快速識別，提取物體在SEM 二維圖像中的二維位置信息的流程圖；
[0033]圖4為【具體實施方式】五所述的納米線邊緣與探針針尖邊緣接觸時，對SEM 二維圖像中物體在XOY平面內(nèi)的位置信息進行提取的方法流程圖；
[0034]圖5為【具體實施方式】六所述的獲得目標(biāo)物體的高度的方法流程圖；
[0035]圖6為8鄰域偏移規(guī)則原理示意圖。

【具體實施方式】
[0036]【具體實施方式】一、結(jié)合圖1說明本【具體實施方式】，本【具體實施方式】所述的基于單幅SEM 二維圖像的三維信息快速提取方法包括以下步驟:
[0037]步驟一、采用OpenCV建立SEM 二維圖像的目標(biāo)識別文件；
[0038]步驟二、使用目標(biāo)識別文件對圖像進行興趣區(qū)域快速識別，提取物體在SEM 二維圖像中的二維位置信息；
[0039]步驟三、獲得目標(biāo)物體的高度。
[0040]【具體實施方式】二、結(jié)合圖2說明本【具體實施方式】，本【具體實施方式】與【具體實施方式】一所述的基于單幅SEM 二維圖像的三維信息快速提取方法的區(qū)別在于，步驟一中所述的采用OpenCV獲得SEM圖像的目標(biāo)識別文件的方法為:
[0041]步驟一一、將SEM 二維圖像分為目標(biāo)選擇圖像和待測圖像；
[0042]步驟一二、在目標(biāo)選擇圖像中截取探針針尖和納米線正樣本；
[0043]步驟一三、采用Matlab使探針針尖和納米線正樣本歸一化為大小相同的圖像；
[0044]步驟一四、采用OpenCV的Haartraining分類器分別訓(xùn)練探針針尖和納米線正樣本，分別獲得目標(biāo)識別文件；
[0045]步驟一五、對待測圖像進行目標(biāo)識別，分析目標(biāo)識別文件的準(zhǔn)確率，多次訓(xùn)練目標(biāo)識別文件；
[0046]步驟一六、檢測目標(biāo)識別文件的準(zhǔn)確率是否達到預(yù)設(shè)值，當(dāng)沒有達到預(yù)設(shè)的準(zhǔn)確率時，返回執(zhí)行步驟一二，當(dāng)達到預(yù)設(shè)的準(zhǔn)確率時，完成SEM 二維圖像的目標(biāo)識別文件的建立。
[0047]【具體實施方式】三、結(jié)合圖3說明本【具體實施方式】，本【具體實施方式】與【具體實施方式】二所述的基于單幅SEM 二維圖像的三維信息快速提取方法的區(qū)別在于，步驟二中所述的使用目標(biāo)識別文件對圖像進行興趣區(qū)域快速識別，提取物體在SEM 二維圖像中的二維位置信息的過程為:
[0048]步驟二一、使用準(zhǔn)確率高的目標(biāo)識別文件快速識別原始SEM 二維圖像的興趣區(qū)域；
[0049]步驟二二、對識別的興趣區(qū)域進行圖像預(yù)處理操作；
[0050]步驟二三、采用Roberts邊緣提取方法檢測興趣區(qū)域內(nèi)的圖像，獲得興趣區(qū)域中探針針尖和納米線的邊緣圖像；
[0051]步驟二四、搜索圖像最右側(cè)白色像素；
[0052]步驟二五、判斷是否搜索到圖像最右側(cè)白色像素，判斷結(jié)果為是，則執(zhí)行步驟二六，判斷結(jié)果為否，則返回執(zhí)行步驟二四；
[0053]步驟二六、判斷納米線邊緣與探針針尖邊緣是否接觸；
[0054]步驟二七、根據(jù)步驟二六的判斷結(jié)果對SEM 二維圖像中物體在XOY平面內(nèi)的位置信息進行提取。
[0055]【具體實施方式】四、結(jié)合圖2說明本【具體實施方式】，本【具體實施方式】與【具體實施方式】三所述的基于單幅SEM 二維圖像的三維信息快速提取方法的區(qū)別在于，當(dāng)判斷結(jié)果為納米線邊緣與探針針尖邊緣不接觸時，搜索像素直到左下側(cè)白色像素為止，SHM 二維圖像中物體在XOY平面內(nèi)的位置信息提取完成。
[0056]【具體實施方式】五、結(jié)合圖4說明本【具體實施方式】，本【具體實施方式】與【具體實施方式】三所述的基于單幅SEM 二維圖像的三維信息快速提取方法的區(qū)別在于，當(dāng)判斷結(jié)果為納米線邊緣與探針針尖邊緣接觸時，對SEM 二維圖像中物體在XOY平面內(nèi)的位置信息進行提取的方法為:
[0057]步驟二七a、對興趣區(qū)域內(nèi)的圖像進行邊緣提取，使興趣區(qū)域內(nèi)的圖像邊緣為白色像素；
[0058]步驟二七b、采用Freeman鏈碼對納米線邊緣與探針針尖邊緣進行跟蹤；
[0059]步驟二七C、選取興趣區(qū)域內(nèi)的圖像的最右側(cè)像素作為當(dāng)前種子像素；
[0060]步驟二七d、搜索與當(dāng)前種子像素相連的白色像素；
[0061]步驟二七e、判斷是否搜索到白色像素，判斷結(jié)果為是，則執(zhí)行步驟二七h，判斷結(jié)果為否，則執(zhí)行步驟二七f;
[0062]步驟二七f、判斷當(dāng)前種子像素是否為最后一個像素，判斷結(jié)果為是，則直接尋找圖像最左下側(cè)白色像素，SEM 二維圖像中物體在XOY平面內(nèi)的位置信息提取完成，判斷結(jié)果為否，則執(zhí)行步驟二七g;
[0063]步驟二七g、根據(jù)8鄰域偏移規(guī)則使像素搜索方向加一，將當(dāng)前像素作為種子像素并返回執(zhí)行步驟七d;
[0064]步驟二七h、記錄邊緣像素的平均方向DirAvg，記錄當(dāng)前像素在8鄰域偏移規(guī)則中的方向Dir，并判斷Dir是否大于或等于DirAvg+Ι，判斷結(jié)果為是，則執(zhí)行步驟二七k，判斷結(jié)果為否，則執(zhí)行步驟二七i ;
[0065]步驟二七1、記錄Dir和當(dāng)前像素坐標(biāo)，將當(dāng)前像素作為種子像素，并計算DirAvg，然后執(zhí)行步驟步驟二七j ;
[0066]步驟二七j、根據(jù)8鄰域偏移規(guī)則使像素搜索方向減二，將當(dāng)前像素作為種子像素并返回執(zhí)行步驟七d;
[0067]步驟二七k、判斷Dir是否連續(xù)兩次為3或7，判斷結(jié)果為是，則執(zhí)行步驟二七m，判斷結(jié)果為否，則返回執(zhí)行步驟二七i ;
[0068]步驟二七m、根據(jù)DirAvg插補白色像素，然后執(zhí)行步驟二七η ;
[0069]步驟二七η、判斷是否搜索到插補白色像素相鄰的像素，判斷結(jié)果為是，則返回執(zhí)行步驟二七i，判斷結(jié)果為否，則返回執(zhí)行步驟二七m。
[0070]本實施方式中，運用了 8鄰域偏移規(guī)則，如圖6所示；比較Dir與DirAvg，對于不同情況使用不同的方法，同時，通過判斷Dir是否大于或等于DirAvg+Ι來避免跟蹤的像素嚴(yán)重偏離實際邊緣方向，通過判斷Dir是否連續(xù)兩次為3或7避免了垂直方向的像素干擾實際邊緣走向。
[0071]【具體實施方式】六、結(jié)合圖5說明本【具體實施方式】，本【具體實施方式】與【具體實施方式】五所述的基于單幅SEM 二維圖像的三維信息快速提取方法的區(qū)別在于，步驟三所述的獲得目標(biāo)物體的高度的方法為:
[0072]步驟三一、在SEM 二維圖像下通過納米定位器對探針進行定位，分析不同高度下的SEM 二維圖像模糊度；
[0073]步驟三二、建立探針高度與模糊度的關(guān)系模型，通過Matlab擬合獲得圖像模糊度與探針Z向高度的模型；
[0074]步驟三三、對興趣區(qū)域進行分析，根據(jù)圖像的直方圖對像素值進行劃分，獲得中間區(qū)域像素值；
[0075]步驟三四、對中間區(qū)域的像素進行統(tǒng)計，獲得亞興趣區(qū)域像素的位置及顏色；
[0076]步驟三五、對亞興趣區(qū)域像素值進行求方差運算，獲得SEM 二維圖像的模糊度，根據(jù)該模糊度，利用擬合的模型實現(xiàn)對目標(biāo)物體高度的獲取。
【權(quán)利要求】
1.基于單幅SEM二維圖像的三維信息快速提取方法，其特征在于，它包括以下步驟: 步驟一、采用OpenCV建立SEM 二維圖像的目標(biāo)識別文件； 步驟二、使用目標(biāo)識別文件對圖像進行興趣區(qū)域快速識別，提取物體在SEM 二維圖像中的二維位置信息； 步驟二、獲得目標(biāo)物體的聞度。
2.根據(jù)權(quán)利要求1所述的基于單幅SEM二維圖像的三維信息快速提取方法，其特征在于，步驟一中所述的采用OpenCV獲得SEM圖像的目標(biāo)識別文件的方法為: 步驟一一、將SEM 二維圖像分為目標(biāo)選擇圖像和待測圖像； 步驟一二、在目標(biāo)選擇圖像中截取探針針尖和納米線正樣本； 步驟一三、采用Matlab使探針針尖和納米線正樣本歸一化為大小相同的圖像； 步驟一四、采用OpenCV的Haartraining分類器分別訓(xùn)練探針針尖和納米線正樣本,分別獲得目標(biāo)識別文件； 步驟一五、對待測圖像進行目標(biāo)識別，分析目標(biāo)識別文件的準(zhǔn)確率，多次訓(xùn)練目標(biāo)識別文件； 步驟一六、檢測目標(biāo)識別文件的準(zhǔn)確率是否達到預(yù)設(shè)值，當(dāng)沒有達到預(yù)設(shè)的準(zhǔn)確率時，返回執(zhí)行步驟一二，當(dāng)達到預(yù)設(shè)的準(zhǔn)確率時，完成SEM 二維圖像的目標(biāo)識別文件的建立。
3.根據(jù)權(quán)利要求2所述的基于單幅SEM二維圖像的三維信息快速提取方法，其特征在于，步驟二中所述的使用目標(biāo)識別文件對圖像進行興趣區(qū)域快速識別，提取物體在SEM 二維圖像中的二維位置信息的過程為: 步驟二一、使用準(zhǔn)確率高的目標(biāo)識別文件快速識別原始SEM 二維圖像的興趣區(qū)域； 步驟二二、對識別的興趣區(qū)域進行圖像預(yù)處理操作； 步驟二三、采用Roberts邊緣提取方法檢測興趣區(qū)域內(nèi)的圖像，獲得興趣區(qū)域中探針針尖和納米線的邊緣圖像； 步驟二四、搜索圖像最右側(cè)白色像素； 步驟二五、判斷是否搜索到圖像最右側(cè)白色像素，判斷結(jié)果為是，則執(zhí)行步驟二六，判斷結(jié)果為否，則返回執(zhí)行步驟二四； 步驟二六、判斷納米線邊緣與探針針尖邊緣是否接觸； 步驟二七、根據(jù)步驟二六的判斷結(jié)果對SEM 二維圖像中物體在XOY平面內(nèi)的位置信息進行提取。
4.根據(jù)權(quán)利要求3所述的基于單幅SEM二維圖像的三維信息快速提取方法，其特征在于，當(dāng)判斷結(jié)果為納米線邊緣與探針針尖邊緣不接觸時，搜索像素直到左下側(cè)白色像素為止，SEM 二維圖像中物體在XOY平面內(nèi)的位置信息提取完成。
5.根據(jù)權(quán)利要求3所述的基于單幅SEM二維圖像的三維信息快速提取方法，其特征在于，當(dāng)判斷結(jié)果為納米線邊緣與探針針尖邊緣接觸時，對SEM二維圖像中物體在XOY平面內(nèi)的位置信息進行提取的方法為: 步驟二七a、對興趣區(qū)域內(nèi)的圖像進行邊緣提取，使興趣區(qū)域內(nèi)的圖像邊緣為白色像素； 步驟二七b、采用Freeman鏈碼對納米線邊緣與探針針尖邊緣進行跟蹤； 步驟二七C、選取興趣區(qū)域內(nèi)的圖像的最右側(cè)像素作為當(dāng)前種子像素； 步驟二七d、搜索與當(dāng)前種子像素相連的白色像素； 步驟二七e、判斷是否搜索到白色像素，判斷結(jié)果為是，則執(zhí)行步驟二七h，判斷結(jié)果為否，則執(zhí)行步驟二七f; 步驟二七f、判斷當(dāng)前種子像素是否為最后一個像素，判斷結(jié)果為是，則直接尋找圖像最左下側(cè)白色像素，SEM 二維圖像中物體在XOY平面內(nèi)的位置信息提取完成，判斷結(jié)果為否，則執(zhí)行步驟二七g; 步驟二七g、根據(jù)8鄰域偏移規(guī)則使像素搜索方向加一，將當(dāng)前像素作為種子像素并返回執(zhí)行步驟七d ； 步驟二七h、記錄邊緣像素的平均方向DirAvg，記錄當(dāng)前像素在8鄰域偏移規(guī)則中的方向Dir，并判斷Dir是否大于或等于DirAvg+Ι，判斷結(jié)果為是，則執(zhí)行步驟二七k，判斷結(jié)果為否，則執(zhí)行步驟二七i ; 步驟二七1、記錄Dir和當(dāng)前像素坐標(biāo),將當(dāng)前像素作為種子像素，并計算DirAvg,然后執(zhí)行步驟步驟二七j ; 步驟二七j、根據(jù)8鄰域偏移規(guī)則使像素搜索方向減二，將當(dāng)前像素作為種子像素并返回執(zhí)行步驟七d ； 步驟二七k、判斷Dir是否連續(xù)兩次為3或7，判斷結(jié)果為是，則執(zhí)行步驟二七m，判斷結(jié)果為否，則返回執(zhí)行步驟二七i ; 步驟二七m、根據(jù)DirAvg插補白色像素,然后執(zhí)行步驟二七η ； 步驟二七η、判斷是否搜索到插補白色像素相鄰的像素，判斷結(jié)果為是，則返回執(zhí)行步驟二七i，判斷結(jié)果為否，則返回執(zhí)行步驟二七m。
6.根據(jù)權(quán)利要求5所述的基于單幅SEM 二維圖像的三維信息快速提取方法，其特征在于，步驟三所述的獲得目標(biāo)物體的高度的方法為: 步驟三一、在SEM 二維圖像下通過納米定位器對探針進行定位，分析不同高度下的SEM二維圖像模糊度； 步驟三二、建立探針高度與模糊度的關(guān)系模型，通過Matlab擬合獲得圖像模糊度與探針Z向高度的模型； 步驟三三、對興趣區(qū)域進行分析，根據(jù)圖像的直方圖對像素值進行劃分，獲得中間區(qū)域像素值； 步驟三四、對中間區(qū)域的像素進行統(tǒng)計，獲得亞興趣區(qū)域像素的位置及顏色； 步驟三五、對亞興趣區(qū)域像素值進行求方差運算，獲得SEM 二維圖像的模糊度，根據(jù)該模糊度，利用擬合的模型實現(xiàn)對目標(biāo)物體高度的獲取。
【文檔編號】G06T17/00GK104331921SQ201410592610
【公開日】2015年2月4日 申請日期:2014年10月29日 優(yōu)先權(quán)日:2014年10月29日
【發(fā)明者】李東潔, 宋鑒, 王德寶, 張越, 尤波, 盛宇佳 申請人:哈爾濱理工大學(xué)