背景技術：

在許多臨床研究中，獲取大視場顯微圖像是非常有益的。利用自動顯微鏡[1]或手動載物臺顯微鏡[2]提出了許多技術。在該文獻中，掃描被稱為覆蓋樣本的大視場的大圖像。掃描可以由許多較小的圖像(諸如圖1a中)組成，或者是諸如圖1b中的樣本的統(tǒng)一圖像。在圖1a中，較小的圖像被稱為關鍵幀。關鍵幀的相對位置是先驗已知的。這可以利用自動掃描系統(tǒng)或基于圖像的技術[2]來執(zhí)行。在不失普遍性的情況下，對于該文獻的其余部分，假設掃描由許多具有相同大小的關鍵幀組成。

附圖說明

現(xiàn)在將僅作為示例，參考附圖來描述本公開的各個實施例。

圖1a是包括許多較小圖像的樣本的掃描的示意圖；

圖1b是包括單個統(tǒng)一圖像的樣本的掃描的示意圖；

圖2是具有嵌入掃描的掃描的示意圖；

圖3是根據(jù)本公開的實施例的系統(tǒng)的示意圖；

圖4a是利用具有小于原始掃描的放大倍率的物鏡所捕獲的新圖像的第一掃描的示意圖；

圖4b是利用具有大于原始掃描的放大倍率的物鏡所捕獲的新圖像的第一掃描的示意圖；

圖5是示出根據(jù)本公開的實施例的定位圖像的過程的流程圖；

圖6是示出根據(jù)本公開的實施例的用于確定幀的定位信息過程的流程圖；

圖7是根據(jù)本公開的實施例的窮舉搜索的各種迭代中的關鍵幀的選擇的示意圖；

圖8是校正相對放大的過程的示意圖；

圖9a和圖9b示出了根據(jù)本公開的實施例的多物鏡掃描的用戶界面；

圖10是示出根據(jù)本公開的實施例用于手動記錄z-堆疊的系統(tǒng)設置的示意圖；

圖11是根據(jù)本公開的實施例的用于查看z-堆疊的用戶界面的示意圖；

圖12是根據(jù)本公開的實施例的用于觀看掃描的用戶界面的示意圖；以及

圖13是根據(jù)本公開的實施例的用于查看顯示z-堆疊的位置的掃描的用戶界面的示意圖。

具體實施方式

引言

問題定義

鑒于常見的使用情況，對技術人員或者臨床醫(yī)生而言以更高分辨率觀察樣本的一些部分，或者探索z-軸上的一部分可能是有益的。換句話說，將利用不同放大倍率或深度所獲取的其他圖像嵌入到主掃描中將是有益的。該圖像是通過在空間上移動載物臺獲取到的圖像集合，或者通過改變顯微鏡的焦點獲得的。對于本文的其余部分，前者被稱為多物鏡掃描，后者被稱為z-堆疊(z-stack)。需要注意的是，這些功能的先決條件是在大視場掃描中通過任意物鏡所獲取的圖像的準確定位。圖2顯示利用高倍放大物鏡和z-堆疊所捕獲的嵌入式掃描的掃描。如圖2所示，原始掃描可以包含利用不同的物鏡放大率所捕獲的另一掃描，或者可以具有z-堆疊，其是利用不同焦點/深度所捕獲的圖像。

上述特征，連同圖像的實時采集，被提供在具有機動化載物臺的顯微鏡中，但在手動載物臺顯微鏡中不可用。本文中所描述的一些實施例對于共同提供這些特征的系統(tǒng)進行評價。

在本公開文本中，假設從安裝在手動顯微鏡上的相機獲取圖像流，從而提供樣本的實時數(shù)字圖像。相機的最新數(shù)字圖像以下被稱為當前圖像幀。用戶可以控制手動載物臺和顯微鏡的聚焦。用戶在切換物鏡時通知系統(tǒng)。然后，系統(tǒng)自動定位已捕獲的掃描中的實時圖像。當他/她意圖改變焦點以獲取z-堆疊時，用戶也可以通知系統(tǒng)。圖3示出系統(tǒng)硬件的總覽。如圖3所示，將相機安裝在向處理計算機流送實時圖像的手動顯微鏡上。圖像被實時處理，并且在顯示器上執(zhí)行可視化。

本公開文本將覆蓋在此所公開的實施例的三個方面。首先，掃描中圖像的定位，在“多物鏡定位”節(jié)中呈現(xiàn)。第二個是用于在原始掃描中拼接和嵌入以不同物鏡進行的這種掃描的所提出系統(tǒng)，在“多物鏡掃描”節(jié)中呈現(xiàn)。第三個是用于存儲和管理嵌入在掃描中的z-堆疊的所提出系統(tǒng)，如“z-堆疊”節(jié)所示。

多物鏡定位

鑒于掃描，多物鏡定位被定義為通過不同于在重建掃描中所使用的物鏡的物鏡所捕獲的圖像流的定位。圖4a和圖4b示出了兩種不同的場景，其中利用較大放大倍率或較小放大倍率來捕獲圖像(用條帶示出)。在圖4a中，當前圖像幀通過具有小于原始掃描的放大倍率的物鏡來捕獲的。在圖4b中，當前圖像幀通過具有大于原始掃描的放大倍率的物鏡來捕獲的。圖像與掃描的一個或多個關鍵幀重疊。圖像最初具有大小(sx，sy)，但可以通過相對放大倍率進行縮放到原始掃描。例如，如果原始掃描是通過10倍物鏡捕獲的，并且當前圖像幀是通過40倍物鏡捕獲的，則可以將圖像縮放0.25倍。在時間t捕獲的當前幀的位置相對于原始掃描表示為pt。

通過一系列圖像匹配來執(zhí)行定位。在下一節(jié)中，說明匹配過程。

兩幀的注冊

特征檢測

對于當前圖像幀執(zhí)行特征檢測。這些特征用于圖像注冊(鏈接)。特征檢測的結果是一組特征，其中每個特征可以包括一組屬性：

·圖像坐標中的位置(x，y)；

·尺度和方位等幾何屬性；

·用于描述特征周圍的圖像模式的圖像屬性。

匹配兩幀

通過匹配其特征來執(zhí)行幀的匹配。為此目的提出了許多技術[2][3]。假設在兩個圖像中檢測到一長列特征，該節(jié)包含兩個步驟(幀被稱為參考和匹配幀)：

1.對于參考幀中的每個特征，找到匹配幀中最接近的特征。最接近的特征

應該具有最相似的屬性。

2.基于匹配的特征共同找到位移。

跟蹤、鏈接和定位的定義

鑒于圖像流，本文中的術語跟蹤是指將當前幀匹配到先前幀。假設匹配導致位移d，則當前幀的位置被估計為pt＝pt-1+d。如果當前幀被成功匹配到先前幀，則稱為被跟蹤。

在此所使用的術語“鏈接”是指當前圖像幀與關鍵幀的匹配。如果當前圖像幀被成功匹配到至少一個關鍵幀，則將該當前圖像幀稱為被鏈接。

在此所使用的術語“定位”是指基于跟蹤和鏈接來確定當前幀位置是否正確。如果當前圖像幀在掃描中的位置是正確的，則將該當前圖像幀稱為被定位。定位過程

定位過程是當前圖像幀在利用不同目鏡放大倍率獲取到的關鍵幀內進行定位的過程，該過程在圖5中示出并且概述如下：

1.對于當前圖像幀進行預處理，并提取特征。

2.根據(jù)該幀和關鍵幀的放大倍率的差異，對于新幀中的特征的位置(xi，yi)和比例si進行縮放。假設新幀具有放大倍率mn，并且關鍵幀具有放大倍率mk。

因此，縮放位置和比例如下：

3.并且o估計

4.鏈接。接下來，將當前的圖像幀匹配到相鄰的關鍵幀，以校正其位置，

并消除跟蹤導致的不準確匹配的累積可能性。

在多物鏡匹配的情況下，鏈接可能不總是成功的。因此，跟蹤信息與鏈接信息組合以確定當前幀的位置。該過程在下一節(jié)中描述。

將跟蹤與鏈接結合用于準確定位

基于鏈接和跟蹤信息來估計當前圖像幀的位置。如果當前圖像幀被鏈接或跟蹤，并且先前的圖像幀被定位，則當前圖像幀被定位。該邏輯示于圖6中，圖6是描述將跟蹤與鏈接信息組合用于當前圖像幀的準確定位的示意圖。物鏡光學特性的差異可能會導致圖像的變化。這些變化可能導致物鏡之間圖像的匹配失敗。為了提高定位算法的魯棒性，可以將跟蹤作為圖像定位的替代方法添加到算法中。

窮舉搜索

如果當前圖像幀在前一步驟中未定位，則算法進入窮舉搜索狀態(tài)。在此步驟中，關鍵幀根據(jù)其與當前圖像幀的距離進行排序。與之前的步驟相反，在這一點上，不是將這些關鍵幀的所有而只是一部分都鏈接到幀。這是為了防止窮舉搜索阻礙系統(tǒng)的實時性能。假設n個關鍵幀根據(jù)其與當前圖像幀的距離進行排序：k0，k1，...，kn-1。在窮舉搜索中第一次，只處理前m個元素(k0，...，km-1)。如果鏈接不成功，對于下一幀，處理第二m個元素(km，...，k2m-1)(參見圖7)等等。圖7示出了當前圖像幀未定位在其相鄰關鍵幀內的情況下的窮舉搜索；所有關鍵幀相對于它們到當前圖像幀的距離進行排序，并且在每次迭代中僅檢查一部分關鍵幀用于當前圖像幀的定位。由于當前圖像幀在每次迭代時更新，所以參考幀不會保持不變。然而，可以假設它們不會移動太多，因為窮舉搜索可以在幾分之一秒內訪問所有的關鍵幀。

相對放大倍率的校正

物鏡上所指示的放大倍率可能不完全正確。例如，10倍物鏡可能放大倍率為10.01。使用物理校準可以實現(xiàn)真實的放大倍率。然而，在沒有這樣的信息的情況下，可以在圖像匹配過程中找到不同物鏡之間的“相對”放大率。假設關鍵幀和當前圖像中的某些功能彼此正確匹配。需要注意的是，每個特征都有一個位置，可以表示為一個點。參考幀中的匹配特征可以列為r1，...，rn，匹配幀中的匹配特征可以列為m1，...，mn。具有相同索引的特征匹配，即ri對應于mi。圖8顯示了這種對應關系，以及尋找兩幀之間的位移的我們的先前方法。如圖8所示，其示出相對放大倍率的校正，可以經由對于當前圖像幀和匹配關鍵幀的匹配特征所執(zhí)行的普魯克分析(procrustesanalysis)[4]來執(zhí)行。雖然幀在位移之后幾乎匹配，但是兩幀之間仍然存在相對比例。因此，應當適當重新計算兩幀之間的相對比例。假設每個點都具有x和y分量：最初計算所有分量的平均值：

接下來，計算每個點集的比例：

然后計算真實的相對放大倍率為

其中s是最初基于物鏡的先驗知識計算出的相對放大倍率。例如對于10倍和40倍的物鏡，s＝0.25。

多物鏡掃描

鏈接多個掃描

用戶可以選擇將利用不同物鏡捕獲到的圖像進行拼接并創(chuàng)建另一個掃描。針對這種拼接提出了許多技術[2]。在此情況下，在該掃描與原始掃描之間建立親子關系。在兩次掃描之間建立鏈接來關聯(lián)對應的坐標空間。假設在子掃描中捕獲n個幀。這些幀的拼接產生了位置(x1，y1)，...，(xn，yn)。此外，通過利用多物鏡定位，發(fā)現(xiàn)這些幀在父掃描內的位置：為了關聯(lián)這些坐標空間，可以使用普魯克分析[4]，其中未知數(shù)是轉譯和比例。

用戶界面

用戶可以在任何時候切換到不同的物鏡。用戶也可以在選擇的物鏡開始掃描。此時，由父物鏡捕獲的先前掃描在背景中顯示為半透明。這將為用戶提供一種視覺輔助，以便將兩次掃描相互關聯(lián)。完成掃描后，用戶可以切換回父物鏡。此時，由不同物鏡捕獲的掃描顯示為半透明且可點擊。通過用戶點擊，掃描視圖將切換為使得子掃描處于活躍狀態(tài)。也就是說，40倍掃描變?yōu)椴煌该鳎?0倍掃描變?yōu)榘胪该?。圖9a和圖9b示出了多物鏡掃描的用戶界面的總覽，其中用戶可以在物鏡之間進行切換并分開修改每個掃描，而另一次掃描是半透明的。

記錄多物鏡掃描

利用他們自己的文件格式來保存父掃描及其子掃描。子掃描可以使用附加文件鏈接到父掃描。此文件中記錄諸如到子掃描文件的路徑和父掃描中子掃描的位置的信息。

z-堆疊

樣本在顯微鏡中的數(shù)字化通常通過捕獲大的2d掃描來實現(xiàn)。雖然該解決方案滿足大多數(shù)情況，但它只允許捕獲狹窄的景深，剝離有用信息用于分析某些樣品。該技術問題的解決方案是捕獲z-堆疊。z-堆疊被定義為在不同焦平面處呈現(xiàn)相同樣本的圖像堆疊。在理論上，可以捕獲整個樣本的z-堆疊，產生掃描堆疊。然而，由于構成掃描的圖像的高分辨率，因為需要太多的存儲空間，所以一疊掃描變得不切實際。

本節(jié)提出了一種通過記錄覆蓋樣本的有限區(qū)域的z-堆疊并將該堆疊附接到覆蓋整個樣本的掃描來減少存儲器使用的方法。該解決方案的優(yōu)點是提供足夠的掃描深度信息用于分析，同時保持內存使用量較低。

該節(jié)分為兩部分。在第一部分中描述利用顯微鏡用于記錄和可視化z-堆疊的工作流，并在第二部分中說明z-堆疊到掃描的附接。

z-堆疊記錄

硬件設置

如圖10所示，可以使用安裝在顯微鏡上的數(shù)碼攝像機來記錄z-堆疊。在圖10中，系統(tǒng)設置包括顯微鏡，在顯微鏡上安裝當顯微鏡載物臺在不同深度移動時拍攝圖像的相機。當相機以固定的時間間隔拍攝放置在顯微鏡下的樣品時，可以移動顯微鏡載物臺，以便在不同深度觀察樣品。因此，可以重新組合由相機拍攝的圖像以形成代表在深度范圍內的樣本相同位置的圖像的堆疊，僅限于在記錄期間發(fā)生的載物臺移動量。需要注意的是，該方法不必限于深度信息的分析，能夠用于在記錄期間通過橫向/空間上移動載物臺來記錄樣本的區(qū)域。

z-堆疊可視化

如圖11所示，z-堆疊一次可視化一幀，圖11示出用于查看z-堆疊的用戶界面。認真檢查z-堆疊有不同的方式。第一個是以與播放視頻相似的方式，以與記錄速度相同的速度(或速度系數(shù))從頭到尾播放z-堆疊。第二種方法是利用鼠標滾輪滑動各幀或者利用鼠標拖動當前幀光標，允許沿z-堆疊后退或前進。最后的方法是利用圖11所示的滑塊在堆疊中選擇任何隨機幀來查看。

需要注意的是，用戶界面可以具有其他特征，例如修整z-堆疊的開始和結束。例如，手動記錄z-堆疊的用戶點擊軟件中的“記錄”按鈕，花費一些時間在用戶的顯微鏡上準備好，然后驅動聚焦旋鈕或載物臺來捕獲焦平面和感興趣區(qū)域。可以修整這些操作之間的捕獲到的幀，以減小z-堆疊的大小。

由于z堆疊可以使用許多存儲空間，所以難以保持將正在可視化的整個堆疊保存在存儲器中。為了解決這個問題，可以將z-堆疊保存在硬盤上所保存的文件中，并且只加載當前顯示的幀。然而，這假定用于保存z-堆疊的文件格式允許隨機訪問堆疊的幀。為了解決這個問題，在下節(jié)中提出了一種保存技術。

保存z-堆疊

包含高分辨率圖像的z-堆疊在存儲空間方面變得成本高。然后，壓縮堆疊的圖像成為記錄z-堆疊的重要步驟。如上一節(jié)所述，z-堆疊的圖像可以直接從文件中以任何順序可視化。壓縮算法允許對z-堆疊內的隨機幀進行解碼。因此，標準視頻壓縮過程的使用通常是合適的，因為這樣的過程將以暫時方式壓縮圖像，產生z-堆疊中相鄰圖像之間的必要依賴性。雖然視頻壓縮算法提供了很大的壓縮比，但z疊層中的任何圖像n的解壓縮需要先前圖像n-1的解壓縮，這反過來需要先前圖像的解壓縮直到到達z-堆疊的第一幀。這種解壓縮方法只適用于以從頭到尾的順序讀取視頻。然而，它不適合在整個z-堆疊中的幀的隨機訪問。一個解決方案是將z-堆疊的幀單獨作為分開的圖像見壓縮。這可能不會提供最佳壓縮比，但它滿足讀取z-堆疊的要求。這些壓縮圖像然后能夠以多層圖像文件格式(諸如，tiff)進行保存。

將z-堆疊附加到掃描

由于z-堆疊覆蓋樣品的有限區(qū)域，所以其單獨可能不提供足夠的信息用于分析樣品。然而，當在掃描中被定位時，它變?yōu)橛辛Φ奶卣鳌Ｔ摴?jié)提出了一種用于將z-堆疊嵌入到利用顯微鏡和數(shù)碼攝像機手動記錄的樣本掃描中的裝置。

z-堆疊記錄

本節(jié)假定我們有一個利用顯微鏡和數(shù)碼相機用于手動掃描樣本的系統(tǒng)。這種系統(tǒng)的用戶界面包括如圖12所示由相機捕獲的當前圖像幀的位置以及掃描視圖。中心的框顯示相機相對于掃描的當前位置。

當找到感興趣的區(qū)域時，用戶可以通過點擊“z-堆疊記錄”節(jié)所述的按鈕來啟動新的z-堆疊的記錄。當進行記錄時，利用手動掃描系統(tǒng)的定位算法，z-堆疊的位置是已知的。需要注意的是，由于用戶自由橫向地移動顯微鏡臺，所以系統(tǒng)將整個z-堆疊的位置設置為所記錄的第一幀的位置。通過用矩形注釋后者，在z-堆疊與掃描之間建立鏈接。矩形位置和大小與z-堆疊中的一個匹配，并且可以單擊以打開“z-堆疊可視化”節(jié)中所述的z-堆疊查看器(見圖13)。在圖13中，z-堆疊被定位在掃描中，并且被示為具有半透明圖像的輪廓矩形。這些矩形是可點擊的，這打開另一個窗口來查看z-堆疊。

在“多物鏡定位”節(jié)中所描述的定位算法僅提供利用不同于掃描所使用的放大倍率的物鏡來記錄z-堆疊時的當前幀的位置的估計。這個估計不能保證所記錄的z-堆疊的位置的準確性。解決該問題的方法是允許用戶通過利用鼠標拖動掃描內表示z-堆疊的矩形注釋來改進z-堆疊相對于掃描的位置?？梢酝ㄟ^在矩形注釋中繪制半透明的z-堆疊的一個圖像來向用戶提供視覺反饋。由于可以看到z-堆疊與掃描之間的重疊所以是有益的，但是它假定在矩形內所繪制的幀被記錄在與掃描相同的焦平面。有幾種方法可以確保選擇的幀是如所描述的那樣。如果掃描精心地由清晰圖像構成，可以選擇z-堆疊中最清晰的幀以最佳地匹配掃描。另一種可能性是總是選擇所記錄的第一幀，但是假設從與掃描相同的焦平面開始記錄z-堆疊。

因為用戶一旦找到要記錄的感興趣區(qū)域，就會開始錄制，所以這是一個可以接受的假設。該區(qū)域只能通過瀏覽掃描來找到，瀏覽掃描是在與掃描保持在同一焦平面的同時移動相機。

保存z-堆疊和掃描之間的鏈接

掃描和z-堆疊都利用它們自己的文件格式進行保存。這個結構應保持靈活性。因此，應當創(chuàng)建附加文件來存儲掃描和記錄到該掃描中的z-堆疊之間的關系。此文件應包含到掃描文件和單獨的z-堆疊的路徑名。它也應該包含z-堆疊相對于掃描的位置。

在前面的描述中，為了解釋的目的，公開許多細節(jié)以便提供對實施例的透徹理解。然而，本領域技術人員應當清楚的是這些具體細節(jié)不是必需的。在其他示例中，公知的電氣結構和電路以框圖的形式示出，以便不使理解模糊。例如，沒有提供關于這里描述的實施例是否被實現(xiàn)為軟件例程、硬件電路、固件或其組合的具體細節(jié)。

本公開的實施例可以呈現(xiàn)為機器可讀介質(也稱為計算機可讀介質、處理器可讀介質或其中具有計算機可讀程序代碼的計算機可用介質)中所存儲的計算機程序產品。機器可讀介質可以是任何合適的有形、非瞬態(tài)介質，包括磁盤、光盤只讀存儲器(cd-rom)、存儲設備(易失性或非易失性)或類似的存儲構件的磁、光或電存儲介質。機器可讀介質可以包含各種指令集、代碼序列、配置信息或其他數(shù)據(jù)，當這些被執(zhí)行時，它們使處理器執(zhí)行根據(jù)本公開的實施例的方法中的步驟。本領域普通技術人員應當理解的是，實現(xiàn)所描述的實施方式所需的其他指令和操作也可以存儲在機器可讀介質上。存儲在機器可讀介質上的指令可以由處理器或其他合適的處理設備進行執(zhí)行，并且可以與電路進行接口來執(zhí)行所描述的任務。

上述實施例僅僅希望是示例性的。本領域技術人員所作出替換、修改和變化能夠影響到特定實施例。權利要求的范圍不應由本文所公開的特定實施例來限制，而應以與整個說明書一致的方式來進行解釋。

參考文獻

以下參考文獻通過引用以其整體并入本文中：

[1]"bz-9000all-in-onefluorescencemicroscope(一體化熒光顯微鏡),"keyencecorporation,[在線].可獲得：

http://www.keyence.com/products/microscope/fluorescence-microscope/bz-9000/index.jsp.

[2]h.a.l.l.a.c.b.a.a.m.a.l.s.lo,"apparatusandmethodfordigitalmicroscopyimaging(用于數(shù)字顯微鏡成像的裝置和方法)".2013.

[3]d.g.lowe,"objectrecognitionfromlocalscale-invariantfeatures(從局域的尺寸無關的特征的對象識別),"intheproceedingsoftheseventhieeeinternationalconferenceoncomputervision(第七屆ieee國際會議論文集計算機版),1999.

[4]g.d.j.c.gower,procrustesproblems(普羅克拉斯提斯難題),oxforduniversitypress(牛津大學出版社),2004.