技術領域

本發(fā)明的實施例涉及使用成像設備以生成樣本的增強的表面和深度圖像的設計和方法，該成像設備收集樣本的表皮發(fā)光和光學相干斷層攝影數(shù)據(jù)并使該表皮發(fā)光和光學相干斷層攝影數(shù)據(jù)相關。

背景技術：

皮膚鏡多年來被醫(yī)療專業(yè)人員用于產生人體上皮細胞的圖像以用于癌癥檢測以及其它惡性皮膚病。皮膚鏡的最常見使用之一是用于皮膚癌、黑色素瘤、非黑色素瘤皮膚癌(NMSC)(包括基底細胞癌(BCC)和鱗狀細胞癌(SCC))以及其它皮膚病(包括光化性角化病(AK)和牛皮癬)的早期檢測和診斷。在皮膚的表面使用光以增強表面的可視化被稱為表皮發(fā)光顯微術(ELM)。

皮膚鏡傳統(tǒng)地包括放大鏡(典型地x10)、非偏振光源、透明板以及儀器與皮膚之間的液體介質，從而允許不受皮膚表面反射阻礙地對皮膚病變進行檢查。一些更現(xiàn)代的皮膚鏡無需使用液體介質并且作為替代使用偏振光以抵消皮膚表面反射。

ELM自身提供皮膚的表面成像，并且甚至可以在使用多個ELM源時提供皮膚表面的三維模型。然而，ELM數(shù)據(jù)不為醫(yī)學專業(yè)人員提供皮膚表面下方的任何圖像或者信息。這種數(shù)據(jù)將對癌癥檢測和診斷以及定位皮膚表面下的腫瘤或者其它異常有用。僅僅基于ELM數(shù)據(jù)的病變檢查通常不能提供充分的鑒別診斷并且醫(yī)學專業(yè)人員需要借助于切除活檢。

光學相干斷層攝影(OCT)是借助于寬帶光源(或者掃頻窄帶源)和干涉檢測系統(tǒng)提供具有高軸向分辨率的深度分辨信息的醫(yī)學成像技術。已經發(fā)現(xiàn)許多應用，從眼科學和心臟病學到婦科學和生物組織的體外高分辨率實驗。盡管OCT可以提供深度分辨成像，但是它典型地需要龐大的器械。

技術實現(xiàn)要素：

提供成像系統(tǒng)和方法以供使用。成像系統(tǒng)收集使用ELM和OCT技術兩者從相同設備得到的數(shù)據(jù)并使該數(shù)據(jù)相關。

在實施例中，成像系統(tǒng)包括第一光學路徑、第二光學路徑、多個光學元件、檢測器和處理器。第一光學路徑引導與表皮發(fā)光相關聯(lián)的第一輻射射束，而第二光學路徑引導與光學相干斷層攝影相關聯(lián)的第二輻射射束。多個光學元件將第一輻射射束和第二輻射射束發(fā)射到樣本上。檢測器生成與已經從樣本反射或者散射的并且在檢測器處接收到的第一輻射射束和第二輻射射束相關聯(lián)的光學數(shù)據(jù)。與第一輻射射束和第二輻射射束相關聯(lián)的光學數(shù)據(jù)與樣本的大致非共面區(qū)域相對應。處理器使與第一輻射射束相關聯(lián)的光學數(shù)據(jù)和與第二輻射射束相關聯(lián)的光學數(shù)據(jù)相關，并基于相關的光學數(shù)據(jù)生成樣本的圖像。

在另一個實施例中，手持式成像設備包括第一光學路徑、第二光學路徑、多個光學元件、檢測器和發(fā)送器。第一光學路徑引導與表皮發(fā)光相關聯(lián)的第一輻射射束，而第二光學路徑引導與光學相干斷層攝影相關聯(lián)的第二輻射射束。多個光學元件將第一輻射射束和第二輻射射束發(fā)射到樣本上。檢測器生成與已經從樣本反射或者散射的并且在檢測器處接收到的第一輻射射束和第二輻射射束相關聯(lián)的光學數(shù)據(jù)。與第一輻射射束和第二輻射射束相關聯(lián)的光學數(shù)據(jù)與樣本的大致非共面區(qū)域相對應。發(fā)送器被設計為向計算設備發(fā)送光學數(shù)據(jù)。

還描述了示例方法。在實施例中，接收與樣本的表皮發(fā)光成像相關聯(lián)的第一光學數(shù)據(jù)。還接收與樣本的光學相干斷層攝影成像相關聯(lián)的第二光學數(shù)據(jù)，其中第一光學數(shù)據(jù)和第二光學數(shù)據(jù)與樣本的大致非共面區(qū)域相對應。處理設備使第一光學數(shù)據(jù)的一個或者多個幀與第二光學數(shù)據(jù)的一個或者多個幀相關以生成相關數(shù)據(jù)。處理設備還基于相關數(shù)據(jù)生成樣本的圖像。

在實施例中，非暫時性計算機可讀存儲介質包括指令，當由處理設備執(zhí)行時該指令時使得處理設備執(zhí)行上面公開的方法。

下面參照附圖對本發(fā)明另外的特征和優(yōu)點以及本發(fā)明各種實施例的結構和操作進行詳細描述。注意，本發(fā)明不限于本文描述的具體實施例。本文僅出于例示性目的提供這種實施例?；诒疚陌ǖ慕虒?，另外的實施例將對相關領域的技術人員是清楚的。

附圖說明

被并入本文并形成說明書的一部分的附圖圖示了本發(fā)明的實施例，并連同說明書一起進一步地用來解釋本發(fā)明的原理以及使相關領域的技術人員能夠實現(xiàn)并使用本發(fā)明。

圖1圖示了根據(jù)實施例的成像系統(tǒng)。

圖2圖示了根據(jù)實施例的關于樣本的表面的兩個成像平面。

圖3A-D圖示了圖像平移和旋轉的效果。

圖4A-B圖示了平面外圖像旋轉的效果。

圖5A-B圖示了圖像平移的效果。

圖6圖示了示例方法。

圖7圖示了另一個示例方法。

圖8圖示了對實現(xiàn)各種實施例有用的示例計算機系統(tǒng)。

將參考附圖描述本發(fā)明的實施例。

具體實施方式

盡管對具體配置和布置進行討論，但是應當理解這僅僅是出于例示性目的。相關領域技術人員將認識到可以在不背離本發(fā)明的精神和范圍的情況下使用其它配置和布置。將對相關領域技術人員清楚的是，還可以在各種其它應用中采用本發(fā)明。

注意，盡管說明書中對“一個實施例”、“實施例”、“示例實施例”等等的提及指示所描述的實施例可以包括特定特征、結構或者特性，但是每個實施例不一定都包括該特定特征、結構或者特性。另外，這種表述并不一定指的是相同的實施例。此外，當結合實施例描述特定特征、結構或者特性時，無論是否被明確描述，結合其它實施例來實現(xiàn)這種特征、結構或者特性將在本領域技術人員的知識范圍內。

本文的實施例涉及可以用于人體上皮細胞研究的成像設備以及組合從ELM圖像和OCT圖像兩者接收的數(shù)據(jù)以生成所研究的樣本的增強三維圖像的成像設備。在實施例中，兩個圖像模態(tài)的成像平面是非共面的，以允許以三維方式捕獲和組織數(shù)據(jù)。成像設備可以包括提供兩個分離的光路(一個用于ELM光，另一個用于OCT光)所需要的所有光學元件。在實施例中，每個光路可以共享一個或者多個光學元件。應當理解，術語“光”應當在上下文中被廣泛地解釋，并且可以包括電磁光譜的任何波長。在一個示例中，ELM光包括大約400nm與大約700nm之間的可見波長，而OCT光包括大約700nm與1500nm之間的近紅外波長。其它紅外范圍也可以用于OCT光。另外，可以將ELM光或者OCT光概念化為輻射射束或者輻射射束。可以由任何類型的光源中的一個或者多個生成輻射射束。

可以使從ELM光和OCT光兩者收集的收集數(shù)據(jù)時間上和/或空間上相關以增強產生的圖像。例如，成像設備與樣本之間的相對移動可能在ELM圖像上引起線性變換(包括平移和/或旋轉)，該線性變換可以被檢測并用于映射OCT圖像的關聯(lián)位置以用于精確重建三維模型。另外，成像設備與樣本之間的相對移動還可能引起ELM數(shù)據(jù)上的平面外旋轉，該平面外旋轉可以被計算并用于利用角分集的增大以便改進OCT數(shù)據(jù)中的樣本分析。本文描述了關于ELM與OCT圖像之間的相關性的另外的細節(jié)。

圖1圖示了根據(jù)實施例的成像系統(tǒng)。成像系統(tǒng)包括成像設備102、計算設備130和顯示器132。在該示例中，成像設備102從樣本126收集數(shù)據(jù)。可以通過接口128使成像設備102和計算設備130通信地耦合。例如，接口128可以是物理電纜連接、RF信號、紅外或者藍牙信號。成像設備102可以包括一個或者多個電路和分立元件，設計為通過接口128發(fā)送和/或接收數(shù)據(jù)信號。

成像設備102的大小和形狀可以適當?shù)卦O定為在從樣本126收集圖像數(shù)據(jù)時舒適地握在手中。在一個示例中，成像設備102是皮膚鏡。成像設備102包括保護和封裝成像設備102內的各種光學元件和電氣元件的殼體104。在一個實施例中，殼體104包括針對用戶的手的人體工學設計。成像設備102還包括ELM光和OCT光兩者可以穿過的光學窗口106。與基本上不允許ELM光或者OCT光穿過的殼體104的材料不同，光學窗口106可以包括允許ELM光和OCT光的相當大一部分穿過的材料。盡管光學窗口106可以設置在成像設備102的遠端處，但是其位置不被認為是限制性的。

在實施例中，光學窗口106可以包括位于成像設備102的不同區(qū)域處的多于一個部分。光學窗口106的每個部分可以包括允許一定波長范圍的光的相當大一部分穿過的材料。例如，光學窗口106的一個部分可以被定制用于OCT光，而光學窗口106的另一個部分可以被定制用于ELM光。

各種輻射信號被圖示為離開或者進入光學窗口106。所發(fā)射的輻射122可以包括ELM光和OCT光。類似地，所接收的輻射124可以包括已經由樣本126進行了散射和反射中的至少一個的ELM光和OCT光兩者。也可以包括其它成像模態(tài)，包括例如熒光成像或者超光譜成像。

根據(jù)實施例，成像設備102包括多個光學元件108。光學元件108可以包括由本領域技術人員理解的要與光的發(fā)射和接收一起使用的一個或者多個元件，諸如，例如，透鏡、鏡、分色鏡、光柵和波導管。波導管可以包括單?；蛘叨嗄９饫w。另外，波導管可以包括基板上圖案化的條形波導管或者脊形波導管。ELM光和OCT光可以共享相同的光學元件，或者在另一個示例中，不同的光學元件用于每個成像模態(tài)并且具有被定制用于關聯(lián)成像模態(tài)的屬性。

根據(jù)實施例，成像設備102包括用于引導ELM光穿過成像設備102的ELM路徑110和用于引導OCT光穿過成像設備102的OCT路徑112。ELM路徑110可以包括與ELM光相關聯(lián)的光的收集和引導所需的任何特定光學元件或者電光學元件。類似地，OCT路徑112可以包括與OCT光相關聯(lián)的光的收集和引導所需的任何特定光學元件或者電光學元件。在2012年5月18日提交的PCT申請No.PCT/EP2012/059308中公開了實現(xiàn)為系統(tǒng)上芯片的OCT系統(tǒng)的示例，該申請的公開內容整體地通過引用合并于此。在一些實施例中，在OCT路徑112的至少一部分中實現(xiàn)的OCT系統(tǒng)是偏振敏感的OCT(PS-OCT)系統(tǒng)或者多普勒OCT系統(tǒng)。PS-OCT可以對研究皮膚灼傷有用，而多普勒OCT可以提供關于皮膚腫瘤中的血管生成的進一步的數(shù)據(jù)。ELM路徑110可以耦合至成像設備102內提供的ELM源114。類似地，OCT路徑112可以耦合至OCT源116。ELM源114或者OCT源116可以包括激光二極管或者一個或者多個LED。ELM源114和OCT源116可以是任何類型的寬帶光源。在一個實施例中，ELM源114和OCT源116中的任一個或者兩者被物理地設置在成像設備102外部，并且使它們的光通過例如一個或者多個光纖發(fā)射到成像設備102。

在一個實施例中，ELM路徑110和OCT路徑112共享成像設備102內的相同的物理路徑的至少一部分。例如，相同的波導管(或者波導束)用于引導ELM光和OCT光兩者。類似地，相同的波導管可以用于通過光學窗口106發(fā)射和接收OCT光和ELM光。其它實施例包括在成像設備102內使分離的波導管引導ELM光和OCT光。分離的波導管還可以用于通過光學窗口106發(fā)射和接收光。ELM路徑110和OCT路徑112中的每一個可以包括自由空間光學元件以及集成光學元件。

ELM路徑110和OCT路徑112可以包括各種無源或者有源調制元件。例如，任一光學路徑可以包括相位調制器、頻移器、偏振器、消偏振器和群延遲元件。可以包括設計為補償雙折射和/或色散效應的元件。沿任一路徑的光可以漸逝地耦合到一個或者多個其它波導管中?？梢园姽庠?、熱光元件或者聲光元件以有源地調制沿ELM路徑110或者OCT路徑112的光。

根據(jù)實施例，在成像設備102內包括檢測器118。檢測器118可以包括定制用于檢測特定波長范圍的多于一個檢測器。例如，一個檢測器可以對ELM光更敏感，而另一個檢測器對OCT光更敏感。檢測器118可以包括CCD照相機、光電二極管和CMOS傳感器中的一個或者多個。在實施例中，檢測器118、ELM路徑110和OCT路徑112中的每一個被單片地集成到相同的半導體基板上。在另一個實施例中，半導體基板還包括ELM源114和OCT源116兩者。在另一個實施例中，在相同的半導體基板上包括檢測器118、ELM路徑110和OCT路徑112、ELM源114和OCT源116中的任何一個或者多個。檢測器118被設計為接收ELM光和OCT光，并生成與所接收的ELM光相關的光學數(shù)據(jù)和與所接收的OCT光相關的光學數(shù)據(jù)。在實施例中，所接收的ELM光和OCT光已經從樣本126接收并提供與樣本126相關聯(lián)的圖像數(shù)據(jù)。所生成的光學數(shù)據(jù)可以是模擬或者數(shù)字電信號。

在實施例中，成像設備102包括處理電路120。處理電路120可以包括一個或者多個電路和/或處理元件，設計為接收由檢測器118生成的光學數(shù)據(jù)并對光學數(shù)據(jù)執(zhí)行處理操作。例如，處理電路120可以使與ELM光相關聯(lián)的圖像和與OCT光相關聯(lián)的圖像相關?？梢栽趫D像之間在時間上和/或空間上執(zhí)行相關。處理電路還可以用于通過圖像處理技術基于相關數(shù)據(jù)生成樣本126的圖像。圖像數(shù)據(jù)可以存儲在成像設備102內包括的存儲器121上。存儲器121可以包括任何類型的非易失性存儲器，諸如閃速存儲器、EPROM或者硬盤驅動器。

在另一個實施例中，在遠離成像設備102的計算設備130上包括執(zhí)行圖像處理技術的處理電路120。在該實施例中，成像設備102內的處理電路120包括設計為通過接口128在成像設備102與計算設備130之間傳輸數(shù)據(jù)的傳輸器。使用計算設備130對光學數(shù)據(jù)執(zhí)行圖像處理計算以生成樣本126的圖像可以對降低成像設備102內的處理復雜度有用。具有用于生成樣本圖像的分離的計算設備可以幫助提高生成圖像的速度以及降低成像設備102的成本。

可以在顯示器132上顯示基于ELM數(shù)據(jù)和OCT數(shù)據(jù)兩者的最終生成的樣本126的圖像。在一個示例中，顯示器132是通信地耦合至計算設備130的監(jiān)視器。顯示器132可以被設計為投射樣本126的三維圖像。在另外的實施例中，三維圖像是全息的。

在實施例中，成像系統(tǒng)102能夠從兩個不同的光學信號模態(tài)(例如，OCT和ELM)收集數(shù)據(jù)以生成樣本的增強圖像數(shù)據(jù)。通過大致同時地發(fā)射和接收與每個信號模態(tài)相關聯(lián)的光來收集數(shù)據(jù)。在圖2中圖示了其示例。

圖2圖示了根據(jù)實施例的由兩個不同的圖像模態(tài)成像的樣本200。圖像表面B基本上跨越樣本200的表面。在一個示例中，圖像表面B與拍攝的上皮表面202的ELM圖像相對應。圖像表面A與通過樣本200的深度拍攝的OCT圖像相對應，以使得OCT圖像提供關于上皮層202以及更深組織204的數(shù)據(jù)。在一個示例中，通過沿著圖像表面A軸向地掃描來收集沿著圖像表面A的OCT圖像數(shù)據(jù)。這些軸向的掃描也稱為A型掃描(a-scan)。組合沿著圖像表面A得到的A型掃描提供跨越樣本200內的圖像表面A的OCT圖像。

在實施例中，圖像表面A和圖像表面B是非共面的。在一個示例中，諸如圖2中圖示的示例，圖像表面A與圖像表面B大致正交。圖像表面A還跨越不可忽略的長度而與圖像表面B相交。其它光源可以用于生成多于所示的兩個圖像平面。當使用兩個分離的圖像(諸如，沿著圖像表面A得到的圖像與沿著圖像表面B得到的圖像)并使它們相關時，應當考慮視差效應。可以利用光學調制效應沿著成像設備102內的ELM路徑110和OCT路徑112中的任一個或者兩者來補償視差效應。在另一個示例中，可以在圖像處理期間通過利用對確切從哪里發(fā)射和收集ELM光和OCT光的認識來補償視差效應。

根據(jù)實施例，在樣本表面上得到的ELM圖像可以與得到的OCT圖像相關。該相關的一個優(yōu)點是基于在ELM圖像中觀察到的變換確定OCT圖像的軸向地掃描的部分的精確位置的能力。在實施例中，兩個圖像模態(tài)提供所有幀的定時獲取，以使得兩個幀之間的延遲在模態(tài)內是已知的。在另一個實施例中，圖像模態(tài)之間的幀對的至少限定的子集之間的獲取是大致同時的。

在實施例中，成像設備102可以被設計為允許所研究樣本與兩個成像模態(tài)的視場(FOV)之間的相對位移。然而，兩個FOV之間的相對位置不應該受成像設備102的相對移動影響。在一個示例中，可以通過大致剛性地固定成像設備102中使用的所有光學元件來獲得該性能。根據(jù)實施例，在成像設備102位移期間，產生與每個成像模態(tài)相對應的兩個圖像序列，借此可以通過以大致同時的方式獲取的幀來形成這些圖像的至少兩個子集。從ELM圖像數(shù)據(jù)進行的時間或者空間采樣必須是充分的，以便允許后續(xù)幀之間不可忽略的重疊。

圖3A-D圖示了根據(jù)實施例的可以如何使用ELM圖像的平移和旋轉兩者來跟蹤所捕獲的OCT圖像的位置。圖3A圖示了可以例如使用ELM數(shù)據(jù)進行成像的樣本表面301上的病變302。照此，ELM圖像可以具有包括大致整個樣本表面301的FOV。在拍攝樣本表面301的ELM圖像的大致同時，跨越病變302的一部分拍攝OCT圖像304。標記306a和306b被用作引導件，以圖示被拍攝的樣本表面301的ELM圖像的進程圖中的相對移動。

根據(jù)實施例，通過使用ELM圖像估計OCT圖像的位置允許皮膚表面和皮膚表面下方區(qū)域的完整和精確的數(shù)據(jù)重建。在沒有相關的情況下，所捕獲的OCT圖像沒有參照，因此很難重建最終圖像。

圖3B圖示了對圖3A中捕獲的ELM圖像執(zhí)行的FOV旋轉。例如，來自圖3A的樣本表面301的ELM圖像可以在來自圖3B的樣本表面301的ELM圖像之前的離散時間被拍攝。在實施例中，按照給定幀率連續(xù)地捕獲ELM圖像，以捕獲ELM圖像的FOV中發(fā)生的任何變化。標記306a和306b由于旋轉而偏移，并且還產生了OCT圖像304a的新的旋轉的位置。所測量的從標記306a和306b的旋轉量應當?shù)韧谠糘CT圖像304與經旋轉的OCT圖像304a之間的旋轉量。以這種方式，對所收集的ELM圖像的表面數(shù)據(jù)執(zhí)行的圖像處理技術可以用于計算旋轉量。例如，移動可以被容易跟蹤的標記306a和306b可以表示ELM圖像內的區(qū)別特征。

圖3C圖示了樣本表面301上的ELM圖像的FOV的平移。在這里，標記306a和306b已經平移了與經平移的OCT圖像304b相同的距離。圖3D圖示了基于發(fā)生旋轉(經旋轉的OCT圖像304a)還是發(fā)生平移(經平移的OCT圖像304b)或者發(fā)生兩者的OCT圖像304的可能的移動的映射。在實施例中，對于所處理的每個ELM圖像連續(xù)地更新移動映射，以也跨越病變302連續(xù)地跟蹤收集的OCT圖像的移動。

ELM圖像還可以用于計算相對于樣本表面發(fā)生的平面外旋轉。圖4A-B圖示了使用ELM圖像數(shù)據(jù)跟蹤平面外旋轉。

圖4A圖示了可以例如使用ELM數(shù)據(jù)進行成像的樣本表面401上的病變402。照此，ELM圖像可以具有包括大致整個樣本表面401的FOV。在拍攝樣本表面401的ELM圖像的大致同時，跨越病變402的一部分拍攝OCT圖像404。標記406a和406b被用作引導件，用以圖示被拍攝的樣本表面401的進程ELM圖像中的相對移動。

圖4B圖示了樣本表面401的ELM圖像的FOV圍繞軸410的旋轉。旋轉導致圖像特征406a和406b的位置分別地變化為圖像特征408a和408b的位置。具體地，標記408a由于旋轉而顯得更大，而標記408b由于旋轉顯得更小(假設成像設備正在以關于圖4A-B自頂向下的方式拍攝ELM圖像的情形)。可以通過在圖像特征406a至408a與406b至408b之間使用計算配準技術(諸如光流)來計算平面外旋轉。還應當理解，可以使用來自大致整個ELM圖像的數(shù)據(jù)而不只是在ELM圖像的給定區(qū)域內的數(shù)據(jù)來計算光流。該計算的旋轉隨后可以用于校正或者跟蹤所收集的OCT圖像404的位置。

在實施例中，ELM圖像的采樣率或者幀率捕獲高于與OCT圖像相關聯(lián)的A型掃描的捕獲。在一個示例中，捕獲與單個OCT圖像相關聯(lián)的各種A型掃描，而成像設備102的移動可能使得不再跨越單個平面進行A型掃描。在該情形下，所捕獲的ELM圖像可以用于使A型掃描的位置相關，并最終確定跨越樣本表面的OCT圖像的路徑。在圖5A-5B中圖示了該概念。

圖5A圖示了樣本表面上捕獲的ELM圖像的示例移動路徑，以及所捕獲的單個OCT圖像的A型掃描發(fā)生的關聯(lián)移動。虛線的大方形表示所捕獲的ELM圖像在時間上的移位位置(如由大箭頭指示的)，而在圖像中心的直虛線表示在整個時間中OCT圖像被拍攝的平面。每個OCT圖像平面上的大點501a-f表示從左至右跨越OCT圖像平面進行掃描的A型掃描。如可以看到的，A型掃描由于在樣本表面上的平移移動而不跨越單個平面掃描。

根據(jù)實施例，ELM圖像的移動可以用于跟蹤OCT圖像的A型掃描的位置。圖5B圖示了通過組合OCT圖像502的彎曲路徑上的A型掃描而實際收集的OCT圖像502?？梢酝ㄟ^使A型掃描501a-e的位置與所捕獲的ELM圖像相關來確定OCT圖像502的路徑。

可以由處理電路120或者從成像設備102遠程通過計算設備130執(zhí)行所描述的所有圖像處理分析。可以對緊接在后的ELM圖像進行分析，或者可以對在時間上間隔較遠的圖像對(無論它們是否與同時獲取的OCT圖像相關聯(lián))進行分析?？梢詾樵撃康膽弥T如不同圖像的傅里葉變換之間的相位差、光流的方法或者本領域技術人員已知的其它圖像配準技術。

另外，根據(jù)一些實施例，可以對單獨的配準圖像對之間的位移和旋轉進行累加、求平均數(shù)或者以其它方式組合，以便相對于基準坐標系針對每個獲取的表皮發(fā)光圖像和每個OCT圖像產生變換?？梢耘c成像設備102和成像設備102內的多個光學元件108之間的相對移動的估計相關聯(lián)地執(zhí)行對單獨的位移的組合以幫助使誤差最小化。可以借助于卡爾曼濾波器或者某種其它類型的自適應或者非自適應濾波器來執(zhí)行這種估計。這在以下情況下可能是相關的：如果一些OCT圖像未與ELM圖像大致同時地獲取，如果采樣在時間上不均勻或者如果由于圖像質量或算法性能而使偏移和旋轉的單獨的計算有噪聲。在實施例中，在處理電路120內的硬件中實現(xiàn)用于使誤差最小化的濾波器。然而，其它實施例可以使濾波器在圖像處理過程期間在軟件中實現(xiàn)。

為ELM圖像計算的各種偏移和旋轉可以用于使各ELM圖像合并以及產生具有擴展的FOV的ELM圖像?？梢源鎯υ揈LM圖像并使該ELM圖像在設備屏幕(諸如顯示器132)上呈現(xiàn)給用戶。

在另一個實施例中，使為ELM圖像計算的各種偏移和旋轉與關聯(lián)的OCT圖像相關，并將數(shù)據(jù)合并以形成三維數(shù)據(jù)集。在實施例中，三維數(shù)據(jù)集在被成像的樣本的表面下方給定深度處提供密集采樣。在另一個實施例中，三維數(shù)據(jù)集在被成像的樣本的表面下方給定深度處提供稀疏采樣。在一個示例中，對于樣本表面以下高達2mm的深度發(fā)生數(shù)據(jù)采樣。在另一個示例中，對于樣本表面以下高達3mm的深度發(fā)生數(shù)據(jù)采樣。三維數(shù)據(jù)集可以被渲染為樣本的三維圖像并在顯示器132上顯示。在實施例中，使用行進立方體、射線跟蹤或者本領域技術人員已知的任何其它3D渲染技術中的至少一種來實現(xiàn)渲染。

在實施例中，ELM圖像與OCT圖像之間的相關涉及成像模態(tài)之間的信息(諸如元數(shù)據(jù))的傳遞。例如，在一個成像模態(tài)中自動地或者由用戶創(chuàng)建的注釋和/或標記可以使它們的信息傳遞到另一個成像模態(tài)的關聯(lián)圖像上?？梢詫碜砸粋€成像模態(tài)的任何空間上相關或者時間上相關的元數(shù)據(jù)傳遞到另一個成像模態(tài)。一個具體示例包括在一個或者多個ELM圖像中勾畫腫瘤邊緣，隨后將與勾畫標記相關聯(lián)的數(shù)據(jù)傳遞至相關OCT圖像從而也指明OCT數(shù)據(jù)內的腫瘤邊界。成像模態(tài)之間的數(shù)據(jù)的這種交叉配準對于為莫氏手術指導或者文檔活檢位置標記病灶界限也可以是有用的。

在實施例中，各種捕獲的OCT圖像可以用于在OCT成像平面與樣本表面之間的相交處對樣本表面進行分段?？梢越M合這些相交分段以產生樣本表面的形貌的近似。ELM圖像數(shù)據(jù)隨后可以用于使由OCT數(shù)據(jù)生成的表面拓撲“紋理化”。例如，OCT圖像數(shù)據(jù)可以用于創(chuàng)建樣本表面拓撲的無紋理絲網(wǎng)。隨后可以在絲網(wǎng)上應用ELM圖像數(shù)據(jù)以及優(yōu)選地(盡管不必需)應用擴展FOV的ELM圖像數(shù)據(jù)，以創(chuàng)建樣本表面的高度詳細的紋理化表面映射。另外，由于OCT圖像提供深度分辨數(shù)據(jù)，因此還可以快速訪問并可視化關于樣本表面下方的層的信息。這種信息可以輔助健康護理專業(yè)人員和皮膚科醫(yī)生做出更迅速的診斷，并且可以有助于為腫瘤切除手術做計劃而不需要活檢。

在實施例中，局部粗糙度參數(shù)可以由重建的樣本表面或者由單獨的OCT圖像計算，并疊加到重建的樣本圖像或以其它方式與重建的樣本圖像一起顯示。還可以使用偽色標(false-color scale)或者利用任何其它可視化技術將粗糙度參數(shù)映射在重建的樣本表面上。

在實施例中，基于所收集的ELM圖像之間的相對移動觸發(fā)OCT圖像的收集。例如，如果兩個或者更多個ELM圖像之間的平移太大，則成像設備102在樣本表面上掃描過快并且OCT圖像將會是模糊的。以這種方式，僅在OCT數(shù)據(jù)的較低采樣頻率不會在數(shù)據(jù)收集中引起誤差的情形期間捕獲OCT圖像。在另一個示例中，持續(xù)捕獲OCT圖像并且當所捕獲的ELM圖像之間的相對移動導致所捕獲OCT圖像內的太多劣化時丟棄某些圖像。從ELM圖像序列獲得的圖像運動的估計還可以用于量化兩個ELM圖像中的運動模糊，并過濾出或者至少識別較低質量的圖像。在另一個實施例中，當在給定時間段期間沒有移動時，可以為了去噪和增強的目的而對在時間流逝期間記錄的OCT圖像集進行組合，從而提高給定OCT圖像的質量。也可以預期用于通過使用兩個不同的圖像模態(tài)提供圖像增強的另外的技術。

在另一個實施例中，可以通過在成像設備102內包括第二ELM路徑來增強三維成像能力。第二ELM路徑將會與第一ELM路徑分離地設置，并且這兩個路徑之間的位置差異可以被校準并用于產生樣本表面的立體三維圖像。

在另一個實施例中，可以使用成像設備102內的單個ELM路徑生成樣本表面的三維表示。在時間順序的ELM圖像之間收集的位移信息用于為所捕獲ELM圖像中的每一個估計相對視點?？梢杂蓸颖镜慕M合的ELM圖像和關于ELM圖像的關聯(lián)視點的數(shù)據(jù)來生成樣本表面的三維表示。

根據(jù)實施例，描述了用于基于樣本的ELM圖像數(shù)據(jù)和OCT圖像數(shù)據(jù)兩者生成樣本圖像的示例方法600?？梢杂沙上裨O備102內的處理電路120或者由計算設備130執(zhí)行方法600。

在塊602處，接收與ELM相關聯(lián)的第一光學數(shù)據(jù)?？梢酝ㄟ^無線接口或者通過硬連線電路接收第一光學數(shù)據(jù)。在實施例中，當檢測器接收與ELM相關聯(lián)的光時由檢測器生成第一光學數(shù)據(jù)。根據(jù)一個示例，已經從樣本的表面收集了由檢測器接收的ELM光。

在塊604處，接收與OCT相關聯(lián)的第二光學數(shù)據(jù)?？梢酝ㄟ^無線接口或者通過硬連線電路接收第二光學數(shù)據(jù)。在實施例中，當檢測器接收與OCT相關聯(lián)的光時由檢測器生成第二光學數(shù)據(jù)。根據(jù)一個示例，已經從樣本的各種深度收集了由檢測器接收的OCT光。在實施例中，與第一光學數(shù)據(jù)相對應的圖像平面和與第二光學數(shù)據(jù)相對應的圖像平面非共面。

在塊606處，使第一光學數(shù)據(jù)的一個或者多個圖像與第二光學數(shù)據(jù)的一個或者多個圖像相關?？梢栽趤碜詢蓚€模態(tài)的圖像之間在空間上或者時間上執(zhí)行相關。

在塊608處，使用來自塊606的相關數(shù)據(jù)生成樣本的圖像。圖像可以是基于組合的ELM和OCT數(shù)據(jù)的樣本的三維表示。根據(jù)實施例，表面粗糙度數(shù)據(jù)可以被計算并疊加到所生成圖像。根據(jù)實施例，所生成圖像不僅提供樣本表面的數(shù)據(jù)，而且還提供樣本表面下方各種深度處的數(shù)據(jù)。

根據(jù)實施例，描述了用于基于樣本的ELM圖像數(shù)據(jù)和OCT圖像數(shù)據(jù)兩者生成樣本圖像的另一方法700?？梢杂沙上裨O備102內的處理電路120或者由計算設備130執(zhí)行方法700。

在塊702處，接收第一和第二光學數(shù)據(jù)。第一光學數(shù)據(jù)可以與所測量的ELM圖像數(shù)據(jù)相對應，而第二光學數(shù)據(jù)可以與所測量的OCT圖像數(shù)據(jù)相對應。在實施例中，與第一光學數(shù)據(jù)相對應的圖像平面和與第二光學數(shù)據(jù)相對應的圖像平面非共面。

在塊704處，基于從第一光學數(shù)據(jù)在時間上收集的圖像計算平移和/或旋轉移動。當?shù)谝还鈱W數(shù)據(jù)是ELM數(shù)據(jù)時，可以在一個時間段收集ELM圖像，并對該ELM圖像進行分析以確定圖像平移或者旋轉了多遠。在收集ELM圖像的相同時間期間，還可以收集OCT圖像。在一個示例中，在與關聯(lián)ELM圖像大致同時捕獲OCT圖像。

在塊706處，使第一光學數(shù)據(jù)與第二光學數(shù)據(jù)相關。ELM圖像可以與大致同時捕獲的并且在樣本上具有相交圖像平面的OCT圖像相關聯(lián)。所計算的ELM圖像的移動可以用于映射關聯(lián)OCT圖像的移動和位置。來自第一和第二光學數(shù)據(jù)的圖像可以在時間上或者空間上彼此相關。

在塊708處，基于相關光學數(shù)據(jù)生成三維圖像。圖像可以是基于組合的ELM和OCT數(shù)據(jù)的樣本的三維表示。例如，為ELM圖像計算的各種偏移和旋轉可以用于映射關聯(lián)OCT圖像的位置，并且數(shù)據(jù)被合并以形成三維模型，該三維模型提供用ELM圖像數(shù)據(jù)紋理化的表面數(shù)據(jù)和來自OCT圖像數(shù)據(jù)的深度分辨數(shù)據(jù)中的一個或者兩者。

各種方法可以用于使用組合的OCT數(shù)據(jù)和ELM數(shù)據(jù)以生成深度和樣本表面的模型。例如，OCT數(shù)據(jù)可以用于生成樣本表面拓撲的“絲網(wǎng)”表示。隨后可以將ELM數(shù)據(jù)應用于如同表面紋理的絲網(wǎng)表面。其它示例包括用于細化樣本的表面拓撲的箱形建模和/或邊緣建模技術。

可以例如使用一個或者多個公知的計算機系統(tǒng)(諸如圖8所示計算機系統(tǒng)800)實現(xiàn)到目前為止描述的各種圖像處理方法以及其它實施例。

計算機系統(tǒng)800包括一個或者多個處理器(也稱為中央處理單元或者CPU)，諸如處理器804。處理器804連接至通信基礎設施或者總線806。在一個實施例中，處理器804表示現(xiàn)場可編程門陣列(FPGA)。在另一個示例中，處理器804是數(shù)字信號處理器(DSP)。

一個或者多個處理器804可以各自是圖形處理單元(GPU)。在實施例中，GPU是設計為迅速地處理電子設備上的數(shù)學密集型應用的專用電子電路的處理器。GPU可以具有對大塊數(shù)據(jù)(諸如對計算機圖形應用、圖像和視頻常見的數(shù)學密集型數(shù)據(jù))的并行處理高效的高度并行結構。

計算機系統(tǒng)800還包括通過一個或者多個用戶輸入/輸出接口802而與通信基礎設施806進行通信的一個或者多個用戶輸入/輸出設備803(諸如監(jiān)視器、鍵盤、指點設備等等)。

計算機系統(tǒng)800還包括主要存儲器或者主存儲器808，諸如隨機存取存儲器(RAM)。主要存儲器808可以包括一級或者多級高速緩存。主要存儲器808在其中存儲了控制邏輯(即，計算機軟件)和/或數(shù)據(jù)。在實施例中，至少主要存儲器808可以如本文描述的那樣實現(xiàn)和/或起作用。

計算機系統(tǒng)800還可以包括一個或者多個輔助存儲設備或者存儲器810。輔助存儲器810可以包括例如硬盤驅動器812和/或可移動存儲設備或者驅動器814。可移動存儲驅動器814可以是軟盤驅動器、磁帶驅動器、緊湊盤驅動器、光存儲設備、帶備份設備和/或任何其它存儲設備/驅動器?？梢苿哟鎯︱寗悠?14可以與可移動存儲單元818交互?？梢苿哟鎯卧?18包括具有存儲于其上的計算機軟件(控制邏輯)和/或數(shù)據(jù)的計算機可用或者可讀存儲設備。可移動存儲單元818可以是軟盤、磁帶、緊湊盤、數(shù)字通用光盤(DVD)、光存儲盤和/或任何其它計算機數(shù)據(jù)存儲設備。可移動存儲驅動器814以公知方式從可移動存儲單元818讀取和/或向可移動存儲單元818寫入。

輔助存儲器810可以包括用于允許計算機程序和/或其它指令和/或數(shù)據(jù)被計算機系統(tǒng)800訪問的裝置、工具或者方式。這種裝置、工具或者其它方式可以包括例如可移動存儲單元822和接口820。可移動存儲單元822和接口820的示例可以包括程序盒和盒式接口(諸如視頻游戲設備中存在的盒式接口)、可移動存儲器芯片(諸如EPROM或者PROM)和關聯(lián)插槽、存儲棒和通用串行總線(USB)端口、存儲卡和關聯(lián)存儲卡槽和/或任何其它可移動存儲單元和關聯(lián)接口。

計算機系統(tǒng)800還可以包括通信或者網(wǎng)絡接口824。通信接口824使計算機系統(tǒng)800能夠與遠程設備、遠程網(wǎng)絡、遠程實體等等(由參考編號828單獨地并且共同地引用)的任何組合進行通信和交互。例如，通信接口824可以允許計算機系統(tǒng)800通過通信路徑826與遠程設備828進行通信，該通信路徑826可以是有線和/或無線的，并且可以包括局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)、因特網(wǎng)等等的任何組合?？梢酝ㄟ^通信路徑826向計算機系統(tǒng)800發(fā)送以及從計算機系統(tǒng)800發(fā)送控制邏輯和/或數(shù)據(jù)。

在實施例中，包括具有存儲在其上的控制邏輯(軟件)的有形計算機可用或者可讀介質的有形裝置或者制品在此還稱為計算機程序產品或者程序存儲設備。這包括但不限于計算機系統(tǒng)800、主要存儲器808、輔助存儲器810和可移動存儲單元818和822以及包括上述的任何組合的有形制品。這種控制邏輯在由一個或者多個數(shù)據(jù)處理設備(諸如計算機系統(tǒng)800)執(zhí)行時使得這種數(shù)據(jù)處理設備如本文描述的那樣進行操作。

基于本公開中包括的教導，如何使用數(shù)據(jù)處理設備、計算機系統(tǒng)和/或除了圖8所示以外的計算機體系結構來實現(xiàn)和使用本發(fā)明將對相關領域技術人員是清楚的。特別地，實施例可以與除了本文所描述的那些以外的軟件、硬件和/或操作系統(tǒng)實現(xiàn)一起操作。

應當理解，具體實施方式部分而不是發(fā)明內容和摘要部分旨在用于解釋權利要求書。發(fā)明內容和摘要部分可以闡述如一個或者多個發(fā)明人預期的本發(fā)明的一個或者多個示例性實施例但不是所有示例性實施例，因此不意圖以任何方式限制本發(fā)明和所附權利要求書。

上面已經在圖示指定功能及其關系的實現(xiàn)的功能構建塊的幫助下對本發(fā)明的實施例進行了描述。為了描述方便起見，本文已經對這些功能構建塊的邊界進行了任意地限定。替代的邊界可以被限定為使得指定功能及其關系被適當?shù)貓?zhí)行即可。

具體實施例的上述描述將如此充分地揭示本發(fā)明的一般性質以至于其他人可以在不背離本發(fā)明一般概念的情況下無需過度實驗而通過應用本領域技術內的知識就容易地修改和/或調整這種具體實施例的各種應用。因此，基于本文提供的教導和指引，這種調整和修改旨在在所公開實施例的等同的含義和范圍內。應當理解，本文的措辭或者術語出于描述目的而并非出于限制目的，使得本說明書的術語或者措辭將由本領域技術人員根據(jù)教導和指引進行解釋。

本發(fā)明的廣度和范圍不應該受上面描述的示例性實施例中的任何一個限制，而應當僅根據(jù)下面的權利要求書及其等同進行限定。