本發(fā)明屬于結(jié)構(gòu)光編碼、計(jì)算攝像、顯微成像領(lǐng)域，具體涉及一種寬視場(chǎng)高分辨顯微成像中像感器陣列標(biāo)定方法。

背景技術(shù)：

隨著顯微生物學(xué)的發(fā)展，人們對(duì)顯微成像技術(shù)的要求日益提高。獲取寬視場(chǎng)、高分辨、實(shí)時(shí)性的顯微圖像，是開(kāi)深入展很多顯微生物學(xué)研究的先決條件。例如對(duì)于癌癥的研究，觀察癌細(xì)胞的增殖過(guò)程需要高分辨圖像，而觀察癌細(xì)胞的轉(zhuǎn)移則依賴(lài)與寬視場(chǎng)。再者觀察神經(jīng)元上信號(hào)的快速傳遞，則要求高速實(shí)時(shí)地獲取顯微圖像。

通過(guò)一系列物鏡組，可以將顯微鏡目鏡看到的像轉(zhuǎn)換為寬視場(chǎng)曲面中間像，像感器陣列對(duì)曲面像進(jìn)行分視場(chǎng)采集可以獲取子視場(chǎng)高分辨圖像。將眾多高分辨子圖拼實(shí)時(shí)地接成寬視場(chǎng)高分辨大圖，則依賴(lài)于顯微視場(chǎng)下像中像感器陣列的標(biāo)定。

與傳統(tǒng)宏觀場(chǎng)景成像條件不同，顯微視場(chǎng)下的相機(jī)陣列標(biāo)定更具挑戰(zhàn)性。首先顯微物鏡淺景深的限制，使得標(biāo)定物不能通過(guò)變換姿態(tài)獲取三維信息；其次包含曲面像多級(jí)物鏡成像系統(tǒng)，使得逐級(jí)標(biāo)定難以實(shí)施。因此，亟需一種應(yīng)用于寬視場(chǎng)高分辨顯微視場(chǎng)下相機(jī)陣列標(biāo)定方法，以滿(mǎn)足獲取寬視場(chǎng)、高分辨、實(shí)時(shí)性顯微圖像的需求。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明旨在至少解決上述技術(shù)問(wèn)題之一。

為此，本發(fā)明的目的在于提出一種寬視場(chǎng)高分辨顯微成像中像感器陣列標(biāo)定方法，滿(mǎn)足獲取寬視場(chǎng)、高分辨、實(shí)時(shí)性顯微圖像的需求。

為了實(shí)現(xiàn)上述目的，本發(fā)明的實(shí)施例公開(kāi)了一種寬視場(chǎng)高分辨顯微成像中像感器陣列標(biāo)定方法，包括以下步驟：S1：對(duì)像感器陣列進(jìn)行漸暈效應(yīng)標(biāo)定與校正，以使所述像感器陣列中所有子視場(chǎng)像感器以相同輻射出度的場(chǎng)景時(shí)獲得的各像素具有相同的灰度值；S2：使用空間光調(diào)制器對(duì)時(shí)空聯(lián)合結(jié)構(gòu)進(jìn)行光編碼，以建立多個(gè)特征點(diǎn)在圖像空間與物理空間之間的對(duì)應(yīng)關(guān)系；S3：對(duì)所述時(shí)空聯(lián)合結(jié)構(gòu)進(jìn)行光解碼，以獲取所述多個(gè)特征點(diǎn)在圖像平面的像素坐標(biāo)和所述多個(gè)特征點(diǎn)在空間光調(diào)制器平面的物理坐標(biāo)；S4：根據(jù)所述多個(gè)特征點(diǎn)在圖像平面的像素坐標(biāo)和所述多個(gè)特征點(diǎn)在空間光調(diào)制器平面的物理坐標(biāo)得到單應(yīng)性關(guān)系，并根據(jù)所述單應(yīng)性關(guān)系得到全局坐標(biāo)映射。

進(jìn)一步地，通過(guò)以下公式對(duì)像感器陣列進(jìn)行漸暈效應(yīng)標(biāo)定與校正：

Pix'(x,y)＝f(f^-1(Pix(x,y))·S(Dis(x,y)))

其中，Pix'(x,y)為校正后灰度，Pix(x,y)為原始灰度，f為相機(jī)響應(yīng)函數(shù)，S(Dis(x,y))為離心距離相關(guān)的補(bǔ)償系數(shù)。

進(jìn)一步地，所述空間光調(diào)制器包括膠片、DMD、LCD和LCOS。

進(jìn)一步地，步驟S3進(jìn)一步包括：提取所述多個(gè)特征點(diǎn)在圖像平面的像素坐標(biāo)，以及根據(jù)編碼方式解碼得到所述多個(gè)特征點(diǎn)在空間光調(diào)制器平面的物理坐標(biāo)。

進(jìn)一步地，所述包括S4進(jìn)一步包括：在求取每個(gè)子視場(chǎng)像感器平面到空間光調(diào)制器平面的單應(yīng)性矩陣后，利用各自的單應(yīng)性矩陣，可以建立任意物理位置到子視場(chǎng)圖像像素位置的映射；根據(jù)總體物理視場(chǎng)對(duì)應(yīng)的總像素?cái)?shù)，獲取總圖的每個(gè)像素對(duì)應(yīng)的物理尺度，從而建立任意物理位置到總視場(chǎng)圖像像素位置的映射；將所述子視場(chǎng)圖像像素位置的映射和所述總視場(chǎng)圖像像素位置的映射融合為總視場(chǎng)圖像像素位置到子視場(chǎng)圖像像素位置的映射。

根據(jù)本發(fā)明實(shí)施例的寬視場(chǎng)高分辨顯微成像中像感器陣列標(biāo)定方法，滿(mǎn)足獲取寬視場(chǎng)、高分辨、實(shí)時(shí)性顯微圖像的需求

本發(fā)明的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過(guò)本發(fā)明的實(shí)踐了解到。

附圖說(shuō)明

本發(fā)明的上述和/或附加的方面和優(yōu)點(diǎn)從結(jié)合下面附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中：

圖1是本發(fā)明實(shí)施例的寬視場(chǎng)高分辨顯微成像中像感器陣列標(biāo)定方法的流程圖。

具體實(shí)施方式

下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類(lèi)似的標(biāo)號(hào)表示相同或類(lèi)似的元件或具有相同或類(lèi)似功能的元件。下面通過(guò)參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對(duì)本發(fā)明的限制。

在本發(fā)明的描述中，需要理解的是，術(shù)語(yǔ)“中心”、“縱向”、“橫向”、“上”、“下”、“前”、“后”、“左”、“右”、“豎直”、“水平”、“頂”、“底”、“內(nèi)”、“外”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系，僅是為了便于描述本發(fā)明和簡(jiǎn)化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作，因此不能理解為對(duì)本發(fā)明的限制。此外，術(shù)語(yǔ)“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對(duì)重要性。

在本發(fā)明的描述中，需要說(shuō)明的是，除非另有明確的規(guī)定和限定，術(shù)語(yǔ)“安裝”、“相連”、“連接”應(yīng)做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是機(jī)械連接，也可以是電連接；可以是直接相連，也可以通過(guò)中間媒介間接相連，可以是兩個(gè)元件內(nèi)部的連通。對(duì)于本領(lǐng)域的普通技術(shù)人員而言，可以具體情況理解上述術(shù)語(yǔ)在本發(fā)明中的具體含義。

參照下面的描述和附圖，將清楚本發(fā)明的實(shí)施例的這些和其他方面。在這些描述和附圖中，具體公開(kāi)了本發(fā)明的實(shí)施例中的一些特定實(shí)施方式，來(lái)表示實(shí)施本發(fā)明的實(shí)施例的原理的一些方式，但是應(yīng)當(dāng)理解，本發(fā)明的實(shí)施例的范圍不受此限制。相反，本發(fā)明的實(shí)施例包括落入所附加權(quán)利要求書(shū)的精神和內(nèi)涵范圍內(nèi)的所有變化、修改和等同物。

以下結(jié)合附圖描述本發(fā)明。

圖1是本發(fā)明實(shí)施例的寬視場(chǎng)高分辨顯微成像中像感器陣列標(biāo)定方法的流程圖。如圖1所示，

S1：對(duì)像感器陣列進(jìn)行漸暈效應(yīng)標(biāo)定與校正，以使像感器陣列中所有子視場(chǎng)像感器以相同輻射出度的場(chǎng)景時(shí)獲得的各像素具有相同的灰度值。

具體的，使同一像感器拍攝相同輻射出度的場(chǎng)景時(shí)，可獲得各像素灰度值的一致性。考慮相機(jī)響應(yīng)非線(xiàn)性的漸暈校正模型可表述為如下形式：

Pix'(x,y)＝f(f^-1(Pix(x,y))·S(Dis(x,y)))

其中Pix'(x,y)為校正后灰度，Pix(x,y)為原始灰度，f為相機(jī)響應(yīng)函數(shù)，S(Dis(x,y))為離心距離相關(guān)的補(bǔ)償系數(shù)。

S2：使用空間光調(diào)制器對(duì)時(shí)空聯(lián)合結(jié)構(gòu)進(jìn)行光編碼，以建立多個(gè)特征點(diǎn)在圖像空間與物理空間之間的對(duì)應(yīng)關(guān)系。

具體地，空間光調(diào)制器可以主動(dòng)控制下，通過(guò)調(diào)制光場(chǎng)的某個(gè)參量，例如通過(guò)調(diào)制光場(chǎng)的振幅，通過(guò)折射率調(diào)制相位，通過(guò)偏振面的旋轉(zhuǎn)調(diào)制偏振態(tài)等，從而將一定的信息寫(xiě)入光波中，達(dá)到光波調(diào)制的目的。

在本發(fā)明的一個(gè)實(shí)施例中，空間光調(diào)制器包括膠片、數(shù)據(jù)微鏡裝置(Digital Micromirror Device，DMD)、液晶顯示器(Liquid Crystal Display，LCD)、硅基液晶(Liquid Crystal on Silicon，LCOS)等。面以L(fǎng)CD的分色二進(jìn)制時(shí)空聯(lián)合強(qiáng)度編碼進(jìn)行舉例說(shuō)明。本領(lǐng)域人員可以理解，使用膠片、DMD和LCOS同樣可以完成時(shí)空聯(lián)合強(qiáng)度編碼。

首先對(duì)相關(guān)術(shù)語(yǔ)進(jìn)行如下約定：

LCD亞像素單元：LCD面板在顯微觀察下，可以看到原本的一個(gè)像素由R、G、B三個(gè)亞像素單元構(gòu)成，每個(gè)亞像素單元被相機(jī)拍攝后會(huì)在圖像上成為一個(gè)區(qū)域。

區(qū)域(Region)：每個(gè)LCD亞像素單元在拍攝圖像中成像的范圍稱(chēng)為區(qū)域。區(qū)域具有顏色、位置等屬性。

區(qū)域?qū)傩裕篟egion＝{color(R/G/B)，pixelcount，center(u，v)，code(code_x，code_y)，x，y}，分別指區(qū)域?qū)?yīng)亞像素單元種類(lèi)(紅/綠/藍(lán))，區(qū)域包含像素?cái)?shù)，區(qū)域中心的圖像坐標(biāo)，區(qū)域?qū)?yīng)LCD亞像素單元的行列編號(hào)，區(qū)域?qū)?yīng)LCD亞像素單元的物理坐標(biāo)。

該方法編碼原則為由位置到強(qiáng)度編碼，根據(jù)LCD亞像素單元所在位置的行列編號(hào)，制定強(qiáng)度編碼方案。編碼方案中對(duì)RGB三種亞像素區(qū)域分開(kāi)編碼，根據(jù)亞像素單元所在位置的行列編號(hào)的二進(jìn)制0/1，生成多組行列分離強(qiáng)度編碼圖像。

步驟201，區(qū)域識(shí)別編碼。LCD分別顯示3張純紅、純綠、純藍(lán)圖像，用作紅、綠、藍(lán)三種區(qū)域識(shí)別。

步驟202，坐標(biāo)到階碼的拆分。定義LCD屏幕從左到右為x方向，從上到下為y方向。則每個(gè)亞像素單元都有其物理坐標(biāo)(x,y)以及所在行列編號(hào)(y’行，x’列)。將行列編號(hào)轉(zhuǎn)換為二進(jìn)制數(shù)，即為該亞像素單元階碼code_x，code_y。根據(jù)LCD標(biāo)定面板的分辨率，假設(shè)至少需要m為和n位二進(jìn)制階碼才能表示全部亞像素單元的列編號(hào)和行編號(hào)，則code_x，code_y分別為m位和n位。

步驟203，階碼到圖像的生成。R/G/B區(qū)域列編碼：需要m幅圖，每幅圖的某列全暗或全紅/綠/藍(lán)。具體來(lái)說(shuō)，對(duì)于第i幅圖的第j列，若j二進(jìn)制數(shù)(code_x)的第i位為1，則該列全紅/綠/藍(lán)，反之，該列全暗。

R/G/B區(qū)域行編碼：需要n幅圖，每幅圖的某行全暗或全紅/綠/藍(lán)。具體來(lái)說(shuō)，對(duì)于第i幅圖的第j行，若j二進(jìn)制數(shù)(code_y)的第i位為1，則該行全紅/綠/藍(lán)，反之，該行全暗。

S3：對(duì)時(shí)空聯(lián)合結(jié)構(gòu)進(jìn)行光解碼，以獲取多個(gè)特征點(diǎn)在圖像平面的像素坐標(biāo)和多個(gè)特征點(diǎn)在空間光調(diào)制器平面的物理坐標(biāo)。

具體地，下面以L(fǎng)CD的分色二進(jìn)制時(shí)空聯(lián)合強(qiáng)度解碼進(jìn)行舉例說(shuō)明。本領(lǐng)域人員可以理解，使用膠片、DMD和LCOS同樣可以完成時(shí)空聯(lián)合強(qiáng)度解碼。

步驟301，圖像預(yù)處理。理想狀態(tài)下，拍攝的圖像中LCD的GAP區(qū)與設(shè)定為暗的亞像素區(qū)的灰度值為CV0，設(shè)定為亮的亞像素區(qū)的灰度值為CV1。實(shí)際拍攝時(shí)，由于噪聲、畸變等因素影響，圖像的灰度值并不與理想狀態(tài)完全吻合。需要對(duì)依次圖像進(jìn)行如下預(yù)處理：1)自適應(yīng)二值化，將GAP區(qū)與設(shè)定為暗的亞像素區(qū)的灰度值置為0，設(shè)定為亮的亞像素區(qū)的灰度值置為1。2)膨脹腐蝕與腐蝕膨脹，清除GAP區(qū)與設(shè)定為暗的亞像素區(qū)的0值和設(shè)定為亮的亞像素區(qū)的1值。3)剔除圖像邊緣未完整包括LCD亞像素單元的區(qū)域。

步驟302，區(qū)域表征、識(shí)別、計(jì)數(shù)與中心提取，目標(biāo)是求取特征點(diǎn)在圖像平面的像素坐標(biāo)。

將每個(gè)LCD亞像素單元成像后的圖像區(qū)域稱(chēng)為Region＝{color(R/G/B)，pixelcount，center(center_u，center_v)，code(code_x，code_y)，x，y}，它的各項(xiàng)屬性含義參見(jiàn)步驟S3。通過(guò)三幅區(qū)域識(shí)別編碼圖像，何以知道Region對(duì)應(yīng)于紅色、綠色還是藍(lán)色亞像素單元，從而獲取color值。統(tǒng)計(jì)區(qū)域內(nèi)像素?cái)?shù)即為pixelcount。區(qū)域內(nèi)全部像素x坐標(biāo)值得均值為區(qū)域的center_u，區(qū)域內(nèi)全部像素y坐標(biāo)值得均值為區(qū)域的center_v。

這里的center_u與center_v即為特征點(diǎn)在圖像平面的像素坐標(biāo)。

步驟303，階碼識(shí)別與物理坐標(biāo)提取。

除去3張區(qū)域識(shí)別圖像，將拍攝到的編碼圖像分為6組，分別為R/G/B的行/列編碼圖像。以n幅R區(qū)域行編碼為例，通過(guò)對(duì)這n幅圖像進(jìn)行解碼，可以獲取任意color＝R的區(qū)域的行編號(hào)階碼。具體來(lái)說(shuō)，按編碼拍攝順序，讀取該區(qū)域在n幅圖(已經(jīng)過(guò)二值化等預(yù)處理)中灰度值0/1，將這樣的0/1值依次串寫(xiě)為n位二進(jìn)制數(shù)即為該區(qū)域的行編號(hào)階碼code_y。用同樣的方法對(duì)其余5組圖進(jìn)行解碼，則可獲取每個(gè)區(qū)域的行、列編號(hào)階碼code_y、code_x。

至此，已經(jīng)解碼出每個(gè)區(qū)域的color(R/G/B)，pixelcount，center(center_u，center_v)，code(code_x，code_y)屬性，并且假設(shè)LCD亞像素單元尺寸長(zhǎng)×寬為aμm*bμm，因此可以求解區(qū)域?qū)?yīng)的物理坐標(biāo)x，y。令code_x’，code_y’分別為code_x，code_y對(duì)應(yīng)的十進(jìn)制數(shù)，則：

y＝code_y'*aμm

其中，x與y即為特征點(diǎn)在空間光調(diào)制器平面的物理坐標(biāo)。

S4：根據(jù)多個(gè)特征點(diǎn)在圖像平面的像素坐標(biāo)和多個(gè)特征點(diǎn)在空間光調(diào)制器平面的物理坐標(biāo)得到單應(yīng)性關(guān)系，并根據(jù)單應(yīng)性關(guān)系得到全局坐標(biāo)映射。

具體地，在計(jì)算機(jī)視覺(jué)中，平面的單應(yīng)性被定義為一個(gè)平面到另外一個(gè)平面的投影映射。因此一個(gè)二維平面上的點(diǎn)映射到攝像機(jī)成像儀上的映射就是平面單應(yīng)性的例子。若將點(diǎn)Q到成像儀上的點(diǎn)q表示為齊次坐標(biāo)，即

則這種映射可以用矩陣相乘的方式表示：

其中s為任意尺度的比例，目的是使得單應(yīng)性定義到該尺度比例。H有兩部分組成：用于定位觀察的物體平面的物理變換和使用攝像機(jī)內(nèi)參數(shù)矩陣的投影。

物理變換包括旋轉(zhuǎn)變換R和部分平移變換t，可表示為：

W＝[R t]

其中R為3*3矩陣，t為三維列矢量。相機(jī)內(nèi)參矩陣用M表示，則單應(yīng)性關(guān)系可重寫(xiě)為：

由于的研究目標(biāo)為空間光調(diào)制器平面上到像感器平面的二維映射，則上述公式中的可簡(jiǎn)化為平面坐標(biāo)中即令Z＝0。將旋轉(zhuǎn)矩陣寫(xiě)為列向量形式R＝[r₁ r₂ r₃]，則

故最終的單應(yīng)性矩陣可表示為：

單應(yīng)性矩陣H為3*3矩陣。一般地，求解H需要兩個(gè)平面四對(duì)獨(dú)立的對(duì)應(yīng)點(diǎn)。在步驟S3中獲取了足夠多的對(duì)應(yīng)點(diǎn)(center_u，center_u)和(x，y)。帶入平面單應(yīng)性模型，即可求取單應(yīng)性矩陣H。魯棒地求取單應(yīng)性矩陣算法包括RANSAC等。

在求取每個(gè)子視場(chǎng)像感器平面到空間光調(diào)制器平面的單應(yīng)性矩陣后，利用各自的單應(yīng)性矩陣，可以建立任意物理位置到子視場(chǎng)圖像像素位置的映射map1。另一方面，可以根據(jù)總體物理視場(chǎng)對(duì)應(yīng)的總像素?cái)?shù)，獲取總圖的每個(gè)像素對(duì)應(yīng)的物理尺度；從而建立任意物理位置到總視場(chǎng)圖像像素位置的映射map2。借助物理位置的唯一性，可以將map1和map2融合為總視場(chǎng)圖像像素位置到子視場(chǎng)圖像像素位置的映射map，也就完成了顯微視場(chǎng)相機(jī)陣列的標(biāo)定。這一映射表表明了總視場(chǎng)每個(gè)像素置對(duì)應(yīng)于哪些子視場(chǎng)的像素位置。根據(jù)映射表，通過(guò)子視場(chǎng)內(nèi)像素差值和子視場(chǎng)間重疊區(qū)域像素加權(quán)疊加，即可完整地拼接出總的寬視場(chǎng)高分辨顯微視場(chǎng)圖像。

另外，本發(fā)明實(shí)施例的寬視場(chǎng)高分辨顯微成像中像感器陣列標(biāo)定方法的其它構(gòu)成以及作用對(duì)于本領(lǐng)域的技術(shù)人員而言都是已知的，為了減少冗余，不做贅述。

在本說(shuō)明書(shū)的描述中，參考術(shù)語(yǔ)“一個(gè)實(shí)施例”、“一些實(shí)施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)包含于本發(fā)明的至少一個(gè)實(shí)施例或示例中。在本說(shuō)明書(shū)中，對(duì)上述術(shù)語(yǔ)的示意性表述不一定指的是相同的實(shí)施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)可以在任何的一個(gè)或多個(gè)實(shí)施例或示例中以合適的方式結(jié)合。

盡管已經(jīng)示出和描述了本發(fā)明的實(shí)施例，本領(lǐng)域的普通技術(shù)人員可以理解：在不脫離本發(fā)明的原理和宗旨的情況下可以對(duì)這些實(shí)施例進(jìn)行多種變化、修改、替換和變型，本發(fā)明的范圍由權(quán)利要求及其等同限定。