壓縮z-堆疊顯微鏡圖像的方法和裝置制造方法
【專利摘要】一種壓縮Z-堆疊顯微鏡圖像的方法和裝置，包含壓縮圖像的原始Z-堆疊的全焦點(diǎn)圖像和深度圖表示，計(jì)算作為根據(jù)全焦點(diǎn)圖像和深度圖所生成的模擬Z-堆疊和原始Z-堆疊之間的差別的預(yù)測殘差，以及將預(yù)測殘差與壓縮的全焦點(diǎn)圖像和深度圖連接，以產(chǎn)生最終壓縮文件。
【專利說明】壓縮Z-堆疊顯微鏡圖像的方法和裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明的實(shí)施例總體上涉及數(shù)字顯微鏡，并且更具體地涉及壓縮Z-堆疊數(shù)字顯微鏡圖像的方法和裝置。
【背景技術(shù)】
[0002]數(shù)字顯微鏡在不同的深度處對標(biāo)本進(jìn)行成像，以創(chuàng)建一系列數(shù)字圖像。每個圖像表示特定焦深處的一部分標(biāo)本。因此，在特定深度，僅僅聚焦整個標(biāo)本的一小部分。該一系列數(shù)字圖像沿著與深度對應(yīng)的Z軸方向堆疊(被稱為Z-堆疊(Z-Stack) )。Z-堆疊中的每個圖像聚焦在所捕獲標(biāo)本的不同深度處。數(shù)字顯微鏡的光學(xué)器件使用非常狹小的視場深度，小到不能通過單個圖片捕獲所聚焦的整個標(biāo)本。因此，Z-堆疊中的所有圖像是同一個標(biāo)本的，但每個圖像具有不同的焦點(diǎn)。
[0003]Z-堆疊通常是具有高分辨率的大尺寸數(shù)據(jù)集，其對Z-堆疊的存儲或傳輸提出了高帶寬要求。例如，在多個應(yīng)用中，圖像的數(shù)量是15、30或者50，每一個具有大約100000像素乘100000像素的空間分辨率，其對Z-堆疊的存儲或傳輸提出了高帶寬要求。
[0004]根據(jù)某些壓縮Z-堆疊的常規(guī)方法，單獨(dú)地壓縮Z-堆疊中的各數(shù)字圖像。盡管易于實(shí)現(xiàn)，但這種壓縮Z-堆疊的方法產(chǎn)生大的數(shù)據(jù)文件。由于數(shù)據(jù)文件的大尺寸，所以在通過帶寬受約束(或者帶寬受限)的通道查看Z-堆疊時具有延遲。在該領(lǐng)域還使用視頻壓縮技術(shù)，然而由于Z-堆疊圖像的逐幀表示，視頻壓縮延遲了數(shù)據(jù)的查看。
[0005]因此，需要用于壓縮顯微鏡圖像的Z-堆疊的方法和裝置。

【發(fā)明內(nèi)容】

[0006]一種壓縮Z-堆疊顯微鏡圖像的裝置和/或方法，在至少一個附圖中得到充分展示和/或結(jié)合至少一個附圖得到充分描述，并在權(quán)利要求中得到更加完整地描述。
[0007]本公開的各種優(yōu)點(diǎn)、方面和創(chuàng)新特征，及其示例性實(shí)施例的細(xì)節(jié)，將從下面的描述和附圖中得到更充分的理解。
【專利附圖】

【附圖說明】
[0008]為了可以詳細(xì)地理解本發(fā)明的上述特征，可參考實(shí)施例(部分實(shí)施例如附圖中所示)來為上文所簡單概述的本發(fā)明提供更加具體的描述。然而，應(yīng)注意到，附圖僅僅例示了本發(fā)明的典型實(shí)施例，因而不應(yīng)當(dāng)被認(rèn)為對本發(fā)明的范圍進(jìn)行了限定，因?yàn)楸景l(fā)明可允許其它同等有效的實(shí)施例。
[0009]圖1描述了根據(jù)本發(fā)明示例性實(shí)施例的使用數(shù)字顯微鏡處理顯微鏡中的圖像的裝置的框圖；
[0010]圖2描述了根據(jù)本發(fā)明示例性實(shí)施例的Z-堆疊示例；
[0011]圖3描述了根據(jù)本發(fā)明示例性實(shí)施例的圖2中數(shù)字圖像的五個單獨(dú)片段；
[0012]圖4描述了圖2和圖3中所示的快照的全焦點(diǎn)圖像(all-focus image)和深度圖(depth-map)的示例；
[0013]圖5是根據(jù)本發(fā)明示例性實(shí)施例的壓縮Z-堆疊顯微鏡圖像的方法500的流程圖；
[0014]圖6描述了根據(jù)本發(fā)明示例性實(shí)施例的Z-堆疊(頂部)中的三幅圖像，以及模擬Z-堆疊中對應(yīng)的三幅圖像；
[0015]圖7描述了根據(jù)本發(fā)明示例性實(shí)施例的Z-堆疊的編碼器和解碼器的結(jié)構(gòu)；
[0016]圖8描述了根據(jù)本發(fā)明示例性實(shí)施例的漸進(jìn)壓縮的Z-堆疊的布局的示意圖；
[0017]圖9描述了根據(jù)本發(fā)明示例性實(shí)施例的展示在查看全焦點(diǎn)圖像中的延遲的時序圖；以及
[0018]圖10描述了根據(jù)本發(fā)明示例性實(shí)施例的在缺少完整下載的Z-堆疊的情況下Z-堆疊針對查看的可用性。
【具體實(shí)施方式】
[0019]本申請所公開的是一種壓縮顯微鏡Z-堆疊圖像的裝置和/或方法，在至少一個附圖中得到充分展示和/或結(jié)合至少一個附圖得到充分描述，并在權(quán)利要求中得到更加完整地描述。根據(jù)本發(fā)明的一個實(shí)施例，根據(jù)諸如JPEG、JPEG-LS和JPEG2000 (盡管很多其它可能的方法可以同樣工作)的本領(lǐng)域技術(shù)人員所已知的方法壓縮標(biāo)本的全焦點(diǎn)圖像和深度
圖。如共同轉(zhuǎn)讓并且相關(guān)的待審未決的美國專利申請_ (于_提交，代理
編號#201003832 (“3832”))所描述的那樣，根據(jù)Z-堆疊模擬視場的深度來產(chǎn)生模擬Z-堆疊。從原始Z-堆疊中減去近似/模擬Z-堆疊以獲得預(yù)測殘差(prediction residual),并且接著與全焦點(diǎn)圖像類似地壓縮預(yù)測殘差。將壓縮的預(yù)測殘差與全焦點(diǎn)圖像和深度圖串聯(lián)(concatenate)成一個文件，以產(chǎn)生最終壓縮結(jié)果。
[0020]圖1描述了根據(jù)本發(fā)明示例性實(shí)施例的使用數(shù)字顯微鏡102壓縮Z-堆疊顯微鏡圖像的裝置100的框圖。
[0021]數(shù)字顯微鏡102在不同深度處捕獲標(biāo)本的數(shù)字圖像，以創(chuàng)建一系列圖像。數(shù)字顯微鏡102在不同深度處對標(biāo)本進(jìn)行成像，以創(chuàng)建該一系列數(shù)字圖像。出于例示的目的，通過以下表達(dá)式A:1 (X，y, ζ)來表示該一系列數(shù)字圖像,其中(X，y)是x=0至X-1以及y=0至Y-1的空間索引(spatial index), ζ是z=0至Z-1的深度索引[表達(dá)式Α]。
[0022]在特定實(shí)施例中，數(shù)字顯微鏡102耦接計(jì)算設(shè)備104。在其他實(shí)施例中，通過顯微鏡102創(chuàng)建一堆圖像并且例如經(jīng)由記憶棒、光盤、網(wǎng)絡(luò)連接等將圖像傳輸?shù)接?jì)算設(shè)備104。
[0023]計(jì)算設(shè)備104包含中央處理器(或者CPU) 106、配套電路(support circuit) 108、存儲器110和I/O設(shè)備112。CPU106可以包含一個或多個有助于數(shù)據(jù)處理和存儲的可商業(yè)獲得的微處理器或者微控制器。各種配套電路108有助于CPU106的運(yùn)行并且包括一個或多個時鐘電路、電源、緩存、輸入/輸出電路等等。存儲器110包含只讀存儲器(ROM)、隨機(jī)訪問存儲器(RAM)、磁盤驅(qū)動存儲、光存儲、可移除存儲和/或類似物中的至少一個。
[0024]存儲器110包含操作系統(tǒng)(OS) 114和圖像處理模塊116。圖像處理模塊116有助于使用數(shù)字顯微鏡102所捕獲的標(biāo)本的一系列圖像的壓縮和漸進(jìn)傳輸。圖像處理模塊116包含視場深度(DOF)模擬模塊118、全焦點(diǎn)圖像生成器120、深度圖生成器122和編解碼器(或者編碼器解碼器模塊)124。
[0025]DOF模擬模塊118模擬使用數(shù)字顯微鏡102所捕獲的標(biāo)本的一系列圖像。DOF模擬模塊118通過向全焦點(diǎn)圖像的每個像素應(yīng)用點(diǎn)擴(kuò)散函數(shù)(PSF)操作并且根據(jù)深度圖所決定的每個像素的深度向每個像素應(yīng)用模糊函數(shù)，來生成該一系列圖像的低帶寬近似(approximation)。具體地,DOF模擬模塊118通過向全焦點(diǎn)圖像應(yīng)用取決于深度的失焦模糊(out-of-focus blur)來對該一系列圖像進(jìn)行近似,從而在瀏覽中通過該一系列圖像給予用戶對標(biāo)本深度的感知，以在沒有實(shí)際存儲Z-堆疊中的完整的一系列圖像的情況下通過圖像的Z-堆疊來模擬滾動功能。
[0026]全焦點(diǎn)圖像生成器120根據(jù)本發(fā)明的原理生成全焦點(diǎn)圖像。深度圖生成器122生成深度圖。編解碼器124基于來自所近似的一系列圖像的預(yù)測來應(yīng)用殘差編碼，從而促進(jìn)壓縮。
[0027]如在此使用的那樣，術(shù)語“全焦點(diǎn)圖像”是指從三維漸漸變?yōu)槎S時標(biāo)本的一系列圖像的Z-堆疊的減小，從而結(jié)果包含所聚焦的整個標(biāo)本，S卩，消除了失焦信息。如共同轉(zhuǎn)讓
的美國專利申請_ (于_提交，代理編號#201003513.01 (“3513”)，其全部
內(nèi)容在此通過引用而被并入)所描述的那樣，通過根據(jù)特定量度對每個圖像進(jìn)行加權(quán)并且因此組合所加權(quán)的圖像來形成全焦點(diǎn)圖像。
[0028]全焦點(diǎn)圖像是在沒有失焦模糊的情況下每個焦深處聚焦的Z-堆疊中的圖像的各個部分的合成。通過以下表達(dá)式B =100(Xj)[表達(dá)式B]來表示全焦點(diǎn)圖像。為了確定全焦點(diǎn)圖像，深度圖生成器120生成在每個像素處的深度，以指示Z-堆疊的哪幅圖像具有該像素處的最佳焦點(diǎn)，其中每個像素的深度形成深度圖。通過以下表達(dá)式C:d(x, y)[表達(dá)式C]來表示深度圖。
[0029]圖2描述了通過數(shù)字顯微鏡102生成的示例性Z-堆疊200。Z-堆疊中的每個圖像聚焦在標(biāo)本的不同深度處。數(shù)字顯微鏡102在不同的焦深處捕獲標(biāo)本的數(shù)字圖像，以創(chuàng)建一系列圖像。因此，焦深沿著標(biāo)本的深度遞增，以在至少一個數(shù)字圖像中捕獲所聚焦的整個標(biāo)本。沿著與深度對應(yīng)的Z維度堆疊該一系列數(shù)字圖像。
[0030]圖3描述了根據(jù)本發(fā)明示例性實(shí)施例的圖2中所示的Z-堆疊200的五幅單獨(dú)圖像。圖3例示了圖像300、302、304、306和308，每幅處于不同的Z深度。例如，當(dāng)數(shù)字顯微鏡的用戶初始查看標(biāo)本的幻燈片時，圖像302出現(xiàn)。如果用戶希望將焦點(diǎn)調(diào)整為不同的Z深度，則圖像304出現(xiàn)，依此類推，形成圖2中所示的Z-堆疊200。
[0031]在某些應(yīng)用中，Z-堆疊中存在大量的圖像，例如15、30或者50。這對于Z-堆疊的存儲和傳輸提出了高帶寬要求。圖4顯示了根據(jù)本發(fā)明的某些實(shí)施例的用于產(chǎn)生深度圖的示例性處理結(jié)果。原始數(shù)據(jù)集(即，Z-堆疊)包含例如50幅圖像，圖2和圖3中顯示了其中的幾幅。在圖4中，圖像400是全焦點(diǎn)圖像，而圖像402是在每個像素處計(jì)算的深度圖，以指示Z-堆疊中的哪幅圖像具有該像素處的最佳焦點(diǎn)。深度圖使得DOF模擬模塊118能夠確定針對標(biāo)本圖像的特定像素或者區(qū)域顯示哪個Z-堆疊圖像。
[0032]在特定實(shí)施例中，全焦點(diǎn)圖像是原始Z-堆疊數(shù)據(jù)的合適替換。然而，在很多方案中，用戶需要基于失焦和取決于深度的模糊來理解Z-堆疊數(shù)據(jù)。而Z-堆疊的存儲和傳輸仍然是個問題。Z-堆疊數(shù)據(jù)的大尺寸常常占用了存儲系統(tǒng)中過多的磁盤空間，并且提出了帶寬限制。Z-堆疊數(shù)據(jù)的大尺寸和帶寬限制導(dǎo)致了 Z-堆疊數(shù)據(jù)查看中明顯的和令人反感的延遲。
[0033]圖5是根據(jù)本發(fā)明示例性實(shí)施例的壓縮Z-堆疊顯微鏡圖像的方法500的流程圖。[0034]方法500是由CPU106執(zhí)行的圖像處理模塊116的示例性實(shí)現(xiàn)。圖像處理模塊116包含DOF模擬模塊118、全焦點(diǎn)生成器120、深度圖生成器122和編解碼器(或者編碼器解碼器模塊)124。
[0035]方法500開始于步驟502并且前進(jìn)到步驟504。在步驟504，方法500壓縮使用顯微鏡102所捕獲的Z-堆疊中圖像的全焦點(diǎn)圖像和深度圖。根據(jù)相關(guān)的、共同待審未決的3515申請，基于Z-堆疊圖像生成全焦點(diǎn)圖像和深度圖。
[0036]接下來，方法前進(jìn)到步驟506，其中編解碼器124計(jì)算預(yù)測殘差。通過從原始Z-堆疊圖像中減去Z-堆疊的模擬來計(jì)算預(yù)測殘差。如上所述，在3832申請中描述了 Z-堆疊的模擬或者近似。在從原始Z-堆疊中減去模擬Z-堆疊之后，剩下了預(yù)測殘差。根據(jù)一個示例性實(shí)施例，以逐個像素差別為基礎(chǔ)執(zhí)行該減法。
[0037]在步驟508，圖像處理模塊116將所壓縮的全焦點(diǎn)圖像、深度圖和預(yù)測殘差組合為最終壓縮結(jié)果。最終壓縮結(jié)果包含一旦將該結(jié)果傳輸?shù)竭h(yuǎn)程計(jì)算機(jī)系統(tǒng)或類似物時重建原始Z-堆疊所需的數(shù)據(jù)。方法500結(jié)束于步驟510。
[0038]圖6描述了 Z-堆疊中的三幅圖像，和模擬Z-堆疊中對應(yīng)的三幅圖像。如圖6所示，快照矩陣的第一行包含來自原始Z-堆疊的多幅圖像，并且第二行顯示了使用3832申請中用于模擬顯微鏡中的DOF的方法的對應(yīng)模擬圖像。通過DOF模擬模塊118實(shí)現(xiàn)模擬DOF的方法。模擬DOF的方法包含使用由深度圖生成器122生成的深度圖和由全焦點(diǎn)圖像生成器120生成的全焦點(diǎn)圖像對顯微鏡102所捕獲的一系列圖像進(jìn)行近似。
[0039]如圖6所示，原始Z-堆疊和模擬圖像在視覺上相似。左列和右列是數(shù)據(jù)集的兩端，并且顯示了大量的失焦模糊。在右列中，存在一個處于焦點(diǎn)中的小圓形物體。在中間列中，存在多個處于焦點(diǎn)中的區(qū)域和失焦的其它區(qū)域。在所有的情況中，針對聚焦區(qū)域和所模糊的失焦區(qū)域，模擬Z-堆疊提供了與原始Z-堆疊的良好匹配。從圖6中顯而易見的是，模擬和原始Z-堆疊之間的相似性提供了壓縮和傳輸顯微鏡圖像的基礎(chǔ)。
[0040]根據(jù)壓縮圖像和圖像系列的常用方法，創(chuàng)建近似原始數(shù)據(jù)(S卩，圖像系列)的有效預(yù)測。在從原始數(shù)據(jù)中減去預(yù)測之后，差別(或者預(yù)測殘差)具有較低的熵(entropy)并且以較少的位對該差別進(jìn)行壓縮。在涉及使用低帶寬全焦點(diǎn)圖像和深度圖來近似Z-堆疊的特定情形中，近似Z-堆疊和原始Z-堆疊之間的殘差具有比原始Z-堆疊更低的熵，因而由更少的位來表示。在特定其他情形中，在以后臺處理的方式將預(yù)測殘差的數(shù)據(jù)傳輸?shù)竭h(yuǎn)程客戶端的同時，由于近似Z-堆疊的即時可用性和可訪問性，在遠(yuǎn)程客戶端上的Z-堆疊查看中出現(xiàn)延遲減小的感知。
[0041]圖7顯示了 Z-堆疊的編碼器700和解碼器702的結(jié)構(gòu)。在特定實(shí)施例中，通過改進(jìn)圖像的DOF的方法(即，視場的擴(kuò)展深度(EDOF) 706)來分析由表達(dá)式A:1 (x，y, ζ)[表達(dá)式Α]所表示的輸入Z-堆疊704，以產(chǎn)生全焦點(diǎn)圖像和深度圖?；诒景l(fā)明的原理，改進(jìn)DOF的方法包含組合從不同焦距所捕獲的圖像系列來形成單個全焦點(diǎn)圖像。
[0042]在特定實(shí)施例中，本發(fā)明的一個方面是如3832申請中所述的DOF模擬的使用。模擬顯微鏡成像中的DOF的方法包含使用深度圖和全焦點(diǎn)圖像對由顯微鏡所捕獲的一系列圖像進(jìn)行近似。DOF模擬模塊118將全焦點(diǎn)圖像和對應(yīng)的深度圖作為輸入并且產(chǎn)生具有模擬視場深度的圖像，其對原始Z-堆疊的外觀進(jìn)行近似而減小所傳輸?shù)臄?shù)據(jù)文件的大小。DOF模擬模塊118的輸出(即，模擬Z-堆疊)被用作使用編碼器對Z-堆疊進(jìn)行編碼的預(yù)測。模擬Z-堆疊用以作為原始Z-堆疊的低帶寬近似，其可以被用來漸進(jìn)地傳輸Z-堆疊，從而最小化所能察覺到的用戶延遲。
[0043]組合從不同焦距所捕獲的一系列圖像來形成單個全焦點(diǎn)圖像的步驟包含計(jì)算每個像素處的聚焦量度、基于聚焦量度查找全焦點(diǎn)像素的多個候選值以及根據(jù)聚焦度量將候選值組合在一塊以確定最終全焦點(diǎn)圖像。組合每個像素的聚焦度量以形成深度圖。
[0044]在塊708，根據(jù)本領(lǐng)域技術(shù)人員通常所知的方法(例如，JPEG、JPEG-LS和JPEG2000，盡管很多其它可能的方法可以同樣工作)壓縮全焦點(diǎn)圖像和深度圖。為了用作預(yù)測，在塊710解壓縮由表達(dá)式D和E =100 (X，y)[表達(dá)式D]和d(x，y)[表達(dá)式E]所表示的全焦點(diǎn)圖像和深度圖的壓縮版本。如圖7中所示，通過表達(dá)式F和G (x，y)[表達(dá)式F]和d’ (x, y)表達(dá)式G表示全焦點(diǎn)圖像和深度圖的解壓縮版本。此處和其它地方的撇符號(’)指示由作為上標(biāo)的撇符號所標(biāo)記的數(shù)量可以因?yàn)橛袚p壓縮而不同于原始數(shù)量。如圖7中所示，在塊712 (“模擬Z-堆疊”)產(chǎn)生由表達(dá)式H:i'Ζ(χ, y)[表達(dá)式H]所表示的模擬Z-堆疊。
[0045]Z-堆疊的模擬通過DOF模擬模塊118來執(zhí)行。在塊714處從輸入Z-堆疊704中減去模擬Z-堆疊714來形成由表達(dá)式1:r (x, y, ζ)[表達(dá)式I]所表示的預(yù)測殘差。接下來，在塊716對預(yù)測殘差進(jìn)行壓縮并且在塊718將預(yù)測殘差與壓縮的全焦點(diǎn)圖像和深度圖(由表達(dá)式D和E來表示)進(jìn)行組合來形成Z-堆疊的最終壓縮表示。根據(jù)示例性實(shí)施例，壓縮方法(其中)包括 JPEG、JPEG2000、無損 JPEG (JPEG-LS)、H.264、MPEG-4、MPEG-2 和諸如基于3-D SPIHT小波編碼的3-D圖像編碼方法。為了解碼所壓縮的Z-堆疊，首先在塊720分割I(lǐng)的(x, y)和d(x，y)的壓縮版本，并且在塊722和724對其進(jìn)行解壓縮以產(chǎn)生1、(x，y)和d’ (x, y)(其由模擬塊725用來形成Z-堆疊近似I’Z(x，y))。在塊726將該近似與所解壓縮的Z-堆疊殘差r’(X，y, ζ)相加來形成最終解碼的Z-堆疊I’ (x, y, z)728。
[0046]盡管圖7中未明確顯示，但附加信息是執(zhí)行Z-堆疊的模擬所必需的。特別是，編碼器必需指示描述取決于深度的失焦模糊強(qiáng)度有多大的參數(shù)，并且在壓縮的比特流中存儲這些參數(shù)。這些參數(shù)由EDOF塊706來確定。
[0047]如圖6中所示，模擬Z-堆疊提供原始Z-堆疊的視覺上相似的近似。在特定實(shí)施例中，模擬Z-堆疊數(shù)據(jù)有效地用于原始Z-堆疊的漸進(jìn)表示。漸進(jìn)表示的使用是公知的，諸如因特網(wǎng)上的漸進(jìn)式圖形文件(PGF)、漸進(jìn)式JPEG圖像:在使用中，作為圖像逐行出現(xiàn)的替代，整幅圖像的近似快速出現(xiàn)以給予查看者整幅圖像的快速概覽；接下來，因?yàn)橄螺d了文件的剩余部分，所以近似的質(zhì)量得到改進(jìn)。其效果是給予查看者更快記載時間的印象，即使下載圖像所需的整體時間可能與逐行表示所需的時間相同。Z-堆疊的漸進(jìn)編碼以相同的方式操作。
[0048]圖8顯示了漸進(jìn)壓縮的Z-堆疊的高級布局的表示800。如圖8中所示，對Z-堆疊進(jìn)行近似所需的表示(由表達(dá)式D和E:1 ? (X，y)[表達(dá)式D]和d(x, y)[表達(dá)式E]所表示的全焦點(diǎn)圖像和深度圖的壓縮版本)實(shí)質(zhì)上需要比全Z-堆疊所需的更少的比特。表示800包含用于存儲元數(shù)據(jù)和與存儲其中的文件信息相關(guān)的數(shù)據(jù)的標(biāo)頭802、存儲壓縮的全焦點(diǎn)圖像和深度圖的部分804以及存儲壓縮的預(yù)測殘差的部分806。
[0049]在特定實(shí)施例中，數(shù)字顯微鏡中的圖像通常非常大，因而其壓縮版本使用諸如基于分層和/或基于分片的表不的方法。在基于分層和/或基于分片的表不中，高級布局與圖8中表示的區(qū)別在于整個表示被分割為多個部分，以容納特殊表示。然而，基本模式遵循圖8中的模式:Z-堆疊近似需要少量的比特，以及Z-堆疊數(shù)據(jù)的剩余部分需要更大數(shù)目的比特。標(biāo)頭802包含解碼器用來理解數(shù)據(jù)所需的輔助信息，諸如格式、字段長度、用來存儲文件的格式的指示、維度、Z-堆疊的圖像數(shù)目、諸如顏色空間指示的顏色信息、或者與更多的一般光譜特性相關(guān)的信息、用來表示每個顏色樣本的比特?cái)?shù)目、執(zhí)行EDOF模擬所需的參數(shù)(即，此前在[0047]段中所述的那些)和像素寬高比。
[0050]在特定實(shí)施例中，在考慮到Z-堆疊的查看者所發(fā)起的事件的計(jì)時時，圖8中表示800的重要性是顯而易見的。在一般情形下，查看者與源數(shù)據(jù)分隔很遠(yuǎn)，并且查看者依賴于所期望的Z-堆疊的網(wǎng)絡(luò)傳輸。由于帶寬約束，存在于文件傳輸相關(guān)聯(lián)的延遲。
[0051]圖9示出通過時序圖顯示了查看全焦點(diǎn)圖像中的延遲。在發(fā)起查看Z-堆疊的請求之后，因?yàn)槿裹c(diǎn)圖像較低的帶寬要求，用戶只需等待較短的時間來查看全焦點(diǎn)圖像。必須注意到，全焦點(diǎn)圖像的壓縮表示I’ =O(Xj)小于Z-堆疊的表示。在時間t=0，當(dāng)查看者請求查看Z-堆疊時，在傳輸全焦點(diǎn)圖像到查看者的同時出現(xiàn)短的網(wǎng)絡(luò)延時。最終在時間tQ傳遞完Z-堆疊。
[0052]在很多情況下，全焦點(diǎn)圖像是查看者所請求的全部，其中不需要傳輸所壓縮的Z-堆疊的其它部分。然而，在其它情況下，查看者選擇瀏覽實(shí)際Z-堆疊而不是全焦點(diǎn)圖像；在此情況下，查看者期望在沒有較長延遲的情況下沿著Z維度快速滾動。以下在圖10中顯示了時序。
[0053]圖10顯示了在缺少完整下載的Z-堆疊的情況下Z-堆疊的可用性。其因?yàn)榈蛶挼腪-堆疊近似而成為可能，圖像在不需要傳輸附加比特的情況下被快速近似。在瀏覽近似的Z-堆疊時，圖像處理模塊116在后臺下載完整Z-堆疊。在特定情形下，如果用戶決定在單幅圖像上進(jìn)行分析，則圖像處理模塊116需要較短的延遲來完成針對圖像的所需圖像數(shù)據(jù)的下載。
[0054]在特定實(shí)施例中,在由表達(dá)式J[表達(dá)式J]所表示的時間,用戶開始滾動或者瀏覽Z-堆疊。由于壓縮的漸進(jìn)性質(zhì)，用戶能夠及時地看到近似的Z-堆疊?？焖倏捎眯允且?yàn)镈OF模擬模塊118的計(jì)算高效性，其在不需要任何附加信息的傳輸?shù)那闆r下提供近似的Z-堆疊。用戶在瀏覽Z-堆疊時虛擬地感知到?jīng)]有延遲。在用戶瀏覽的同時，圖像處理模塊116在后臺開始下載Z-堆疊的解壓縮的完整表示。一旦Z-堆疊的解壓縮表示的完整圖像可用，其被用于顯示給查看者以進(jìn)行瀏覽。在特定情形下，查看者選擇特定圖像以用于詳細(xì)分析，如果在后臺完整地下載了包含該特定圖像的Z-堆疊的解壓縮表示，則其可用于查看。在其它特定情形下，在查看中存在完成包含特定圖像的Z-堆疊的解壓縮表示的下載所需時間的額外延遲，在該時間期間，用戶可以訪問該特定圖像的解壓縮近似全焦點(diǎn)圖像。
[0055]已經(jīng)出于解釋的目的而參考特定實(shí)施例描述了上述說明書。然而，上述示出的討論不旨在窮舉或?qū)⒈景l(fā)明限制為所公開的精確形式。鑒于上面的教導(dǎo)，許多修改和改變都是可行的。選擇并且描述這些實(shí)施例是為了最好地解釋本發(fā)明的原理及其實(shí)際應(yīng)用，從而使得本領(lǐng)域技術(shù)人員能夠最好地利用本發(fā)明和具有適合于所構(gòu)想的特定用途的各種修改的各種實(shí)施例。
[0056]盡管上文涉及本發(fā)明的實(shí)施例，但在不偏離本發(fā)明的基本范圍的情況下，可以設(shè)計(jì)出本發(fā)明的其它和進(jìn)一步的實(shí)施例，本發(fā)明的范圍由所附權(quán)利要求書確定。
【權(quán)利要求】
1.一種壓縮Z-堆疊顯微鏡圖像的方法，包含: 壓縮圖像的原始Z-堆疊的全焦點(diǎn)圖像和深度圖的表示； 計(jì)算作為根據(jù)所述全焦點(diǎn)圖像和所述深度圖所生成的模擬Z-堆疊和所述原始Z-堆疊之間的差別的預(yù)測殘差；以及 將所述預(yù)測殘差與所壓縮的全焦點(diǎn)圖像和深度圖連接，以產(chǎn)生最終壓縮文件。
2.如權(quán)利要求1所述的方法，進(jìn)一步包含解碼所述原始Z-堆疊的壓縮表示。
3.如權(quán)利要求2所述的方法，其中所述解碼進(jìn)一步包含獲取所述壓縮的全焦點(diǎn)圖像和對應(yīng)的深度圖，并且解壓縮所壓縮的全焦點(diǎn)圖像和對應(yīng)的深度圖，以產(chǎn)生所解壓縮的全焦點(diǎn)圖像和對應(yīng)的深度圖。
4.如權(quán)利要求1所述的方法，其中使用JPEG、JPEG-LS和JPEG2000中的一種來執(zhí)行所述壓縮步驟。
5.如權(quán)利要求3所述的方法，進(jìn)一步包含使用所解壓縮的全焦點(diǎn)圖像和對應(yīng)的深度圖來模擬Z-堆疊，以生成所述原始Z-堆疊的近似。
6.如權(quán)利要求5所述的方法，進(jìn)一步包含將所述模擬Z-堆疊與所述預(yù)測殘差相加來形成最終Z-堆疊。
7.如權(quán)利要求1所述的方法，進(jìn)一步包含將用來形成所述模擬Z-堆疊的信息傳輸給遠(yuǎn)程客戶端。
8.如權(quán)利要求7所述的方法，進(jìn)一步包含在用戶在所述遠(yuǎn)程客戶端上查看所述模擬Z-堆疊的同時，作為后臺處理來傳輸所述預(yù)測殘差。`
9.如權(quán)利要求1所述的方法，其中使用包含模糊強(qiáng)度和所述模擬Z-堆疊中的圖像的每個像素處的深度之間的相關(guān)性的參數(shù)來形成所述模擬Z-堆疊。
10.如權(quán)利要求9所述的方法，進(jìn)一步包含在所述最終壓縮文件中存儲所述參數(shù)。
11.一種壓縮Z-堆疊顯微鏡圖像的裝置，包含: 數(shù)字顯微鏡，用于在不同焦深處捕捉標(biāo)本的一系列圖像以形成原始Z-堆疊；以及 圖像處理模塊，用于對壓縮所述Z-堆疊進(jìn)行管理，包含: 視場深度(DOF)模擬模塊，用于基于所述原始Z-堆疊生成模擬Z-堆疊； 全焦點(diǎn)圖像生成器，用于生成所述原始Z-堆疊的全焦點(diǎn)圖像； 深度圖生成器，用于生成與所述全焦點(diǎn)圖像對應(yīng)的深度圖；以及 編解碼器，用于壓縮所述原始Z-堆疊、計(jì)算作為所述模擬Z-堆疊和所述原始Z-堆疊之間的差別的預(yù)測殘差，以及將所述預(yù)測殘差與所壓縮的全焦點(diǎn)圖像和所述深度圖連接來產(chǎn)生最終壓縮文件。
12.如權(quán)利要求11所述的裝置，其中所述編解碼器進(jìn)一步解碼所述原始Z-堆疊的壓縮表不。
13.如權(quán)利要求12所述的裝置，其中所述編解碼器進(jìn)一步獲取所述壓縮的全焦點(diǎn)圖像和對應(yīng)的深度圖，并且解壓縮所壓縮的全焦點(diǎn)圖像和對應(yīng)的深度圖來產(chǎn)生所解壓縮的全焦點(diǎn)圖像和對應(yīng)的深度圖。
14.如權(quán)利要求11所述的裝置，其中使用JPEG、JPEG-LS和JPEG2000中的一種來執(zhí)行所述壓縮處理。
15.如權(quán)利要求13所述的裝置，其中所述編解碼器進(jìn)一步使用所述解壓縮的全焦點(diǎn)圖像和對應(yīng)的深度圖來模擬Z-堆疊，以生成所述原始Z-堆疊的近似。
16.如權(quán)利要求15所述的裝置，其中所述編解碼器進(jìn)一步將所述模擬Z-堆疊與所述預(yù)測殘差相加來形成最終Z-堆疊。
17.如權(quán)利要求11所述的裝置，其中所述圖像處理模塊進(jìn)一步將用來形成所述模擬Z-堆疊的信息傳輸給遠(yuǎn)程客戶端。
18.如權(quán)利要求17所述的裝置，其中所述圖像處理模塊進(jìn)一步在用戶在所述遠(yuǎn)程客戶端上查看所述模擬Z-堆疊的同時，作為后臺處理來傳輸所述預(yù)測殘差。
19.如權(quán)利要求11所述的裝置，其中所述DOF模擬模塊進(jìn)一步使用包含模糊強(qiáng)度和所述模擬Z-堆疊中的圖像的每個像素處的深度之間的相關(guān)性的參數(shù)來模擬所述Z-堆疊。
20.如權(quán)利要求19所述的裝置，其中所述DOF模擬模塊進(jìn)一步在所述最終壓縮文件中存儲所述參數(shù)。·
【文檔編號】H04N19/587GK103581686SQ201310280579
【公開日】2014年2月12日 申請日期:2013年7月5日 優(yōu)先權(quán)日:2012年7月19日
【發(fā)明者】劉明昌, M·羅伯爾森 申請人:索尼公司