專利名稱：基于單分子定位的快速超分辨成像方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于超分辨成像技術(shù)領(lǐng)域，特別是涉及一種基于單分子定位的快速超分 辨成像方法及系統(tǒng)。
背景技術(shù)：
對基于單分子定位的超分辨成像系統(tǒng)而言，現(xiàn)在業(yè)界普遍認為，EMC⑶是系統(tǒng)必備 的探測器。EMCCD的控制主要通過生產(chǎn)商提供的配套軟件實現(xiàn)，但存在的主要問題是
在硬件調(diào)控方面，配套的軟件僅考慮了 EMCCD的控制，并沒有考慮其他設(shè)備的控 制，例如超分辨成像過程中激發(fā)光、激活光的切換及光強控制，全內(nèi)反射熒光(TIRF)成像 所用平移臺的控制，快門的控制(用來開關(guān)激光)等。所以，基于配套軟件的超分辨成像系 統(tǒng)，實驗效率低、耗時大、各種設(shè)備之間的同步性差，限制了快速超分辨成像的實現(xiàn)。在圖像處理方面，配套軟件沒有提供超分辨圖像處理及重建的功能。其次，目前超 分辨圖像處理常用的算法主要有高斯擬合法、解線性方程法、質(zhì)心法，但這些算法的缺點是 不能同時實現(xiàn)高處理速度和高定位精度。另外，目前超分辨圖像處理使用的計算技術(shù)是基 于CPU的單線程或多線程，導致處理和重建速度慢，很難實現(xiàn)快速超分辨成像。

發(fā)明內(nèi)容
本發(fā)明的目的之一提供圖像處理和重建速度快、定位精度高的一種基于單分子定 位的超分辨成像方法和系統(tǒng)。根據(jù)本發(fā)明的一個方面，提供一種基于單分子定位的快速超分辨成像方法，包 括
設(shè)置圖像采集參數(shù)、硬件調(diào)控參數(shù)、超分辨圖像處理和重建參數(shù)； 根據(jù)所述硬件調(diào)控參數(shù)進行硬件調(diào)控；
根據(jù)所述采集參數(shù)進行圖像采集，并根據(jù)所述采集的圖像反饋調(diào)控所述硬件；及 根據(jù)所述超分辨圖像處理和重建參數(shù)對所述采集的圖像進行超分辨圖像處理和重建， 并根據(jù)超分辨圖像處理和重建的結(jié)果反饋調(diào)控所述硬件。根據(jù)本發(fā)明的另一個方面，提供一種基于單分子定位的快速超分辨成像系 統(tǒng)，包括
參數(shù)設(shè)置單元，設(shè)置圖像采集參數(shù)、硬件調(diào)控參數(shù)和超分辨圖像處理和重建參數(shù)； 硬件調(diào)控單元，根據(jù)所述硬件調(diào)控參數(shù)進行硬件調(diào)控；
圖像采集單元，根據(jù)所述采集參數(shù)進行圖像采集，并根據(jù)所述采集的圖像反饋調(diào)控所 述硬件；
圖形處理單元，根據(jù)所述超分辨圖像處理和重建參數(shù)對所述采集的圖像進行超分辨圖 像處理和重建，并根據(jù)超分辨圖像處理和重建的結(jié)果反饋調(diào)控所述硬件。本發(fā)明提供的基于單分子定位的超分辨成像方法和系統(tǒng)能實現(xiàn)實時、快速的超分 辨成像。


圖1是本發(fā)明實施例提供的基于單分子定位的快速超分辨成像方法的流程圖； 圖2是圖1所示流程中根據(jù)超分辨圖像處理和重建參數(shù)對采集的圖像進行超分辨圖像
處理和重建的流程圖3是本發(fā)明實施例提供的基于單分子定位的快速超分辨成像系統(tǒng)的結(jié)構(gòu)框圖； 圖4是圖1提供的基于單分子定位的快速超分辨成像方法的具體工作流程圖。
具體實施例方式如圖1所示，本發(fā)明實施例提供的基于單分子定位的快速超分辨成像方法包括 步驟S101、設(shè)置圖像采集參數(shù)、硬件調(diào)控參數(shù)、超分辨圖像處理和重建參數(shù)。其中，設(shè)置
圖像采集參數(shù)具體可是設(shè)置圖像傳感器EMCCD的采集參數(shù)，例如，曝光時間、采集周期、采 集幀數(shù)、圖像區(qū)域、制冷溫度和電子倍增EMGain等。硬件的調(diào)控參數(shù)，即設(shè)置開關(guān)信號的周 期、占空比、延遲時間及電機的位置等。超分辨圖像處理和重建參數(shù)可包括每次處理和重建 的幀數(shù)、放大倍數(shù)、系統(tǒng)放大率及電子倍增EMGain等。步驟S102、根據(jù)硬件調(diào)控參數(shù)進行硬件調(diào)控。硬件的調(diào)控會實時反映在圖像傳感 器EMCCD上面。步驟S103、根據(jù)采集參數(shù)進行圖像采集，并根據(jù)采集的圖像反饋調(diào)控硬件；及 步驟S104、根據(jù)超分辨圖像處理和重建參數(shù)對采集的圖像進行超分辨圖像處理和重
建，并根據(jù)超分辨圖像處理和重建的結(jié)果反饋調(diào)控硬件。該步驟將結(jié)合圖2所示流程進行 詳細說明。以上調(diào)控硬件包括控制激發(fā)光、激活光光強以及激發(fā)時間的電機，反饋補償樣品 漂移的平移臺等。如圖2所示，根據(jù)超分辨圖像處理和重建參數(shù)對采集的圖像進行超分辨圖像處理 和重建包括
步驟S1041、將采集的圖像進行卷積去噪；
步驟S1042、根據(jù)設(shè)定超分辨圖像處理和重建參數(shù)的閾值對去噪后的圖像數(shù)據(jù)進行計 算，根據(jù)計算結(jié)果標記單分子位置信息；
步驟S1043、根據(jù)標記的單分子位置信息進行次像素級定位，確定單分子定位信息；次 像素級定位是采用最大似然法進行高精度定位。步驟S1044、疊加渲染單分子定位信息成最終的超分辨結(jié)果圖。作為本發(fā)明實施例的一優(yōu)選方案，步驟S104采集的圖像進行超分辨圖像處理和 重建之前還包括
設(shè)置用于將采集的圖像讀取到內(nèi)存的觸發(fā)，即如果有了新的圖像會觸發(fā)程序?qū)⑿虏杉?的圖像數(shù)據(jù)讀取到內(nèi)存里面。設(shè)置用于一面將內(nèi)存存取的采集圖像存到硬盤、另一面從內(nèi)存讀取預(yù)定數(shù)目的采 集圖像以進行圖像超分辨圖像處理和重建的觸發(fā)。作為本發(fā)明實施例的一優(yōu)選方案，步驟S104對采集的圖像進行超分辨圖像處理 和重建之后還包括設(shè)置對超分辨重建圖像進行實時顯示的觸發(fā)。如圖3所示，本發(fā)明實施例提供的基于單分子定位的超分辨成像系統(tǒng)包括參數(shù)設(shè) 置單元21、硬件調(diào)控單元22、圖像采集單元23、圖形處理單元對、觸發(fā)設(shè)置單元25。該系統(tǒng) 可運行在計算機上。其中，參數(shù)設(shè)置單元21設(shè)置圖像采集參數(shù)、硬件調(diào)控參數(shù)和超分辨圖 像處理和重建參數(shù)。硬件調(diào)控單元22根據(jù)硬件調(diào)控參數(shù)進行硬件調(diào)控。圖像采集單元23 根據(jù)采集參數(shù)進行圖像采集，并根據(jù)采集的圖像反饋調(diào)控硬件。圖形處理單元M根據(jù)超分 辨圖像處理和重建參數(shù)對采集的圖像進行超分辨圖像處理和重建，并根據(jù)超分辨圖像處理 和重建的結(jié)果反饋調(diào)控硬件。圖形處理單元M可用GPU來實現(xiàn)。觸發(fā)設(shè)置單元25設(shè)置用 于將采集的圖像讀取到內(nèi)存的觸發(fā)，及設(shè)置用于一面將內(nèi)存存取的采集圖像存到硬盤、另 一面從內(nèi)存讀取預(yù)定數(shù)目的采集圖像以進行圖像超分辨圖像處理和重建的觸發(fā)。例如，可 設(shè)置觸發(fā)事件，一方面將采集到的圖像存到硬盤上，另一方面如果采集到預(yù)訂數(shù)目的圖像 就送到GPU處理，另外，在GPU處理結(jié)束后，將超分辨圖像分析及處理和重建結(jié)果寫到硬盤 上面，同時觸發(fā)UI線程顯示超分辨圖像分析及處理和重建結(jié)果。參數(shù)設(shè)置單元21包括圖像采集參數(shù)設(shè)置模塊211、硬件調(diào)控參數(shù)設(shè)置模塊212及 超分辨處理和重建參數(shù)設(shè)置模塊213。其中，圖像采集參數(shù)設(shè)置模塊211設(shè)置圖像傳感器的 采集參數(shù)；采集參數(shù)包括曝光時間、采集周期、采集幀數(shù)、圖像區(qū)域、制冷溫度和EMGain。硬 件調(diào)控參數(shù)設(shè)置模塊212設(shè)置調(diào)控硬件所需的參數(shù)，包括開關(guān)信號的周期，占空比，延遲時 間及電機的位置。超分辨處理和重建參數(shù)設(shè)置模塊213用于設(shè)置圖像超分辨處理和重建的 參數(shù)，包括每次處理和重建的幀數(shù)，放大倍數(shù)，系統(tǒng)放大率及EMGain。圖像處理單元M包括卷積去噪模塊Ml、子區(qū)域提取模塊M2、定位模塊243及成 像模塊M4。其中，卷積去噪模塊241將采集的圖像進行卷積去噪，去噪后將圖像存儲在內(nèi) 存中。子區(qū)域提取模塊242根據(jù)設(shè)定超分辨圖像處理和重建參數(shù)的閾值對去噪后的圖像數(shù) 據(jù)進行計算，根據(jù)計算結(jié)果標記單分子位置信息，并將標記的單分子位置信息傳到顯存中。 定位模塊243根據(jù)標記的單分子位置信息進行次像素級定位，確定單分子定位信息，并將 定位結(jié)果傳送給內(nèi)存。成像模塊244疊加渲染單分子定位信息成最終的超分辨結(jié)果圖。在本發(fā)明實施例中，針對圖像重建部分的大運算量，可利用Main Thread線程處 理用戶的請求(如各種硬件設(shè)備的設(shè)置和同步調(diào)控、圖像處理請求等)，利用新開辟的Work Thread線程處理CPU內(nèi)存和顯存之間的數(shù)據(jù)交換、GPU重建結(jié)果的分析和顯示。本發(fā)明實施例解決了手動硬件調(diào)控的問題。Main Thread線程可以實現(xiàn)硬件設(shè)備 的同步調(diào)控。本發(fā)明實施例采用最大似然法進行高精度定位，同時利用GPU進行高速并行 計算，定位精度高、處理速度快。下面結(jié)合圖4所示的一具體流程對本發(fā)明超分辨成像過程進行具體說明
系統(tǒng)硬件和樣品準備就緒后，首先會進行系統(tǒng)初始化，包括各硬件(如EMCCD、快門和 電機等)的初始化。系統(tǒng)初始化結(jié)束后，設(shè)置采集參數(shù)，主要包括EMCCD參數(shù)，超分辨重建 參數(shù)，快門和電機的開關(guān)、位移參數(shù)等。EMCCD的參數(shù)主要包括曝光時間、采集周期、采集 幀數(shù)、圖像區(qū)域、制冷溫度和EMGain等?？扉T和電機的參數(shù)主要包括開關(guān)信號的周期、占空 比、延遲時間和電機的位置等。超分辨重建的參數(shù)主要包括每次處理的幀數(shù)、放大倍數(shù)、系 統(tǒng)放大率和EMGain等。設(shè)置好上述參數(shù)后開始圖像采集，同時開辟Work Thread來負責運 算任務(wù)。
作為本發(fā)明實施的一優(yōu)選方案，在圖像采集的時間段內(nèi)，實現(xiàn)了并行的圖像采集、 超分辨圖像處理和重建、及硬件設(shè)備的同步控制。在此時間段內(nèi)有兩個循環(huán)同時執(zhí)行
循環(huán)一在Main Thread內(nèi)設(shè)置，其任務(wù)包括(1)設(shè)置觸發(fā)事件(Trigger Event)，其作 用是將采集到的圖像讀取到內(nèi)存；(2)根據(jù)循環(huán)二的分析結(jié)果，反饋控制硬件設(shè)備的工作 狀態(tài)。采集到預(yù)定數(shù)目的圖像后(可根據(jù)實際需要進行預(yù)設(shè)，例如預(yù)定數(shù)目可設(shè)置為20)，循 環(huán)一結(jié)束。循環(huán)二在Work Thread內(nèi)設(shè)置，其任務(wù)包括(1)將采集到的圖像存到硬盤上； (2)將內(nèi)存中的圖像送到GPU，進行超分辨圖像處理，處理結(jié)束將結(jié)果寫到硬盤；(3)觸發(fā) Main Thread，顯示超分辨圖像分析及重建結(jié)果。處理完預(yù)訂數(shù)目圖像后，循環(huán)二結(jié)束。本發(fā)明實施例采用Spooling存儲模式。本發(fā)明實施例的數(shù)據(jù)流框圖如圖3所示。Main Thread將新采集到的圖像保存到 內(nèi)存，Work Thread將內(nèi)存中的圖像保存到硬盤。內(nèi)存中的圖像達到預(yù)設(shè)的處理幀數(shù)(可根 據(jù)實際需要進行預(yù)設(shè)，例如預(yù)設(shè)的處理幀數(shù)為5000幀)后，Work Thread將其傳送到GPU， 進行單分子定位處理。GPU處理結(jié)束后，Work Thread將結(jié)果回傳到內(nèi)存，進行超分辨圖像 分析。圖像分析完畢后，Work Thread將結(jié)果保存到硬盤，并觸發(fā)Main Thread顯示超分辨 分析和重建結(jié)果。本發(fā)明實施例提供的基于單分子定位的快速超分辨成像方法和系統(tǒng)定位精度高、 處理速度快，可以解決設(shè)備間的同步調(diào)控問題，從而實現(xiàn)了快速的超分辨成像。上述實施例為本發(fā)明較佳的實施方式，但本發(fā)明的實施方式并不受上述實施例的 限制，其他的任何未背離本發(fā)明的精神實質(zhì)與原理下所作的改變、修飾、替代、組合、簡化， 均應(yīng)為等效的置換方式，都包含在本發(fā)明的保護范圍之內(nèi)。
權(quán)利要求
1.一種基于單分子定位的快速超分辨成像方法，其特征在于，包括 設(shè)置圖像采集參數(shù)、硬件調(diào)控參數(shù)、超分辨圖像處理和重建參數(shù)； 根據(jù)所述硬件調(diào)控參數(shù)進行硬件調(diào)控；根據(jù)所述采集參數(shù)進行圖像采集，并根據(jù)所述采集的圖像反饋調(diào)控硬件；及 根據(jù)所述超分辨圖像處理和重建參數(shù)對所述采集的圖像進行超分辨圖像處理和重建， 并根據(jù)超分辨圖像處理和重建的結(jié)果反饋調(diào)控硬件。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述超分辨圖像處理和重建參 數(shù)對所述采集的圖像進行超分辨圖像處理和重建包括將采集的圖像進行卷積去噪；根據(jù)設(shè)定所述超分辨圖像處理和重建參數(shù)的閾值對所述去噪后的圖像數(shù)據(jù)進行計算， 根據(jù)計算結(jié)果標記單分子位置信息；根據(jù)所述標記的單分子位置信息進行次像素級定位，確定單分子定位信息； 疊加渲染所述單分子定位信息成最終的超分辨重建圖。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于 所述次像素級定位是采用最大似然法進行定位。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對采集的圖像進行超分辨圖像處理 和重建之前還包括設(shè)置用于將采集的圖像讀取到內(nèi)存的觸發(fā)；設(shè)置用于一面將所述內(nèi)存存取的采集圖像存到硬盤、另一面從所述內(nèi)存讀取預(yù)定數(shù)目 的采集圖像以進行圖像超分辨圖像處理和重建的觸發(fā)。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述采集的圖像進行超分辨圖像 處理和重建之后還包括設(shè)置對超分辨的重建圖像進行實時顯示的觸發(fā)。
6.根據(jù)權(quán)利要求1至5任一項所述的方法，其特征在于所述采集參數(shù)包括曝光時間、采集周期、采集幀數(shù)、圖像區(qū)域、制冷溫度和電子倍增； 所述硬件調(diào)控參數(shù)包括開關(guān)信號的周期、占空比、延遲時間及電機的位置； 所述超分辨圖像處理和重建參數(shù)包括每次處理和重建的幀數(shù)、放大倍數(shù)、系統(tǒng)放大率 及電子倍增。
7.一種基于單分子定位的快速超分辨成像系統(tǒng)，其特征在于，包括參數(shù)設(shè)置單元，設(shè)置圖像采集參數(shù)、硬件調(diào)控參數(shù)、超分辨圖像處理和重建參數(shù)； 硬件調(diào)控單元，根據(jù)所述硬件調(diào)控參數(shù)進行硬件調(diào)控；圖像采集單元，根據(jù)所述采集參數(shù)進行圖像采集，并根據(jù)所述采集的圖像反饋調(diào)控硬件；圖像處理單元，根據(jù)所述超分辨圖像處理和重建參數(shù)對所述采集的圖像進行超分辨圖 像處理和重建，并根據(jù)超分辨圖像處理和重建的結(jié)果反饋調(diào)控硬件。
8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述圖像處理單元包括 卷積去噪模塊，將采集的圖像進行卷積去噪；子區(qū)域提取模塊，根據(jù)設(shè)定所述超分辨圖像處理和重建參數(shù)的閾值對所述去噪后的圖 像數(shù)據(jù)進行計算，根據(jù)計算結(jié)果標記單分子位置信息；定位模塊，根據(jù)所述標記的單分子位置信息進行次像素級定位，確定單分子定位信息；成像模塊，疊加渲染所述單分子定位信息成最終的超分辨結(jié)果圖。
9.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，還包括觸發(fā)設(shè)置單元，設(shè)置用于將采集的圖像讀取到內(nèi)存的觸發(fā)，及設(shè)置用于一面將所述內(nèi) 存存取的采集圖像存到硬盤、另一面從所述內(nèi)存讀取預(yù)定數(shù)目的采集圖像以進行超分辨圖 像處理和重建的觸發(fā)。
10.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述參數(shù)設(shè)置單元包括圖像采集參數(shù)設(shè)置模塊，設(shè)置圖像傳感器的采集參數(shù)；所述采集參數(shù)包括曝光時間、采 集周期、采集幀數(shù)、圖像區(qū)域、制冷溫度和電子倍增；硬件調(diào)控參數(shù)設(shè)置模塊，設(shè)置調(diào)控硬件所需的參數(shù)，包括開關(guān)信號的周期，占空比，延 遲時間及電機的位置；超分辨處理和重建參數(shù)設(shè)置模塊，用于設(shè)置圖像超分辨處理和重建的參數(shù)，包括每次 處理和重建的幀數(shù)，放大倍數(shù)，系統(tǒng)放大率及電子倍增。
全文摘要
本發(fā)明公開了一種基于單分子定位的快速超分辨成像方法及系統(tǒng)，該方法包括設(shè)置圖像采集參數(shù)、硬件調(diào)控參數(shù)、超分辨圖像處理和重建參數(shù)；根據(jù)所述硬件調(diào)控參數(shù)進行硬件調(diào)控；根據(jù)所述采集參數(shù)進行圖像采集，并根據(jù)所述采集的圖像反饋調(diào)控所述硬件；及根據(jù)所述超分辨圖像處理和重建參數(shù)對所述采集的圖像進行超分辨圖像處理和重建，并根據(jù)超分辨圖像處理和重建的結(jié)果反饋調(diào)控所述硬件。本發(fā)明提供的基于光激活單分子定位的超分辨成像方法所用算法精度高，能夠用圖形處理器GPU并行運算實現(xiàn)的，可以達到更快的圖像處理的處理，和重建速度，并且可以自動調(diào)控整個成像系統(tǒng)，包括快門、電動臺及步進電機，從而實現(xiàn)了快速的超分辨成像。
文檔編號G06T1/00GK102063730SQ20111000799
公開日2011年5月18日 申請日期2011年1月14日 優(yōu)先權(quán)日2011年1月14日
發(fā)明者馬洪強, 駱清銘, 黃振立, 龍帆 申請人:華中科技大學