本發(fā)明涉及一種遠(yuǎn)程操作生物實(shí)驗(yàn)。特別是涉及一種多平臺交互的遠(yuǎn)程操作生物實(shí)驗(yàn)系統(tǒng)及控制方法。

背景技術(shù)：

生物細(xì)胞實(shí)驗(yàn)中常常需要對培養(yǎng)液中的活細(xì)胞在不同時間點(diǎn)進(jìn)行觀察或檢測，例如在0小時、6小時、12小時等等，進(jìn)行觀察，獲取這些離散時間點(diǎn)下的相關(guān)數(shù)據(jù)進(jìn)行分析。但是其觀察時間點(diǎn)過于分散，無法全面了解細(xì)胞培養(yǎng)過程中的變化；對于有些情況一旦細(xì)胞脫離了適宜的培養(yǎng)環(huán)境再進(jìn)行觀察很可能對其狀態(tài)造成較大影響，使得觀測到的數(shù)據(jù)失去意義；無法實(shí)現(xiàn)長時間的觀察類似腫瘤細(xì)胞遷移等現(xiàn)象。

針對這一問題,近年來,人們研制出了可以在細(xì)胞培養(yǎng)的同時進(jìn)行觀察的生物實(shí)驗(yàn)系統(tǒng)——細(xì)胞工作站。目前主流的細(xì)胞工作站有兩種，一種是類似美國Essen公司生產(chǎn)的IncuCyteZoom，將成像裝置尺寸縮小放入培養(yǎng)箱中，通過無線網(wǎng)絡(luò)傳輸圖像數(shù)據(jù)到PC端進(jìn)行觀察和使用配套圖像處理軟件進(jìn)行分析。其優(yōu)勢在于可以實(shí)現(xiàn)遠(yuǎn)程操作，進(jìn)行數(shù)據(jù)讀取和分析，無需反復(fù)進(jìn)入細(xì)胞實(shí)驗(yàn)室，避免了潛在的污染隱患及人工出入觀測的麻煩。缺點(diǎn)是對網(wǎng)絡(luò)帶寬要求高，如果追求傳輸實(shí)時效率就會對傳輸圖像的質(zhì)量產(chǎn)生影響，尤其是圖像壓縮編碼過程中對圖像色彩信息的損壞不可逆，從而影響后續(xù)的分析結(jié)果，由于數(shù)據(jù)分析在遠(yuǎn)程客戶端完成，對客戶端硬件配置要求高；另一種類似日本Olympus生產(chǎn)的活細(xì)胞工作站xcellence，將培養(yǎng)箱尺寸縮小與成像顯微鏡結(jié)合在一起進(jìn)行實(shí)時觀察，圖像數(shù)據(jù)采用有線傳輸至PC端進(jìn)行觀察和處理。其優(yōu)勢在于采用有線傳輸方式，圖像傳輸實(shí)時效率高、可靠性強(qiáng)，缺點(diǎn)是實(shí)驗(yàn)人員必須在實(shí)驗(yàn)裝置附近操作，如果進(jìn)行需要長時間實(shí)時觀察的實(shí)驗(yàn)，將會增加人力負(fù)擔(dān)，且實(shí)驗(yàn)人員多次出入細(xì)胞實(shí)驗(yàn)室會對無菌環(huán)境產(chǎn)生潛在的影響。

即，現(xiàn)有細(xì)胞工作站無法滿足遠(yuǎn)程終端和本地服務(wù)器端同時獲取數(shù)據(jù)并遠(yuǎn)程操作服務(wù)器端進(jìn)行數(shù)據(jù)處理，使用無線網(wǎng)絡(luò)傳輸數(shù)據(jù)時成像裝置在培養(yǎng)箱中無法用有線與PC相連，導(dǎo)致過于依賴無線傳輸過程的效率和質(zhì)量，使用有線傳輸時研究人員必須長時間守在實(shí)驗(yàn)裝置旁邊。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是，提供一種對適宜培養(yǎng)環(huán)境下活細(xì)胞遠(yuǎn)程實(shí)時觀測、控制、數(shù)據(jù)獲取、數(shù)據(jù)處理的多平臺交互的遠(yuǎn)程操作生物實(shí)驗(yàn)系統(tǒng)及控制方法。

本發(fā)明所采用的技術(shù)方案是：一種多平臺交互的遠(yuǎn)程操作生物實(shí)驗(yàn)系統(tǒng)的控制方法，包括如下步驟：

1)將裝有待觀察的活細(xì)胞的培養(yǎng)皿放置在顯微鏡的載物臺上，載物臺密封在培養(yǎng)箱中，打開服務(wù)器，并同時打開顯微鏡的相機(jī)實(shí)時采集細(xì)胞視頻圖像；

2)通過客戶端向服務(wù)器發(fā)送實(shí)時視頻請求指令，服務(wù)器接到所述指令后將顯微鏡相機(jī)采集的實(shí)時視頻圖像數(shù)據(jù)進(jìn)行壓縮編碼發(fā)送到客戶端，客戶端將接收到的視頻圖像數(shù)據(jù)進(jìn)行解碼顯示供工作人員實(shí)時觀察細(xì)胞培養(yǎng)情況；

3)服務(wù)器將細(xì)胞培養(yǎng)箱中傳感器反饋的細(xì)胞培養(yǎng)環(huán)境信息發(fā)送到客戶端，客戶端將接收到的細(xì)胞培養(yǎng)環(huán)境信息與標(biāo)準(zhǔn)的環(huán)境條件對比后，向服務(wù)器發(fā)送增加或降低或保持溫度、濕度和二氧化碳濃度參數(shù)的指令，服務(wù)器接收到指令后控制細(xì)胞培養(yǎng)模塊中的控制器去調(diào)整細(xì)胞培養(yǎng)箱內(nèi)的環(huán)境參數(shù)；

4)客戶端根據(jù)接收到的視頻圖像數(shù)據(jù)，向服務(wù)器發(fā)送光學(xué)成像模塊中的載物臺水平位移的指令，服務(wù)器接收指令后，向光學(xué)成像模塊中的控制器發(fā)送相應(yīng)指令控制載物臺水平位移電機(jī)驅(qū)動載物臺進(jìn)行水平位移，使得接收到的細(xì)胞視頻圖像位于顯示器中央；

5)客戶端根據(jù)接收到的視頻圖像數(shù)據(jù)，向服務(wù)器發(fā)送控制光學(xué)成像模塊中顯微鏡的物鏡垂直位移的指令，服務(wù)器接收指令后，向光學(xué)成像模塊中的控制器發(fā)送相應(yīng)指令控制光學(xué)成像模塊中垂直位移電機(jī)驅(qū)動顯微鏡的物鏡進(jìn)行垂直位移，使細(xì)胞位于焦平面上，便于獲取清晰圖像；

6)客戶端向服務(wù)器發(fā)送拍照指令，服務(wù)器接收指令后控制顯微鏡相機(jī)進(jìn)行拍照，獲取細(xì)胞圖像并存儲在服務(wù)器內(nèi)；

7)客戶端向服務(wù)器發(fā)送對細(xì)胞圖像進(jìn)行處理的指令，服務(wù)器接收指令后調(diào)用服務(wù)器端細(xì)胞圖像處理程序?qū)Λ@取的細(xì)胞圖像進(jìn)行處理；

8)客戶端向服務(wù)器發(fā)送下載未處理的細(xì)胞圖像或處理后的細(xì)胞圖像指令，服務(wù)器接收指令后將客戶端指定的細(xì)胞圖像數(shù)據(jù)發(fā)送給客戶端，實(shí)現(xiàn)遠(yuǎn)程文件下載。

步驟2)所述的壓縮編碼，是采用H.264標(biāo)準(zhǔn)或H.265標(biāo)準(zhǔn)進(jìn)行實(shí)時壓縮編碼。

步驟2)所述的發(fā)送到客戶端，是采用RTSP協(xié)議或RTMP協(xié)議或超文本傳輸協(xié)議進(jìn)行發(fā)送。

步驟3)所述的細(xì)胞培養(yǎng)環(huán)境信息包括：溫度、濕度、二氧化碳濃度。

步驟6)所述的拍照指令還包括設(shè)置拍照張數(shù)和拍照時間間隔，服務(wù)器接收指令后開啟定時功能，定時向顯微鏡相機(jī)發(fā)送拍照指令，獲取細(xì)胞的時間序列圖像。

步驟7)所述的細(xì)胞圖像處理程序包括如下步驟：

1)圖像預(yù)處理：對圖像進(jìn)行濾波和圖像增強(qiáng)處理，去除圖像中的部分雜質(zhì)增強(qiáng)圖像有效信息的顯示；

2)圖像分割：將預(yù)處理后圖像中目標(biāo)區(qū)域與背景區(qū)分開來；

3)邊緣檢測：獲取目標(biāo)區(qū)域的輪廓；

4)定量特征提取：根據(jù)實(shí)驗(yàn)需求獲取圖像目標(biāo)區(qū)域的定量特征信息用于后續(xù)分析。

在步驟4)和步驟5)的運(yùn)行過程中還包括：客戶端根據(jù)接收到的圖像信息向服務(wù)器端發(fā)送修改相機(jī)曝光時間指令，調(diào)節(jié)相機(jī)曝光時間，使得獲取的圖像亮度適中。

本發(fā)明的一種多平臺交互的遠(yuǎn)程操作生物實(shí)驗(yàn)系統(tǒng)及控制方法，實(shí)現(xiàn)計算過程在與成像裝置有線連接的服務(wù)器端完成，不依賴于客戶端的配置，不必?fù)?dān)心傳輸過程中由于通訊過程導(dǎo)致的數(shù)據(jù)信息丟失，實(shí)現(xiàn)遠(yuǎn)程查看實(shí)驗(yàn)過程，完成實(shí)驗(yàn)操作減少研究人員的勞動負(fù)擔(dān)。本發(fā)明具有以下優(yōu)點(diǎn)：

1)減輕了研究人員的勞動負(fù)擔(dān)，可以隨時隨地通過移動終端查看實(shí)驗(yàn)情況并進(jìn)行遠(yuǎn)程操作。

2)客戶端遠(yuǎn)程查看的視頻圖像僅是一個預(yù)覽作用，因此傳輸時可以采用更高的壓縮比增加了傳輸效率。

3)真正用于分析處理的是服務(wù)器端的圖像，因此降低了傳輸時對網(wǎng)絡(luò)的依賴，降低了對客戶端硬件配置的要求。成功響應(yīng)后回送給客戶端完成信息。

附圖說明

圖1是本發(fā)明一種多平臺交互的遠(yuǎn)程操作生物實(shí)驗(yàn)系統(tǒng)的控制方法的流程構(gòu)成圖；

圖2是應(yīng)用本發(fā)明一種多平臺交互的遠(yuǎn)程操作生物實(shí)驗(yàn)系統(tǒng)的控制方法的系統(tǒng)構(gòu)成圖；

圖3-1是0h時劃痕實(shí)驗(yàn)細(xì)胞群；

圖3-2是3h時劃痕實(shí)驗(yàn)細(xì)胞群；

圖3-3是6h時劃痕實(shí)驗(yàn)細(xì)胞群；

圖3-4是0h時劃痕實(shí)驗(yàn)處理結(jié)果；

圖3-5是3h時劃痕實(shí)驗(yàn)處理結(jié)果；

圖3-6是6h時劃痕實(shí)驗(yàn)處理結(jié)果。

具體實(shí)施方式

下面結(jié)合實(shí)施例和附圖對本發(fā)明的一種多平臺交互的遠(yuǎn)程操作生物實(shí)驗(yàn)系統(tǒng)的控制方法做出詳細(xì)說明。

本發(fā)明的一種多平臺交互的遠(yuǎn)程操作生物實(shí)驗(yàn)系統(tǒng)的控制方法，包括如下步驟：

1)將裝有待觀察的活細(xì)胞的培養(yǎng)皿放置在顯微鏡的載物臺上，載物臺密封在培養(yǎng)箱中，打開服務(wù)器，并同時打開顯微鏡的相機(jī)實(shí)時采集細(xì)胞視頻圖像；

2)通過客戶端向服務(wù)器發(fā)送實(shí)時視頻請求指令，服務(wù)器接到所述指令后將顯微鏡相機(jī)采集的實(shí)時視頻圖像數(shù)據(jù)進(jìn)行壓縮編碼發(fā)送到客戶端，客戶端將接收到的視頻圖像數(shù)據(jù)進(jìn)行解碼顯示供工作人員實(shí)時觀察細(xì)胞培養(yǎng)情況。所述的壓縮編碼，是采用H.264標(biāo)準(zhǔn)或H.265標(biāo)準(zhǔn)進(jìn)行實(shí)時壓縮編碼；所述的發(fā)送到客戶端，是采用RTSP協(xié)議或RTMP協(xié)議或超文本傳輸協(xié)議進(jìn)行發(fā)送。

3)服務(wù)器將細(xì)胞培養(yǎng)箱中傳感器反饋的細(xì)胞培養(yǎng)環(huán)境信息發(fā)送到客戶端，客戶端將接收到的細(xì)胞培養(yǎng)環(huán)境信息與標(biāo)準(zhǔn)的環(huán)境條件對比后，向服務(wù)器發(fā)送增加或降低或保持溫度、濕度和二氧化碳濃度參數(shù)的指令，所述的細(xì)胞培養(yǎng)環(huán)境信息包括：溫度、濕度、二氧化碳濃度。服務(wù)器接收到指令后控制細(xì)胞培養(yǎng)模塊中的控制器去調(diào)整細(xì)胞培養(yǎng)箱內(nèi)的環(huán)境參數(shù)；

4)客戶端根據(jù)接收到的視頻圖像數(shù)據(jù)，向服務(wù)器發(fā)送光學(xué)成像模塊中的載物臺水平位移的指令，服務(wù)器接收指令后，向光學(xué)成像模塊中的控制器發(fā)送相應(yīng)指令控制載物臺水平位移電機(jī)驅(qū)動載物臺進(jìn)行水平位移，使得接收到的細(xì)胞視頻圖像位于顯示器中央；

5)客戶端根據(jù)接收到的視頻圖像數(shù)據(jù)，向服務(wù)器發(fā)送控制光學(xué)成像模塊中顯微鏡的物鏡垂直位移的指令，服務(wù)器接收指令后，向光學(xué)成像模塊中的控制器發(fā)送相應(yīng)指令控制光學(xué)成像模塊中垂直位移電機(jī)驅(qū)動顯微鏡的物鏡進(jìn)行垂直位移，使細(xì)胞位于焦平面上，便于獲取清晰圖像；

在步驟4)和步驟5)的運(yùn)行過程中還包括：客戶端根據(jù)接收到的圖像信息向服務(wù)器端發(fā)送修改相機(jī)曝光時間指令，調(diào)節(jié)相機(jī)曝光時間，使得獲取的圖像亮度適中。

6)客戶端向服務(wù)器發(fā)送拍照指令，服務(wù)器接收指令后控制顯微鏡相機(jī)進(jìn)行拍照，獲取細(xì)胞圖像并存儲在服務(wù)器內(nèi)；所述的拍照指令還包括設(shè)置拍照張數(shù)和拍照時間間隔，服務(wù)器接收指令后開啟定時功能，定時向顯微鏡相機(jī)發(fā)送拍照指令，獲取細(xì)胞的時間序列圖像。

7)客戶端向服務(wù)器發(fā)送對細(xì)胞圖像進(jìn)行處理的指令，服務(wù)器接收指令后調(diào)用服務(wù)器端細(xì)胞圖像處理程序?qū)Λ@取的細(xì)胞圖像進(jìn)行處理；所述的細(xì)胞圖像處理程序包括如下步驟：

1)圖像預(yù)處理：對圖像進(jìn)行濾波和圖像增強(qiáng)處理，去除圖像中的部分雜質(zhì)增強(qiáng)圖像有效信息的顯示；

2)圖像分割：將預(yù)處理后圖像中目標(biāo)區(qū)域與背景區(qū)分開來；

3)邊緣檢測：獲取目標(biāo)區(qū)域的輪廓；

4)定量特征提?。焊鶕?jù)實(shí)驗(yàn)需求獲取圖像目標(biāo)區(qū)域的定量特征信息用于后續(xù)分析。

8)客戶端向服務(wù)器發(fā)送下載未處理的細(xì)胞圖像或處理后的細(xì)胞圖像指令，服務(wù)器接收指令后將客戶端指定的細(xì)胞圖像數(shù)據(jù)發(fā)送給客戶端，實(shí)現(xiàn)遠(yuǎn)程文件下載，便于客戶端遠(yuǎn)程獲取圖像處理結(jié)果或原始數(shù)據(jù)以進(jìn)一步處理。

如圖1所示，本發(fā)明一種多平臺交互的遠(yuǎn)程操作生物實(shí)驗(yàn)系統(tǒng)的控制方法的工作過程是：光學(xué)顯微系統(tǒng)中的相機(jī)通過數(shù)據(jù)線與服務(wù)器端相連，獲得相機(jī)拍攝到的實(shí)時視頻。遠(yuǎn)程客戶端為智能手機(jī)、平板電腦或其他類型終端，客戶端啟動后輸入已經(jīng)注冊的用戶名和密碼發(fā)送給服務(wù)器端，請求接入服務(wù)器。服務(wù)器接收到請求后驗(yàn)證用戶信息，若密碼錯誤則拒絕接入，并且向客戶端返回密碼錯誤消息，若密碼正確，服務(wù)器正確接收到客戶端發(fā)送的視頻請求后返回視頻請求同意消息，并開始對相機(jī)原始視頻信息進(jìn)行實(shí)時編碼同時使用RTP協(xié)議打包發(fā)送給客戶端相應(yīng)網(wǎng)絡(luò)端口，客戶端讀取本地端口接收到的視頻編碼流信息后進(jìn)行解析，從中得到視頻幀編碼信息后送入解碼器進(jìn)行解碼并顯示；服務(wù)器端接收到事件控制請求后回送客戶端同意請求信息，同時監(jiān)聽客戶端發(fā)送過來的事件請求數(shù)據(jù)，解析數(shù)據(jù)包后對請求的事件做出響應(yīng)，這些事件包括修改相機(jī)曝光時間、閾值、控制相機(jī)拍照、在服務(wù)器端進(jìn)行圖像處理等；服務(wù)器端接收到客戶端文件傳輸請求后予以響應(yīng)，發(fā)送相關(guān)文件給客戶端，這里的文件主要是指經(jīng)客戶端控制，服務(wù)器端拍攝下的某一時刻下的圖片。實(shí)時視頻傳輸時考慮到實(shí)時的效率，壓縮比較高，因此圖像信息有一定的損失，如果客戶端想獲取某一時刻的無損原圖時，則發(fā)送遠(yuǎn)程拍照請求，服務(wù)器端成功拍照后反饋給客戶端，之后客戶端可以發(fā)送文件下載請求，從服務(wù)器端下載無損原圖到客戶端；客戶端也可以請求服務(wù)器端拍照后發(fā)送圖像處理請求，請求服務(wù)器端遠(yuǎn)程完成圖像的處理操作。

本發(fā)明一種多平臺交互的遠(yuǎn)程操作生物實(shí)驗(yàn)系統(tǒng)的控制方法，是用于如圖2所示的系統(tǒng)中。如圖2所示，服務(wù)器2端通過數(shù)據(jù)線與顯微鏡上的相機(jī)、顯微鏡電動平臺控制器、準(zhǔn)焦螺旋等硬件控制裝置以及培養(yǎng)箱二氧化碳濃度、濕度、氣壓等控制裝置3連接，相機(jī)將采集到的圖像傳輸給服務(wù)器2顯示；客戶端1可以是臺式計算機(jī)或者平板電腦11、智能手機(jī)12等移動終端，它們與服務(wù)器2處于同一個路由器4下的局域網(wǎng)內(nèi)，客戶端1可以向服務(wù)器2發(fā)送各種事件請求指令，服務(wù)器2解析請求后確定是否發(fā)送實(shí)時視頻流、提供文件下載服務(wù)或調(diào)節(jié)培養(yǎng)箱二氧化碳濃度、濕度和氣壓等細(xì)胞培養(yǎng)系統(tǒng)參數(shù)或調(diào)節(jié)顯微鏡電動平臺位置、鏡頭焦距等、相機(jī)曝光時間等成像系統(tǒng)參數(shù)。

圖3-1～圖3-6是本發(fā)明在劃痕實(shí)驗(yàn)中觀察到的細(xì)胞群遷移情況。其中圖3-1為0h時劃痕實(shí)驗(yàn)細(xì)胞群，圖3-2為3h時劃痕實(shí)驗(yàn)細(xì)胞群，圖3-3為6h時劃痕實(shí)驗(yàn)細(xì)胞群；圖3-4為0h時劃痕實(shí)驗(yàn)處理結(jié)果，圖3-5為3h時劃痕實(shí)驗(yàn)處理結(jié)果；圖3-6為6h時劃痕實(shí)驗(yàn)處理結(jié)果。

實(shí)驗(yàn)時使用移液管尖端在培養(yǎng)皿中將細(xì)胞群劃線分離開，使用顯微鏡對劃痕處進(jìn)行實(shí)時觀察，由于需要長時間觀測，我們可以不必守在顯微鏡旁邊，而是使用客戶端隨時查看，并在適當(dāng)時間點(diǎn)保存圖像(圖3-1～圖3-3)，在客戶端可以選擇讓服務(wù)器端對得到的圖像進(jìn)行處理，得到處理后的圖像(圖3-4～圖3-6)，并得到細(xì)胞群間距計算結(jié)果。其中0h、3h、6h時細(xì)胞群間距分別約為170、144、100(單位像素寬度)，單從這三幅圖像得到的結(jié)果會讓人以為0～3h期間細(xì)胞群運(yùn)動緩慢，遷移距離約為170-144＝26個像素寬度，3～6h期間細(xì)胞群運(yùn)動較快，遷移距離約為144-100＝44個像素寬度。然而我們看到的實(shí)時視頻中發(fā)現(xiàn)其實(shí)細(xì)胞群被移液器尖端劃開后向兩邊分開的慣性保持了一個相當(dāng)長的時間，真實(shí)情況是0～3h期間細(xì)胞群是先朝相反的方向運(yùn)動后再向中間遷移的，這段時間內(nèi)細(xì)胞遷移的速率可能更快，我們實(shí)驗(yàn)過程中應(yīng)該通過實(shí)時視頻觀察至細(xì)胞群向兩邊分開的趨勢徹底停止后再進(jìn)行拍攝獲得細(xì)胞群向中間遷移情況圖，以便進(jìn)一步對細(xì)胞遷移速率以及細(xì)胞活性進(jìn)行估計。且在等待細(xì)胞群停止向兩邊分開的時間較長，通常是2個小時以上，這段時間使用遠(yuǎn)程觀測會更加便捷。

以上結(jié)合附圖對本發(fā)明的具體實(shí)施方式做了說明，但這些說明不能理解為限制了本發(fā)明的范圍，本發(fā)明的保護(hù)范圍由隨附的權(quán)利要求書限定，任何在本發(fā)明權(quán)利要求基礎(chǔ)上的改動都是本發(fā)明的保護(hù)范圍。