本發(fā)明涉及微流控芯片，特別是涉及一種光電潤濕微流控芯片內(nèi)液滴陣列智能跟蹤并行操控方法。

背景技術(shù)：

1、光電潤濕(optoe?l?ectrowett?i?ng,oew)或稱光誘導(dǎo)介電潤濕數(shù)字微流控技術(shù)是近年來一種新興的數(shù)字微流控解決方案。它采用光導(dǎo)材料層作為虛擬電極，可以避開介電潤濕實(shí)體物理電極及其控制電路的復(fù)雜設(shè)計(jì)、加工步驟，極大地簡化了芯片的加工工藝，降低了芯片的加工成本；同時利用動態(tài)光學(xué)虛擬電極來控制液滴的運(yùn)動軌跡和速度，連續(xù)和動態(tài)地調(diào)制介質(zhì)層表面的電潤濕區(qū)域?qū)⑽⑿〉囊旱尾倏v到指定位置，以實(shí)現(xiàn)微小樣本的分離、混合、反應(yīng)和檢測等功能，有著較高的液滴操控精度與操控效率，特別適用于高集成度、高性能、操作復(fù)雜的生物微全分析體系。

2、然而，目前oew芯片缺乏有效的跟蹤系統(tǒng)來確保液滴陣列的操控能夠成功執(zhí)行。在傳統(tǒng)的oew平臺上，液滴陣列的操控操作完全依賴操控者根據(jù)高速相機(jī)逐個采集每個液滴的尺寸，并手動使用商業(yè)化圖形軟件(如microsoft?powerpoi?nt、macromed?ia?f?l?ash)繪制對應(yīng)數(shù)量的光學(xué)圖案，之后通過lcd投影儀和聚光物鏡將光圖案投射到oew芯片上形成虛擬電極。然而，這種操控方式對操縱者的依賴性較大。由于布局、工藝和驅(qū)動的不確定性，在實(shí)際的液滴陣列運(yùn)動過程中，設(shè)備表面的缺陷如劃痕、灰塵或吸附到表面的試劑都會阻礙液滴向目標(biāo)位置移動。一旦單個液滴失控，會出現(xiàn)液滴陣列的誤融現(xiàn)象，造成生物樣品污染現(xiàn)象。此時必須中止操控過程，操控者重新在液滴失控位置繪制光學(xué)圖案并設(shè)定路徑，實(shí)時性較差，自動化程度低，嚴(yán)重限制了光電潤濕數(shù)字微流控技術(shù)的應(yīng)用前景。目前，已有部分學(xué)者將目標(biāo)跟蹤算法和介電潤濕微流控芯片結(jié)合，但是這些研究的結(jié)果將檢測結(jié)果處理后，仍輸出信號給實(shí)體電極，增加了電路的復(fù)雜性。目前但仍未見有團(tuán)隊(duì)將跟蹤算法和光電潤濕數(shù)字微流控技術(shù)結(jié)合起來，實(shí)現(xiàn)液滴陣列的精準(zhǔn)跟蹤和操控。

技術(shù)實(shí)現(xiàn)思路

1、針對上述現(xiàn)有技術(shù)，本發(fā)明在于提供一種光電潤濕微流控芯片內(nèi)液滴陣列智能跟蹤并行操控方法，主要解決上述背景技術(shù)中存在的技術(shù)問題。

2、為達(dá)到上述目的，本發(fā)明實(shí)施例的技術(shù)方案是這樣實(shí)現(xiàn)的：

3、本發(fā)明第一方面公開了一種光電潤濕微流控芯片內(nèi)液滴陣列跟蹤操控方法，所述方法包括下列步驟：

4、采用目標(biāo)跟蹤算法獲取液滴陣列中每個液滴的當(dāng)前位置與id，并基于液滴的id、當(dāng)前位置及目標(biāo)位置，規(guī)劃每個液滴的移動路徑；

5、生成多個光學(xué)虛擬電極圖案，將多個光學(xué)虛擬電極圖案投影到光電潤濕微流控芯片上，并行引導(dǎo)操控對應(yīng)的液滴按照所述移動路徑進(jìn)行移動；

6、在每個液滴的移動過程中，不斷跟蹤更新每個液滴的當(dāng)前位置；

7、根據(jù)更新后的液滴當(dāng)前位置與目標(biāo)位置之間的偏差調(diào)整對應(yīng)的光學(xué)虛擬電極圖案，并行驅(qū)動對應(yīng)的液滴按照所述移動路徑進(jìn)行移動，直到所有液滴到達(dá)目標(biāo)位置。

8、可選的，用戶通過用戶界面手動規(guī)劃液滴的移動路徑，或，通過最短路徑算法規(guī)劃液滴的移動路徑。

9、可選的，采用目標(biāo)跟蹤算法獲取液滴陣列中每個液滴的當(dāng)前位置與id，所述目標(biāo)跟蹤算法由bytetrack跟蹤器以及yolov5s檢測器組成，其中yolov5s檢測器用于實(shí)現(xiàn)目標(biāo)識別，所述bytetrack跟蹤器用于對目標(biāo)識別結(jié)果添加邊界框以及id，

10、獲取液滴陣列中每個液滴的當(dāng)前位置與id的具體過程包括：

11、獲取包含多個液滴的目標(biāo)圖像，使用yolov5s檢測器對目標(biāo)圖像中的多個液滴進(jìn)行識別，獲得識別結(jié)果，通過bytetrack跟蹤器對識別結(jié)果添加邊界框以及id。

12、可選的，使用yolov5s檢測器對目標(biāo)圖像中的多個液滴進(jìn)行識別的具體過程包括：

13、對所述目標(biāo)圖像進(jìn)行預(yù)處理，所述預(yù)處理的過程包括：對所述目標(biāo)圖像進(jìn)行顏色及數(shù)組轉(zhuǎn)換；

14、使用yolov5s檢測器對預(yù)處理后的所述目標(biāo)圖像進(jìn)行檢測，輸出識別結(jié)果。

15、可選的，采用目標(biāo)跟蹤算法獲取液滴陣列中每個液滴的當(dāng)前位置與id的過程還包括：采用非極大值抑制法去除冗余的邊界框，保留高置信度的識別結(jié)果。

16、可選的，在每個液滴的移動過程中，不斷跟蹤更新每個液滴的當(dāng)前位置，具體包括：

17、在液滴移動時，以固定的時間間隔獲取視頻幀，所述視頻幀包括上一幀以及當(dāng)前幀；

18、在獲得上一幀的圖像時，同步獲得上一幀中的邊界框以及id，將上一幀中的邊界框以及id輸入卡爾曼濾波器，根據(jù)對應(yīng)液滴的速度和位置分別預(yù)測每個液滴在下一幀出現(xiàn)的位置；

19、在獲得當(dāng)前幀的圖像時，同步獲得當(dāng)前幀中的邊界框以及id；

20、對于高置信度的當(dāng)前幀的邊界框，將其與卡爾曼濾波器對應(yīng)預(yù)測的位置進(jìn)行i?ou計(jì)算，若i?ou大于設(shè)定的閾值，則認(rèn)為液滴的當(dāng)前幀的邊界框與預(yù)測的位置匹配，并將對應(yīng)液滴的上一幀的id分配給當(dāng)前幀的邊界框；

21、對于低置信度的當(dāng)前幀的邊界框坐標(biāo)，將其與未進(jìn)行匹配的預(yù)測的位置依次進(jìn)行i?ou計(jì)算，并為低置信度的當(dāng)前幀的邊界框分配id。

22、可選的，若任一當(dāng)前幀的邊界框無法分配對應(yīng)的上一幀的id，則為該邊界框分配新的id。

23、可選的，根據(jù)更新后的液滴當(dāng)前位置與目標(biāo)位置之間的偏差調(diào)整對應(yīng)的光學(xué)虛擬電極圖案，具體包括，根據(jù)所述偏差，調(diào)節(jié)對應(yīng)的光學(xué)虛擬電極圖案的位置或形狀。

24、可選的，根據(jù)更新后的液滴當(dāng)前位置與目標(biāo)位置之間的偏差調(diào)整對應(yīng)的光學(xué)虛擬電極圖案，具體還包括，根據(jù)所述偏差，調(diào)節(jié)對應(yīng)的光學(xué)虛擬電極的光強(qiáng)度。

25、本發(fā)明第二方面公開了一種光電潤濕微流控芯片內(nèi)液滴陣列跟蹤操控系統(tǒng)，所述操控系統(tǒng)用于實(shí)現(xiàn)前述任一項(xiàng)所述的一種光電潤濕微流控芯片內(nèi)液滴陣列跟蹤操控方法，所述操控系統(tǒng)包括視覺采集模塊、液滴檢測跟蹤模塊、自動操控模塊、虛擬電極生成模塊，

26、所述視覺采集模塊，被配置為采集光電潤濕微流控芯片上液滴陣列的實(shí)時圖像；

27、所述液滴檢測跟蹤模塊，被配置為獲取液滴陣列中每個液滴的當(dāng)前位置與id，以及在每個液滴的移動過程中，不斷跟蹤更新每個液滴的當(dāng)前位置；

28、所述自動操控模塊，用于接收來自用戶的輸入?yún)?shù)，并基于所述輸入?yún)?shù)調(diào)整包括液滴的運(yùn)動軌跡、速度在內(nèi)的參數(shù)；

29、所述虛擬電極生成模塊，被配置為基于所述液滴檢測跟蹤模塊的跟蹤結(jié)果，通過光學(xué)圖案投影引導(dǎo)對應(yīng)的液滴進(jìn)行并行移動。

30、本發(fā)明的有益效果在于：(1)通過集成深度學(xué)習(xí)目標(biāo)檢測與跟蹤算法，實(shí)現(xiàn)了液滴陣列的自動化跟蹤和并行操控，減少了對人工干預(yù)的需求，實(shí)現(xiàn)了液滴陣列的精準(zhǔn)跟蹤，提高了自動化程度，增強(qiáng)了液滴操控的精度與可靠性，其檢測精度高達(dá)0.956，能夠準(zhǔn)確識別液滴的邊界和中心位置；

31、(2)無需手動繪制光學(xué)圖案，系統(tǒng)能夠自動生成并動態(tài)調(diào)整光學(xué)虛擬電極圖案，降低了對操作人員的技術(shù)要求，大大簡化了液滴操控的操作流程；

32、(3)并行處理多個液滴，實(shí)現(xiàn)液滴陣列的并行處理，液滴陣列最大誤差率僅1.80％，系統(tǒng)的處理速度和實(shí)驗(yàn)通量，適用于大規(guī)模篩選和高通量分析。