本發(fā)明涉及視覺伺服系統(tǒng)，尤其涉及一種基于視覺伺服的高精度顯微操作控制方法及系統(tǒng)，適用于顯微圖像環(huán)境下的自動穿刺操作。

背景技術(shù)：

1、隨著科學(xué)技術(shù)的迅猛發(fā)展，尤其是在醫(yī)學(xué)和生物學(xué)等領(lǐng)域，微觀尺度下的高精度操作與控制需求變得尤為重要。顯微操作技術(shù)因此逐漸成為研究和應(yīng)用的焦點。顯微操作主要應(yīng)用于諸如細(xì)胞標(biāo)記、顯微注射和細(xì)胞操縱等實驗，旨在研究微觀物體的結(jié)構(gòu)和功能。由于這些操作涉及到微小尺度上的高精度控制，傳統(tǒng)的顯微操作系統(tǒng)在定位精度、運動控制和實時反饋方面仍存在許多局限?，F(xiàn)有的顯微操作系統(tǒng)在精確定位穿刺針與目標(biāo)物之間的動態(tài)接觸時，往往存在誤差，導(dǎo)致穿刺過程難以控制。這種不足在注射操作過程中表現(xiàn)得尤為明顯，尤其是當(dāng)穿刺針接觸到生物樣本的過程中，針尖與目標(biāo)區(qū)域的接觸過程復(fù)雜且易受抖動或外界干擾的影響，進(jìn)而影響穿刺操作的精度。此外，針尖的幾何形狀雖然相對簡單，但由于穿刺針的細(xì)長特性以及操作中的動態(tài)變化，傳統(tǒng)圖像處理技術(shù)難以準(zhǔn)確捕捉和分析這些細(xì)節(jié)。這導(dǎo)致在穿刺深度控制和針尖定位方面的精度難以提升。因此，針對針尖細(xì)長結(jié)構(gòu)的特點進(jìn)行技術(shù)改進(jìn)，將是提高精度的關(guān)鍵。

2、在此背景下，針對穿刺針的幾何形狀和其與操作對象接觸過程中的圖像特征進(jìn)行優(yōu)化設(shè)計，顯得尤為重要。傳統(tǒng)的圖像處理方法往往受到圖像噪點和連續(xù)性問題的困擾，導(dǎo)致圖像分析與定位的準(zhǔn)確性不高。因此，現(xiàn)有技術(shù)迫切需要一種能夠結(jié)合針尖幾何特征與接觸過程圖像特征的定位算法，以增強(qiáng)顯微操作系統(tǒng)在針尖定位和穿刺深度控制方面的能力。

技術(shù)實現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問題是提供一種基于視覺伺服的高精度顯微操作控制方法及系統(tǒng)，其結(jié)合高幀率工業(yè)相機(jī)與實時圖像處理技術(shù)，利用針尖幾何特征和動態(tài)接觸過程中的圖像特征，通過基于blob分析和優(yōu)化的定位方法，實現(xiàn)穿刺針精準(zhǔn)定位及穿刺過程的精確控制；且實時調(diào)整穿刺針運動軌跡，確保在顯微注射操作中的高精度和穩(wěn)定性。

2、本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為：一種基于視覺伺服的高精度顯微操作控制方法，包括以下具體步驟：

3、（1）、使用高幀率工業(yè)相機(jī)異步采集顯微視野中含有穿刺針和待操作對象的灰度圖像；

4、（2）、對灰度圖像按預(yù)定比例縮放，并進(jìn)行基于中值濾波的圖像增強(qiáng)處理，以提高圖像的對比度和清晰度；

5、（3）、對采集的第一幀灰度圖像應(yīng)用otsu算法，確定分割閾值t，然后對后續(xù)采集的灰度圖像使用固定的閾值t進(jìn)行二值化處理，生成含有穿刺針和待操作對象的閾值圖像；

6、（4）、對閾值圖像執(zhí)行閉運算，以消除由閾值分割引起的圖像噪點，以及填充穿刺針和待操作對象中的操作區(qū)域內(nèi)的空洞，確保圖像連續(xù)且完整；

7、（5）、通過基于blob分析的定位方法，從第一幀閾值圖像中分別獲取穿刺針的針尖初始位置和待操作區(qū)域的中心位置；

8、（6）、根據(jù)針尖初始位置和待操作區(qū)域的中心位置規(guī)劃穿刺針的運動軌跡；

9、（7）、驅(qū)動穿刺針沿規(guī)劃好的運動軌跡移動，并通過基于blob分析的定位方法實時獲取針尖位置，當(dāng)連通域分析判定針尖接觸待操作對象的外殼時，切換至優(yōu)化的定位方法，即通過行累積直方圖和像素掃描實時精確定位針尖位置；

10、（8）、反饋控制模塊通過計算針尖的軌跡誤差生成調(diào)整信號，實時調(diào)整針尖位置，直至穿刺針沿規(guī)劃的運動軌跡移動至目標(biāo)結(jié)束位置。

11、進(jìn)一步地，所述的步驟（2）中，采用雙三次插值的平滑插值方法對灰度圖像進(jìn)行縮放并保持圖像寬高比，減少像素的同時保持圖像質(zhì)量。

12、進(jìn)一步地，所述的步驟（2）中，圖像增強(qiáng)處理的關(guān)系式為：

13、，

14、其中： g( x,y)為縮放圖像在位置( x,y)處的灰度值； median_ g( x,y)為縮放圖像經(jīng)過中值濾波后在位置( x,y)處的灰度值； α為調(diào)節(jié)參數(shù)，主要調(diào)節(jié)中值濾波前后的像素灰度差值的放縮因子；round(·)為取整函數(shù)； t( x,y)為縮放圖像在位置( x,y)處理后得到像素灰度值。

15、進(jìn)一步地，所述的步驟（5）中，基于blob分析的定位方法獲取針尖初始位置的過程為：對閉運算后的第一幀閾值圖像進(jìn)行連通性分析得到3個連通域，分別是穿刺針、操作對象外殼和待操作區(qū)域，穿刺針連通域的幾何形狀近似矩形，針尖位置位于矩形的最右端，將第一幀閾值圖像的時間戳設(shè)為0，則針尖初始位置的獲取過程為：

16、針尖位置在穿刺針連通域的最右端，先確定針尖的列坐標(biāo)值：

17、，

18、其中：表示時間戳為0的第一幀閾值圖像中定位到的針尖列坐標(biāo)值； pneedle(0)表示時間戳為0的第一幀閾值圖像中穿刺針的連通域； i為像素點編號，其值為所在行的行坐標(biāo)值乘以列數(shù)，再加上所在列的列坐標(biāo)值；( r i ,c i)為像素點 i的行、列坐標(biāo)值，行、列坐標(biāo)值均從0開始；max(·)為取最大值函數(shù)，從給定的值集中選取最大值；

19、再從穿刺針連通域中截取一段含有針尖的區(qū)域，該區(qū)域的表達(dá)式為：

20、，

21、其中： d為截取寬度， psection(0)表示時間戳為0的第一幀閾值圖像中所截取的區(qū)域；

22、然后計算上述截取區(qū)域內(nèi)所有像素點行坐標(biāo)的均值作為針尖的行坐標(biāo)值：

23、，

24、其中：表示時間戳為0的第一幀閾值圖像中定位到的針尖行坐標(biāo)值；符號表示統(tǒng)計區(qū)域內(nèi)包含的像素個數(shù)；

25、基于blob分析的定位方法獲取待操作區(qū)域的中心位置的過程為：通過連通域分析得到待操作區(qū)域的連通域，計算待操作區(qū)域的質(zhì)心位置，以確定其中心位置，待操作區(qū)域的中心位置的關(guān)系式如下：

26、，

27、其中： rtarget為第一幀閾值圖像中待操作區(qū)域質(zhì)心的行坐標(biāo)值； ctarget為第一幀閾值圖像中待操作區(qū)域質(zhì)心的列坐標(biāo)值； ptarget為待操作區(qū)域的連通域。

28、進(jìn)一步地，所述的步驟（6）中，所規(guī)劃的穿刺針的運動軌跡分為三個階段：去程、停留段和回程，穿刺針針尖完整的運動軌跡包括行方向運動軌跡和列方向運動軌跡，其關(guān)系式分別為：

29、行方向運動軌跡：

30、，

31、其中：表示時間戳為 t的閾值圖像中規(guī)劃的針尖行坐標(biāo)值；為 τ時刻去程的行方向瞬時速度；為 τ時刻回程的行方向瞬時速度； t r為去程行方向運動時間； t c為去程列方向運動時間； t stay為停留時間； t c ＇為回程列方向運動時間； t r ＇為回程行方向運動時間；

32、列方向運動軌跡：

33、，

34、其中：表示時間戳為 t的閾值圖像中規(guī)劃的針尖列坐標(biāo)值；為 τ時刻去程的列方向瞬時速度；為 τ時刻回程的列方向瞬時速度。

35、進(jìn)一步地，所述的步驟（7）中，當(dāng)通過連通域分析確定連通域數(shù)量為3時，連通域包括穿刺針、待操作對象外殼和待操作區(qū)域，即針尖未接觸到待操作對象的外殼，使用基于blob分析的定位方法實時獲取針尖的位置；

36、當(dāng)通過連通域分析確定連通域數(shù)量為2時，穿刺針和待操作對象的外殼構(gòu)成一個連通域，即穿刺針接觸待操作對象的外殼但未接觸待操作區(qū)域，使用優(yōu)化的定位方法實時獲取針尖位置；

37、當(dāng)通過連通域分析確定連通域數(shù)量為1時，穿刺針、待操作對象的外殼及待操作區(qū)域構(gòu)成一個連通域，即穿刺針接觸待操作區(qū)域，使用優(yōu)化的定位方法獲取針尖的行坐標(biāo)值，針尖的列坐標(biāo)值與該時刻所規(guī)劃的運動軌跡的列坐標(biāo)值一致。

38、進(jìn)一步地，所述的步驟（7）中，優(yōu)化的定位方法具體為：

39、對閾值圖像進(jìn)行行累積像素計數(shù)操作，即對所有像素點的行坐標(biāo)進(jìn)行統(tǒng)計，記錄每個行坐標(biāo)值在圖像中出現(xiàn)的次數(shù)，得到行累積直方圖，行累積像素計數(shù)的關(guān)系式為：

40、，

41、其中： m為行的索引； s( t,m)表示時間戳為 t的閾值圖像中第 m行中非零像素的累積和； i( t,i)表示時間戳為 t的閾值圖像中像素點 i的像素值，像素值為0或1； w為閾值圖像的寬度，即每行的像素數(shù)；

42、在行累積直方圖中，當(dāng)累積和開始迅速增加的第一個行坐標(biāo)值，以及迅速減少結(jié)束的最后一個行坐標(biāo)值，分別表示穿刺針在行方向上占據(jù)的最小和最大行坐標(biāo)值；選取行累積直方圖中高位波動段對應(yīng)的所有行坐標(biāo)值，計算這些行坐標(biāo)值的平均值，得到針尖的行坐標(biāo)值，針尖的行坐標(biāo)關(guān)系式為：

43、，

44、其中：表示時間戳為 t的閾值圖像中定位到的針尖行坐標(biāo)值；max s( t)表示時間戳為 t的閾值圖像中所有行中累積和的最大值； o為高位波動段的振幅； h為閾值圖像的高度，即每列的像素數(shù)；i(·)為指示函數(shù)，當(dāng)條件為真時為1，否則為0；

45、以針尖的行坐標(biāo)所在的行為掃描行，在閾值圖像中沿掃描行從左向右逐像素掃描，找到第一個像素值從1下降到0的位置，并將該位置的列坐標(biāo)值確定為針尖的列坐標(biāo)值，針尖的列坐標(biāo)值關(guān)系式為：

46、，

47、其中：表示時間戳為 t的閾值圖像中定位到的針尖列坐標(biāo)值； c i+1為像素點 i+1的列坐標(biāo)值；min(·)為取最小值函數(shù)，從給定的值集中選取最小值。

48、進(jìn)一步地，所述的步驟（8）中，針尖軌跡誤差的計算包含對行方向誤差和列方向誤差的計算，行方向誤差和列方向誤差的關(guān)系式分別為：

49、，

50、其中： e r( t)表示時間戳為 t的閾值圖像中行方向誤差； e c( t)表示時間戳為 t的閾值圖像中列方向誤差。

51、一種基于視覺伺服的高精度顯微操作控制系統(tǒng)，包括圖像獲取模塊、圖像處理模塊、閾值分割模塊、閉運算處理模塊、位置信息確定模塊、運動軌跡規(guī)劃模塊、反饋控制模塊和顯微操作執(zhí)行模塊；

52、所述的圖像獲取模塊使用高幀率工業(yè)相機(jī)異步采集顯微視野中的灰度圖像，其用于實時捕捉穿刺針和待操作對象的視覺信息，為后續(xù)處理提供數(shù)據(jù)；

53、所述的圖像處理模塊用于對含有穿刺針和待操作對象的灰度圖像進(jìn)行預(yù)處理，包括圖像縮放、圖像增強(qiáng)，以提高圖像的對比度和清晰度，確保后續(xù)的圖像分析更加準(zhǔn)確；

54、所述的閾值分割模塊用于對第一幀灰度圖像使用otsu方法確定最優(yōu)分割閾值t，對后續(xù)的灰度圖像，直接應(yīng)用該固定的閾值t進(jìn)行二值化處理，生成含有穿刺針和待操作對象的閾值圖像；

55、所述的閉運算處理模塊通過閉運算處理消除閾值圖像中的噪點和空洞，確保穿刺針和待操作區(qū)域的輪廓在圖像中連續(xù)完整，為后續(xù)的定位和分析提供更干凈的圖像；

56、所述的位置信息確定模塊對第一幀閾值圖像通過基于blob分析的定位方法獲取穿刺針的針尖初始位置和待操作區(qū)域的中心位置；并通過連通域分析決定后續(xù)幀閾值圖像中針尖的定位方法，并實時定位針尖位置；

57、所述的運動軌跡規(guī)劃模塊根據(jù)針尖初始位置和待操作區(qū)域的中心位置規(guī)劃穿刺針的運動軌跡，以實現(xiàn)精確的穿刺操作；

58、所述的反饋控制模塊用于計算穿刺針的軌跡誤差，并生成穿刺針的運動軌跡調(diào)整信號，發(fā)送給顯微操作執(zhí)行模塊；

59、所述的顯微操作執(zhí)行模塊用于驅(qū)動穿刺針沿規(guī)劃的運動軌跡移動，并根據(jù)反饋控制模塊的調(diào)整信號，執(zhí)行具體的顯微操作。

60、與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點是：

61、（1）、定位精度高：本發(fā)明通過結(jié)合針尖的幾何形狀和待操作對象接觸過程中的圖像特征，采用基于blob分析和行累積直方圖的優(yōu)化定位方法，能夠在顯微操作過程中實時精確獲取針尖的位置信息，特別是在針尖與待操作對象發(fā)生接觸時，定位精度顯著提高，減少了由于針尖位置誤差導(dǎo)致的操作失誤。

62、（2）、穿刺過程控制精確：本發(fā)明通過實時圖像分析與反饋控制，自動調(diào)整針尖的運動軌跡，相比傳統(tǒng)顯微操作系統(tǒng)，避免了人工干預(yù)和視覺誤差導(dǎo)致的穿刺過程的穿刺針徑向抖動問題，確保穿刺針能夠在最優(yōu)位置進(jìn)入待操作對象，降低了對細(xì)胞或胚胎等待操作對象的機(jī)械損傷。

63、（3）、實時反饋與動態(tài)調(diào)整：系統(tǒng)通過高幀率工業(yè)相機(jī)捕捉實時圖像，并結(jié)合反饋控制模塊對針尖位置和軌跡進(jìn)行動態(tài)調(diào)整。尤其在針尖與操作對象接觸后，能夠根據(jù)圖像特征的變化，快速切換至優(yōu)化定位方法，實時修正針尖的運動軌跡，避免因外力或系統(tǒng)誤差導(dǎo)致的針尖偏移，確保操作的穩(wěn)定性和精確性。

64、（4）、高效的圖像處理：本發(fā)明通過圖像縮放技術(shù)，有效減少了灰度圖像的像素數(shù)量，從而降低了后續(xù)運算的復(fù)雜度，提高了處理效率。此外，otsu算法僅在第一幀灰度圖像上執(zhí)行一次，用于獲取分割閾值t，并將該閾值應(yīng)用于后續(xù)圖像的二值化處理，避免了每一幀灰度圖像都需重新計算閾值的繁瑣步驟，從而大幅提升了系統(tǒng)的運行效率和實時性。