本發(fā)明涉及自主操作手術(shù)機器人，具體地，涉及一種適用于腔鏡手術(shù)的手術(shù)機器人自主規(guī)劃方法及系統(tǒng)。

背景技術(shù)：

1、手術(shù)機器人是一種用于外科或腔鏡手術(shù)的先進醫(yī)療設(shè)備，能夠在患者體內(nèi)進行各種精細(xì)操作，它可以充分發(fā)揮在體內(nèi)復(fù)雜環(huán)境下的高穩(wěn)定性、靈活操作性、運動精確性等優(yōu)勢，大大降低外科醫(yī)生手術(shù)強度，減少誤操作率，提升體內(nèi)手術(shù)安全性。手術(shù)機器人一直都是世界各國重點投入的方向，其中最著名的是da?vinci手術(shù)機器人系統(tǒng)。中國的手術(shù)機器人發(fā)展集中于近十年：如微創(chuàng)公司研制的“圖邁”手術(shù)機器人；術(shù)銳公司的單孔腹腔鏡機器人；上海交通大學(xué)研發(fā)的“神刀華佗”微創(chuàng)手術(shù)機器人等。

2、近年來針對手術(shù)機器人自主化進程的研究成為了新的研究熱點，國家相關(guān)部門聯(lián)合頒布《“機器人+”應(yīng)用行動實施方案》，提出需健全高端醫(yī)療器械標(biāo)準(zhǔn)體系，推進醫(yī)用機器人自主化的發(fā)展。然而，目前的體內(nèi)手術(shù)機器人系統(tǒng)多為主從式控制方式，即醫(yī)師通過遠(yuǎn)程操縱桿對手術(shù)機器人進行遙操作，而非手術(shù)機器人實現(xiàn)自主規(guī)劃操作，自動化程度低，沒有充分發(fā)揮手術(shù)機器人的優(yōu)勢。手術(shù)機器人自主化發(fā)展是未來的趨勢，其操縱的高精度性以及獲取反饋信息的便利性具有巨大的應(yīng)用優(yōu)勢，因此研究手術(shù)機器人自主化規(guī)劃操作是必要的。

3、手術(shù)機器人的自主規(guī)劃依賴于先驗醫(yī)師的操作經(jīng)驗學(xué)習(xí)以及知識遷移技術(shù)，旨在讓機器人學(xué)習(xí)專家演示范例，通過構(gòu)造知識圖譜、在線指令快速生成等技術(shù)實現(xiàn)不同環(huán)境的機器人體內(nèi)自主化規(guī)劃操作軌跡。目前主流機器人自主規(guī)劃方法主要基于軌跡規(guī)劃控制與醫(yī)技經(jīng)驗學(xué)習(xí)兩類?，F(xiàn)有的規(guī)劃控制方法大多基于任務(wù)關(guān)鍵航路點與視覺伺服技術(shù)，而醫(yī)技經(jīng)驗學(xué)習(xí)常采用高斯混合模型或馬爾可夫決策，因為方法靈活高效，因此是近年來自主化手術(shù)規(guī)劃操作的重要方法。然而，現(xiàn)有的方法遷移與泛化效果欠佳，并且難以處理體內(nèi)動態(tài)復(fù)雜環(huán)境，因此仍需進一步的改進。

4、現(xiàn)有專利文獻cn114129263b公開了一種手術(shù)機器人路徑規(guī)劃方法、系統(tǒng)、設(shè)備及存儲介質(zhì)，其方法包括：獲取待操作對象在目標(biāo)區(qū)域的三維影像模型，并基于預(yù)設(shè)的目標(biāo)點和靶點，制定一條或多條操作路徑；進行機器人的術(shù)中注冊；對每條操作路徑進行演算，以判斷機器人是否對所有操作路徑可規(guī)劃，若否，則通過調(diào)整待操作對象，直至所有操作路徑可規(guī)劃，并將可規(guī)劃的所有操作路徑發(fā)送至機器人的控制器。該專利的路徑規(guī)劃依賴三維影像模型，在應(yīng)對復(fù)雜手術(shù)環(huán)境和學(xué)習(xí)專家經(jīng)驗方面較弱，自動化程度和靈活性相對不足。

5、基于此，為了實現(xiàn)手術(shù)機器人在復(fù)雜動態(tài)場景下依然實現(xiàn)安全高效自主的在線規(guī)劃，需要研究環(huán)境拓?fù)浔碚鳌⑷蝿?wù)技能學(xué)習(xí)與在線知識遷移一體化方法。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種適用于腔鏡手術(shù)的手術(shù)機器人自主規(guī)劃方法。

2、根據(jù)本發(fā)明提供的一種適用于腔鏡手術(shù)的手術(shù)機器人自主規(guī)劃方法，包括如下步驟：

3、步驟s1，提取先驗醫(yī)師操作視頻流的多元耦合信息，包括：通過設(shè)計特征提取網(wǎng)絡(luò)與特征融合網(wǎng)絡(luò)將多元耦合信息進行低維隱空間流形嵌入，實現(xiàn)特征編碼，并構(gòu)建先驗醫(yī)師操作圖譜；

4、步驟s2，采用相似度量孿生網(wǎng)絡(luò)，將在線提取獲得的當(dāng)前幀的低維特征與先驗醫(yī)師操作圖譜中的低維編碼逐個進行相似度遍歷對比，得到相似度量值，并抽取相似度最高的先驗編碼特征所對應(yīng)的軌跡；

5、步驟s3，根據(jù)相似度量值，在線輸出規(guī)劃軌跡。

6、優(yōu)選地，多元耦合信息包括術(shù)野視覺空間形態(tài)特征和機器人運動學(xué)形態(tài)特征，步驟s1包括如下子步驟：

7、步驟s1.1，創(chuàng)建術(shù)野視覺空間形態(tài)特征，包括：通過以腔鏡圖像作為引導(dǎo)輸入信息，基于智能分割和三維重建算法，構(gòu)建術(shù)野中的創(chuàng)口空間形態(tài)，通過采用卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)處理單幀圖片輸入與采用遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)處理時間序列，完成多幀高維圖像的特征提?。?/p>

8、步驟s1.2，創(chuàng)建機器人運動學(xué)形態(tài)特征，包括：借助變分自編碼器神經(jīng)網(wǎng)絡(luò)構(gòu)架與自監(jiān)督學(xué)習(xí)機制，將機器人構(gòu)型姿態(tài)與機器人軌跡張量表征為低維隱空間描述子；

9、步驟s1.3，將視覺特征與運動學(xué)特征融合，包括：采用注意力機制采用注意力機制對步驟s1.1和步驟s1.2所得到的特征向量進行融合，完成視覺與運動學(xué)異構(gòu)信息的特征融合，最大化地保留場景特征與行為模式間的關(guān)聯(lián)關(guān)系，實現(xiàn)多模態(tài)表征與融合，即達到空間維度上的視覺和運動學(xué)上的融合。

10、優(yōu)選地，步驟s1.1中，術(shù)野視覺空間形態(tài)特征表示為：

11、

12、其中，代表了輸入的多幀圖片序列，n為序列步長，h為單張圖片的高度，h為單張圖片的高度，c為單張圖片的通道數(shù)，為視覺特征提取網(wǎng)絡(luò)的輸出特征向量，s代表輸出步長，fimg(·)代表非線性視覺特征提取網(wǎng)絡(luò)。

13、優(yōu)選地，步驟s1.2中，機器人運動學(xué)形態(tài)特征表示為：

14、

15、其中，代表了機器人構(gòu)型姿態(tài)張量，p為手術(shù)機器人自由度，代表機器人軌跡張量，為運動學(xué)特征提取網(wǎng)絡(luò)的輸出特征向量，m為特征向量的維數(shù)，fpose(·)代表非線性運動學(xué)特征提取網(wǎng)絡(luò)。

16、優(yōu)選地，步驟s1.3中，以視覺特征作為查詢值，運動學(xué)形態(tài)特征作為鍵值，采用計算兩個張量的余弦相似度：

17、

18、對相似度進行縮放并采用softmax函數(shù)進行歸一化：

19、ai＝softmax(similarityi)

20、最后，根據(jù)權(quán)重系數(shù)加權(quán)獲得注意力值，以完成視覺特征和運動學(xué)特征的融合：

21、

22、完成視覺與運動學(xué)異構(gòu)信息的特征融合，整體網(wǎng)絡(luò)架構(gòu)輸入輸出記為：

23、yi＝ffusion(xi)

24、其中，ffusion(·)代表非線性特征提取與特征融合網(wǎng)絡(luò)，xi包含yi是輸出的整體低維編碼。

25、優(yōu)選地，步驟2包括如下子步驟：

26、步驟s2.1，訓(xùn)練相似度量孿生神經(jīng)網(wǎng)絡(luò)，得到訓(xùn)練后的孿生神經(jīng)網(wǎng)絡(luò)；

27、步驟s2.2，在線度量當(dāng)前幀的低維特征與先驗醫(yī)師操作圖譜的編碼特征，得到相似度量值，并抽取相似度最高的先驗編碼特征所對應(yīng)的軌跡；

28、當(dāng)手術(shù)機器人在線作業(yè)時，實時觀測當(dāng)前場景圖像和機器人構(gòu)型狀態(tài)，輸入到訓(xùn)練后的孿生神經(jīng)網(wǎng)絡(luò)進行相似度判斷，得到相似度量值，若相似度量高于預(yù)設(shè)的閾值，則根據(jù)相似度量值的大小從步驟s1生成的先驗醫(yī)師操作圖譜中，抽取與當(dāng)前情況相對應(yīng)的“步驟”節(jié)點下具備最相似位姿特征的片段。

29、優(yōu)選地，步驟s2.1包括以下步驟：

30、步驟s2.1.1，從預(yù)先采集的數(shù)據(jù)中隨機選取兩組時間序列，采用動態(tài)時間歸整設(shè)計歸一化算法，操作如下：

31、對于兩組不同步長輸入的時間序列x1和x2，二者步長分別為n1和n2，先計算二者的歐氏距離：

32、d(i，j)＝||x1(i)-x2(j)||，i＝1，2，......，n1，j＝1，2，......，n2

33、接著，根據(jù)遞歸公式計算累積距離矩陣：

34、c(i，j)＝d(i，j)+min{c(i-1，j)，c(i，j-1)，c(i-1，j-1)}

35、然后，從累積距離矩陣的右下角開始回溯到左上角，找到一條累積距離最小的路徑，路徑為兩個不同步長的時間序列之間的最佳對齊路徑，累積距離矩陣c(i，j)的右下角元素為兩個時間序列之間的dtw距離，此后，將兩個時間片段進行歸一化處理；

36、步驟s2.1.2，建立具有共享權(quán)重的cnn-mlp孿生神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，將經(jīng)步驟s2.1.1歸一化處理后的數(shù)據(jù)輸入至步驟s1的特征提取網(wǎng)絡(luò)得到特征編碼，并將特征編碼輸入孿生神經(jīng)網(wǎng)絡(luò)進行解碼；

37、

38、其中，ti∈se(3)代表在當(dāng)前特征編碼下與目標(biāo)點的估計的相對位姿，ri是估計旋轉(zhuǎn)矩陣，ti是估計平移向量，fsnn(·)代表具有共享權(quán)重的cnn-mlp非線性孿生神經(jīng)網(wǎng)絡(luò)；

39、步驟s2.1.3，利用預(yù)先采集的手術(shù)機器人末端與目標(biāo)位置的相對位姿作為真實值進行監(jiān)督訓(xùn)練，采用均方根誤差損失函數(shù)計算歐幾里得距離，引導(dǎo)網(wǎng)絡(luò)進行反向傳播，進而獲得判斷相對位姿相似度的能力，損失函數(shù)設(shè)計如下：

40、

41、其中α是大于0的權(quán)重常數(shù)，是真實旋轉(zhuǎn)矩陣，是真實平移向量。

42、優(yōu)選地，步驟3包括如下步驟：

43、步驟s3.1，訓(xùn)練專家軌跡解碼網(wǎng)絡(luò)，得到訓(xùn)練后的專家軌跡解碼網(wǎng)絡(luò)；

44、步驟s3.2，基于相似度量值，進行局部軌跡生成，

45、局部軌跡生成包括如下步驟：

46、在手術(shù)機器人在線運行時，獲取步驟s2.2中得到的相似度量值，設(shè)置最低匹配閾值δ，將相似度量值與先驗醫(yī)師操作圖譜進行度量匹配；

47、若相似度量值≥δ，則從先驗醫(yī)師操作圖譜中抽取對應(yīng)的軌跡，將軌跡作為局部軌跡交給手術(shù)機器人執(zhí)行，實現(xiàn)快速在線的軌跡規(guī)劃；

48、若相似度量值＜δ，則通過步驟s3.1中訓(xùn)練后的專家軌跡解碼網(wǎng)絡(luò)，將當(dāng)前幀作為輸入，在線獲取局部軌跡，再將生成的局部軌跡交給手術(shù)機器人執(zhí)行，實現(xiàn)在線軌跡規(guī)劃。

49、優(yōu)選地，步驟s3.1包括如下步驟：

50、步驟s3.1.1，從先驗醫(yī)師操作圖譜中，抽取低維特征編碼及其對應(yīng)的軌跡信息，通過動態(tài)時間歸整歸一化對齊編碼特征；

51、步驟s3.1.2，建立基于擴散模型的神經(jīng)網(wǎng)絡(luò)解碼器，神經(jīng)網(wǎng)絡(luò)解碼器以反饋信息為輸入，構(gòu)造多元耦合信息到局部軌跡的映射，通過先對低維特征編碼進行加噪然后再去噪的方法計算出估計專家軌跡的概率分布，再通過采樣的方法生成局部軌跡數(shù)據(jù)集，擴散模型進行專家軌跡生成的表達式如下：

52、y0＝y(tǒng)i

53、yγ＝fdiffuse(yγ-1)，γ＝1，2，......，γ

54、

55、

56、其中fdiffuse(·)代表加噪過程，fdenoise(·)代表非線性去噪函數(shù)，γ表示總的去噪步數(shù)，采用噪聲估計損失函數(shù)引導(dǎo)去噪網(wǎng)絡(luò)反向傳播更新網(wǎng)絡(luò)參數(shù)：

57、

58、步驟s3.1.3，建立mlp神經(jīng)網(wǎng)絡(luò)對采樣結(jié)果選取概率似然最高的局部軌跡，步驟s3.1.2輸出的局部軌跡集合滿足一個概率分布yi～p(y)，i＝1，2，......，k，為獲取最優(yōu)的采樣結(jié)果，訓(xùn)練mlp網(wǎng)絡(luò)推導(dǎo)擴散模型各項采樣輸出對應(yīng)的概率似然：

59、ei＝fsample(yi)，i＝1，2，......，k

60、其中fsample(·)代表推導(dǎo)最優(yōu)概率似然的非線性神經(jīng)網(wǎng)絡(luò)函數(shù)，并通過選取最大的ei所對應(yīng)的軌跡作為最優(yōu)軌跡：

61、ybest＝argmaxiei，，i＝1，2，......，k

62、本發(fā)明還提供了一種一種適用于腔鏡手術(shù)的手術(shù)機器人自主規(guī)劃系統(tǒng)，包括：

63、模塊s1，提取先驗醫(yī)師操作視頻流的多元耦合信息，包括：通過設(shè)計特征提取網(wǎng)絡(luò)與特征融合網(wǎng)絡(luò)將多元耦合信息進行低維隱空間流形嵌入，實現(xiàn)特征編碼，并構(gòu)建先驗醫(yī)師操作圖譜；

64、模塊s2，采用相似度量孿生網(wǎng)絡(luò)，將在線提取獲得的當(dāng)前幀的低維特征與先驗醫(yī)師操作圖譜中的低維編碼逐個進行相似度遍歷對比，得到相似度量值，并抽取相似度最高的先驗編碼特征；

65、模塊s3，根據(jù)相似度量值，在線輸出規(guī)劃軌跡。

66、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果：

67、1.本發(fā)明在解碼規(guī)劃任務(wù)中，為多元耦合信息尋找最佳低維流形嵌入編碼，并通過對不同場景進行動態(tài)時間歸整，實現(xiàn)時間步長的對齊。同時，編碼時間步長信息與規(guī)劃作業(yè)空間結(jié)構(gòu)信息，實現(xiàn)時間-空間編碼配準(zhǔn)，最大程度地保留了多元信息特征，實現(xiàn)較高程度的信息融合。

68、2.本發(fā)明能進一步提升手術(shù)機器人的自主性，賦予手術(shù)機器人自主完成術(shù)中在線規(guī)劃的能力。手術(shù)機器人學(xué)習(xí)先驗醫(yī)師示教數(shù)據(jù)，并構(gòu)造針對復(fù)雜手術(shù)規(guī)劃任務(wù)的先驗醫(yī)師操作圖譜，該圖譜包含場景及動作的低維流形編碼信息以及軌跡示教信息，便于后續(xù)的軌跡生成。當(dāng)手術(shù)機器人在術(shù)中接收實時反饋后，會與先驗醫(yī)師操作圖譜進行在線的場景度量，此后基于度量生成局部軌跡，從而實現(xiàn)手術(shù)機器人的自主規(guī)劃任務(wù)，提升了在線規(guī)劃的智能性與靈活性。與現(xiàn)有的傳統(tǒng)軌跡規(guī)劃方式相比，從先驗醫(yī)師操作圖譜抽取軌跡將大大提升局部軌跡規(guī)劃的效率。