本申請涉及內窺鏡影像分析領域，尤其涉及一種內窺鏡影像智能分析方法及系統(tǒng)。

背景技術：

目前的交互診療系統(tǒng)僅僅將系統(tǒng)重點放在交互式上，醫(yī)務工作人員在進行診療工作時，需付出較大的時間成本，未能真正方便醫(yī)生和患者。而診療系統(tǒng)依賴于醫(yī)務工作人員的從業(yè)經驗，在不同的醫(yī)療經驗層次下可能會導致誤診漏診。且目前交互式診療系統(tǒng)未能與醫(yī)生專業(yè)經驗使用起來，未能真正將專業(yè)經驗作為診療的一個手段，未能起到輔助診療的作用。

現(xiàn)有技術中，目前交互式系統(tǒng)主要集中在信息通信和信息采集上，不能實現(xiàn)具有信息交互功能的交互式內鏡影像智能分析。

技術實現(xiàn)要素：

本申請?zhí)峁┮环N內窺鏡影像智能分析方法及系統(tǒng)，以解決相關技術中的不足。

根據本申請實施例的第一方面，提供一種內窺鏡影像智能分析方法，包括以下步驟：

獲取影像以及與所述影像關聯(lián)的輔助信息；

分析所述影像并對存在病灶區(qū)的所述影像進行分類標記；

提取所述影像的病灶區(qū)并與對應影像分類標記的病灶特征數(shù)據庫對比，輸出針對于所述病灶區(qū)的病灶特征信息；其中，所述病灶區(qū)為自動獲取所述影像的病灶區(qū)和/或通過交互方式選取的病灶區(qū)；

接收所述針對于所述病灶區(qū)的病灶特性信息并顯示。

進一步地，所述獲取影像以及與所述影像關聯(lián)的輔助信息，包括：

獲取圖像設備傳輸?shù)挠跋窕蛞曨l流以及與所述影像或視頻流關聯(lián)的設備信息；

對獲取的所述圖像或視頻流進行預處理。

進一步地，所述分析所述影像并對存在病灶區(qū)的所述影像進行分類標記，包括：

分析所述影像，判斷所述影像是否存在病灶區(qū)以及確定存在病灶區(qū)的所述影像對應病灶特征數(shù)據庫中一個或多個。

進一步地，所述提取所述影像的病灶區(qū)并與對應影像分類標記的病灶特征數(shù)據庫對比，輸出針對于所述病灶區(qū)的病灶特征信息，包括：

對所述影像可能存在病灶的區(qū)域進行滑動窗口掃描，將掃描獲取得到的圖像預作為病灶區(qū)，和/或獲取通過交互方式選取的病灶區(qū)；

提取所述影像上的病灶區(qū)和/或通過交互方式選取的病灶區(qū)；

分析提取的所述病灶區(qū)并與對應影像分類標記的病灶特征數(shù)據庫對比，輸出針對于所述病灶區(qū)的病灶特征信息。

進一步地，所述的內窺鏡影像智能分析方法還包括：

接收所述針對于所述病灶區(qū)的病灶特性信息以及通過交互方式輸入的病灶特征信息，若所述病灶特征信息未存在病灶特征數(shù)據庫中，則將該病灶特征信息存入作為新增病灶特征信息病灶特征自學習數(shù)據庫；

在所述自學習數(shù)據庫中的新增病灶特征信息達到預設閾值時，將該病灶特征信息作為病灶特征自學習數(shù)據庫的訓練要素。

根據本申請實施例的第一方面，提供一種內窺鏡影像智能分析系統(tǒng)，包括：

獲取模塊，用于獲取影像以及與所述影像關聯(lián)的輔助信息；

篩選模塊，用于分析所述影像并對存在病灶區(qū)的所述影像進行分類標記；

處理模塊，用于提取所述影像的病灶區(qū)并與對應影像分類標記的病灶特征數(shù)據庫對比，輸出針對于所述病灶區(qū)的病灶特征信息；其中，所述病灶區(qū)為自動獲取所述影像的病灶區(qū)和/或通過交互方式選取的病灶區(qū)；

顯示模塊，用于接收所述針對于所述病灶區(qū)的病灶特性信息并顯示。

進一步地，所述獲取模塊包括：

獲取子單元，用于獲取圖像設備傳輸?shù)挠跋窕蛞曨l流以及與所述影像或視頻流關聯(lián)的設備信息；

預處理單元，用于對獲取的所述圖像或視頻流進行預處理。

進一步地，所述篩選模塊包括：

篩選子單元，用于分析所述影像，判斷所述影像是否存在病灶區(qū)以及確定存在病灶區(qū)的所述影像對應病灶特征數(shù)據庫中一個或多個。

進一步地，所述處理模塊包括：

選取單元，用于對所述影像可能存在病灶的區(qū)域進行滑動窗口掃描，將掃描獲取得到的圖像預作為病灶區(qū)，和/或獲取通過交互方式選取的病灶區(qū)；

提取單元，用于提取所述影像上的病灶區(qū)和/或通過交互方式選取的病灶區(qū)；

對比輸出單元，用于分析提取的所述病灶區(qū)并與對應影像分類標記的病灶特征數(shù)據庫對比，輸出針對于所述病灶區(qū)的病灶特征信息。

進一步地，所述的內窺鏡影像智能分析系統(tǒng)還包括：

自學習模塊，用于接收所述針對于所述病灶區(qū)的病灶特性信息以及通過交互方式輸入的病灶特征信息，若所述病灶特征信息未存在病灶特征數(shù)據庫中，則將該病灶特征信息存入作為新增病灶特征信息病灶特征自學習數(shù)據庫；

在所述自學習數(shù)據庫中的新增病灶特征信息達到預設閾值時，將該病灶特征信息作為病灶特征自學習數(shù)據庫的訓練要素。

本申請的實施例提供的技術方案可以包括以下有益效果：

本申請通過獲取影像并對影像的病灶區(qū)和通過交互選取的病灶區(qū)進行處理，可判斷影像中包含的疾病特征信息，為醫(yī)療診斷提供了輔助診斷信息，能夠解決因基層醫(yī)生專業(yè)經驗不足導致的漏診斷、誤診。

附圖說明

圖1是本申請一實施例中內窺鏡影像智能分析方法的流程圖。

圖2是本申請又一實施例中內窺鏡影像智能分析方法的流程圖。

圖3是本申請另一實施例中一種內窺鏡影像智能分析方法的流程圖。

圖4是本申請一實施例中一種內窺鏡影像智能分析系統(tǒng)的模塊圖。

具體實施方式

這里將詳細地對示例性實施例進行說明，其示例表示在附圖中。下面的描述涉及附圖時，除非另有表示，不同附圖中的相同數(shù)字表示相同或相似的要素。以下示例性實施例中所描述的實施方式并不代表與本申請相一致的所有實施方式。相反，它們僅是與如所附權利要求書中所詳述的、本申請的一些方面相一致的裝置和方法的例子。

在本申請使用的術語是僅僅出于描述特定實施例的目的，而非旨在限制本申請。在本申請和所附權利要求書中所使用的單數(shù)形式的“一種”、“所述”和“該”也旨在包括多數(shù)形式，除非上下文清楚地表示其他含義。還應當理解，本文中使用的術語“和/或”是指并包含一個或多個相關聯(lián)的列出項目的任何或所有可能組合。

圖1是本申請一實施例中內窺鏡影像智能分析方法的流程圖。如圖1所示，所示內窺鏡影像智能分析方法包括以下步驟：

在步驟101中，獲取影像以及與所述影像關聯(lián)的輔助信息。

獲取待處理的影像，該影像可以是醫(yī)院pacs(picturearchivingandcommunicationsystems的縮寫，意為影像歸檔和通信系統(tǒng))設備的圖片、或者移動設備拍攝的圖像。而所述影像關聯(lián)的輔助信息可以是記錄數(shù)據來源的設備信息，也可以是醫(yī)務工作人員添加的其他信息，該輔助信息可以作為分類所述影像的依據；當然，分類所述影像的方式方法多種多樣，本申請在此不做限制。

在步驟102中，分析所述影像并對存在病灶區(qū)的所述影像進行分類標記。

在該步驟中，可先分析所述影像是否存在病灶區(qū)，并根據判斷結果將存在病灶區(qū)的所述影像進行分類標記。該分類標記用于作為選擇與所述影像對比的病灶特征數(shù)據庫。

在步驟103中，提取所述影像的病灶區(qū)并與對應影像分類標記的病灶特征數(shù)據庫對比，輸出針對于所述病灶區(qū)的病灶特征信息；其中，所述病灶區(qū)為自動獲取所述影像的病灶區(qū)和/或通過交互方式選取的病灶區(qū)。

在該步驟中，自動獲取病灶區(qū)可以為醫(yī)務工作人員提供初步診斷對比信息，而通過交互方式選取病灶區(qū)可進一步精確初步診斷對比信息。其中通過交互方式選取病灶區(qū)可以是醫(yī)務工作人員(也可以是其他操作人員)通過操作顯示界面框選出的所述影像的病灶區(qū)。與所述影像對比的病灶特征數(shù)據庫可以有多個，例如可以建立云端服務器，該云端服務器包括多種神經網絡組成的數(shù)據庫，每種或多種神經網絡對應一種病理的數(shù)據庫，該云端服務器存儲的病灶特征數(shù)據庫可以包括圖像信息、與圖像信息關聯(lián)的病灶特征信息等，例如，胃內的潰瘍或腫瘤圖像以及潰瘍程度、治療方案等。將所述影像的病灶區(qū)與云端服務器中的數(shù)據庫對比，即可得出或判斷出所述影像包含的病灶信息。該步驟可為醫(yī)務工作人員提供輔助信息，提示醫(yī)生目前系統(tǒng)采集的到的信息，可能存在的疾病特征，解決因基層醫(yī)生專業(yè)經驗不足導致的漏診、誤診的可能。

在步驟104中，接收所述針對于所述病灶區(qū)的病灶特性信息并顯示。

在該步驟中，可以接收上述影像包含的病灶信息并顯示在顯示設備上，以便醫(yī)務工作人員查閱，或通過其他方式予以顯示，例如打印。

由上述實施例可知，本申請通過獲取影像并對影像的病灶區(qū)和通過交互選取的病灶區(qū)進行處理，可判斷影像中包含的疾病特征信息，為醫(yī)療診斷提供了輔助診斷信息，能夠解決因基層醫(yī)生專業(yè)經驗不足導致的漏診斷、誤診。

圖2是本申請又一實施例中內窺鏡影像智能分析方法的流程圖。下面將結合圖2所述的流程圖以內窺鏡圖像的輔助分析對本申請作進一步地說明。如圖2所示，所述內窺鏡影像智能分析方法包括以下步驟。

在步驟201中，獲取影像及其關聯(lián)信息。

獲取圖像設備傳輸?shù)挠跋窕蛞曨l流以及與所述影像或視頻流關聯(lián)的設備信息。例如，面向醫(yī)院pacs設備的導入圖片，面向移動設備的視像拍攝組件獲取的影像，或者面向視頻流的圖片截取組件等獲取得到待處理的圖片。所述影像關聯(lián)的輔助信息可以是記錄數(shù)據來源的設備信息，也可以是醫(yī)務工作人員添加的其他信息，如病人癥狀等，該輔助信息可以作為分類所述影像的依據；當然，分類所述影像的方式方法多種多樣，本申請在此不做限制。

在步驟202中，預處理影像。

即對步驟101中獲取的待處理圖像或視頻流進行預處理。該待處理圖像或視頻流可以交互的顯示在顯示設備上，操作人員可以利用該顯示設備的觸摸組件對視頻流截取圖像，然后進行包括旋轉、色溫色差的調整等預處理，以完成低性能的本地圖片處理。然后經過預處理的影像科通過壓縮打包的方式利用遠程通信模塊發(fā)送至云端服務器或本地服務器進行初篩選診斷結果。其中，遠程通信模塊包括加密單元、推送單元和斷線重連單元；加密單元可實現(xiàn)壓縮包加密功能，推送單元可實現(xiàn)遠程推送功能，斷線重連單元可實現(xiàn)高可靠性的本地信息通信要求，可以實現(xiàn)高安全性的遠程通信需求。遠程通信模塊還包括信息接收模塊，用以接收云端服務器或本地服務器所提供的信息。

在步驟203中，初篩選診斷結果。

在該步驟中，分析所述影像，判斷所述影像是否存在病灶區(qū)以及確定存在病灶區(qū)的所述影像對應病灶特征數(shù)據庫中一個或多個。

可對上述步驟中的壓縮包進行解壓，讀取相應的設備信息，分配具體處理網絡(例如云端服務器的某一對應內窺鏡圖像的神經網絡)，用于疾病的初步篩選。在一實施例中，可進行所述影像的有無疾病分類，接收操作人員的交互信息，如病灶分割信息，輔助診斷信息等。然后根據病灶分割信息、輔助診斷信息等確定所述影像對應的神經網絡數(shù)據庫，將所述影像進行分類(例如內窺鏡圖像及其對應的分類)，并與神經網絡數(shù)據庫對比判定當前待診斷影像是否可能存在疾病問題。該步驟為對疾病的輔助診療，在診斷結果出具后提供初步就醫(yī)指導、和診療意見，可供操作人員和患者。

在步驟204中，用戶交互篩選結果。

在該步驟中，操作人員可參與人機交互，診斷結果交互顯示在顯示設備上，若診斷結果為有疾病且被操作人員認可，則執(zhí)行步驟s207；若診斷結果為有疾病且操作人員否認，則執(zhí)行步驟s205；若診斷結果為無疾病而操作人員認為有疾病，則操作人員完成病灶區(qū)框選，然后執(zhí)行步驟s208，若無疾病且操作人員認可，則診斷完成。

在步驟205中，診斷結束，顯示結果。

例如顯示某胃疾病。

在步驟206中，用戶框選病灶區(qū)。

即用戶手動框選所述影像上的病灶區(qū)。

在步驟207中，病灶分割。

云端服務器通過對所述影像進行掃描方式并在該待處理影像上進行可能區(qū)域框選。例如，利用滑動窗口策略完成可疑區(qū)域的選取，將滑動窗口滑過的區(qū)域作為待處理區(qū)域。云端服務器對可疑區(qū)域進行標記并選取對應該影像的具體網絡。在該步驟中，操作人員同樣可以進行人機交互。例如，在交互顯示器說提示可疑病灶區(qū)域，操作人員可自行增加可疑病灶區(qū)域也可以刪除可疑病灶區(qū)域。其中，新增的可疑病灶區(qū)域與原有的可疑病灶區(qū)域共同組成新的可疑區(qū)域。經操作人員確認后，將確認信息打包壓縮，進入特征提取步驟s208。

在步驟208中，特征提取與對比。

在該步驟中，包括對所述影像可能存在病灶的區(qū)域進行滑動窗口掃描，每次掃描獲取得到的圖像作為肯能存在的病灶區(qū)，并將掃描獲取得到的圖像預作為病灶區(qū)，和/或獲取通過交互方式選取的病灶區(qū)。然后提取所述影像上的病灶區(qū)和/或通過交互方式選取的病灶區(qū)的特性信息，所述信息特征提取包括進行邊界清晰度、顏色、表面光滑度、形態(tài)等特征的提取。最后分析提取的所述病灶區(qū)并與對應影像分類標記的病灶特征數(shù)據庫對比，輸出針對于所述病灶區(qū)的病灶特征信息。例如某圖像區(qū)域中的顏色發(fā)紅和形態(tài)隆起，則該病灶信息為“紅腫”。

在一實施例中，將病灶分割得到的影像數(shù)據作為輸入，從其中扣選出分割的病灶區(qū)區(qū)域(框選的區(qū)域)，扣選的區(qū)域將作為輸入的圖片信息。該圖片信息傳輸至云端服務器，與對應的數(shù)據庫進行對比，獲取對應所述圖片信息的疾病特征后，匹配與該疾病特征對應的疾病列表以及治療方法。例如，將胃圖片信息作為輸入圖片信息，根據該胃圖片信息在與所述影像分類標記對應的數(shù)據庫中查找與之對應的疾病特征，然后匹配與該疾病特征對應的疾病列表以及治療方法以供顯示。

在步驟209中，顯示對比結果。

本申請還提供另一種內窺鏡影像智能分析方法。圖3是本申請一實施例中一種內窺鏡影像智能分析方法的流程圖，該方法其包括以下步驟：

在步驟301中，獲取影像以及與所述影像關聯(lián)的輔助信息。

在步驟302中，分析所述影像并對存在病灶區(qū)的所述影像進行分類標記。

在步驟303中，提取所述影像的病灶區(qū)并與對應影像分類標記的病灶特征數(shù)據庫對比，輸出針對于所述病灶區(qū)的病灶特征信息；其中，所述病灶區(qū)為自動獲取所述影像的病灶區(qū)和/或通過交互方式選取的病灶區(qū)。

在步驟304中，接收所述針對于所述病灶區(qū)的病灶特性信息以及通過交互方式輸入的病灶特征信息，若所述病灶特征信息未存在病灶特征數(shù)據庫中，則將該病灶特征信息作為新增病灶特征信息存入病灶特征自學習數(shù)據庫；在所述自學習數(shù)據庫中的新增病灶特征信息達到預設閾值時，將該病灶特征信息作為病灶特征自學習數(shù)據庫的訓練要素。

例如，如果出現(xiàn)新的病灶特征，云端服務器將記錄這一病灶特征，當新的病灶特征達到某一閾值，則將其作為訓練要素，當訓練要素達到某一閾值時，云端服務器將重新訓練網絡，否則利用云端信息存儲模塊進行信息存儲，并重新調整與病灶、病理關聯(lián)特征，返回新的診斷數(shù)據信息結果。

本實施例與上述實施例不同之處在于，本實施例還具有交互式信息錄入功能，實現(xiàn)數(shù)據庫中未包括所有特征的情況下的自學習功能，不斷提高信息可用性。

另外本申請還對應以上方法實施例提供一種內窺鏡影像智能分析系統(tǒng)。圖4是本申請一實施例中一種內窺鏡影像智能分析系統(tǒng)的模塊圖，該系統(tǒng)包括：

獲取模塊401，用于獲取影像以及與所述影像關聯(lián)的輔助信息；

篩選模塊402，用于分析所述影像并對存在病灶區(qū)的所述影像進行分類標記；

處理模塊403，用于提取所述影像的病灶區(qū)并與對應影像分類標記的病灶特征數(shù)據庫對比，輸出針對于所述病灶區(qū)的病灶特征信息；其中，所述病灶區(qū)為自動獲取所述影像的病灶區(qū)和/或通過交互方式選取的病灶區(qū)；

顯示模塊404，用于接收所述針對于所述病灶區(qū)的病灶特性信息并顯示。

可選的，所述獲取模塊401包括：

獲取子單元，用于獲取圖像設備傳輸?shù)挠跋窕蛞曨l流以及與所述影像或視頻流關聯(lián)的設備信息；

預處理單元，用于對獲取的所述圖像或視頻流進行預處理。

可選的，所述篩選模塊402包括：

篩選子單元，用于分析所述影像，判斷所述影像是否存在病灶區(qū)以及確定存在病灶區(qū)的所述影像對應病灶特征數(shù)據庫中一個或多個。

可選的，所述處理模塊403包括：

選取單元，用于對所述影像可能存在病灶的區(qū)域進行滑動窗口掃描，將掃描獲取得到的圖像預作為病灶區(qū)，和/或獲取通過交互方式選取的病灶區(qū)；

提取單元，用于提取所述影像上的病灶區(qū)和/或通過交互方式選取的病灶區(qū)；

對比輸出單元，用于分析提取的所述病灶區(qū)并與對應影像分類標記的病灶特征數(shù)據庫對比，輸出針對于所述病灶區(qū)的病灶特征信息。

可選的，還包括：

自學習模塊，用于接收所述針對于所述病灶區(qū)的病灶特性信息以及通過交互方式輸入的病灶特征信息，若所述病灶特征信息未存在病灶特征數(shù)據庫中，則將該病灶特征信息作為新增病灶特征信息存入病灶特征自學習數(shù)據庫；

在所述自學習數(shù)據庫中的新增病灶特征信息達到預設閾值時，將該病灶特征信息作為病灶特征自學習數(shù)據庫的訓練要素。

對于裝置實施例而言，由于其基本對應于方法實施例，所以相關之處參見方法實施例的部分說明即可。以上所描述的裝置實施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網絡單元上?？梢愿鶕嶋H的需要選擇其中的部分或者全部模塊來實現(xiàn)本申請方案的目的。本領域普通技術人員在不付出創(chuàng)造性勞動的情況下，即可以理解并實施。

以上所述僅為本申請的較佳實施例而已，并不用以限制本申請，凡在本申請的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本申請保護的范圍之內。