本發(fā)明涉及一種圖像處理裝置及內(nèi)窺鏡系統(tǒng),尤其涉及一種對由內(nèi)窺鏡按時間序列拍攝的多個圖像進行處理的圖像處理裝置及具備該圖像處理裝置的內(nèi)窺鏡系統(tǒng)。
背景技術(shù):
1、作為輔助基于內(nèi)窺鏡的觀察的技術(shù),已知有根據(jù)由內(nèi)窺鏡拍攝的圖像自動識別病變等關(guān)注區(qū)域并進行通知的技術(shù)(例如,專利文獻1、2等)。尤其,近年來,由于人工智能(artificial?intelligence:ai)的技術(shù)的進展,能夠進行高精度的圖像識別。
2、以往技術(shù)文獻
3、專利文獻
4、專利文獻1:國際公開第2020/110214號
5、專利文獻2:國際公開第2020/152758號
技術(shù)實現(xiàn)思路
1、發(fā)明要解決的技術(shù)課題
2、然而,即使圖像識別優(yōu)異,也無法檢測存在于未拍攝的部位的病變等。
3、本發(fā)明的技術(shù)所涉及的一個實施方式提供一種能夠掌握基于內(nèi)窺鏡的觀察狀況的圖像處理裝置及內(nèi)窺鏡系統(tǒng)。
4、用于解決技術(shù)課題的手段
5、(1)一種圖像處理裝置,其對由內(nèi)窺鏡按時間序列拍攝的多個圖像進行處理,圖像處理裝置具備處理器,處理器進行如下處理:獲取多個圖像;對圖像進行處理,從體內(nèi)的多個關(guān)注區(qū)域中識別映現(xiàn)在圖像中的關(guān)注區(qū)域;及在從多個圖像中的第1圖像中識別出多個關(guān)注區(qū)域中的第1關(guān)注區(qū)域且從按時間順序比第1圖像靠后的第2圖像中識別出多個關(guān)注區(qū)域中的第2關(guān)注區(qū)域的情況下,將表示觀察到第1關(guān)注區(qū)域與第2關(guān)注區(qū)域之間的區(qū)域的信息顯示在顯示裝置上。
6、(2)根據(jù)(1)所述的圖像處理裝置,其中,處理器進行如下處理:將從體內(nèi)的多個關(guān)注區(qū)域中選擇的多個特定的關(guān)注區(qū)域的信息作為第1信息顯示在顯示裝置上;及將表示觀察到第1關(guān)注區(qū)域與第2關(guān)注區(qū)域之間的區(qū)域的信息作為第2信息顯示在顯示裝置上。
7、(3)根據(jù)(2)所述的圖像處理裝置,其中,第2信息由在第1信息中將第1關(guān)注區(qū)域與第2關(guān)注區(qū)域建立關(guān)聯(lián)的信息構(gòu)成。
8、(4)根據(jù)(2)或(3)所述的圖像處理裝置,其中,第2信息包含表示觀察的移動方向的信息。
9、(5)根據(jù)(3)所述的圖像處理裝置,其中,第1信息由以特定的布局配置表示關(guān)注區(qū)域的標志的信息構(gòu)成,第2信息由將標志建立關(guān)聯(lián)的信息構(gòu)成。
10、(6)根據(jù)(5)所述的圖像處理裝置,其中,第1信息包含作為觀察對象的器官的示意圖,并且由在示意圖上的各關(guān)注區(qū)域的位置配置有標志的信息構(gòu)成。
11、(7)根據(jù)(5)或(6)所述的圖像處理裝置,其中,第2信息由連接標志的線段構(gòu)成。
12、(8)根據(jù)(7)所述的圖像處理裝置,其中,線段包括表示觀察的移動方向的箭頭。
13、(9)根據(jù)(5)至(8)中任一項所述的圖像處理裝置,其中,處理器將識別出的關(guān)注區(qū)域的標志的顯示方式從第1方式切換為第2方式。
14、(10)根據(jù)(2)至(9)中任一項所述的圖像處理裝置,其中,處理器基于按時間順序在第1圖像與第2圖像之間的圖像來計算觀察評價值,第2信息包含評價值的信息。
15、(11)根據(jù)(10)所述的圖像處理裝置,其中,基于滿足第1基準的圖像的數(shù)量和/或第1圖像與第2圖像之間的圖像的數(shù)量來計算評價值。
16、(12)根據(jù)(11)所述的圖像處理裝置,其中,基于圖像的模糊狀態(tài)、圖像的抖動狀態(tài)及圖像的亮度中的至少一個來設(shè)定第1基準。
17、(13)根據(jù)(10)至(12)中任一圖像處理裝置,其中,將評價值計算為滿足第1基準的圖像的比例或不滿足第1基準的圖像的比例。
18、(14)根據(jù)(13)所述的圖像處理裝置,其中,處理器進行如下處理:提取第1圖像與第2圖像之間的圖像中彼此相似的圖像;及排除所提取的彼此相似的圖像中的一個來計算評價值。
19、(15)根據(jù)(10)至(14)中任一項所述的圖像處理裝置,其中,處理器以與評價值相對應(yīng)的方式顯示第2信息。
20、(16)根據(jù)(10)至(15)中任一圖像處理裝置,其中,在從按時間順序比第2圖像靠后的第3圖像中識別出第1關(guān)注區(qū)域且從按時間順序比第3圖像靠后的第4圖像中識別出第2關(guān)注區(qū)域的情況下,處理器更新評價值且更新第2信息的顯示。
21、(17)根據(jù)(1)至(16)中任一項所述的圖像處理裝置,其中,處理器進行如下處理:將多個圖像按時間順序顯示在顯示裝置上;接受從顯示在顯示裝置上的圖像中選擇第1圖像;及接受從比第1圖像更后顯示在顯示裝置上的圖像中選擇第2圖像。
22、(18)根據(jù)(17)所述的圖像處理裝置,其中,處理器將選擇為第1圖像和第2圖像的圖像記錄為靜止圖像。
23、(19)根據(jù)(1)至(18)中任一項所述的圖像處理裝置,其中,處理器對多個圖像分別進行處理,識別映現(xiàn)在各個圖像中的關(guān)注區(qū)域。
24、(20)根據(jù)(1)至(19)中任一項所述的圖像處理裝置,其中,在從圖像中識別出關(guān)注區(qū)域的情況下,處理器還判定識別出關(guān)注區(qū)域的圖像是否滿足第2基準,在滿足第2基準的情況下,確定關(guān)注區(qū)域的識別。
25、(21)根據(jù)(20)所述的圖像處理裝置,其中,針對每個關(guān)注區(qū)域設(shè)定第2基準的內(nèi)容。
26、(22)根據(jù)(2)至(8)中任一項所述的圖像處理裝置,其中,處理器在從開始第2信息的顯示起經(jīng)過t時間之后結(jié)束第2信息的顯示。
27、(23)根據(jù)(22)所述的圖像處理裝置,其中,處理器進行如下處理:記錄第2信息的顯示的歷史;及在重新顯示第2信息時,基于歷史,同時顯示過去顯示的第2信息。
28、(24)根據(jù)(23)所述的圖像處理裝置,其中,在觀察已結(jié)束的情況下和/或指示了歷史的顯示的情況下,處理器基于歷史顯示過去顯示的第2信息。
29、(25)根據(jù)(2)至(8)中任一項所述的圖像處理裝置,其中,在從按時間順序比第2圖像靠后的第3圖像中識別出第1關(guān)注區(qū)域的情況下,處理器結(jié)束第2信息的顯示。
30、(26)根據(jù)(1)至(25)中任一項所述的圖像處理裝置,其中,多個關(guān)注區(qū)域是作為觀察對象的器官的多個部位。
31、(27)一種內(nèi)窺鏡系統(tǒng),其具備:內(nèi)窺鏡;顯示裝置;及(1)至(26)中任一項所述的圖像處理裝置,對由內(nèi)窺鏡拍攝的圖像進行處理。
32、發(fā)明效果
33、根據(jù)本發(fā)明,能夠掌握基于內(nèi)窺鏡的觀察狀況。
1.一種圖像處理裝置,其對由內(nèi)窺鏡按時間序列拍攝的多個圖像進行處理,所述圖像處理裝置具備處理器,
2.根據(jù)權(quán)利要求1所述的圖像處理裝置,其中,
3.根據(jù)權(quán)利要求2所述的圖像處理裝置,其中,
4.根據(jù)權(quán)利要求3所述的圖像處理裝置,其中,
5.根據(jù)權(quán)利要求3所述的圖像處理裝置,其中,
6.根據(jù)權(quán)利要求5所述的圖像處理裝置,其中,
7.根據(jù)權(quán)利要求6所述的圖像處理裝置,其中,
8.根據(jù)權(quán)利要求7所述的圖像處理裝置,其中,
9.根據(jù)權(quán)利要求5至8中任一項所述的圖像處理裝置,其中,
10.根據(jù)權(quán)利要求2至8中任一項所述的圖像處理裝置,其中,
11.根據(jù)權(quán)利要求10所述的圖像處理裝置,其中,
12.根據(jù)權(quán)利要求11所述的圖像處理裝置,其中,
13.根據(jù)權(quán)利要求10所述的圖像處理裝置,其中,
14.根據(jù)權(quán)利要求13所述的圖像處理裝置,其中,
15.根據(jù)權(quán)利要求10所述的圖像處理裝置,其中,
16.根據(jù)權(quán)利要求10所述的圖像處理裝置,其中,
17.根據(jù)權(quán)利要求1至8中任一項所述的圖像處理裝置,其中,
18.根據(jù)權(quán)利要求17所述的圖像處理裝置,其中,
19.根據(jù)權(quán)利要求1至8中任一項所述的圖像處理裝置,其中,
20.根據(jù)權(quán)利要求1至8中任一項所述的圖像處理裝置,其中,
21.根據(jù)權(quán)利要求20所述的圖像處理裝置,其中,
22.根據(jù)權(quán)利要求2至8中任一項所述的圖像處理裝置,其中,
23.根據(jù)權(quán)利要求22所述的圖像處理裝置,其中,
24.根據(jù)權(quán)利要求23所述的圖像處理裝置,其中,
25.根據(jù)權(quán)利要求2至8中任一項所述的圖像處理裝置,其中,
26.根據(jù)權(quán)利要求1至8中任一項所述的圖像處理裝置,其中,
27.一種內(nèi)窺鏡系統(tǒng),其具備: