用于三維超聲圖像的交互顯示的方法與裝置制造方法
【專利摘要】一種醫(yī)學(xué)成像系統(tǒng)，包括三維(3D)超聲系統(tǒng)和3D全息顯示系統(tǒng)。所述超聲系統(tǒng)生成可以被用于構(gòu)建患者的3D圖像的3D超聲數(shù)據(jù)。所述顯示系統(tǒng)以3D全息形式顯示所述圖像，并且包括無觸摸輸入接口，所述無觸摸輸入接口允許用戶在執(zhí)行醫(yī)學(xué)程序時從無菌區(qū)內(nèi)控制所述顯示。
【專利說明】用于三維超聲圖像的交互顯示的方法與裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明大體涉及醫(yī)學(xué)成像與顯示技術(shù)。更具體地，本文公開的各種創(chuàng)新方法與裝 置涉及三維超聲圖像的交互顯示。

【背景技術(shù)】
[0002] 超聲成像是被用于觀察皮下身體結(jié)構(gòu)（例如肌腱、關(guān)節(jié)、肌肉、血管及內(nèi)部器官） 的醫(yī)學(xué)技術(shù)。通過超聲成像的使用，臨床醫(yī)師能夠觀察并診斷這些結(jié)構(gòu)的各種病理學(xué)或病 灶。他們還可以使用超聲成像，以輔助各種介入或手術(shù)程序。
[0003] 超聲心動描記術(shù)是用于觀察心臟的特定類型的超聲成像。最常見地是通過將超聲 換能器或探頭放置在患者的胸壁上，并使用所述探頭以穿過所述胸壁捕獲圖像來執(zhí)行超聲 心動描記。這被稱作經(jīng)胸廓超聲心動描記。對該方法的替代是將超聲探頭傳送到所述患者 的食道中，并從食道內(nèi)執(zhí)行心臟成像。這被稱作經(jīng)食道超聲心動描記術(shù)。
[0004] 超聲心動描記術(shù)傳統(tǒng)上一直被用于產(chǎn)生心臟的二維（2D)切片的實況圖像。然而， 最近的技術(shù)進步已允許超聲心動描記術(shù)產(chǎn)生心臟的三維（3D)實況圖像。這典型地是通過 具有被耦合到處理系統(tǒng)的成像元件的陣列這樣的超聲探頭來實現(xiàn)的。所述成像元件的陣列 并行地捕獲多個圖像，并且所述處理系統(tǒng)組合所述多個圖像以構(gòu)建3D圖像。
[0005] 實況3D超聲心動描記術(shù)具有各種診斷應(yīng)用，例如對心臟畸形和心律失常 的觀察。此外，實況3D超聲心動描記術(shù)可以被用作介入程序的部分，在所述程序之 前、期間或之后-這種做法被稱作圍介入超聲心動描記術(shù)（peri-interventional echocardiography)。圍介入超聲心動描記術(shù)可以被用于，例如在程序之前分析解剖結(jié)構(gòu)， 以輔助臨床醫(yī)師對基于導(dǎo)管的設(shè)備的引導(dǎo)和放置，以及在程序結(jié)束之后評估所述程序的成 功。類似地，實況3D超聲心動描記術(shù)也可以被用作手術(shù)程序的部分，在所述程序之前、期間 或之后-這種做法被稱作圍手術(shù)超聲心動描記術(shù)。圍手術(shù)超聲心動描記術(shù)可以被用于， 例如在切開胸腔之前觀察解剖結(jié)構(gòu)，以區(qū)分是需要修復(fù)還是替換心瓣，以及在閉合胸腔之 后確定術(shù)中端點。
[0006] 在圍介入或圍手術(shù)程序期間，實況3D超聲心動描記術(shù)圖像可以被顯示在2D屏幕 上，以允許臨床醫(yī)師觀察心臟的不同方面。而且，所述顯示可以被控制以改變其屬性，例如 3D視角、圖像對比度或縮放。這一般是通過計算接口的使用來實現(xiàn)的，例如帶有鼠標和鍵盤 的個人計算機。
[0007] 一般地，執(zhí)行圍介入或圍手術(shù)程序的臨床醫(yī)師不能從在其中執(zhí)行所述程序的無菌 區(qū)內(nèi)控制超聲心動描記術(shù)圖像的顯示。這是由于對所述臨床醫(yī)師的各種約束造成的，例如 需要維持無菌且不受阻礙的雙手，以及針對計算機設(shè)備的有限空間。因此，可能需要額外的 臨床醫(yī)師以輔助所述臨床醫(yī)師根據(jù)需要改變所述圖像的觀看屬性。這可能造成復(fù)雜化，然 而，由于其典型地增加了執(zhí)行程序所需要的人員的數(shù)目，也增加了在所述程序期間所需要 的通信的量，并給已經(jīng)夠復(fù)雜的程序協(xié)議增加了步驟。
[0008] 由于常規(guī)技術(shù)的這些以及其他缺陷，存在著對用于實況3D超聲圖像（例如被用于 超聲心動描記術(shù)的那些）的交互顯示的改進的方法與裝置的需要。


【發(fā)明內(nèi)容】

[0009] 本公開涉及用于3D超聲圖像的交互顯示的創(chuàng)新方法與裝置。例如，在某些實施例 中，3D超聲系統(tǒng)被連接到3D全息顯示系統(tǒng)。所述全息顯示系統(tǒng)顯示從超聲數(shù)據(jù)構(gòu)建的3D 圖像，并且其允許用戶使用無觸摸輸入（例如手勢）來控制所述顯示。例如，用戶可以通過 在所述顯示附近在期望的旋轉(zhuǎn)方向移動手來旋轉(zhuǎn)3D圖像的視角。
[0010] 使用無觸摸輸入控制全息顯示系統(tǒng)的能力允許臨床醫(yī)師控制被顯示圖像的觀看 屬性，而不污染正在其中執(zhí)行圍介入或圍手術(shù)程序的無菌區(qū)。其也可以得到對所述顯示更 快更準確的控制，并且其可以減少輔助程序所需要的臨床醫(yī)師的數(shù)目。
[0011] 大體上，在一個方面中，一種顯示3D超聲數(shù)據(jù)的方法，包括：使用超聲探頭捕獲3D 超聲數(shù)據(jù)；將所述超聲數(shù)據(jù)傳送到3D全息顯示系統(tǒng)，并在所述顯示系統(tǒng)上實時顯示所述超 聲數(shù)據(jù)；接收來自用戶的無觸摸輸入；并且基于所述無觸摸輸入，配置所述超聲數(shù)據(jù)在所 述顯示系統(tǒng)上的所述顯示。
[0012] 在一些實施例中，配置所述3D超聲數(shù)據(jù)的所述顯示包括旋轉(zhuǎn)、平移或縮放由所述 超聲數(shù)據(jù)形成的全息圖像。
[0013] 在一些實施例中，所述超聲數(shù)據(jù)為與圍介入或圍手術(shù)超聲心動描記術(shù)程序有關(guān)而 捕獲的超聲心動描記術(shù)數(shù)據(jù)。而且，在一些實施例中，所述顯示系統(tǒng)被安裝在所述程序的受 試者上方，例如在介入實驗室或?qū)Ч軐嶒炇业奶旎ò迳稀?br> [0014] 在一些實施例中，所述無觸摸輸入包括手勢或語音命令。
[0015] 在一些實施例中，基于所述無觸摸輸入，配置所述超聲數(shù)據(jù)在所述顯示系統(tǒng)上的 所述顯示包括將信號傳輸?shù)剿龀曁筋^，以控制由所述超聲探頭捕獲并被在所述顯示器 上顯示的所述超聲數(shù)據(jù)的視圖。
[0016] 在另一方面中，一種醫(yī)學(xué)成像系統(tǒng)，包括：超聲探頭，其被配置為捕獲來自受試者 的三維（3D)數(shù)據(jù)；處理系統(tǒng)，其被配置為從所述3D數(shù)據(jù)生成實況3D圖像；3D全息顯示系 統(tǒng)，其被配置為顯示由所述處理系統(tǒng)生成的所述實況3D圖像；以及用戶接口，其被配置為 檢測來自用戶的無觸摸輸入，并且響應(yīng)于所述無觸摸輸入在所述顯示系統(tǒng)中啟動對所述實 況3D圖像的圖像變換。
[0017] 在一些實施例中，所述圖像變換包括圖像旋轉(zhuǎn)、平移或縮放。
[0018] 在一些實施例中，所述用戶接口包括被配置為檢測一個或多個手勢的一個或多個 電磁場傳感器。
[0019] 在一些實施例中，所述用戶接口包括被配置為檢測一個或多個手勢的計算機視覺 系統(tǒng)。
[0020] 在一些實施例中，所述超聲探頭為經(jīng)食道超聲心動描記術(shù)探頭。
[0021] 在一些實施例中，所述3D全息顯示系統(tǒng)被安裝到介入實驗室、手術(shù)室或?qū)Ч軐嶒?室的天花板。
[0022] 在一些實施例中，所述處理系統(tǒng)通過無線通信接口與所述顯示系統(tǒng)通信。
[0023] 在一些實施例中，所述用戶接口還被配置為響應(yīng)于手勢，啟動對圖像的流的記錄 或回放、對圖像顯示的暫?；?qū)Σ藛蜗到y(tǒng)的操作。
[0024] 在另一方面中，一種在無菌區(qū)內(nèi)執(zhí)行圍介入或圍手術(shù)醫(yī)學(xué)程序的方法，包括：將超 聲探頭應(yīng)用于患者；觀察從由所述超聲探頭生成的數(shù)據(jù)導(dǎo)出并被顯示在3D全息顯示設(shè)備 上的3D超聲圖像；基于所述觀察來處置所述患者；并且通過無觸摸接口來控制所述3D全 息顯示設(shè)備。
[0025] 在一些實施例中，處置所述患者包括將基于導(dǎo)管的設(shè)備應(yīng)用于所述患者或者在所 述患者上執(zhí)行手術(shù)。
[0026] 在一些實施例中，所述無觸摸接口包括被配置為檢測一個或多個手勢的一個或多 個電磁傳感器。
[0027] 在一些實施例中，控制所述3D全息顯示設(shè)備包括執(zhí)行手勢，以更改被呈現(xiàn)在所述 3D全息顯示設(shè)備上的3D圖像的觀看屬性。
[0028] 在一些實施例中，更改所述3D圖像的所述觀看屬性包括旋轉(zhuǎn)、縮放或平移所述3D 圖像。
[0029] 如本文中出于本公開的目的而使用的，應(yīng)如下解釋以下術(shù)語。
[0030] 術(shù)語"超聲數(shù)據(jù)"指代通過使用超聲技術(shù)生成的信息。超聲數(shù)據(jù)典型地包括可以 被用于生成超聲圖像的原始測量結(jié)果。例如，3D超聲數(shù)據(jù)可以包括與受試者的特定3D位置 相關(guān)聯(lián)的測量值。
[0031] 術(shù)語"超聲探頭"指代生成與正被測量的受試者（例如患者）有關(guān)的超聲數(shù)據(jù)的 儀器。超聲探頭典型地包括換能器，所述換能器使用超聲波以在被置于所述受試者附近時 生成所述受試者的原始測量結(jié)果。超聲探頭可以有不同的形狀和大小，并且它們可以具有 不同類型和配置的感測元件。
[0032] 術(shù)語"3D全息圖像"指代在體積空間中創(chuàng)建受試者的視覺表示的一組光?？梢岳?如通過控制或操縱激光（例如通過反射、衍射或疊加）來創(chuàng)建3D全息圖像。
[0033] 術(shù)語"3D全息顯示系統(tǒng)"指代用于創(chuàng)建3D全息圖像的技術(shù)。在一些實施例中，3D 全息顯示系統(tǒng)包括在其中形成這樣的圖像的容器或襯底。然而，3D全息顯示系統(tǒng)不限于這 樣的配置。此外，在某些實施例中，3D全息顯示系統(tǒng)包括用于控制3D全息圖像的觀看屬性 的部件。這樣的部件可以定位于所述圖像顯示附近或者它們可以被置于不同位置。
[0034] 術(shù)語"無觸摸輸入"指代允許用戶無需物理接觸地與系統(tǒng)通信的機制。例如，無觸 摸輸入可以包括手勢或語音命令。術(shù)語"無觸摸輸入"不應(yīng)被解釋為在特定輸入操作中排 除所有物理接觸，而是其僅指示無接觸輸入機制的存在。術(shù)語"手勢"指代一種類型的無觸 摸輸入，其中，用戶的手的特定移動或外形定義輸入值。例如，用戶的手的橫掃運動可以定 義控制圖像顯示以旋轉(zhuǎn)圖像的輸入值。
[0035] 術(shù)語"無觸摸輸入接口"指代允許系統(tǒng)接收無觸摸輸入的機制。例如，在一些實施 例中，3D全息顯示系統(tǒng)包括感測其環(huán)境中的電磁場的無觸摸輸入接口，以確定用戶是否已 執(zhí)行特定手勢?？蛇x地，無觸摸輸入接口可以使用光學(xué)晶體管或各種計算機視覺技術(shù)來檢 測特定姿勢。術(shù)語"無觸摸輸入接口 "不應(yīng)被解釋為排除與所述接口的所有物理接觸，而是 其僅指示存在用于接收無觸摸輸入的機制。
[0036] 術(shù)語"圖像變換"指代圖像的顯示或觀看屬性的改變。例如，圖像變換可以包括線 性變換，例如旋轉(zhuǎn)、平移或縮放，或者其可以涉及更為復(fù)雜的變換功能。
[0037] 術(shù)語"圍介入程序"指代在醫(yī)學(xué)介入之前、期間或之后在無菌區(qū)內(nèi)執(zhí)行的醫(yī)學(xué)程 序，并且術(shù)語"圍手術(shù)程序"指代在手術(shù)之前、期間或之后在無菌區(qū)內(nèi)執(zhí)行的醫(yī)學(xué)程序。
[0038] 應(yīng)認識到，前述概念與下文更詳細討論的額外概念的所有組合（條件是這些概念 不相互抵觸）均預(yù)期為本文公開的創(chuàng)新主題的部分。尤其地，權(quán)利要求的主題的所有組合 均預(yù)期為本文公開的創(chuàng)新主題的部分。也應(yīng)認識到，應(yīng)為本文中明確采用的也可以出現(xiàn)在 通過引用并入的任意公開內(nèi)容中的術(shù)語賦予與本文中公開的特定概念最一致的意義。

【專利附圖】

【附圖說明】
[0039] 附圖中，相同的附圖標記一般指不同視圖中的相同部分。同樣，附圖不一定按比 例，而是重點在于圖示本發(fā)明的原理。
[0040] 圖1圖示了根據(jù)示范性實施例的、被用于經(jīng)食道超聲心動描記術(shù)的超聲系統(tǒng)和3D 全息顯示系統(tǒng)。
[0041] 圖2圖示了根據(jù)示范性實施例的、被執(zhí)行用于控制圖1的3D全息顯示系統(tǒng)的觀看 屬性的姿勢。
[0042] 圖3圖示了根據(jù)示范性實施例的、包括超聲系統(tǒng)和全息顯示系統(tǒng)的系統(tǒng)。
[0043] 圖4圖示了根據(jù)示范性實施例的、圖3的超聲系統(tǒng)的范例。
[0044] 圖5圖示了根據(jù)示范性實施例的、圖3的全息顯示系統(tǒng)的范例。
[0045] 圖6圖示了根據(jù)示范性實施例的、操作圖3的系統(tǒng)的方法。
[0046] 圖7圖示了根據(jù)示范性實施例的、使用圖4的系統(tǒng)執(zhí)行醫(yī)學(xué)程序的方法。

【具體實施方式】
[0047] 如上文所討論，用于顯示3D超聲圖像的常規(guī)技術(shù)遭受可能復(fù)雜化并阻礙醫(yī)學(xué)程 序的多種缺陷。例如，為了在執(zhí)行程序的同時維持無菌區(qū)，常規(guī)技術(shù)典型地要求一名臨床醫(yī) 師控制圖像的顯示，同時另一名臨床醫(yī)師操縱超聲儀器，并且再另一名臨床醫(yī)師執(zhí)行所述 程序。這傾向于增加執(zhí)行所述程序所要求的步驟的數(shù)量和通信的量。其還減少了由執(zhí)行所 述程序的所述臨床醫(yī)師的控制的量。
[0048] 申請人:因此已察覺并認識到，提供允許臨床醫(yī)師從所述無菌區(qū)內(nèi)控制3D超聲圖 像的顯示的方法和裝置，將會是有益的。例如， 申請人:已察覺到使用可以使用諸如手勢的無 觸摸輸入控制的3D全息顯示系統(tǒng)來顯示3D超聲圖像的益處。這樣的方法允許所述臨床醫(yī) 師從所述無菌區(qū)內(nèi)控制所述顯示，并且它們也可以為所述臨床醫(yī)師提供在所述顯示上更精 確且直接的控制，這可以得到更有效且準確的程序。
[0049] 鑒于以上，本發(fā)明的各個實施例和實現(xiàn)方式針對用于使用3D全息顯示系統(tǒng)對3D 超聲圖像的交互顯示的系統(tǒng)和方法。所述3D全息顯示系統(tǒng)是通過無觸摸接口被控制的，所 述無觸摸接口允許臨床醫(yī)師通過手勢、語音命令或不要求所述臨床醫(yī)師離開所述無菌區(qū)的 其他類型的輸入，來改變被顯示圖像的觀看屬性。因此，所描述的方法和系統(tǒng)可以被容易地 用于要求無菌區(qū)的醫(yī)學(xué)程序（例如圍介入或圍手術(shù)程序）的場景中。
[0050] 某些實施例尤其與包括超聲心動描記術(shù)的程序有關(guān)。例如，某些實施例可以被應(yīng) 用于在導(dǎo)管實驗室或介入實驗室中執(zhí)行的超聲心動描記術(shù)程序。在這樣的程序中，臨床醫(yī) 師（例如侵入性心臟病科醫(yī)師）可以在將諸如導(dǎo)管的儀器插入受試者中的同時，控制對通 過經(jīng)胸廓或經(jīng)食道超聲心動描記術(shù)生成的超聲數(shù)據(jù)的3D全息顯示系統(tǒng)?？梢酝ㄟ^無觸摸 接口來執(zhí)行該控制，這允許所述臨床醫(yī)師更改所顯示而不污染所述無菌區(qū)。
[0051] 圖1圖示了根據(jù)示范性實施例的、被用于經(jīng)食道超聲心動描記術(shù)的超聲系統(tǒng)和3D 全息顯示系統(tǒng)。這些系統(tǒng)被示出于在心臟導(dǎo)管（cath)實驗室100的場景中，其中臨床醫(yī)師 從無菌區(qū)內(nèi)執(zhí)行程序。然而，這些系統(tǒng)也可以被用于許多其他場景，例如手術(shù)室、數(shù)據(jù)回顧 室、介入實驗室，以及其他。
[0052] 參考圖1，所述超聲系統(tǒng)包括被連接到處理系統(tǒng)110的超聲探頭105。臨床醫(yī)師將 超聲探頭105放置在患者的食道中在心臟附近。超聲探頭105使用超聲波，以生成表示所 述患者的心臟的3D圖像的數(shù)據(jù)。所述數(shù)據(jù)被傳輸?shù)教幚硐到y(tǒng)110,其構(gòu)建3D圖像，并然后 將所述3D圖像傳輸?shù)?D全息顯示系統(tǒng)115。
[0053] 3D全息顯示系統(tǒng)115定位于所述臨床醫(yī)師的前方，以允許在醫(yī)學(xué)程序期間對所述 患者的心臟進行實時可視化。在圖1的范例中，3D全息顯示系統(tǒng)115具有懸空的球面顯示。 可以例如通過將交叉光的束投影在臨床醫(yī)師前方來生成該顯示?？梢岳缬杀话惭b在導(dǎo)管 實驗室100的各個部分上的激光器來生成這些束。
[0054] 作為對圖1中的顯示器的替代，3D全息顯示系統(tǒng)115可以被形成有指定的顯示介 質(zhì)，例如容器，而不是將全息圖像形成在半空中。例如，所述顯示可以采取圓柱形容器的形 式，其通過使用定位于所述圓柱體內(nèi)的光源，來產(chǎn)生3D全息圖像。這樣的圓柱形顯示器可 以被安裝在導(dǎo)管實驗室100的天花板或墻壁上，在所述臨床醫(yī)師附近，以允許在程序期間 方便的觀看。在還其他的實施例中，所述3D全息顯示系統(tǒng)可以被形成為除圓柱體或漂浮球 體以外的其他配置。而且，不要求具有統(tǒng)一的形狀因子。例如，其可以由分散的部件形成， 所述分散的部件一起起作用，以創(chuàng)建在空中或容器內(nèi)或指定介質(zhì)內(nèi)的所述全息圖像。使用 容器的3D全息設(shè)備的一個可商業(yè)獲得的范例為索尼的Raymodeler。
[0055] 3D全息顯示系統(tǒng)115中的3D圖像可以典型地從任意360度取向同時觀看。因此， 在某些醫(yī)學(xué)程序期間，一個或多個額外的臨床醫(yī)師可以從不同角度觀察所述患者的心臟。 這可以有益于，例如精確取向儀器，或在整個程序期間監(jiān)測心臟健康。
[0056] 3D全息顯示系統(tǒng)115也有用戶接口，其允許所述臨床醫(yī)師使用無觸摸輸入來控制 所述顯示，所述無觸摸輸入例如為手勢、姿勢或語音命令，如由3D全息顯示系統(tǒng)115周圍的 箭頭所指示。例如，在一些實施例中，所述臨床醫(yī)師可以揮手跨過3D全息顯示系統(tǒng)115的 外側(cè)，以旋轉(zhuǎn)心臟的視角。由于所述臨床醫(yī)師可以無需觸摸地控制3D全息顯示系統(tǒng)115,因 而所述臨床醫(yī)師可以執(zhí)行這樣的控制操作，而不污染所述患者周圍的無菌區(qū)。可以使用各 種技術(shù)來實現(xiàn)所述用戶接口，例如，電磁場傳感器、計算機視覺系統(tǒng)，或其他。在一些實施例 中，臨床醫(yī)師也可以使用無觸摸輸入，以通過3D全息顯示系統(tǒng)115的所述接口來控制超聲 探頭105的移動。例如，所述臨床醫(yī)師可以在所述接口上使用手勢，以引起超聲探頭105移 動到食道壁的不同部分或旋轉(zhuǎn)，以捕獲所述心臟的不同視圖。通過控制超聲探頭105的移 動，所述臨床醫(yī)師可以潛在地獲得針對正被執(zhí)行的程序而言，更清楚的圖像或更相關(guān)的視 圖。為了便于這樣的控制，所述超聲系統(tǒng)可以被裝配有在3D全息顯示系統(tǒng)115與超聲探頭 105或處理系統(tǒng)110之間的雙向通信或其他反饋機制。
[0057] 在使用常規(guī)技術(shù)的侵入性心臟程序中，超聲心動描記術(shù)醫(yī)師可以在技師控制顯示 系統(tǒng)并且介入心臟病科醫(yī)師執(zhí)行程序的同時，使超聲儀器工作并調(diào)遣所述經(jīng)食道探頭。然 而，通過3D全息顯示系統(tǒng)115的所述無觸摸接口的使用，所述超聲心動描記術(shù)醫(yī)師或介入 心臟病科醫(yī)師可以能夠控制所述顯示，潛在地消除了對額外的技師的需要。此外，這可以 給所述介入心臟病科醫(yī)師提供更多的能力以控制所顯示的圖像，并改進正被執(zhí)行的所述程 序。
[0058] 作為范例，在侵入性程序中，所述介入心臟病科醫(yī)師可能戴著被血液覆蓋的手套。 然而，通過在3D全息顯示系統(tǒng)115周圍執(zhí)行手勢，所述心臟病科醫(yī)師可以重新配置所顯示 的圖像，而不污染所述手套或弄臟所述設(shè)備。隨著所述心臟病科醫(yī)師插入導(dǎo)管，所述顯示可 以被旋轉(zhuǎn)到允許對所述導(dǎo)管的定位的精確觀察的視角和縮放水平。隨后，所述顯示可以被 取向為確認在閉合身體并且完成所述程序之前，沒有不想要的泄漏。
[0059] 盡管圖1示出了在介入或手術(shù)程序的過程期間使用3D全息顯示系統(tǒng)115的醫(yī)師， 但其也可以被用于整個圍介入和圍手術(shù)程序。例如，在臨床醫(yī)師已采取步驟以消毒他或她 的手等之后，可以在執(zhí)行侵入性程序之前，從所述無菌區(qū)內(nèi)使用3D全息顯示系統(tǒng)115執(zhí)行 某些任務(wù)，例如使用手勢回顧儲存的圖像。而且，3D全息顯示系統(tǒng)115的所述無觸摸接口允 許其被用于在其中典型地不使用常規(guī)技術(shù)的環(huán)境中。例如，醫(yī)師可以在消毒他或她的手之 后，在數(shù)據(jù)回顧室內(nèi)使用3D全息顯示系統(tǒng)115,因為該系統(tǒng)的使用不需要觸摸所述數(shù)據(jù)察 看室中的任何東西。
[0060] 圖2圖示了根據(jù)示范實施例的被執(zhí)行用于控制圖1的3D全息顯示系統(tǒng)的觀看屬 性的手勢。圖2的所述范例為可以由全息顯示系統(tǒng)執(zhí)行的許多手勢之一。
[0061] 參考圖2,通過在全息顯示系統(tǒng)115的外周周圍，在從點"A"到點"B"的橫掃運動 中移動手205,執(zhí)行簡單的手勢。所述設(shè)備的無觸摸接口檢測所述移動，并引起所述心臟的 3D圖像關(guān)于被示于所述3D顯示中心的垂直軸旋轉(zhuǎn)。所述臨床醫(yī)師也可以使用由圖2中的 箭頭指示的手勢，在其他維度中控制所述顯示的旋轉(zhuǎn)。
[0062] 除控制所述3D圖像的所述旋轉(zhuǎn)以外，手勢還可以被用于控制其他觀看屬性，例如 縮放、圖像的左右或上下移動。而且，手勢也可以被用于控制全息顯示系統(tǒng)115的其他功 能，例如圖像的流的記錄和回放、刪除先前記錄的圖像、暫停所述圖像顯示、對菜單系統(tǒng)的 操作，等等。
[0063] 圖3圖示了根據(jù)范例實施例的包括3D超聲系統(tǒng)305和3D全息顯示系統(tǒng)310的系 統(tǒng)300。系統(tǒng)300表不圖1中不出的所述系統(tǒng)的更通用版本。
[0064] 一般而言，3D超聲系統(tǒng)305可以包括能夠生成3D超聲數(shù)據(jù)的任意類型的超聲儀 器。其可以被配置為從所述超聲數(shù)據(jù)生成3D圖像，或者其可以將所述超聲數(shù)據(jù)傳輸?shù)搅硪?部件，例如3D全息顯示系統(tǒng)310,以形成3D圖像。類似地，3D全息顯示系統(tǒng)310可以包括 能夠從3D超聲數(shù)據(jù)產(chǎn)生3D全息圖像并允許通過無觸摸輸入的使用來控制所述顯示的任意 類型的儀器。
[0065] 可以使用多種技術(shù)或科技將超聲系統(tǒng)305和全息顯示系統(tǒng)彼此集成。例如，它們 可以被設(shè)計為使用標準無線或有線通信協(xié)議通信，例如WiFi、藍牙、USB、火線、PCI-E等等。 此外，它們可以被設(shè)計為使用兼容的數(shù)據(jù)格式，用于方便集成。
[0066] 圖4圖示了根據(jù)范例實施例的、圖3的超聲系統(tǒng)305的范例。
[0067] 參考圖4,超聲系統(tǒng)305包括超聲探頭405、數(shù)據(jù)捕獲單元410、圖像構(gòu)建單元415 和通信接口 420。超聲探頭405包括被配置為通過使用超聲波來生成3D超聲數(shù)據(jù)的換能器 陣列。數(shù)據(jù)捕獲單元410捕獲和/或數(shù)字化所述3D超聲數(shù)據(jù)，并將其傳輸?shù)綀D像構(gòu)建單元 415。圖像構(gòu)建單元415處理所述3D超聲數(shù)據(jù)，以生成3D圖像。所述圖像可以被有利地創(chuàng) 建為與全息顯示系統(tǒng)兼容的格式。一旦創(chuàng)建了所述3D圖像，則將其傳輸?shù)酵ㄐ沤涌?420,通 信接口 420然后將所述圖像傳輸?shù)饺@示系統(tǒng)。圖4中示出的元件典型地實時地執(zhí)行它 們的功能以生成實況3D圖像。因此，為了便于有效處理，可以使用各種管線和/或平行處 理技術(shù)實現(xiàn)它們。
[0068] 圖5圖示了根據(jù)范例實施例的、圖3的全息顯示系統(tǒng)310的范例。
[0069] 參考圖5,全息顯示系統(tǒng)包括通信接口 505、無觸摸輸入接口 510、控制器515、繪制 引擎520和顯示器525。通信接口 505從超聲系統(tǒng)305接收數(shù)據(jù)并將所接收到的數(shù)據(jù)傳輸 到控制器515。所述數(shù)據(jù)典型地表示3D超聲圖像，例如3D超聲心動描記圖。通信接口 505 可以使用任意各種有線或無線通信協(xié)議來實現(xiàn)。無觸摸輸入接口 510接收來自用戶的無觸 摸輸入，并將所接收到的輸入傳送到控制器515。這樣的輸入可以包括，例如，手勢或語音命 令。可以通過各種可獲得的感測技術(shù)來實施無觸摸輸入接口 510,例如電磁場傳感器的陣 列、基于照相機的計算機視覺系統(tǒng)，或一個或多個麥克風(fēng)。
[0070] 控制器515從通信接口 505接收3D圖像數(shù)據(jù)，并且其從無觸摸輸入接口 510接收 無觸摸輸入數(shù)據(jù)?；谠摻邮盏男畔ⅲ刂破?15將數(shù)據(jù)和/或命令傳輸?shù)嚼L制引擎520， 以引起其繪制所述圖像數(shù)據(jù)。繪制引擎520典型地執(zhí)行圖像變換及其他操作，以在顯示器 525上繪制所述3D圖像數(shù)據(jù)。所述3D圖像數(shù)據(jù)然后通過顯示器525被顯示。
[0071] 圖6圖示了根據(jù)范例實施例的、操作圖3的所述系統(tǒng)的方法600。在下面的描述 中，用括號（SXXX)指示示范性方法步驟。
[0072] 參考圖6,所述方法包括捕獲3D超聲數(shù)據(jù)（S605)。如上所述，這可以使用超聲探 頭來完成，例如在經(jīng)胸廓超聲心動描記術(shù)或經(jīng)食道超聲心動描記術(shù)中。接下來，所捕獲的數(shù) 據(jù)被傳送到3D全息顯示系統(tǒng)（S610)。其后，所述3D全息顯示系統(tǒng)顯示從所捕獲的3D超聲 數(shù)據(jù)導(dǎo)出的3D圖像（S615)。然后，所述3D全息顯示系統(tǒng)接收來自用戶（例如臨床醫(yī)師） 的無觸摸輸入（S620)。最后，根據(jù)所述無觸摸輸入配置所顯示的圖像（S625)。可以例如通 過執(zhí)行圖像變換（例如根據(jù)所述無觸摸輸入的旋轉(zhuǎn)、平移或縮放）來執(zhí)行對所顯示圖像的 所述配置。可選地，可以通過更改所述超聲探頭的定位以更改被捕獲圖像的視圖來改變對 所顯示圖像的所述配置。例如，響應(yīng)于無觸摸輸入（例如橫掃手勢），所述全息顯示系統(tǒng)可 以將控制系統(tǒng)傳輸?shù)剿龀曄到y(tǒng)，引起其將信號傳輸?shù)剿龀曁筋^以控制換能器尖端 在患者的食道內(nèi)的（x、y、z)位置。這可以改變由所述超聲探頭捕獲并且被示于所述顯示上 的所述超聲數(shù)據(jù)的所述視圖。例如，其可以改變在所述圖像中看到的心臟的部分，或者其可 以生成所觀看部分的更清楚的圖像。本領(lǐng)域技術(shù)人員將認識到，存在用于控制由所述超聲 探頭捕獲的所述視圖的多種方式，因此為了簡要將省略對各種可選技術(shù)的詳細描述。
[0073] 圖7圖示了根據(jù)范例實施例的、使用圖3的系統(tǒng)300執(zhí)行醫(yī)學(xué)程序的方法700。
[0074] 參考圖7,所述方法包括將超聲探頭應(yīng)用于患者，以生成3D超聲圖像，例如超聲心 動描記圖（S705)。接下來，所述方法包括在3D全息顯示上觀察所述3D超聲圖像（S710)， 基于所述觀察執(zhí)行程序（S715)，并且通過無觸摸接口控制所述全息顯示（S720)。圖7的所 述方法一般是由無菌區(qū)內(nèi)的臨床醫(yī)師執(zhí)行的。例如，其可以在各種侵入性程序期間，在手術(shù) 室、介入實驗室或?qū)Ч軐嶒炇抑斜粓?zhí)行。如由以上描述指示的，圖7的所述方法可以改進所 述臨床醫(yī)師對所述顯示的控制，并且其可以得到更有效的程序。
[0075] 盡管本文中已描述并圖示了幾個創(chuàng)新實施例，但本領(lǐng)域技術(shù)人員將容易地預(yù)想多 種其他方式和/或結(jié)構(gòu)，用于執(zhí)行所述功能和/或獲得所述結(jié)果和/或本文描述的優(yōu)點中 的一個或多個，并且這樣的變型和/或更改中的每個均被示為在本文描述的創(chuàng)新實施例的 范圍內(nèi)。更一般地，本領(lǐng)域技術(shù)人員將容易地認識到，本文描述的所有參數(shù)、尺寸、材料和配 置均意圖為示范性的，并且實際參數(shù)、尺寸、材料和/或配置將取決于特定的應(yīng)用或所述創(chuàng) 新的教導(dǎo)被用于的應(yīng)用。本領(lǐng)域技術(shù)人員將認識到，或者能夠使用不超過常規(guī)的實驗來確 定，對本文描述的所述特定創(chuàng)新實施例的許多等價方案。因此，要理解，前面的實施例僅是 以舉例的方式提供，并且在所附權(quán)利要求書及其等同的范圍內(nèi)，可以用除具體描述并要求 保護的以外的其他方式來實踐創(chuàng)新實施例。本公開的創(chuàng)新實施例涉及本文描述的每個個體 特征、系統(tǒng)、物品、材料、成套設(shè)備和/或方法。此外，兩個或多個這樣的特征、系統(tǒng)、物品、材 料、成套設(shè)備和/或方法的任意組合，如果這樣的特征、系統(tǒng)、物品、材料、成套設(shè)備和/或方 法不相互抵觸的話，均被包括在本公開的創(chuàng)新范圍內(nèi)。
[0076] 本文中定義并使用的所有定義，均應(yīng)被理解為支配詞典定義、通過引用并入的文 件中的定義和/或所定義術(shù)語的普通意義。
[0077] 本文在說明書和權(quán)利要求書中使用的限定詞"一"和"一個"，除非清楚地另行指 定，均應(yīng)被理解為意指"至少一個"。
[0078] 本文在說明書和權(quán)利要求書中使用的詞語"和/或"應(yīng)被理解為意指如此連接的 元件"之一或兩者"，即在一些情況中結(jié)合地提供并且在其他情況中分離地提供的元件。應(yīng) 以相同的方式解釋用"和/或"列出的多個元件，即，如此結(jié)合所述元件中的"一個或多個"。 可以任選地提供除由所述"和/或"分句具體指出的所述元件以外的其他元件，無論與具體 指出的那些元件相關(guān)或不相關(guān)。因此，作為非限制性范例，對"A和/或B"的應(yīng)用，在被用 于與開放式語言（例如"包括"）聯(lián)用時，可以在一個實施例中指僅A(任選地包括除B以外 的其他元件）；在另一實施例中指僅B(任選地包括除A以外的其他元件）；在又另一實施例 中指A和B兩者（任選地包含其他元件）；等等。
[0079] 本文在說明書和權(quán)利要求書中使用的，"或"應(yīng)被理解為具有與上文定義的"和/ 或"相同的意義。例如，當分隔列舉中的項目時，"或"或"和/或"應(yīng)被解釋為包含性的，即， 對若干或列舉的元件中至少一個的包含，但也包含多于一個，并且任選地包含額外的未列 出的項目。只有相反地清楚地指示的術(shù)語，例如"僅一個"或"確切的一個"，或者當在權(quán)利 要求書中使用時，"由……組成"將指對若干或列舉的元件中確切的一個的包含。一般地，本 文中使用的術(shù)語"或"在前跟排除性術(shù)語（例如"任一個"、"一個"、"僅一個"或"確切的一 個"）時，僅應(yīng)被解釋為指示排除性的選擇（即"一個或另一個而非兩者")。"基本上由…… 組成"，在被用于權(quán)利要求書中時，應(yīng)具有其在專利法領(lǐng)域中所用的普通意義。
[0080] 本文在說明書和權(quán)利要求書中使用的，短語"至少一個"，在對一個或多個元件的 列舉的引用中，應(yīng)被理解為意指選自所述列舉的元件中的所述元件的一個或多個的至少一 個元件，但不必須包含所述元件的列舉中具體列出的每個和每一個元件中的至少一個，并 且不排除所述列舉的元件中元件的任意組合。該定義也允許可以任選地提供除所述短語 "至少一個"所指的所述列舉的元件內(nèi)具體明確的所述元件以外的其他元件，無論與具體明 確的那些元件相關(guān)或不相關(guān)。因此，作為非限制性范例，"A和B中的至少一個"（或者等同 地，"A或B的至少一個"，或者等同地"A和/或B中的至少一個"）可以在一個實施例中指 至少一個，任選地包含多于一個，A，不存在B (并且任選地包含除B以外的其他元件）；在另 一實施例中指至少一個，任選地包含多于一個，B，不存在A(并且任選地包含除A以外的其 他元件）；在再另一個實施例中，任選地包含多于一個，A，并且至少一個，任選地包含多于 一個，B(并且任選地包含其他元件）；等等。
[0081] 也應(yīng)理解，除非清楚地另外指定，本文要求保護的包括多于一個步驟或動作的任 意方法中，所述方法的所述步驟或動作的順序不必須被限制為所記載所述方法的所述步驟 或動作的順序。
[0082] 在權(quán)利要求書中以及在以上說明書中，所有的連接詞，例如"包括"、"包含"、"承 載"、"具有"、"含有"、"涉及"、"擁有"、"由……構(gòu)成"等等要被理解為開放式的，即意指包含 但不限于。僅連接詞"由……組成"和"基本上由……組成"應(yīng)分別為封閉式或半封閉是的 連接詞，如在美國專利局專利審查程序手冊，部分2111. 03中所規(guī)定。
【權(quán)利要求】
1. 一種顯示三維（3D)超聲數(shù)據(jù)的方法，包括： 使用超聲探頭捕獲所述3D超聲數(shù)據(jù)； 將所述超聲數(shù)據(jù)傳送到3D全息顯示系統(tǒng)并在所述顯示系統(tǒng)上實時顯示所述超聲數(shù) 據(jù)； 接收來自用戶的無觸摸輸入；并且 基于所述無觸摸輸入，配置所述超聲數(shù)據(jù)在所述顯示系統(tǒng)上的所述顯示。
2. 如權(quán)利要求1所述的方法，其中，配置所述3D超聲數(shù)據(jù)的所述顯示包括旋轉(zhuǎn)、平移或 縮放由所述超聲數(shù)據(jù)形成的全息圖像。
3. 如權(quán)利要求1所述的方法，其中，所述超聲數(shù)據(jù)為與圍介入或圍手術(shù)超聲心動描記 程序有關(guān)而捕獲的超聲心動描記數(shù)據(jù)。
4. 如權(quán)利要求3所述的方法，其中，所述顯示系統(tǒng)被安裝在所述程序的受試者上方。
5. 如權(quán)利要求4所述的方法，其中，所述顯示系統(tǒng)被安裝在介入實驗室或?qū)Ч軐嶒炇?的天花板上。
6. 如權(quán)利要求1所述的方法，其中，所述無觸摸輸入包括手勢。
7. 如權(quán)利要求1所述的方法，其中，所述無觸摸輸入包括語音命令。
8. 如權(quán)利要求1所述的方法，其中，基于所述無觸摸輸入配置所述超聲數(shù)據(jù)在所述顯 示系統(tǒng)上的所述顯示包括將信號傳輸?shù)剿龀曁筋^以控制由所述超聲探頭捕獲并被顯 示在所述顯示器上的所述超聲數(shù)據(jù)的視圖。
9. 一種醫(yī)學(xué)成像系統(tǒng)，包括： 超聲探頭，其被配置為捕獲來自受試者的三維（3D)數(shù)據(jù)； 處理系統(tǒng)，其被配置為從所述3D數(shù)據(jù)生成實況3D圖像； 3D全息顯示系統(tǒng)，其被配置為顯示由所述處理系統(tǒng)生成的所述實況3D圖像；以及 用戶接口，其被配置為檢測來自用戶的無觸摸輸入并且響應(yīng)于所述無觸摸輸入而在所 述顯示系統(tǒng)中啟動對所述實況3D圖像的圖像變換。
10. 如權(quán)利要求9所述的醫(yī)學(xué)成像系統(tǒng)，其中，所述圖像變換包括圖像旋轉(zhuǎn)、平移或縮 放。
11. 如權(quán)利要求9所述的醫(yī)學(xué)成像系統(tǒng)，其中，所述用戶接口包括被配置為檢測一個或 多個手勢的一個或多個電磁場傳感器。
12. 如權(quán)利要求9所述的醫(yī)學(xué)成像系統(tǒng)，其中，所述用戶接口包括被配置為檢測一個或 多個手勢的計算機視覺系統(tǒng)。
13. 如權(quán)利要求9所述的醫(yī)學(xué)成像系統(tǒng)，其中，所述超聲探頭為經(jīng)食道超聲心動描記探 頭。
14. 如權(quán)利要求9所述的醫(yī)學(xué)成像系統(tǒng)，其中，所述3D全息顯示系統(tǒng)被安裝到介入實驗 室、手術(shù)室或?qū)Ч軐嶒炇业奶旎ò濉?br> 15. 如權(quán)利要求9所述的醫(yī)學(xué)成像系統(tǒng)，其中，所述處理系統(tǒng)通過無線通信接口與所述 顯示系統(tǒng)通信。
16. 如權(quán)利要求9所述的醫(yī)學(xué)成像系統(tǒng)，其中，所述用戶接口還被配置為響應(yīng)于手勢而 啟動對圖像的流的記錄或回放、對圖像顯示的暫?；?qū)Σ藛蜗到y(tǒng)的操作。
17. -種在無菌區(qū)內(nèi)執(zhí)行圍介入或圍手術(shù)醫(yī)學(xué)程序的方法，包括： 將超聲探頭應(yīng)用于患者； 觀察從由所述超聲探頭生成的數(shù)據(jù)導(dǎo)出的并被顯示在3D全息顯示設(shè)備上的3D超聲圖 像； 基于所述觀察處置所述患者；并且 通過無觸摸接口控制所述3D全息顯示設(shè)備。
18. 如權(quán)利要求17所述的方法，其中，處置所述患者包括將基于導(dǎo)管的設(shè)備應(yīng)用于所 述患者或者在所述患者上執(zhí)行手術(shù)。
19. 如權(quán)利要求17所述的方法，其中，控制所述3D全息顯示設(shè)備包括執(zhí)行手勢以更改 被呈現(xiàn)在所述3D全息顯示設(shè)備上的3D圖像的觀看屬性。
20. 如權(quán)利要求19所述的方法，其中，更改所述3D圖像的所述觀看屬性包括旋轉(zhuǎn)、縮放 或平移所述3D圖像。
【文檔編號】A61B8/13GK104125805SQ201280070418
【公開日】2014年10月29日 申請日期:2012年12月20日 優(yōu)先權(quán)日:2011年12月23日
【發(fā)明者】M·J·達烏拉 申請人:皇家飛利浦有限公司