信息處理裝置、信息處理方法、以及信息處理系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及信息處理裝置、信息處理方法、以及信息處理系統(tǒng)，其使多種多樣的醫(yī)療用裝置的信息一元化，并且從一元化的信息中簡便地篩選信息，生成用于使圖像顯示裝置顯示的信息。信息處理裝置具備：取得從多個醫(yī)療用裝置取得的信息亦即多個醫(yī)療用裝置信息的取得部、生成包含利用取得部取得的多個醫(yī)療用裝置信息的至少一部分的提示用信息的生成部、以及對于顯示圖像的圖像顯示裝置，輸出所生成的提示用信息的提供部。生成部至少生成包含利用圖像顯示裝置的使用者對于顯示部的辨識較困難的醫(yī)療用裝置取得的醫(yī)療用裝置信息的提示用信息。
【專利說明】信息處理裝置、信息處理方法、以及信息處理系統(tǒng)

【技術領域】
[0001 ] 本發(fā)明涉及信息處理裝置。

【背景技術】
[0002]公知有作為安裝于頭部的顯示裝置的頭部安裝型顯示裝置(頭戴式顯示器(HeadMounted Display、HMD))。頭部安裝型顯示裝置,例如,利用液晶顯示器和光源生成表示圖像的圖像光，將所生成的圖像光利用投射光學系統(tǒng)、導光板等導入使用者的眼睛，由此使使用者識別虛像。
[0003]在專利文獻I中，記載了用于通過使用這種頭部安裝型顯示裝置，改善醫(yī)療環(huán)境中的信息的顯示的系統(tǒng)。在專利文獻I所記載的技術中，根據(jù)查詢從多個信息源取得信息，對所取得的信息，按規(guī)則進行篩選處理，并將其向眼鏡頭戴式觀察器的目鏡投影。另外，在專利文獻I所記載的技術中，根據(jù)頭部安裝型顯示裝置的安裝者的視線，決定固定的大型顯示器的顯示的控制權、優(yōu)先權。在專利文獻2中，記載了醫(yī)療用臉部安裝型影像顯示裝置(頭部安裝型顯示裝置)。在專利文獻2所記載的技術中，使頭部安裝型顯示裝置顯示在內窺鏡檢查或者內窺鏡手術時與內窺鏡一起使用的內窺鏡周邊設備的動作狀態(tài)信息。在專利文獻3、4中，記載了在頭部安裝型顯示裝置中，用于通過應用增強實感技術，進行齒科手術中的信息的顯示的方法。在專利文獻3、4所記載的技術中，對于手術部位的實像，重疊顯示術前圖像、模擬圖像等。
[0004]專利文獻1:日本特開2006-102495號公報
[0005]專利文獻2:日本特開2001-104331號公報
[0006]專利文獻3:日本特開2010-259497號公報
[0007]專利文獻4:日本特開2013-34764號公報
[0008]由于醫(yī)學的進步和電子設備的進步，當前的醫(yī)療現(xiàn)場迅速發(fā)展。在醫(yī)療現(xiàn)場中，例如使用有心電圖、心率計、血壓計、脈搏血氧儀、血糖值計、倫琴射線、內窺鏡之類的多種多樣的醫(yī)療用的裝置(以下也稱為“醫(yī)療用裝置”。)。把握這種多種多樣的醫(yī)療用裝置的信息來進行作業(yè)，對于在醫(yī)療現(xiàn)場工作的人員成為巨大的負擔。因此，希望能夠使多種多樣的醫(yī)療用裝置的信息一元化的系統(tǒng)。在專利文獻I所記載的技術中，存在雖能夠從多個信息源(醫(yī)療用裝置)取得信息，但查詢、篩選的設定較困難的課題。另外，在專利文獻2?4所記載的技術中，作為對象的醫(yī)療用裝置被限定，因此存在無法使多種多樣的醫(yī)療用裝置的信息一元化的課題。
[0009]另外，這種課題并不局限于頭部安裝型顯示裝置，是對于生成用于使例如頭部安裝型顯示裝置那樣的圖像顯示裝置顯示的信息的信息處理裝置均共同的課題。因此，希望能夠使多種多樣的醫(yī)療用裝置的信息一元化，并且從一元化的信息中簡便篩選信息，生成用于使圖像顯示裝置顯示的信息的信息處理裝置。除此之外，對于信息處理裝置，存在通用性的提高、便利性的提高、制造成本的降低、可靠性的提高的各種迫切期望。


【發(fā)明內容】

[0010]本發(fā)明是為了解決上述的課題的至少一部分而產(chǎn)生的，能夠通過以下的方式來實現(xiàn)。
[0011](I)根據(jù)本發(fā)明的一個方式，提供一種信息處理裝置。該信息處理裝置具備:取得部，其取得從多個醫(yī)療用裝置取得的信息亦即多個醫(yī)療用裝置信息；生成部，其生成包含利用上述取得部取得的上述多個醫(yī)療用裝置信息的至少一部分的提示用信息；以及提供部，其對于顯示圖像的圖像顯示裝置，輸出生成的上述提示用信息，上述生成部至少生成包含利用上述圖像顯示裝置的使用者對于顯示部的辨識較困難的上述醫(yī)療用裝置取得的上述醫(yī)療用裝置信息的上述提示用信息。根據(jù)該方式的信息處理裝置，生成部生成包含利用取得部取得的多個醫(yī)療用裝置信息的至少一部分的提示用信息，因此能夠使與信息處理裝置連接的多種多樣的醫(yī)療用裝置的信息(醫(yī)療用裝置信息)一元化。另外，生成部至少生成包含利用圖像顯示裝置的使用者對于顯示部的辨識較困難的醫(yī)療用裝置取得的醫(yī)療用裝置信息的提示用信息，因此能夠從一元化的醫(yī)療用裝置信息中，按圖像顯示裝置的使用者對于顯示部的辨識較困難的醫(yī)療用裝置的醫(yī)療用裝置信息的條件提取信息，使提示用信息包含所提取的信息。其結果是，能夠實現(xiàn)能夠使多種多樣的醫(yī)療用裝置的信息一元化，并且從一元化的信息中簡便地篩選信息，生成用于使圖像顯示裝置顯示的信息的信息處理裝置。
[0012](2)在上述方式的信息處理裝置中，也可以形成為上述提供部還取得上述圖像顯示裝置的使用者的視野方向的圖像，還具備確定部，上述確定部圖像識別所取得的上述視野方向的圖像，確定上述顯示部未包含于上述視野方向的圖像的上述醫(yī)療用裝置，將確定出的上述醫(yī)療用裝置確定為上述辨識較困難的醫(yī)療用裝置。根據(jù)該方式的信息處理裝置，確定部能夠根據(jù)圖像顯示裝置的使用者的視野方向的圖像，確定使用者對于顯示部的辨識較困難的醫(yī)療用裝置。另外，能夠經(jīng)由提供部取得確定時必要的信息。因此，在利用信息處理裝置時使用者無需預先準備數(shù)據(jù)等，所以簡便。
[0013](3)在上述方式的信息處理裝置中，也可以形成為上述取得部還分別取得與上述信息處理裝置連接的上述多個醫(yī)療用裝置的位置信息，上述提供部還取得表示與上述信息處理裝置連接的上述圖像顯示裝置的當前位置的當前位置信息、和表示上述使用者的頭部的朝向的方位信息，還具備確定部，上述確定部使用利用上述取得部取得的上述多個上述醫(yī)療用裝置的上述位置信息、和利用上述提供部取得的上述圖像顯示裝置的上述當前位置信息以及上述方位信息，確定上述辨識較困難的醫(yī)療用裝置。根據(jù)該方式的信息處理裝置，確定部能夠利用取得部取得的多個醫(yī)療用裝置的位置信息、和利用提供部取得的圖像顯示裝置的當前位置信息以及方位信息，自動地確定圖像顯示裝置的使用者對于顯示部的辨識較困難的醫(yī)療用裝置。另外，能夠經(jīng)由取得部以及提供部取得確定時必要的信息。因此，在利用信息處理裝置時使用者無需預先準備數(shù)據(jù)等，所以簡便。
[0014](4)在上述方式的信息處理裝置中，也可以形成為還具備配置存儲部，上述配置存儲部存儲用于確定上述辨識較困難的醫(yī)療用裝置的信息，還具備確定部，上述確定部使用上述配置存儲部，確定上述辨識較困難的醫(yī)療用裝置。根據(jù)該方式的信息處理裝置，確定部能夠使用存儲用于確定圖像顯示裝置的使用者對于顯示部的辨識較困難的醫(yī)療用裝置的信息的配置存儲部，自動地確定圖像顯示裝置的使用者對于顯示部的辨識較困難的醫(yī)療用裝置。另外，能夠從預先準備的配置存儲部取得確定時必要的信息。因此，在與信息處理裝置連接的醫(yī)療用裝置、圖像顯示裝置不具有位置信息的檢測機構、外景圖像的取得機構的情況下，確定部也能夠自動地確定圖像顯示裝置的使用者對于顯示部的辨識較困難的醫(yī)療田悲晉
/TJ 目.Ο
[0015](5)在上述方式的信息處理裝置中，也可以形成為還具備不可視信息存儲部，上述不可視信息存儲部存儲未表現(xiàn)于物體的外觀的信息亦即不可視信息，上述生成部使生成的上述提示用信息包含上述不可視信息。根據(jù)該方式的信息處理裝置，由于具備不可視信息存儲部，從而除與信息處理裝置連接的多種多樣的醫(yī)療用裝置的醫(yī)療用裝置信息之外，還能夠使不可視信息存儲部所存儲的不可視信息一元化。另外，生成部從一元化的信息中，例如提取CT圖像、MRI圖像、倫琴射線(X射線)圖像、透視圖像、超聲波診斷圖像、內窺鏡圖像、紅外線圖像等未表現(xiàn)于物體的外觀的信息亦即不可視信息，生成用于使圖像顯示裝置顯示的提示用信息。其結果是，與信息處理裝置連接的圖像顯示裝置的使用者，能夠辨識上述的不可視信息，從而提高圖像顯示裝置的便利性。
[0016](6)在上述方式的信息處理裝置中，也可以形成為在上述信息處理裝置，至少連接有1臺用于取得未表現(xiàn)于物體的外觀的信息亦即不可視信息的上述醫(yī)療用裝置，上述生成部使生成的上述提示用信息，包含利用用于取得上述不可視信息的上述醫(yī)療用裝置取得的上述醫(yī)療用裝置信息。根據(jù)該方式的信息處理裝置，生成部例如提取利用用于取得CT圖像、MRI圖像、倫琴射線(X射線)圖像、透視圖像、超聲波診斷圖像、內窺鏡圖像、紅外線圖像等未表現(xiàn)于物體的外觀的信息亦即不可視信息的醫(yī)療用裝置取得的醫(yī)療用裝置信息，生成用于使圖像顯示裝置顯示的提示用信息。其結果是，與信息處理裝置連接的圖像顯示裝置的使用者，能夠辨識上述的不可視信息，從而提高圖像顯示裝置的便利性。
[0017](7)在上述方式的信息處理裝置中，也可以形成為在上述信息處理裝置，至少連接有1臺用于取得患者的處理的圖像的上述醫(yī)療用裝置，上述生成部使生成的上述提示用信息，包含利用用于取得上述處理的圖像的上述醫(yī)療用裝置取得的上述醫(yī)療用裝置信息。根據(jù)該方式的信息處理裝置，生成部提取利用用于取得患者的處理的圖像的醫(yī)療用裝置取得的醫(yī)療用裝置信息，生成用于使圖像顯示裝置顯示的提示用信息。其結果是，與信息處理裝置連接的圖像顯示裝置的使用者，能夠辨識患者的處理的圖像，從而提高圖像顯示裝置的便利性。
[0018](8)在上述方式的信息處理裝置中，也可以形成為上述生成部在生成上述提示用信息時，維持上述醫(yī)療用裝置信息所包含的圖像的縱橫比不變地放大或者縮小上述圖像。根據(jù)該方式的信息處理裝置，生成部維持醫(yī)療用裝置信息所包含的圖像的縱橫比不變地放大或者縮小圖像，因此能夠抑制在生成提示用信息時，利用醫(yī)療用裝置取得的醫(yī)療用裝置信息產(chǎn)生意外失真的情況。
[0019](9)在上述方式的信息處理裝置中，也可以形成為在上述信息處理裝置，作為上述圖像顯示裝置，連接有使用者能夠同時辨識虛像和外景的頭部安裝型顯示裝置。根據(jù)該方式的信息處理裝置，能夠實現(xiàn)能夠使多種多樣的醫(yī)療用裝置的信息一元化，并且從一元化的信息中簡便地篩選信息，生成用于使所謂的透過型的頭部安裝型顯示裝置顯示的信息的信息處理裝置。
[0020](10)在上述方式的信息處理裝置中，也可以形成為上述提供部還從上述頭部安裝型顯示裝置，取得安裝有上述頭部安裝型顯示裝置的狀態(tài)下的使用者的視野方向的圖像，通過圖像識別所取得的上述視野方向的圖像來提取外景所包含的物體的特征，根據(jù)所提取的上述特征修正利用生成部生成的上述提示用信息，輸出修正后的上述提示用信息。根據(jù)該方式的信息處理裝置，提供部通過圖像識別頭部安裝型顯示裝置的使用者的視野方向的圖像來提取外景所包含的物體的特征，根據(jù)提取出的特征，修正生成的提示用信息。因此，在提示用信息中，包含例如CT圖像、MRI圖像、倫琴射線圖像等的不可視信息的情況下，能夠使不可視信息與外景所包含的物體(例如，患者的身體等)一致。其結果是，能夠提高頭部安裝型顯示裝置的使用者的便利性。并且，頭部安裝型顯示裝置能夠接收修正后的提示用信息，因此頭部安裝型顯示裝置保持原樣地顯示接收到的提示用信息即可。其結果是，能夠簡化頭部安裝型顯示裝置的結構。
[0021](11)根據(jù)本發(fā)明的一個方式，提供一種信息處理系統(tǒng)。該信息處理系統(tǒng)具備:多個醫(yī)療用裝置、信息處理裝置、以及使用者能夠同時辨別虛像和外景的頭部安裝型顯示裝置，上述信息處理裝置具備:取得部，其取得從上述多個醫(yī)療用裝置取得的信息亦即多個醫(yī)療用裝置信息；生成部，其生成包含利用上述取得部取得的上述多個醫(yī)療用裝置信息的至少一部分的提示用信息；以及提供部，其對于上述頭部安裝型顯示裝置，輸出生成的上述提示用信息，上述頭部安裝型顯示裝置具備:提示用信息取得部，其從上述信息處理裝置取得上述提示用信息；圖像顯示部，其將取得的上述提示用信息作為上述虛像使上述頭部安裝型顯示裝置的使用者辨識，上述信息處理裝置的上述生成部，至少生成包含利用上述頭部安裝型顯示裝置的使用者對于顯示部的辨識較困難的上述醫(yī)療用裝置取得的上述醫(yī)療用裝置信息的上述提示用信息。根據(jù)該方式的信息處理系統(tǒng)，能夠實現(xiàn)能夠使多種多樣的醫(yī)療用裝置的信息(醫(yī)療用裝置信息)在信息處理裝置中一元化，并且從一元化的信息中簡便地篩選信息生成提示用信息，將生成的提示用信息作為虛像使所謂的透過型的頭部安裝型顯示裝置的使用者辨識的信息處理系統(tǒng)。
[0022](12)根據(jù)本發(fā)明的一個方式，提供一種與上述方式的信息處理裝置連接，且使用者能夠同時辨識虛像和外景的頭部安裝型顯示裝置。該頭部安裝型顯示裝置具備:圖像取得部，其取得安裝有上述頭部安裝型顯示裝置的狀態(tài)下的上述使用者的視野方向的圖像；確定部，其圖像識別取得的上述視野方向的圖像來確定上述顯示部未包含于上述視野方向的圖像的上述醫(yī)療用裝置，將確定出的上述醫(yī)療用裝置確定為上述辨識較困難的醫(yī)療用裝置；通知部，其向上述信息處理裝置通知確定出的上述醫(yī)療用裝置；提示用信息取得部，其從上述信息處理裝置取得上述提示用信息；以及圖像顯示部，其將取得的上述提示用信息作為上述虛像使上述使用者辨識。根據(jù)該方式的頭部安裝型顯示裝置，能夠將確定部設于頭部安裝型顯示裝置。其結果是，能夠降低信息處理裝置中的處理負荷。
[0023]上述的本發(fā)明的各方式所具有的多個構成要素并非全部都是必須的，為了解決上述的課題的一部分或者全部，或者，為了實現(xiàn)本說明書所記載的效果的一部分或者全部，能夠適當?shù)貙τ谏鲜龆鄠€構成要素的一部分的構成要素，進行其變更、刪除、與新的構成要素的替換、限定內容的一部分刪除。另外，為了解決上述的課題的一部分或者全部，或者，為了實現(xiàn)本說明書所記載的效果的一部分或者全部，還能夠將上述的本發(fā)明的一個方式所包含的技術特征的一部分或者全部與上述的本發(fā)明的其他的方式所包含的技術特征的一部分或者全部組合，作為本發(fā)明的獨立的一個方式。
[0024]例如，本發(fā)明的一方式能夠作為具備取得部、生成部、提供部的3個要素中的一部分或者全部要素的裝置而實現(xiàn)。即，該裝置可以具有取得部，也可以不具有取得部。另外，該裝置可以具有生成部，也可以不具有生成部。另外，該裝置可以具有提供部，也可以不具有提供部。這種裝置能夠作為例如信息處理裝置而實現(xiàn)，但還能夠作為信息處理裝置以外的其他的裝置而實現(xiàn)。前述的信息處理裝置的各方式的技術特征的一部分或者全部均能夠應用于該裝置。
[0025]此外，本發(fā)明能夠以各種方式實現(xiàn)，例如，能夠以信息處理裝置、信息處理方法、信息處理系統(tǒng)、頭部安裝型顯示裝置、頭部安裝型顯示裝置的控制方法、頭部安裝型顯示系統(tǒng)、用于實現(xiàn)上述的方法、裝置或者系統(tǒng)的功能的計算機程序、記錄有該計算機程序的記錄介質等的方式而實現(xiàn)。

【專利附圖】

【附圖說明】
[0026]圖1是表示本發(fā)明的一個實施方式中的信息處理系統(tǒng)的簡要結構的說明圖。
[0027]圖2是功能性地示出信息處理裝置的結構的框圖。
[0028]圖3是表示共用影像規(guī)格的一個例子的說明圖。
[0029]圖4是表示管理表的一個例子的說明圖。
[0030]圖5是功能性地示出頭戴式顯示器的結構的框圖。
[0031]圖6是表示提示用信息生成處理的流程的流程圖。
[0032]圖7是表示醫(yī)療用裝置和頭戴式顯示器的配置的一個例子的說明圖。
[0033]圖8是用于對頭戴式顯示器的使用者對于顯示部的辨識較困難的醫(yī)療用裝置的確定方法進行說明的說明圖。
[0034]圖9是用于對提示用信息的生成方法進行說明的說明圖。
[0035]圖10是用于對提示用信息的生成方法進行說明的說明圖。
[0036]圖11是表示在頭戴式顯示器中作為虛像顯示提示用信息的情況的說明圖。
[0037]圖12是表示處于不同位置的多個頭戴式顯示器中作為虛像顯示提示用信息的情況的說明圖。
[0038]圖13是表示提示用信息的第1例的說明圖。
[0039]圖14是表示提示用信息的第2例的說明圖。
[0040]圖15是表示提示用信息的第3例的說明圖。
[0041]圖16是功能性地示出第2實施方式中的信息處理裝置的結構的框圖。
[0042]圖17是表示位置表的一個例子的說明圖。
[0043]圖18是表示第2實施方式中的提示用信息生成處理的流程的流程圖。
[0044]圖19是表示變形例中的頭戴式顯示器的外觀的結構的說明圖。

【具體實施方式】
[0045]A.第1實施方式:
[0046]A-1.信息處理系統(tǒng)的結構:
[0047]圖1是表示本發(fā)明的一個實施方式的信息處理系統(tǒng)1000的簡要結構的說明圖。信息處理系統(tǒng)1000具備多個醫(yī)療用裝置501?50η、信息處理裝置300、以及圖像顯示裝置100。信息處理系統(tǒng)1000為在醫(yī)療現(xiàn)場使用的系統(tǒng)，信息處理裝置300從多個醫(yī)療用裝置501?50η取得信息使之一元化，生成用于使圖像顯示裝置100顯示的提示用信息。醫(yī)療用裝置501?50η、與圖像顯示裝置100，通過有線連接或者無線連接，與信息處理裝置300連接。此外，以下，作為表示“任意多個”的文字使用“η”。η為1以上的整數(shù)。
[0048]在本實施方式中，作為醫(yī)療現(xiàn)場，例示了手術室中的手術現(xiàn)場，但信息處理系統(tǒng)1000也可以在診察室、處理室、治療室、分娩室等使用。另外，在本實施方式中，作為圖像顯示裝置100，例示了頭部安裝型顯示裝置，但圖像顯示裝置100也可以為固定型的顯示器、可攜帶的顯示器、智能手機等。以下，也將頭部安裝型顯示裝置100稱為“頭戴式顯示器100 (Head Mounted Display、HMD) ”。另外，在圖1中，圖示了 1臺頭戴式顯示器100,但也可以如后述的圖2那樣，多臺頭戴式顯示器100a?100η與信息處理裝置300連接。
[0049]此外，在以下的說明中，在不特別區(qū)別地說明頭戴式顯示器100a?100η的情況下，將其簡稱為“頭戴式顯示器100”。同樣，在不特別區(qū)別地說明醫(yī)療用裝置501?50η的情況下，將其簡稱為“醫(yī)療用裝置500”。
[0050]醫(yī)療用裝置501?50η為醫(yī)療用途所使用的各種裝置。作為醫(yī)療用裝置501?50η的例子，例如能夠使用用于拍攝室內外的靜態(tài)圖像以及動態(tài)圖像的可見光攝像機、用于拍攝手術部位的靜態(tài)圖像以及動態(tài)圖像的可見光攝像機、心電圖檢查裝置、手術用計時器、生物監(jiān)控儀、心率計、脈搏計、血壓計、超聲波檢查裝置、脈搏血氧儀、血糖值計、CT (ComputedTomography、計算機斷層拍攝)圖像拍攝裝置、MRI (Magnetic Resonance Imaging、核磁共鳴圖像法)圖像拍攝裝置、倫琴射線(X射線)圖像拍攝裝置、透視圖像拍攝裝置、內窺鏡圖像、以及紅外線圖像拍攝裝置等。
[0051]A-2.信息處理裝置的結構:
[0052]圖2是功能性地示出信息處理裝置300的結構的框圖。信息處理裝置300具備第1輸入輸出部310、R0M320、RAM330、通信接口 340、CPU350、以及外部存儲裝置380，各部分利用總線相互連接。
[0053]作為取得部的第1輸入輸出部310具備多個第1輸入輸出部311?31η。第1輸入輸出部 311 ?31η 例如為依照 USB (Universal Serial Bus)、HDMI (High Definit1nMultimedia Interface (注冊商標))、DVI (Digital Visual Interface) > VGA (VideoGraphics Array)、復合材料、RS-232C (Recommended Standard232)、紅外線、近距離無線通信(例如Bluetooth (注冊商標))、無線LAN (例如IEEE802.11)、有線LAN (例如IEEE802.3)等的通信規(guī)格的輸入輸出接口。第1輸入輸出部311?31η分別取得從所連接的醫(yī)療用裝置501?50η輸入的信息。從醫(yī)療用裝置輸入的信息是指利用醫(yī)療用裝置測定或者拍攝等的信息。以下也稱為“醫(yī)療用裝置信息“。
[0054]在本實施方式中，第1輸入輸出部311為依照DVI的輸入輸出接口，第1輸入輸出部312為依照HDMI的輸入輸出接口，第1輸入輸出部313為依照HDMI的輸入輸出接口，第1輸入輸出部31η為依照無線LAN的輸入輸出接口。在圖2中，第1輸入輸出部311與醫(yī)療用裝置501和固定式的顯示器700連接。同樣，第1輸入輸出部312與醫(yī)療用裝置502連接，第1輸入輸出部313與醫(yī)療用裝置503連接，第1輸入輸出部31η與醫(yī)療用裝置50η連接。這樣，第1輸入輸出部310由依照不同種類的通信規(guī)格的第1輸入輸出部311?31η構成。因此，第1輸入輸出部310能夠與依照各種通信規(guī)格的醫(yī)療用裝置連接，從而能夠提高信息處理裝置300的通用性。此外，第1輸入輸出部310還能夠將輸入的信號向例如顯示器700等顯示裝置保持原樣不變地輸出。
[0055]通信接口(I/F) 340為有線LAN的接口。通信接口 340通過網(wǎng)絡INT的線路將外部的設施的醫(yī)生PR與信息處理裝置300可通信地連接，并且通過內部網(wǎng)將與院內LAN連接的數(shù)據(jù)庫0D與信息處理裝置300可通信地連接。醫(yī)生PR例如被假定為擔任與信息處理裝置300連接的頭戴式顯示器100的使用者的指導的醫(yī)生、外部的專家醫(yī)生等。在數(shù)據(jù)庫0D存儲有顯示手術等的處理的流程的流程信息、電子病歷系統(tǒng)、以及電子化的學術書籍等。
[0056]CPU350通過將R0M320所儲存的計算機程序向RAM330展開執(zhí)行，來控制信息處理裝置300。另外，CPU350實現(xiàn)生成部360、第2輸入輸出部370的功能。生成部360通過執(zhí)行后述的提示用信息生成處理，來生成用于使頭戴式顯示器100顯示的提示用信息。本實施方式的生成部360生成包含頭戴式顯示器100的使用者對于顯示部的辨識較困難的醫(yī)療用裝置500的醫(yī)療用裝置信息在內的提示用信息。生成部360包括確定部361。確定部361確定頭戴式顯示器100的使用者對于顯示部的辨識較困難的醫(yī)療用裝置500。此處，“使用者對于顯示部的辨識較困難的醫(yī)療用裝置500”例如是指如下的醫(yī)療用裝置500的通稱。
[0057].由于醫(yī)療用裝置500處于使用者的死角，所以使用者無法辨識、或者難以辨識顯示部(顯示器等)的醫(yī)療用裝置500。
[0058].由于醫(yī)療用裝置500處于遠離使用者的場所，所以使用者無法辨識、或者難以辨識顯示部的醫(yī)療用裝置500。
[0059].雖然醫(yī)療用裝置500未處于使用者的死角，并且，處于接近使用者的場所，但由于使用者的視線與顯示部未對置，所以使用者無法辨識、或者難以辨識顯示部的醫(yī)療用裝置 500。
[0060]作為提供部的第2輸入輸出部370具備多個第2輸入輸出部371?37η。第2輸入輸出部371?37η與第1輸入輸出部310同樣，為依照各種通信規(guī)格的輸入輸出接口。由于詳細情況與第1輸入輸出部310相同所以省略說明。
[0061 ] 在本實施方式中，第2輸入輸出部371與第2輸入輸出部372為依照無線LAN的輸入輸出接口，第2輸入輸出部373為依照USB的輸入輸出接口，第2輸入輸出部37η為依照DVI的輸入輸出接口。在圖2中，第2輸入輸出部371與作為圖像顯示裝置的頭戴式顯示器100a連接。同樣，第2輸入輸出部372與頭戴式顯示器100b連接，第2輸入輸出部373與頭戴式顯示器100c連接，第2輸入輸出部37η與頭戴式顯示器100η連接。這樣，第2輸入輸出部370由依照不同種類的通信規(guī)格的第2輸入輸出部371?37η構成。因此，第2輸入輸出部370能夠與依照各種通信規(guī)格的頭戴式顯示器連接，從而能夠提高信息處理裝置300的通用性。
[0062]外部存儲裝置380由未圖示的ROM、RAM、DRAM、硬盤、閃存等構成。外部存儲裝置380包括共用影像規(guī)格381、管理表382、作為不可視信息存儲部的不可視信息383、以及手術的記錄384。
[0063]圖3是表示共用影像規(guī)格381的一個例子的說明圖。共用影像規(guī)格381為針對提示用信息的影像信號的用于規(guī)定標準化的規(guī)格的表。共用影像規(guī)格381在提示用信息生成處理中，在生成部360生成提示用信息時使用。
[0064]在本實施方式的共用影像規(guī)格381中，作為影像信號的規(guī)格，包括影像信號所包含的圖像的像素數(shù)、縱橫比、分辨率、壓縮方法、以及編碼方法。共用影像規(guī)格381被預先決定并存儲于外部存儲裝置380內。在決定共用影像規(guī)格381時，優(yōu)選考慮與第2輸入輸出部370連接的頭戴式顯示器100a?100η中采用的影像信號的規(guī)格。
[0065]圖4是表示管理表382的一個例子的說明圖。管理表382是用于管理與第2輸入輸出部370連接的頭戴式顯示器100的信息，更具體而言，是用于管理與第2輸入輸出部371?37η分別連接的頭戴式顯示器100a?100η的信息的表。管理表382除了在提示用信息生成處理中生成部360生成提不用信息時使用之外,還在第2輸入輸出部371?37η對于頭戴式顯示器100a?100η發(fā)送提示用信息時使用。
[0066]本實施方式的管理表382建立關聯(lián)地存儲識別號、職責、影像規(guī)格。在“識別號”存儲有用于相互識別與第2輸入輸出部370連接的頭戴式顯示器100的具有唯一性的識別號。在“職責”儲存有表示利用識別號識別的頭戴式顯示器100的使用者在醫(yī)療現(xiàn)場擔負何種職責的字符串。在“影像規(guī)格”存儲有表示利用識別號識別的頭戴式顯示器100中的影像信號的規(guī)格(影像信號所包含的圖像的像素數(shù)、縱橫比、分辨率、壓縮方法、編碼方法等)的模式的字符串。
[0067]在圖4的例子中，可知利用識別號“1”識別的頭戴式顯示器100的使用者為“操刀醫(yī)生”，該頭戴式顯示器100的影像規(guī)格為“規(guī)格A”(條目E01)。同樣，可知利用識別號“η”識別的頭戴式顯示器100的使用者為“護士”，該頭戴式顯示器100的影像規(guī)格為“規(guī)格Ε”(條目 Εθη)。
[0068]管理表382可以被預先決定并存儲于外部存儲裝置380，也可以在頭戴式顯示器100與信息處理裝置300連接時，作為初始處理自動生成。具體而言，例如，生成部360在檢測到頭戴式顯示器100與第2輸入輸出部370的連接時，對于該頭戴式顯示器100賦予具有唯一性的識別號，并且從頭戴式顯示器100取得使用者的職責、影像規(guī)格。生成部360將賦予的識別號、取得的職責、以及影像規(guī)格儲存于管理表382。每次頭戴式顯示器100a?100η與第2輸入輸出部370連接時，均進行如上所述的初始處理，由此生成部360能夠自動生成管理表382。
[0069]在圖2的不可視信息383 (不可視信息存儲部)中，存儲有未表現(xiàn)于物體的外觀的信息亦即不可視信息。不可視信息為表示物體的構造的圖像、文字信息，在物體為生物體的情況下，例如為CT圖像、MRI圖像、倫琴射線(X射線)圖像、透視圖像、超聲波診斷圖像、內窺鏡圖像、紅外線圖像、以及伴隨上述圖像的文字信息。不可視信息被預先拍攝并存儲于不可視信息383。
[0070]圖2的手術的記錄384是用于建立對應地記錄信息處理裝置300取得的醫(yī)療用裝置信息、信息處理裝置300生成的提示用信息、以及取得或者生成的時間的記錄部。信息處理裝置300取得的醫(yī)療用裝置信息意味著，信息處理裝置300從與第1輸入輸出部311?31η分別連接的多個醫(yī)療用裝置501?50η取得的醫(yī)療用裝置信息。另外，信息處理裝置300生成的提示用信息意味著，在提示用信息生成處理中，生成部360生成的全部提示用信息。信息處理裝置300取得、生成的信息的記錄能夠大致認為與手術(診察、處理、治療)的日志(log)同等。因此，這樣一來，在手術等結束后，能夠將手術的日志利用于手術內容的分析、研修、學術等。
[0071]A-3.頭部安裝型顯示裝置的結構:
[0072]圖5是功能性地表示頭戴式顯示器100a的結構的框圖。以下，作為頭戴式顯示器100的結構的一個例子例示頭戴式顯示器100a進行說明。頭戴式顯示器100a為使用者在辨識虛像的同時還能夠直接辨識外景的光學透過型的頭部安裝型顯示裝置，將從信息處理裝置300取得的提示用信息作為虛像而顯示。頭戴式顯示器100a具備在安裝于使用者的頭部的狀態(tài)下使使用者辨識虛像的圖像顯示部20、和控制圖像顯示部20的控制部10。圖像顯示部20與控制部10經(jīng)由電纜40進行各種信號的傳輸。
[0073]A-3-1.控制部的結構:
[0074]控制部10具備取得對于例如觸摸板、方向鍵、腳踏開關、光筆、麥克風等的輸入設備的操作輸入的輸入信息取得部110、由ROM、硬盤等構成的存儲部120、對于頭戴式顯示器100a的各部分供給電力的電源130、遵照無線LAN、Bluetooth等的規(guī)定的無線通信規(guī)格在與其他的設備之間進行無線通信的無線通信部132、當前位置取得部134、CPU140、用于連接信息處理裝置300、各種外部設備0A的接口 180、以及發(fā)送部(Tx) 51、52，各部分利用未圖示的總線相互連接。當前位置取得部134通過接收來自GPS衛(wèi)星的信號，來檢測頭戴式顯示器100a的使用者的當前位置，生成表示使用者的當前位置的當前位置信息。此外，當前位置取得部134也可以通過接收多個基站的電波，并判定接收到的電波的強弱來生成當前位置信息。當前位置信息能夠通過表示例如緯度經(jīng)度的坐標來實現(xiàn)。接口 180與信息處理裝置300的第1輸入輸出部310同樣，能夠依照各種通信規(guī)格。
[0075]CPU140通過讀取并執(zhí)行存儲部120所儲存的計算機程序，而作為操作系統(tǒng)
(0S)150、圖像處理部160、對于右耳機32的揚聲器和左耳機34的揚聲器供給聲音信號的聲音處理部170、顯示控制部190發(fā)揮功能。圖像處理部160根據(jù)經(jīng)由作為提示用信息取得部的接口 180、無線通信部132輸入的提示用信息的影像信號生成信號。而且，圖像處理部160通過將生成的信號經(jīng)由發(fā)送部51、52、電纜40向圖像顯示部20供給，來控制圖像顯示部20的顯示。用于向圖像顯示部20供給的信號，能夠使用公知的模擬形式、數(shù)字形式。顯示控制部190生成控制圖像顯示部20的右顯示驅動部22以及左顯示驅動部24的控制信號，并將其經(jīng)由發(fā)送部51、52發(fā)送。控制信號是指，用于分別獨立地切換基于右IXD控制部211的對于右LCD241的驅動開/關、基于右背光燈控制部201的對于右背光燈221的驅動開/關、基于左IXD控制部212的對于左IXD242的驅動開/關、以及基于左背光燈控制部202的對于左背光燈222的驅動開/關的信號。
[0076]A-3-2.圖像顯示部的結構:
[0077]圖像顯示部20為安裝于使用者的頭部的安裝體，在本實施方式中具有眼鏡形狀。圖像顯示部20包括生成并射出表示圖像的圖像光的右顯示驅動部22以及左顯示驅動部24、將圖像光向使用者的雙眼導入的右光學圖像顯示部26以及左光學圖像顯示部28(圖2)、作為圖像取得部的攝像機61、以及9軸傳感器66。
[0078]右顯示驅動部22包括接收部(Rx) 53、作為光源發(fā)揮功能的右背光燈(BL)控制部201以及右背光燈(BL) 221、作為顯示元件發(fā)揮功能的右LCD (Liquid Crystal Display)控制部211以及右IXD241、以及右投射光學系統(tǒng)251。右背光燈控制部201根據(jù)經(jīng)由接收部53輸入的控制信號，驅動右背光燈221。右背光燈221例如為LED、電致發(fā)光片(EL)等的發(fā)光體。右IXD控制部211根據(jù)輸入的影像信號驅動右IXD241。右IXD241為將多個像素配置成矩陣狀的透過型液晶面板。右LCD241通過驅動配置成矩陣狀的各像素位置的液晶，來使透過右LCD241的光的透過率變化，將從右背光燈221照射的照明光向表示圖像的有效的圖像光調制。右投射光學系統(tǒng)251由將從右LCD241射出的圖像光變?yōu)椴⑿袪顟B(tài)的光束的準直透鏡構成。左顯示驅動部24具有與右顯示驅動部22相同的結構，與右顯示驅動部22同樣地動作。
[0079]右光學圖像顯示部26與左光學圖像顯示部28以使用者安裝有圖像顯示部20時位于使用者的左右的眼前的方式配置(圖2)。右光學圖像顯示部26包括利用透光性的樹脂材料等形成的右導光板261。右導光板261 —邊使從右顯示驅動部22輸出的圖像光沿規(guī)定的光路反射一邊將其向使用者的右眼RE導入。對于右導光板261可以使用衍射光柵也可以使用半透過反射膜。左光學圖像顯示部28具有與右光學圖像顯示部26相同的結構，與右光學圖像顯示部26同樣地動作。如此，被導入頭戴式顯示器100a的使用者的雙眼的圖像光在使用者的網(wǎng)膜成像，從而使用者能夠辨識虛像。本實施方式的頭戴式顯示器100a的使用者，對于視野中的顯示有虛像的部分，能夠同時觀察虛像、和虛像的背后的外景。另夕卜，對于視野中的未顯示有虛像的部分，能夠透過左右的光學圖像顯示部26、28，直接觀察外景。
[0080]9軸傳感器66為檢測加速度(3軸)、角速度(3軸)、地磁(3軸)的運動傳感器。9軸傳感器66在圖像顯示部20安裝于使用者的頭部時，作為檢測頭戴式顯示器100a的使用者的頭部的運動的運動檢測部發(fā)揮功能。此處，頭部的運動包括頭部的速度?加速度?角速度?朝向?朝向的變化。此外，將頭部的朝向也稱為“方位信息”。作為視野圖像取得部的攝像機61配置于使用者安裝有圖像顯示部20時的與使用者的眉間對應的位置。攝像機61拍攝圖像顯示部20的表側方向，換言之，安裝有頭戴式顯示器100a的狀態(tài)下的使用者的視野方向的外景(外部的景色)，取得外景圖像。攝像機61為所謂的可見光攝像機。本實施方式中的攝像機61為單眼攝像機，但也可以采用立體攝像機。
[0081]A-4.提示用信息生成處理:
[0082]圖6是表示提示用信息生成處理的流程的流程圖。提示用信息生成處理為生成用于使頭戴式顯示器100顯示的提示用信息的處理，由信息處理裝置300 (圖2)的生成部360執(zhí)行。提示用信息生成處理能夠大致分為由步驟S100?S118構成的初始處理、和由步驟S120?S126構成的個別處理。
[0083]A-4-1.初始處理:
[0084]在初始處理中，生成部360自動確定頭戴式顯示器100的使用者對于顯示部的辨識較困難的醫(yī)療用裝置500，生成包括從確定出的醫(yī)療用裝置500取得的醫(yī)療用裝置信息在內的提示用信息。
[0085]圖7是表示醫(yī)療用裝置500與頭戴式顯示器100的配置的一個例子的說明圖。在提示用信息生成處理(圖6)的步驟S100中，生成部360的確定部361取得與信息處理裝置300連接的全部醫(yī)療用裝置500的位置信息、和全部頭戴式顯示器100的當前位置信息，并使之存儲于R0M320(或者外部存儲裝置380)。具體而言，確定部361對于醫(yī)療用裝置501?50η要求位置信息。確定部361將隨著響應而接收到的表示醫(yī)療用裝置501?50η的位置ΜΡ1?ΜΡη (圖7)的位置信息存儲于R0M320。同樣，確定部361對于頭戴式顯示器100a?100η要求當前位置信息。確定部361將隨著響應而接收到的表示頭戴式顯示器100a?100η的當前位置UP1?UPn (圖7)的當前位置信息存儲于R0M320。
[0086]在提示用信息生成處理(圖6)的步驟S102中，生成部360對于提示用信息生成處理中使用的變量i設定“1”。然后，生成部360的確定部361參照管理表382的第i號的條目(步驟S104)。生成部360的確定部361取得管理表382的第i號的條目所儲存的頭戴式顯示器100的“識別號”(步驟S106)。
[0087]此外，以下，將具有步驟S106中取得的識別號的頭戴式顯示器100也稱為“頭戴式顯示器100i”。頭戴式顯示器100i在初始處理中，是指當前處理中的頭戴式顯示器100。例如，在變量i = 1的情況下，頭戴式顯示器100i是指，管理表382的第1號的條目E01所儲存的、識別號為1的操刀醫(yī)生的頭戴式顯示器100a。
[0088]在提示用信息生成處理(圖6)的步驟S108中，生成部360的確定部361對于頭戴式顯示器100i要求當前位置信息和方位信息，取得隨著響應而接收到的頭戴式顯示器100?的當前位置信息、和方位信息。然后，生成部360的確定部361使用由步驟S100取得的全部醫(yī)療用裝置500的位置信息、和全部頭戴式顯示器100的當前位置信息，確定頭戴式顯示器100i的使用者對于顯示部的辨識較困難的醫(yī)療用裝置500 (步驟S110)。
[0089]圖8是用于對頭戴式顯示器100i的使用者對于顯示部的辨識較困難的醫(yī)療用裝置500的確定方法進行說明的說明圖。圖8表示正常的人的一般視野?？芍５娜说囊曇霸趩窝鄣那闆r下為頭頂側約60度、腳側約70度、耳側約90度、鼻側約120度。另外，以鼻為中心在水平方向各60度的視野，能夠用左右的眼同時觀察。以下，將能夠雙眼同時觀察的視野也稱為“雙眼視野”。同樣，將僅能夠用左眼觀察見的視野也稱為“左眼視野”，將僅能夠用右眼觀察的視野也稱為“右眼視野”。此外，在圖8中，僅以角度確定視野，但除角度以外也可以考慮用距離確定視野。
[0090]在提示用信息生成處理(圖6)的步驟S110中，生成部360的確定部361進行以下的流程al?a3所示的處理，確定頭戴式顯示器100i的使用者對于顯示部的辨識較困難的醫(yī)療用裝置500。
[0091](al)確定部361根據(jù)由步驟S108取得的頭戴式顯示器100i的當前位置信息和方位信息，決定頭戴式顯示器100i的當前位置和方位(朝向)。
[0092](a2)確定部361以由流程al決定的當前位置和方位為基準，將存在于未進入圖8所示的雙眼視野、左眼視野、右眼視野中的任一范圍的位置的醫(yī)療用裝置500作為“使用者對于顯示部的辨識較困難的醫(yī)療用裝置500”。
[0093](a3)確定部361在其他的頭戴式顯示器100的當前位置存在于從頭戴式顯示器100?的當前位置到醫(yī)療用裝置500的位置之間的直線區(qū)間的附近的情況下，將該醫(yī)療用裝置500作為“使用者對于顯示部的辨識較困難的醫(yī)療用裝置500”。此外，流程a3僅針對成為流程a2的對象外的醫(yī)療用裝置500而執(zhí)行。
[0094]使用圖7對步驟S110的具體例進行說明。對頭戴式顯示器100i是頭戴式顯示器100a的情況進行說明。確定部361根據(jù)頭戴式顯示器100a的當前位置信息和方位信息，決定當前位置UP1和方位UD1 (流程al)。確定部361以當前位置UP1和方位UD1為基準，將處于未進入頭戴式顯示器100a的使用者的雙眼視野、左眼視野、右眼視野中的任一范圍的位置MP3、MPn的醫(yī)療用裝置503、50n，作為頭戴式顯示器100a的使用者對于顯示部的辨識較困難的醫(yī)療用裝置500 (流程a2)。確定部361由于其他的頭戴式顯示器100的當前位置未存在于從頭戴式顯示器100a的當前位置UP1到醫(yī)療用裝置501的位置MP1之間的直線區(qū)間的附近，所以將醫(yī)療用裝置501判定為不是辨識較困難的醫(yī)療用裝置500。同樣，確定部361由于其他的頭戴式顯示器100的當前位置未存在于從當前位置UP1到醫(yī)療用裝置502的位置MP2之間、從當前位置UP1到醫(yī)療用裝置504的位置MP4之間、從當前位置UP1到醫(yī)療用裝置505的位置MP5之間的各個直線區(qū)間的附近，所以將醫(yī)療用裝置502、504、505判定為不是辨識較困難的醫(yī)療用裝置500 (流程a3)。上述的結果是，在頭戴式顯示器100i是頭戴式顯示器100a的情況下，確定部361將醫(yī)療用裝置503、50n判定為頭戴式顯示器100a的使用者對于顯示部的辨識較困難的醫(yī)療用裝置500。
[0095]對頭戴式顯示器100i是頭戴式顯示器100η的情況進行說明。確定部361根據(jù)頭戴式顯示器100η的當前位置信息和方位信息,決定當前位置UPn和方位UDn (流程al)。確定部361以當前位置UPn和方位UDn為基準，將處于未進入頭戴式顯示器100η的使用者的雙眼視野、左眼視野、右眼視野中的任一范圍的位置ΜΡη的醫(yī)療用裝置50η，作為頭戴式顯示器100η的使用者對于顯示部的辨識較困難的醫(yī)療用裝置500 (流程a2)。確定部361由于其他的頭戴式顯示器100b的當前位置UP2存在于從頭戴式顯示器100η的當前位置UPn到醫(yī)療用裝置501的位置MP1之間的直線區(qū)間的附近，所以將醫(yī)療用裝置501判定為顯示部的辨識較困難。同樣，確定部361由于其他的頭戴式顯示器100a的當前位置UP1存在于從當前位置UPn到醫(yī)療用裝置502、504的位置MP2、MP4之間的直線區(qū)間的附近，所以將醫(yī)療用裝置502、504判定為顯示部的辨識較困難。同樣，確定部361由于其他的頭戴式顯示器100的當前位置未存在于從當前位置UPn到醫(yī)療用裝置503、505的位置MP3、MP5之間的直線區(qū)間的附近，所以將醫(yī)療用裝置503、505判定為顯示部的辨識不困難(流程a3)。上述的結果是，在頭戴式顯示器100i是頭戴式顯示器100η的情況下，確定部361將醫(yī)療用裝置501、502、504、50n，確定為頭戴式顯示器100η的使用者對于顯示部的辨識較困難的醫(yī)療用裝置500。
[0096]這樣，生成部360的確定部361能夠通過流程a2，考慮人的一般視野，確定頭戴式顯示器100i的使用者對于顯示部的辨識較困難的醫(yī)療用裝置500。并且，生成部360的確定部361還能夠通過流程a3，確定雖然存在于視野的范圍內，但是由于其他的頭戴式顯示器100的使用者的存在而引起使用者對于顯示部的辨識較困難的醫(yī)療用裝置500。
[0097]這樣，根據(jù)步驟S100?S110，確定部361能夠根據(jù)頭戴式顯示器100以及醫(yī)療用裝置500的當前位置信息、方位信息，確定顯示部的辨識較困難的醫(yī)療用裝置500。具體而言，確定部361能夠確定由于醫(yī)療用裝置500處于使用者的死角，所以使用者無法辨識、或者難以辨識顯示部的醫(yī)療用裝置500。另外，確定部361除圖8中角度以外還能夠通過考慮距離，來確定由于醫(yī)療用裝置500處于遠離使用者的場所，所以使用者無法辨識、或者難以辨識顯示部的醫(yī)療用裝置500。另外，能夠經(jīng)由第1輸入輸出部310 (取得部)以及第2輸入輸出部370 (提供部)取得確定時必要的信息。因此，在利用信息處理裝置300時使用者無需預先準備數(shù)據(jù)等，所以簡便。
[0098]生成部360的確定部361也可以通過代替由圖6的步驟S100?S110說明的處理，執(zhí)行以下的流程zl?z6，來確定頭戴式顯示器100的使用者對于顯示部的辨識較困難的醫(yī)療用裝置500。在該情況下，在信息處理裝置300的R0M320 (或者外部存儲裝置380)，預先存儲有與信息處理裝置300連接的全部醫(yī)療用裝置500 (醫(yī)療用裝置501?50η)的顯示部的圖像。
[0099](zl)生成部360對于提示用信息生成處理中使用的變量i設定“1”。
[0100](z2)確定部361參照管理表382的第i號的條目。
[0101](z3)確定部361取得管理表382的第i號的條目所儲存的頭戴式顯示器100的“識別號”。
[0102](z4)確定部361對于頭戴式顯示器100i，指示使用了攝像機61的外景圖像的拍攝，取得拍攝出的外景圖像。
[0103](z5)確定部361通過圖像識別外景圖像，來判定R0M320所存儲的醫(yī)療用裝置500 (醫(yī)療用裝置501?50η)的顯示部的圖像是否分別被包括于外景圖像。
[0104](ζ6)確定部361將通過流程ζ5而判定為“外景圖像未包括顯示部的圖像”的醫(yī)療用裝置500，確定為頭戴式顯示器100i的使用者對于顯示部的辨識較困難的醫(yī)療用裝置500。
[0105]這樣，根據(jù)流程zl?z6，確定部361能夠根據(jù)利用頭戴式顯示器100i的攝像機61實際取得的使用者的視野方向的圖像(外景圖像)，確定顯示部的辨識較困難的醫(yī)療用裝置500。具體而言,確定部361能夠確定由于醫(yī)療用裝置500處于使用者的死角，所以使用者無法辨識、或者難以辨識顯示部的醫(yī)療用裝置500。另外，確定部361還能夠通過調整流程z5中的圖像識別的精度，來確定由于醫(yī)療用裝置500處于遠離使用者的場所，所以使用者無法辨識、或者難以辨識顯示部的醫(yī)療用裝置500。并且，確定部361能夠根據(jù)頭戴式顯示器100i的使用者的實際的視野，確定顯示部的辨識較困難的醫(yī)療用裝置500。更具體而言，確定部361能夠確定醫(yī)療用裝置500雖然未處于使用者的死角，并且，處于接近使用者的場所，但是由于使用者的視線與顯示部未對置(例如，使用者低頭的情況、醫(yī)療用裝置500的顯示部朝向與使用者的視線相同的方向的情況等)，所以使用者無法辨識、或者難以辨識顯示部的醫(yī)療用裝置500。另外，能夠經(jīng)由第2輸入輸出部370 (提供部)取得確定時必要的信息。因此，在利用信息處理裝置300時使用者無需預先準備數(shù)據(jù)等，所以簡便。
[0106]在提示用信息生成處理(圖6)的步驟S112中，生成部360使用第1輸入輸出部311?31η取得的醫(yī)療用裝置501?50η的醫(yī)療用裝置信息中的、從步驟S110中確定為頭戴式顯示器100i的使用者對于顯示部的辨識較困難的醫(yī)療用裝置500取得的醫(yī)療用裝置信息，生成用于向頭戴式顯示器100i發(fā)送的提示用信息PNi。
[0107]圖9是用于對提示用信息的生成方法進行說明的說明圖。在頭戴式顯示器100i的使用者對于顯示部的辨識較困難的醫(yī)療用裝置500為單個的情況下，生成部360通過按照共用影像規(guī)格381所規(guī)定的影像信號的規(guī)格轉換該醫(yī)療用裝置500的醫(yī)療用裝置信息CP1所包含的圖像，來生成提示用信息PN(圖9 (A))。生成部360在該轉換時，特別是，在醫(yī)療用裝置信息CP1所包含的圖像的縱橫比和共用影像規(guī)格381所規(guī)定的圖像的縱橫比不同的情況下，維持醫(yī)療用裝置信息CP1所包含的圖像的縱橫比不變，放大或者縮小圖像。這樣，在提示用信息PN的縱向或者橫向產(chǎn)生無圖像的空白部分(圖中用斜線表示)。
[0108]生成部360對于空白部分，執(zhí)行以下的bl、b2的任一流程。由此，空白部分在頭戴式顯示器100中作為虛像顯示，從而能夠抑制遮擋使用者的視野的情況。
[0109](bl)生成部360對于提示用信息PN的空白部分插入黑色的虛擬點數(shù)據(jù)。
[0110](b2)生成部360對于提示用信息PN的空白部分，將用于切換頭戴式顯示器100的右顯示驅動部22以及左顯示驅動部24中的圖像光生成的有效/無效的信號(Enable信號)設為Lo值(表示無效的值)。
[0111]這樣一來，提示用信息PN所包含的圖像的縱橫比不會改變。使用了信息處理裝置300的醫(yī)療現(xiàn)場中的圖像(例如，手術部位的靜態(tài)圖像以及動態(tài)圖像、CT圖像、MRI圖像、倫琴射線圖像等)，優(yōu)選以不損害使用者辨識的圖像的實際尺寸感覺的方式，嚴格地維持醫(yī)療用裝置500中拍攝的圖像的縱橫比。在這方面，只要維持醫(yī)療用裝置信息CP1所包含的圖像的縱橫比，便能夠抑制利用醫(yī)療用裝置500測定或者拍攝等的醫(yī)療用裝置信息產(chǎn)生意外失真的情況。此外，圖9(B)表示不維持醫(yī)療用裝置信息CP1所包含的圖像的縱橫比，而與共用影像規(guī)格381所規(guī)定的圖像的縱橫比對應地放大的結果、信息產(chǎn)生了失真的提示用信息 PNx。
[0112]圖10是用于對提示用信息的生成方法進行說明的說明圖。在頭戴式顯示器100i的使用者對于顯示部的辨識較困難的醫(yī)療用裝置500為多個的情況下，生成部360生成配置有辨識較困難的全部醫(yī)療用裝置500的醫(yī)療用裝置信息(在圖10的例子中，為醫(yī)療用裝置信息CP2、CP3)所包含的圖像的第1圖像。此時，生成部360也維持醫(yī)療用裝置信息所包含的圖像的縱橫比。另外，醫(yī)療用裝置信息所包含的圖像優(yōu)選配置于第1圖像的端部。生成部360通過按照共用影像規(guī)格381所規(guī)定的影像信號的規(guī)格轉換生成的第1圖像，來生成提示用信息PN(圖10)。此外，生成部360對于第1圖像中的未配置有醫(yī)療用裝置信息所包含的圖像的空白部分(在圖中用斜線表示)，執(zhí)行上述的方法bl或者b2的任一流程。由此，空白部分在頭戴式顯示器100中作為虛像顯示，從而能夠抑制遮擋使用者的視野的情況。
[0113]在提示用信息生成處理(圖6)的步驟S112中，生成部360使生成的提示用信息PNi存儲于手術的記錄384。
[0114]在步驟S114中，生成部360將生成的提示用信息PNi向頭戴式顯示器100i所連接的第2輸入輸出部370i發(fā)送。第2輸入輸出部370i按照頭戴式顯示器100i的影像信號的規(guī)格轉換接收到的提示用信息PNi所包含的圖像。此外，此時，第2輸入輸出部370i也可以參照管理表382的“影像規(guī)格”。在影像規(guī)格的轉換后，第2輸入輸出部370i對于頭戴式顯示器100i發(fā)送提示用信息PNi。
[0115]圖11是表示提示用信息PNi在頭戴式顯示器100i中作為虛像顯示的情況的說明圖。在從接口 180或者無線通信部132接收到提示用信息PNi的頭戴式顯示器100i中，進行基于圖像處理部160的上述的顯示處理。其結果是，被導入頭戴式顯示器100i的使用者的雙眼的圖像光在使用者的網(wǎng)膜成像，從而使用者能夠在視野VR中辨識提示用信息PNi的虛像VI。另外，使用者能夠透過右光學圖像顯示部26以及左光學圖像顯示部28，直接辨識躺在手術臺上的患者的情況(外景SC)。在圖11的例子中，在頭戴式顯示器100i的使用者所辨識的虛像VI (i)中，顯示有從設定為頭戴式顯示器100i的使用者的辨識較困難的醫(yī)療用裝置503取得的醫(yī)療用裝置信息CP2、和從醫(yī)療用裝置50η取得的醫(yī)療用裝置信息CP3。
[0116]圖12是表示在處于不同位置的多個頭戴式顯示器100中，提示用信息作為虛像顯示的情況的說明圖。信息處理裝置300的第2輸入輸出部370也可以如圖12所示地進行使提示用信息所包含的圖像的朝向、大小，與外景SC所包含的對象物體的朝向、大小一致的擬合處理。在醫(yī)療現(xiàn)場中，對象物體例如為患者的身體、身體的一部分。為了實現(xiàn)擬合處理，在提示用信息生成處理(圖6)的步驟S114中，第2輸入輸出部370i在按照頭戴式顯示器100i的影像信號的規(guī)格轉換了提示用信息PNi所包含的圖像后，進行以下的流程cl?c5所示的處理。
[0117](cl)第2輸入輸出部370i對于頭戴式顯示器100i，指示使用了攝像機61的外景圖像的拍攝，取得拍攝出的外景圖像。
[0118](c2)第2輸入輸出部370i使用如下述1、2那樣的圖像識別的方法，提取外景圖像所包含的對象物體的特征。此外，方法1、2也可以組合。
[0119]1.檢測對象物體的邊緣(特征)。
[0120]2.檢測對于對象物體預先標注的標識(特征)。此外，對于物體標注的標識能夠使用各種種類的標識。例如能夠使用膠帶、貼紙、印記(magic)、激光標識、魔術貼(注冊商標)等。另外，對于對象物體標注的標識的個數(shù)任意。
[0121](c3)第2輸入輸出部370i通過圖像識別接收到的提示用信息所包含的圖像，來提取對象物體的特征。此時，第2輸入輸出部370i能夠使用與上述1、2相同的圖像識別的方法。
[0122](c4)第2輸入輸出部370i以使由流程c2提取的外景圖像的特征的位置、與由流程c3提取的提示用信息的特征的位置一致的方式，修正提示用信息所包含的圖像CP。具體而言，在流程c2、c3中使用了方法1的情況下，第2輸入輸出部370i以外景圖像的邊緣的輪廓、特征部位的位置、與提示用信息的邊緣的輪廓、特征部位的位置一致的方式，對于提示用信息所包含的圖像CP，進行放大、縮小、旋轉、反轉、修剪、失真的賦予、噪聲的除去的至少一種加工。此處，特征部位在對象物體為生物體的情況下，是指切開的皮膚的輪廓、內臟的輪廓、關節(jié)、四肢的前端、血管、骨等。另一方面，在流程c2、c3中使用了方法2的情況下，第2輸入輸出部370i以使外景圖像的標識的位置、與提示用信息的標識的位置一致的方式，對于提示用信息所包含的圖像CP，進行放大、縮小、旋轉、反轉、修剪、失真的賦予、噪聲的除去的至少一種加工。
[0123]這樣一來，第2輸入輸出部370通過圖像識別頭戴式顯示器100 (頭部安裝型顯示裝置)的使用者的視野方向的圖像來提取外景所包含的物體的特征，根據(jù)提取的特征，修正利用生成部360生成的提示用信息。因此，在提示用信息中包含例如CT圖像、MRI圖像、倫琴射線圖像等的不可視信息的情況下，能夠使不可視信息與外景所包含的物體(例如，患者的身體等)一致。其結果是，能夠提高頭戴式顯示器100i的使用者的便利性。另外，上述的擬合處理在與確定的頭戴式顯示器100i連接的第2輸入輸出部370i執(zhí)行，因此不會對于與其他的頭戴式顯不器100連接的第2輸入輸出部370施加處理負荷。并且，由于頭戴式顯示器100i能夠接收施加了擬合處理之后的提示用信息，所以頭戴式顯示器100i的圖像處理部160將接收到的提示用信息保持原樣地顯示即可。其結果是，能夠簡化頭戴式顯示器100的結構。
[0124]在提示用信息生成處理(圖6)的步驟S116中，生成部360使變量i自加1。然后，生成部360判定變量i是否為η以上(步驟S118)。變量i不足η (步驟S118:否)的情況，即，意味著與第2輸入輸出部370連接的頭戴式顯示器100中存在初始處理未結束的頭戴式顯示器100的情況。因此，生成部360使處理向步驟S100轉移，繼續(xù)初始處理。另一方面，變量i為η以上(步驟S118:是)的情況意味著，全部頭戴式顯示器100的初始處理結束的情況。因此，生成部360使處理向步驟S120的個別處理轉移。
[0125]Α-4-2.個別處理:
[0126]在個別處理中，生成部360根據(jù)來自頭戴式顯示器100的要求，生成包含從所要求的醫(yī)療用裝置500取得的醫(yī)療用裝置信息、從所要求的醫(yī)療用裝置500以外的信息源取得的信息在內的提示用信息。
[0127]在提示用信息生成處理(圖6)的步驟S120中，生成部360判定是否從頭戴式顯示器100接收到信息源的選擇要求。此處，信息源的選擇要求意味著，例如以下dl?d6所列舉那樣的要求。
[0128](dl)利用醫(yī)療用裝置500取得的醫(yī)療用裝置信息的閱覽要求
[0129](d2)與外部的設施的醫(yī)生PR的通話要求
[0130](d3)院內數(shù)據(jù)庫0D所記錄的數(shù)據(jù)的閱覽要求
[0131](d4)不可視信息383所記錄的數(shù)據(jù)的閱覽要求
[0132](d5)手術的記錄384所記錄的數(shù)據(jù)的閱覽要求
[0133](d6)頭戴式顯示器100的使用者對于顯示部的辨識較困難的醫(yī)療用裝置500的醫(yī)療用裝置信息的閱覽要求
[0134]要求dl的情況的信息源為醫(yī)療用裝置500。同樣，要求d2的情況下的信息源為醫(yī)生PR，要求d3的情況下的信息源為數(shù)據(jù)庫0D，要求d4的情況下的信息源為不可視信息383，要求d5的情況下的信息源為手術的記錄384，要求d6的情況下的信息源為成為辨識較困難的醫(yī)療用裝置500。要求dl?d6可以單獨發(fā)放，也可以組合發(fā)放。信息源的選擇要求根據(jù)頭戴式顯示器100的使用者的操作而適當發(fā)放。
[0135]頭戴式顯示器100例如能夠利用以下的流程el?e5，來對于信息處理裝置300發(fā)送信息源的選擇要求。
[0136](el)頭戴式顯示器100的使用者經(jīng)由頭戴式顯示器100的輸入設備(觸摸板、方向鍵、腳踏開關、光筆、麥克風等)，輸入希望的信息源、和用于確定信息源內的信息的信息。作為輸入方法，只要采用經(jīng)由了麥克風的聲音輸入，便能夠大幅度提高在使用者使用手進行操作的情況較困難的醫(yī)療現(xiàn)場中使用頭戴式顯示器100的情況下的使用者的便利性。此夕卜，在要求dl、d6的情況下，不必輸入“用于確定信息源內的信息的信息”。
[0137](e2)頭戴式顯示器100的輸入信息取得部110取得與使用者的操作輸入對應的信號，并將其向0S150發(fā)送。
[0138](e3)頭戴式顯示器100的0S150生成信息源的選擇要求。具體而言，在要求dl的情況下，0S150生成包含頭戴式顯示器100的識別號、和用于確定由流程el指定的信息源的識別號在內的信息源的選擇要求。在要求d2?d5的情況下，0S150生成包含頭戴式顯示器100的識別號、用于確定由流程el指定的信息源的識別號、以及用于確定信息源內的信息的信息在內的信息源的選擇要求。在要求d6的情況下，0S150生成包含頭戴式顯示器100的識別號、頭戴式顯示器100的當前位置信息、以及方位信息在內的信息源的選擇要求。此夕卜，該當前位置信息以及方位信息為，利用生成部360，為了確定要求d6的“使用者對于顯示部的辨識較困難的醫(yī)療用裝置500”而使用的信息，相當于用于確定信息源的信息。
[0139](e4)頭戴式顯示器100的0S150對于經(jīng)由接口 180、無線通信部132而連接的信息處理裝置300，發(fā)送由流程e3生成的信息源的選擇要求。
[0140](e5)信息處理裝置300的第2輸入輸出部370，對于生成部360發(fā)送接收到的信息源的選擇要求。
[0141]在提示用信息生成處理(圖6)中，在接收到信息源的選擇要求的情況下(步驟S120:有)，在步驟S122中，生成部360取得信息源的選擇要求所包含的頭戴式顯示器100i的識別號、用于確定信息源的信息、以及用于確定信息源內的信息的信息。并且，生成部360在作為用于確定信息源的信息而插入有當前位置信息以及方位信息的情況下，執(zhí)行與圖6的步驟S110同樣的處理，確定作為執(zhí)行結果而得到的“使用者對于顯示部的辨識較困難的醫(yī)療用裝置500”。此處，頭戴式顯示器100i是指，作為信息源的選擇要求的發(fā)放源的頭戴式顯示器100 (即，當前處理中的頭戴式顯示器100)。
[0142]在步驟S124中，生成部360訪問所指定的信息源，取得所指定的信息。然后，生成部360使用取得的信息，生成頭戴式顯示器100i用的提示用信息PNi，使生成的提示用信息PNi存儲于手術的記錄384。此外，生成部360生成提示用信息的方法如圖9以及圖10所說明那樣。
[0143]圖13是表示提示用信息的第1例的說明圖。圖13㈧為在信息源的選擇要求中，指定了不可視信息383所存儲的患者的倫琴射線圖像(CP4)的情況下，利用生成部360生成的提示用信息PN的一個例子。此外，即使在信息源的選擇要求中，指定了能夠取得不可視信息的醫(yī)療用裝置500 (倫琴射線圖像拍攝裝置)的情況下，也生成與圖13(A)同樣的提示用信息。
[0144]圖13(B)為在信息源的選擇要求中，指定了作為醫(yī)療用裝置500的手術用計時器、作為醫(yī)療用裝置500的脈搏計、以及作為醫(yī)療用裝置500的生物監(jiān)控儀的情況下，利用生成部360生成的提示用信息PN的一個例子。在提示用信息PN的各端部，配置有從手術用計時器取得的當前時刻CP5以及從手術開始的經(jīng)過時間CP7、從脈搏計取得的脈搏的圖像CP6、以及從生物監(jiān)控儀取得的心率(HR)、血壓(SYS/DIA)、動脈血氧飽和度(Sp02)的圖像CP8。此外，頭戴式顯示器100也可以在如圖13(B)那樣，指定多個信息源的情況下，在信息源的選擇要求中，指定各信息源中的信息的“配置”、“大小”。
[0145]圖14是表示提示用信息的第2例的說明圖。圖14㈧為在信息源的選擇要求中，指定了院內數(shù)據(jù)庫0D所存儲的學術書籍(CP9)、和院內數(shù)據(jù)庫0D所存儲的手術的流程信息(CP10)的情況下，利用生成部360生成的提示用信息PN的一個例子。圖14(B)為在信息源的選擇要求中，指定了用于拍攝作為醫(yī)療用裝置500的手術部位的靜態(tài)圖像以及動態(tài)圖像的可見光攝像機、以及與外部的設施的醫(yī)生PR的通話的情況下，利用生成部360生成的提示用信息PN的一個例子。
[0146]圖15是表示提示用信息的第3例的說明圖。圖15為在信息源的選擇要求中，指定了作為醫(yī)療用裝置500的生物監(jiān)控儀的情況下，利用生成部360生成的提示用信息PN的一個例子。圖15所示的生物監(jiān)控儀不具備能夠與第1輸入輸出部310連接的接口。但是，只要形成為信息處理裝置300具備可見光攝像機的結構的基礎上，使可見光攝像機拍攝生物監(jiān)控儀的畫面(CP13)，則生成部360能夠使用來自不具有能夠與第1輸入輸出部310連接的接口的醫(yī)療用裝置的醫(yī)療用裝置信息，來如圖15那樣地生成提示用信息PN。
[0147]在提示用信息生成處理(圖6)的步驟S126中，生成部360在將由步驟S124生成的提示用信息PNi，向頭戴式顯示器100i所連接的第2輸入輸出部370i發(fā)送后，使處理向步驟S120轉移，繼續(xù)信息源的選擇要求的接收的監(jiān)控。接收到提示用信息PNi的第2輸入輸出部370i，按照頭戴式顯示器100i的影像信號的規(guī)格轉換接收到的提示用信息PNi所包含的圖像。另外，此時，第2輸入輸出部370i也可以執(zhí)行擬合處理。詳細情況如步驟S114所說明那樣。
[0148]在經(jīng)由接口 180或者無線通信部132而接收到提示用信息PNi的頭戴式顯示器100?中，利用圖像處理部160進行上述的顯示處理。其結果是，發(fā)送信息源的選擇要求的頭戴式顯示器100i的使用者，能夠辨識包含從信息源的選擇要求中指定的信息源取得的信息的提示用信息PNi的虛像。
[0149]如以上那樣，根據(jù)第1實施方式的信息處理裝置300，生成部360生成包含利用第1輸入輸出部310 (取得部、第1輸入輸出部311?31η)取得的多個醫(yī)療用裝置信息的至少一部分的提示用信息ΡΝ，因此能夠使與信息處理裝置300的第1輸入輸出部310連接的多種多樣的醫(yī)療用裝置500 (醫(yī)療用裝置501?50η)的信息(醫(yī)療用裝置信息)一元化。另外，生成部360在提示用信息生成處理的初始處理中，至少生成包含利用頭戴式顯示器100 (圖像顯示裝置)的使用者對于顯示部的辨識較困難的醫(yī)療用裝置500取得的醫(yī)療用裝置信息的提示用信息ΡΝ，因此能夠從一元化的醫(yī)療用裝置信息中，按顯示部的辨識較困難的醫(yī)療用裝置500的醫(yī)療用裝置信息這樣的條件提取信息，使提示用信息ΡΝ包含提取到的信息。其結果是，能夠實現(xiàn)能夠使多種多樣的醫(yī)療用裝置500 (醫(yī)療用裝置501?50η)的信息一?；?，并且能夠從一?；男畔⒅泻啽愕睾Y選信息，生成用于使頭戴式顯不器100顯示的信息的信息處理裝置300。
[0150]并且，第1實施方式的信息處理裝置300具備不可視信息383 (不可視信息存儲部)，由此除了與信息處理裝置300的第1輸入輸出部310 (第1輸入輸出部311?31η)連接的多種多樣的醫(yī)療用裝置500 (醫(yī)療用裝置501?50η)的醫(yī)療用裝置信息之外，還能夠使不可視信息383所存儲的不可視信息也一元化。另外，生成部360還能夠從一元化的信息中，例如圖13那樣提取CT圖像、MRI圖像、倫琴射線(X射線)圖像、透視圖像、超聲波診斷圖像、內窺鏡圖像、紅外線圖像等、未表現(xiàn)于物體的外觀的信息亦即不可視信息，生成用于使頭戴式顯示器100 (圖像顯示裝置)顯示的提示用信息ΡΝ。其結果是，與信息處理裝置300連接的頭戴式顯示器100的使用者能夠辨識上述的不可視信息，從而提高頭戴式顯示器100的便利性。同樣，生成部360例如還能夠提取利用用于取得CT圖像、MRI圖像、倫琴射線(X射線)圖像、透視圖像、超聲波診斷圖像、內窺鏡圖像、紅外線圖像等、未表現(xiàn)于物體的外觀的信息亦即不可視信息的醫(yī)療用裝置500取得的醫(yī)療用裝置信息，生成用于使頭戴式顯示器100顯示的提示用信息ΡΝ。其結果是，與信息處理裝置300連接的頭戴式顯示器100的使用者，能夠辨識上述的不可視信息，從而提高頭戴式顯示器100的便利性。
[0151]并且，根據(jù)第1實施方式的信息處理裝置300，生成部360還能夠提取利用用于取得手術部位的靜態(tài)圖像以及動態(tài)圖像，即，患者的處理的圖像的醫(yī)療用裝置500取得的醫(yī)療用裝置信息，生成用于使頭戴式顯示器100 (圖像顯示裝置)顯示的提示用信息ΡΝ。其結果是，與信息處理裝置300連接的頭戴式顯示器100的使用者，能夠辨識患者的處理的圖像，從而提高頭戴式顯示器100的便利性。
[0152]如以上說明那樣，根據(jù)第1實施方式的信息處理系統(tǒng)1000，能夠實現(xiàn)能夠使多種多樣的醫(yī)療用裝置500 (醫(yī)療用裝置501?50η)的信息(醫(yī)療用裝置信息)在信息處理裝置300中一元化，并且能夠從一元化的信息簡便地篩選信息生成提示用信息ΡΝ，使所謂的透過型的頭戴式顯示器100 (頭部安裝型顯示裝置)的使用者作為虛像辨識生成的提示用信息PN的信息處理系統(tǒng)1000。
[0153]A-5.附加處理:
[0154]此外，在提示用信息生成處理(圖6)中，還可以執(zhí)行如以下那樣的附加處理。附加處理可以單獨附加，也可以組合附加。
[0155]A-5-1.附加處理 1:
[0156]在附加處理1中，信息處理裝置300對于提示用信息進行顏色轉換處理。具體而言，從生成部360接收到提示用信息的第2輸入輸出部370，使頭戴式顯示器100的攝像機61取得外景圖像。然后，第2輸入輸出部370根據(jù)取得的外景圖像的亮度、對比度、飽和度、色調，實施提高提示用信息所包含的圖像的辨認度的顏色轉換處理。例如，第2輸入輸出部370能夠進行使提示用信息所包含的圖像的色調，向外景圖像的色調的補色轉換的顏色轉換處理。
[0157]這樣，根據(jù)附加處理1，能夠進一步提高針對頭戴式顯示器100的使用者的虛像VI的辨認度。
[0158]A-5-2.附加處理 2:
[0159]在附加處理2中，信息處理裝置300實現(xiàn)抑制隨著頭戴式顯示器100的使用者的頭的小的晃動引起的虛像VI的擺動的，所謂的防抖功能。具體而言，從生成部360接收到提示用信息的第2輸入輸出部370，按規(guī)定的時間，反復上述流程cl?c4中說明的擬合處理、和提示用信息生成處理的步驟S114、S126的提示用信息的發(fā)送。由此，按規(guī)定的時間，重復外景圖像的拍攝、和提示用信息所包含的圖像的修正以及顯示，因此能夠使追隨于使用者的頭部的經(jīng)時的運動的提示用信息作為虛像VI顯示。
[0160]但是，追隨于頭戴式顯示器100的使用者的頭的微小的運動、擺動而使提示用信息屢次改變的情況，反而存在誘發(fā)使用者的眼精疲勞的危險、妨礙使用者的集中力的危險。因此，第2輸入輸出部370還可以在上述流程cl與流程c2之間，進行以下的流程fl、f2所示的處理。
[0161](f 1)第2輸入輸出部370求出由流程cl拍攝的外景圖像、由上次執(zhí)行的擬合處理的流程cl拍攝的外景圖像之間的、RGB直方圖的變化量。
[0162](f2)第2輸入輸出部370在由流程f 1求出的變化量超過規(guī)定的閾值的情況下，繼續(xù)流程c2以后的處理。
[0163]這樣，根據(jù)附加處理2，第2輸入輸出部370在上次執(zhí)行的擬合處理中的外景圖像、當前執(zhí)行中的擬合處理中的外景圖像之間的變化量較小的情況下，即，頭戴式顯示器100的使用者的頭的運動微小的情況下，不進行提示用信息所包含的圖像的修正。其結果是，能夠抑制追隨于頭戴式顯示器100的使用者的頭的微小的運動、擺動而使提示用信息屢次改變的情況，因此能夠抑制使用者的眼精疲勞、集中力降低。此外，也可以形成為能夠由使用者指定防抖功能的開/關的結構。
[0164]A-5-3.附加處理 3:
[0165]在附加處理3中，信息處理裝置300根據(jù)頭戴式顯示器100的圖像顯示部20、與處于使用者的視野方向的物體之間的距離，變更提示用信息所包含的圖像作為虛像VI顯示的大小。具體而言，從生成部360接收到提示用信息的第2輸入輸出部370，能夠代替上述流程cl?c4中說明的擬合處理，進行以下的流程gl?g3所示的處理。此外，在實施本處理的情況下，形成為在頭戴式顯示器100，還具備測距傳感器的結構。測距傳感器為用于利用反射光取得處于使用者的視野方向的物體與圖像顯示部20之間的距離的傳感器，例如，能夠配置于攝像機61的附近。
[0166](gl)第2輸入輸出部370從頭戴式顯示器100定期取得測距傳感器的測定值。
[0167](g2)第2輸入輸出部370根據(jù)取得的測距傳感器的測定值決定放大率(或者縮小率)。
[0168](g3)第2輸入輸出部370使用決定的放大、縮小率，對于提示用信息所包含的圖像，進行放大、縮小、旋轉、反轉、修剪、失真的賦予、噪聲的除去的至少其中一個加工。
[0169]這樣，根據(jù)附加處理3，第2輸入輸出部370能夠根據(jù)處于頭戴式顯示器100的使用者的視野方向的物體、與圖像顯示部20之間的距離，變更提示用信息作為虛像VI顯示的大小。因此，能夠提高頭戴式顯示器100中的使用者的便利性。
[0170]B.第2實施方式:
[0171]在本發(fā)明的第2實施方式中，對根據(jù)表自動判定頭部安裝型顯示裝置的使用者對于顯示部的辨識較困難的醫(yī)療用裝置的結構進行說明。以下，僅對具有與第1實施方式不同的結構以及動作的部分進行說明。此外，對于圖中與第1實施方式相同的構成部分標注與先進行了說明的第1實施方式相同的附圖標記，省略其詳細的說明。
[0172]B-1.信息處理系統(tǒng)的結構:
[0173]第2實施方式中的信息處理系統(tǒng)1000a的簡要結構，與圖1所示的第1實施方式幾乎相同。但是，第2實施方式的信息處理系統(tǒng)1000a，代替信息處理裝置300具備信息處理裝置300a。
[0174]B-2.信息處理裝置的結構:
[0175]圖16是功能性地示出第2實施方式中的信息處理裝置300a的結構的框圖。與圖2所示的第1實施方式區(qū)別在于，代替生成部360具備生成部360a，代替確定部361具備確定部361a的方面、和代替外部存儲裝置380具備外部存儲裝置380a的方面。對于生成部360a與確定部361a而言，提示用信息生成處理中的處理內容與第1實施方式不同。后述詳細情況。外部存儲裝置380a除了第1實施方式所說明的各結構之外，還具備作為配置存儲部的位置表385。
[0176]圖17是表不位置表385的一個例子的說明圖。位置表385為用于確定頭戴式顯示器100a?100η的使用者對于顯示部的辨識較困難的醫(yī)療用裝置500的表。位置表385在提示用信息生成處理中使用。
[0177]本實施方式的位置表385建立關聯(lián)地存儲識別號、裝置1、裝置2、裝置3、裝置4、以及裝置5。在“識別號”存儲有用于相互識別與第2輸入輸出部370連接的頭戴式顯示器100的具有唯一性的識別號。在“裝置1”?“裝置5”中，儲存有對于利用識別號識別的頭戴式顯示器100，使用者對于顯示部的辨識較困難的醫(yī)療用裝置500的識別號。
[0178]在圖17的例子中，可知利用識別號“1”識別的頭戴式顯示器100的使用者對于顯示部的辨識較困難的醫(yī)療用裝置500，為醫(yī)療用裝置503、醫(yī)療用裝置50η (條目Ε01)。同樣，可知利用識別號“2”識別的頭戴式顯示器100的使用者對于顯示部的辨識較困難的醫(yī)療用裝置500，為醫(yī)療用裝置503、醫(yī)療用裝置505、以及醫(yī)療用裝置50η (條目Ε02)。
[0179]Β-3.頭部安裝型顯示裝置的結構:
[0180]第2實施方式中的頭戴式顯示器100的簡要結構，與圖5所示的第1實施方式相同。
[0181]B-4.提示用信息生成處理:
[0182]圖18是表示第2實施方式中的提示用信息生成處理的流程的流程圖。與圖6所示的第1實施方式的區(qū)別在于，不具備步驟S100的方面、代替步驟S104?S112具備步驟S200?S204的方面，關于其他的步驟與第1實施方式相同。
[0183]在提示用信息生成處理(圖18)的步驟S200中，生成部360a的確定部361a，參照位置表385的第i號的條目。生成部360a的確定部361a取得位置表385的第i號的條目所儲存的頭戴式顯示器100的“識別號”、“裝置1?5”(步驟S202)。
[0184]在步驟S204中，生成部360a使用第1輸入輸出部311?31η取得的醫(yī)療用裝置501?50η的醫(yī)療用裝置信息中的，從具有由步驟S202取得的識別號的醫(yī)療用裝置500，即，頭戴式顯示器100i的使用者對于顯示部的辨識較困難的醫(yī)療用裝置500取得的醫(yī)療用裝置信息，生成用于向頭戴式顯示器100i發(fā)送的提示用信息PNi。提示用信息的生成方法，與第1實施方式相同，因此省略說明。
[0185]如以上那樣，根據(jù)第2實施方式的信息處理裝置300a，生成部360a的確定部361a能夠使用存儲用于確定頭戴式顯示器100(圖像顯示裝置)的使用者對于顯示部的辨識較困難的醫(yī)療用裝置500的信息的位置表385 (配置存儲部)，來自動確定頭戴式顯示器100的使用者對于顯示部的辨識較困難的醫(yī)療用裝置500。具體而言，確定部361a能夠確定，由于醫(yī)療用裝置500處于使用者的死角，所以使用者無法辨識、或者難以辨識顯示部的醫(yī)療用裝置500。另外，確定部361a還能夠確定，由于醫(yī)療用裝置500處于遠離使用者的場所，所以使用者無法辨識、或者難以辨識顯示部的醫(yī)療用裝置500。并且，確定部361a能夠確定，雖然醫(yī)療用裝置500未處于使用者的死角，并且，處于接近使用者的場所，但是由于使用者的視線與顯示部不對置，所以使用者無法辨識、或者難以辨識顯示部的醫(yī)療用裝置500。另夕卜，確定部361a能夠從預先準備的位置表385取得決定時必要的信息。因此，在與信息處理裝置300a的第1輸入輸出部310連接的醫(yī)療用裝置500、以及與信息處理裝置300a的第2輸入輸出部370連接的頭戴式顯示器100，不具有位置信息的檢測機構的情況下，確定部361a也能夠確定頭戴式顯示器100的使用者對于顯示部的辨識較困難的醫(yī)療用裝置500。
[0186]B-5.附加處理:
[0187]此外，在第2實施方式的提示用信息生成處理(圖18)中，也可以執(zhí)行“A-5-1.附加處理1”?“A-5-3.附加處理3”中說明的與第1實施方式相同的附加處理。
[0188]C.變形例:
[0189]在上述實施方式中，可以將利用硬件實現(xiàn)的結構的一部分置換為軟件，反之，也可以將利用軟件實現(xiàn)的結構的一部分置換為硬件。除此之外，還能夠進行如以下那樣的變形。
[0190]?變形例1:
[0191]在上述實施方式中，對于信息處理系統(tǒng)的結構進行了例示。但是，信息處理系統(tǒng)的結構在不脫離本發(fā)明的主旨的范圍內能夠任意規(guī)定，例如，能夠進行構成信息處理系統(tǒng)的各裝置的追加.刪除.替換等。另外，能夠進行構成信息處理系統(tǒng)的裝置的網(wǎng)絡結構的變更。
[0192]例如，信息處理裝置的管理表、不可視信息、手術的記錄、位置表可以儲存于與院內LAN連接的數(shù)據(jù)庫0D。另外，數(shù)據(jù)庫0D并不局限于院內，也可以設于經(jīng)由了網(wǎng)絡INT的外部(例如，設于院外的云服務器等)。
[0193]?變形例2:
[0194]在上述實施方式中，對信息處理裝置的結構進行了例示。但是，信息處理裝置的結構，在不脫離本發(fā)明的主旨的范圍內能夠任意規(guī)定，例如，能夠進行各構成部的追加.刪除.替換等。
[0195]例如，信息處理裝置可以具備觸摸面板、輸入按鈕、鍵盤、鼠標、麥克風、攝像機等各種輸入設備。同樣，信息處理裝置也可以具備顯示器、指示器、用于輸出與手術相關的簡易的日志的打印機等各種輸出設備。
[0196]例如，生成部、第2輸入輸出部(提供部)中的各功能，作為CPU通過將ROM、硬盤所儲存的計算機程序向RAM展開執(zhí)行來實現(xiàn)的功能而記載。但是，上述功能也可以使用為了實現(xiàn)該功能而設計的ASIC(Applicat1n Specific Integrated Circuit:面向特定用途集成電路)而實現(xiàn)。
[0197]例如，在信息處理裝置中，形成為具備顯示器、取得位置信息的當前位置取得部、以及方位傳感器的結構。在此基礎上，信息處理裝置的CPU也可以形成為，使用信息處理裝置的位置信息和方位信息，進行與第1實施方式的提示用信息生成處理(圖6)中的初始處理相同的處理，確定信息處理裝置的使用者對于顯示部的辨識較困難的醫(yī)療用裝置，使信息處理裝置的顯示器顯示從確定出的醫(yī)療用裝置取得的醫(yī)療用裝置信息的結構。這樣一來，站在信息處理裝置的附近的利用者，能夠確認信息處理裝置所具備的顯示器。這樣一來，對于未戴上本發(fā)明的頭戴式顯示器(圖像顯示裝置)的工作人員，也能夠容易把握信肩、Ο
[0198]例如，在信息處理裝置中，形成為具備取得信息處理裝置所面對的方向的外景圖像的攝像機的結構。在此基礎上，也可以形成為進行與使用了第1實施方式的提示用信息生成處理(圖6)的流程zl?z6的初始處理相同的處理，確定信息處理裝置的使用者對于顯示部的辨識較困難的醫(yī)療用裝置，使信息處理裝置的顯示器顯示從確定出的醫(yī)療用裝置取得的醫(yī)療用裝置信息的結構。這樣一來，站在信息處理裝置的附近的利用者，能夠確認信息處理裝置所具備的顯示器。這樣一來，對于未戴上本發(fā)明的頭戴式顯示器(圖像顯示裝置)的工作人員，也能夠容易把握信息。
[0199]例如，在信息處理裝置中，形成為具備顯示器的結構，并形成為在位置表中，存儲有信息處理裝置的使用者對于顯示部的辨識較困難的醫(yī)療用裝置的識別號的結構。在此基礎上，信息處理裝置的CPU也可以形成為，使用位置表，進行與第2實施方式的提示用信息生成處理(圖18)中的初始處理相同的處理，確定信息處理裝置的使用者對于顯示部的辨識較困難的醫(yī)療用裝置，使信息處理裝置的顯示器顯示從確定出的醫(yī)療用裝置取得的醫(yī)療用裝置信息的結構。這樣一來，站在信息處理裝置的附近的利用者，能夠確認信息處理裝置所具備的顯示器。這樣一來，對于未戴上本發(fā)明的頭戴式顯示器(圖像顯示裝置)的工作人員，也能夠容易把握信息。
[0200]例如，使用了第1實施方式的提示用信息生成處理(圖6)的流程zl?z6的初始處理中的提供部的功能，可以在頭戴式顯示器中實現(xiàn)。在該情況下，在頭戴式顯示器中，進行了使用者對于顯示部的辨識較困難的醫(yī)療用裝置的確定之后，頭戴式顯示器的接口(通知部)向信息處理裝置通知確定出的醫(yī)療用裝置的識別號。信息處理裝置使用從具有所通知的識別號的醫(yī)療用裝置取得的醫(yī)療用裝置信息，通過與上述第1實施方式相同的流程生成提示用信息即可。這樣一來，能夠將確定部設于頭戴式顯示器，因此能夠降低信息處理裝置的處理負荷。
[0201]?變形例3:
[0202]在上述實施方式中，對于頭戴式顯示器的結構進行了例示。但是，頭戴式顯示器的結構在不脫離本發(fā)明的主旨的范圍內能夠任意規(guī)定，例如，能夠進行各構成部的追加.刪除?替換等。例如，控制部、圖像顯示部，可以通過經(jīng)由了無線LAN、紅外線通信、Bluetooth等的無線的信號傳輸路的連接而連接。另外，例如，作為電源，可以采用一次電池、燃料電池、太陽能電池、熱電池等。
[0203]上述實施方式中的對于控制部、圖像顯示部的構成要素的分配，只不過是一個例子，能夠采用各種方式。例如，也可以作為以下那樣的方式。(i)在控制部搭載CPU、存儲器等的處理功能，在圖像顯示部僅搭載顯示功能的方式；(ii)在控制部與圖像顯示部的雙方搭載CPU、存儲器等的處理功能的方式；(iii)使控制部與圖像顯示部一體化的方式(例如，在圖像顯示部包含控制部作為眼鏡型的可穿戴式計算機發(fā)揮功能的方式)；(iv)代替控制部使用智能手機、便攜式游戲機的方式；(v)通過使控制部和圖像顯示部形成為能夠無線通信并且無線供電的結構，而廢棄電纜的方式。
[0204]例如，輸入信息取得部也可以使用上述實施方式所例示的以外的各種方法，取得來自使用者的操作輸入。例如，可以取得利用腳踏開關(利用使用者的腳進行操作的開關)進行的操作輸入。另外，例如，也可以在圖像顯示部設置紅外線傳感器等的視線檢測部的基礎上，檢測使用者的視線，取得基于與視線的運動建立對應的指令的操作輸入。另外，例如，也可以使用攝像機檢測使用者的光筆，取得基于與光筆建立對應的指令的操作輸入。在檢測光筆時，能夠將使用者的指尖、使用者的手上的戒指、使用者的手上的醫(yī)療器具等作為用于運動檢測的標識。如果能夠取得基于腳踏開關、視線的操作輸入，那么輸入信息取得部即使在使用者放手困難的醫(yī)療現(xiàn)場，也能夠容易取得來自使用者的操作輸入。
[0205]例如，頭戴式顯示器形成為雙眼式的透過型頭戴式顯示器，但也可以形成為單眼式的頭戴式顯示器。另外，也可以作為在使用者安裝有頭戴式顯示器的狀態(tài)下遮擋外景的透過的非透過型頭戴式顯示器而構成。在上述實施方式中，形成為將圖像顯示部如眼鏡那樣安裝的頭戴式顯示器，但例如，也可以形成為采用了如帽子那樣安裝的方式的圖像顯示部等其他的形狀的圖像顯示部的頭戴式顯示器。另外，耳機可以采用耳掛型、頭帶型，也可以省略。并且，例如，也可以作為搭載于汽車、飛機等的車輛的平視顯示器(HUD、Head-UpDisplay)而構成。除此之外，也可以作為內置于安全帽等的身體防護具的頭戴式顯示器而構成。
[0206]圖19是表示變形例中的頭戴式顯示器的外觀的結構的說明圖。在圖19(A)的例子的情況下，圖像顯示部20a代替右光學圖像顯示部26而具備右光學圖像顯示部26a，代替左光學圖像顯示部28而具備左光學圖像顯示部28a。右光學圖像顯示部26a形成為小于第1實施方式的光學部件，配置于頭戴式顯示器安裝時的使用者的右眼的斜上方。同樣，左光學圖像顯示部28a形成為小于第1實施方式的光學部件，配置于頭戴式顯示器安裝時的使用者的左眼的斜上方。在圖19(B)的例子的情況下，圖像顯示部20b代替右光學圖像顯示部26而具備右光學圖像顯示部26b，代替左光學圖像顯示部28而具備左光學圖像顯示部28b。右光學圖像顯示部26b形成為小于第1實施方式的光學部件，配置于頭戴式顯示器安裝時的使用者的右眼的斜下方。左光學圖像顯示部28b形成為小于第1實施方式的光學部件，配置于頭戴式顯示器安裝時的使用者的左眼的斜下方。這樣，光學圖像顯示部只要配置于使用者的眼睛的附近即可。另外，形成光學圖像顯示部的光學部件的大小也任意，還能夠作為光學圖像顯示部僅覆蓋使用者的眼睛的一部分的方式，換言之，光學圖像顯示部未完全覆蓋使用者的眼睛的方式的頭戴式顯示器而實現(xiàn)。
[0207]例如，在上述實施方式中，顯示驅動部使用背光燈、背光燈控制部、LCD、LCD控制部、投射光學系統(tǒng)而構成。但是，上述的方式只不過是例示。顯示驅動部也可以與上述的構成部一起，或者代替上述的構成部，具備用于實現(xiàn)其他的方式的構成部。例如，顯示驅動部可以使用前燈方式、反射方式射出圖像光。另外，例如，顯示驅動部也可以形成為具備有機EL(有機電致發(fā)光、Organic Electro-Luminescence)的顯示器、有機EL控制部、以及投射光學系統(tǒng)的結構。另外，例如，顯示驅動部還能夠代替LCD而使用數(shù)字?微鏡?設備等。另夕卜，例如，還能夠對于激光網(wǎng)膜投射型的頭部安裝型顯示裝置應用本發(fā)明。
[0208].變形例4:
[0209]在上述實施方式中，示出了提示用信息生成處理的一個例子。但是，提示用信息生成處理的流程只不過是一個例子，能夠進行各種變形。例如，可以省略一部分的步驟，也可以追加更多其他的步驟。另外，也可以變更所執(zhí)行的步驟的流程。
[0210]例如，在第1實施方式的提示用信息生成處理(圖6)中的初始處理中，使用頭戴式顯示器的當前位置信息和方位信息、以及、醫(yī)療用裝置的位置信息，確定出頭戴式顯示器的使用者對于顯示部的辨識較困難的醫(yī)療用裝置。但是，也可以組合利用頭戴式顯示器的9軸傳感器而得到的使用者的頭部的運動(頭部的速度.加速度.角速度?朝向?朝向的變化)，確定頭戴式顯示器的使用者對于顯示部的辨識較困難的醫(yī)療用裝置。
[0211 ] 例如，關于與第2輸入輸出部連接的多個頭戴式顯示器，使用變量i連續(xù)進行初始處理，但是關于與第2輸入輸出部連接的多個頭戴式顯示器，也可以并列執(zhí)行圖6以及圖18所說明的初始處理。
[0212]例如，上述實施方式所說明的不可視信息，假定了二維地表現(xiàn)的圖像。但是，作為醫(yī)療用裝置，也可以連接有能夠拍攝三維的不可視圖像的裝置。另外，外部存儲裝置所存儲的不可視信息，也可以為根據(jù)使用拍攝設備拍攝的多個圖像而作成的三維模型。在使用三維地表現(xiàn)的不可視信息的情況下，生成部先生成提示用信息，再進行三維模型的構思圖。然后，使用構思圖后的圖像，生成提示用信息。這樣一來，能夠從各種方向，辨識未表現(xiàn)于對象物體的外觀的信息。
[0213]例如，在接收到提示用信息的頭戴式顯示器中，也可以根據(jù)使用者的要求，放大、縮小提示用信息所包含的圖像作為虛像VI而顯示的大小。同樣，頭戴式顯示器可以根據(jù)使用者的要求，不顯示提示用信息所包含的圖像，也可以對于提示用信息所包含的圖像進行顏色轉換。另外，作為來自使用者的要求的輸入方法，只要采用經(jīng)由了麥克風的聲音輸入，便能夠大幅度提高在使用者使用手進行操作較困難的醫(yī)療現(xiàn)場使用頭戴式顯示器的情況下的、使用者的便利性。
[0214]例如，可以省略提示用信息生成處理中的初始處理、個別處理中的其中一方。另夕卜，初始處理也可以不在提示用信息生成處理剛開始之后執(zhí)行。與初始處理相同的處理，也可以根據(jù)來自使用者、其他的應用的要求，而適當執(zhí)行。
[0215].變形例5:
[0216]在上述實施方式中，示出了共用影像規(guī)格、管理表、位置表的一個例子。但是，上述的詳細情況只不過是一個例子，還能夠進行各種變更。例如，能夠進行字段(項目)的追加、刪除、變更。另外，管理表、位置表也可以分割為多個表并正規(guī)化。
[0217]例如，在管理表，可以代替用于相互識別頭戴式顯示器的識別號，或者與識別號一起，存儲有頭戴式顯示器的使用者的聲紋。這樣一來，信息處理裝置能夠根據(jù)經(jīng)由麥克風而取得的使用者的聲紋，取得該使用者使用的頭戴式顯示器的作用、影像規(guī)格，執(zhí)行提示用信息生成處理。
[0218]例如，也可以在管理表，與頭戴式顯示器的識別號建立對應，還存儲有用于使用于頭戴式顯示器與信息處理裝置之間的通信的信息(例如，頭戴式顯示器的IP地址、MAC地址、加密密匙等)。另外，也可以在管理表，代替表示影像信號的規(guī)格的模式的“影像規(guī)格”，存儲各頭戴式顯示器中采用的實際的影像規(guī)格本身(即，與共用影像規(guī)格所存儲的項目相同的項目)。
[0219]例如，形成為在位置表，能夠與頭戴式顯示器的識別號建立對應而儲存頭戴式顯示器的使用者對于顯示部的辨識較困難的最大5個裝置的識別號的結構。但是，在位置表，能夠具備任意的個數(shù)的“裝置”字段。
[0220].變形例6:
[0221]本發(fā)明不局限于上述的實施方式、實施例、變形例，在不脫離其主旨的范圍內能夠以各種結構來實現(xiàn)。例如，與發(fā)明的概要的欄所記載的各方式中的技術特征對應的實施方式、實施例、變形例中的技術特征，能夠為了解決上述的課題的一部分或者全部，或者，為了實現(xiàn)上述的效果的一部分或者全部，而適當?shù)剡M行替換、組合。另外，該技術特征如果在本說明書中未作為必須的特征來說明，那么也能夠適當?shù)貏h除。
[0222]附圖標記說明
[0223]10…控制部;20…圖像顯示部;22…右顯示驅動部；24…左顯示驅動部；26…右光學圖像顯不部;28…左光學圖像顯不部;32…右耳機；34…左耳機;40…電纜;51…發(fā)送部；52…發(fā)送部；53…接收部；54...接收部；61...攝像機(圖像取得部)；110…輸入信息取得部；100…頭戴式顯示器(圖像顯示裝置、頭部安裝型顯示裝置)；120…存儲部；130…電源；140-CPU ;160…圖像處理部;170…聲音處理部;180…接口 (通知部);190…顯示控制部；201…右背光燈控制部；202…左背光燈控制部；211…右IXD控制部；212…左IXD控制部；221…右背光燈；222…左背光燈；241...右IXD ;242…左IXD ;251…右投射光學系統(tǒng)；252…左投射光學系統(tǒng)；261…右導光板；262…左導光板；300…信息處理裝置；310…第1輸入輸出部；311?31η…第1輸入輸出部(取得部)；320…ROM; 330…RAM; 340…通信接口 ;350…CPU ;360…生成部;361…確定部;370…第2輸入輸出部；371?37η…第2輸入輸出部(提供部);380…外部存儲裝置；381…共用影像規(guī)格；382…管理表；383…不可視信息(不可視信息存儲部)；384…手術的記錄；385…位置表(配置存儲部)；500…醫(yī)療用裝置；501?50η…醫(yī)療用裝置;700…顯示器;1000…信息處理系統(tǒng);0Α…外部設備;PC...個人計算機;0D…數(shù)據(jù)庫;VI…虛像;PN…提示用信息;VR…視野;PR…醫(yī)生;MP1…位置； UP1...當前位置；CP1...醫(yī)療用裝置信息。
【權利要求】
1.一種信息處理裝置，其特征在于，具備: 取得部，其取得從多個醫(yī)療用裝置取得的信息亦即多個醫(yī)療用裝置信息； 生成部，其生成包含利用所述取得部取得的所述多個醫(yī)療用裝置信息的至少一部分的提示用信息；以及 提供部，其對于顯示圖像的圖像顯示裝置輸出生成的所述提示用信息， 所述生成部至少生成包含利用所述圖像顯示裝置的使用者對于顯示部的辨識較困難的所述醫(yī)療用裝置取得的所述醫(yī)療用裝置信息的所述提示用信息。
2.根據(jù)權利要求1所述的信息處理裝置，其特征在于， 所述提供部還取得所述圖像顯示裝置的使用者的視野方向的圖像， 所述信息處理裝置還具備確定部，所述確定部圖像識別所取得的所述視野方向的圖像來確定所述顯示部未包含于所述視野方向的圖像的所述醫(yī)療用裝置，并將確定出的所述醫(yī)療用裝置確定為所述辨識較困難的醫(yī)療用裝置。
3.根據(jù)權利要求1或2所述的信息處理裝置，其特征在于， 所述取得部還分別取得與所述信息處理裝置連接的所述多個醫(yī)療用裝置的位置信息，所述提供部還取得表示與所述信息處理裝置連接的所述圖像顯示裝置的當前位置的當前位置信息、和表示所述使用者的頭部的朝向的方位信息， 所述信息處理裝置還具備確定部，所述確定部使用利用所述取得部取得的所述多個所述醫(yī)療用裝置的所述位置信息、和利用所述提供部取得的所述圖像顯示裝置的所述當前位置信息以及所述方位信息來確定所述辨識較困難的醫(yī)療用裝置。
4.根據(jù)權利要求1?3中的任一項所述的信息處理裝置，其特征在于， 還具備配置存儲部，所述配置存儲部存儲用于確定所述辨識較困難的醫(yī)療用裝置的信息， 所述信息處理裝置還具備確定部，所述確定部使用所述配置存儲部來確定所述辨識較困難的醫(yī)療用裝置。
5.根據(jù)權利要求1?4中的任一項所述的信息處理裝置，其特征在于， 還具備不可視信息存儲部，所述不可視信息存儲部存儲未表現(xiàn)于物體的外觀的信息亦即不可視信息， 所述生成部使生成的所述提示用信息包含所述不可視信息。
6.根據(jù)權利要求1?5中的任一項所述的信息處理裝置，其特征在于， 在所述信息處理裝置至少連接有I臺用于取得未表現(xiàn)于物體的外觀的信息亦即不可視信息的所述醫(yī)療用裝置， 所述生成部使生成的所述提示用信息包含利用用于取得所述不可視信息的所述醫(yī)療用裝置取得的所述醫(yī)療用裝置信息。
7.根據(jù)權利要求1?6中的任一項所述的信息處理裝置，其特征在于， 在所述信息處理裝置至少連接有I臺用于取得患者的處理的圖像的所述醫(yī)療用裝置，所述生成部使生成的所述提示用信息包含利用用于取得所述處理的圖像的所述醫(yī)療用裝置取得的所述醫(yī)療用裝置信息。
8.根據(jù)權利要求1?7中的任一項所述的信息處理裝置，其特征在于， 所述生成部在生成所述提示用信息時，維持所述醫(yī)療用裝置信息所包含的圖像的縱橫比不變地放大或者縮小所述圖像。
9.根據(jù)權利要求1?8中的任一項所述的信息處理裝置，其特征在于， 在所述信息處理裝置，作為所述圖像顯示裝置而連接有使用者能夠同時辨識虛像和外景的頭部安裝型顯示裝置。
10.根據(jù)權利要求9所述的信息處理裝置，其特征在于， 所述提供部還從所述頭部安裝型顯示裝置取得安裝有所述頭部安裝型顯示裝置的狀態(tài)下的使用者的視野方向的圖像， 通過圖像識別所取得的所述視野方向的圖像來提取外景所包含的物體的特征， 根據(jù)所提取的所述特征來修正利用生成部生成的所述提示用信息，并輸出修正后的所述提示用信息。
11.一種信息處理方法,其特征在于,具備: (a)取得從多個醫(yī)療用裝置取得的信息亦即多個醫(yī)療用裝置信息的步驟； (b)生成包含所取得的所述多個醫(yī)療用裝置信息的至少一部分的提示用信息的步驟；以及 (C)對于顯示圖像的圖像顯示裝置輸出生成的所述提示用信息的步驟， 所述步驟(b)至少生成包含利用所述圖像顯示裝置的使用者對于顯示部的辨識較困難的所述醫(yī)療用裝置取得的所述醫(yī)療用裝置信息的所述提示用信息。
12.一種信息處理系統(tǒng)，其特征在于，具備: 多個醫(yī)療用裝置； 信息處理裝置；以及 頭部安裝型顯示裝置，其使使用者能夠同時辨識虛像和外景， 所述信息處理裝置具備: 取得部，其取得從所述多個醫(yī)療用裝置取得的信息亦即多個醫(yī)療用裝置信息； 生成部，其生成包含利用所述取得部取得的所述多個醫(yī)療用裝置信息的至少一部分的提示用信息；以及 提供部，其對于所述頭部安裝型顯示裝置輸出所生成的所述提示用信息， 所述頭部安裝型顯示裝置具備: 提示用信息取得部，其從所述信息處理裝置取得所述提示用信息；和圖像顯示部，其將取得的所述提示用信息作為所述虛像使所述頭部安裝型顯示裝置的使用者辨識， 所述信息處理裝置的所述生成部至少生成包含利用所述頭部安裝型顯示裝置的使用者對于顯示部的辨識較困難的所述醫(yī)療用裝置取得的所述醫(yī)療用裝置信息的所述提示用信息。
13.—種頭部安裝型顯示裝置，其特征在于，與權利要求1所述的信息處理裝置連接，使使用者能夠同時辨識虛像和外景，其中，具備: 圖像取得部，其取得安裝有所述頭部安裝型顯示裝置的狀態(tài)下的所述使用者的視野方向的圖像； 確定部，其圖像識別所取得的所述視野方向的圖像來確定所述顯示部未包含于所述視野方向的圖像的所述醫(yī)療用裝置，并將確定出的所述醫(yī)療用裝置確定為所述辨識較困難的醫(yī)療用裝置； 通知部，其向所述信息處理裝置通知確定出的所述醫(yī)療用裝置； 提示用信息取得部，其從所述信息處理裝置取得所述提示用信息；以及 圖像顯示部，其將所取得的所述提示用信息作為所述虛像來使所述使用者辨識。
【文檔編號】G06F9/44GK104298499SQ201410340080
【公開日】2015年1月21日 申請日期:2014年7月16日 優(yōu)先權日:2013年7月16日
【發(fā)明者】津田敦也, 內山敏一, 若宮仁美, 高野正秀 申請人:精工愛普生株式會社