圖像處理裝置、圖像處理方法以及程序的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理裝置、圖像處理方法以及程序，并具體地涉及能夠改善操作性的圖像處理裝置、圖像處理方法以及程序。
【背景技術(shù)】
[0002]近年來，隨著中央處理器(CPU)和圖形處理器(GPU)等的發(fā)展，通過利用計(jì)算機(jī)圖形(CG)圖像實(shí)現(xiàn)了虛擬現(xiàn)實(shí)(virtual reality)，并且還通過將實(shí)際拍攝的圖像與利用虛擬現(xiàn)實(shí)的虛擬圖像進(jìn)行組合實(shí)現(xiàn)了進(jìn)一步的增強(qiáng)現(xiàn)實(shí)(augmented reality，AR)。
[0003]例如，作為與這種增強(qiáng)現(xiàn)實(shí)有關(guān)的技術(shù)，提出了用于顯示疊加在真實(shí)環(huán)境中存在的物體的位置上的圖像并根據(jù)操作來處理該圖像的技術(shù)(例如，參考專利文獻(xiàn)I)。
[0004]引用列表
[0005]專利文獻(xiàn)
[0006]專利文獻(xiàn)1:JP 2011_203823A

【發(fā)明內(nèi)容】

[0007]技術(shù)問題
[0008]然而，在上述技術(shù)中，必須通過諸如用戶的手或腳等預(yù)先確定的一者來執(zhí)行操作，因此，不僅必須在操作中執(zhí)行手和腳等的識(shí)別處理，而且操作有時(shí)不方便，因而操作性不強(qiáng)。另外，顯示了疊加在真實(shí)環(huán)境中存在的物體的位置上的用于操作的圖像，因此，自由度低且操作不方便。
[0009]鑒于以上情形而提出了本發(fā)明，并本發(fā)明旨在改善操作性。
[0010]問題的解決方案
[0011]根據(jù)本發(fā)明的方面，提供了一種圖像處理裝置，所述圖像處理裝置包括:圖像裁剪單元，所述圖像剪裁單元從具有各自的視差的兩個(gè)以上的輸入圖像中裁剪出顯示有待被操作的虛擬圖像的區(qū)域附近的預(yù)定區(qū)域，以生成裁剪圖像；距離計(jì)算單元，所述距離計(jì)算單元基于兩個(gè)以上的所述裁剪圖像來計(jì)算所述裁剪圖像的每個(gè)區(qū)域中的物體的距離信息；觸摸位置計(jì)算單元，所述觸摸位置計(jì)算單元基于所述距離信息來計(jì)算用戶在所述虛擬圖像上的觸摸位置；觸摸處理單元，所述觸摸處理單元使與所述觸摸位置相對(duì)應(yīng)的處理被執(zhí)行；短距離圖像分離單元，針對(duì)每個(gè)所述裁剪圖像，所述短距離圖像分離單元基于所述距離信息從該裁剪圖像中分離出比所述虛擬圖像更近的所述物體的區(qū)域，以生成短距離圖像；虛擬圖像組合單元，針對(duì)每個(gè)所述短距離圖像，所述虛擬圖像組合單元將該短距離圖像與所述虛擬圖像組合在一起，以生成合成圖像；以及顯示圖像組合單元，針對(duì)每個(gè)所述合成圖像，所述顯示圖像組合單元將該合成圖像與所述輸入圖像組合在一起，以生成具有各自的視差的兩個(gè)輸出圖像。
[0012]所述觸摸位置計(jì)算單元可計(jì)算多個(gè)所述觸摸位置。所述觸摸處理單元可使由多個(gè)所述觸摸位置指定的處理被執(zhí)行。所述虛擬圖像可被顯示在三維空間中的非平坦平面上。所述觸摸位置計(jì)算單元可基于所述裁剪圖像上的具有由所述距離信息表示的與所述虛擬圖像的距離相等的距離的位置來計(jì)算所述觸摸位置，且針對(duì)所述虛擬圖像的每個(gè)區(qū)域使用不同的所述虛擬圖像的不同的距離。
[0013]所述觸摸位置計(jì)算單元可基于所述裁剪圖像上的具有由所述距離信息表示的與所述虛擬圖像的距離相等的距離的多個(gè)位置來計(jì)算所述觸摸位置。
[0014]所述輸入圖像與多個(gè)所述虛擬圖像可被組合在一起，以形成所述輸出圖像。所述觸摸位置計(jì)算單元可針對(duì)每個(gè)所述虛擬圖像計(jì)算所述觸摸位置。
[0015]所述圖像處理裝置可還包括:校正單元，所述校正單元基于所述圖像處理裝置的位置或方向的變化來校正所述虛擬圖像的顯示位置、顯示大小或形狀或校正所述虛擬圖像的距離。
[0016]所述圖像處理裝置可還包括:識(shí)別單元，所述識(shí)別單元從所述輸入圖像中檢測(cè)預(yù)先確定的識(shí)別目標(biāo)；識(shí)別目標(biāo)距離計(jì)算單元，所述識(shí)別目標(biāo)距離計(jì)算單元基于所述識(shí)別目標(biāo)的檢測(cè)結(jié)果來計(jì)算所述識(shí)別目標(biāo)的距離；以及確定單元，所述確定單元基于所述識(shí)別目標(biāo)的位置和所述識(shí)別目標(biāo)的距離來確定所述虛擬圖像的顯示位置和所述虛擬圖像的距離。
[0017]所述識(shí)別目標(biāo)可以是用戶的手掌。
[0018]所述圖像處理裝置可還包括:障礙物確定單元，所述障礙物確定單元通過從所述短距離圖像中檢測(cè)預(yù)先確定的操作物體來確定所述虛擬圖像與所述圖像處理裝置之間是否存在障礙物。
[0019]所述距離計(jì)算單元可通過對(duì)所述裁剪圖像執(zhí)行立體匹配來計(jì)算所述距離信息。
[0020]所述距離信息可以是所述裁剪圖像的每個(gè)區(qū)域中的視差。
[0021]所述觸摸處理單元可根據(jù)所述觸摸位置使圖像顯示或語音再現(xiàn)被執(zhí)行。
[0022]所述圖像處理裝置可還包括:成像單元，所述成像單元拍攝所述輸入圖像。
[0023]根據(jù)本發(fā)明的方面，提供了一種圖像處理方法或一種程序，它們包括:從具有各自的視差的兩個(gè)以上的輸入圖像中裁剪出顯示有待被操作的虛擬圖像的區(qū)域附近的預(yù)定區(qū)域，以生成裁剪圖像；基于兩個(gè)以上的所述裁剪圖像來計(jì)算所述裁剪圖像的每個(gè)區(qū)域中的物體的距離信息；基于所述距離信息來計(jì)算用戶在所述虛擬圖像上的觸摸位置；使與所述觸摸位置相對(duì)應(yīng)的處理被執(zhí)行；針對(duì)每個(gè)所述裁剪圖像，基于所述距離信息從該裁剪圖像中分離出比所述虛擬圖像更近的所述物體的區(qū)域，以生成短距離圖像；針對(duì)每個(gè)所述短距離圖像，將該短距離圖像與所述虛擬圖像組合在一起，以生成合成圖像；以及針對(duì)每個(gè)所述合成圖像，將該合成圖像與所述輸入圖像組合在一起，以生成具有各自的視差的兩個(gè)輸出圖像。
[0024]根據(jù)本發(fā)明的方面，從具有各自的視差的兩個(gè)以上的輸入圖像中裁剪出顯示有待被操作的虛擬圖像的區(qū)域附近的預(yù)定區(qū)域，以生成裁剪圖像；基于兩個(gè)以上的所述裁剪圖像來計(jì)算所述裁剪圖像的每個(gè)區(qū)域中的物體的距離信息；基于所述距離信息來計(jì)算用戶在所述虛擬圖像上的觸摸位置；使與所述觸摸位置相對(duì)應(yīng)的處理被執(zhí)行；針對(duì)每個(gè)所述裁剪圖像，基于所述距離信息從該裁剪圖像中分離出比所述虛擬圖像更近的所述物體的區(qū)域，以生成短距離圖像；針對(duì)每個(gè)所述短距離圖像，將該短距離圖像與所述虛擬圖像組合在一起，以生成合成圖像；以及針對(duì)每個(gè)所述合成圖像，將該合成圖像與所述輸入圖像組合在一起，以生成具有各自的視差的兩個(gè)輸出圖像。
[0025]本發(fā)明的有益效果
[0026]根據(jù)本發(fā)明的方面，可以改善操作性。
【附圖說明】
[0027]圖1是圖示了顯示裝置的外觀的示例性構(gòu)造的示圖。
[0028]圖2是說明了虛擬圖像的操作的示圖。
[0029]圖3是圖示了顯示裝置的示例性構(gòu)造的示圖。
[0030]圖4是說明了顯示裝置執(zhí)行的處理流程的示圖。
[0031]圖5是說明了距離計(jì)算單元中的處理的示圖。
[0032]圖6是說明了觸摸位置的計(jì)算的示圖。
[0033]圖7是說明了觸摸識(shí)別處理的流程圖。
[0034]圖8是說明了距離測(cè)量處理的流程圖。
[0035]圖9是說明了虛擬圖像的多點(diǎn)觸摸(mult1-touch)操作的示圖。
[0036]圖10是說明了將虛擬圖像顯示至不平坦平面的示圖。
[0037]圖11是說明了多個(gè)虛擬圖像的顯示的示圖。
[0038]圖12是圖示了顯示裝置的另一示例性構(gòu)造的示圖。
[0039]圖13是說明了佩戴顯示裝置的用戶的運(yùn)動(dòng)的示圖。
[0040]圖14是說明了顯示坐標(biāo)系統(tǒng)和虛擬圖像的顯示位置校正的示圖。
[0041]圖15是圖示了顯示裝置的示例性構(gòu)造的示圖。
[0042]圖16是說明了顯示位置校正處理的流程圖。
[0043]圖17是說明了虛擬圖像的顯不位置調(diào)整和初始位置確定的不圖。
[0044]圖18是說明了虛擬圖像的顯示位置調(diào)整和初始位置確定的處理流程的示圖。
[0045]圖19是說明了障礙物檢測(cè)的示圖。
[0046]圖20是說明了障礙物檢測(cè)的處理流程的示圖。
[0047]圖21是說明了顯示位置調(diào)整處理的流程圖。
[0048]圖22是圖示了計(jì)算機(jī)的示例性構(gòu)造的示圖。
【具體實(shí)施方式】
[0049]下面將參考附圖對(duì)本發(fā)明的實(shí)施例進(jìn)行說明。
[0050]第一實(shí)施例
[0051](本發(fā)明的概要)
[0052]本發(fā)明實(shí)現(xiàn)了三維用戶界面(3D user interface)，以用于使佩戴諸如頭戴式顯示器和具有圖像顯示功能的眼鏡等顯示裝置的用戶感覺仿佛在執(zhí)行實(shí)際觸摸增強(qiáng)現(xiàn)實(shí)(其使用用于輸入的雙鏡頭相機(jī))的虛擬圖像的操作。
[0053]例如，本發(fā)明可應(yīng)用于諸如音頻設(shè)備、多功能型手機(jī)和電子書閱讀器等各種電子裝置的操作，并還可應(yīng)用于醫(yī)學(xué)領(lǐng)域、游戲機(jī)操作、音樂會(huì)、電影和景點(diǎn)等。
[0054]下面通過一個(gè)將本發(fā)明應(yīng)用至眼鏡式(glass-type)顯示裝置的示例說明本發(fā)明。在這種情況下，如圖1在上側(cè)所示，在顯示裝置11的背側(cè)(即，在當(dāng)用戶佩戴顯示裝置11時(shí)面向用戶的左眼和右眼的平面)上設(shè)置有圖像顯示單元21L、21R。這些圖像顯示單元21L、21R是用于分別向用戶的左眼和右眼呈現(xiàn)圖像的顯示裝置。
[0055]注意，在下文中，當(dāng)不需要特別地區(qū)分圖像顯示單元21L、21R時(shí)，也將它們簡(jiǎn)稱為圖像顯示單元21。
[0056]另外，在顯示裝置11的前側(cè)(即，當(dāng)用戶佩戴顯示裝置11時(shí)處于用戶眼睛側(cè)的相反側(cè)上的平面)上設(shè)置有成像單元22L、22R。成像單元22L、22R拍攝圖像，所拍攝圖像的視點(diǎn)位于與用戶的左眼和右眼的位置大致相同的位置處，以具有各自的視差。注意，在下文中，當(dāng)不需要特別地區(qū)分圖像顯示單元21L、21R時(shí)，也將它們簡(jiǎn)稱為圖像顯示單元22。
[0057]如圖2所示，類似這種顯示裝置11被用戶Ull佩戴在頭上以進(jìn)行使用。在此示例中，設(shè)置在顯示裝置11上的成像單元22拍攝存在于用戶Ull前方的物體Hl I等的圖像。然后，顯示裝置11將預(yù)定的虛擬圖像Vll與由成像單元22拍攝的輸入圖像組合在一起，并在圖像顯示單元21上顯示最終獲得的輸出圖像。
[0058]這里，例如，虛擬圖像Vll是被操作以指示顯示裝置11執(zhí)行各種處理的三維用戶界面的圖像，三維用戶界面的圖像例如是將被用戶操作的虛擬按鈕或觸摸板的圖像。
[0059]用戶Ull在觀看顯示在圖像顯示單元21上的輸出圖像的同時(shí)通過將手伸至以仿佛存在于現(xiàn)實(shí)空間中的方式顯示的虛擬圖像Vll來執(zhí)行虛擬圖像Vll的觸摸操作。S卩，用戶執(zhí)行諸如顯示在虛擬圖像Vll上的按鈕的按壓等操作。
[0060]接著，當(dāng)用戶Ull執(zhí)行虛擬圖像Vll的操作時(shí)，顯示裝置11執(zhí)行與該操作相對(duì)應(yīng)的處理。
[0061]在顯示裝置11中，由成像單元22L、22R拍攝的輸入圖像是具有各自的視差的圖像，且分別顯示在圖像顯示單元21L、21R上的輸出圖像上的虛擬圖像Vll也具有視差。因此，呈現(xiàn)至用戶Ull的左眼和右眼的輸出圖像形成了具有各自的視差的立體圖像。
[0062]以此方式，顯示裝置11顯示立體圖像作為輸出圖像，并從而可實(shí)現(xiàn)使用戶容易具有距離感并不會(huì)感受到壓力的用戶界面。此用戶界面是使用真實(shí)的三維增強(qiáng)現(xiàn)實(shí)的空間觸摸界面。
[0063]注意，在下文中，將諸如由成像單元22L拍攝的輸入圖像等用于用戶的左眼的圖像簡(jiǎn)稱為左圖像，且類似地，將諸如由成像單元22R拍攝的輸入圖像等用于用戶的右眼的圖像簡(jiǎn)稱為右圖像。
[0064](顯示裝置的示例性構(gòu)造)
[0065]接下來，將說明圖1所示的顯示裝置11的具體構(gòu)造。圖3是圖示了顯示裝置11的示例性構(gòu)造的示圖。注意，在圖3中，與圖1中的部件相對(duì)應(yīng)的部件使用相同的附圖標(biāo)記表示，且將適當(dāng)?shù)厥÷詫?duì)它們的說明。
[0066]顯示裝置11由成像單元22L、成像單元22R、圖像處理裝置51、圖像顯示處理裝置52、圖像顯示單元21L和圖像顯示單元21R構(gòu)成。在此示例中，通過通信方式連接圖像處理裝置51和圖像顯示處理裝置52，且通過處理裝置和程序來實(shí)現(xiàn)顯示裝置11。
[0067]成像單元22L、22R由具有彼此不同的視點(diǎn)的相機(jī)構(gòu)成，并拍攝圖像以將它們提供到圖像處理裝置51。例如，將拍攝到的輸入圖像逐幀地按順序提供到圖像處理裝置51。
[0068]圖像處理裝置51由CPU 61、只讀存儲(chǔ)器(ROM) 62、隨機(jī)存取存儲(chǔ)器(RAM) 63、相機(jī)輸入單元64、相機(jī)處理單元65、圖像裁剪單元66、距離計(jì)算單元67、觸摸坐標(biāo)計(jì)算單元68、短距離圖像分離單元69、圖像輸出單元70、通信接口(IF)71和總線72構(gòu)成。在圖像處理裝置51中，CPU 61經(jīng)由總線72與通信IF 71互相連接。
[0069]CPU 61通過使用記錄在ROM 62或RAM 63中的程序和數(shù)據(jù)來控制圖像處理裝置51的整個(gè)操作。ROM 62記錄圖像、各種數(shù)據(jù)和程序等。RAM 63臨時(shí)地記錄圖像、各種數(shù)據(jù)和程序等，且根據(jù)需要讀出記錄在RAM 63中的數(shù)據(jù)等。
[0070]相機(jī)輸入單元64從成像單元22獲得輸入圖像的圖像數(shù)據(jù)，并根據(jù)需要執(zhí)行輸入圖像的數(shù)據(jù)格式轉(zhuǎn)換等，以將最