圖像處理設(shè)備、圖像處理方法、以及程序的制作方法
【專利摘要】[問題]獲得能夠改進人體圖像的可操作性的技術(shù)。[解決方案]根據(jù)本公開，提供了一種圖像處理設(shè)備，其配備控制單元，用于通過在背景圖像上重疊繪制人體的至少部分并且與用戶的姿態(tài)操作有關(guān)地移動的人體圖像，來生成重疊的圖像；以及控制線上重疊的圖像，并且同時調(diào)整重疊的圖像的顯示狀態(tài)。
【專利說明】圖像處理設(shè)備、圖像處理方法、以及程序

【技術(shù)領(lǐng)域】
[0001]本公開涉及一種圖像處理設(shè)備、圖像處理方法、以及程序。

【背景技術(shù)】
[0002]專利文獻I公開了這樣一種技術(shù):顯示其中將描繪用戶手掌的手掌圖像重疊在背景圖像上的重疊的圖像，并且響應用戶的姿態(tài)操作(手掌的移動)移動手掌圖像。用戶使用手掌圖像執(zhí)行輸入操作。
[0003]引用列表
[0004]專利文獻
[0005]專利文獻I JP 4670860B


【發(fā)明內(nèi)容】

[0006]技術(shù)問題
[0007]然而，專利文獻I中所公開的技術(shù)根本不調(diào)整重疊的圖像的顯示狀態(tài)(例如，手掌圖像顯示倍率等)。因此，可操作性差。所以，存在對能夠改進人體圖像(例如，手掌圖像)的可操作性的技術(shù)的需求。
[0008]問題的解決方案
[0009]根據(jù)本公開，提供了一種圖像處理設(shè)備，其包括控制部分，配置為執(zhí)行控制，以通過在背景圖像上重疊描繪人體的至少一部分并且響應用戶的姿態(tài)操作移動的人體圖像，來生成重疊的圖像，以便顯示重疊的圖像，同時調(diào)整重疊的圖像的顯示狀態(tài)。
[0010]根據(jù)本公開，提供了一種圖像處理方法，其包括執(zhí)行控制，以通過在背景圖像上重疊描繪人體的至少一部分并且響應用戶的姿態(tài)操作移動的人體圖像，來生成重疊的圖像，以便顯示重疊的圖像，同時調(diào)整重疊的圖像。
[0011]根據(jù)本公開，提供了一種程序，其致使計算機實現(xiàn)控制功能，所述控制功能執(zhí)行控制，以通過在背景圖像上重疊描繪人體的至少一部分并且響應用戶的姿態(tài)操作移動的人體圖像，來生成重疊的圖像，以便顯示重疊的圖像，同時調(diào)整重疊的圖像。
[0012]根據(jù)本公開專利，所述圖像處理設(shè)備等能夠調(diào)整重疊的圖像的顯示狀態(tài)。
[0013]發(fā)明有益效果
[0014]如以上所描述的，根據(jù)本公開，圖像處理設(shè)備等能夠調(diào)整重疊的圖像的顯示狀態(tài)，以改進人體圖像的可操作性。

【專利附圖】

【附圖說明】
[0015]圖1是圖示根據(jù)本公開實施例的圖像處理系統(tǒng)的配置的框圖。
[0016]圖2是圖示根據(jù)相同實施例的顯示設(shè)備的配置的框圖。
[0017]圖3是圖示服務(wù)器的配置的框圖。
[0018]圖4是圖示圖像處理系統(tǒng)的處理過程的流程圖。
[0019]圖5是圖示圖像處理系統(tǒng)的處理過程的流程圖。
[0020]圖6是圖示顯示設(shè)備顯示的顯示屏幕圖像的示例的說明圖。
[0021]圖7是圖示顯示設(shè)備顯示的顯示屏幕圖像的示例的說明圖。
[0022]圖8是圖示顯示設(shè)備顯示的顯示屏幕圖像的示例的說明圖。
[0023]圖9是圖示顯示設(shè)備顯示的顯示屏幕圖像的示例的說明圖。
[0024]圖10是圖示顯示設(shè)備顯示的顯示屏幕圖像的示例的說明圖。
[0025]圖11是圖示顯示設(shè)備顯示的顯示屏幕圖像的示例的說明圖。
[0026]圖12是圖示顯示設(shè)備顯示的顯示屏幕圖像的示例的說明圖。
[0027]圖13是圖示顯示設(shè)備顯示的顯示屏幕圖像的示例的說明圖。
[0028]圖14是圖示顯示設(shè)備顯示的顯示屏幕圖像的示例的說明圖。
[0029]圖15是圖示顯示設(shè)備顯示的顯示屏幕圖像的示例的說明圖。
[0030]圖16是圖示顯示設(shè)備顯示的顯示屏幕圖像的示例的說明圖。
[0031]圖17是圖示顯示設(shè)備顯示的顯示屏幕圖像的示例的說明圖。
[0032]圖18是圖示顯示設(shè)備顯示的顯示屏幕圖像的示例的說明圖。
[0033]圖19是圖示顯示設(shè)備顯示的顯示屏幕圖像的示例的說明圖。
[0034]圖20是圖示顯示設(shè)備顯示的顯示屏幕圖像的示例的說明圖。
[0035]圖21是圖示顯示設(shè)備顯示的顯示屏幕圖像的示例的說明圖。

【具體實施方式】
[0036]以下，將參照附圖詳細描述本發(fā)明的優(yōu)選實施例。注意，在本說明書與附圖中，將使用相同的參考標號表示那些具有基本相同功能與結(jié)構(gòu)的元件，而且省略了重復的解釋。
[0037]將按下列次序進行描述。
[0038]1.關(guān)于大屏幕顯示器的研究
[0039]2.信息處理系統(tǒng)的配置
[0040]2-1.總體配置
[0041]2-2.大屏幕顯示器的配置
[0042]2-3.服務(wù)器(圖像處理設(shè)備)的配置
[0043]3.信息處理系統(tǒng)的處理過程
[0044]< 1.關(guān)于大屏幕顯示器的研究>
[0045]本
【發(fā)明者】已經(jīng)通過對大屏幕顯示器進行的研究，設(shè)計了根據(jù)本實施例的圖像處理系統(tǒng)。因此，首先，將描述本
【發(fā)明者】所進行的研究。
[0046]圖6圖示大屏幕顯示器20的示例。在圖6中，房間200的整個墻面為大屏幕顯示器20。當然，大屏幕顯示器20并不局限于這一示例，例如，墻的一部分也可以為顯示器。另外，也可以將顯示器與墻分離。
[0047]按照這一方式，大屏幕顯示器20可以為房間200的內(nèi)部。通過將某一圖像顯示在大屏幕顯示器20上，期望用戶100具有一種好像其就出現(xiàn)在圖像中的感覺。例如，當將從空中所拍攝的摩天大樓的圖像顯示在大屏幕顯示器20上時，用戶100具有好像從空中觀看摩天大樓的感覺。另外，當將描繪同一平面上的地表面和房間200的地板的圖像顯示在大屏幕顯示器20上時，用戶100具有房間200的地板連續(xù)地連接于地表面的感覺。
[0048]另外，當將所拍攝的商店內(nèi)部的圖像顯示在大屏幕顯示器20上時，用戶100具有其正在商店內(nèi)購物的感覺。而且，當將其中安裝了顯示器等的起居室顯示在大屏幕顯示器20上時，用戶100具有存在另一個與房間200相鄰的附加起居室的感覺。另外，通過將繪畫等顯示在大屏幕顯示器20上，用戶100具有繪畫正懸掛在墻上的感覺。按照這一方式，例如，期望大屏幕顯示器20具有作為用于實現(xiàn)虛擬現(xiàn)實的設(shè)備的應用。
[0049]另一方面，作為用戶100使用其選擇顯示在顯示器上的對象的設(shè)備，提出了光標定點設(shè)備、觸摸感應定點設(shè)備、以及射線投射定點設(shè)備。
[0050]例如，光標定點設(shè)備為諸如鼠標的設(shè)備。當將光標定點設(shè)備應用于大屏幕顯示器20時，為了將光標移至目標位置，用戶100需要多次操作鼠標。其原因在于與大屏幕顯示器20的大小相比鼠標一次操作的光標移動量非常小。為此，用戶100自然需要用于操作的精力與時間。
[0051]作為用于減少操作所花精力和時間的技術(shù)，可以考慮使大屏幕顯示器20中光標的移動速度高于所述設(shè)備的移動速度。然而，在這一技術(shù)中，用戶100不能夠容易地預測光標相對所述設(shè)備的實際移動速度移動多少。為此，即是當將這一技術(shù)應用于大屏幕顯示器20時，用戶100需花費精力與時間將光標設(shè)置在目標位置。另外，對于用戶100，使用光標定點設(shè)備的輸入操作并不直觀。
[0052]例如，觸摸感應定點設(shè)備為諸如觸摸面板的設(shè)備。當將觸摸感應定點設(shè)備應用于大屏幕顯示器20時，為了接觸到目標位置，用戶100需要行走以左右移動。另外，當大屏幕顯示器20縱向相對于用戶100的高度大時，存在著不可達到的區(qū)域。而且，由于用戶100必須靠近屏幕來觸摸到目標位置，所以用戶100不能夠從遠處獲得大屏幕的透視圖。
[0053]例如，射線投射定點設(shè)備為諸如游戲機的遙控類型控制器的設(shè)備。射線投射定點設(shè)備在大屏幕顯示器20中不能達到足夠的精度。另外，用戶100還必須將設(shè)備握在其手中。而且，用戶100不能夠接近大屏幕顯示器20。
[0054]因此，在以上所描述的每一設(shè)備中，可操作性不佳，而且操作不直觀。相比之下，對于專利文獻I中所公開的技術(shù)，公開了這樣一種技術(shù):其顯示描繪用戶100的手掌的手掌圖像重疊在背景圖像上的重疊的圖像，并且響應用戶的姿態(tài)操作(手掌的移動)移動手掌圖像。用戶100使用手掌圖像執(zhí)行輸入操作。在專利文獻I中，用戶100可以進行直觀的操作。
[0055]然而，由于專利文獻I中所公開的技術(shù)被應用在諸如PDA和數(shù)字相機的便攜式設(shè)備，所以根本沒有考慮大屏幕顯示器20。另外，專利文獻I中所公開的技術(shù)也根本不調(diào)整重疊的圖像的顯示狀態(tài)(例如，手掌圖像的顯示倍率等)。因此，手掌圖像的可操作性差。
[0056]具體地講，當將專利文獻I中所公開的技術(shù)應用于大屏幕顯示器20時，將手掌圖像顯示在大屏幕顯示器20上，大屏幕顯示器20相對手掌圖像非常大。另外，還限制了用戶100可以移動手掌的范圍。相比之下，由于專利文獻I中所公開的技術(shù)僅響應用戶100的手掌移動手掌圖像，所以產(chǎn)生了手掌圖像達不到的區(qū)域。S卩，由于專利文獻I基于諸如PDA和數(shù)字相機的便攜式設(shè)備的假定，即基于手掌圖像能夠達到顯示屏幕的每一個區(qū)域的假定，所以根本未考慮手掌圖像達不到的區(qū)域。因此，當將專利文獻I中所公開的技術(shù)應用于大屏幕顯示器20時，手掌圖像的可操作性差。
[0057]相比之下，為了實現(xiàn)改進人體圖像的可操作性，根據(jù)本實施例的圖像處理系統(tǒng)10調(diào)整人體圖像和背景圖像至少之一的顯示狀態(tài)。
[0058]< 2.信息處理系統(tǒng)的配置>
[0059][2-1.總體配置]
[0060]以下，將根據(jù)圖1描述圖像處理系統(tǒng)10的總體配置。圖像處理系統(tǒng)10包括大屏幕顯示器20、通信網(wǎng)絡(luò)30、服務(wù)器40、圖像拾取設(shè)備50、以及音頻獲取設(shè)備60。注意，可以不包括音頻獲取設(shè)備60。
[0061]如圖6中所圖示的，例如，大屏幕顯示器20構(gòu)成房間200的整個墻表面。通信網(wǎng)絡(luò)30與大屏幕顯示器20和服務(wù)器40相互連接。服務(wù)器40生成要顯示在大屏幕顯示器20上的重疊的圖像(其中將人體圖像重疊在背景圖像上的圖像)。因此，本實施例基于所謂云計算服務(wù)的前提。當然，顯示設(shè)備可以生成并且顯示重疊的圖像。
[0062]例如，圖像拾取設(shè)備50為攝像機，并且如圖6中所圖示的，將其提供在房間200的天花板上。圖像拾取設(shè)備50攝取用戶100的照片，并且將結(jié)果的拍攝圖像輸出于大屏幕顯示器20。例如，音頻獲取設(shè)備60為頭戴麥克風，將其戴在用戶100的頭上。音頻獲取設(shè)備60獲取用戶100的聲音，并且將所結(jié)果的音頻信息輸出于大屏幕顯示器20。
[0063][2-2.大屏幕顯示器的配置]
[0064]以下，將根據(jù)圖2描述大屏幕顯示器20的配置。大屏幕顯示器20包括存儲部分21、顯示部分22、通信部分23、以及控制部分24。大屏幕顯示器20具有諸如CPU、ROM、RAM、硬盤、顯示面板、以及通信設(shè)備的硬件配置。ROM存儲致使大屏幕顯示器20實現(xiàn)存儲部分21、顯示部分22、通信部分23、以及控制部分24的程序。CPU讀出存儲在ROM中的程序，并且執(zhí)行所述程序。因此，通過這些硬件配置，實現(xiàn)了存儲部分21、顯示部分22、通信部分23、以及控制部分24。
[0065]存儲部分21存儲以上所描述的程序等。顯示部分22顯示各種類型的屏幕圖像。通信部分23經(jīng)由通信網(wǎng)絡(luò)30與服務(wù)器40進行通信?？刂撇糠?4控制大屏幕顯示器20的每一部件，并且執(zhí)行以下的處理。即，控制部分24輸出從圖像拾取設(shè)備50提供的所拍攝圖像以及從音頻獲取設(shè)備60提供的音頻信息到通信部分23。通信部分23將所拍攝圖像和音頻信息傳輸于服務(wù)器40。另一方面，通信部分23還接收從服務(wù)器40所傳輸?shù)闹丿B的圖像，并且將重疊的圖像輸出于控制部分24。控制部分24將重疊的圖像顯示在顯示部分22上。
[0066][2-3.服務(wù)器的配置]
[0067]以下，將根據(jù)圖3描述服務(wù)器40的配置。服務(wù)器40包括存儲部分41、通信部分42、以及控制部分43。服務(wù)器40具有諸如CPU、ROM、RAM、硬盤、以及通信設(shè)備的硬件配置。ROM存儲致使服務(wù)器40實現(xiàn)存儲部分41、通信部分42、以及控制部分43的程序。CPU讀出存儲在ROM中的程序，并且執(zhí)行所述程序。因此，通過這些硬件配置，實現(xiàn)了存儲部分41、通信部分42、以及控制部分43。
[0068]除了以上所描述的程序之外，存儲部分41還存儲背景圖像等。例如，這一背景圖像為從空中拍攝的摩天大樓的圖像、描繪地表面的圖像、商店內(nèi)部的圖像、描繪起居室的圖像、描繪繪畫的圖像等。通信部分42經(jīng)由通信網(wǎng)絡(luò)30與大屏幕顯示器20進行通信?？刂撇糠?3執(zhí)行以下的處理，并且控制服務(wù)器40的每一部件。即，控制部分43從所拍攝圖像抽取描繪用戶100的圖像，即人體圖像。然后，控制部分43通過使人體圖像呈現(xiàn)半透明(半透射)生成鏡像。因此，鏡像為描繪人體的至少一部分，并且響應用戶100的姿態(tài)操作移動的圖像(即，人體圖像)的示例。
[0069]此處，將描述鏡像的幾個不同的示例。例如，通過涂黑(blacking out)人體圖像并且使其呈現(xiàn)半透明，生成鏡像。另外，控制部分43還可以抽取人體圖像的輪廓，并且將其設(shè)置為鏡像。而且，控制部分41還可以對這些處理所生成的鏡像執(zhí)行諸如放縮、平移、變形、以及散焦的處理，此后將鏡像重疊在以下所描述的背景圖像上。另外，鏡像可以描繪整個人體，也可以描繪人體的一部分(例如，僅描述上身、僅描述手掌等)。
[0070]另外，控制部分43還從存儲部分41獲取背景圖像?？刂撇糠?3可以根據(jù)人體圖像和音頻信息檢測用戶100的姿態(tài)操作，并且根據(jù)用戶100的姿態(tài)操作滾動背景圖像。例如，當用戶100跺其腳時，控制部分43沿屏幕深度方向滾動背景圖像。注意，在本實施例中，用戶100的講話也為姿態(tài)操作。
[0071]然后，控制部分43將鏡像重疊在背景圖像上，以生成重疊的圖像。另外，控制部分43還根據(jù)人體圖像和音頻信息檢測用戶100的姿態(tài)操作，并且根據(jù)姿態(tài)操作調(diào)整重疊的圖像。例如，控制部分43根據(jù)用戶100的姿態(tài)操作將一部分背景圖像選擇為所選擇區(qū)域，并且執(zhí)行諸如所選擇區(qū)域的放大的處理?？刂撇糠?3將重疊的圖像輸出于通信部分42，然后通信部分42將重疊的圖像傳輸于大屏幕顯示器20。
[0072]< 3.信息處理系統(tǒng)的處理過程>
[0073]以下，將以圖像處理系統(tǒng)10顯示商店(在這一情況下，為書店)內(nèi)部的圖像為例描述圖像處理系統(tǒng)10的處理過程。在這一示例中，用戶100可以具有與在商店實際購物一樣的體驗。即，用戶100可以享受虛擬購物。注意，在以下的處理中，大屏幕顯示器20不斷地將所拍攝圖像和音頻信息傳輸于服務(wù)器40。
[0074]首先，如圖6中所圖示的，服務(wù)器40的控制部分43將描繪商店入口 411和地表面412的背景圖像410顯示在大屏幕顯示器20上。此處，在與房間200的地板相同的平面上描繪地表面412，并且將入口 411定位在地表面412上。于是，用戶100具有好像將入口 411和地表面412連續(xù)地連接于房間200的地板的感覺。
[0075]其后，例如，用戶100執(zhí)行跺其腳的姿態(tài)。另一方面，控制部分43檢測跺其腳的姿態(tài)，并且沿屏幕深度方向滾動背景圖像410。然后，當入口 411達到大屏幕顯示器20控制部分43的顯示表面時，控制部分43顯示其中入口 411打開的背景圖像。
[0076]此后，控制部分43生成描繪商店內(nèi)部的背景圖像。另外，控制部分43還通過涂黑人體圖像生成輪廓圖像，并且將輪廓圖像投射在背景圖像的地表面部分。然后，控制部分43將所生成的背景圖像顯示在大屏幕顯示器20上。圖7圖示示例。以下，也將把圖7中所圖示的商店內(nèi)部的圖像稱為正常商店圖像。在這一示例中，控制部分43將背景圖像420顯示在大屏幕顯示器20上。在背景圖像420中，描繪了輪廓圖像110、書架430、以及地表面421。將地表面421定位在與房間200的地板相同的平面上。于是，用戶100具有好像實際在逛商店的感覺。
[0077]接著，控制部分43根據(jù)用戶100的姿態(tài)操作滾動背景圖像。例如，當用戶100執(zhí)行跺其腳的姿態(tài)時，控制部分43沿屏幕的深度方向滾動背景圖像。另外，當用戶100沿水平方向旋轉(zhuǎn)時，控制部分43沿旋轉(zhuǎn)方向旋轉(zhuǎn)背景圖像(即，在背景圖像中改變用戶100向前的方向)。
[0078]然后，當用戶100面對書架430時，控制部分43根據(jù)圖4中所圖示的流程圖執(zhí)行處理。在步驟SlO中，控制部分43獲取所拍攝圖像。在步驟S20中，控制部分43從所拍攝圖像中檢測人體圖像，并且根據(jù)人體圖像在生成以上所描述的鏡像。步驟S30中，控制部分43通過將鏡像重疊在背景圖像上生成重疊的圖像。另外，控制部分43還將光標重疊在鏡像的手掌圖像上。在步驟S40中，控制部分43還將重疊的圖像顯示在大屏幕顯示器20上。盡管將鏡像定位如從用戶100觀看的背景圖像的前方，由于鏡像為半透明的，所以用戶100可以在鏡像的背面觀看和確認背景圖像。
[0079]圖8圖示重疊的圖像的示例。在這一示例中，用戶100面對書架430。S卩，在背景圖像的幾乎整個表面上描繪書架430。在書架430中，定位了多本圖書440。另外，還相對水平方向?qū)㈢R像120重疊在背景圖像的中心部分。將光標130重疊在鏡像120中的手掌圖像上?？刂撇糠?3響應用戶100的姿態(tài)操作移動鏡像120。S卩，鏡像120按與用戶100 —樣的方式移動。而且，控制部分43還致使光標130跟隨手掌圖像的移動。因此，用戶100可移動其自己的手掌，將光標130移至目標位置(例如，定位目標圖書440的位置)。
[0080]注意，控制部分43可以顯示其中以上所描述的輪廓圖像沿書架430升起的動畫，此后將輪廓圖像改變?yōu)殓R像。因此，用戶100能夠容易地理解將輪廓圖像轉(zhuǎn)變換為鏡像。另外，當書架430中的對象(即，圖書440)為不允許用戶100選擇的(例如，為不銷售的商品)時，控制部分43可以不顯示鏡像120。于是，用戶100能夠容易地了解書架430中的圖書440不允許選擇。而且，在圖8的示例中，將光標130重疊在兩個手掌圖像上，然而也可以僅重疊在一個手掌圖像上。另外，還可以將光標130重疊在除手掌圖像之外的部分上，例如，重疊在腳的指尖的圖像上。
[0081]在這一方式下，大屏幕顯示器20顯示響應用戶100的姿態(tài)操作移動的鏡像，并且將光標130重疊在鏡像的手掌圖像上。為此，用戶100能夠根據(jù)鏡像的移動容易地預測光標130的移動速度。因此，圖像處理系統(tǒng)10能夠改進光標130的可操作性。另外，由于用戶100移動其自己的身體(具體地講，手掌圖像)以移動光標130，所以直觀地操作光標130。
[0082]在步驟S50中，控制部分43根據(jù)從所拍攝圖像抽取的人體圖像確定用戶100是否已經(jīng)選擇了任何對象(在這一情況下，為圖書440)。注意，例如，當用戶100執(zhí)行握住對象的姿態(tài)時，控制部分43確定用戶100已經(jīng)選擇了對象。如果控制部分43確定用戶100已經(jīng)選擇了對象，則控制部分43前進至步驟S60。如果控制部分43確定用戶100沒有選擇任何對象，則控制部分43結(jié)束當前處理。在步驟S60中，控制部分64執(zhí)行細節(jié)選擇處理。以下將描述這一細節(jié)選擇處理。
[0083]注意，控制部分43將鏡像120的手掌圖像的移動速度(即，光標130的移動速度)設(shè)置為等于用戶100的手掌的移動速度。這允許用戶100容易地預測光標130的移動速度。然而，在這一處理中，由于光標130的移動范圍與鏡像120的手掌圖像的移動范圍一致，所以產(chǎn)生了光標130達不到的區(qū)域。S卩，用戶100不能夠從顯示在大屏幕顯示器20上的對象中選擇鏡像120的手掌圖像的移動范圍之外的對象。由于用戶100需要執(zhí)行諸如左右移動選擇這些對象的姿態(tài)操作，所以選擇這些對象費力。
[0084]作為一種將光標130移動至大屏幕顯示器20的每一區(qū)域的方法，例如，可以考慮將光標130與鏡像120相分離，并且以比用戶100的手掌快(長)地移動光標130。在這一方法中，例如，當用戶100將手掌移動5cm時，光標130移動20cm。然而，在這一處理中，用戶100難以選擇微小對象。另外，用戶100不能夠容易地預測光標130的移動速度。
[0085]另一方面，作為一種使用戶容易選擇微小對象的方法，例如，可以考慮將光標130與鏡像120相分離，并且以比用戶100的手掌慢(短)地移動光標130。在這一方法中，例如，當用戶100將手掌移動5cm時，光標130移動lcm。然而，在這一處理中，在大屏幕顯示器20上產(chǎn)生光標130達不到的區(qū)域。
[0086]按照這一方式，在以上的方法中，“能夠選擇整個屏幕”和“能夠選擇微小對象”具有折衷關(guān)系。因此，圖像處理系統(tǒng)10將一部分背景圖像選擇為所選擇區(qū)域，并且調(diào)整所選擇區(qū)域和鏡像至少之一的顯示狀態(tài)。于是，用戶100能夠選擇整個屏幕，并且還能夠選擇微小對象。具體地講，圖像處理系統(tǒng)10執(zhí)行根據(jù)圖5中所圖示的流程圖的處理。
[0087]在步驟SlOO中，控制部分43獲取音頻信息和所拍攝圖像。在步驟SllO中，控制部分43根據(jù)音頻信息和所拍攝圖像識別用戶100的姿態(tài)操作，并且根據(jù)用戶100的姿態(tài)操作選擇所選擇區(qū)域。
[0088]具體地講，控制部分43將用戶100的視線檢測為用戶100的姿態(tài)操作。然后，控制部分43將包括用戶100視線和大屏幕顯示器20的交叉點的區(qū)域選擇為所選擇區(qū)域。接著，控制部分43將所選擇區(qū)域重疊和顯示在重疊的圖像上。圖9圖示顯示示例。在這一示例中，控制部分43將背景圖像的左上區(qū)域設(shè)置為所選擇區(qū)域500。為了有助于用戶100的了解，可以高亮顯示所選擇區(qū)域500。例如，可以按不同于背景圖像的顏色顯示所選擇區(qū)域500。
[0089]此處，作為選擇所選擇區(qū)域的處理的不同的示例，采取了以下處理。即，控制部分43將用戶100面部的方向檢測為用戶100的姿態(tài)操作。具體地講，控制部分43檢測穿過面部區(qū)域中心并且垂直于面部區(qū)域的面部方向矢量。然后，控制部分43可以將包括面部方向矢量域和大屏幕顯示器20的交叉點的區(qū)選擇為所選擇區(qū)域。
[0090]另外，控制部分43在任意初始位置將所選擇區(qū)域顯示在大屏幕顯示器20上，同時將用戶100右手(手掌)的移動識別為用戶100的姿態(tài)操作。然后，控制部分43可以響應用戶100右手的移動，移動所選擇區(qū)域。注意，用戶100可以用左手選擇所選擇區(qū)域中的對象。
[0091]而且，控制部分43還可以將用戶100的聲音識別為用戶100的姿態(tài)操作，并且根據(jù)音頻信息選擇所選擇區(qū)域。具體地講，例如，當用戶100表述“右上方”時，控制部分43可以將大屏幕顯示器20右上方的區(qū)域選擇為所選擇區(qū)域。
[0092]另外，控制部分43還可以根據(jù)各種姿態(tài)操作選擇所選擇區(qū)域。例如，控制部分43將用戶100向上伸展其自身的動作識別為用戶100的姿態(tài)操作。然后，控制部分43將大屏幕顯示器20上側(cè)區(qū)域選擇為所選擇區(qū)域。其原因在于，假設(shè)用戶100正考慮選擇大屏幕顯示器20的上側(cè)區(qū)域所顯示的對象。
[0093]而且，控制部分43還可以將用戶100蹲下的動作識別為用戶100的姿態(tài)操作。然后，控制部分43將大屏幕顯示器20的下側(cè)區(qū)域選擇為所選擇區(qū)域。其原因在于，假設(shè)用戶100正考慮選擇大屏幕顯示器20的下側(cè)區(qū)域所顯示的對象。另外，控制部分43還可以檢測光標130達不到的區(qū)域，并且將這一區(qū)域自動地設(shè)置為所選擇區(qū)域。
[0094]另外，控制部分43還可以根據(jù)用戶100的姿態(tài)操作改變所選擇區(qū)域500的大小。例如，當用戶100沿垂直方向?qū)蓚€手掌一個放在另一個之上時，然后又將兩個手掌互相分離時，控制部分43可以沿垂直方向放大所選擇區(qū)域500。而且，當用戶100將兩個手掌互相靠近時，控制部分43可以沿垂直方向使所選擇區(qū)域500更小。另外，當用戶100沿左右方向并排放置兩個手掌時，然后又將兩個手掌互相分離時，控制部分43可以沿左右方向放大所選擇區(qū)域500。而且，當用戶100將兩個手掌互相靠近時，控制部分43可以沿左右方向使所選擇區(qū)域500更小。
[0095]在步驟S120中，控制部分43執(zhí)行易于用戶100選擇所選擇區(qū)域中的對象的處理。以下，將描述這一處理的幾個具體的示例。
[0096]S卩，控制部分43放大所選擇區(qū)域，以生成放大的所選擇區(qū)域，并且將鏡像重疊在放大的所選擇區(qū)域上。圖10圖示顯示示例。在這一示例中，控制部分43通過放大圖9的所選擇區(qū)域500生成放大的所選擇區(qū)域510，并且將鏡像120 (鏡像120的大小保持不變)重疊在放大的所選擇區(qū)域510上。然后，控制部分43將重疊的圖像顯示在大屏幕顯示器20上。在這一示例中，盡管將放大的所選擇區(qū)域510顯示在大屏幕顯示器20的整個表面上，然而也可以將放大的所選擇區(qū)域510顯示在大屏幕顯示器20的一部分上。
[0097]根據(jù)這一示例，由于顯示了其中放大了所選擇區(qū)域500的放大的所選擇區(qū)域510，所以也放大了放大的所選擇區(qū)域510的對象。因此，用戶100能夠容易地選擇放大的所選擇區(qū)域510中的對象。
[0098]另一方面，控制部分43還可以放大鏡像120。圖11圖示顯示示例。在這一示例，由于鏡像120的手掌圖像達到所選擇區(qū)域500，所以用戶100能夠容易地選擇所選擇區(qū)域500中的對象。
[0099]另一方面，控制部分43還可以伸展鏡像120的手臂部分。例如，控制部分43從所拍攝圖像抽取人體圖像，并且根據(jù)這一人體圖像識別用戶100的姿態(tài)操作。然后，當用戶100保持充分伸展手臂時，控制部分43沿用戶100朝其伸展手臂的方向伸展鏡像120的手臂部分。注意，當用戶100執(zhí)行伸展手臂的姿態(tài)操作時，控制部分43可以以由增益放大的手臂的移動量伸展鏡像120的手臂部分。即，在這一示例中，控制部分43根據(jù)用戶100的姿態(tài)操作調(diào)整鏡像120。
[0100]圖12圖示顯示示例。在這一示例中，鏡像120的手臂部分伸展至所選擇區(qū)域500。根據(jù)這一示例，用戶100能夠容易地選擇所選擇區(qū)域500中的對象。
[0101]另一方面，控制部分43還可以在所選擇區(qū)域500中定位鏡像120。當鏡像120大于所選擇區(qū)域500時，控制部分43使鏡像120更小，然后，在所選擇區(qū)域500中定位鏡像120。圖13圖示顯示示例。根據(jù)這一示例中，由于在所選擇區(qū)域500中定位鏡像120,所以用戶100能夠容易地選擇所選擇區(qū)域500中的對象。
[0102]另一方面，控制部分43還可以將用戶100的向上伸展識別為用戶100的姿態(tài)操作。然后，控制部分43將大屏幕顯示器20的上側(cè)區(qū)域選擇為所選擇區(qū)域。接著，控制部分43向下移動所選擇區(qū)域。圖14和圖15圖示顯示示例。如圖14中所圖示的，當用戶100向上伸展其自身時，控制部分43將大屏幕顯示器20的上側(cè)區(qū)域選擇為所選擇區(qū)域500。注意，如圖14中所圖示的，在這一示例中，用戶100的高度相對矮。S卩，例如，用戶100為孩子。因此，鏡像120也小。于是，由于假設(shè)用戶100經(jīng)常向上伸展其自身，所以本示例為優(yōu)選處理。然后，如圖15中所圖示的，控制部分43向下移動所選擇區(qū)域500。優(yōu)選地，控制部分43移動所選擇區(qū)域500，直到在所選擇區(qū)域500覆蓋鏡像120。因此，用戶100能夠容易地選擇所選擇區(qū)域500中的對象。即，在這一示例中，控制部分43根據(jù)用戶100的姿態(tài)操作調(diào)整鏡像120。
[0103]另一方面，控制部分43還可以將用戶100的蹲下識別為用戶100的姿態(tài)操作。然后，控制部分43將大屏幕顯示器20的下側(cè)區(qū)域選擇為所選擇區(qū)域。接著，控制部分43向上移動所選擇區(qū)域。當用戶100相對高時，特別優(yōu)選這一示例。其原因在于，假設(shè)在這一情況下用戶100經(jīng)常蹲下。同樣在這一示例中，用戶100能夠容易地選擇所選擇區(qū)域500中的對象。即，在這一示例中，控制部分43根據(jù)用戶100的姿態(tài)操作調(diào)整鏡像120。
[0104]注意，在以上的每一示例中，控制部分43可以將所選擇區(qū)域500中鏡像的手掌圖像的移動速度設(shè)置得小于用戶100手掌的移動速度。于是，用戶100能夠更精確地選擇所選擇區(qū)域500中的對象。另外，控制部分43還可以響應所選擇區(qū)域500中的對象的數(shù)目等調(diào)整手掌圖像的移動速度。例如，控制部分43可以按這樣的方式設(shè)置手掌圖像的移動速度:所選擇區(qū)域500中對象的數(shù)目越多，手掌圖像的移動速度越慢。于是，用戶100能夠更精確地選擇微小對象。
[0105]另外，例如，當用戶100執(zhí)行抬左腳的姿態(tài)操作時，控制部分43可以將整個屏幕圖像向左滾動。同樣，例如，當用戶100執(zhí)行抬右腳的姿態(tài)操作時，控制部分43可以將整個屏幕圖像向右滾動。于是，當用戶100在書架430中沒有發(fā)現(xiàn)目標對象時，用戶100可以從另一個書架找到目標對象。
[0106]另一方面，控制部分43還可以根據(jù)用戶100的音頻信息標識所選擇區(qū)域中的對象。例如，當用戶100表述了圖書440的標題時，控制部分43從所選擇區(qū)域500選擇具有所述標題的圖書440。另外，當對象為CD，而且用戶表述了 “播放其”時，控制部分43可以執(zhí)行播放該⑶的處理。
[0107]注意，通過執(zhí)行預設(shè)的用于取消的姿態(tài)操作，用戶100可以取消以上所描述的每一調(diào)整處理(調(diào)整鏡像120和所選擇區(qū)域500至少之一的處理)。作為用于取消的姿態(tài)操作，例如，考慮產(chǎn)生表述“取消”的聲音、從所選擇區(qū)域轉(zhuǎn)移視線(或者面部的方向)，拍手坐寸ο
[0108]因此，控制部分43將一部分背景圖像選擇為所選擇區(qū)域500，并且執(zhí)行使用戶100容易地選擇所選擇區(qū)域500中的對象的處理。于是，用戶100能夠從大屏幕顯示器20中整個區(qū)域選擇對象，并且能夠選擇微小對象。即，用戶100也能夠不費力地(無需左右移動，總能夠達到，無需過度靠近屏幕)選擇大屏幕顯示器20上的目標對象。另外，用戶100還可以精確地(無需一點一點地移動手)和直觀地(可以僅通過觀看選擇所看到的對象)選擇目標對象。
[0109]在步驟S130中，控制部分43通過鏡像，具體地講，通過圖4中所圖示的處理，執(zhí)行定位處理。
[0110]以下，將根據(jù)圖16?圖18描述細節(jié)選擇處理。當用戶100選擇任何對象時，控制部分43執(zhí)行細節(jié)選擇處理(使用迭加在對象上的光標130執(zhí)行握住對象的姿態(tài))。首先，如圖16中所圖示的，控制部分43以并排排列的方式顯示用戶100已經(jīng)選擇的對象和相鄰的圖書440。控制部分43將用戶100已經(jīng)選擇的圖書440定位在大屏幕顯示器20的中心。在這一實例中，將“圖書I”定位在中心。另外，控制部分43將手掌圖像140從鏡像120切出，并且按放大的方式顯示手掌圖像140。而且，控制部分43還顯示購物車圖標600。
[0111]然后，當用戶100的手掌處于“紙(paper)”的狀態(tài)，并且被向右移動時，控制部分43沿箭頭Al方向(向右)移動手掌圖像140，并且沿箭頭Al方向(向右)滾動該行圖書440。滾動量為一冊圖書440。于是，將“書3”新定位在中心。
[0112]另一方面，當用戶100的手掌處于“紙”的狀態(tài)，并且被向左移動時，控制部分43沿箭頭A2方向(向左)移動手掌圖像140，并且沿箭頭A2方向(向左)滾動該行圖書440。滾動量為一冊圖書440。于是，如圖17中所圖示的，控制部分43在大屏幕顯示器20的中心顯示定位在“圖書I”右側(cè)和“圖書2”。控制部分43執(zhí)行這一處理，以便允許用戶100進行更詳細的對象選擇。于是，即使當用戶100錯誤地選擇了不同于目標圖書440的圖書440時，用戶100也能夠在所述細節(jié)選擇處理中選擇目標圖書440。
[0113]另一方面，當用戶100的手掌處于其中僅伸出食指，并且向右移動的狀態(tài)時，控制部分43沿箭頭BI方向(向右)移動手掌圖像140，并且向右翻圖書440的一頁，如圖18中所圖示的。另一方面，當用戶100的手掌處于其中僅伸出食指，并且向左移動的狀態(tài)時，控制部分43沿箭頭B2方向(向左)移動手掌圖像140，并且向左翻圖書440的一頁。控制部分43執(zhí)行這一處理，以允許用戶100在購買之前閱讀圖書440。于是，用戶100能夠在確認圖書440的內(nèi)容之后購買圖書440。
[0114]當用戶100的手掌處于“紙”的狀態(tài)，并且手掌圖像140覆蓋購物車圖標600時，控制部分43將定位在中心的圖書440放入購物車中。
[0115]此后，當用戶100產(chǎn)生表述“取消”的聲音或者執(zhí)行用于取消的預設(shè)姿態(tài)操作時，控制部分43在大屏幕顯示器20上顯示正常商店圖像，如圖7中所圖示的。然后，控制部分43根據(jù)用戶100的姿態(tài)操作滾動正常商店圖像。如上描述具體的處理內(nèi)容。
[0116]然后，當控制部分43顯示圖19中所圖示的收銀機700時(S卩，當用戶100到達收銀機700時)，控制部分43執(zhí)行支付處理(例如，從信用卡取款)。另外，控制部分43還在收銀機700的支付顯示窗口 710上顯示購買量。根據(jù)以上描述，控制部分43結(jié)束與虛擬購買相關(guān)的處理。
[0117]注意，顯然，所述商店不同于書店。例如，所述商店可以為唱片店、超市、百貨商店等。另外，背景圖像也不同于商店的背景圖像。圖20?圖21圖示除所述商店之外的示例。
[0118]在這一示例中，控制部分43將起居室圖像作為背景圖像顯示在大屏幕顯示器20上。在這一起居室圖像中，描繪了顯示器800、遙控器810、以及地表面830。S卩，在這一示例中，實現(xiàn)了所謂顯示器上的顯示(將幻影顯示器(illus1nay display) 800顯示在大屏幕顯示器20中)。將地表面830定位在與房間200的地板相同的平面上。因此，用戶100具有存在另一個相鄰房間200的起居室圖像的感覺。另外，控制部分43還將以上所描述的鏡像120和光標130重疊在背景圖像上。
[0119]同樣在這一示例中，控制部分43可以針對背景圖像和鏡像120執(zhí)行以上所描述的處理。另外，當用戶100的手掌變?yōu)椤凹垺?，并且光?30也遙控器810迭加時，控制部分43使得光標130跟隨遙控器810。而且，當用戶100的手掌變?yōu)槠渲袃H伸出食指的狀態(tài)時，控制部分43放大遙控器810，如圖21中所圖示的。然后，控制部分43檢測用戶100已經(jīng)選擇的按鈕(即，鏡像120的食指部分已經(jīng)迭加的按鈕)。接著，控制部分43將相應于用戶100已經(jīng)選擇的按鈕的屏幕圖像820顯示在顯示器800上。
[0120]根據(jù)以上描述，在本實施例中，圖像處理系統(tǒng)10將鏡像120重疊在背景圖像上以生成重疊的圖像，并且將重疊的圖像顯示在大屏幕顯示器20上，同時調(diào)整重疊的圖像的顯示狀態(tài)。因此，圖像處理系統(tǒng)10能夠改進鏡像120的可操作性。特別是，圖像處理系統(tǒng)10能夠允許用戶100選擇大屏幕顯示器20的整個區(qū)域，以及選擇微小對象。
[0121]另外，圖像處理系統(tǒng)10還調(diào)整鏡像120和背景圖像至少之一的顯示狀態(tài)。因此，圖像處理系統(tǒng)10能夠改進鏡像120的可操作性。
[0122]而且，圖像處理系統(tǒng)10還將一部分背景圖像選擇為所選擇區(qū)域500，并且調(diào)整所選擇區(qū)域500和鏡像120至少之一的顯示狀態(tài)。因此，圖像處理系統(tǒng)10能夠改進鏡像120的可操作性。
[0123]另外，圖像處理系統(tǒng)10還根據(jù)用戶100的姿態(tài)操作選擇所選擇區(qū)域500，因此用戶100能夠容易地選擇目標區(qū)域。
[0124]而且，圖像處理系統(tǒng)10還根據(jù)用戶100的姿態(tài)操作調(diào)整所選擇區(qū)域500和鏡像120至少之一的顯示狀態(tài)，以進一步改進鏡像120的可操作性。
[0125]另外，圖像處理系統(tǒng)10還放大所選擇區(qū)域500以生成放大的所選擇區(qū)域510，并且將鏡像120重疊在放大的所選擇區(qū)域510上。因此，用戶100能夠容易地選擇所選擇區(qū)域中的對象。
[0126]而且，圖像處理系統(tǒng)10還放大鏡像120，因此用戶100能夠容易地選擇所選擇區(qū)域500中的對象。
[0127]另外，圖像處理系統(tǒng)10還將構(gòu)成鏡像120的手臂圖像伸展至所選擇區(qū)域500，以便用戶100能夠容易地選擇所選擇區(qū)域500中的對象。
[0128]而且，圖像處理系統(tǒng)10還將鏡像120定位在所選擇區(qū)域500中，以便用戶100能夠容易地選擇所選擇區(qū)域500中的對象。
[0129]以上，已經(jīng)參照附圖描述了本發(fā)明的優(yōu)選實施例，然而，本發(fā)明當然不局限于所述示例。本領(lǐng)域技術(shù)人員可以在所附權(quán)利要求的范圍內(nèi)發(fā)現(xiàn)各種變化與修改，并且應當理解所述變化與修改自然落入本發(fā)明的技術(shù)范圍。
[0130]例如，以上實施例圖示其中將商店的內(nèi)部圖像或者起居室圖像顯示在大屏幕顯示器20上的示例，但是，顯然，也可以將其它圖像顯示在大屏幕顯示器20上。另外，也可以將本實施例應用于小于大屏幕顯示器20的顯示器，例如，大約幾十英寸的顯示器。
[0131]另外，也可以將本技術(shù)配置如下。
[0132](I) 一種圖像處理設(shè)備，其包括:
[0133]控制部分，配置為執(zhí)行控制，以通過在背景圖像上重疊描繪人體的至少一部分并且響應用戶的姿態(tài)操作移動的人體圖像，來生成重疊的圖像，以便顯示重疊的圖像，同時調(diào)整重疊的圖像的顯示狀態(tài)。
[0134](2)根據(jù)(I)所述的圖像處理設(shè)備，其中
[0135]控制部分調(diào)整人體圖像和背景圖像至少之一的顯示狀態(tài)。
[0136](3)根據(jù)⑵所述的圖像處理設(shè)備，其中
[0137]控制部分將一部分背景圖像選擇為所選擇區(qū)域，并且調(diào)整所選擇區(qū)域和人體圖像至少之一的顯示狀態(tài)。
[0138](4)根據(jù)(3)所述的圖像處理設(shè)備，其中
[0139]控制部分根據(jù)用戶的姿態(tài)操作選擇所選擇區(qū)域。
[0140](5)根據(jù)(3)或者(4)所述的圖像處理設(shè)備，其中
[0141]控制部分根據(jù)用戶的姿態(tài)操作選擇所選擇區(qū)域調(diào)整所選擇區(qū)域和人體圖像至少之一的顯示狀態(tài)。
[0142](6)根據(jù)(3)?(5)任何之一所述的圖像處理設(shè)備，其中
[0143]控制部分通過放大所選擇區(qū)域生成放大的所選擇區(qū)域，并且將人體圖像重疊在放大的所選擇區(qū)域上。
[0144](7)根據(jù)(3)?(5)任何之一所述的圖像處理設(shè)備，其中
[0145]控制部分放大人體圖像。
[0146](8)根據(jù)(3)?(5)任何之一所述的圖像處理設(shè)備，其中
[0147]控制部分將構(gòu)成人體圖像的手臂圖像伸展至所選擇區(qū)域。
[0148](9)根據(jù)(3)?(5)任何之一所述的圖像處理設(shè)備，其中
[0149]控制部分將人體圖像定位在所選擇區(qū)域中。
[0150](10) 一種圖像處理方法，其包括:
[0151]執(zhí)行控制，以通過在背景圖像上重疊描繪人體的至少一部分并且響應用戶的姿態(tài)操作移動的人體圖像，來生成重疊的圖像，以便顯示重疊的圖像，同時調(diào)整重疊的圖像的顯示狀態(tài)。
[0152](11) 一種程序，其致使計算機實現(xiàn)控制功能，所述控制功能執(zhí)行控制，以通過在背景圖像上重疊描繪人體的至少一部分并且響應用戶的姿態(tài)操作移動的人體圖像，來生成重疊的圖像，以便顯示重疊的圖像，同時調(diào)整重疊的圖像。
[0153]參照標號列表
[0154]10圖像處理系統(tǒng)
[0155]20大屏幕顯示器
[0156]30通信網(wǎng)絡(luò)
[0157]40服務(wù)器
[0158]120鏡像
[0159]410,420 背景圖像
[0160]430 書架
[0161]500 所選擇區(qū)域
【權(quán)利要求】
1.一種圖像處理設(shè)備，其包含: 控制部分，配置為執(zhí)行控制，以通過在背景圖像上重疊描繪人體的至少一部分并且響應用戶的姿態(tài)操作移動的人體圖像，來生成重疊的圖像，以便顯示重疊的圖像，同時調(diào)整重疊的圖像的顯示狀態(tài)。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中 控制部分調(diào)整人體圖像和背景圖像至少之一的顯示狀態(tài)。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中 控制部分將一部分背景圖像選擇為所選擇區(qū)域，并且調(diào)整所選擇區(qū)域和人體圖像至少之一的顯示狀態(tài)。
4.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中 控制部分根據(jù)用戶的姿態(tài)操作選擇所選擇區(qū)域。
5.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中 控制部分根據(jù)用戶的姿態(tài)操作調(diào)整所選擇區(qū)域和人體圖像至少之一的顯示狀態(tài)。
6.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中 控制部分通過放大所選擇區(qū)域生成放大的所選擇區(qū)域，并且將人體圖像重疊在放大的所選擇區(qū)域上。
7.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中 控制部分放大人體圖像。
8.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中 控制部分將構(gòu)成人體圖像的手臂圖像伸展至所選擇區(qū)域。
9.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中 控制部分將人體圖像定位在所選擇區(qū)域中。
10.一種圖像處理方法，其包含: 執(zhí)行控制，以通過在背景圖像上重疊描繪人體的至少一部分并且響應用戶的姿態(tài)操作移動的人體圖像，來生成重疊的圖像，以便顯示重疊的圖像，同時調(diào)整重疊的圖像。
11.一種程序，其致使計算機實現(xiàn)控制功能，所述控制功能執(zhí)行控制，以通過在背景圖像上重疊描繪人體的至少一部分并且響應用戶的姿態(tài)操作移動的人體圖像，來生成重疊的圖像，以便顯示重疊的圖像，同時調(diào)整重疊的圖像。
【文檔編號】G06F3/0488GK104303131SQ201380025417
【公開日】2015年1月21日 申請日期:2013年3月22日 優(yōu)先權(quán)日:2012年5月22日
【發(fā)明者】鈴木誠司, 宮崎麗子, 古賀康之, 池田卓郎 申請人:索尼公司