圖像處理器和存儲介質(zhì)的制作方法
【專利摘要】本公開提供一種圖像處理器和存儲介質(zhì)，該圖像處理器包括：識別部，被配置為基于捕獲圖像識別捕獲目標(biāo)；以及圖像產(chǎn)生部，被配置為根據(jù)觀看目標(biāo)的用戶的用戶情況以及識別部的識別結(jié)果產(chǎn)生用于裝飾目標(biāo)的附加圖像。
【專利說明】圖像處理器和存儲介質(zhì)
[0001] 相關(guān)申請的交叉參考
[0002] 本申請要求2013年4月9日提交的日本優(yōu)先權(quán)專利申請JP2013-081081的優(yōu)先 權(quán),通過參考將其全部內(nèi)容合并于此。

【技術(shù)領(lǐng)域】
[0003] 本公開涉及圖像處理器和存儲介質(zhì)。

【背景技術(shù)】
[0004] 已經(jīng)公開的以下技術(shù)涉及將通過捕獲真實空間中存在的對象(真實對象）獲得的 捕獲圖像合成為虛擬對象的技術(shù)。
[0005] 例如，JP H11-144024A公開了一種技術(shù)，其中圖像構(gòu)成裝置配備了用于合成相機(jī) 的視頻和附加圖像的圖像合成部，根據(jù)通過筆等等指令的位置的特征量、指令區(qū)域和指令 信息產(chǎn)生合適的附加圖像，并在顯示單元上合成和顯示圖像。
[0006] JP2009-211362A公開了一種圖像處理器，其基于基本圖像的信息以及添加在基本 圖像上的附件圖像的信息來合成圖像，以呈現(xiàn)適當(dāng)?shù)哪M圖像。
[0007] JP2009-211362A公開了一種位于電子游戲室等等中的攝影印記創(chuàng)作設(shè)備。具體而 言，當(dāng)用戶將手寫筆觸擊在編輯圖像顯示單元上顯示的編輯圖像時，在編輯圖像顯示單元 上顯示的裝飾圖像被合成在指定位置的編輯圖像上作為合成壓印圖像，并且被合成在編輯 圖像中的人物圖像的邊緣。


【發(fā)明內(nèi)容】

[0008] 但是，上面沒有專利文獻(xiàn)提及根據(jù)用戶情況(例如用戶的生物信息、情感信息、偏 好信息等等）將附加圖像(裝飾圖像）添加在目標(biāo)上。
[0009] 本公開提出一種新的改良的圖像處理器和存儲介質(zhì)，其能夠在用戶情況被反映的 情況下自動產(chǎn)生用于虛擬裝飾捕獲圖像的附加圖像。
[0010] 根據(jù)本公開的實施例，提供一種圖像處理器，包括：識別部，被配置為基于捕獲圖 像識別捕獲目標(biāo)；以及圖像產(chǎn)生部，被配置為根據(jù)觀看目標(biāo)的用戶的用戶情況以及所述識 別部的識別結(jié)果產(chǎn)生用于裝飾所述目標(biāo)的附加圖像。
[0011] 根據(jù)本公開的實施例，提供一種存儲了程序的非暫態(tài)計算機(jī)可讀存儲介質(zhì)，所述 程序使得計算機(jī)充當(dāng)：識別部，被配置為基于捕獲圖像識別捕獲目標(biāo)；以及圖像產(chǎn)生部，被 配置為根據(jù)觀看所述目標(biāo)的用戶的用戶情況以及所述識別部的識別結(jié)果產(chǎn)生用于裝飾所 述目標(biāo)的附加圖像。
[0012] 如上所述，根據(jù)本公開，能夠在用戶情況被反映的情況下自動產(chǎn)生用于虛擬裝飾 捕獲圖像的附加圖像。

【專利附圖】

【附圖說明】
[0013] 圖1是用于說明根據(jù)本公開實施例的裝飾系統(tǒng)的概述的示意圖；
[0014] 圖2是示出根據(jù)實施例的HMD的示例性外部構(gòu)造的示意圖；
[0015] 圖3是示出根據(jù)實施例的HMD的示例性內(nèi)部構(gòu)造的方框圖；
[0016] 圖4是示出根據(jù)實施例的服務(wù)器的示例性內(nèi)部構(gòu)造的方框圖；
[0017] 圖5是示出根據(jù)實施例的第一裝飾處理的流程圖；
[0018] 圖6是用于說明根據(jù)實施例的第一裝飾的示意圖；
[0019] 圖7是示出根據(jù)實施例的第二裝飾處理的流程圖；
[0020] 圖8是用于說明根據(jù)實施例通過第二裝飾處理對附加圖像的改變的示意圖；
[0021] 圖9是用于說明根據(jù)實施例通過第二裝飾處理對附加圖像的改變的示意圖；
[0022] 圖10A是示出根據(jù)實施例的第三裝飾處理的流程圖；
[0023] 圖10B是示出根據(jù)實施例的第三裝飾處理的流程圖；
[0024] 圖11是示出根據(jù)其他實施例的裝飾系統(tǒng)的操作處理的流程圖；以及
[0025] 圖12是用于說明根據(jù)其他實施例的取決于目標(biāo)情況的裝飾的示意圖。

【具體實施方式】
[0026] 下面參照附圖詳細(xì)描述本公開的優(yōu)選實施例。注意，在本說明書和附圖中，用相同 的附圖標(biāo)記表示功能和結(jié)構(gòu)基本上相同的結(jié)構(gòu)元件，并省略這些結(jié)構(gòu)元件的重復(fù)說明。
[0027] 按照以下順序給出說明。
[0028] 1.根據(jù)本公開實施例的裝飾系統(tǒng)的概述
[0029] 2.基本構(gòu)造
[0030] 2-1. HMD的基本構(gòu)造
[0031] 2-1-1. HMD的外部構(gòu)造示例
[0032] 2-1-2. HMD的內(nèi)部構(gòu)造示例
[0033] 2-2.服務(wù)器的基本構(gòu)造
[0034] 3.操作處理
[0035] 3-1.第一裝飾處理
[0036] 3-2.第二裝飾處理
[0037] 3-3.第三裝飾處理
[0038] 4.其他實施例
[0039] 5.結(jié)論
[0040] 《1.根據(jù)本公開實施例的裝飾系統(tǒng)的概述》
[0041] 首先，參照圖1給出根據(jù)本公開實施例的裝飾系統(tǒng)的概述的描述。
[0042] 圖1是用于說明根據(jù)本公開實施例的裝飾系統(tǒng)的概述的示意圖。如圖1所示，用 戶A佩戴眼鏡式的HMD (頭戴顯示器）1。HMD1具有框架構(gòu)造(例如從兩個顳區(qū)到枕區(qū)的半 圓）的佩戴單元，并被放在用戶A要佩戴的兩個聽囊上。HMD1被配置為使得在佩戴狀態(tài)下， 將用于左眼和右眼的一對顯示單元2緊接著放置在用戶A任一眼的前面，或者換言之，放置 在普通眼鏡的透鏡所在的位置。顯示單元2可以是透明式，并且顯示單元2通過HMD1被設(shè) 置為看透狀態(tài)，也就是透明或半透明狀態(tài)，以允許用戶A即使像眼鏡那樣規(guī)則地佩戴HMD1 時也沒有問題地正常生活。下面參照圖2描述HMD1的特殊外部構(gòu)造。
[0043] HMD1通過無線通信連接到網(wǎng)絡(luò)上的服務(wù)器30,以接收和傳輸數(shù)據(jù)。如圖1所示， 根據(jù)本公開實施例的裝飾系統(tǒng)包括HMD1和服務(wù)器30。
[0044] (背景）
[0045] 近年來，如同上述JP2009-211362A中公開的，在每天進(jìn)行的是在添加于用戶的肖 像上的情況下打印各種裝飾，將裝飾印記和珠子以及用于表示用戶的身份的印記和珠子粘 貼在移動電話終端或智能電話以及袋子上。此外，除了粘貼裝飾印記和珠子之外，日常進(jìn)行 的還有在移動電話終端或智能電話以及袋子上附裝喜歡的小娃娃和毛絨玩具。
[0046] 但是，因為諸如裝飾印記、珠子和毛絨玩具的附件是真實對象，所以當(dāng)用戶要改變 為其他附件時，他/她在移除此時使用的附件并附裝新的附件上有問題。此外，還有發(fā)現(xiàn)和 購買新附件的問題，這給例如在每天、每小時或每周等等偶然和充分地改變帶來困難。
[0047] 作為每天進(jìn)行的裝飾，除了以上對諸如移動電話終端或智能電話的附屬物的裝飾 之外，還對諸如蛋糕的食物進(jìn)行裝飾。特別地，為了外觀豪華或華麗的目的，用各種裝飾品 和配料來裝飾用于生日、圣誕節(jié)等等的蛋糕。但是，裝飾品經(jīng)?？赡懿荒苁秤?，并且在食用 進(jìn)程中必須移除，或者在切蛋糕時必須分離，使得在食用進(jìn)行時難以享受觀賞裝飾。此外， 在生日時進(jìn)行儀式，其中，在蛋糕上放蠟燭并點燃，然后由主角吹熄。但是，在實際吃蛋糕的 時候?qū)⑾灎T移除，在蛋糕中形成空洞，看起來難看，或者由于燭淚導(dǎo)致口味差。
[0048] 在附件不是真實對象而是虛擬對象（附件圖像）的情況下，可以構(gòu)思將附件圖像合 成在附屬物和食物的捕獲圖像上用于虛擬裝飾。但是，通常認(rèn)為附件圖像要預(yù)先設(shè)置或者 由用戶任意選擇。
[0049] 然后，集中于上述條件產(chǎn)生根據(jù)本公開實施例的裝飾系統(tǒng)。根據(jù)本公開實施例的 裝飾系統(tǒng)自動產(chǎn)生附加圖像，作為虛擬附件來裝飾反映了用戶情況的捕獲目標(biāo)，并控制和 顯示產(chǎn)生要添加在目標(biāo)上的附加圖像。
[0050] 這樣使得根據(jù)本公開的裝飾系統(tǒng)能夠根據(jù)諸如用戶喜好、健康狀況、感覺、行為等 等用戶情況，自動產(chǎn)生附加圖像，并顯示產(chǎn)生的要添加在目標(biāo)上的圖像，提高了便利性。具 體而言，像這樣實時通過附加圖像對用戶情況的反映可以省略附件的分離或購買，以實現(xiàn) 更加滿足用戶需求的虛擬裝飾。
[0051] 特別地，如圖1所示，HMD1通過圖像捕獲透鏡（圖2所示的圖像捕獲透鏡3a)捕獲 作為攝影主題的目標(biāo)40,并將捕獲的圖像傳輸給服務(wù)器30,當(dāng)處于被用戶A佩戴的狀態(tài)時， 圖像捕獲透鏡被放置為朝前，從而捕獲用戶觀看的方向作為攝影方向。
[0052] 接著，服務(wù)器30 (圖像處理器）從HMD1傳輸?shù)牟东@圖像中識別目標(biāo)40 (蛋糕)，產(chǎn) 生用于裝飾目標(biāo)40的附加圖像(例如附加圖像D1至D4)，并將產(chǎn)生的附加圖像D1至D4傳 輸給HMD1 (圖像顯示終端)。
[0053] 這里，服務(wù)器30根據(jù)用戶A的用戶情況來產(chǎn)生附加圖像D1至D4。在本說明書中， 用戶情況例如指示用戶A的生物信息、情感信息、偏好信息、行為情況(包括行為計劃）或環(huán) 境信息。
[0054] 生物信息包括用戶A的性別、年齡、生日、種族、脈搏、心率、腦電波、體溫、汗量等 等，并由用戶A預(yù)先登記或者實時通過HMD1實際測量。
[0055] 情感信息是指示用戶A的當(dāng)前情感(心情、感覺）的信息，并且例如根據(jù)通過HMD1 實際測量的用戶脈搏、心率、腦電波、體溫、汗量等等，或者基于捕獲用戶A的臉部獲得的捕 獲圖像、根據(jù)用戶A的表情來確定。
[0056] 偏好信息是指示用戶A的各種喜好的信息，并通過用戶A預(yù)先登記，以及基于用戶 A的各種生活日志的分析結(jié)果，根據(jù)用戶A的商品購買歷史、食用和飲用歷史等等來確定。 生活日志包括用戶A在其使用的SNS (社交網(wǎng)絡(luò)服務(wù)）中的發(fā)帖項目或博客項目。
[0057] 行為情況是指示用戶A的當(dāng)前行為或行為計劃的信息，當(dāng)前行為例如基于利用提 供給HMD1的陀螺儀傳感器、加速度傳感器、地磁傳感器、定位傳感器、成像捕獲傳感器等等 實時實際測量的檢測結(jié)果來確定。行為計劃基于用戶A的時間表信息等等來確定。
[0058] 環(huán)境信息是指示用戶A當(dāng)前所處環(huán)境的信息，并且例如是通過提供給HMD1的GPS (全球定位系統(tǒng)）測量的當(dāng)前位置信息、日期信息、時間信息、天氣信息等等。
[0059] 如上所述指示用戶情況的各種信息片段可以預(yù)先存儲在服務(wù)器30中，或者從 HMD1傳輸給服務(wù)器30。如上所述，服務(wù)器30根據(jù)用戶A的用戶情況，產(chǎn)生附加圖像D1至 D4〇
[0060] 在圖1所示的示例中，服務(wù)器30例如基于用戶A的偏好信息，產(chǎn)生通過用戶A喜 歡的符號和顏色或者喜歡的事物(例如花、緞帶）裝飾目標(biāo)40 (蛋糕）的附加圖像D2至D4。 如果基于用戶A生物信息，當(dāng)前日期是用戶A的生日，則服務(wù)器30產(chǎn)生通過慶祝生日的消 息裝飾目標(biāo)40 (蛋糕）的附加圖像D1。
[0061] 然后，在接收通過服務(wù)器30產(chǎn)生的附加圖像D1至D4時，HMD1在顯示單元2上顯 示附加圖像D1至D4,從而將其添加在目標(biāo)40上，如圖1所示。HMD1可以控制顯示單元2 處于看透狀態(tài)(透明或半透明），并在顯示單元2上顯示附加圖像D1至D4,從而將其添加在 真實空間中存在的目標(biāo)40上，或者可將附加圖像D1至D4合成在通過捕獲目標(biāo)40獲得的 捕獲圖像上，并在受控為不透明的顯示單元2上顯示合成圖像。這樣使得HMD1能夠根據(jù)用 戶A的用戶情況，虛擬地裝飾目標(biāo)40 (蛋糕)。
[0062] 根據(jù)目標(biāo)40情況的變化，通過HMD1或服務(wù)器30在任何時候改變附加圖像D1至 D4，這樣可以向用戶提供就像真的進(jìn)行裝飾的感覺。例如，如圖1所示，在目標(biāo)40是食物(例 如蛋糕)的情況下，在用戶A食用蛋糕進(jìn)行時，根據(jù)食用和飲用的進(jìn)程，HMD1或服務(wù)器30移 動用于裝飾品和配料的附加圖像D1至D4的顯示位置或者移除附加圖像D1至D4。這樣使 得用戶A能夠在食用和飲用時享受觀賞食物上的裝飾。
[0063] 因此，上文描述了根據(jù)本公開實施例的裝飾系統(tǒng)的概述。下面描述根據(jù)實施例的 裝飾系統(tǒng)中包括的HMD1和服務(wù)器30的基本構(gòu)造。
[0064] 《2.基本構(gòu)造》
[0065] 〈2-1. HMD的基本構(gòu)造〉
[0066] (2-1-1. HMD的外部構(gòu)造示例）
[0067] 首先參照圖2具體描述HMD1的外部構(gòu)造。圖2是示出根據(jù)實施例的HMD1的外部 構(gòu)造的示意圖。
[0068] 如圖2所示，HMD1被配置為使得在佩戴狀態(tài)下，將用于左眼和右眼的一對顯示單 元2緊接著放置在用戶A任一眼的前面，或者換言之，放置在普通眼鏡的透鏡所在的位置。 [0069] 此外，在HMD1中，當(dāng)處于被用戶A佩戴的狀態(tài)時，圖像捕獲透鏡3a被放置為朝前， 從而將用戶觀看的方向捕獲為攝影方向。此外，在圖像捕獲透鏡3a的圖像捕獲方向上，設(shè) 置提供照明的發(fā)光器4a。發(fā)光器4a例如通過發(fā)光二極管（LED)形成。
[0070] 此外，雖然圖2中僅在左眼側(cè)示出，但是提供了一對耳機(jī)揚聲器5a，在佩戴狀態(tài)下 可以插入用戶的右耳道和左耳道。此外，將拾取外部聲音的麥克風(fēng)6a和6b放置在用于右 眼的顯示單元2的右邊，以及放置在用于左眼的顯示單元2的左邊。
[0071] 注意，圖2所示HMD1的外觀是一個示例，可以構(gòu)思出用戶可通過其佩戴HMD1的多 種結(jié)構(gòu)。對于HMD1而言形成為眼鏡式或頭戴式的佩戴單元是充分的，并且至少對于本實施 例，將顯示單元2緊密設(shè)置在用戶的眼睛前面是充分的。此外，除了將顯示單元2設(shè)置為與 任一眼睛對應(yīng)的一對之外，提供與一側(cè)的眼睛對應(yīng)的單個顯示單元2的構(gòu)造也是可以接受 的。
[0072] 此外，雖然在圖1所示示例中，將圖像捕獲透鏡3a以及提供照明的發(fā)光器4a放置 為在右眼的一側(cè)朝前，但是也可以將圖像捕獲透鏡3a和發(fā)光器4a放置在左眼一側(cè)，或者放 置在兩側(cè)。
[0073] 提供僅在一個耳朵中佩戴的單個耳機(jī)揚聲器5a而非左右立體揚聲器也是可以接 受的。同樣，麥克風(fēng)可以是麥克風(fēng)6a或6b的任一個。
[0074] 此外，還可以構(gòu)思未配備麥克風(fēng)6a或6b或耳機(jī)揚聲器5a的構(gòu)造。也可以構(gòu)思未 配備發(fā)光器4a的構(gòu)造。
[0075] 因此，上文描述了圖2所示HMD1的外部構(gòu)造。在本說明書中，將HMD1用作用戶擁 有的圖像顯示終端的示例，但是根據(jù)本公開的圖像顯示終端不限于HMD1。例如，圖像顯示終 端可以是智能電話、移動電話終端、PDA (個人數(shù)字助理)、PC (個人計算機(jī))、平板終端等等。
[0076] (2-1-2. HMD的內(nèi)部構(gòu)造示例）
[0077] 下面參照圖3具體描述HMD1的內(nèi)部構(gòu)造。圖3是示出根據(jù)實施例的HMD1的示例 性內(nèi)部構(gòu)造的方框圖。如圖3所示，根據(jù)實施例的HMD1包括顯示單元2、圖像捕獲單元3、 照明單元4、音頻輸出單元5、音頻輸入單元6、主控制器10、圖像捕獲控制器11、圖像捕獲信 號處理器12、捕獲圖像分析器13、照明控制器14、音頻信號處理器15、顯示控制器17、音頻 控制器18、情況檢測器19、通信單元21以及存儲單元22。
[0078] (主控制器10)
[0079] 主控制器10例如由配備了中央處理器（CPU)、只讀存儲器（ROM)、隨機(jī)存取存儲器 (RAM)、非易失性存儲器和接口單元的微控制器構(gòu)成，并控制HMD1的各個組件。
[0080] 主控制器10進(jìn)行控制使得圖像捕獲單元3捕獲目標(biāo)，捕獲的圖像通過圖像捕獲信 號處理器12和捕獲圖像分析器13處理并經(jīng)由通信單元21傳輸給服務(wù)器30。此外，主控制 器10進(jìn)行控制使得通過情況檢測器19檢測的各種檢測結(jié)果連同捕獲圖像一起，經(jīng)由通信 單兀21傳輸給服務(wù)器30。
[0081] 主控制器10將從服務(wù)器30接收的附加圖像通過通信單元21提供給顯示控制器 17,并在顯示單元2上顯示要添加在目標(biāo)上的附加圖像。
[0082](圖像捕獲單元）
[0083] 圖像捕獲單元3 (圖像捕獲傳感器)包括透鏡子系統(tǒng)、驅(qū)動子系統(tǒng)、固態(tài)圖像傳感器 陣列等等，透鏡子系統(tǒng)由圖2所示的圖像捕獲透鏡3a、光圈、變焦透鏡、聚焦透鏡等等構(gòu)成， 驅(qū)動子系統(tǒng)使得透鏡子系統(tǒng)進(jìn)行聚焦操作和變焦操作，固態(tài)圖像傳感器陣列通過將透鏡子 系統(tǒng)獲得的捕獲光線進(jìn)行光電轉(zhuǎn)換，產(chǎn)生圖像捕獲信號。固態(tài)圖像傳感器陣列例如通過電 荷耦合裝置（CXD)傳感器陣列或者互補金屬氧化物半導(dǎo)體（CMOS)傳感器陣列實現(xiàn)。
[0084] 根據(jù)實施例的圖像捕獲單元3捕獲要被虛擬裝飾的目標(biāo)，并將捕獲的圖像輸出到 圖像捕獲信號處理器12。
[0085](圖像捕獲控制器）
[0086] 圖像捕獲控制器11基于主控制器10的指令控制圖像捕獲單元3和圖像捕獲信號 處理器12的操作。例如，圖像捕獲控制器11控制圖像捕獲單元3和圖像捕獲信號處理器 12的操作的打開/關(guān)閉。此外，圖像捕獲控制器11被配置為進(jìn)行控制(馬達(dá)控制)，使得圖 像捕獲單元3執(zhí)行諸如自動聚焦、自動曝光調(diào)節(jié)、光圈調(diào)節(jié)和變焦的操作。此外，圖像捕獲 控制器11配備了定時發(fā)生器，并且針對固態(tài)圖像傳感器以及圖像捕獲信號處理器12的樣 本和保持/AGC電路與視頻A/D轉(zhuǎn)換器，通過定時發(fā)生器產(chǎn)生的定時信號控制信號處理操 作。此外，該定時控制使得能夠?qū)D像捕獲幀率進(jìn)行可變控制。
[0087] 此外，圖像捕獲控制器11控制圖像捕獲靈敏度以及固態(tài)圖像傳感器和圖像捕獲 信號處理器12中的信號處理。例如，作為圖像捕獲靈敏度控制，圖像捕獲控制器11能夠?qū)?從固態(tài)圖像傳感器讀取的信號進(jìn)行增益控制，設(shè)置黑度，控制用于數(shù)字?jǐn)?shù)據(jù)階段的圖像捕 獲信號處理的各種系數(shù)，控制搖動校正處理中的校正量等等。
[0088](圖像捕獲信號處理器）
[0089] 圖像捕獲信號處理器12配備了樣本和保持/自動增益控制（AGC)電路和視頻模 數(shù)（A/D)轉(zhuǎn)換器，樣本和保持/AGC電路對通過圖像捕獲單元3的固態(tài)圖像傳感器獲得的信 號進(jìn)行增益控制和波形塑形。因此，圖像捕獲信號處理器12獲得圖像捕獲信號作為數(shù)字?jǐn)?shù) 據(jù)。此外，圖像捕獲信號處理器12對通信捕獲信號進(jìn)行白平衡處理、亮度處理、色度信號處 理、搖動校正處理等等。
[0090] (捕獲信號分析器）
[0091] 捕獲信號分析器13是用于檢測外部情況的構(gòu)造的示例。具體而言，捕獲信號分析 器13分析通過圖像捕獲單元3捕獲并通過圖像捕獲信號處理器12處理的圖像數(shù)據(jù)(捕獲 圖像)，以及獲得圖像數(shù)據(jù)中包括的關(guān)于圖像的信息。
[0092] 具體而言，例如，捕獲信號分析器13對圖像數(shù)據(jù)(捕獲圖像)進(jìn)行諸如點檢測、線和 輪廓檢測以及區(qū)域劃分的分析，以將分析結(jié)果輸出到主控制器10。用于捕獲圖像的分析結(jié) 果可以連同捕獲圖像一起傳輸給服務(wù)器30。向主控制器10輸出用于連續(xù)捕獲的捕獲圖像 的分析結(jié)果使得主控制器10能夠識別通過用戶輸入的手勢。
[0093] (照明單元，照明控制器）
[0094] 照明單元4包括圖2所示的發(fā)光器4a以及使得發(fā)光器4a (例如LED)發(fā)光的發(fā)光 電路。照明控制器14使得照明單元4根據(jù)主控制器10的控制執(zhí)行發(fā)光操作。通過在照明 單元4中附裝發(fā)光器4a作為提供前面照明的單元(如圖2所示)，照明單元4沿用戶的視線 方向進(jìn)行照明操作。
[0095](音頻輸入單元，音頻信號處理器）
[0096] 音頻輸入單元6包括圖2所示的麥克風(fēng)6a和6b，以及將麥克風(fēng)6a和6b獲得的音 頻信號放大和處理，并將音頻數(shù)據(jù)輸出到音頻信號處理器15的麥克風(fēng)放大器單元和A/D轉(zhuǎn) 換器。音頻信號處理器15對音頻輸入單元6獲得的音頻數(shù)據(jù)進(jìn)行諸如去噪和源分離的處 理。然后處理的音頻數(shù)據(jù)被提供給主控制器10。將根據(jù)本實施例的HMD1配備音頻輸入單 元6和音頻信號處理器15例如使得能夠從用戶輸入語音。
[0097] (情況檢測器）
[0098] 情況檢測器19是用于檢測外部情況的構(gòu)造的示例。具體而言，情況檢測器19包 括陀螺儀傳感器、加速度傳感器、地磁傳感器、定位單元(例如GPS單元)、生物傳感器等等。 情況檢測器19將檢測結(jié)果輸出到主控制器10。生物傳感器包括能夠檢測佩戴HMD1的用戶 A的脈搏、心率、腦電波、體溫、汗量等等的各種生物傳感器。
[0099] (顯示控制器）
[0100] 顯示控制器17充當(dāng)圖像處理部，其根據(jù)來自主控制器10的控制，處理要在顯示單 元2上顯示的預(yù)定圖像數(shù)據(jù)。具體而言，顯示控制器17例如包括視頻處理器、數(shù)字信號處 理器、D/A轉(zhuǎn)換器等等，并進(jìn)行顯示圖像數(shù)據(jù)的產(chǎn)生、產(chǎn)生的顯示圖像數(shù)據(jù)的亮度等級調(diào)節(jié)、 顏色校正、對比度調(diào)節(jié)、銳度(輪廓增強）調(diào)節(jié)等等。
[0101] 此外，顯示控制器17充當(dāng)驅(qū)動控制部，用于根據(jù)來自主控制器10的控制，在顯示 單元2上顯示預(yù)定圖像數(shù)據(jù)。具體而言，顯示控制器17包括像素驅(qū)動電路，用于例如在配 置為液晶顯示器的顯示單元2上顯示圖像數(shù)據(jù)。此外，顯示控制器17 (驅(qū)動控制部）可以 控制顯示單元2中像素的透射率，以將顯示單元2設(shè)置為看透狀態(tài)(透明或半透明狀態(tài)）或 者非看透狀態(tài)。
[0102] 根據(jù)實施例的顯示控制器17 (圖像處理部)調(diào)節(jié)用于虛擬裝飾目標(biāo)的附加圖像，從 而根據(jù)主控制器10的控制，在與真實空間中存在的目標(biāo)相對應(yīng)的位置顯示該附加圖像，或 者在通過捕獲目標(biāo)獲得的捕獲圖像上的預(yù)定位置顯示該附加圖像。具體而言，顯示控制器 17 (圖像處理部)在顯示單元2上依次顯示通過連續(xù)捕獲目標(biāo)獲得的捕獲圖像，并進(jìn)行控制 使得將附加圖像顯示為添加在對應(yīng)于相關(guān)捕獲圖像中的目標(biāo)圖像的合適位置。換言之，顯 示控制器17 (圖像處理部）進(jìn)行控制使得在顯示單元2上顯示將附加圖像添加在捕獲圖像 上的合成圖像。
[0103] 或者，顯示控制器17 (圖像處理部）將顯示單元2控制為看透狀態(tài)，并進(jìn)行控制使 得在用戶A佩戴HMD1的狀態(tài)下，當(dāng)用戶A經(jīng)由處于看透狀態(tài)的顯示單元2觀看目標(biāo)時，在 與真實空間中存在的目標(biāo)相對應(yīng)的合適位置顯示附加圖像。在這種情況下，顯示控制器17 (圖像處理部)可以根據(jù)主控制器10的控制進(jìn)行控制，使得基于通過捕獲目標(biāo)獲得的捕獲圖 像的分析結(jié)果(檢測目標(biāo)的特征點、線、輪廓、區(qū)域等等的結(jié)果)，在與目標(biāo)相對應(yīng)的合適位 置將附加圖像顯示為真實對象。
[0104] (顯示單元）
[0105] 如圖1和圖2所示，在佩戴狀態(tài)下，顯示單元2由用于左眼和右眼的一對顯示單元 2構(gòu)成，緊接著放置在用戶A任一眼的前面，或者換言之，放置在定普通眼鏡的透鏡所在的 位置。顯示單元2根據(jù)顯示控制器17的控制，實時顯示通過圖像捕獲單元3捕獲的目標(biāo)的 捕獲圖像，或者顯示用于虛擬裝飾目標(biāo)的附加圖像。通過顯示控制器17可將顯示單元2控 制為設(shè)置在看透狀態(tài)(透明或半透明）或者非看透狀態(tài)(不透明）下。
[0106](音頻控制器）
[0107] 音頻控制器18根據(jù)主控制器10的控制，產(chǎn)生音頻信號數(shù)據(jù)，對于產(chǎn)生的音頻信號 數(shù)據(jù)的音量調(diào)節(jié)，音頻質(zhì)量調(diào)節(jié)，聲音效果等等。音頻控制器18控制使得根據(jù)主控制器10 的控制，從音頻輸出單元5輸出預(yù)定的音頻信號數(shù)據(jù)。
[0108](音頻輸出單元）
[0109] 音頻輸出單元5包括圖2所示的一對耳機(jī)揚聲器5a以及用于耳機(jī)揚聲器5a的放 大器電路。此外，可將音頻輸出單兀5配置為被稱為骨傳導(dǎo)揚聲器。根據(jù)音頻控制器18的 控制，音頻輸出單元5輸出（重放）音頻信號數(shù)據(jù)。
[0110] (存儲單元）
[0111] 存儲單元22是關(guān)于指定的記錄介質(zhì)記錄和重放數(shù)據(jù)的部件。存儲單元22例如通 過硬盤驅(qū)動器（HDD)實現(xiàn)。顯然，可將諸如閃存或其他固態(tài)存儲器、放置固態(tài)存儲器的存儲 器卡、光盤、磁光盤以及全息存儲器的各種介質(zhì)構(gòu)思為記錄介質(zhì)，并且將存儲單元22配置 為能夠根據(jù)實施的記錄介質(zhì)執(zhí)行記錄和重放是充分的。
[0112] 在用戶A佩戴HMD1時，根據(jù)實施例的存儲單元22可以存儲通過圖像捕獲單元3 連續(xù)捕獲的捕獲圖像以及通過音頻輸入單元6連續(xù)拾取的音頻信號作為生活日志。在用戶 A佩戴HMD1時，存儲單元22可以存儲通過生物傳感器以及定位單元(任一個都是情況檢測 器19的示例）連續(xù)檢測的檢測結(jié)果作為生活日志。存儲單元22可將用戶A預(yù)先登記的用 戶A的偏好信息和生物信息(性別、年齡、生日等等）存儲于其中。
[0113] (通信單元）
[0114] 通信單元21向外設(shè)發(fā)送數(shù)據(jù)并從外設(shè)接收數(shù)據(jù)。通信單元21根據(jù)諸如無線局域 網(wǎng)（LAN)、Wi-Fi (無線保真，注冊商標(biāo))、紅外通信或藍(lán)牙(注冊商標(biāo)）的方案，通過無線方式 直接或經(jīng)由網(wǎng)絡(luò)接入點與外設(shè)通信。
[0115] 例如，通信單元21通過無線方式與圖1所示服務(wù)器30通信。
[0116] 因此，上文詳細(xì)描述了根據(jù)本實施例的HMD1的內(nèi)部構(gòu)造。注意，雖然將音頻輸出 單元5、音頻輸入單元6、音頻信號處理器15以及音頻控制器18示出為音頻相關(guān)構(gòu)造，但是 并非嚴(yán)格必須提供以上全部。
[0117] 通過以上構(gòu)造，根據(jù)實施例的HMD1可以在與作為真實對象的目標(biāo)或者通過捕獲 作為真實對象的目標(biāo)獲得的目標(biāo)圖像相對應(yīng)的合適位置，在顯示單元2上顯示用于根據(jù)用 戶情況進(jìn)行裝飾的附加圖像，以根據(jù)用戶情況虛擬裝飾目標(biāo)。例如，HMD1可以根據(jù)用戶A的 偏好，虛擬地進(jìn)行用戶A喜歡的裝飾。
[0118] 〈2-2.服務(wù)器的基本構(gòu)造〉
[0119] 下面參照圖4描述在根據(jù)實施例的裝飾系統(tǒng)中包括的服務(wù)器30的構(gòu)造。圖4是 示出根據(jù)實施例的服務(wù)器30的示例性內(nèi)部構(gòu)造的方框圖。
[0120] 如圖4所示，服務(wù)器30包括主控制器31、存儲單元32和通信單元33。
[0121] (主控制器）
[0122] 主控制器31例如由配備了 0?比如1、狀1、非易失性存儲器以及接口單元的微控制 器構(gòu)成，并控制服務(wù)器30的各個組件。
[0123] 根據(jù)實施例的主控制器31充當(dāng)識別部31a、圖像產(chǎn)生部31b以及圖像處理部31c， 如圖4所示。識別部31a基于經(jīng)由通信單元33從HMD1傳輸?shù)牟东@圖像，識別捕獲目標(biāo)。具 體而言，識別部31a對于捕獲圖像進(jìn)行諸如點檢測、線和輪廓檢測以及區(qū)域劃分的分析，以 提取目標(biāo)的特征量數(shù)據(jù)或局部特征量數(shù)據(jù)，例如形狀和尺寸。然后，識別部31a將在模型數(shù) 據(jù)庫(存儲在存儲單元32中）中登記的各個真實對象的特征量數(shù)據(jù)或局部特征量數(shù)據(jù)與從 捕獲圖像提取的特征量數(shù)據(jù)或局部特征量數(shù)據(jù)進(jìn)行比較，將相比于預(yù)定值具有更高相似度 的任一個設(shè)置為識別結(jié)果。這樣使得識別部31a能夠識別捕獲圖像中包括的目標(biāo)是什么。
[0124] 識別部31a將識別結(jié)果提供給圖像產(chǎn)生部31b。識別部31a可以使得要提供給圖 像產(chǎn)生部31b的識別結(jié)果具有指示在捕獲圖像中出現(xiàn)的目標(biāo)是什么的信息以及作為對捕 獲圖像的分析結(jié)果的特征量數(shù)據(jù)或局部特征量數(shù)據(jù)。
[0125] 圖像產(chǎn)生部31b根據(jù)觀看目標(biāo)的用戶的情況(用戶情況)以及識別部31a的識別結(jié) 果，產(chǎn)生用于裝飾目標(biāo)的附加圖像。這里，"觀看目標(biāo)的用戶"是將捕獲目標(biāo)獲得的捕獲圖像 傳輸給服務(wù)器30的HMD1的佩戴者，也就是在圖1所示示例中佩戴HMD1并觀看目標(biāo)40的 用戶A。用戶情況例如指示上述用戶A的生物信息、情感信息、偏好信息、行為情況或環(huán)境 信息，并通過網(wǎng)絡(luò)從服務(wù)器30中的存儲單元32獲取，從HMD1等等獲取。然后，圖像產(chǎn)生部 31b根據(jù)用戶情況產(chǎn)生用于虛擬裝飾識別目標(biāo)的附加圖像。要產(chǎn)生的附加圖像可通過將存 儲單元32中存儲的材料圖像組合或變形來產(chǎn)生，或者利用通過網(wǎng)絡(luò)獲取的免費材料來產(chǎn) 生。在產(chǎn)生附加圖像時，服務(wù)器30也可以根據(jù)收費數(shù)(用戶A的付費）向用戶A (HMD1)收 費，以增加通過圖像產(chǎn)生部31b產(chǎn)生的附加圖像的變化。
[0126] 例如，如果識別部31a識別出目標(biāo)是食物和飲料，則圖像產(chǎn)生部31b產(chǎn)生用于裝飾 食物和飲料的附加圖像。具體而言，如果目標(biāo)被識別為圖1所示的蛋糕，則圖像產(chǎn)生部31b 產(chǎn)生用于裝飾蛋糕上表面或側(cè)表面的附加圖像。此時，圖像產(chǎn)生部31b基于偏好信息，例如 產(chǎn)生與用戶A的喜好(喜歡的符號、顏色、事物等等）相匹配的附加圖像，作為根據(jù)用戶情況 裝飾蛋糕的附加圖像。此外，圖像產(chǎn)生部31b可以根據(jù)日期附加地產(chǎn)生用于諸如情人節(jié)、白 色情人節(jié)、圣誕節(jié)或女孩節(jié)的事件的附加圖像。圖像產(chǎn)生部31b可以基于偏好信息(對于 SNS中的發(fā)帖項目或博客項目，可以根據(jù)分析結(jié)果等等自動確定）中包括的用戶A的生物信 息或指定周年紀(jì)念日，根據(jù)用戶A的生日產(chǎn)生用于慶祝生日或周年紀(jì)念日的消息的附加圖 像。如果從捕獲圖像中識別出多個蛋糕（目標(biāo))，則圖像產(chǎn)生部31b確定位置最靠近用戶A 的蛋糕（目標(biāo))是用于用戶A的蛋糕，并且可以只裝飾用于用戶A的蛋糕。此外，圖像產(chǎn)生部 31b可以只裝飾用戶A的蛋糕，從而看起來比其他蛋糕更大。
[0127] 此外，在目標(biāo)是移動終端(例如移動電話終端、智能電話、PDA、便攜式音樂播放器 和數(shù)碼相機(jī)）或者各種對象(例如袋子、杯子、筆架、花瓶、車輛和電線桿）的情況下，圖像產(chǎn) 生部31b產(chǎn)生用于裝飾各個對象的附加圖像。具體而言，如果目標(biāo)被識別為智能電話，則圖 像產(chǎn)生部31b產(chǎn)生用于裝飾智能電話每個表面的印記圖像或者看起來附裝于智能電話的 條帶圖像作為附加圖像。此時，圖像產(chǎn)生部31b例如根據(jù)用戶情況，基于偏好信息產(chǎn)生與用 戶A的喜好(喜歡的符號、顏色、事物等等）相匹配的印記圖像或條帶圖像，作為用于裝飾智 能電話的附加圖像。圖像產(chǎn)生部31b可以產(chǎn)生通過用戶A喜歡的顏色裝飾用戶A的多個附 屬物的附加圖像。例如，在從捕獲圖像識別出用戶A攜帶的智能電話、音樂播放器和袋子的 情況下，產(chǎn)生用相同的顏色裝飾所有東西的附加圖像，用戶A的附屬物可以在顏色上統(tǒng)一。
[0128] 此外，圖像產(chǎn)生部31b根據(jù)用戶A的生物信息(根據(jù)脈搏、體溫、汗量等等確定的用 戶A的健康狀況等等)或情感信息(根據(jù)脈搏、心率、腦電波等等確定的用戶A的感覺等等)， 產(chǎn)生用于裝飾智能電話的附加圖像。例如，當(dāng)用戶A發(fā)燒且體溫高于預(yù)定溫度(處于不良健 康狀況）或者情緒低落時，圖像產(chǎn)生部31b產(chǎn)生通過顏色而具有放松效果和鎮(zhèn)定效果的用 于裝飾的附加圖像，或者用軟色(暖色、淺色或亮色）來裝飾的附加圖像。另一方面，當(dāng)用戶 A的情緒高昂等等時，圖像產(chǎn)生部31b產(chǎn)生用于更華麗的裝飾的附加圖像(包括金銀等等的 附屬裝飾，高色、跛色)，具有進(jìn)一步提升情緒的效果。
[0129] 此外，圖像產(chǎn)生部31b可以根據(jù)用戶A的環(huán)境信息產(chǎn)生用于裝飾智能電話的附加 圖像。環(huán)境信息是指示用戶A當(dāng)前所處環(huán)境的信息，并且例如是關(guān)于天氣（下雨、天晴、多 云、下雪、臺風(fēng)等等)、時間（時區(qū)，例如早晨、下午和夜晚)、位置（山、海、城鎮(zhèn)、主題公園等等） 等等的信息。具體而言，如果天氣下雨，圖像產(chǎn)生部31b則產(chǎn)生傘、青蛙、雨衣或冷色的附加 圖像，如果天氣下雪，則產(chǎn)生雪人或雪花的附加圖像，如果時間是夜晚時區(qū)，則產(chǎn)生月亮、星 星或熒光色的附加圖像，如果位置是海，則產(chǎn)生海洋生物等等的附加圖像。
[0130] 如果目標(biāo)被識別為車輛，則圖像產(chǎn)生部3lb可以產(chǎn)生用于裝飾的附加圖像，以隱 藏凹痕或污垢。
[0131] 此外，在目標(biāo)被識別為人員的情況下，圖像產(chǎn)生部31b產(chǎn)生用于裝飾人員的附加 圖像。具體而言，圖像產(chǎn)生部31b產(chǎn)生發(fā)型、服裝(包括諸如眼鏡、帽子或鞋子的時尚品)、化 妝品、首飾等等的圖像作為用于裝飾人員的頭、身體、臉、手臂、腿等等的附加圖像。此時，圖 像產(chǎn)生部31b基于偏好信息，例如產(chǎn)生與用戶A的喜好(異性喜歡的發(fā)型、時尚、符號、顏色 或事物等等）相匹配的附加圖像，作為根據(jù)用戶情況裝飾人員的附加圖像。通過這樣做，例 如當(dāng)佩戴HMD1的男性用戶經(jīng)由HMD1的顯示單元2看見女性時，顯示男性用戶喜歡的發(fā)型、 服裝、化妝品等等圖像添加于女性。在從捕獲圖像識別的女性佩戴眼鏡但是男性喜歡"不戴 眼鏡的女性"的情況下，圖像產(chǎn)生部31b產(chǎn)生用于裝飾女性臉部的附加圖像(將眼鏡從女性 臉部圖像刪除)，從而沒有眼鏡。
[0132] 在目標(biāo)被識別為動物的情況下，圖像產(chǎn)生部31b產(chǎn)生用于裝飾動物的附加圖像。 具體而言，圖像產(chǎn)生部31b產(chǎn)生寵物服裝的圖像(包括諸如眼鏡、帽子或鞋子的時尚品)，作 為用于裝飾動物頭部、身體等等的附加圖像。此時，圖像產(chǎn)生部31b基于偏好信息，例如產(chǎn) 生與用戶A的喜好(喜歡的時尚、符號、顏色、事物等等)相匹配的附加圖像，作為根據(jù)用戶情 況裝飾動物的附加圖像。
[0133] 因此，上文描述了通過圖像產(chǎn)生部31b、根據(jù)用戶情況虛擬裝飾目標(biāo)的附加圖像的 特定示例。上述附加圖像不限于靜止圖像，可以是移動圖像。
[0134] 根據(jù)實施例的圖像產(chǎn)生部31b在產(chǎn)生附加圖像時除了上述用戶情況之外，還可以 參照目標(biāo)的時間推移情況。例如，如果目標(biāo)被分割、組合或變形，則圖像產(chǎn)生部31b增加、消 除或改變附加圖像的至少一部分。如果被識別為目標(biāo)的智能電話、移動電話、杯子等等是舊 物（時間已經(jīng)從最后一次使用推移)，則圖像產(chǎn)生部31b產(chǎn)生附加圖像使得虛擬裝飾（印記、 條帶等等）看起來也是舊的（即，看起來處于時間已經(jīng)推移的狀態(tài))。
[0135] 圖像產(chǎn)生部31b經(jīng)由通信單元33將產(chǎn)生的附加圖像傳輸給HMD 1或提供給圖像處 理部31c。通過主控制器10以及HMD1中顯示控制器17 (圖像處理部)的調(diào)節(jié)，傳輸給HMD1 的附加圖像在與真實空間中存在的目標(biāo)相對應(yīng)的合適位置或者通過捕獲目標(biāo)獲得的捕獲 圖像上的合適位置，顯示在顯示單元2上。
[0136] 圖像處理部31c調(diào)節(jié)通過圖像產(chǎn)生部31b產(chǎn)生的附加圖像，從而使其其在與真實 空間中存在的目標(biāo)相對應(yīng)的合適位置或者通過捕獲目標(biāo)獲得的捕獲圖像上的預(yù)定位置顯 示。圖像處理部31c也調(diào)節(jié)附加圖像的顯示位置，并經(jīng)由通信單元33將附加圖像及相關(guān)附 加圖像的顯示位置傳輸給HMD1。這樣使得HMD1能夠在沒有通過主控制器10和顯示控制器 17 (圖像處理部)對顯示位置進(jìn)行調(diào)節(jié)的情況下，根據(jù)上述顯示位置在顯示單元2上顯示附 加圖像。或者，HMD1可以在顯示單元2上顯示通過服務(wù)器30中的圖像處理部31c產(chǎn)生的 合成圖像(在預(yù)定位置將附加圖像合成在捕獲圖像上)。
[0137] 圖像處理部31c可以根據(jù)目標(biāo)情況移動用于虛擬裝飾目標(biāo)的附加圖像。例如，如 果基于連續(xù)捕獲的捕獲圖像確定要移動(擺動）目標(biāo)，則圖像處理部31c也根據(jù)目標(biāo)的移動 來移動用于裝飾目標(biāo)的附加圖像。如果用戶A抓住目標(biāo)，則圖像處理部31c可以根據(jù)用戶 A的運動(基于提供給HMD1的陀螺儀傳感器的檢測結(jié)果或者對捕獲圖像的分析結(jié)果的用戶 A的運動)來移動裝飾目標(biāo)的附加圖像。因此，例如當(dāng)佩戴HMD1的用戶A乘坐火車時，如果 目標(biāo)或者握住目標(biāo)的用戶A根據(jù)火車的擺動而移動，則用于在HMD1中的顯示單元2上顯示 的目標(biāo)的附加圖像(例如條帶圖像)也移動，并且更真實地感知虛擬裝飾。此外，例如在目標(biāo) 是車輛的情況下，圖像處理部31c可以調(diào)節(jié)顯示位置，使得用于裝飾車輪的附加圖像連同 輪子的旋轉(zhuǎn)一起旋轉(zhuǎn)。
[0138] 上述圖像處理部31c對附加圖像的顯示位置的調(diào)節(jié)處理可通過HMD1中的顯示控 制器17 (圖像處理部）來進(jìn)行。
[0139] (存儲單元）
[0140] 存儲單元32是關(guān)于指定的記錄介質(zhì)記錄或重放數(shù)據(jù)的部件。存儲單元32例如通 過硬盤驅(qū)動器（HDD)實現(xiàn)。顯然，可將諸如閃存或其他固態(tài)存儲器、放置固態(tài)存儲器的存儲 器卡、光盤、磁光盤以及全息存儲器的各種介質(zhì)構(gòu)思為記錄介質(zhì)，并且將存儲單元32配置 為能夠根據(jù)實施的記錄介質(zhì)執(zhí)行記錄和重放是充分的。
[0141] 根據(jù)實施例的存儲單元32存儲每個用戶的用戶情況、從每個HMD1傳輸?shù)牟东@圖 像、根據(jù)捕獲圖像識別目標(biāo)時使用的模型數(shù)據(jù)庫、用于產(chǎn)生附加圖像的材料圖像等等。存儲 單元32存儲通過圖像產(chǎn)生部31b產(chǎn)生、顯示并添加在捕獲圖像上的附加圖像，并且可用作 可與其他用戶（其他用戶佩戴的HMD)共享的區(qū)域。
[0142] (通信單元）
[0143] 通信單元33向外設(shè)發(fā)送數(shù)據(jù)并從外設(shè)接收數(shù)據(jù)。通信單元33根據(jù)諸如無線局域 網(wǎng)（LAN)的方案，通過無線方式直接或經(jīng)由網(wǎng)絡(luò)接入點與外設(shè)通信。
[0144] 例如，通信單元21通過無線方式與至少一個或多個HMD1通信，以接收通過提供給 用戶A具有的HMD1 (圖像顯示終端）的圖像捕獲單元3所捕獲的捕獲圖像，或者將附加圖 像傳輸給HMD 1。
[0145] 《3.操作處理》
[0146] 因此，上文具體描述了根據(jù)實施例的裝飾系統(tǒng)中包括的HMD1和服務(wù)器30的基本 構(gòu)造。下面參照圖5至圖10B具體描述根據(jù)實施例的裝飾系統(tǒng)的操作處理。
[0147] 〈3-1.第一裝飾處理〉
[0148] 圖5是示出根據(jù)實施例的第一裝飾處理的流程圖。如圖5所示，首先，在步驟S103， HMD 1開始通過圖像捕獲單元3捕獲目標(biāo)。捕獲圖像從HMD 1傳輸給服務(wù)器30。
[0149] 隨后在步驟S106,服務(wù)器30中的識別部31a分析從HMD1傳輸?shù)牟东@圖像，以識別 目標(biāo)。這里，圖6示出用于說明根據(jù)實施例的第一裝飾的示意圖。如果圖6左邊所示的捕 獲圖像P1被HMD1捕獲，則服務(wù)器30中的識別部31a分析捕獲圖像P1，通過與局部特征量 數(shù)據(jù)等等比較來提取目標(biāo)40,并將目標(biāo)40識別為蛋糕。識別部31a將識別結(jié)果提供給圖像 產(chǎn)生部31b。
[0150] 接著在步驟S109,服務(wù)器30中的圖像產(chǎn)生部31b獲取作為HMD1佩戴者的用戶A (觀看目標(biāo)的用戶A)的用戶情況。用戶情況可以從服務(wù)器30中的存儲單元32獲取，或者 從HMD1獲取。
[0151] 隨后在步驟S112,服務(wù)器30中的圖像產(chǎn)生部31b基于識別部31a的識別結(jié)果和 用戶情況，產(chǎn)生用于裝飾目標(biāo)的附加圖像。具體而言，如果識別部31a將目標(biāo)40識別為蛋 糕，則圖像產(chǎn)生部31b產(chǎn)生用于裝飾蛋糕的上表面或側(cè)表面的附加圖像。此時，圖像產(chǎn)生部 31b根據(jù)用戶A的用戶情況產(chǎn)生用于蛋糕裝飾的附加圖像。例如，圖像產(chǎn)生部31b基于用戶 A的偏好信息(用戶情況的示例)，產(chǎn)生通過喜歡的符號或事物(例如花、鍛帶)裝飾的附加圖 像D2至D4 (參照圖6的右邊)。如果基于用戶A的生物信息(用戶情況的示例)，當(dāng)前日期 對應(yīng)于生物信息中包括的用戶A的生日，則圖像產(chǎn)生部31b產(chǎn)生通過慶祝生日的消息裝飾 的附加圖像D1 (在圖6的右邊)。
[0152] 通過圖像產(chǎn)生部31b產(chǎn)生的附加圖像被傳輸給HMD1。
[0153] 接著在步驟S115, HMD1中的顯示控制器17 (圖像處理部）調(diào)節(jié)顯示位置，使得從 服務(wù)器30傳輸?shù)母郊訄D像D1至D4在對應(yīng)于目標(biāo)40 (真實對象或捕獲圖像）的合適位置， 在顯示單元2上顯示，如圖6右邊所示。這樣通過附加圖像D1至D4實現(xiàn)對目標(biāo)40的虛擬 裝飾。
[0154] 接著在步驟S118, HMD1中的主控制器10確定是否與其他用戶共享目標(biāo)40上的裝 飾（附加圖像D1至D4)?？梢曰贖MD1中是否通過用戶設(shè)置了共享模式，確定是否與其他 用戶共享。此外，其他用戶可以是指定的其他用戶或者未指定的其他用戶。
[0155] 然后，如果確定不與其他用戶共享（S118/否)，在步驟S121，只在用戶A的HMD1中 顯示用于裝飾目標(biāo)40的附加圖像D1至D4。
[0156] 另一方面，如果確定與其他用戶共享（S118/是)，在步驟S124,將用于共享和顯示 附加圖像D1至D4 (其在用戶A的HMD1中顯示）的信息從HMD1或者從服務(wù)器30傳輸?shù)狡?他用戶的HMD。其他用戶的HMD具有與參照圖1至圖3說明的實施例的HMD1相同的基本構(gòu) 造。
[0157] 然后，在步驟S127,顯示附加圖像D1至D4并將其添加在其他用戶的HMD中的目 標(biāo)40上，以實現(xiàn)裝飾顯示的共享(共享和顯示)。這里，共享和顯示例如可以是在其他用戶 的HMD中的顯示單元上顯示這樣的圖像，其中用于裝飾目標(biāo)40的附加圖像D1至D4被合成 在通過用戶A的HMD1捕獲的目標(biāo)40的捕獲圖像P1上?；蛘撸绻渌脩舫霈F(xiàn)在用戶A 周圍并觀看相同的目標(biāo)40,則共享和顯示例如可以是在合適的位置，在其他用戶的HMD中 的顯示單元上顯示附加圖像D1至D4,從而裝飾通過其他用戶的HMD捕獲的目標(biāo)40。此外， 在上述步驟S124中，將用于共享和顯示附加圖像D1至D4的信息從HMD1或服務(wù)器30傳輸 到其他用戶的HMD，但是實施例不限于這種情況，并且可以從其他用戶的HMD訪問服務(wù)器30 中的存儲單元32。在這種情況下，存儲單元32存儲通過圖像產(chǎn)生單元31b產(chǎn)生并顯示為添 加在捕獲圖像上的附加圖像D1至D4,并用作與其他用戶（其他用戶佩戴的HMD)共享的區(qū) 域。
[0158] 因此，上文具體描述了根據(jù)實施例的第一裝飾處理。注意，在上述步驟S112,在服 務(wù)器30中通過圖像產(chǎn)生部31b產(chǎn)生的附加圖像被傳輸給HMD1，但是根據(jù)實施例的裝飾處 理不限于此，可將產(chǎn)生的附加圖像例如提供給服務(wù)器30中的圖像處理部31c。圖像處理部 31c調(diào)節(jié)附加圖像的顯示位置，并輸出顯示位置信息。然后，服務(wù)器30將產(chǎn)生的附加圖像和 顯示位置信息傳輸給HMD1。這樣使得HMD1中的顯示控制器17能夠根據(jù)從服務(wù)器30傳輸 的顯示位置信息，在對應(yīng)于目標(biāo)40的合適位置，將附加圖像D1至D4顯示在顯示單元2上。
[0159] 〈3-2.第二裝飾處理〉
[0160] 下面參照圖7至圖9描述根據(jù)實施例的第二裝飾處理。第二裝飾處理顯示根據(jù)目 標(biāo)的變化(例如分割、組合或變形)對附加圖像的處理。根據(jù)實施例的HMD1中的圖像捕獲單 元3連續(xù)捕獲目標(biāo)40,以實時地虛擬裝飾目標(biāo)40。因此，如果目標(biāo)40是食物和飲料(例如 圖1所示的蛋糕)，那么因為食物和飲料隨著食用的進(jìn)行而減少，所以HMD1根據(jù)目標(biāo)40的 變化來改變虛擬裝飾，以使得裝飾被更真實地感知。
[0161] 具體而言，如下參照圖8所述，根據(jù)隨著食用的進(jìn)行而變化的目標(biāo)40'，將附加圖 像D2 (參照圖6)刪除，此外，實時顯示有附加圖像D1 (參照圖6)的一部分被刪除的附加圖 像D1'。這種由于目標(biāo)變化導(dǎo)致的至少一部分附加圖像的刪除或改變可通過HMD1中的顯 示控制器17 (圖像處理部）來執(zhí)行，或者通過服務(wù)器30在的圖像產(chǎn)生部31b新產(chǎn)生。根據(jù) 實施例的顯示控制器17 (圖像處理部）或圖像產(chǎn)生部31b可以根據(jù)用戶情況的變化(行為 情況、環(huán)境信息、生物信息、使用條件等等)而增加、消除或改變至少一部分附加圖像。注意， 用戶的使用條件是用戶對目標(biāo)的使用條件，并且類似于目標(biāo)的上述時間推移情況。例如，基 于用戶的行為情況，顯示控制器17 (圖像處理部）或圖像產(chǎn)生部31b根據(jù)基于食用進(jìn)程變 化的目標(biāo)，實時地消除或改變至少一部分附加圖像，以虛擬地裝飾相關(guān)目標(biāo)。此外，基于用 戶的環(huán)境信息，顯示控制器17 (圖像處理部）或圖像產(chǎn)生部31b根據(jù)日期或位置的變化，實 時地添加、消除或改變至少一部分附加圖像，以虛擬地裝飾目標(biāo)。此外，基于用戶的生物信 息，顯示控制器17 (圖像處理部）或圖像產(chǎn)生部31b根據(jù)用戶的健康狀況或情緒的變化，實 時地添加、消除或改變至少一部分附加圖像，以虛擬地裝飾目標(biāo)。
[0162] 另一方面，當(dāng)如圖8所示隨著食用的進(jìn)行而刪除虛擬裝飾時，可以更真實地感知 虛擬裝飾，但是難以享受華麗的裝飾。因此，在第二裝飾處理中，對虛擬裝飾進(jìn)行改變，從而 保持(繼續(xù))裝飾的理念，即使在食用進(jìn)行時也基于第一理念連續(xù)提供裝飾。下面，參照圖7 具體描述像這樣的第二裝飾處理。
[0163] 圖7是示出根據(jù)實施例的第二裝飾處理。如圖7所示，首先在步驟S133, HMD 1開 始通過圖像捕獲單元3捕獲目標(biāo)。捕獲的目標(biāo)從HMD1傳輸給服務(wù)器30。
[0164] 隨后在步驟S136,服務(wù)器30中的識別部31a分析從HMD1傳輸?shù)牟东@圖像，以識別 目標(biāo)。例如，也是在第二裝飾處理中，如果圖6左邊所示的捕獲圖像P1被HMD1捕獲，則月艮 務(wù)器30中的識別部31a分析捕獲圖像P1，以識別目標(biāo)40為蛋糕。識別部31a將識別結(jié)果 提供給圖像產(chǎn)生部31b。
[0165] 接著在步驟S139,服務(wù)器30中的識別部31a獲取作為HMD1佩戴者的用戶A(觀看 目標(biāo)的用戶A)的用戶情況。用戶情況可以從服務(wù)器30中的存儲單元32獲取，或者從HMD1 獲取。
[0166] 隨后在步驟S142,服務(wù)器30中的圖像產(chǎn)生部31b基于識別部31a的識別結(jié)果以 及用戶情況，產(chǎn)生用于根據(jù)預(yù)定理念裝飾目標(biāo)的附加圖像。預(yù)定理念是裝飾目標(biāo)的意圖、目 的、主題等等，并且基于用戶情況通過圖像產(chǎn)生部31b來確定。例如，根據(jù)用戶A的偏好信 息，如果發(fā)現(xiàn)用戶A喜歡熊(特定符號的示例）和花，以及根據(jù)用戶A的生日（包括在生物信 息中)，發(fā)現(xiàn)當(dāng)前日期是生日，則圖像產(chǎn)生部31b確定"用熊和花來慶祝生日"是對裝飾的理 念。然后，圖像產(chǎn)生部31b產(chǎn)生如圖6右邊所示的、用于根據(jù)相關(guān)理念裝飾目標(biāo)40 (蛋糕） 的附加圖像D1至D4。通過圖像產(chǎn)生部3lb產(chǎn)生的附加圖像被傳輸給HMD 1。
[0167] 接著在步驟S145, HMD1中的顯示控制器17 (圖像處理部）調(diào)節(jié)顯示位置，使得從 服務(wù)器30傳輸?shù)母郊訄D像D1至D4在對應(yīng)于目標(biāo)40 (真實對象或捕獲圖像）的合適位置， 顯示在顯示單元2上，如圖6右邊所示。這樣通過附加圖像D1至D4實現(xiàn)對目標(biāo)40的虛擬 裝飾。
[0168] 接著在步驟S148,服務(wù)器30中的識別部31a確定目標(biāo)40是否經(jīng)歷諸如分割(包括 分割為小部分)、組合或變形這樣的變化。在實施例中，因為HMD1連續(xù)捕獲目標(biāo)40并將捕獲 圖像依次傳輸給服務(wù)器30,所以服務(wù)器30中的識別部31a能夠分析依次傳輸?shù)牟东@圖像， 以實時確定目標(biāo)40的變化。具體而言，如圖8左邊所示，例如，識別部31a可以基于在食用 進(jìn)行時已經(jīng)變化的目標(biāo)40'的捕獲圖像P2,識別出目標(biāo)40已經(jīng)經(jīng)歷了變化。
[0169] 如果確定已經(jīng)經(jīng)歷了變化（S148/是)，那么在步驟S151，服務(wù)器30中的圖像產(chǎn)生 部31b確定是否顯示保持理念的裝飾。可以基于是否在HMD1中通過用戶設(shè)置了理念保持 模式，或者根據(jù)在上述步驟S142是否根據(jù)預(yù)定理念產(chǎn)生附加圖像，來確定是否保持理念。
[0170] 如果不進(jìn)行保持理念的裝飾（S151/否)，那么在步驟S154, HMD1中的顯示控制器 17 (圖像處理部）根據(jù)已經(jīng)變化的目標(biāo)40'，在顯示單元2上顯示一部分被刪除的附加圖像 D1'和D4'，如圖8右邊所示。一部分被刪除的附加圖像D1'和D4'可以基于附加圖像D1 和D4,通過服務(wù)器30中的圖像產(chǎn)生部31b來產(chǎn)生(編輯)，或者通過HMD1中的顯示控制器 17 (圖像處理部）來產(chǎn)生(編輯)。
[0171] 另一方面，如果進(jìn)行保持理念的裝飾（S151/是)，那么在步驟S157,服務(wù)器30中的 圖像產(chǎn)生部31b根據(jù)預(yù)定理念(在上述步驟S142確定的理念）產(chǎn)生用于裝飾已經(jīng)變化的目 標(biāo)40'的附加圖像。例如，在圖8右邊所示的示例中，在預(yù)定理念是上述"用熊和花來慶祝 生日"的情況下，如果花附加圖像D2 (參照圖6)被刪除，并且包括慶祝生日消息的一部分 附加圖像D1'也被刪除，就不能保持理念。因此，圖像產(chǎn)生部31b在保持預(yù)定理念(例如"用 熊和花來慶祝生日")的情況下，產(chǎn)生用于裝飾已經(jīng)變化的目標(biāo)40'的附加圖像(例如圖9所 示的附加圖像D1''和D2''）。產(chǎn)生的附加圖像被傳輸給HMD1。
[0172] 接著在步驟S160，HMD1中的顯示控制器17 (圖像處理部）在顯示單元2上顯示要 添加在已經(jīng)變化的目標(biāo)40'上的附加圖像D1''和D2''，以保持理念，如圖9所示。將圖9 所示的裝飾示例與圖8右邊所示的裝飾示例比較時，附加圖像D1' '上面沒有任何缺少地表 達(dá)了用于慶祝生日的消息，并且在圖8右邊所示示例中被刪除的花附加圖像D2被重新顯示 并添加在目標(biāo)40'上作為附加圖像D2''。通過這種方式，HMD1可以在保持預(yù)定理念"用熊 和花來慶祝生日"的情況下，對已經(jīng)從目標(biāo)40改變的目標(biāo)40'上也實現(xiàn)虛擬裝飾。注意，在 圖9所示示例中將對于保持理念沒有特殊效果的一部分附加圖像D4'保留為刪除，并且與 目標(biāo)40'的狀態(tài)相匹配的將一部分刪除的狀態(tài)使得能夠更真實地感知裝飾。
[0173] 〈3-3.第三裝飾處理〉
[0174] 上述第二裝飾處理根據(jù)用戶情況關(guān)于沒有裝飾的目標(biāo)40 (蛋糕）確定預(yù)定理念， 以根據(jù)預(yù)定理念產(chǎn)生附加圖像。但是，可以構(gòu)思根據(jù)一定的理念、對于作為真實對象的目標(biāo) 實際上已經(jīng)進(jìn)行裝飾的情況，并且在這種情況下，如果目標(biāo)經(jīng)歷諸如分割、組合或變形這樣 的變化，就可能破壞或移除裝飾。例如，當(dāng)?shù)案庥兄饕b飾的指定符號時，如果不斷切開或 者食用蛋糕，則特定符號裝飾(對食物或者非食物的裝飾)被移除或者被切割而破壞。因此， 在根據(jù)實施例的裝飾系統(tǒng)中，在對于作為真實對象的目標(biāo)實際上已經(jīng)進(jìn)行根據(jù)一定理念的 裝飾的情況下，如果目標(biāo)經(jīng)歷像分割、組合或變形這樣的變化，則進(jìn)行虛擬裝飾，從而保持 相關(guān)理念。這樣使得可以保持用于目標(biāo)裝飾的理念，即使目標(biāo)經(jīng)歷像分割、組合或變形這樣 的變化。下面，參照圖10A和圖10B給出具體說明。
[0175] 圖10A和圖10B是示出根據(jù)實施例的第三裝飾處理的流程圖。如圖10A所示，首 先在步驟S233, HMD 1開始通過圖像捕獲單元3捕獲目標(biāo)。捕獲圖像從HMD 1傳輸給服務(wù)器 30 〇
[0176] 隨后在步驟S236,服務(wù)器30中的識別部31a分析從HMD1傳輸?shù)牟东@圖像，以識別 目標(biāo)。
[0177] 接著在步驟S239,服務(wù)器30中的識別部31a基于對捕獲圖像的分析結(jié)果，提取用 于對作為真實對象的目標(biāo)實際上進(jìn)行的裝飾的理念。例如，在目標(biāo)是蛋糕，并且相關(guān)蛋糕實 際上用上面設(shè)計了特定符號的餅干或糖果或者用于非食物的附件(指定符號肖像）裝飾的 情況下，提取"基于指定符號的裝飾"作為理念。
[0178] 隨后在步驟S240,服務(wù)器30中的主控制器31確定是否進(jìn)行附加裝飾顯示。是否 進(jìn)行附加裝飾顯示例如是根據(jù)是否通過用戶A在HMD1中指令附加裝飾來確定。
[0179] 在不進(jìn)行附加裝飾顯示（S240/否）的情況下，在步驟S241，在確定沒有附加裝飾 顯示后，服務(wù)器30中的主控制器31不通過圖像產(chǎn)生部31b產(chǎn)生附加圖像。因此，佩戴HMD1 的用戶A將目標(biāo)視作真實對象，就像它有實際裝飾。
[0180] 另一方面，在進(jìn)行附加裝飾顯示（S240/是）的情況下，在步驟S242,服務(wù)器30中 的圖像產(chǎn)生部31b根據(jù)在上述步驟S239提取的目標(biāo)的理念，產(chǎn)生附加圖像。例如，如果提 取"基于指定符號的裝飾"作為理念，則圖像產(chǎn)生部31b產(chǎn)生與相關(guān)指定符號有關(guān)的、用于 裝飾的附加圖像。產(chǎn)生的附加圖像被傳輸給HMD 1。
[0181] 接著在步驟S245，HMD1中的顯示控制器17 (圖像處理部）在對應(yīng)于目標(biāo)的合適位 置，將從服務(wù)器30傳輸?shù)母郊訄D像顯示在顯示單元2上。這樣使得佩戴HMD1的用戶A能 夠在通過實際裝飾被添加了虛擬裝飾的狀態(tài)下將目標(biāo)視作真實對象。
[0182] 隨后在圖10B所示的步驟S248,服務(wù)器30中的識別部31a確定目標(biāo)40是否經(jīng)歷 諸如分割、組合或變形這樣的變化。在實施例中，因為HMD1連續(xù)捕獲目標(biāo)40并將捕獲圖像 依次傳輸給服務(wù)器30,所以服務(wù)器30中的識別部31a能夠分析依次傳輸?shù)牟东@圖像，以實 時確定目標(biāo)40的變化。
[0183] 如果確定已經(jīng)經(jīng)歷了變化（S248/是)，那么在步驟S251，服務(wù)器30中的圖像產(chǎn)生 部31b確定是否顯示理念被保持的裝飾?？梢曰谑欠裨贖MD1中通過用戶設(shè)置了理念保 持模式，或者根據(jù)在上述步驟S239是否成功提取目標(biāo)的理念，來確定是否保持理念。
[0184] 如果確定不顯示保持理念的裝飾（S251/否)，那么在步驟S254, HMD1中的顯示控 制器17 (圖像處理部）不進(jìn)行用于保持理念的附加圖像的顯示和添加?；蛘?，如果在上述 步驟S245進(jìn)行附加裝飾顯示，則顯示控制器17 (圖像處理部）根據(jù)目標(biāo)的變化(分割/變 形)，顯示其一部分或者全部被刪除的添加的附加圖像。
[0185] 另一方面，如果確定顯示保持理念的裝飾（S251/是)，那么在步驟S257,服務(wù)器30 中的圖像產(chǎn)生部31b根據(jù)目標(biāo)的理念(在上述步驟S239確定的理念）產(chǎn)生用于裝飾變化的 目標(biāo)的附加圖像。
[0186] 例如，在目標(biāo)是蛋糕并且目標(biāo)的理念是"基于指定符號的裝飾"的情況下，可以構(gòu) 思被切割或部分吃掉的蛋糕的指定符號的裝飾被移除或破壞的情況。在這種情況下，圖像 產(chǎn)生部31b基于指定符號產(chǎn)生用于保持裝飾的附加圖像。例如，圖像產(chǎn)生部31b產(chǎn)生上面 設(shè)計了指定符號的餅干或糖果、或者用于實際上一開始裝飾在蛋糕上的非食物的附件(指 定符號肖像）的圖像(捕獲圖像）作為附加圖像。此外，在將作為目標(biāo)的蛋糕分為多塊的情 況下，圖像產(chǎn)生部31b產(chǎn)生多個用于裝飾的附加圖像，使得蛋糕的切塊可以用指定符號的 相同圖像來裝飾。產(chǎn)生的附加圖像被傳輸給HMD1。
[0187] 接著在步驟S260，HMD1中的顯示控制器17 (圖像處理部）在對應(yīng)于變化目標(biāo)的合 適位置，在顯示單元2上顯示從服務(wù)器30傳輸?shù)母郊訄D像(用于保持目標(biāo)的理念的附加圖 像)。這樣使得HMD1可以實現(xiàn)用于保持目標(biāo)的理念(例如"基于指定符號的裝飾"）的虛擬 裝飾，即使上面進(jìn)行了實際裝飾的目標(biāo)改變。
[0188] 《4.其他實施例》
[0189] 根據(jù)本公開實施例的上述裝飾系統(tǒng)(尤其是第一和第二裝飾處理）識別捕獲的目 標(biāo)并根據(jù)觀看目標(biāo)的用戶A的用戶情況(用戶A的偏好信息、生物信息等等）產(chǎn)生用于裝飾 的附加圖像。但是，根據(jù)實施例的裝飾系統(tǒng)不限于上述示例，并且例如可以根據(jù)目標(biāo)情況來 產(chǎn)生附加圖像用于裝飾。
[0190] 換言之，如果第一用戶經(jīng)由HMD1看見第二用戶（目標(biāo))，則根據(jù)第二用戶的用戶情 況（目標(biāo)情況）產(chǎn)生用于裝飾的附加圖像，并且在HMD1中的顯示單元2上顯示相關(guān)附加圖 像，從而添加在第二用戶上。這樣使得可以向任何其他人(第一用戶）顯示其中反映了第二 用戶的嗜好和消遣、健康狀況等等的裝飾，并且對于第二用戶，任何其他人將要看到匹配他 /她的嗜好和消遣、健康狀況等等的裝飾。下面參照圖11和圖12描述根據(jù)其他實施例的、 進(jìn)行根據(jù)目標(biāo)情況的這種裝飾的裝飾系統(tǒng)。
[0191] 圖11是示出根據(jù)其他實施例的裝飾系統(tǒng)的操作處理的流程圖。如圖11所示，在 步驟S303, HMD 1開始通過圖像捕獲單元3捕獲目標(biāo)。捕獲圖像從HMD 1傳輸給服務(wù)器30。
[0192] 隨后在步驟S306,服務(wù)器30中的識別部31a分析從HMD1傳輸?shù)牟东@圖像，以識別 目標(biāo)。這里，圖12示出用于說明根據(jù)其他實施例的、根據(jù)目標(biāo)情況進(jìn)行裝飾的示意圖。如 果通過HMD1捕獲圖12左邊所示的捕獲圖像P3,則服務(wù)器30中的識別部31a通過與局部特 征量的模式數(shù)據(jù)等等比較的方式，識別捕獲圖像P3以提取目標(biāo)42,并識別目標(biāo)42為人員 (其他用戶）。此外，識別部31a分析捕獲圖像P3,以提取目標(biāo)43和44,并識別目標(biāo)43和44 是其他用戶的附屬物。識別部31a將識別結(jié)果提供給圖像產(chǎn)生部31b。
[0193] 接著在步驟S309,服務(wù)器30中的圖像產(chǎn)生部31b獲取目標(biāo)42 (其他用戶）的情況 (用戶情況)。如果其他用戶佩戴相關(guān)HMD，則可以從服務(wù)器30中的存儲單元32或者從HMD 獲取其他用戶的用戶情況。注意，例如利用捕獲圖像中包括的其他用戶的臉部圖像，通過識 別部31a的臉部識別來識別其他用戶。
[0194] 隨后在步驟S312,服務(wù)器30中的圖像產(chǎn)生部31b基于通過識別部31a的識別結(jié)果 以及目標(biāo)情況，產(chǎn)生用于裝飾目標(biāo)的附加圖像。具體而言，如果識別部31a將目標(biāo)42識別 為人員（其他用戶），則圖像產(chǎn)生部31b產(chǎn)生用于裝飾人員的頭部、身體、手臂、腿和其他附屬 物的附加圖像。在這種情況下，圖像產(chǎn)生部31b根據(jù)目標(biāo)42的情況(其他用戶的用戶情況） 產(chǎn)生用于裝飾的附加圖像。例如，圖像產(chǎn)生部31b基于其他用戶的偏好信息(用戶情況的示 例)，產(chǎn)生用喜歡的藝術(shù)家或符號裝飾的附加圖像D10、D12和D13。如圖12右邊所示，附加 圖像D10是其他用戶（目標(biāo)42)喜歡的符號的條帶圖像，附加圖像D12是其他用戶喜歡的符 號的印記圖像，而附加圖像D13是與其他用戶喜歡的藝術(shù)家相同的發(fā)型的圖像。
[0195] 此外，圖像產(chǎn)生部31b可以基于其他用戶的行為計劃(作為用戶情況的示例包括 在行為信息中)產(chǎn)生其中構(gòu)思了行為之后狀態(tài)的附加圖像。例如，在其他用戶計劃在理發(fā)店 中燙發(fā)或染發(fā)(其根據(jù)理發(fā)店的網(wǎng)絡(luò)預(yù)訂信息或者其他用戶的時間表信息確定）的情況下， 產(chǎn)生計劃的燙發(fā)或染發(fā)之后的發(fā)型圖像。
[0196] 通過圖像產(chǎn)生部31b產(chǎn)生的附加圖像被傳輸給HMD1。
[0197] 接著在步驟S315，HMD1中的顯示控制器17 (圖像處理部)調(diào)節(jié)顯示位置，使得在對 應(yīng)于目標(biāo)42的合適位置，將從服務(wù)器30傳輸?shù)母郊訄D像D10至D13顯示在顯示單元2上， 如圖12右邊所示。這樣根據(jù)目標(biāo)42 (其他用戶）的情況，利用附加圖像D10至D13實現(xiàn)虛 擬裝飾。
[0198] 注意，在其他用戶（目標(biāo)42)也佩戴根據(jù)實施例的HMD的情況下，當(dāng)其他用戶看見 他/她的附屬物（目標(biāo)43和44)時，HMD可以進(jìn)行根據(jù)其他用戶他/她自己的嗜好和消遣 (用戶情況)的虛擬裝飾(參照上述第一裝飾處理和第二裝飾處理)。因此，通過HMD1，對看見 佩戴這種HMD的其他用戶（目標(biāo)42)的用戶A進(jìn)行根據(jù)其他用戶的嗜好和消遣的虛擬裝飾 (圖11所示的裝飾處理)，從而導(dǎo)致實際上與其他用戶共享虛擬裝飾。
[0199] 《5.結(jié)論》
[0200] 如上所述，根據(jù)實施例的裝飾系統(tǒng)可以利用用戶佩戴的HMD1中的顯示單元2,實 現(xiàn)了其中反映了看見目標(biāo)的用戶的用戶情況的、對捕獲目標(biāo)的虛擬裝飾。具體而言，對于與 諸如用戶喜好、健康狀況、情緒、行為等等的用戶情況相匹配的目標(biāo)進(jìn)行虛擬裝飾，例如增 加用戶的滿意度。
[0201] 根據(jù)實施例的裝飾系統(tǒng)，像這樣根據(jù)用戶情況的虛擬裝飾也可以與其他用戶（指 定的其他用戶/未指定的其他用戶）共享。
[0202] 根據(jù)實施例的裝飾系統(tǒng)，如果目標(biāo)經(jīng)歷諸如分割、變形或組合這樣的變化，則實時 根據(jù)變化將虛擬裝飾的一部分或全部刪除等等，使得用戶能夠構(gòu)思虛擬裝飾，就像虛擬裝 飾是真實空間中存在的實際裝飾。
[0203] 根據(jù)實施例的裝飾系統(tǒng)，即使基于用戶情況利用預(yù)定理念虛擬裝飾的目標(biāo)經(jīng)歷了 諸如分割、組合或變形這樣的變化，也可以實時顯示用于保持預(yù)定理念的附加圖像并添加 在目標(biāo)上，進(jìn)一步提1?用戶的滿意度。
[0204] 根據(jù)實施例的裝飾系統(tǒng)，即使已經(jīng)裝飾的目標(biāo)實際上經(jīng)歷諸如分割、組合或變形 這樣的變化，也可以實時顯示用于保持預(yù)定理念的附加圖像并添加在目標(biāo)上，進(jìn)一步提高 方便度。
[0205] 根據(jù)其他實施例的裝飾系統(tǒng)，在目標(biāo)是其他用戶的情況下，可將根據(jù)其他用戶的 用戶情況的裝飾添加在其他用戶上(真實對象或捕獲圖像)，使得用戶能夠享受其中反映了 其他用戶的嗜好和消遣等等的虛擬裝飾。
[0206] 上面參照附圖描述了本公開的優(yōu)選實施例，但是當(dāng)然，本技術(shù)不限于上述示例。本 領(lǐng)域技術(shù)人員可以發(fā)現(xiàn)落入后附權(quán)利要求范圍內(nèi)的各種變型和改型，并且應(yīng)當(dāng)理解，它們 自然涵蓋在本公開的技術(shù)范圍之內(nèi)。
[0207] 例如，可以形成計算機(jī)程序，使得內(nèi)建于HMD1或服務(wù)器30中的諸如CPU、ROM和 RAM這樣的硬件能夠?qū)崿F(xiàn)上述HMD1或服務(wù)器30的功能。還可以提供被制造為存儲這種計 算機(jī)程序的計算機(jī)可讀存儲介質(zhì)。
[0208] 在上述實施例中，描述了包括HMD1 (圖像顯示終端的示例)和服務(wù)器30 (圖像處理 器的示例）的裝飾系統(tǒng)(云類型)，但是根據(jù)本公開的裝飾系統(tǒng)不限于包括HMD1和服務(wù)器30 的構(gòu)造。例如，其中HMD1包括服務(wù)器30中的識別部31a、圖像產(chǎn)生部31b、圖像處理部31c 的功能以及存儲單元32中的數(shù)據(jù)的構(gòu)造可以在單個HMD中實現(xiàn)根據(jù)上述實施例的裝飾系 統(tǒng)。
[0209] 此外，本技術(shù)可以配置如下。
[0210] (1) 一種圖像處理器，包括：
[0211] 識別部，被配置為基于捕獲圖像識別捕獲目標(biāo)；以及
[0212] 圖像產(chǎn)生部，被配置為根據(jù)觀看目標(biāo)的用戶的用戶情況以及所述識別部的識別結(jié) 果產(chǎn)生用于裝飾所述目標(biāo)的附加圖像。
[0213] ( 2)根據(jù)（1)的圖像處理器，其中
[0214] 所述用戶情況是所述用戶的生物信息、情感信息、偏好信息、行為情況或環(huán)境信 息。
[0215] (3)根據(jù)（1)或（2)的圖像處理器，還包括：
[0216] 接收部，被配置為接收由圖像捕獲單元捕獲的捕獲圖像，所述圖像捕獲單元是為 所述用戶具有的圖像顯示終端設(shè)置的；以及
[0217] 傳輸部，被配置為將通過所述圖像產(chǎn)生部產(chǎn)生的所述附加圖像傳輸給所述圖像顯 示終端。
[0218] ( 4 )根據(jù)（3 )的圖像處理器，其中
[0219] 所述接收部從所述圖像顯示終端接收所述用戶情況。
[0220] ( 5 )根據(jù)（1)至（4 )任一項的圖像處理器，其中
[0221] 在所述目標(biāo)被識別為食物或飲料的情況下，根據(jù)基于所述用戶的行為情況的食用 和飲用的進(jìn)程，通過所述圖像產(chǎn)生部或圖像處理部消除或改變所述附加圖像的至少一部分 或全部。
[0222] ( 6 )根據(jù)（1)至（4 )任一項的圖像處理器，其中
[0223] 所述圖像產(chǎn)生部或所述圖像處理部根據(jù)關(guān)于所述用戶所處環(huán)境的環(huán)境信息，增 力口、消除或改變所述附加圖像的至少一部分。
[0224] ( 7 )根據(jù)（1)至（4 )任一項的圖像處理器，其中
[0225] 所述圖像產(chǎn)生部或所述圖像處理部根據(jù)所述用戶的生物信息或使用條件，增加、 消除或改變所述附加圖像的至少一部分。
[0226] ( 8 )根據(jù)（1)至（7 )任一項的圖像處理器，其中
[0227] 所述圖像產(chǎn)生部或所述圖像處理部除了所述用戶情況之外根據(jù)所述目標(biāo)的時間 推移情況，增加、消除或改變所述附加圖像的至少一部分。
[0228] ( 9 )根據(jù)（1)至（8 )任一項的圖像處理器，進(jìn)一步包括：
[0229] 存儲介質(zhì)，被配置為與其他用戶共享所述附加圖像或者將所述附加圖像疊加在所 述捕獲圖像上的圖像。
[0230] (10)根據(jù)（1)至（9)任一項的圖像處理器，進(jìn)一步包括：
[0231] 圖像處理部，被配置為進(jìn)行調(diào)節(jié)，使得在通過捕獲所述目標(biāo)獲得的所述捕獲圖像 上，在與真實空間存在的目標(biāo)相對應(yīng)的位置或者在預(yù)定位置顯示所述附加圖像。
[0232] ( 11)根據(jù)（1)至（9 )任一項的圖像處理器，其中
[0233] 所述附加圖像被傳輸給所述用戶具有的圖像顯示終端，并且被調(diào)節(jié)以在通過該圖 像顯示終端包括的圖像處理部捕獲所述目標(biāo)而獲得的所述捕獲圖像上，在與真實空間存在 的目標(biāo)相對應(yīng)的位置或者在預(yù)定位置被顯示。
[0234] ( 12 )根據(jù)（1)至（11)任一項的圖像處理器，其中
[0235] 在所述目標(biāo)被識別為其他用戶或者其他用戶的附屬物的情況下，所述圖像產(chǎn)生部 根據(jù)所述其他用戶的用戶情況，產(chǎn)生用于裝飾所述目標(biāo)的所述附加圖像。
[0236] (13)根據(jù)（1)至（12)任一項的圖像處理器，其中
[0237] 所述圖像產(chǎn)生部根據(jù)所述用戶的付費，增加用于裝飾所述目標(biāo)的附加圖像的種 類。
[0238] (14)根據(jù)（1)至（13)任一項的圖像處理器，其中
[0239] 在所述目標(biāo)被分割、組合或變形的情況下，所述圖像產(chǎn)生部產(chǎn)生用于對分割、組合 或變形之后的所述目標(biāo)進(jìn)行裝飾的附加圖像，從而保持已經(jīng)裝飾分割、組合或變形之前的 所述目標(biāo)的附加圖像的理念。
[0240] (15)根據(jù)（14)的圖像處理器，其中
[0241] 在所述目標(biāo)是食物或飲料的情況下，根據(jù)食用和飲用的進(jìn)程，通過所述圖像產(chǎn)生 部或圖像處理部在保持所述附加圖像的所述理念的情況下，消除或改變所述附加圖像的至 少一部分。
[0242] (16)根據(jù)（1)至（13)任一項的圖像處理器，其中
[0243] 在所述目標(biāo)被分割、組合或變形的情況下，所述圖像產(chǎn)生部產(chǎn)生用于對分割、組合 或變形之后的所述目標(biāo)進(jìn)行裝飾的附加圖像，以便保持分割、組合或變形之前的所述目標(biāo) 的理念。
[0244] (17) -種存儲了程序的非短暫計算機(jī)可讀存儲介質(zhì)，所述程序使得計算機(jī)充當(dāng)：
[0245] 識別部，被配置為基于捕獲圖像識別捕獲目標(biāo)；以及
[0246] 圖像產(chǎn)生部，被配置為根據(jù)觀看所述目標(biāo)的用戶的用戶情況以及所述識別部的識 別結(jié)果產(chǎn)生用于裝飾所述目標(biāo)的附加圖像。
[0247] (18) -種圖像處理方法，包括：
[0248] 基于捕獲圖像識別捕獲目標(biāo)；以及
[0249] 根據(jù)觀看所述目標(biāo)的用戶的用戶情況以及所述識別部的識別結(jié)果產(chǎn)生用于裝飾 所述目標(biāo)的附加圖像。
【權(quán)利要求】
1. 一種圖像處理器，包括： 識別部，被配置為基于捕獲圖像識別捕獲目標(biāo)；以及 圖像產(chǎn)生部，被配置為根據(jù)觀看所述目標(biāo)的用戶的用戶情況以及所述識別部的識別結(jié) 果產(chǎn)生用于裝飾所述目標(biāo)的附加圖像。
2. 根據(jù)權(quán)利要求1所述的圖像處理器，其中 所述用戶情況是所述用戶的生物信息、情感信息、偏好信息、行為情況或環(huán)境信息。
3. 根據(jù)權(quán)利要求1所述的圖像處理器，還包括： 接收部，被配置為接收由圖像捕獲單元捕獲的捕獲圖像，所述圖像捕獲單元是為所述 用戶具有的圖像顯示終端設(shè)置的；以及 傳輸部，被配置為將通過所述圖像產(chǎn)生部產(chǎn)生的所述附加圖像傳輸給所述圖像顯示終 端。
4. 根據(jù)權(quán)利要求3所述的圖像處理器，其中 所述接收部從所述圖像顯示終端接收所述用戶情況。
5. 根據(jù)權(quán)利要求1所述的圖像處理器，其中 在所述目標(biāo)被識別為食物或飲料的情況下，根據(jù)基于所述用戶的行為情況的食用和飲 用的進(jìn)程，通過所述圖像產(chǎn)生部或圖像處理部消除或改變所述附加圖像的至少一部分。
6. 根據(jù)權(quán)利要求1所述的圖像處理器，其中 所述圖像產(chǎn)生部或所述圖像處理部根據(jù)關(guān)于所述用戶所處環(huán)境的環(huán)境信息，增加、消 除或改變所述附加圖像的至少一部分。
7. 根據(jù)權(quán)利要求1所述的圖像處理器，其中 所述圖像產(chǎn)生部或所述圖像處理部根據(jù)所述用戶的生物信息或使用條件，增加、消除 或改變所述附加圖像的至少一部分。
8. 根據(jù)權(quán)利要求1所述的圖像處理器，其中 所述圖像產(chǎn)生部或所述圖像處理部除了所述用戶情況之外根據(jù)所述目標(biāo)的時間推移 情況，增加、消除或改變所述附加圖像的至少一部分。
9. 根據(jù)權(quán)利要求1所述的圖像處理器，還包括： 存儲介質(zhì)，被配置為與其他用戶共享所述附加圖像或者將所述附加圖像疊加在所述捕 獲圖像上的圖像。
10. 根據(jù)權(quán)利要求1所述的圖像處理器，還包括： 圖像處理部，被配置為進(jìn)行調(diào)節(jié)，使得在通過捕獲所述目標(biāo)獲得的所述捕獲圖像上，在 與真實空間存在的目標(biāo)相對應(yīng)的位置或者在預(yù)定位置顯示所述附加圖像。
11. 根據(jù)權(quán)利要求1所述的圖像處理器，其中 所述附加圖像被傳輸給所述用戶具有的圖像顯示終端，并且被調(diào)節(jié)以在通過該圖像顯 示終端包括的圖像處理部捕獲所述目標(biāo)而獲得的所述捕獲圖像上，在與真實空間存在的目 標(biāo)相對應(yīng)的位置或者在預(yù)定位置被顯示。
12. 根據(jù)權(quán)利要求1所述的圖像處理器，其中 在所述目標(biāo)被識別為其他用戶或者其他用戶的附屬物的情況下，所述圖像產(chǎn)生部根據(jù) 所述其他用戶的用戶情況，產(chǎn)生用于裝飾所述目標(biāo)的附加圖像。
13. 根據(jù)權(quán)利要求1所述的圖像處理器，其中 所述圖像產(chǎn)生部根據(jù)所述用戶的付費，增加用于裝飾所述目標(biāo)的附加圖像的種類。
14. 根據(jù)權(quán)利要求1所述的圖像處理器，其中 在所述目標(biāo)被分割、組合或變形的情況下，所述圖像產(chǎn)生部產(chǎn)生用于對分割、組合或變 形之后的所述目標(biāo)進(jìn)行裝飾的附加圖像，從而保持已經(jīng)裝飾分割、組合或變形之前的所述 目標(biāo)的附加圖像的理念。
15. 根據(jù)權(quán)利要求14所述的圖像處理器，其中 在所述目標(biāo)是食物或飲料的情況下，根據(jù)食用和飲用的進(jìn)程，通過所述圖像產(chǎn)生部或 圖像處理部在保持所述附加圖像的所述理念的情況下，消除或改變所述附加圖像的至少一 部分。
16. 根據(jù)權(quán)利要求1所述的圖像處理器，其中 在所述目標(biāo)被分割、組合或變形的情況下，所述圖像產(chǎn)生部產(chǎn)生用于對分割、組合或變 形之后的所述目標(biāo)進(jìn)行裝飾的附加圖像，以便保持分割、組合或變形之前的所述目標(biāo)的理 念。
17. -種其中存儲有程序的非暫態(tài)計算機(jī)可讀存儲介質(zhì)，所述程序使得計算機(jī)充當(dāng)： 識別部，被配置為基于捕獲圖像識別捕獲目標(biāo)；以及 圖像產(chǎn)生部，被配置為根據(jù)觀看所述目標(biāo)的用戶的用戶情況以及所述識別部的識別結(jié) 果產(chǎn)生用于裝飾所述目標(biāo)的附加圖像。
【文檔編號】H04N5/91GK104104864SQ201410131039
【公開日】2014年10月15日 申請日期:2014年4月2日 優(yōu)先權(quán)日:2013年4月9日
【發(fā)明者】佐古曜一郎, 花谷博幸, 林和則, 鐮田恭則, 中村隆俊, 大沼智也, 丹下明, 今孝安 申請人:索尼公司