圖像處理裝置、圖像處理方法、程序和終端裝置制造方法
【專利摘要】本公開涉及一種信息處理系統(tǒng)。該信息處理系統(tǒng)獲取圖像數(shù)據(jù)；根據(jù)預(yù)定失真標(biāo)準(zhǔn)使所獲取的圖像數(shù)據(jù)失真；獲取與在所獲取的圖像中至少部分地被遮擋的對象對應(yīng)的對象圖像；使對象圖像與失真圖像數(shù)據(jù)組合；以及輸出與對象圖像組合的失真圖像數(shù)據(jù)。
【專利說明】圖像處理裝置、圖像處理方法、程序和終端裝置
【技術(shù)領(lǐng)域】
[0001]本公開涉及圖像處理裝置、圖像處理方法、程序和終端裝置。
[0002]本公開包含與2012年11月27日提交日本專利局的日本在先專利申請JP2012-258399中公開的主題內(nèi)容相關(guān)的主題內(nèi)容，其整體內(nèi)容通過引用合并于此。
【背景技術(shù)】
[0003]過去，在計算機屏幕上向用戶呈現(xiàn)真實世界中的地理信息的各種地理信息服務(wù)已被投入實際使用。例如，通過使用在Web上對公眾開放的公共地圖檢索服務(wù)，用戶可以容易地獲得包括與期望的地理名稱、地址或地標(biāo)名稱等對應(yīng)的位置的區(qū)域的地圖。在地圖檢索服務(wù)中顯示的任何地圖上，還可以將標(biāo)志放置在符合用戶指定的關(guān)鍵詞的每個設(shè)施上。
[0004]此外，近來計算機性能的顯著進(jìn)展已使得用戶終端能夠不僅處理二維平面地圖，而且還能夠處理關(guān)于三維空間的信息。例如，如下專利文獻(xiàn)I公開了一種如下方法:部分地處理輸入圖像并且以突出方式顯示在輸入圖像中示出的三維空間中的諸如建筑物或設(shè)施的目標(biāo)對象，使得可以容易地在真實世界中找到目標(biāo)對象。
[0005][引用文獻(xiàn)列表]
[0006][專利文獻(xiàn)]
[0007][專利文獻(xiàn)I]
[0008]JP 2010-224347A

【發(fā)明內(nèi)容】

[0009][技術(shù)問題]
[0010]然而，在以突出方式顯示在輸入圖像中示出的目標(biāo)對象的方法中，當(dāng)未從相機的視點示出目標(biāo)對象時，不存在有利效果。關(guān)于什么對象位于此時不能從該視點直接可視的位置的信息對于用戶而言也是重要的。當(dāng)用戶觀看地圖時，用戶可以獲得該信息。然而，由于繪制地圖的視點不同于真實世界中的用戶(或相機)的視點，因此在一些情況下可能難于使地圖上的信息與真實世界中的對象匹配。
[0011]因此，期望提供一種新配置，其中關(guān)于不能從用戶視點直接可視的地點的信息可以被呈現(xiàn)給用戶，同時可以獲得出自該視點的容易的圖像理解。
[0012][對問題的解決方案]
[0013]根據(jù)一個示例性實施例，本公開涉及一種信息處理系統(tǒng)，其獲取圖像數(shù)據(jù)；根據(jù)預(yù)定失真標(biāo)準(zhǔn)使所獲取的圖像數(shù)據(jù)失真；獲取與在所獲取的圖像中至少部分地被遮擋的對象對應(yīng)的對象圖像；使對象圖像與失真圖像數(shù)據(jù)組合；以及輸出與對象圖像組合的失真圖像數(shù)據(jù)。
[0014]所獲取的圖像數(shù)據(jù)可以對應(yīng)于圖像捕獲裝置捕獲的真實世界圖像。
[0015]該信息處理系統(tǒng)可以被配置成存儲指示真實世界中存在的對象的位置的模型。
[0016]所獲取的圖像數(shù)據(jù)可以對應(yīng)于圖像捕獲裝置捕獲的真實世界圖像，并且該信息處理系統(tǒng)可以被配置成從所獲取的圖像數(shù)據(jù)中檢測特征點；基于從傳感器單元輸出的數(shù)據(jù)確定該信息處理系統(tǒng)的位置和姿態(tài)；以及從模型提取關(guān)于對象的特征點數(shù)據(jù)。
[0017]根據(jù)另一示例性實施例，本公開涉及一種由信息處理系統(tǒng)執(zhí)行的方法，該方法包括:獲取圖像；根據(jù)預(yù)定失真標(biāo)準(zhǔn)使所獲取的圖像失真；獲取與在所獲取的圖像數(shù)據(jù)中至少部分地被遮擋的對象對應(yīng)的對象圖像；使對象圖像與失真圖像組合；以及輸出與對象圖像組合的失真圖像。
[0018]根據(jù)另一示例性實施例，本公開涉及一種包括計算機程序指令的非暫態(tài)的計算機可讀介質(zhì)，所述計算機程序指令在被信息處理系統(tǒng)執(zhí)行時使該信息處理系統(tǒng):獲取圖像；根據(jù)預(yù)定失真標(biāo)準(zhǔn)使所獲取的圖像失真；獲取與在所獲取的圖像數(shù)據(jù)中至少部分地被遮擋的對象對應(yīng)的對象圖像；使對象圖像與失真圖像組合；以及輸出與對象圖像組合的失真圖像。
[0019][本發(fā)明的有利效果]
[0020]根據(jù)本公開的技術(shù)，關(guān)于不能從用戶視點直接可視的地點的信息可以被呈現(xiàn)給用戶，同時可以獲得出自該視點的容易的圖像理解。
【專利附圖】

【附圖說明】
[0021]圖1A是圖示裝置概況的第一說明圖。
[0022]圖1B是圖示裝置概況的第二說明圖。
[0023]圖2是圖示根據(jù)第一實施例的圖像處理裝置的硬件配置的示例的框圖。
[0024]圖3是圖示根據(jù)第一實施例的圖像處理裝置的邏輯功能配置的示例的框圖。
[0025]圖4是圖示處理場景的示例的粗略說明圖。
[0026]圖5A是例示存在難于觀看的對象的第一情景的說明圖。
[0027]圖5B是可以在第一情景中執(zhí)行的失真處理的第一說明圖。
[0028]圖5C是可以在第一情景中執(zhí)行的失真處理的第二說明圖。
[0029]圖是可以在第一情景中執(zhí)行的失真處理的第三說明圖。
[0030]圖5E是可以在第一情景中執(zhí)行的失真處理的第四說明圖。
[0031]圖6A是例示存在難于觀看的對象的第二情景的說明圖。
[0032]圖6B是可以在第二情景中執(zhí)行的失真處理的第一說明圖。
[0033]圖6C是可以在第二情景中執(zhí)行的失真處理的第二說明圖。
[0034]圖6D是可以在第二情景中執(zhí)行的失真處理的第三說明圖。
[0035]圖6E是可以在第二情景中執(zhí)行的失真處理的第四說明圖。
[0036]圖7A是例示存在難于觀看的對象的第三情景的說明圖。
[0037]圖7B是可以在第三情景中執(zhí)行的失真處理的第一說明圖。
[0038]圖7C是可以在第三情景中執(zhí)行的失真處理的第二說明圖。
[0039]圖7D是可以在第三情景中執(zhí)行的失真處理的第三說明圖。
[0040]圖7E是可以在第三情景中執(zhí)行的失真處理的第四說明圖。
[0041]圖8是失真圖像的另一示例的說明圖。
[0042]圖9A是用于使圖像失真的用戶接口的第一示例的第一說明圖。
[0043]圖9B是用于使圖像失真的用戶接口的第一示例的第二說明圖。[0044]圖1OA是用于使圖像失真的用戶接口的第二示例的第一說明圖。
[0045]圖1OB是用于使圖像失真的用戶接口的第二示例的第二說明圖。
[0046]圖11是用于使圖像失真的用戶接口的第三示例的說明圖。
[0047]圖12是圖示根據(jù)第一實施例的圖像處理流程的示例的流程圖。
[0048]圖13是圖示根據(jù)第二實施例的圖像處理裝置的邏輯功能配置的示例的框圖。
[0049]圖14是人物模型的示例的說明圖。
[0050]圖15是交通工具的示例的說明圖。
[0051]圖16A是仿真結(jié)果的第一示例的說明圖。
[0052]圖16B是仿真結(jié)果的第二示例的說明圖。
[0053]圖16C是仿真結(jié)果的第三示例的說明圖。
[0054]圖17是人物模型的行為的示例的說明圖。
[0055]圖18是事件的示例的說明圖。
[0056]圖19是確定仿真參數(shù)的第一方法的說明圖。
[0057]圖20A是發(fā)布數(shù)據(jù)的分析的第一示例的說明圖。
[0058]圖20B是發(fā)布數(shù)據(jù)的分析的第二示例的說明圖。
[0059]圖20C是發(fā)布數(shù)據(jù)的分析的第三示例的說明圖。
[0060]圖20D是發(fā)布數(shù)據(jù)的分析的第四示例的說明圖。
[0061]圖20E是發(fā)布數(shù)據(jù)的分析的第五示例的說明圖。
[0062]圖21A是確定仿真參數(shù)的第二方法的說明圖。
[0063]圖21B是確定仿真參數(shù)的第三方法的說明圖。
[0064]圖22是第二實施例中的可以顯示的失真圖像的示例的說明圖。
【具體實施方式】
[0065]在下文中，將參照附圖詳細(xì)描述本公開的優(yōu)選實施例。在說明書和附圖通篇中，相同的附圖標(biāo)記被提供給具有基本上相同的功能配置的組成元件，并且重復(fù)的描述將被省略。
[0066]描述將以如下順序進(jìn)行。
[0067]1.裝置概況
[0068]2.第一實施例
[0069]2-1.硬件配置
[0070]2-2.功能配置示例
[0071]2-3.具體處理場景
[0072]2-4.用戶接口的示例
[0073]2-5.處理流程
[0074]2-6.第一實施例的總結(jié)
[0075]3.第二實施例
[0076]3-1.功能配置示例
[0077]3-2.仿真的細(xì)節(jié)
[0078]3-3.仿真參數(shù)的確定[0079]3-4.對象圖像的示例
[0080]3-5.第二實施例的總結(jié)
[0081]〈1.裝置概況〉
[0082]首先，將參照圖1A和IB描述根據(jù)一個實施例的成像設(shè)備裝置的概況。
[0083]圖1A是圖示根據(jù)該實施例的圖像處理裝置100的概況的第一說明圖。參照圖1A，圖示了用戶Ua擁有的圖像處理裝置100。該圖像處理裝置100包括朝向真實世界I取向的相機101和顯示器111。在圖1A的示例中，在真實世界I中存在諸如建筑物3和道路5的各種對象。在相機101捕獲的圖像ImOl中示出了建筑物3和道路5。作為一個示例，圖像處理裝置100具有導(dǎo)航功能。該導(dǎo)航功能將導(dǎo)航信息(例如，圖中的箭頭)疊加在圖像ImOl中的道路5上。此外，顯示器111顯示被疊加導(dǎo)航信息的圖像ImOl。
[0084]在圖1A中，作為圖像處理裝置100的示例圖示了智能電話。然而，圖像處理裝置100不限于該示例。圖像處理裝置100可以是例如個人計算機(PC)、個人數(shù)字助理(PDA)、游戲終端或者便攜式導(dǎo)航裝置(PND)。
[0085]圖1B是圖示根據(jù)一個實施例的圖像處理裝置100的第二說明圖。在圖1B的示例中，圖像處理裝置100是具有頭戴式眼鏡的形狀的可穿戴裝置。圖像處理裝置100包括相機101、輸入裝置109和顯示器111。相機101被安置成使得其透鏡的光軸與用戶Ub的視線基本上平行，并且捕獲圖像。輸入裝置109包括安置在鏡架上的接觸表面并且檢測用戶Ub執(zhí)行的觸摸。顯示器111安置在用戶Ub的左眼和右眼的前側(cè)并且包括透視型或非透視型屏幕。
[0086]在圖1A和IB中的任一情況下，用戶可以通過顯示器111觀看某種形式的真實世界。然而，在圖1A的示例中，由于在前側(cè)左轉(zhuǎn)彎的道路5的盡頭處存在的對象被建筑物3覆蓋，因此該對象對于用戶Ua是不可見的并且在捕獲的圖像中也未示出。當(dāng)該對象對于導(dǎo)航是重要的地標(biāo)時，對象不可見對于用戶而言是不便的。除了該情景之外，存在許多真實世界的重要對象對于用戶不可見的情景，例如在道路從上升斜坡變?yōu)橄陆敌逼碌牡攸c或者道路寬度窄的地點。
[0087]因此，在下文將描述的實施例中，圖像處理裝置100通過使圖像中示出的真實世界失真來向用戶呈現(xiàn)關(guān)于不直接可見的場所的信息，同時維持出自用戶視點的容易的圖像理解。
[0088]在下面的描述中，假設(shè)圖像處理裝置100作為獨立裝置操作以便于描述。然而，將描述的各種功能可以通過使終端裝置與服務(wù)器裝置相關(guān)聯(lián)來實現(xiàn)。
[0089]<2.第一實施例>
[0090]<2-1.硬件配置>
[0091]圖2是圖示根據(jù)第一實施例的圖像處理裝置100的硬件配置的示例的框圖。參照圖2，圖像處理裝置100包括相機101、定位傳感器103、電子羅盤105、加速度傳感器107、輸入裝置109、顯示器111、通信接口(I/F) 113、存儲器115、總線117和處理器119。
[0092]相機101包括例如電荷耦合器件(CXD)、互補金屬氧化物半導(dǎo)體(CMOS)等的圖像元件并且捕獲圖像。定位傳感器103從全球定位系統(tǒng)(GPS)衛(wèi)星接收GPS信號或者從無線接入點接收無線信號，并且測量圖像處理裝置100的當(dāng)前位置。電子羅盤105檢測圖像處理裝置100當(dāng)前取向的方位。加速度傳感器107檢測添加到圖像處理裝置100的力生成的加速度。
[0093]輸入裝置109可以包括用于用戶操作圖像處理裝置100或者向圖像處理裝置100輸入信息的觸摸傳感器、按鈕、開關(guān)、鍵盤或者指向裝置。當(dāng)圖像處理裝置100是如圖1B中例示的可穿戴裝置時，輸入裝置109可以包括檢測用戶視線的視線檢測模塊。顯示器111包括液晶顯示器(IXD)形成的屏幕、有機發(fā)光二極管(OLED)等并且顯示圖像。通信I/F113支持任何無線通信協(xié)議或者任何有線通信協(xié)議并且建立圖像處理裝置100和其他裝置之間的通信連接。
[0094]存儲器115是可以包括隨機存取存儲器(RAM)和只讀存儲器(ROM)的半導(dǎo)體存儲器并且存儲用于圖像處理裝置100執(zhí)行的處理的程序和數(shù)據(jù)?？偩€17使相機101、定位傳感器103、電子羅盤105、加速度傳感器107、輸入裝置109、顯示器111、通信I/F113、存儲器115和處理器119彼此連接。處理器119是例如中央處理單元(CPU)或數(shù)字信號處理器(DSP)并且通過執(zhí)行存儲器115或另一存儲介質(zhì)中存儲的程序來操作下文將描述的圖像處理裝置100的各種功能。
[0095]<2-2.功能配置示例>
[0096]圖3是圖示圖2中所示的圖像處理裝置100的存儲器115和處理器119實現(xiàn)的邏輯功能配置的示例的框圖。參照圖3，圖像處理裝置100包括圖像獲取單元120、模型數(shù)據(jù)庫(DB) 130、圖像處理單元140、對象圖像生成單元150、用戶接口單元160和導(dǎo)航單元170。
[0097](I)圖像獲取單元
[0098]圖像獲取單元120獲取相機101捕獲的輸入圖像并且示出真實世界。圖像獲取單元120獲取的輸入圖像可以是靜止圖像或者形成移動圖像的一系列幀中的每個幀。圖像獲取單元120將所獲取的輸入圖像輸出到圖像處理單元140和用戶接口單元160。
[0099](2)模型 DB
[0100]模型DB130是預(yù)先存儲表示真實世界中存在的對象的位置的真實世界模型的數(shù)據(jù)庫。例如，真實世界模型可以使用二維或三維坐標(biāo)值(緯度、經(jīng)度和海拔)來表示真實世界中的諸如建筑物、道路、布告板、長椅和路邊樹木的各種對象的位置。典型地，在真實世界模型中，每個對象包括多個特征點、并且因此每個對象的三維形狀由特征點的位置表示。對象表面的紋理也可以由真實世界模型表示。
[0101](3)圖像處理單元
[0102]圖像處理單元140根據(jù)失真標(biāo)準(zhǔn)使從圖像獲取單元120輸入的輸入圖像失真并且生成失真圖像。圖像處理單元140執(zhí)行的失真處理是被執(zhí)行以示出從用戶視點不直接可見的場所的處理(以便于難于觀看的場所的容易觀看)，同時維持出自用戶視點的容易的輸入圖像理解。例如，圖像處理單元140可以使用如下三類失真標(biāo)準(zhǔn):
[0103]失真標(biāo)準(zhǔn)A-改變輸入圖像中示出的道路的彎曲；
[0104]失真標(biāo)準(zhǔn)B-改變輸入圖像中示出的道路的坡度；以及
[0105]失真標(biāo)準(zhǔn)C-擦除輸入圖像中示出的建筑物。
[0106]作為一個示例，失真標(biāo)準(zhǔn)A可以被選擇以通過減少道路的彎曲或者拉直道路來示出道路前方的對象。失真標(biāo)準(zhǔn)B可以被選擇以通過在道路從上坡變?yōu)橄缕碌狞c處升高道路的下坡部分來示出道路盡頭的對象。失真標(biāo)準(zhǔn)C可以被選擇以示出由于前方建筑物的存在而隱藏的后方建筑物。這些失真標(biāo)準(zhǔn)僅是示例。例如，可以使用其他失真標(biāo)準(zhǔn)來擴寬道路寬度或者放大在另一建筑物后面隱藏的建筑物。
[0107]更具體地，圖像處理單元140根據(jù)例如相關(guān)領(lǐng)域的拐角檢測方法，諸如Harris方法或Moravec方法，來檢測輸入圖像中的特征點。圖像處理單元140基于從定位傳感器103、電子羅盤105和加速度傳感器107輸入的傳感器數(shù)據(jù)確定圖像處理裝置100的位置和姿態(tài)，并且從真實世界模型提取關(guān)于進(jìn)入相機101的視角的對象的特征點數(shù)據(jù)。接下來，圖像處理單元140使在輸入圖像中檢測到的特征點與從真實世界模型提取的特征點數(shù)據(jù)匹配。結(jié)果，圖像處理單元140識別示出了什么對象以及對象在輸入圖像中的什么位置示出。接下來，圖像處理單元140根據(jù)所選擇的失真標(biāo)準(zhǔn)使匹配的特征點的位置移動。例如，當(dāng)?shù)缆返膹澢淖儠r，特征點的位置可以移動以將道路的末端部分的標(biāo)準(zhǔn)點用作中心，僅按與彎曲的改變量對應(yīng)的角度在模型空間的水平平面內(nèi)旋轉(zhuǎn)。當(dāng)?shù)缆菲露雀淖儠r，特征點的位置可以移動以僅按與坡度的改變量對應(yīng)的角度在模型空間的豎直平面內(nèi)旋轉(zhuǎn)。當(dāng)建筑物被擦除時，由建筑物的指定特征點圍繞的表面可以從輸入圖像擦除。
[0108]作為失真結(jié)果，在失真圖像中可能產(chǎn)生空白部分?？瞻撞糠质瞧渲袘?yīng)示出原始輸入圖像中隱藏的對象的部分。由于輸入圖像沒有隱藏的對象的紋理，因此圖像處理單元140向空白部分的紋理補充作為補充而生成的對象圖像。對象圖像由下文將描述的對象圖像生成單元150生成。
[0109](4)對象圖像生成單元
[0110]當(dāng)作為圖像處理單元140獲得的失真結(jié)果在失真圖像中產(chǎn)生空白部分時，對象圖像生成單元150使用真實世界模型生成與應(yīng)位于空白部分中的對象對應(yīng)的對象圖像。作為第一方法，當(dāng)真實世界根據(jù)所選擇的失真標(biāo)準(zhǔn)進(jìn)行失真時，對象圖像可以是應(yīng)占據(jù)空白部分的圖像。作為第二方法，對象圖像可以是與應(yīng)位于空白部分中的對象對應(yīng)的圖標(biāo)圖像。
[0111]在第一方法中，真實世界模型中包括的對象根據(jù)所選擇的失真標(biāo)準(zhǔn)進(jìn)行失真，而與對象是否在輸入圖像中示出無關(guān)。對象的特征點通過失真而移動。結(jié)果，從相機101的視點被另一對象隱藏的對象具有去往相機101的視點的視線。對象圖像生成單元150使用相機101的視點作為標(biāo)準(zhǔn)，基于以該方式失真的真實世界模型的特征點的位置和對象的紋理來生成對象圖像。
[0112]在第二方法中，真實世界模型中包括的對象也根據(jù)所選擇的失真標(biāo)準(zhǔn)進(jìn)行失真。對象圖像生成單元150基于失真的真實世界模型的特征點的位置來確定新具有去往相機101的視點的視線的對象。隨后，對象圖像生成單元150生成與所確定的對象對應(yīng)的圖標(biāo)圖像作為對象圖像。
[0113]對象圖像生成單元150將所生成的對象圖像輸出到圖像處理單元140。圖像處理單元140將對象圖像生成單元150生成的對象圖像疊置到失真圖像的空白部分上。隨后，圖像處理單元140將疊置的失真圖像輸出到用戶接口單元160。
[0114](5)用戶接口單元
[0115]用戶接口單元160經(jīng)由圖2中所示的輸入裝置109和顯示器111將用戶接口提供給圖像處理裝置100的用戶。例如，在正常顯示模式中，用戶接口單元160將從圖像獲取單元120輸入的輸入圖像作為輸出圖像沒有失真地輸出到顯示器111并且使顯示器111在屏幕上顯示輸出圖像。在失真顯式模式中，用戶接口單元160將從圖像處理單元140輸入的失真圖像作為輸出圖像輸出到顯示器111并且使顯示器111在屏幕上顯示輸出圖像。[0116]用戶接口單元150還可以提供用于用戶在正常顯示模式和失真顯式模式之間切換的用戶接口。用戶接口單元160可以提供用于用戶指定將被指定為失真目標(biāo)的對象的用戶接口。兩個模式之間的切換以及對象的指定可以根據(jù)諸如在屏幕上輕擊、按壓按鈕、輸入按鍵或者檢測到預(yù)定的聲音命令的來自用戶的任何輸入而執(zhí)行。
[0117]當(dāng)圖像處理裝置100是如圖1B中例示的可穿戴裝置時，兩個模式之間的切換以及對象的指定可以基于檢測用戶視線的視線檢測模塊執(zhí)行的視線檢測的結(jié)果來執(zhí)行。例如，當(dāng)檢測到用戶觀看同一道路預(yù)定時段時，可以改變道路的彎曲或坡度。
[0118]用戶接口單元160可以提供用于用戶從多個適用標(biāo)準(zhǔn)中指定用于使輸入圖像失真的失真標(biāo)準(zhǔn)。例如，用戶接口單元160可以將上述失真標(biāo)準(zhǔn)A、B和C中的適用標(biāo)準(zhǔn)列表疊置在輸入圖像上，使得用戶可以選擇一個失真標(biāo)準(zhǔn)。
[0119](6)導(dǎo)航單元
[0120]導(dǎo)航單元170是安裝導(dǎo)航功能的功能塊。例如，當(dāng)真實世界模型中包括的一個對象被用戶指定為目的地位置時，導(dǎo)航單元170設(shè)定從當(dāng)前位置到目的地位置的最優(yōu)路線并且向用戶提供沿所設(shè)定的路線的導(dǎo)航。例如，導(dǎo)航單元170可以將諸如圖1A中例示的箭頭的導(dǎo)航信息輸出到圖像處理單元140并且將導(dǎo)航信息疊置到輸入圖像或失真圖像上。圖像處理單元140可以在失真顯式模式中將直到導(dǎo)航單元170設(shè)定的目的地位置的路線上的道路設(shè)定為失真目標(biāo)并且自動地選擇道路。
[0121]上述失真圖像可以用于導(dǎo)航以外的用途。例如，失真圖像可以在失真顯式模式中呈現(xiàn)給用戶以支持諸如建筑結(jié)構(gòu)的設(shè)計、道路構(gòu)架的規(guī)劃以及城市規(guī)劃的制定的任務(wù)。在該情況下，可以從圖像處理裝置100的配置中省略導(dǎo)航單元170。
[0122]<2-3.具體處理場景〉
[0123]接下來，在圖4至8中圖示了圖像處理裝置100執(zhí)行的具體處理場景的示例。
[0124](I)處理場景概況
[0125]圖4是本節(jié)中要描述的處理場景的示例的粗略說明圖。參照圖4，圖示了出自天空中的視點的真實世界模型RM的部分鳥瞰視圖。在該圖中，人形標(biāo)記指示用戶的當(dāng)前位置并且星形標(biāo)記指示導(dǎo)航目的地位置。將當(dāng)前位置與目的地位置綁接的虛線是導(dǎo)航單元170設(shè)定的路線。如從圖理解的，所設(shè)定的路線在地標(biāo)Ml所在的拐角處右轉(zhuǎn)，并且隨后在地標(biāo)M2所在的拐角處左轉(zhuǎn)。目的地位置是建筑物M3。在說明書中，術(shù)語“地標(biāo)”意味著當(dāng)用戶識別路線時用作標(biāo)記的任何對象。地標(biāo)不一定是比其他對象更顯眼的對象。
[0126](2)第一情景
[0127]圖5A是例示其中存在難于觀看的對象的第一情景的說明圖。參照圖5A，圖示了當(dāng)用戶在圖4中所示的真實世界模型RM的位置Pl處使相機在路線的行進(jìn)方向(北)上取向時捕獲的輸入圖像Imll。在輸入圖像Imll中示出了道路Rl以及沿道路Rl并排矗立的建筑物111、112、114、115和】16。然而，由于道路Rl在圖像中向右側(cè)彎曲，因此位于道路Rl盡頭的建筑物J13被建筑物Jll和J12隱藏，并且因此不可見。由于建筑物J13對應(yīng)于圖4中的地標(biāo)Ml，因此建筑物J13不可見對于用戶而言是不便的。
[0128]圖5B至5E是可以在圖5A中所示的第一情景下執(zhí)行的失真處理的說明圖。
[0129]首先，參照圖5B，輸入圖像Imll中可檢測的多個可見特征點由小菱形標(biāo)記指示并且隱藏的特征點由三角形標(biāo)記指示。圖像處理單元140使在輸入圖像Imll中檢測到的特征點與真實世界模型中包括的特征點匹配并且識別建筑物J13由于道路Rl彎曲而被隱藏。隨后，當(dāng)選擇改變道路Rl的彎曲的失真標(biāo)準(zhǔn)A時，圖像處理單元140使特征點的位置移動，使得道路Rl變得更接近于直線。
[0130]參照圖5C，圖示了在失真圖像Iml2中使道路Rl失真成直線形狀并且因此道路Rl的外周中的特征點移動的形式。然而，失真圖像Iml2包括空白部分BI?？瞻撞糠諦I是由于道路Rl的彎曲而在輸入圖像Imll中沒有示出的部分。
[0131]參照圖5D，圖示了與失真圖像Iml2對應(yīng)的矩形圖像框中的占據(jù)空白部分BI的對象圖像Iml3。對象圖像Iml3包括具有去往相機101的視點的視線的建筑物J12和J13的特征點和紋理作為失真結(jié)果。
[0132]圖像處理單元140將圖中所示的對象圖像Iml3疊置到圖5C中所示的失真圖像Iml2上以生成圖5E中所示的失真圖像Iml4。在失真圖像Iml4中，空白部分被補充了對象圖像Iml3，并且因此，與地標(biāo)Ml對應(yīng)的建筑物J13變得可見。
[0133]用戶可以通過在失真顯式模式中參考失真圖像Iml4，在視覺上理解地標(biāo)Ml存在于道路Rl的盡頭處以及用戶應(yīng)移動多遠(yuǎn)以到達(dá)地標(biāo)Ml。
[0134](2)第二情景
[0135]圖6A是例示其中存在難于觀看的對象的第二情景的說明圖。參照圖6A，圖示了當(dāng)用戶在圖4中所示的真實世界模型RM的位置P2處使相機在路線的行進(jìn)方向(東)上取向時捕獲的輸入圖像Im21。在輸入圖像Im21中示出了道路R2以及沿道路R2并排矗立的建筑物J21、J22、J23、J24和J25。然而，由于前方道路R2從上坡變?yōu)橄缕?，因此盡管位于道路R2盡頭的建筑物J23部分可見，但是其難于觀看。由于建筑物J23對應(yīng)于圖4中的地標(biāo)M2，因此建筑物J23不可見對于用戶而言是不便的。
[0136]圖6B至6E是可以在圖6A中所示的第二情景下執(zhí)行的失真處理的說明圖。
[0137]首先，參照圖6B，輸入圖像Im21中可檢測的多個可見特征點由小菱形標(biāo)記指示并且隱藏的特征點由三角形標(biāo)記指示。圖像處理單元140使在輸入圖像Im21中檢測到的特征點與真實世界模型中包括的特征點匹配并且識別建筑物J23由于道路R2的坡度改變而被隱藏。隨后，當(dāng)選擇改變道路R2的坡度的失真標(biāo)準(zhǔn)B時，圖像處理單元140使特征點的位置移動，使得道路R2的下坡部分被升高。
[0138]參照圖6C，圖示了在失真圖像Im22中使道路R2的下坡部分升高并且因此道路R2的外周中的特征點移動的形式。然而，失真圖像Im22包括空白部分B2?？瞻撞糠諦2是由于道路R2的坡度而在輸入圖像Im21中沒有示出的部分。
[0139]參照圖6D，圖示了與失真圖像Im22對應(yīng)的矩形圖像框中的占據(jù)空白部分B2的對象圖像Im23。對象圖像Im23包括具有去往相機101的視點的視線的建筑物J23的特征點和紋理作為失真結(jié)果。
[0140]圖像處理單元140將圖6D中所示的對象圖像Im23疊置到圖6C中所示的失真圖像Im22上以生成圖6E中所示的失真圖像Im24。在失真圖像Im24中，空白部分被補充了對象圖像Im23，并且因此，與地標(biāo)M2對應(yīng)的建筑物J23變得更易于觀看。
[0141]用戶可以通過在失真顯式模式中參考失真圖像Im24，更清楚地理解地標(biāo)M2存在于道路R2的盡頭處以及用戶應(yīng)移動多遠(yuǎn)以到達(dá)地標(biāo)M2。
[0142](4)第三情景[0143]圖7A是例示其中存在難于觀看的對象的第三情景的說明圖。參照圖7A，圖示了當(dāng)用戶在圖4中所示的真實世界模型RM的位置P3處使相機在路線的行進(jìn)方向(東)上取向時捕獲的輸入圖像Im31。在輸入圖像Im31中示出了建筑物J31、J33和J34。然而，由于與目的地位置M3對應(yīng)的建筑物J32被建筑物J31隱藏，因此建筑物J32不可見。建筑物J32不可見對于用戶而言是不便的。
[0144]圖7B至7E是可以在圖7A中所示的第三情景下執(zhí)行的失真處理的說明圖。
[0145]首先，參照圖7B，輸入圖像Im31中可檢測的多個可見特征點由小菱形標(biāo)記指示并且隱藏的特征點由三角形標(biāo)記指示。圖像處理單元140使在輸入圖像Im31中檢測到的特征點與真實世界模型中包括的特征點匹配并且識別建筑物J32被隱藏。隨后，當(dāng)選擇擦除建筑物的失真標(biāo)準(zhǔn)C時，圖像處理單元140從輸入圖像Im31擦除可以被指定的建筑物J31的紋理。
[0146]參照圖7C，圖示了在失真圖像Im32中擦除建筑物J31的紋理的形式。失真圖像Im32包括空白部分B3。空白部分B3是示出擦除的建筑物的部分。
[0147]參照圖7D，圖示了與失真圖像Im32對應(yīng)的矩形圖像框中的占據(jù)空白部分B3的對象圖像Im33。對象圖像Im33包括具有去往相機101的視點的視線的建筑物J32的特征點和紋理作為失真結(jié)果。
[0148]圖像處理單元140將圖7D中所示的對象圖像Im33疊置到圖7C中所示的失真圖像Im32上以生成圖7E中所示的失真圖像Im34。在失真圖像Im34中，空白部分被補充了對象圖像Im33，并且因此，與目的地位置M3對應(yīng)的建筑物J32可被觀看。
[0149]用戶可以通過在失真顯式模式中參考失真圖像Im34，在視覺上理解作為目的地位置的建筑物J32在其前方的建筑物后面。
[0150]圖像處理單元140可以允許用戶通過在真實世界模型中放大地標(biāo)的尺寸而非擦除另一對象來觀看地標(biāo)。
[0151]本節(jié)中描述的各種失真方法不限于目的地位置和地標(biāo)，而是可以被使用，使得用戶可以觀看任何對象。
[0152](5)失真圖像的另一示例
[0153]如上文所述，對象圖像可以是與不可見或難于觀看的對象對應(yīng)的圖標(biāo)圖像。圖8是其中疊置了對象圖像的失真圖像的示例的說明圖。
[0154]參照圖4，在圖5A中所示的第一情景下，圖示了可以在失真顯式模式中顯示的失真圖像Iml5而非圖5E中所示的失真圖像Iml4。失真圖像Iml5包括安置在空白部分BI中的圖標(biāo)圖像IC1。圖標(biāo)圖像ICl指示諸如醫(yī)院的建筑物J13位于道路Rl盡頭處作為地標(biāo)。通過參考失真圖像Iml5，用戶可以準(zhǔn)確地理解地標(biāo)位于道路Rl的盡頭處。
[0155]〈2-4.用戶接口的示例〉
[0156]接下來，圖9A至11中圖示了圖像處理裝置100提供的用戶接口的示例。
[0157](I)第一示例
[0158]圖9A和9B是用于使圖形失真的用戶接口的第一示例的說明圖。
[0159]參照圖9A，圖示了在正常顯示模式中顯示輸入圖像的導(dǎo)航窗口 W11。例如，當(dāng)用戶輕擊導(dǎo)航窗口 Wll時,顯不疊加了菜單麗I的導(dǎo)航窗口 W12。菜單麗I包括適用于輸入圖像的失真標(biāo)準(zhǔn)的列表。在圖9A的示例中，該列表包括作為菜單項的、被設(shè)定為拉直道路的失真標(biāo)準(zhǔn)A (“使道路變直”)、被設(shè)定為升高道路的失真標(biāo)準(zhǔn)B (“提升道路”)和被設(shè)定為擦除建筑物的失真標(biāo)準(zhǔn)C (“擦除建筑物”)。
[0160]例如，當(dāng)用戶輕擊菜單麗I的失真標(biāo)準(zhǔn)A時，如圖9B中所示，顯示導(dǎo)航窗口 W13。導(dǎo)航窗口 W13是用于用戶指定將失真的道路的窗口。這里，當(dāng)用戶輕擊道路Rl時，顯式模式過渡到失真顯式模式并且顯示導(dǎo)航窗口 W14，其顯示被失真成直線形狀的道路Rl。例如，當(dāng)用戶再次輕擊窗口時，顯式模式可以返回正常顯示模式。
[0161](2)第二示例
[0162]圖1OA和IOB是用于使圖像失真的用戶接口的第二示例的說明圖。
[0163]參照圖10A，圖示了在正常顯示模式中顯示輸入圖像的導(dǎo)航窗口 W21。例如，當(dāng)用戶使圖像處理裝置100朝向沿導(dǎo)航路線的方位取向(或者用戶的視線朝向該方位取向)并且預(yù)定的時間Tl消逝時，顯示疊加了菜單麗2的導(dǎo)航窗口 W22。菜單麗2包括適用于輸入圖像的失真標(biāo)準(zhǔn)的列表。在圖1OA的示例中，該列表包括作為菜單項的、被設(shè)定為升高道路的失真標(biāo)準(zhǔn)B (“提升道路”)和被設(shè)定為擦除建筑物的失真標(biāo)準(zhǔn)C (“擦除建筑物”)。
[0164]例如，當(dāng)用戶輕擊菜單麗2的失真標(biāo)準(zhǔn)B時，如圖1OB中所示，顯示導(dǎo)航窗口 W23。在導(dǎo)航窗口 W23上，道路R2被自動地選擇為失真目標(biāo)并且道路R2的坡度改變。此外，指示該時間點的顯式模式是失真顯式模式的圖標(biāo)IC2被顯示。在導(dǎo)航窗口 W24上，道路R2的坡度返回原始坡度并且指示該時間點的顯式模式是正常顯示模式的圖標(biāo)IC3被顯示。失真顯式模式和正常顯示模式之間的過渡可以使用如觸發(fā)事件的任何事件來執(zhí)行。該事件可以是例如，來自用戶的任何輸入、視線的改變、圖像處理裝置100的姿態(tài)的改變、預(yù)定時間的消逝、或者用戶的移動。
[0165](3)第三示例
[0166]圖11是用于使圖像失真的用戶接口的第三示例的說明圖。參照圖11，圖示了示出出自天空中的視點的真實世界模型RM的鳥瞰視圖的路線地圖窗口 W3。當(dāng)用戶在窗口上用其手指拖動路線地圖窗口 W3上顯示的路線以追蹤路線時,例如，窗口過渡到圖9B中所示的導(dǎo)航窗口 W14并且失真圖像在失真顯式模式中被顯示。
[0167]<2-5.處理流程〉
[0168]圖12是圖示根據(jù)該實施例的圖像處理裝置100可以執(zhí)行的圖像處理流程的示例的流程圖。圖12中所示的處理可以針對在失真顯式模式中成像的每個幀來執(zhí)行。
[0169]參照圖12，首先，圖像獲取單元120獲取相機101捕獲的輸入圖像(步驟S102)。隨后，圖像獲取單元120將獲取的輸入圖像輸出到圖像處理單元140和用戶接口單元160。
[0170]接下來，圖像處理單元140自動地或者根據(jù)經(jīng)由用戶接口單元160檢測到的用戶輸入確定失真標(biāo)準(zhǔn)和失真目標(biāo)(步驟S104)。這里使用的用戶接口可以是例如參照圖9A至11描述的任何用戶接口。
[0171]接下來，圖像處理單元140根據(jù)所確定的失真標(biāo)準(zhǔn)使用從模型DB130獲取的真實世界模型來使輸入圖像失真以生成失真圖像(步驟S106)。當(dāng)在失真圖像中不存在空白部分時跳過步驟SllO和S112的后繼處理(步驟S108)。
[0172]對象圖像生成單元150使用真實世界模型生成與位于在作為圖像處理單元140執(zhí)行的失真的結(jié)果的失真圖像中產(chǎn)生的空白部分中的對象對應(yīng)的對象圖像(步驟S110 )。接下來，圖像處理單元140將所生成的對象圖像疊置到失真圖像的空白部分上(步驟S112)。[0173]隨后，圖像處理單元140將被疊置對象圖像的失真圖像(或者當(dāng)不存在空白部分時在步驟S106中生成的失真圖像)輸出到用戶接口單元160 (步驟S114)。因此，失真圖像顯示在顯示器111的屏幕上。
[0174]〈2-6.第一實施例的總結(jié)〉
[0175]上文參照圖2至12詳細(xì)描述了根據(jù)本公開的技術(shù)的第一實施例。根據(jù)該實施例，通過根據(jù)特定失真標(biāo)準(zhǔn)使真實世界的輸入圖像失真來生成失真圖像。當(dāng)在失真圖像中產(chǎn)生了空白部分時，使用預(yù)先定義的真實世界模型生成的對象圖像被疊置到失真圖像的空白部分上。就是說，由于從用戶視點可見的對象的圖像通過失真被補充在失真圖像中，可以將關(guān)于在失真之前難于直接觀看的場所的信息呈現(xiàn)給用戶。
[0176]對象圖像是當(dāng)根據(jù)所選擇的失真標(biāo)準(zhǔn)虛擬失真的真實世界從用戶(相機)視點可見時將占據(jù)空白部分的圖像。因此，被疊置對象圖像的失真圖像也被顯示作為出自用戶視點的自然圖像。因此，較之顯示出自另一視點的圖像(例如，出自俯瞰視點的地圖)的情況不喪失容易理解的性質(zhì)，使得可以理解真實世界的情景。
[0177]根據(jù)特定失真標(biāo)準(zhǔn)，使輸入圖像失真，使得改變輸入圖像中示出的道路的彎曲或坡度。因此，通過將失真圖像呈現(xiàn)給用戶，由于道路的彎曲或坡度被另一對象隱藏的對象的位置可以被傳送給用戶，使得用戶可以容易地理解該對象的位置。根據(jù)另一失真標(biāo)準(zhǔn)，在輸入圖像中隱藏另一對象的對象被擦除，并且因此隱藏的對象被示出作為失真圖像。在該情況下，通過將失真圖像呈現(xiàn)給用戶，被另一對象隱藏的對象的位置可以被容易地傳送給用戶。例如，在導(dǎo)航用途中，通過在失真圖像中顯示對于導(dǎo)航而言重要的地標(biāo)，用戶可以更直觀地和容易地理解直到目的地位置的路線。
[0178]在該實施例中，提供了諸如被配置成使得用戶可以指定失真標(biāo)準(zhǔn)的U1、被配置成使得用戶指定失真目標(biāo)的U1、以及被配置成使得在正常顯示模式和失真顯式模式之間切換模式的Π的各種Π。因此，用戶可以按照用戶期望，在Π上在期望的定時使輸入圖像失真，并且因此用戶可以在此時在屏幕上觀看從該視點不能直接示出的對象。
[0179]如上文所述，通過使終端裝置與服務(wù)器裝置關(guān)聯(lián)可以實現(xiàn)圖像處理裝置100的各種功能。終端裝置典型地包括建立與服務(wù)器裝置的通信連接的通信I/F、接收用戶輸入的輸入裝置、包括屏幕的顯示裝置、存儲程序和數(shù)據(jù)的存儲器、以及通過執(zhí)行程序來操作終端裝置的功能的處理器。終端裝置的處理器獲取示出真實世界的輸入圖像，經(jīng)由通信I/F將所獲取的輸入圖像傳送到服務(wù)器裝置，并且將從服務(wù)器裝置接收到的失真圖像顯示在顯示裝置的屏幕上。如在圖像處理裝置100中的那樣，服務(wù)器裝置使輸入圖像失真，將對象圖像疊置到失真圖像的空白部分上，并且將疊置的失真圖像傳送到終端裝置。參照圖9A至11描述的用戶接口可以由終端裝置的輸入裝置和顯示裝置實現(xiàn)。終端裝置的失真圖像顯示功能可以是在諸如PC或智能電話的終端上操作的應(yīng)用功能。
[0180]〈3.第二實施例〉
[0181]在第一實施例中，疊置到失真圖像的對象圖像僅包括在真實世界模型中預(yù)先定義的靜止對象。另一方面，在下文將描述的第二實施例中，對象圖像還包括動態(tài)對象，使用動態(tài)收集的位置關(guān)聯(lián)數(shù)據(jù)來估計該動態(tài)對象的位置。動態(tài)對象的示例包括人物和交通工具?；谖恢藐P(guān)聯(lián)數(shù)據(jù)來仿真對象的運動。
[0182]〈3-1.功能配置示例〉[0183]圖13是圖示根據(jù)第二實施例的圖像處理裝置200的邏輯功能配置的示例的框圖。參照圖13，圖像處理裝置200包括圖像獲取單元120、模型DB230、圖像處理單元140、對象圖像生成單元250、用戶接口單元160、導(dǎo)航單元170、仿真單元280和數(shù)據(jù)收集單元290。
[0184](I)仿真單元
[0185]仿真單元280對真實世界中存在的人群執(zhí)行仿真。仿真單元280執(zhí)行的仿真是虛擬再現(xiàn)根據(jù)時間可改變的街道情景的仿真。街道情景可以通過例如人群的規(guī)模、屬性或行為來再現(xiàn)。在仿真中，人群可以由與人對應(yīng)的一組人物來表示。替選地(或另外地)，人群可以由假設(shè)人乘坐的一組交通工具來表示?；诳梢詮耐獠糠?wù)器收集的位置關(guān)聯(lián)數(shù)據(jù)來確定人群的規(guī)模、屬性、行為等的仿真參數(shù)。
[0186]在該實施例中，位置關(guān)聯(lián)數(shù)據(jù)包括發(fā)布者在用戶傳輸類型的信息傳輸服務(wù)中發(fā)布的發(fā)布數(shù)據(jù)。用戶傳輸類型的信息傳輸服務(wù)可以包括例如，諸如Facebook (注冊商標(biāo))和Foursquare (注冊商標(biāo))的社交網(wǎng)絡(luò)服務(wù)(SNS)、諸如Twitter (注冊商標(biāo))的短消息發(fā)布服務(wù)、以及諸如Instagram的圖像發(fā)布服務(wù)。當(dāng)私密保護(hù)是必要時，可以從發(fā)布數(shù)據(jù)中刪除用于識別每個發(fā)布者的識別信息。該實施例中使用的信息傳輸服務(wù)可以是從發(fā)布者的終端上載的發(fā)布數(shù)據(jù)伴隨有位置數(shù)據(jù)的位置知曉(location-aware)的服務(wù)，或者可以是發(fā)布數(shù)據(jù)未伴隨有位置數(shù)據(jù)的服務(wù)。不同于發(fā)布數(shù)據(jù)(或者除了發(fā)布數(shù)據(jù)之外)，參考一個或更多個人的地理位置收集的統(tǒng)計數(shù)據(jù)可以被用作位置關(guān)聯(lián)數(shù)據(jù)。統(tǒng)計數(shù)據(jù)的示例包括交通量數(shù)據(jù)、平均收入數(shù)據(jù)和公共安全數(shù)據(jù)。
[0187]仿真單元280對與失真圖像的空白部分對應(yīng)的目標(biāo)區(qū)域執(zhí)行仿真以生成人群圖像。如下文將描述的，對象圖像生成單元250基于位置關(guān)聯(lián)數(shù)據(jù)針對每個地理區(qū)域確定人群的規(guī)模、屬性和行為。隨后，仿真單元280將所生成的人群圖像輸出到對象圖像生成單元250。
[0188](2)模型 DB
[0189]除了根據(jù)第一實施例的模型DB130存儲的真實世界模型之外，模型DB230存儲當(dāng)仿真單元280預(yù)先執(zhí)行仿真時使用的模型數(shù)據(jù)。模型DB230存儲的模型數(shù)據(jù)可以包括人物模型和交通工具模型。人物模型是模仿形成人群的人的模型。交通工具模型是模仿形成人群的交通工具的模型。在仿真中，人物模型和交通工具模型被安置在由真實世界模型表示的模型空間中并且被例如每個元件的人工智能(Al)驅(qū)動和移動。
[0190](3)數(shù)據(jù)收集單元
[0191]數(shù)據(jù)收集單元290收集與一個或更多個人的地理位置相關(guān)聯(lián)的位置關(guān)聯(lián)數(shù)據(jù)。例如，位置關(guān)聯(lián)數(shù)據(jù)可以包括從外部服務(wù)器收集的統(tǒng)計數(shù)據(jù)和發(fā)布數(shù)據(jù)。例如，數(shù)據(jù)收集單元290定期地收集位置關(guān)聯(lián)數(shù)據(jù)并且將所收集的位置關(guān)聯(lián)數(shù)據(jù)輸出到對象圖像生成單元250。
[0192](4)對象圖像生成單元
[0193]如根據(jù)第一實施例的對象圖像生成單元150中的那樣，當(dāng)在失真圖像中產(chǎn)生空白部分時，對象圖像生成單元250使用真實世界模型生成與位于空白部分中的對象對應(yīng)的對象圖像。對象圖像生成單元250將從仿真單元280輸入的人群圖像疊加到關(guān)于與空白部分對應(yīng)的真實世界的目標(biāo)區(qū)域的對象圖像上。
[0194]例如，對象圖像生成單元250根據(jù)真實世界模型確定與空白部分對應(yīng)的真實世界的目標(biāo)區(qū)域并且基于關(guān)于所確定的目標(biāo)區(qū)域的位置關(guān)聯(lián)數(shù)據(jù)來確定仿真參數(shù)。對象圖像生成單元250將所確定的仿真參數(shù)輸入到仿真單元280并且使仿真單元280對在該目標(biāo)區(qū)域中存在的人群執(zhí)行仿真。目標(biāo)區(qū)域是定位真實世界的多個地理區(qū)域中的一個。這些地理區(qū)域可以由適用于系統(tǒng)目的的任何標(biāo)準(zhǔn)來設(shè)定，諸如行政區(qū)域類或者最近車站類。
[0195]對象圖像生成單元250確定的仿真參數(shù)可以包括每個區(qū)域的人群的規(guī)模、屬性和行為。人群的規(guī)模意味在仿真中安置在目標(biāo)區(qū)域內(nèi)的人物數(shù)目(人口)或者交通工具的數(shù)目(交通量)。人群的屬性確定在仿真中安置在目標(biāo)區(qū)域內(nèi)的人物類或者交通工具類。例如，人群的屬性包括年齡分布比率和性別分布比率。較多的年輕人和青少年被安置在年輕人多的區(qū)域中，并且較多的女性被安置在女性多的區(qū)域中。人群的屬性可以包括諸如平均收入和公共安全程度的其他參數(shù)。人群的行為確定在仿真中安置在目標(biāo)區(qū)域中的人物和交通工具的運動。例如，人群的行動通過對位于真實世界的目標(biāo)區(qū)域中的人的行為建模或者執(zhí)行與目標(biāo)區(qū)域相關(guān)的行動來確定。
[0196]仿真參數(shù)可以包括每個目標(biāo)區(qū)域的天氣和時間段以及在該目標(biāo)區(qū)域中發(fā)生的事件。在本說明書中描述的一些仿真參數(shù)可以被省略或者可以使用另外的仿真參數(shù)。下文將詳細(xì)描述對象圖像生成單元250確定的仿真參數(shù)以及對象圖像生成單元250籍其執(zhí)行確定的位置關(guān)聯(lián)數(shù)據(jù)。
[0197]〈3-2.仿真的細(xì)節(jié)〉
[0198]接下來，將參照圖14至18詳細(xì)描述仿真單元280執(zhí)行的仿真。
[0199](I)模型數(shù)據(jù)的示例
[0200]圖14圖示了模型DB230可以存儲的人物模型的四個示例CMl至CM4。人物模型CMl至CM4的特征在于不同的屬性并且具有與特性對應(yīng)的外觀。在圖14中，“性別”、“年齡”和“收入”被圖示作為屬性的示例。例如，人物模型CMl是作為獲得中等收入并且具有普通外觀的較年輕的男性的人物。人物模型CM2是作為獲得高收入并且具有富有外觀的較老的男性的人物。人物模型CM3是作為獲得中等收入并且具有普通外觀的較年輕的女性的人物。人物模型CM4是作為具有青少年外觀的男性兒童的人物。
[0201]圖15圖示了模型DB230可以存儲的交通工具模型的兩個示例VMl和VM2。交通工具模型VMl和VM2的特征在于不同的屬性并且具有與特性對應(yīng)的外觀。在圖15中，“性另IJ”和“年齡”被圖示作為屬性的示例。例如，交通工具模型VMl是由獲得高收入的年輕人駕駛的跑車型的汽車。交通工具模型VM2是由獲得中等收入的年輕人駕駛的普通車型的汽車。
[0202](2)仿真結(jié)果的示例
[0203]仿真單元280根據(jù)對象圖像生成單元250確定的關(guān)于目標(biāo)區(qū)域的仿真參數(shù)將人物模型和交通工具模型安置在真實世界模型中。要安置的人物模型的數(shù)目取決于對象圖像生成單元250確定的每個區(qū)域的人群的估計人口。這里，估計人口可以不是接近真實世界中的真實人口的值。當(dāng)區(qū)域之間的人口差異或者同一區(qū)域的人口的時間變化表示估計值時，可以充分地實現(xiàn)該目的。這同樣適用于其他仿真參數(shù)。要安置的交通工具模型的數(shù)目可以取決于對象圖像生成單元250確定的交通量或者可以取決于估計人口。要安置的人物模型類和交通工具模型類取決于對象圖像生成單元250確定的每個區(qū)域的人群的屬性。
[0204]圖16A是仿真結(jié)果的第一示例的說明圖。在第一示例中，目標(biāo)區(qū)域的估計人口大于其他區(qū)域的人口，并且交通量也是大的。對于目標(biāo)區(qū)域的年齡分布比率，大多數(shù)人是年輕的。對于性別分布比率，女性是多的。目標(biāo)區(qū)域的平均收入高于其他區(qū)域的平均收入。仿真結(jié)果表明在模型空間中眾多人物在街道中往來并且許多交通工具在道路中行進(jìn)。模型空間中的人物中的女性人物的比率占據(jù)相對較大的性別分布比率。半數(shù)汽車是昂貴的跑車型汽車。
[0205]圖16B是仿真結(jié)果的第二示例的說明圖。在第二示例中，目標(biāo)區(qū)域的估計人口小于其他區(qū)域的人口，并且交通量也是小的。對于目標(biāo)區(qū)域的年齡分布比率，兒童是多的。目標(biāo)區(qū)域的平均收入是中等的。仿真結(jié)果表明在模型空間中在街道中存在包括多個兒童的少數(shù)人物。
[0206]圖16C是仿真結(jié)果的第三示例的說明圖。在第三示例中，目標(biāo)區(qū)域的估計人口是中等的，并且交通量也是小的。對于目標(biāo)區(qū)域的年齡分布比率，老年人是多的。目標(biāo)區(qū)域的平均收入高于其他區(qū)域的平均收入。仿真結(jié)果表明在模型空間中比第一示例的人物少的人物和比第二示例的人物多的人物在街道中往來，并且一個交通工具在道路上行進(jìn)。在模型空間中在人物中看起來富有的老年人的比率占據(jù)相對多數(shù)的年齡分布比率。
[0207]當(dāng)比較圖16A至16C中所示的3個示例時，可以理解各示例中存在的人群的規(guī)模和屬性的差異表示每條街道的特性。該仿真可以使用通常公共統(tǒng)計數(shù)據(jù)來執(zhí)行。然而，真實世界中的街道的情景可以根據(jù)時間段、天、季節(jié)、特定事件的舉行等隨時間可觀地改變。因此，難于認(rèn)為基于過去的統(tǒng)計時段的靜態(tài)統(tǒng)計數(shù)據(jù)表示街道的最近情景。因此，如上文所述，圖像處理裝置200繼續(xù)收集位置關(guān)聯(lián)數(shù)據(jù)并且基于所收集的位置關(guān)聯(lián)數(shù)據(jù)動態(tài)地改變情景參數(shù)。
[0208](3)人群行為的示例
[0209]在圖16A至16C中，主要描述了人群的規(guī)模和屬性的差異。然而，仿真單元280可以使模型空間中的人群再現(xiàn)針對每個地理區(qū)域建模的人的行為。圖17是人物模型的行為的示例的說明圖。參照圖17，左手持商務(wù)包的人物模型CMl正在用于其右手操作蜂窩電話。稱為“打電話”的該行為可以由安置在商務(wù)人士多的區(qū)域中的人物模型來執(zhí)行。人物模型CMlb是“慢跑”。人物模型CMlc是“吸煙”。該行為也可以針對每個地理區(qū)域建模并且可以由人物模型執(zhí)行。
[0210](4)事件的示例
[0211]仿真單元280可以在仿真中再現(xiàn)發(fā)生的事件或者估計在特定地理區(qū)域中要發(fā)生的事件。圖18是可以在仿真中再現(xiàn)的事件的示例的說明圖。參照圖18，在模型空間中圖示了建筑物Bldgl。在特定仿真中,在建筑物Bldgl前方形成了隊列。例如，當(dāng)在短時間中收集了與特定場所的商店相關(guān)聯(lián)的大量的發(fā)布數(shù)據(jù)時，確定發(fā)生事件“隊列”并且所確定的事件可以在仿真中再現(xiàn)。仿真單元280可以再現(xiàn)不同類別的事件，諸如“交通事故”或者“櫻花的盛開”。
[0212]〈3-3.仿真參數(shù)的確定〉
[0213](I)基于信息傳輸服務(wù)的發(fā)布數(shù)據(jù)的方法
[0214]為了獲得有用的仿真結(jié)果，重要的是適當(dāng)?shù)卮_定仿真參數(shù)。在該實施例中，對象圖像生成單元250基于從外部服務(wù)器收集的發(fā)布數(shù)據(jù)來確定仿真參數(shù)。發(fā)布者在信息傳輸服務(wù)中在真實世界中主動發(fā)布各種行動或事件。在許多情況下，實時地或者僅以微小的時延來執(zhí)行發(fā)布。因此，通過根據(jù)信息傳輸服務(wù)的發(fā)布數(shù)據(jù)確定仿真參數(shù)，可以僅以微小的時延來追蹤隨時間改變的街道的情景。
[0215]圖19是確定仿真參數(shù)的第一方法的說明圖。在圖19中的左側(cè)圖示了在給定時間框架內(nèi)數(shù)據(jù)收集單元290收集的發(fā)布數(shù)據(jù)PDl至Η)η。對象圖像生成單元250通過分析發(fā)布數(shù)據(jù)PDl至PDn估計與每個地理區(qū)域?qū)?yīng)的人的數(shù)目和屬性并且根據(jù)估計結(jié)果確定每個地理區(qū)域的人群的規(guī)模和屬性。這里，短語“與地理區(qū)域?qū)?yīng)”可以包括如下含義，除了每個地理區(qū)域的位置以外，執(zhí)行與每個地理區(qū)域相關(guān)的行動(例如，“搜索ABC地區(qū)中的新房子”或者“討論ABC地區(qū)”)。對象圖像生成單元250可以通過分析發(fā)布數(shù)據(jù)PDl至PDn來確定與每個地理區(qū)域?qū)?yīng)的人的行為以及在每個地理區(qū)域中發(fā)生的事件。
[0216]圖20A是分析發(fā)布數(shù)據(jù)的第一示例的說明圖。在第一示例中，發(fā)布數(shù)據(jù)PDl包括用戶識別信息PDia、文本roib、圖像roic和位置數(shù)據(jù)roid。
[0217]例如，對象圖像生成單元250可以使用用戶識別信息H)la獲取發(fā)布數(shù)據(jù)TOl的發(fā)布者(登記在信息傳輸服務(wù)中)的屬性(步驟Slla)。替選地，對象圖像生成單元250可以通過將相關(guān)領(lǐng)域的自然語言分析技術(shù)應(yīng)用于文本roib從文本roib提取關(guān)鍵詞或關(guān)鍵短語并且根據(jù)所提取的關(guān)鍵詞和所提取的關(guān)鍵短語確定發(fā)布數(shù)據(jù)roi的發(fā)布者的屬性(步驟Sllb)。例如，根據(jù)關(guān)鍵短語“要去學(xué)院”可以將發(fā)布者確定為約20歲的年輕人，并且可以根據(jù)關(guān)鍵短語“我要女朋友”將發(fā)布者確定為男性。可以基于包括與發(fā)布數(shù)據(jù)PDl相同的用戶識別信息roia的過去的發(fā)布數(shù)據(jù)PDx而非發(fā)布數(shù)據(jù)roi中包括的文本或圖像來確定發(fā)布數(shù)據(jù)roi的發(fā)布者的屬性。
[0218]在圖20A的第一示例中，位置數(shù)據(jù)HHd指示當(dāng)發(fā)布數(shù)據(jù)PDl被上載時發(fā)布者的地理位置。因此，對象圖像生成單元250可以使用位置數(shù)據(jù)roid確定與發(fā)布數(shù)據(jù)PDl對應(yīng)的地理區(qū)域(步驟S12)。此外，對象圖像生成單元250可以通過聚集總體發(fā)布數(shù)據(jù)中的每個地理區(qū)域的發(fā)布數(shù)據(jù)量來估計每個地理區(qū)域的人群的規(guī)模。對象圖像生成單元250可以通過聚集根據(jù)總體發(fā)布數(shù)據(jù)中的每個地理區(qū)域中的發(fā)布數(shù)據(jù)確定的屬性來估計每個地理區(qū)域的人群的屬性(步驟S13)。
[0219]圖20B是分析發(fā)布數(shù)據(jù)的第二示例的說明圖。在第二示例中，發(fā)布數(shù)據(jù)PD2包括文本ro2b、圖像ro2c和位置數(shù)據(jù)ro2d。從發(fā)布數(shù)據(jù)ro2中刪除了用戶識別信息以保護(hù)私密性。
[0220]例如，對象圖像生成單元250可以基于從文本H)2b提取的關(guān)鍵詞或關(guān)鍵短語來確定發(fā)布數(shù)據(jù)Η)2的發(fā)布者的屬性(步驟S21a)。對象圖像生成單元250可以通過將相關(guān)領(lǐng)域的圖像識別技術(shù)應(yīng)用于圖像H)2c來確定發(fā)布數(shù)據(jù)PD2的發(fā)布者的屬性(性別、年齡等)或者圖像ro2c中示出的物體(步驟S21b)。
[0221]在圖20B的第二示例中，位置數(shù)據(jù)ro2d指示當(dāng)發(fā)布數(shù)據(jù)PD2被上載時發(fā)布者的地理位置。因此，對象圖像生成單元250可以使用位置數(shù)據(jù)ro2d確定與發(fā)布數(shù)據(jù)PD2對應(yīng)的地理區(qū)域(步驟S22)。對象圖像生成單元250可以通過聚集總體發(fā)布數(shù)據(jù)中的每個地理區(qū)域的發(fā)布數(shù)據(jù)量來估計每個地理區(qū)域的人群的規(guī)模。對象圖像生成單元250可以通過聚集根據(jù)總體發(fā)布數(shù)據(jù)中的每個地理區(qū)域中的發(fā)布數(shù)據(jù)確定的屬性來估計每個地理區(qū)域的人群的屬性(步驟S23)。
[0222]圖20C是分析發(fā)布數(shù)據(jù)的第三示例的說明圖。在第三示例中，發(fā)布數(shù)據(jù)PD3包括文本PD3b和圖像PD3c。
[0223]例如，對象圖像生成單元250可以基于從文本H)3b提取的關(guān)鍵詞或關(guān)鍵短語來確定發(fā)布數(shù)據(jù)PD3的發(fā)布者的屬性(步驟S31a)。對象圖像生成單元250可以通過將相關(guān)領(lǐng)域的圖像識別技術(shù)應(yīng)用于圖像H)3c來確定發(fā)布數(shù)據(jù)PD3的發(fā)布者的屬性或者圖像H)3c中示出的物體(步驟S3 lb)。
[0224]在第三示例中，發(fā)布數(shù)據(jù)PD3不包括位置數(shù)據(jù)。因此，例如，對象圖像生成單元250可以基于從文本H)3b提取的關(guān)鍵詞或關(guān)鍵短語來確定與發(fā)布數(shù)據(jù)PD3對應(yīng)的地理區(qū)域(步驟S32a)。例如，可以基于關(guān)鍵詞中表明的場所名稱來確定地理區(qū)域或者可以基于關(guān)鍵詞中表明的機構(gòu)的數(shù)目來確定機構(gòu)的位置的地理區(qū)域。替選地，對象圖像生成單元250可以通過使圖像H)3c與各種現(xiàn)有圖像匹配來確定與發(fā)布數(shù)據(jù)PD3對應(yīng)的地理區(qū)域(步驟S32b)。
[0225]對象圖像生成單元250可以通過聚集總體發(fā)布數(shù)據(jù)中的每個地理區(qū)域的發(fā)布數(shù)據(jù)量來估計每個地理區(qū)域的人群的規(guī)模。對象圖像生成單元250可以通過聚集根據(jù)總體發(fā)布數(shù)據(jù)中的每個地理區(qū)域中的發(fā)布數(shù)據(jù)確定的屬性來估計每個地理區(qū)域的人群的屬性(步驟 S33)。
[0226]發(fā)布數(shù)據(jù)的分析可以被執(zhí)行，不僅用于估計每個地理區(qū)域的人群的規(guī)模和屬性，而且還用于對人群的行為建模。圖20D是分析發(fā)布數(shù)據(jù)的第四示例的說明圖。在第四示例中，發(fā)布數(shù)據(jù)PD4包括文本ro4b和位置數(shù)據(jù)ro4d。
[0227]例如，對象圖像生成單元250可以基于從文本H)4b提取的關(guān)鍵詞或關(guān)鍵短語來確定發(fā)布數(shù)據(jù)ro4的發(fā)布者的屬性(步驟S41)。對象圖像生成單元250可以使用位置數(shù)據(jù)PD4d確定與發(fā)布數(shù)據(jù)PD4對應(yīng)的地理區(qū)域(步驟S42)。對象圖像生成單元250可以通過聚集總體發(fā)布數(shù)據(jù)中的每個地理區(qū)域的發(fā)布數(shù)據(jù)的數(shù)量和屬性來估計每個地理區(qū)域的人群的規(guī)模和屬性(步驟S43)。
[0228]在第四示例中，對象圖像生成單元250基于使用文本H)4b所確定的發(fā)布數(shù)據(jù)TO4的發(fā)布者的屬性(或者人群的聚集屬性)來對每個地理區(qū)域的人群的行為建模(步驟S44)。例如，當(dāng)基于文本ro4b確定發(fā)布數(shù)據(jù)HM的發(fā)布者是商務(wù)人士時，與發(fā)布數(shù)據(jù)PD4對應(yīng)的地理區(qū)域的人群中包括的一個人物模型可以執(zhí)行圖17中例示的行為“打電話”。當(dāng)特定地理區(qū)域的人群的屬性指示年輕人多時，人群中包括的若干人物模型可以執(zhí)行圖17中例示的行為“慢跑”。為了對人群的行為建模，可以使用圖像或用戶識別信息而非發(fā)布數(shù)據(jù)中包括的文本。
[0229]可以執(zhí)行發(fā)布數(shù)據(jù)的分析以確定在目標(biāo)區(qū)域中發(fā)生的事件或者估計要發(fā)生的事件。圖20E是分析發(fā)布數(shù)據(jù)的第五示例的說明圖。在第五示例中，發(fā)布數(shù)據(jù)PD5包括文本PD5b和圖像PD5c。
[0230]例如，對象圖像生成單元250可以基于從文本H)5b提取的關(guān)鍵詞或關(guān)鍵短語來確定發(fā)布數(shù)據(jù)PD5的發(fā)布者的屬性(步驟S51a)。對象圖像生成單元250可以通過將相關(guān)領(lǐng)域的圖像識別技術(shù)應(yīng)用于圖像H)5C來確定發(fā)布數(shù)據(jù)PD5的發(fā)布者的屬性或者圖像H)5C中示出的物體(步驟S51b)。對象圖像生成單元250可以基于從文本H)5b提取的關(guān)鍵詞或關(guān)鍵短語來確定與發(fā)布數(shù)據(jù)PD5對應(yīng)的地理區(qū)域(步驟S52)。對象圖像生成單元250可以通過聚集總體發(fā)布數(shù)據(jù)中的每個地理區(qū)域的發(fā)布數(shù)據(jù)的數(shù)量和屬性來估計每個地理區(qū)域的人群的規(guī)模和屬性(步驟S53)。[0231 ] 在第五示例中，對象圖像生成單元250可以基于從文本H)5b提取的關(guān)鍵詞或關(guān)鍵短語來確定在與發(fā)布數(shù)據(jù)PD5對應(yīng)的地理區(qū)域中發(fā)生事件(步驟S54a)。例如，對象圖像生成單元250可以根據(jù)關(guān)鍵短語“目擊交通事故”來確定發(fā)生事件“交通事故”。對象圖像生成單元250可以基于圖像H)5c來確定在與發(fā)布數(shù)據(jù)PD5對應(yīng)的地理區(qū)域中發(fā)生事件(步驟S54b)。例如，當(dāng)在圖像H)5c中示出櫻花時，對象圖像生成單元250可以確定發(fā)生事件“櫻花的盛開”。
[0232]本節(jié)中描述的確定仿真參數(shù)的各種方法可以相互組合。
[0233](2)基于統(tǒng)計數(shù)據(jù)的方法
[0234]在該實施例中，對象圖像生成單元250可以進(jìn)一步基于從外部服務(wù)器收集的統(tǒng)計數(shù)據(jù)來確定仿真參數(shù)。這里使用的統(tǒng)計數(shù)據(jù)是參考關(guān)于一個或更多個人的地理位置而聚集的數(shù)據(jù)。
[0235]圖21A是確定仿真參數(shù)的第二方法的說明圖。參照圖21A，除了圖19中所示的發(fā)布數(shù)據(jù)PDl至PDn之外還圖示了從外部服務(wù)器收集的統(tǒng)計數(shù)據(jù)SD。例如，統(tǒng)計數(shù)據(jù)SD可以是指示交通擁堵信息的交通數(shù)據(jù)。在該情況下，對象圖像生成單元250可以根據(jù)交通數(shù)據(jù)指示的交通擁堵水平來確定每個地理區(qū)域的交通工具模型的數(shù)目(規(guī)模)。統(tǒng)計數(shù)據(jù)SD可以是指示根據(jù)區(qū)域的平均年收入的平均年收入數(shù)據(jù)。在該情況下，對象圖像生成單元250可以將平均收入數(shù)據(jù)指示的收入值用作每個地理區(qū)域的人群的收入值(屬性)。統(tǒng)計數(shù)據(jù)SD可以是指示根據(jù)區(qū)域的犯罪率的公共安全數(shù)據(jù)。在該情況下，對象圖像生成單元250可以使人物模型執(zhí)行例如公共安全數(shù)據(jù)指示的犯罪率的值高的地理區(qū)域中的特定行為(例如，圖17中例示的行為“吸煙”)或者使特定事件(例如，巡邏車的行進(jìn))發(fā)生。
[0236](3)天氣數(shù)據(jù)的使用
[0237]在該實施例中，對象圖像生成單元250可以基于從外部服務(wù)器收集的天氣數(shù)據(jù)改變?nèi)巳簣D像的背景。這里使用的天氣數(shù)據(jù)是指示目標(biāo)區(qū)域的指定時間(仿真時間或另一時間)的天氣的數(shù)據(jù)。
[0238]圖21B是確定仿真參數(shù)的第三方法的說明圖。參照圖21B，除了圖19中所示的發(fā)布數(shù)據(jù)PDl至PDn之外還圖示了從外部服務(wù)器收集的天氣數(shù)據(jù)WD。對象圖像生成單元250將作為仿真參數(shù)的天氣數(shù)據(jù)WD指示的目標(biāo)區(qū)域的天氣輸出到仿真單元280并且改變?nèi)巳簣D像的背景表示的天氣。對象圖像生成單元250還可以將作為仿真參數(shù)的指定時間(或者時間段(例如，早晨、中午、黃昏或晚上))輸出到仿真單元280并且改變?nèi)巳簣D像的背景表示的時間段。
[0239]〈3-4.對象圖像的示例>
[0240]圖22是可以在第二實施例中顯示的失真圖像的示例的說明圖。
[0241]參照圖22，圖示了以正常顯示模式顯示輸入圖像的導(dǎo)航窗口 W41。在輸入圖像中示出了道路Rl和沿道路Rl并排矗立的建筑物以及在道路Rl上行走的人。例如，當(dāng)用戶輕擊導(dǎo)航窗口 W41時，顯式模式過渡到失真顯式模式，被設(shè)定為拉直道路的失真標(biāo)準(zhǔn)被選擇，并且導(dǎo)航窗口 W42被顯示。導(dǎo)航窗口 W42顯示被疊置對象圖像Im43的失真圖像。對象圖像Im43不僅包括在輸入圖像中隱藏的建筑物J13的圖像，而且還包括表示仿真單元280仿真的人群的人群圖像Im44。在圖22的示例中，人群圖像Im44包括兩個人物和一個汽車。
[0242]〈3-5.第二實施例的總結(jié)〉[0243]上文參照圖13至22詳細(xì)描述了根據(jù)本公開的技術(shù)的第二實施例。根據(jù)該實施例，在用于補充失真圖像的空白部分的對象圖像中不僅顯示預(yù)先定義的靜止對象，而且還顯示諸如人和交通工具的動態(tài)對象。基于諸如用戶傳輸類型的信息傳輸服務(wù)中的發(fā)布數(shù)據(jù)的位置關(guān)聯(lián)數(shù)據(jù)來確定動態(tài)對象的行為。因此，在對象圖像中可以再現(xiàn)能夠隨時間改變的真實世界的情景，并且因此可以將自然失真圖像呈現(xiàn)給用戶。例如，在人在假期大部分聚集的旅游地點的失真圖像中，在假期補充的對象圖像可以示出人擁擠的街道并且在平日補充的對象圖像可以示出安靜的街道。
[0244]在許多情況下該實施例中使用的用戶傳輸類型的信息傳輸服務(wù)的發(fā)布數(shù)據(jù)被實時地發(fā)布或者僅以相對于真實行動或事件的微小的時延被發(fā)布。因此，通過使用該用戶傳輸類型的信息傳輸服務(wù)的適應(yīng)性，可以以小的時延來追蹤可以隨時間改變的街道的情景。
[0245]在第一和第二實施例中顯示的失真圖像示出了在真實世界中可以實際存在的對象(建筑物、道路、人、交通工具等)的失真或仿真形式。該方法的用處還在于，不會引起在通常的擴展現(xiàn)實(AR)應(yīng)用中易于發(fā)生的屏幕上的信息過載情景(其中由于過度注釋而埋沒圖像)。
[0246]本說明書中描述的每個裝置執(zhí)行的系列處理通常使用軟件實現(xiàn)。實現(xiàn)所述系列處理的軟件的程序被預(yù)先存儲在例如安裝在每個裝置內(nèi)部或外部的存儲介質(zhì)(非暫態(tài)介質(zhì))中。例如，在執(zhí)行時，每個程序被讀取到RAM，并且由諸如CPU的處理器執(zhí)行。
[0247]上文參照附圖詳細(xì)描述了本公開的優(yōu)選實施例，但是本公開的技術(shù)范圍不限于這些示例。本公開的【技術(shù)領(lǐng)域】的技術(shù)人員應(yīng)認(rèn)識到，在權(quán)利要求中公開的技術(shù)精神的范圍內(nèi)可以進(jìn)行各種修改或校正，并且這些修改或校正顯然應(yīng)被理解為屬于本公開的技術(shù)范圍。
[0248]此外，本技術(shù)還可以如下配置。
[0249](I) 一種信息處理系統(tǒng),包括:
[0250]電路，被配置成
[0251]獲取圖像數(shù)據(jù)；
[0252]根據(jù)預(yù)定失真標(biāo)準(zhǔn)使所獲取的圖像數(shù)據(jù)失真；
[0253]獲取與在所獲取的圖像中至少部分地被遮擋的對象相對應(yīng)的對象圖像；
[0254]使所述對象圖像與失真圖像數(shù)據(jù)組合；以及
[0255]輸出與所述對象圖像組合的所述失真圖像數(shù)據(jù)。
[0256](2)根據(jù)(I)所述的信息處理系統(tǒng)，其中所獲取的圖像數(shù)據(jù)對應(yīng)于圖像捕獲裝置捕獲的真實世界圖像。
[0257](3)根據(jù)(2)所述的信息處理系統(tǒng)，其中所獲取的圖像數(shù)據(jù)是靜止圖像或者形成運動圖像的一系列靜止圖像。
[0258](4)根據(jù)(I)至(3)中任一項所述的信息處理系統(tǒng)，其中所述電路被配置成存儲指示真實世界中存在的對象的位置的模型。
[0259](5)根據(jù)4所述的信息處理系統(tǒng)，其中
[0260]所獲取的圖像數(shù)據(jù)對應(yīng)于圖像捕獲裝置捕獲的真實世界圖像，以及
[0261]所述電路被配置成
[0262]從所獲取的圖像數(shù)據(jù)中檢測特征點；[0263]基于從傳感器單元輸出的數(shù)據(jù)確定所述信息處理系統(tǒng)的位置和姿態(tài)；以及
[0264]從所述模型提取關(guān)于所述對象的特征點數(shù)據(jù)。
[0265](6)根據(jù)(5)所述的信息處理系統(tǒng)，其中所述電路被配置成:
[0266]使從所獲取的圖像數(shù)據(jù)檢測到的特征點與從所述模型提取的特征點匹配；以及
[0267]基于所述預(yù)定失真標(biāo)準(zhǔn)來修改匹配的特征點的位置。
[0268](7)根據(jù)(I)至(6)中任一項所述的信息處理系統(tǒng)，其中所述電路被配置成作為所述預(yù)定失真標(biāo)準(zhǔn)，通過改變所獲取的圖像數(shù)據(jù)中包括的道路中的彎曲，來使所獲取的圖像數(shù)據(jù)失真。
[0269](8)根據(jù)(I)至(7)中任一項所述的信息處理系統(tǒng)，其中所述電路被配置成作為所述預(yù)定失真標(biāo)準(zhǔn)，通過改變所獲取的圖像數(shù)據(jù)中的道路的坡度，來使所獲取的圖像數(shù)據(jù)失真。
[0270](9)根據(jù)(I)至(8)中任一項所述的信息處理系統(tǒng)，其中所述電路被配置成作為所述預(yù)定失真標(biāo)準(zhǔn)，通過省略所獲取的圖像數(shù)據(jù)中示出的建筑物，來使所獲取的圖像數(shù)據(jù)失真。
[0271](10)根據(jù)(I)至(9)中任一項所述的信息處理系統(tǒng)，其中所述電路被配置成作為所述預(yù)定失真標(biāo)準(zhǔn)，通過擴寬所獲取的圖像數(shù)據(jù)中包括的道路的寬度，來使所獲取的圖像數(shù)據(jù)失真。
[0272]( 11)根據(jù)(I)至(10)中任一項所述的信息處理系統(tǒng)，其中所述電路被配置成作為所述預(yù)定失真標(biāo)準(zhǔn)，通過放大所獲取的圖像數(shù)據(jù)中包括的一個建筑物后面的另一建筑物，來使所獲取的圖像數(shù)據(jù)失真。
[0273]( 12)根據(jù)(I)至(11)中任一項所述的信息處理系統(tǒng)，其中作為失真的結(jié)果，所述失真圖像數(shù)據(jù)包括空白部分。
[0274](13)根據(jù)(12)所述的信息處理系統(tǒng)，其中所述電路被配置成基于所述失真圖像數(shù)據(jù)中包括的空白部分來生成所述對象圖像。
[0275](14)根據(jù)(I)至(13)中任一項所述的信息處理系統(tǒng)，其中所述電路被配置成通過將所述對象圖像疊置在所述失真圖像數(shù)據(jù)上來使所述對象圖像與所述失真圖像數(shù)據(jù)組合。
[0276]( 15)根據(jù)(14)所述的信息處理系統(tǒng)，其中所述失真圖像數(shù)據(jù)是真實圖像數(shù)據(jù)并且所述對象圖像是圖標(biāo)。
[0277](16)根據(jù)(I)至(15)中任一項所述的信息處理系統(tǒng)，進(jìn)一步包括:
[0278]顯示器；以及
[0279]用戶接口，其中
[0280]所述電路被配置成基于在所述用戶接口處接收到的輸入來控制所述顯示器在顯示所獲取的圖像數(shù)據(jù)和所述失真圖像數(shù)據(jù)之間切換。
[0281 ] (17)根據(jù)(I)至(16)中任一項所述的信息處理系統(tǒng)，其中，
[0282]所述信息處理系統(tǒng)是個人導(dǎo)航系統(tǒng)，以及
[0283]所述電路被配置成將導(dǎo)航方向疊置在與所述對象圖像組合的所述失真圖像數(shù)據(jù)上。
[0284](18)根據(jù)(I)至(17)中任一項所述的信息處理系統(tǒng)，其中所述信息處理系統(tǒng)是具有頭戴式眼鏡的形狀的可穿戴裝置。[0285](19)—種由信息處理系統(tǒng)執(zhí)行的方法,所述方法包括:
[0286]獲取圖像；
[0287]通過所述信息處理系統(tǒng)的電路，根據(jù)預(yù)定失真標(biāo)準(zhǔn)使所獲取的圖像失真；
[0288]獲取與在所獲取的圖像數(shù)據(jù)中至少部分地被遮擋的對象相對應(yīng)的對象圖像；
[0289]通過所述電路，使所述對象圖像與失真圖像組合；以及
[0290]輸出與所述對象圖像組合的所述失真圖像。
[0291](20)—種包括計算機程序指令的非暫態(tài)的計算機可讀介質(zhì)，所述計算機程序指令在被信息處理系統(tǒng)執(zhí)行時使所述信息處理系統(tǒng):
[0292]獲取圖像；
[0293]根據(jù)預(yù)定失真標(biāo)準(zhǔn)使所獲取的圖像失真；
[0294]獲取與在所獲取的圖像數(shù)據(jù)中至少部分地被遮擋的對象相對應(yīng)的對象圖像；
[0295]使所述對象圖像與失真圖像組合；以及
[0296]輸出與所述對象圖像組合的所述失真圖像。
[0297]此外，本技術(shù)還可以如下配置。
[0298](I) 一種圖像處理裝置，包括:
[0299]圖像獲取單元，所述圖像獲取單元獲取示出真實世界的輸入圖像；
[0300]圖像處理單元，所述圖像處理單元通過根據(jù)特定標(biāo)準(zhǔn)使所述輸入圖像失真來生成失真圖像；以及
[0301]生成單元，當(dāng)作為失真結(jié)果在失真圖像中產(chǎn)生空白部分時，所述生成單元使用表示真實世界中存在的對象的位置的模型來生成與將位于所述空白部分中的對象對應(yīng)的對象圖像，
[0302]其中所述圖像處理單元將所述生成單元生成的所述對象圖像疊置到所述失真圖像的所述空白部分上。
[0303](2)根據(jù)(I)所述的圖像處理裝置，其中所述對象圖像是當(dāng)根據(jù)所述標(biāo)準(zhǔn)使真實世界失真時占據(jù)所述空白部分的圖像。
[0304](3)根據(jù)(I)所述的圖像處理裝置，其中所述對象圖像是與將位于所述空白部分中的對象對應(yīng)的圖標(biāo)圖像。
[0305](4)根據(jù)(I)至(3)中任一項所述的圖像處理裝置，
[0306]其中所述圖像處理單元使所述輸入圖像失真，使得改變所述輸入圖像中示出的道路的彎曲，以及
[0307]其中所述空白部分是由于道路彎曲而在所述輸入圖像中沒有示出的部分。
[0308](5)根據(jù)(I)至(3)中任一項所述的圖像處理裝置，
[0309]其中所述圖像處理單元使所述輸入圖像失真，使得改變所述輸入圖像中示出的道路的坡度，以及
[0310]其中所述空白部分是由于道路坡度而在所述輸入圖像中沒有示出的部分。
[0311](6)根據(jù)(4)或(5)所述的圖像處理裝置，其中所述圖像處理單元通過使在所述輸入圖像中檢測到的特征點與所述模型定義的特征點匹配并且根據(jù)所述標(biāo)準(zhǔn)使匹配的特征點的位置移動，來生成所述失真圖像。
[0312](7)根據(jù)(4)至(6)中任一項所述的圖像處理裝置，其中所述圖像處理單元將用戶通過顯示所述輸入圖像的屏幕指定的道路選擇為失真目標(biāo)。
[0313](8)根據(jù)(4)至(6)中任一項所述的圖像處理裝置，進(jìn)一步包括:
[0314]導(dǎo)航單元，所述導(dǎo)航單元向用戶提供直到用戶指定的目的地位置的導(dǎo)航，
[0315]其中所述圖像處理單元將所述導(dǎo)航單元設(shè)定的直到目的地位置的路線上的道路選擇為失真目標(biāo)。
[0316]( 9 )根據(jù)(I)至(8 )中任一項所述的圖像處理裝置，進(jìn)一步包括:
[0317]用戶接口單元，所述用戶接口單元向用戶提供用戶接口，用戶在所述用戶接口上在第一顯式模式和第二顯式模式之間切換，在所述第一顯式模式中在屏幕上顯示所述輸入圖像并且在所述第二顯式模式中在屏幕上顯示被疊置所述對象圖像的所述失真圖像。
[0318](10)根據(jù)(9)所述的圖像處理裝置，其中所述用戶接口單元進(jìn)一步向用戶提供用戶指定所述標(biāo)準(zhǔn)的用戶接口。
[0319]( 11)根據(jù)(9 )所述的圖像處理裝置，
[0320]其中所述圖像處理裝置是包括檢測用戶視線的視線檢測模塊的頭戴式裝置，以及
[0321]其中所述用戶接口單元基于從所述視線檢測模塊獲得的視線檢測結(jié)果在所述第一顯式模式和所述第二顯式模式之間切換。
[0322](12)根據(jù)(I)至(3)中任一項所述的圖像處理裝置，其中所述圖像處理單元將所述對象圖像疊置到所述失真圖像上，使得在所述輸入圖像中被另一對象隱藏的對象在所述失真圖像中示出。
[0323](13)根據(jù)(I)至(12)中任一項所述的圖像處理裝置，進(jìn)一步包括:
[0324]數(shù)據(jù)收集單元，所述數(shù)據(jù)收集單元收集與多個人地理位置相關(guān)聯(lián)的位置關(guān)聯(lián)數(shù)據(jù)；以及
[0325]仿真單元，所述仿真單元基于所收集的位置關(guān)聯(lián)數(shù)據(jù)執(zhí)行在真實世界中存在的人群的仿真，
[0326]其中所述生成單元將所述仿真單元仿真的關(guān)于與所述空白部分對應(yīng)的真實世界的區(qū)域的人群的圖像疊置到所述對象圖像上。
[0327](14)根據(jù)(13)所述的圖像處理裝置，其中基于所述位置關(guān)聯(lián)數(shù)據(jù)確定人群的規(guī)模、屬性和行為至少之一并且在仿真中進(jìn)行再現(xiàn)。
[0328](15) 一種圖像處理裝置執(zhí)行的圖像處理方法，所述方法包括:
[0329]獲取示出真實世界的輸入圖像；
[0330]通過根據(jù)特定標(biāo)準(zhǔn)使所述輸入圖像失真來生成失真圖像；以及
[0331]當(dāng)作為失真結(jié)果在失真圖像中產(chǎn)生空白部分時，使用表示真實世界中存在的對象的位置的模型來生成與將位于所述空白部分中的對象對應(yīng)的對象圖像，
[0332]其中將所生成的對象圖像疊置到所述失真圖像的所述空白部分上。
[0333](16) 一種使控制圖像處理裝置的計算機用作如下單元的程序:
[0334]圖像獲取單元，所述圖像獲取單元獲取示出真實世界的輸入圖像；
[0335]圖像處理單元，所述圖像處理單元通過根據(jù)特定標(biāo)準(zhǔn)使所述輸入圖像失真來生成失真圖像；以及
[0336]生成單元，當(dāng)作為失真結(jié)果在失真圖像中產(chǎn)生空白部分時，所述生成單元使用表示真實世界中存在的對象的位置的模型來生成與將位于所述空白部分中的對象對應(yīng)的對象圖像，
[0337]其中所述圖像處理單元將所述生成單元生成的所述對象圖像疊置到所述失真圖像的所述空白部分上。
[0338]( 17) 一種終端裝置，包括:
[0339]圖像獲取單元，所述圖像獲取單元獲取示出真實世界的輸入圖像；以及
[0340]控制單元，所述控制單元將所述輸入圖像傳送到服務(wù)器裝置，所述服務(wù)器裝置在通過根據(jù)特定標(biāo)準(zhǔn)使所述輸入圖像失真而生成的失真圖像的空白部分上疊置對象圖像，所述對象圖像對應(yīng)于將位于所述空白部分中并且使用表示真實世界中存在的對象的位置的模型而生成的對象，并且控制單元在屏幕上顯示從所述服務(wù)器裝置接收到的所述失真圖像。
[0341](18)根據(jù)(17)所述的終端裝置，進(jìn)一步包括:
[0342]用戶接口單元，所述用戶接口單元向用戶提供用戶接口，用戶在所述用戶接口上在第一顯式模式和第二顯式模式之間切換，在所述第一顯式模式中在屏幕上顯示所述輸入圖像并且在所述第二顯式模式中在屏幕上顯示被疊置所述對象圖像的所述失真圖像。
[0343](19) 一種由終端裝置執(zhí)行的圖像處理方法，所述方法包括:
[0344]獲取示出真實世界的輸入圖像；以及
[0345]將所述輸入圖像傳送到服務(wù)器裝置，所述服務(wù)器裝置在通過根據(jù)特定標(biāo)準(zhǔn)使所述輸入圖像失真而生成的失真圖像的空白部分上疊置對象圖像，所述對象圖像對應(yīng)于將位于所述空白部分中并且使用表示真實世界中存在的對象的位置的模型而生成的對象
[0346]從所述服務(wù)器裝置接收所述失真圖像；以及
[0347]在屏幕上顯示接收到的失真圖像。
[0348](20) 一種使控制終端裝置的計算機用作如下單元的程序:
[0349]圖像獲取單元，所述圖像獲取單元獲取示出真實世界的輸入圖像；以及
[0350]控制單元，所述控制單元將所述輸入圖像傳送到服務(wù)器裝置，所述服務(wù)器裝置在通過根據(jù)特定標(biāo)準(zhǔn)使所述輸入圖像失真而生成的失真圖像的空白部分上疊置對象圖像，所述對象圖像對應(yīng)于將位于所述空白部分中并且使用表示真實世界中存在的對象的位置的模型而生成的對象，并且控制單元在屏幕上顯示從所述服務(wù)器裝置接收到的所述失真圖像。
[0351][附圖標(biāo)記列表]
[0352]100,200圖像處理裝置
[0353]120圖像獲取單元
[0354]140圖像處理單元
[0355]150,250對象圖像生成單元
[0356]160用戶接口單元
[0357]170導(dǎo)航單元
[0358]280仿真單元
[0359]290數(shù)據(jù)收集單元。
【權(quán)利要求】
1.一種信息處理系統(tǒng),包括: 電路，被配置成 獲取圖像數(shù)據(jù)； 根據(jù)預(yù)定失真標(biāo)準(zhǔn)使所獲取的圖像數(shù)據(jù)失真； 獲取與在所獲取的圖像中至少部分地被遮擋的對象相對應(yīng)的對象圖像； 使所述對象圖像與失真圖像數(shù)據(jù)組合；以及 輸出與所述對象圖像組合的所述失真圖像數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的信息處理系統(tǒng)，其中所獲取的圖像數(shù)據(jù)對應(yīng)于圖像捕獲裝置捕獲的真實世界圖像。
3.根據(jù)權(quán)利要求2所述的信息處理系統(tǒng)，其中所獲取的圖像數(shù)據(jù)是靜止圖像或者形成運動圖像的一系列靜止圖像。
4.根據(jù)權(quán)利要求1所述的信息處理系統(tǒng)，其中所述電路被配置成存儲指示真實世界中存在的對象的位置的模型。
5.根據(jù)權(quán)利要求4所述的信息處理系統(tǒng)，其中 所獲取的圖像數(shù)據(jù)對應(yīng)于圖像捕獲裝置捕獲的真實世界圖像，以及所述電路被配置成 從所獲取的圖像數(shù)據(jù)中檢測特征點； 基于從傳感器單元輸出的數(shù)據(jù)確定所述信息處理系統(tǒng)的位置和姿態(tài)；以及 從所述模型提取關(guān)于所述對象的特征點數(shù)據(jù)。
6.根據(jù)權(quán)利要求5所述的信息處理系統(tǒng)，其中所述電路被配置成: 使從所獲取的圖像數(shù)據(jù)檢測到的特征點與從所述模型提取的特征點匹配；以及 基于所述預(yù)定失真標(biāo)準(zhǔn)來修改匹配的特征點的位置。
7.根據(jù)權(quán)利要求1所述的信息處理系統(tǒng)，其中所述電路被配置成作為所述預(yù)定失真標(biāo)準(zhǔn)，通過改變所獲取的圖像數(shù)據(jù)中包括的道路中的彎曲，來使所獲取的圖像數(shù)據(jù)失真。
8.根據(jù)權(quán)利要求1所述的信息處理系統(tǒng)，其中所述電路被配置成作為所述預(yù)定失真標(biāo)準(zhǔn)，通過改變所獲取的圖像數(shù)據(jù)中的道路的坡度，來使所獲取的圖像數(shù)據(jù)失真。
9.根據(jù)權(quán)利要求1所述的信息處理系統(tǒng)，其中所述電路被配置成作為所述預(yù)定失真標(biāo)準(zhǔn)，通過省略所獲取的圖像數(shù)據(jù)中示出的建筑物，來使所獲取的圖像數(shù)據(jù)失真。
10.根據(jù)權(quán)利要求1所述的信息處理系統(tǒng)，其中所述電路被配置成作為所述預(yù)定失真標(biāo)準(zhǔn)，通過擴寬所獲取的圖像數(shù)據(jù)中包括的道路的寬度，來使所獲取的圖像數(shù)據(jù)失真。
11.根據(jù)權(quán)利要求1所述的信息處理系統(tǒng)，其中所述電路被配置成作為所述預(yù)定失真標(biāo)準(zhǔn)，通過放大所獲取的圖像數(shù)據(jù)中包括的一個建筑物后面的另一建筑物，來使所獲取的圖像數(shù)據(jù)失真。
12.根據(jù)權(quán)利要求1所述的信息處理系統(tǒng)，其中作為失真的結(jié)果，所述失真圖像數(shù)據(jù)包括空白部分。
13.根據(jù)權(quán)利要求12所述的信息處理系統(tǒng)，其中所述電路被配置成基于所述失真圖像數(shù)據(jù)中包括的空白部分來生成所述對象圖像。
14.根據(jù)權(quán)利要求1所述的信息處理系統(tǒng)，其中所述電路被配置成通過將所述對象圖像疊置在所述失真圖像數(shù)據(jù)上來使所述對象圖像與所述失真圖像數(shù)據(jù)組合。
15.根據(jù)權(quán)利要求14所述的信息處理系統(tǒng)，其中所述失真圖像數(shù)據(jù)是真實圖像數(shù)據(jù)并且所述對象圖像是圖標(biāo)。
16.根據(jù)權(quán)利要求1所述的信息處理系統(tǒng)，進(jìn)一步包括: 顯不器；以及 用戶接口，其中 所述電路被配置成基于在所述用戶接口處接收到的輸入來控制所述顯示器在顯示所獲取的圖像數(shù)據(jù)和所述失真圖像數(shù)據(jù)之間切換。
17.根據(jù)權(quán)利要求1所述的信息處理系統(tǒng)，其中， 所述信息處理系統(tǒng)是個人導(dǎo)航系統(tǒng)，以及 所述電路被配置成將導(dǎo)航方向疊置在與所述對象圖像組合的所述失真圖像數(shù)據(jù)上。
18.根據(jù)權(quán)利要求1所述的信息處理系統(tǒng)，其中所述信息處理系統(tǒng)是具有頭戴式眼鏡的形狀的可穿戴裝置。
19.一種由信息處理系統(tǒng)執(zhí)行的方法,所述方法包括: 獲取圖像； 通過所述信息處理系統(tǒng)的電路，根據(jù)預(yù)定失真標(biāo)準(zhǔn)使所獲取的圖像失真； 獲取與在所獲取的圖像數(shù)據(jù)中至少部分地被遮擋的對象相對應(yīng)的對象圖像； 通過所述電路，使所述對象圖像與失真圖像組合；以及 輸出與所述對象圖像組合的所述失真圖像。
20.一種包括計算機程序指令的非暫態(tài)的計算機可讀介質(zhì)，所述計算機程序指令在被信息處理系統(tǒng)執(zhí)行時使所述信息處理系統(tǒng): 獲取圖像； 根據(jù)預(yù)定失真標(biāo)準(zhǔn)使所獲取的圖像失真； 獲取與在所獲取的圖像數(shù)據(jù)中至少部分地被遮擋的對象相對應(yīng)的對象圖像； 使所述對象圖像與失真圖像組合；以及 輸出與所述對象圖像組合的所述失真圖像。
【文檔編號】G06F17/30GK103838370SQ201310587154
【公開日】2014年6月4日 申請日期:2013年11月20日 優(yōu)先權(quán)日:2012年11月27日
【發(fā)明者】竹內(nèi)雄一郎 申請人:索尼公司