圖像處理裝置、服務(wù)器和存儲介質(zhì)的制作方法
【專利摘要】本公開涉及一種圖像處理裝置。根據(jù)本公開的圖像處理裝置包括：提取單元，其被配置成從通過使用特定成像參數(shù)拍攝的圖像提取對象；測距單元，其被配置成獲取指示已拍攝圖像的圖像拍攝單元和已被成像的對象之間的距離的距離信息；通信單元，其具有第一傳送功能、第二傳送功能和接收功能；以及合成單元，其被配置成在第二圖像中包括的對象的區(qū)域中組合通信單元接收到的對象候選圖像。
【專利說明】圖像處理裝置、服務(wù)器和存儲介質(zhì)
[0001]相關(guān)申請的交叉引用
[0002]本申請要求在2013年6月14日提交的日本在先專利申請JP2013-125825的優(yōu)先權(quán)，其整體內(nèi)容通過引用合并于此。

【技術(shù)領(lǐng)域】
[0003]本公開涉及圖像處理裝置、服務(wù)器和存儲介質(zhì)。

【背景技術(shù)】
[0004]近年來，根據(jù)成像性能的顯著改進(jìn)，具有用于拍攝期望圖像的多種功能，諸如圖像穩(wěn)定功能、自動對焦功能和笑容檢測功能的攝像裝置已被開發(fā)。作為這些功能之一，圖像合成技術(shù)已被開發(fā)用于將圖像中包括的對象替換成另一期望對象并且執(zhí)行合成。
[0005]例如，JP2008-140107A公開了一種用于檢測拍攝圖像中包括的對象、光源方向和陰影方向，以及獲得具有相同或相近的光源方向或陰影方向的對象的合成圖像的技術(shù)。
[0006]此外，JP2001-86497A公開了一種用于通過將拍攝圖像分解成背景和對象來執(zhí)行圖像識別，將它們替換成代用素材并且執(zhí)行合成的技術(shù)。
[0007]此外，JP2010-244398A公開了一種用于基于拍攝圖像中包括的對象的大小來搜索合適的對象圖像并且執(zhí)行合成的技術(shù)。
[0008]此外，JP2003-116127A公開了一種用于自動地拍攝特定用戶的圖像并且向用戶提供所拍攝的視頻數(shù)據(jù)的技術(shù)。


【發(fā)明內(nèi)容】

[0009]不幸地，以上公開的技術(shù)難于執(zhí)行簡單的和自然的圖像合成。例如，JP2001-86497A和JP2010-244398A中公開的技術(shù)沒有執(zhí)行自然的圖像合成的視點。此外，JP2008-140107A中公開的技術(shù)需要檢測每個對象的光源方向和陰影方向的處理，而這并不容易。再者，JP2003-116127A中公開的技術(shù)事實上可以獲得特定用戶的各種圖像數(shù)據(jù)，但是不能通過選擇合適的圖像來執(zhí)行圖像合成。
[0010]根據(jù)本公開的實施例，提出了能夠執(zhí)行較簡單和自然的圖像合成的新型的和改進(jìn)的圖像處理裝置、服務(wù)器和存儲介質(zhì)。
[0011]根據(jù)本公開的一個實施例，提供了一種圖像處理裝置，其包括:
[0012]根據(jù)本公開的另一實施例，提供了一種服務(wù)器，其包括:
[0013]根據(jù)本公開的另一實施例，提供了一種具有存儲在其中的程序的非暫態(tài)的計算機可讀存儲介質(zhì)，該程序使計算機執(zhí)行如下操作:
[0014]根據(jù)本公開的另一實施例，提供了一種具有存儲在其中的程序的非暫態(tài)的計算機可讀存儲介質(zhì)，該程序使計算機執(zhí)行如下操作:
[0015]根據(jù)本公開的一個或更多個實施例，可以執(zhí)行較簡單和自然的圖像合成。

【專利附圖】

【附圖說明】
[0016]圖1示出了根據(jù)本公開的一個實施例的圖像合成技術(shù)的概況；
[0017]圖2是示出根據(jù)第一實施例的圖像合成系統(tǒng)的配置的框圖；
[0018]圖3是根據(jù)第一實施例的積累處理的流程圖；
[0019]圖4示出了均根據(jù)第一實施例的對象提取處理和獲取對象屬性信息的處理的示例；
[0020]圖5是示出根據(jù)第一實施例的合成處理的流程圖；
[0021]圖6示出了根據(jù)第一實施例的合成處理的示例；
[0022]圖7示出了根據(jù)第一實施例的合成處理的示例；
[0023]圖8示出了根據(jù)第一實施例的合成處理的示例；
[0024]圖9示出了根據(jù)第一實施例的合成處理的示例；
[0025]圖10是示出根據(jù)第二實施例的圖像合成系統(tǒng)的配置的框圖；
[0026]圖11是示出根據(jù)第二實施例的積累處理的流程圖；以及
[0027]圖12是示出根據(jù)第二實施例的合成處理的流程圖。

【具體實施方式】
[0028]在下文中，將參照附圖詳細(xì)描述本公開的優(yōu)選實施例。注意，在該說明書和附圖中，具有基本上相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件由相同的附圖標(biāo)記表示，并且省略了這些結(jié)構(gòu)元件的重復(fù)說明。
[0029]注意，描述將按如下順序進(jìn)行。
[0030]1.根據(jù)本公開的一個實施例的圖像合成技術(shù)的概況
[0031]2.實施例
[0032]2-1.第一實施例
[0033]2-1-1.圖像合成系統(tǒng)的配置
[0034]2-1-2.圖像合成系統(tǒng)的操作處理
[0035]2-2.第二實施例
[0036]2-2-1.圖像合成系統(tǒng)的配置
[0037]2-2-2.圖像合成系統(tǒng)的操作處理
[0038]3.結(jié)論
[0039]?1.根據(jù)本公開的一個實施例的圖像合成技術(shù)的概況》
[0040]首先，將參照圖1描述根據(jù)本公開的一個實施例的圖像合成技術(shù)的概況。
[0041]圖1示出了根據(jù)本公開的一個實施例的圖像合成技術(shù)的概況。如圖1中所示，攝像裝置IC通過拍攝被攝體3A、3B和3C的圖像來獲得圖像Pl，但是被攝體3A在圖像Pl中眨眼。因此，通過根據(jù)該實施例的合成處理，攝像裝置IC將服務(wù)器2中積累的圖像與圖像Pl組合，從而生成圖像P2，其中被攝體3A正在微笑。在根據(jù)該實施例的合成處理中，通過使用過去拍攝并且在服務(wù)器2中積累的圖像來執(zhí)行圖像合成。如圖1中所示，在過去，攝像裝置IA拍攝被攝體3A在日間在公園中在場景4A中的圖像，被攝體3A距攝像裝置IA具有距離5A，并且攝像裝置IB拍攝被攝體3A在夜間在市區(qū)中在場景4B中的圖像，被攝體3A距攝像裝置IB具有距離5B。注意，在不必進(jìn)行區(qū)分的情況下，攝像裝置1A、1B和IC被共同稱為攝像裝置I。
[0042]根據(jù)該實施例的圖像合成系統(tǒng)包括攝像裝置I和服務(wù)器2。在下文中，在服務(wù)器2中積累顯示裝置I拍攝的圖像的處理被稱為積累處理，并且將積累的圖像與拍攝圖像組合的處理被稱為合成處理。注意，拍攝要積累的圖像的攝像裝置I和拍攝作為合成目標(biāo)的圖像的攝像裝置I可以相同或不同。
[0043]服務(wù)器2存儲示出過去拍攝的多種對象的對象圖像。這里，對象包括可以作為被攝體的各種物體。例如，人是對象，并且人的器官，諸如眼睛、耳朵、臉、手、腿和軀干，是對象。一個對象的范圍根據(jù)圖像拍攝距離而不同。例如，在近距離拍攝樹的圖像的情況下，一片樹葉或者一根樹枝可以是對象；在遠(yuǎn)距離拍攝樹的圖像的情況下，一棵樹可以是對象；在從更遠(yuǎn)的距離拍攝樹的圖像的情況下，整片森林可以是對象。
[0044]對象圖像是包括一個對象的圖像并且是拍攝圖像中的區(qū)域。在圖1中所示的示例中，在攝像裝置IA在場景4A中拍攝的圖像中，服務(wù)器2存儲被攝體3A的臉部(對象)的圖像作為對象圖像6-1。
[0045]此外，圖1中所示的服務(wù)器2與指示對象圖像的屬性的對象屬性信息相關(guān)聯(lián)地存儲對象圖像。在圖1中所示的示例中，服務(wù)器2與對象圖像6-1相關(guān)聯(lián)地存儲對象屬性信息7-1，對象屬性信息7-1指示攝像裝置IA和對象圖像6-1中示出的對象(被攝體3A的臉)之間的圖像拍攝距離是距離5A。
[0046]通過相似的方式，服務(wù)器2與指示圖像拍攝距離是距離5B的對象屬性信息7-2相關(guān)聯(lián)地存儲作為場景4B中的被攝體3A的臉部的對象圖像6-2。此外，服務(wù)器2相似地與對象屬性信息7-3相關(guān)聯(lián)地存儲作為在另一場景中拍攝的被攝體3A的臉部的對象圖像6-3。
[0047]上文已描述了根據(jù)該實施例的圖像合成系統(tǒng)執(zhí)行的積累處理。接下來，將描述根據(jù)該實施例的圖像合成系統(tǒng)執(zhí)行的合成處理。
[0048]如圖1中所示，攝像裝置IC通過在日間在室外在場景4C中拍攝具有距攝像裝置IC的距離5C的被攝體3A、3B和3C的圖像來獲得圖像P1。然而，被攝體3A在圖像Pl中眨目艮。因此，攝像裝置IC向服務(wù)器2發(fā)送關(guān)于可用于將圖像Pl中的被攝體3A的臉區(qū)域替換成被攝體3A不眨眼的另一圖像的合適的對象圖像的詢問。
[0049]在接收到該詢問之后，服務(wù)器2首先從圖像Pl中的對象3A的臉部的對象圖像獲取對象屬性信息。隨后，基于所獲取的對象屬性信息，服務(wù)器2從迄今為止積累的其他對象圖像中搜索合適的對象圖像。更具體地，通過使用對象3A的臉部的對象圖像的對象屬性信息作為搜索關(guān)鍵項，服務(wù)器2搜索與相同的或基本上相同的對象屬性信息相關(guān)聯(lián)并且包括被攝體3A的臉的對象圖像。例如，在距離5A等于或幾乎等于圖1中的距離5C的情況下，服務(wù)器2與指示圖像拍攝距離是距離5A的對象屬性信息7-1相關(guān)聯(lián)地搜索對象圖像6-1。
[0050]接下來，服務(wù)器2將找到的對象圖像6-1傳送到攝像裝置1C。隨后，攝像裝置IC將接收到的對象圖像6-1組合在圖像Pl中的被攝體3A的臉區(qū)域中，從而生成圖像P2。通過這種方式，攝像裝置IC可以獲得圖像P2，其中被攝體3A沒有眨眼并且正在微笑。由于圖像P2的臉區(qū)域的圖像拍攝距離和其他對象屬性信息在合成之前和之后沒有極大地改變，因此可以防止由于合成引起的不自然的圖像。注意，圖像P2可以由服務(wù)器2生成并且被傳送到攝像裝置1C。
[0051]對象屬性信息不僅可以包含圖像拍攝距離，而且可以包含當(dāng)拍攝對象圖像時獲取的各種信息以及通過分析對象圖像獲取的各種信息。例如，對象屬性信息可以包含關(guān)于圖像拍攝時間、圖像拍攝位置、圖像拍攝方向和圖像拍攝透鏡的信息，指示被攝體是否正在微笑的微笑信息等。例如，在圖1中所示的示例中，響應(yīng)于來自攝像裝置IC的請求，服務(wù)器2可以通過使用圖像Pl的圖像拍攝時間是日間并且被攝體正在微笑的事實作為搜索關(guān)鍵項，將相似地在日間拍攝并且其中被攝體正在微笑的對象圖像6-1傳送到攝像裝置1C。盡管對象屬性信息已被描述為由服務(wù)器2獲取，但是對象屬性信息也可以由攝像裝置IC獲取并且被傳送到服務(wù)器2。
[0052]這里，在JP2008-140107A中公開的技術(shù)中，對于每個對象需要檢測光源方向和陰影方向的處理。相反，在以上合成處理中，在不檢測光源方向和陰影方向的情況下，可以基于圖像拍攝時間和圖像拍攝方向來搜索合適的對象圖像，因為在相同時間在相同方向上拍攝的圖像具有相同的光源方向和陰影方向。
[0053]上文已描述了根據(jù)本公開的一個實施例的圖像合成技術(shù)的概況。接下來，將參照圖2至圖9描述包括攝像裝置I和服務(wù)器2的圖像合成系統(tǒng)的配置和操作處理，圖像合成系統(tǒng)被配置成執(zhí)行均根據(jù)本公開的實施例的積累處理和合成處理。
[0054]?2.實施例 >>
[0055]<2-1.第一實施例 >
[0056][2-1-1.圖像合成系統(tǒng)的配置]
[0057]在該實施例中，在服務(wù)器2中執(zhí)行涉及上述合成處理和積累處理的大部分處理。首先，將參照圖2描述圖像合成系統(tǒng)的配置。
[0058]圖2是示出根據(jù)第一實施例的圖像合成系統(tǒng)的配置的框圖。如圖2中所示，圖像合成系統(tǒng)包括通過網(wǎng)絡(luò)8相互連接的攝像裝置1-1 (圖像處理裝置)和服務(wù)器2-1 (外部裝置)。
[0059](網(wǎng)絡(luò)8)
[0060]網(wǎng)絡(luò)8包括例如互聯(lián)網(wǎng)、專用線路、互聯(lián)網(wǎng)協(xié)議虛擬私有網(wǎng)絡(luò)(IP-VPN)等。
[0061](攝像裝置1-1)
[0062]如圖2中所示，攝像裝置1-1包括圖像拍攝單元11、設(shè)定單元12、通信單元13和顯示單元14。
[0063]-圖像拍攝單元11
[0064]圖像拍攝單元11包括:透鏡系統(tǒng)，其包括圖像拍攝透鏡、光圈、變焦透鏡、對焦透鏡等；驅(qū)動系統(tǒng)，其使透鏡系統(tǒng)執(zhí)行對焦操作和變焦操作；固態(tài)圖像傳感器陣列，其通過對透鏡系統(tǒng)獲得的圖像拍攝光進(jìn)行光電轉(zhuǎn)換來生成圖像拍攝信號；等等。固態(tài)圖像傳感器陣列可以由例如電荷耦合器件(CCD)傳感器陣列或者互補金屬氧化物半導(dǎo)體(CMOS)傳感器陣列形成。
[0065]根據(jù)該實施例的圖像拍攝單元11通過使用特定成像參數(shù)來拍攝圖像。這些成像參數(shù)是與圖像拍攝透鏡相關(guān)的信息，包含快門速度、光圈、透鏡F數(shù)、CXD像素的數(shù)目、對焦位置、變焦率等，以及包含圖像拍攝日期、圖像拍攝單元11的傾度或面對方向等的信息。此夕卜，成像參數(shù)可以包括與可交換圖像文件格式(EXIF)的信息相似的信息，諸如國際標(biāo)準(zhǔn)化組織(ISO)速度、曝光時間和白平衡。根據(jù)該實施例的圖像拍攝單元11通過將這些成像參數(shù)中的可調(diào)整的參數(shù)如快門速度設(shè)定為固定值或者特定的極限數(shù)值來拍攝圖像。如下文所述，這用于使服務(wù)器2-1執(zhí)行的搜索處理更簡單。
[0066]圖像拍攝單元H與圖像拍攝時間處的成像參數(shù)相關(guān)聯(lián)地將拍攝圖像輸出到通信單元13。
[0067]-設(shè)定單元12
[0068]設(shè)定單元12具有將圖像拍攝單元11拍攝的拍攝圖像設(shè)定為服務(wù)器2-1中的積累處理的目標(biāo)或者服務(wù)器2-1中的合成處理的目標(biāo)的功能。在拍攝圖像被設(shè)定為合成處理的目標(biāo)的情況下，設(shè)定單元12生成合成指令信息，其調(diào)節(jié)合成處理的內(nèi)容。合成指令信息包含目標(biāo)對象信息和優(yōu)先級信息，目標(biāo)對象信息指示拍攝圖像中的哪個對象區(qū)域?qū)⒊蔀楹铣商幚淼哪繕?biāo)，并且優(yōu)先級信息指示當(dāng)搜索后面描述的對象候選圖像時要優(yōu)先對待的對象屬性信息。
[0069]設(shè)定單元12可以基于使用攝像裝置1-1的用戶的輸入來設(shè)定合成指令信息或者可以根據(jù)拍攝圖像的內(nèi)容被自動設(shè)定。例如，在拍攝圖像中的被攝體眨眼或者沒有微笑的情況下，設(shè)定單元12設(shè)定包含指示被攝體的臉區(qū)域的目標(biāo)對象信息以及要優(yōu)先對待微笑圖像的優(yōu)先級信息的合成指令信息。此外，在逆光取得拍攝圖像的情況下，設(shè)定單元12設(shè)定包含涉及光源的位置和方向的優(yōu)先級信息的合成指令信息，使得可以優(yōu)先對待順光取得的對象圖像。
[0070]同時，在圖像拍攝單元11拍攝的拍攝圖像被設(shè)定為積累處理的目標(biāo)的情況下，設(shè)定單元12生成指示拍攝圖像是積累處理的目標(biāo)的積累指令信息。
[0071]設(shè)定單元12將所生成的合成指令信息或積累指令信息輸出到通信單元13。
[0072]-通信單元13
[0073]通信單元13是用于有線地或無線地向/從另一信息處理裝置傳送和接收數(shù)據(jù)的通信模塊。例如，通信單元13連接到局域網(wǎng)(LAN)，電話線路等，以經(jīng)由網(wǎng)絡(luò)8與服務(wù)器2-1通信。
[0074]在設(shè)定單元12輸出積累指令信息的情況下，通信單元13與成像參數(shù)和積累指令信息相關(guān)聯(lián)地將從圖像拍攝單元11輸出的拍攝圖像(第一圖像)傳送到服務(wù)器2-1。
[0075]同時，在設(shè)定單元12輸出合成指令信息的情況下，通信單元13與成像參數(shù)和合成指令信息相關(guān)聯(lián)地將從圖像拍攝單元11輸出的拍攝圖像(第二圖像)傳送到服務(wù)器2-1。因此，在服務(wù)器2-1中對所傳送的拍攝圖像執(zhí)行后面將具體描述的合成處理，并且所生成的合成圖像被傳送到通信單元13。通信單元13將接收到的合成圖像輸出到顯示單元14。
[0076]-顯示單元14
[0077]例如，顯示單元14實時地顯示圖像拍攝單元11拍攝的拍攝圖像并且顯示從通信單元13輸出的合成圖像。顯示單元14由例如液晶顯示器(LCD)或有機發(fā)光二極管(OLED)形成。
[0078]上文描述了攝像裝置1-1的配置。接下來，將描述服務(wù)器2-1的配置。
[0079](服務(wù)器2-1)
[0080]如圖2中所示，服務(wù)器2-1包括通信單元21、提取單元22、屬性信息獲取單元23、記錄控制單元24、存儲器單元25和合成單元26。
[0081]-通信單元21
[0082]通信單元21是用于有線地或無線地向/從另一信息處理裝置傳送和接收數(shù)據(jù)的通信模塊。例如，通信單元21連接到LAN，電話線路等，以經(jīng)由網(wǎng)絡(luò)8與攝像裝置1-1通信。
[0083]更具體地，通信單元21從攝像裝置1-1接收拍攝圖像、成像參數(shù)以及積累指令信息或合成指令信息。此外，通信單元21將從上述合成單元26輸出的合成圖像傳送到攝像裝置1-1。
[0084]通信單元21將接收到的拍攝圖像、成像參數(shù)以及積累指令信息或合成指令信息輸出到提取單元22和合成單元26。
[0085]-提取單元22
[0086]提取單元22具有從圖像中提取對象的功能。提取單元22通過模式識別、機器學(xué)習(xí)等從通信單元21接收到的拍攝圖像中提取對象。此外，提取單元22可以通過基于關(guān)于后面描述的測距單元231獲取的每個像素的距離信息將邊緣部分識別為對象的邊界線，從拍攝圖像中提取對象。
[0087]提取單元22將提取的對象和從通信單元21輸出的成像參數(shù)輸出到屬性信息獲取單元23。此外，提取單元22將提取的對象、成像參數(shù)和積累指令信息或合成指令信息輸出到記錄控制單元24。注意，提取單元22可以輸出示出提取的對象的對象圖像或者指示拍攝圖像中的對象范圍的信息。
[0088]-屬性信息獲取單元23
[0089]屬性信息獲取單元23具有從提取單元22提取的對象中獲取對象屬性信息的功能。屬性信息獲取單元23用作測距單元231、時間獲取單元232和標(biāo)志生成單元233。
[0090]-測距單元231
[0091]測距單元231具有獲取指示拍攝接收到的拍攝圖像的圖像拍攝單元11和已被成像的對象之間的距離(圖像拍攝距離)的距離信息的功能。例如，測距單元231通過基于成像參數(shù)估計距離來獲取距離信息。在成像參數(shù)包括圖像拍攝距離的情況下，測距單元231可以從成像參數(shù)獲取距離信息。替選地，測距單元231可以基于拍攝圖像中的光和陰影或者亮度的不同來估計圖像拍攝距離。進(jìn)一步替選地，測距單元231可以通過圖像識別來指定拍攝圖像中包括的諸如山或建筑物的對象并且基于對象的全球定位系統(tǒng)(GPS)信息來估計距離。測距單元231可以通過獲取對象的距離信息并且例如以對象為單位對圖像拍攝距離取平均來獲取對象的距離信息。
[0092]測距單元231將獲取的距離信息輸出到記錄控制單元24。
[0093]-時間獲取單元232
[0094]時間獲取單元232具有生成指示拍攝對象的圖像的時間的時間信息的功能。時間獲取單元232獲取成像參數(shù)中包括的圖像拍攝時間并且生成時間信息。
[0095]時間獲取單元232將所生成的時間信息輸出到記錄控制單元24。
[0096]-標(biāo)志生成單元233
[0097]標(biāo)志生成單元233具有生成指示提取單元22提取的對象是否是前景的標(biāo)志信息的功能。這里，前景意味著圖像的最前部。在對象和拍攝該對象的圖像的圖像拍攝單元之間不存在障礙物的情況下，標(biāo)志生成單元233生成指示對象是前景的標(biāo)志信息。同時，在對象不是圖像的最前部的情況下，標(biāo)志生成單元233生成指示對象是背景的標(biāo)志信息。例如，標(biāo)志生成單元233生成如下標(biāo)志信息，其中基于成像參數(shù)以及測距單元231獲取的對象的距離信息，重疊的對象中的最短距離處的對象被設(shè)定為前景，而其他對象被設(shè)定為背景。
[0098]盡管在本說明書中，描述了作為前景和背景的兩類標(biāo)志信息的示例，但是標(biāo)志信息可以具有更多類別。例如，標(biāo)志生成單元233可以基于每個對象的圖像拍攝距離來生成如下標(biāo)志信息，其更具體地表述圖像中的分層結(jié)構(gòu)，諸如“短距離處的前景”、“長距離處的前景”、“短距離處的背景”和“長距離處的背景”。
[0099]標(biāo)志生成單元233將所生成的標(biāo)志信息輸出到記錄控制單元24。
[0100]-存儲器單元25
[0101]存儲器單元25是在特定記錄介質(zhì)中記錄并讀出數(shù)據(jù)的部件。存儲器單元25被形成為例如硬盤驅(qū)動器(HDD)。毋庸贅言，記錄介質(zhì)可以是如下各種介質(zhì)中的任何介質(zhì):諸如閃速存儲器的固態(tài)存儲器、并入固定存儲器的存儲器卡、光盤、磁光盤、全息存儲器等。存儲器單元25被配置成根據(jù)所采用的記錄介質(zhì)來執(zhí)行記錄和再現(xiàn)。
[0102]在下文將描述的記錄控制單元24的控制下，存儲器單元25與對象屬性信息相關(guān)聯(lián)地記錄對象圖像并且讀出對象圖像。
[0103]-記錄控制單元24
[0104]記錄控制單元24具有基于從攝像裝置1-1接收到的積累指令信息或合成指令信息將信息記錄在存儲器單元25中并且讀出存儲器單元25中記錄的信息的功能。
[0105]在接收到積累指令信息的情況下，記錄控制單元24與對象屬性信息相關(guān)聯(lián)地將示出提取單元22提取的對象的對象圖像記錄在存儲器單元25中。這里，對象屬性信息包含與攝像裝置1-1的圖像拍攝透鏡相關(guān)的信息，包括圖像拍攝單元11的傾度和方向的成像參數(shù)。對象屬性信息還包含從屬性信息獲取單元23輸出的距離信息、時間信息和標(biāo)志信息。對象屬性信息進(jìn)一步包含用于識別對象的識別信息。
[0106]例如，記錄控制單元24通過對象圖像的圖像識別指定對象，并且當(dāng)同一對象記錄在存儲器單元25中時給出同一識別信息，并且當(dāng)同一對象未被記錄在存儲器單元25中時給出新的識別信息。這里，在攝像裝置1-1具有唯一攝像裝置識別信息的情況下，由于同一個人極有可能由同一攝像裝置1-1成像，因此記錄控制單元24可以引用攝像裝置識別信息以指定對象。注意，識別信息可以由屬性信息獲取單元23獲取。
[0107]下文示出了與對象圖像相關(guān)聯(lián)地記錄在存儲器單元25中的對象屬性信息的示例。
[0108]-成像參數(shù):
[0109]快門速度、光圈、透鏡F數(shù)、CXD像素數(shù)、對焦位置、變焦率、圖像拍攝單元11的傾度和方向、ISO速度、曝光時間、白平衡等。
[0110]-標(biāo)志信息
[0111]-距離信息
[0112]-時間信息
[0113]-識別信息
[0114]以上對象屬性信息僅是示例并且可以包含其他給定信息。例如，對象屬性信息可以包含在拍攝圖像時的諸如太陽或路燈的光源的位置和角度、對比度信息、指示被攝體是移動體還是靜止體的信息、指示對象種類諸如人、動物或植物的信息、等等。
[0115]同時，在接收到合成指令信息的情況下，記錄控制單元24基于包含距離信息、時間信息、成像參數(shù)等的對象屬性信息來搜索存儲器單元25以尋找與提取單元22提取的對象對應(yīng)的對象圖像。這里，記錄控制單元24搜索與合成指令信息中包含的目標(biāo)對象信息示出的對象對應(yīng)的對象圖像,作為合成處理的候選。在下文中，通過此時的記錄控制單元24的搜索獲得的對象圖像還被稱為對象候選圖像。
[0116]更具體地，記錄控制單元24與對象屬性信息相關(guān)聯(lián)地搜索存儲器單元25中記錄的、適用于接收到的拍攝圖像中的對象的對象屬性信息的對象圖像，作為對象候選圖像。例如，記錄控制單元24與該對象屬性信息相關(guān)聯(lián)地搜索如下對象候選圖像，其中識別信息與接收到的拍攝圖像中的對象的識別信息相同，并且成像參數(shù)、圖像拍攝距離、圖像拍攝時間以及對象是前景還是背景與接收到的拍攝圖像中的對象的成像參數(shù)、圖像拍攝距離、圖像拍攝時間以及對象是前景還是背景相同或相似。這里，如上文所述，由于攝像裝置1-1通過使用特定成像參數(shù)拍攝圖像，因此成像參數(shù)并非過度多樣的。因此，記錄控制單元24可以容易地與相同或相似的對象屬性信息相關(guān)聯(lián)地搜索對象候選圖像。
[0117]此時，基于合成指令信息中包含的優(yōu)先級信息指示的被優(yōu)先對待的對象屬性信息，記錄控制單元24搜索具有相同或相似的被優(yōu)先對待的對象屬性信息的對象候選圖像。例如，在被優(yōu)先對待的對象屬性信息是距離信息的情況下，記錄控制單元24搜索具有相同或相似的圖像拍攝距離的對象候選圖像。此外，在被構(gòu)造為優(yōu)先級信息是作為前景的標(biāo)志信息的情況下，記錄控制單元24搜索前景的對應(yīng)的對象候選圖像，即使接收到的拍攝圖像中的對象是背景。
[0118]隨后，記錄控制單元24將找到的對象候選圖像輸出到合成單元26。此時，記錄控制單元24還與對象候選圖像相關(guān)聯(lián)地將已記錄在存儲器單元25中的對象屬性信息輸出到合成單元26。
[0119]-合成單元26
[0120]合成單元26具有將存儲器單元25中記錄的對象圖像與通信單元21連同合成指令信息一起接收到的拍攝圖像組合的功能。更具體地，合成單元26生成合成圖像，其中記錄控制單元24找到的對象候選圖像在合成指令信息中包含的目標(biāo)對象信息指示的拍攝圖像中的對象區(qū)域中被組合。這里，由于作為合成目標(biāo)的圖像區(qū)域的對象屬性信息與對象候選圖像的對象屬性信息相同或相似，因此被成像的對象的大小、對比度、角度等相同或相似。因此，合成單元26可以在例如不調(diào)整大小或者校正對比度的情況下執(zhí)行自然的圖像合成。注意，為了執(zhí)行更自然的圖像合成，合成單元26可以例如額外地調(diào)整大小或者校正對比度。通過該方式，合成單元26可以執(zhí)行容易的和自然的圖像合成。
[0121]對于合成單元26執(zhí)行的對象的合成處理可以考慮各種情況。例如，合成單元26可以將拍攝圖像中包括的對象替換為存儲器單元25中記錄的相應(yīng)的對象。替選地，合成單元26可以刪除拍攝圖像中包括的對象并且利用存儲器單元25中記錄的對象補償由于刪除引起的缺失部分。此外，合成單元26可以將新的對象添加到拍攝圖像。
[0122]合成單元26將所生成的合成圖像輸出到通信單元21。如上文所述，通信單元21將合成單元26生成的合成圖像傳送回已連同合成指令信息一起傳送拍攝圖像的攝像裝置
1-1 ο
[0123]上文已描述了根據(jù)該實施例的圖像合成系統(tǒng)的配置。接下來，將參照圖3至圖9描述根據(jù)該實施例的圖像合成系統(tǒng)的操作處理。
[0124][2-1-2.圖像合成系統(tǒng)的操作處理]
[0125]根據(jù)該實施例的操作處理被分成其中服務(wù)器2-1積累對象圖像的積累處理和其中服務(wù)器2-1通過使用積累的對象圖像執(zhí)行圖像合成的合成處理。首先，下文將參照圖3和圖4描述積累處理。
[0126](積累處理)
[0127]圖3是示出根據(jù)第一實施例的積累處理的流程圖。如圖3中所示，首先，在步驟S104中，攝像裝置1-1的圖像拍攝單元11通過使用特定成像參數(shù)來拍攝圖像。
[0128]接下來，在步驟S108中，攝像裝置1-1的通信單元13與成像參數(shù)和積累指令信息相關(guān)聯(lián)地將拍攝圖像傳送到服務(wù)器2-1。
[0129]接下來，在步驟S112中，服務(wù)器2-1的提取單元22從接收到的拍攝圖像中提取對象，并且隨后在步驟S116中，服務(wù)器2-1的屬性信息獲取單元23獲取每個對象的對象屬性信息。這里，將參照圖4具體描述步驟S112和S116中的操作處理。
[0130]圖4示出了均根據(jù)第一實施例的對象提取處理以及獲取對象屬性信息的處理的示例。如圖4中所示，攝像裝置1-1拍攝圖像P3。在圖像P3中，使在最前部的被攝體3D和柵欄9成像，并且使在柵欄9后面的被攝體3E成像。
[0131]提取單元22從圖像P3提取對象圖像6-4、6_5和6-6。這里，對象圖像6_4包括被攝體3D，對象圖像6-5包括柵欄9，并且對象圖像6-6包括被攝體3E。這里，由于在拍攝圖像時對象圖像6-6中的被攝體3E站在柵欄9后面，因此軀干部分的圖像未被拍攝并且缺失。
[0132]因此，標(biāo)志生成單元233生成指示對象圖像6-4和6_5是前景并且對象圖像6_6是背景的標(biāo)志信息。此外，測距單元231獲取每個對象的距離信息，并且時間獲取單元232獲取每個對象的時間信息。通過該方式，屬性信息獲取單元23獲取分別與所提取的對象圖像6-4、6-5和6-6相關(guān)的對象屬性信息7-4、7-5和7_6。
[0133]回到圖3中的流程圖的描述。在上文描述的步驟S112和S116之后，在步驟S120中，記錄控制單元24與對象屬性信息相關(guān)聯(lián)地將提取單元22提取的對象圖像記錄在存儲器單元25中。這里，存儲器單元25中記錄的對象屬性信息包含屬性信息獲取單元23獲取的信息、通信單元21接收到的成像參數(shù)以及對象的識別信息。
[0134]上文已描述了圖像合成系統(tǒng)執(zhí)行的積累處理。接下來，將參照圖5至圖9描述圖像合成系統(tǒng)執(zhí)行的合成處理。
[0135](合成處理)
[0136]圖5是示出根據(jù)第一實施例的合成處理的流程圖。如圖5中所示，首先，在步驟S204中，攝像裝置1-1通過使用特定成像參數(shù)來拍攝圖像。
[0137]接下來，在步驟S208中，攝像裝置1-1與成像參數(shù)和合成指令信息相關(guān)聯(lián)地將拍攝圖像傳送到服務(wù)器2-1。
[0138]接下來，在步驟S212中，服務(wù)器2-1的提取單元22從接收到的拍攝圖像中提取對象，并且隨后在步驟S216中，屬性信息獲取單元23獲取對象屬性信息。
[0139]接下來，在步驟S220中，基于合成指令信息，記錄控制單元24搜索存儲器單元25以尋找適用于作為合成目標(biāo)的對象的對象候選圖像。更具體地，基于合成指令信息中包含的優(yōu)先級信息指示的被優(yōu)先對待的對象屬性信息，記錄控制單元24搜索具有相同或相似的被優(yōu)先對待的對象屬性信息的對象候選圖像。
[0140]隨后，在步驟S224中，合成單元26在從攝像裝置1_1接收到的拍攝圖像中的作為合成目標(biāo)的對象區(qū)域中組合記錄控制單元24找到的對象候選圖像，從而生成合成圖像。
[0141]注意，后面將詳細(xì)描述步驟S220和S224中的具體操作處理。
[0142]接下來，在步驟S228中，服務(wù)器2-1的通信單元21將合成單元26生成的合成圖像傳送到攝像裝置1-1。
[0143]接下來，在步驟S232中，攝像裝置1-1的顯示單元14顯示從服務(wù)器2_1接收到的合成圖像。
[0144]上文已描述了圖像合成系統(tǒng)執(zhí)行的合成處理。接下來，將參照圖6至圖9描述圖5中的步驟S220和S224中的具體操作處理。首先，將參照圖6描述作為合成處理的一個示例的對象的替換。
[0145]-對象的替換
[0146]圖6示出了根據(jù)第一實施例的合成處理的示例。如圖6中所示，服務(wù)器2-1針對上文參照圖4描述的圖像P3執(zhí)行合成處理。注意，服務(wù)器2-1已從攝像裝置1-1連同圖像P3 一起接收到包含指示被攝體3E是替換目標(biāo)的目標(biāo)對象信息以及指示前景要被優(yōu)先對待的優(yōu)先級信息的合成指令信息。
[0147]在該情況下，首先，提取單元22如上文參照圖4描述的那樣從圖像P3提取對象圖像6-4、6-5和6-6，并且獲取各條對象屬性信息(步驟S212和S216)。接下來，記錄控制單元24搜索存儲器單元25以尋找與包括作為替換目標(biāo)的被攝體3E的對象圖像6-6對應(yīng)的對象候選圖像。
[0148]這里，服務(wù)器2-1已通過先前的積累處理與對象屬性信息相關(guān)聯(lián)地將除了標(biāo)志信息以外對象屬性信息與對象圖像6-6的對象屬性信息相同或相似的對象圖像6-7和6-8記錄在存儲器單元25中。對象圖像6-7與包含如下標(biāo)志信息的對象屬性信息7-7相關(guān)聯(lián)，該標(biāo)志信息指示對象是背景，并且被成像的被攝體3E的胸部下方右側(cè)的圖像由于拍攝圖像時存在的特定障礙物而未被拍攝。此外，對象圖像6-8與包含如下標(biāo)志信息的對象屬性信息7-8相關(guān)聯(lián)，該標(biāo)志信息指示對象是前景，并且由于拍攝圖像時沒有障礙物，因此被成像的被攝體3E沒有未被成像的部分。
[0149]基于指示前景要被優(yōu)先對待的優(yōu)先級信息，記錄控制單元24與指示對象是前景的標(biāo)志信息相關(guān)聯(lián)地從對象圖像6-7和6-8中搜索對象圖像6-8，作為對象候選圖像。隨后，合成單元26刪除圖像P3中包括的被攝體3E (對象圖像6-6)并且組合對象圖像6_8，從而獲得其中作為背景的被攝體3E被替換為前景的圖像P4。
[0150]上文已描述了對象的替換。接下來，將參照圖7描述作為合成處理的一個示例的對象的刪除。
[0151]-對象的刪除
[0152]圖7示出了根據(jù)第一實施例的合成處理的示例。如圖7中所示，服務(wù)器2-1針對上文參照圖4描述的圖像P3執(zhí)行合成處理。注意，服務(wù)器2-1已從攝像裝置1-1連同圖像P3 一起接收到指示柵欄9是刪除目標(biāo)的目標(biāo)對象信息。
[0153]在該情況下，首先，提取單元22如上文參照圖4描述的那樣從圖像P3提取對象圖像6-4、6-5和6-6，并且獲取各條對象屬性信息(步驟S212和S216)。
[0154]接下來，合成單元26從圖像P3刪除對象圖像6-5和6_6，從而獲得其中柵欄9和被攝體3E被刪除的圖像P5。這是因為在拍攝圖像時被攝體3E在柵欄9后面，簡單地刪除柵欄9將產(chǎn)生其中被攝體3E的軀干部分未被成像的不自然的圖像。
[0155]接下來，記錄控制單元24搜索其中被攝體3E被成像并且存在未被成像的部分的對象候選圖像。更具體地，記錄控制單元24搜索存儲器單元25以尋找與圖像P3中的被攝體3E對應(yīng)并且與指示對象是前景的標(biāo)志信息相關(guān)聯(lián)的對象候選圖像。
[0156]這里，如果存儲器單元25已記錄上文參照圖6描述的對象圖像6-8和對象屬性信息7-8，則記錄控制單元24搜索對象圖像6-8，作為對象候選圖像。隨后，合成單元26在圖像P5中的、與圖像P3中的被攝體3E的區(qū)域?qū)?yīng)的區(qū)域中組合對象圖像6-8，從而獲得其中柵欄9被從圖像P3刪除的圖像P6。
[0157]上文已描述了對象的刪除。接下來，將參照圖8描述作為合成處理的一個示例的對象的補償。
[0158]-對象的補償
[0159]圖8示出了根據(jù)第一實施例的合成處理的示例。如圖8中所示，服務(wù)器2-1針對上文參照圖4描述的圖像P3執(zhí)行合成處理。注意，服務(wù)器2-1已從攝像裝置1-1連同圖像P3 一起接收到指示柵欄9是刪除目標(biāo)的目標(biāo)對象信息。
[0160]在該情況下，首先，提取單元22如上文參照圖4描述的那樣從圖像P3提取對象圖像6-4、6-5和6-6，并且獲取各條對象屬性信息(步驟S212和S216)。
[0161]接下來，合成單元26從圖像P3刪除對象圖像6-5，從而獲得從中刪除柵欄9的圖像P7。如圖8中所示，由于在拍攝圖像時在圖像P7中成像的被攝體3E在作為刪除目標(biāo)的柵欄9后面，因此生成了其中被攝體3E的軀干部分未被成像的不自然的狀態(tài)。因此，記錄控制單元24搜索存儲器單元25以尋找與圖像P7中的被攝體3E對應(yīng)并且與指示對象是前景的標(biāo)志信息相關(guān)聯(lián)的對象候選圖像。
[0162]這里，如果存儲器單元25存儲了上文參照圖6描述的對象圖像6-8和對象屬性信息7-8，則記錄控制單元24搜索對象圖像6-8，作為對象候選圖像。隨后，合成單元26在圖像P5中包括的被攝體3E的軀干的缺失區(qū)域中組合與對象圖像6-8對應(yīng)的區(qū)域6-8-1，從而獲得其中圖像P7中的缺失部分被補償?shù)膱D像P8。
[0163]上文已描述了對象的補償。接下來，將參照圖9描述作為補償處理的一個示例的對象的添加。
[0164]-對象的添加
[0165]圖9示出了根據(jù)第一實施例的補償處理的示例。如圖9中所示，服務(wù)器2-1針對上文參照圖4描述的圖像P3執(zhí)行合成處理。注意，服務(wù)器2-1已從攝像裝置1-1連同圖像P3 一起接收到指令將花園添加到前景和背景之間的區(qū)域的合成指令信息。
[0166]在該情況下，首先，提取單元22如上文參照圖4描述的那樣從圖像P3提取對象圖像6-4、6-5和6-6，從而獲取各條對象屬性信息(步驟S212和S216)。
[0167]這里，假設(shè)服務(wù)器2-1已存儲其中花園被成像的對象圖像6-9和對象屬性信息7-9。
[0168]接下來，記錄控制單元24搜索其中花園被成像并且圖像拍攝距離介于圖像P3的前景和背景之間的對象候選圖像。更具體地，首先，基于作為圖像P3中的前景的對象圖像6-4和6-5以及作為圖像P3中的背景的對象圖像6-6的對象屬性信息，記錄控制單元24計算前景和背景之間的中途點的圖像拍攝距離。隨后，記錄控制單元24搜索存儲器單元25以尋找其中花園被成像并且與計算的圖像拍攝距離相關(guān)聯(lián)的對象候選圖像。
[0169]這里，假設(shè)服務(wù)器2-1通過先前的積累處理已存儲其中花園被成像的對象圖像6~9和對象屬性/[目息7_9。除了距尚/[目息之外，對象屬性/[目息7-9與對象圖像6_4、6_5和6_6的對象屬性信息相同或相似，并且由距離信息指示的圖像拍攝距離等于或幾乎等于中途點的計算的圖像拍攝距離。
[0170]因此，記錄控制單元24搜索對象圖像6-9，作為對象候選圖像。隨后，基于圖像P3中包括的對象圖像6-4、6-5和6-6的標(biāo)志信息，合成單元26在對象圖像6_4和6_5后面以及在對象圖像6-6前面組合對象圖像6-9。此時，基于對象圖像6-4、6-5、6-6和6-9的距離信息，合成單元26可以通過調(diào)整要添加的對象圖像6-9的深度、大小等來執(zhí)行合成。通過這種方式，服務(wù)器2-1獲得其中花園被添加到圖像P3中的作為被攝體3D和柵欄9的前景和作為被攝體3E的背景之間的區(qū)域的圖像P9。
[0171]上文已描述了對象的添加。
[0172]-補充
[0173]盡管通過省略諸如天空、山、地面和建筑物的背景來描述了參照圖6至圖9描述的具體示例，但是服務(wù)器2-1可以對作為以上各種補償處理中的目標(biāo)的背景物體進(jìn)行補償，以便防止缺失背景。例如，在參照圖8描述的示例中，在柵欄9被刪除的情況下，不僅可能缺失被攝體3E的軀干部分，而且可能缺失因與柵欄9重疊而未被成像的諸如地面的背景。在該情況下，服務(wù)器2-1可以搜索其中背景被成像的對象候選圖像作為諸如地面的背景的補償目標(biāo)，并且執(zhí)行補償，從而執(zhí)行其中背景不缺失的自然的圖像合成。
[0174]〈2-2.第二實施例〉
[0175]在該實施例中，在攝像裝置1-1中執(zhí)行與補償處理和積累處理相關(guān)的大部分處理。由于補償處理的內(nèi)容與上文在第一實施例中描述的內(nèi)容相同，因此將省略相同的部分。首先，將參照圖10描述圖像合成系統(tǒng)的配置。
[0176][2-2-1.圖像合成系統(tǒng)的配置]
[0177]圖10是示出根據(jù)第二實施例的圖像合成系統(tǒng)的配置的框圖。如圖10中所示，圖像合成系統(tǒng)包括經(jīng)由網(wǎng)絡(luò)8相互連接的攝像裝置1-2 (外部裝置)和服務(wù)器2-2。
[0178](網(wǎng)絡(luò)8)
[0179]網(wǎng)絡(luò)8具有如第一實施例中描述的配置。
[0180](攝像裝置1-2)
[0181]如圖10中所示，攝像裝置1-2包括第一實施例中描述的圖像拍攝單元11、設(shè)定單元12、通信單元13和顯示單元14，并且此外，包括提取單元15、屬性信息獲取單元16和合成單元17。
[0182]-圖像拍攝單元11
[0183]圖像拍攝單元11具有如第一實施例中描述的功能，并且將拍攝圖像和成像參數(shù)輸出到提取單元15和合成單元17。
[0184]-設(shè)定單元12
[0185]設(shè)定單元12具有如第一實施例中描述的功能，并且生成合成指令信息或積累指令信息并且將其輸出到通信單元13。
[0186]-提取單元15
[0187]提取單元15具有與第一實施例中描述的通信單元22相同的功能。通信單元15將從拍攝圖像提取的對象和成像參數(shù)輸出到屬性信息獲取單元16和通信單元13。
[0188]-屬性信息獲取單元16
[0189]屬性信息獲取單元16具有與第一實施例中描述的屬性信息獲取單元23相同的功能。屬性信息獲取單元16用作測距單元161、時間獲取單元162和標(biāo)志生成單元163。
[0190]-測距單元161
[0191]測距單元161具有與第一實施例中描述的測距單元231相同的功能，并且所獲取的距離信息輸出到通信單元13。這里，根據(jù)該實施例的測距單元161不僅可以基于拍攝圖像和成像參數(shù)獲取距離信息，而且可以通過多種方法獲取距離信息。例如，測距單元161可以通過基于從光源發(fā)射光到接收到反射光的時間的飛行時間(TOF)方法來獲取距離信息。此外，在攝像裝置1-2包括多個圖像拍攝單元11的情況下，測距單元161可以通過使用由多個圖像拍攝單元11執(zhí)行的立體視法技術(shù)來獲取距離信息。替選地，測距單元161可以通過使用電子測距儀、視差測距儀等來獲取距離信息。
[0192]-時間獲取單元162
[0193]時間獲取單元162具有與第一實施例中描述的時間獲取單元232相同的功能，并且將所生成的時間信息輸出到通信單元13。
[0194]-標(biāo)志生成單元163
[0195]標(biāo)志生成單元163具有與第一實施例中描述的標(biāo)志生成單元233相同的功能，并且將所生成的標(biāo)志信息輸出到通信單元13。
[0196]-通信單元13
[0197]如第一實施例中描述的，通信單元13經(jīng)由網(wǎng)絡(luò)8與服務(wù)器2-2通信。
[0198]在設(shè)定單元12輸出積累指令信息的情況下，根據(jù)該實施例的通信單元13與對象屬性信息和積累指令信息相關(guān)聯(lián)地將提取單元15提取的對象圖像(第一圖像)傳送到服務(wù)器2-2。這里，對象屬性信息包含從屬性信息獲取單元16輸出的距離信息、時間信息和標(biāo)志信息以及成像參數(shù)。注意，這種連同積累指令信息一起傳送對象圖像和對象屬性信息的功能可以被視為第一傳送功能。
[0199]在設(shè)定單元12輸出合成指令信息的情況下，根據(jù)該實施例的通信單元13與對象屬性信息和合成指令信息相關(guān)聯(lián)地將提取單元15提取的對象圖像(第二圖像)傳送到服務(wù)器2-2。注意，這種連同合成指令信息一起傳送對象圖像和對象屬性信息的功能可以被視為第二傳送功能。
[0200]此時，通信單元13將提取單元15提取的對象候選圖像、對象屬性信息和合成指令信息輸出到合成單元17。此外，通信單元13將從服務(wù)器2-2接收到的、基于合成指令信息在服務(wù)器2-2中找到的對象候選圖像輸出到合成單元17。
[0201]-合成單元17
[0202]合成單元17具有與第一實施例中描述的合成單元26相同的功能。根據(jù)該實施例的合成單元17生成其中基于對象屬性信息和合成指令信息使通信單元13接收到的對象候選圖像與從圖像拍攝單元11輸出的拍攝圖像組合的合成圖像。
[0203]-顯示單元14
[0204]如第一實施例中描述的，顯示單元14實時地顯示圖像拍攝單元11拍攝的拍攝圖像并且顯示例如從合成單元17輸出的合成圖像。此外，顯示單元14可以連同圖像拍攝單元11拍攝的拍攝圖像一起布置并顯示從服務(wù)器2-2接收到的多個對象候選圖像。此外，顯示單元14可以切換并顯示使用基于用戶操作選擇的對象候選圖像形成的合成圖像。
[0205]上文已描述了攝像裝置1-2的配置。接下來，將描述服務(wù)器2-2的配置。
[0206](服務(wù)器2-2)
[0207]如圖2中所示，服務(wù)器2-2包括在第一實施例中描述的通信單元21、記錄控制單元24和存儲器單元25。
[0208]-通信單元21
[0209]如第一實施例中描述的，通信單元21經(jīng)由網(wǎng)絡(luò)8與攝像裝置1-2通信。在接收到合成指令信息的情況下，根據(jù)該實施例的通信單元21將記錄控制單元24找到的對象候選圖像傳送到攝像裝置1-2。
[0210]-記錄控制單元24
[0211 ] 記錄控制單元24具有與第一實施例中描述的記錄控制單元24相同的功能。
[0212]在接收到積累指令信息的情況下，根據(jù)該實施例的記錄控制單元24與對象屬性信息相關(guān)聯(lián)地將接收到的對象圖像記錄在存儲器單元25中。此時，記錄控制單元24可以通過接收到的對象圖像的圖像識別向?qū)ο髮傩孕畔⑻砑幼R別信息以將對象圖像記錄在存儲器單元25中。
[0213]同時，在接收到合成指令信息的情況下，根據(jù)該實施例的記錄控制單元24基于接收到的對象屬性信息搜索存儲器單元25以尋找與接收到的對象圖像對應(yīng)的對象候選圖像。隨后，記錄控制單元24將找到的對象候選圖像輸出到通信單元21。
[0214]-存儲器單元25
[0215]如第一實施例中描述的，存儲器單元25在記錄控制單元24的控制下與對象屬性信息相關(guān)聯(lián)地記錄對象圖像。
[0216]上文已描述了根據(jù)該實施例的圖像合成系統(tǒng)的配置。接下來，將參照圖11和圖12描述根據(jù)該實施例的圖像合成系統(tǒng)的操作處理。
[0217][2-2-2.圖像合成系統(tǒng)的操作處理]
[0218](積累處理)
[0219]圖11是示出根據(jù)第二實施例的積累處理的流程圖。如圖3中所示，首先，在步驟S304中，攝像裝置1-2的圖像拍攝單元11通過使用特定成像參數(shù)來拍攝圖像。
[0220]接下來，在步驟S308中，攝像裝置1-2的提取單元15從拍攝圖像中提取對象，并且在步驟S312中，屬性信息獲取單元16獲取對象屬性信息。
[0221]接下來，在步驟S316中，攝像裝置1-2的通信單元13與包含屬性信息獲取單元16獲取的信息和成像參數(shù)的對象屬性信息以及積累指令信息相關(guān)聯(lián)地將提取單元15提取的對象圖像傳送到服務(wù)器2-2。
[0222]隨后，在步驟S320中，服務(wù)器2-2的記錄控制單元24與被進(jìn)一步添加識別信息的對象屬性信息相關(guān)聯(lián)地將通信單元21接收到的對象圖像記錄在存儲器單元25中。
[0223]上文已描述了圖像合成系統(tǒng)執(zhí)行的積累處理。接下來，將參照圖12描述圖像合成系統(tǒng)執(zhí)行的合成處理。
[0224](合成處理)
[0225]圖12是示出根據(jù)第二實施例的合成處理的流程圖。如圖12中所示，首先，在步驟S404中，攝像裝置1-2的圖像拍攝單元11通過使用特定成像參數(shù)來拍攝圖像。
[0226]接下來，在步驟S408中，攝像裝置1-2的提取單元15從拍攝圖像中提取對象，并且在步驟S412中，屬性信息獲取單元16獲取對象屬性信息。
[0227]接下來，在步驟S416中，攝像裝置1-2的通信單元13與包含成像參數(shù)的對象屬性信息以及合成指令信息相關(guān)聯(lián)地將對象圖像傳送到服務(wù)器2-2。
[0228]隨后，在步驟S420中，服務(wù)器2-2的記錄控制單元24基于接收到的合成指令信息搜索存儲器單元25以尋找適用于作為合成目標(biāo)的接收到的對象的對象候選圖像。
[0229]接下來，在步驟S424中，服務(wù)器2_2的通信單元21將記錄控制單元24找到的對象候選圖像傳送到攝像裝置2-1。
[0230]隨后，在步驟S428中，攝像裝置1-2的合成單元17基于合成指令信息使從服務(wù)器2-2接收到的對象候選圖像與圖像拍攝單元11拍攝的拍攝圖像組合，從而生成合成圖像。
[0231]接下來，在步驟S432中，攝像裝置1-2的顯示單元14顯示合成單元17生成的合成圖像。
[0232]上文已描述了圖像合成系統(tǒng)執(zhí)行的合成處理。
[0233]?3.結(jié)論》
[0234]如上文所述，根據(jù)本公開的實施例的圖像合成系統(tǒng)可以通過預(yù)先與對象屬性信息相關(guān)聯(lián)地記錄對象圖像來執(zhí)行容易的和自然的圖像合成。此外，圖像合成系統(tǒng)通過使用標(biāo)志信息、距離信息等執(zhí)行合成處理，從而能夠無缺失地執(zhí)行自然的圖像合成。
[0235]由于圖像合成系統(tǒng)能夠基于優(yōu)先級信息進(jìn)行搜索以優(yōu)先對待給定的對象屬性信息，因此可以容易地和自然地生成用戶期望的合成圖像。
[0236]本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，在所附權(quán)利要求及其等同物的范圍內(nèi)可以根據(jù)設(shè)計需要和其他因素進(jìn)行各種修改、組合、子組合和變更。
[0237]例如，在以上實施例中與合成處理和積累處理相關(guān)的大部分處理由攝像裝置I或服務(wù)器2執(zhí)行；然而，本技術(shù)不限于這些示例。例如，合成處理和積累處理可以被適當(dāng)?shù)貏澐植⑶铱梢杂蓴z像裝置I或服務(wù)器2獨立執(zhí)行。就是說，攝像裝置I和服務(wù)器2中的任一個可以包括諸如提取單元、屬性信息獲取單元和合成單元的配置。
[0238]此外，在以上實施例中攝像裝置I被用作圖像處理裝置的示例；然而，根據(jù)本公開的實施例的圖像處理裝置不限于此。例如，圖像處理裝置可以是頭戴式顯示器(HMD)、耳機、數(shù)字視頻攝像裝置、耳機、數(shù)字視頻攝像裝置、個人數(shù)字助理(PDA)、個人計算機(PC)、膝上型PC、平板終端、智能電話、移動電話終端、移動音樂播放裝置、移動視頻處理裝置、移動游戲機等。
[0239]此外，可以創(chuàng)建用于使并入在信息處理裝置中的諸如CPU、ROM或RAM的硬件執(zhí)行與以上攝像裝置I或服務(wù)器2的每個配置相同的功能的計算機程序。還可以提供其上記錄有計算機程序的記錄介質(zhì)。
[0240]此外，本技術(shù)還可以如下配置。
[0241](I) 一種圖像處理裝置，包括:
[0242]提取單元，其被配置成從通過使用特定成像參數(shù)拍攝的圖像中提取對象；
[0243]測距單元，其被配置成獲取指示已拍攝圖像的圖像拍攝單元和已被成像的對象之間的距離的距離信息；
[0244]通信單元，其具有
[0245]第一傳送功能，其與對象屬性信息相關(guān)聯(lián)地將示出所述提取單元從第一圖像提取的對象的對象圖像傳送到外部裝置，所述對象屬性信息包含所述距離信息和所述特定成像參數(shù)，所述距離信息由所述測距單元從所述第一圖像獲取，
[0246]第二傳送功能，其將與所述第一圖像不同的第二圖像傳送到所述外部裝置，以及
[0247]接收功能，其從所述外部裝置接收示出從所述第一圖像提取的對象的對象圖像作為對象候選圖像，所述對象圖像對應(yīng)于所述第二圖像中包括的對象；以及
[0248]合成單元，其被配置成在所述第二圖像中包括的對象的區(qū)域中組合所述通信單元接收到的所述對象候選圖像。
[0249](2)根據(jù)(I)所述的圖像處理裝置，其中所述通信單元進(jìn)一步傳送所述第二圖像的對象屬性信息，并且與適用于所傳送的對象屬性信息的對象屬性信息相關(guān)聯(lián)地接收所述對象候選圖像。
[0250](3)根據(jù)(2)所述的圖像處理裝置，其中所述通信單元進(jìn)一步傳送指示要被優(yōu)先對待的對象屬性信息的優(yōu)先級信息，并且與所傳送的優(yōu)先級信息指示的被優(yōu)先對待的對象屬性信息相關(guān)聯(lián)地接收所述對象候選圖像。
[0251](4)根據(jù)(I)至(3)中任一項所述的圖像處理裝置，進(jìn)一步包括:
[0252]標(biāo)志生成單元，其被配置成生成指示所述提取單元提取的對象是否是前景的標(biāo)志信息，
[0253]其中所述對象屬性信息進(jìn)一步包含所述標(biāo)志生成單元生成的標(biāo)志信息。
[0254](5)根據(jù)⑴至(4)中任一項所述的圖像處理裝置，其中所述合成單元基于所述第二圖像的對象屬性信息來組合所述對象候選圖像。
[0255](6)根據(jù)(I)至(5)中任一項所述的圖像處理裝置，進(jìn)一步包括:
[0256]時間獲取單元，其被配置成生成指示對象被成像的時間的時間信息，
[0257]其中所述對象屬性信息進(jìn)一步包含所述時間獲取單元生成的時間信息。
[0258](7)根據(jù)(I)至(6)中任一項所述的圖像處理裝置，其中所述第二圖像是示出所述提取單元從與所述圖像拍攝單元拍攝的所述第一圖像不同的圖像中提取的對象的對象圖像。
[0259](8) 一種服務(wù)器，包括:
[0260]通信單元，其被配置成從外部裝置接收通過使用特定成像參數(shù)拍攝的圖像以及所述成像參數(shù)；
[0261]提取單元，其被配置成從所述通信單元接收到的圖像提取對象；
[0262]測距單元，其被配置成獲取指示已拍攝圖像的圖像拍攝單元和已被成像的對象之間的距離的距離信息；
[0263]記錄控制單元，其被配置成與對象屬性信息相關(guān)聯(lián)地、將示出所述提取單元從所述通信單元接收到的第一圖像中提取的對象的對象圖像記錄在存儲器單元中，所述對象屬性信息包含所述距離信息和所述特定成像參數(shù)，所述距離信息由所述測距單元從所述第一圖像獲?。灰约?br> [0264]合成單元，其被配置成將所述存儲器單元中記錄的對象圖像與所述通信單元接收到的圖像組合，
[0265]其中，基于包含所述測距單元從第二圖像獲取的距離信息和所述特定成像參數(shù)的對象屬性信息，所述記錄控制單元搜索所述存儲器單元以尋找示出從所述第一圖像提取的對象的對象圖像作為對象候選圖像，所述對象圖像對應(yīng)于所述提取單元從所述第二圖像提取的對象，所述第二圖像與所述通信單元接收到的所述第一圖像不同，
[0266]其中所述合成單元生成合成圖像，其中所述記錄控制單元找到的對象候選圖像在所述第二圖像中包括的對象的區(qū)域中被組合，以及
[0267]其中所述通信單元向所述外部裝置傳送由所述合成單元組合的合成圖像。
[0268](9)根據(jù)⑶所述的服務(wù)器，
[0269]其中所述通信單元進(jìn)一步接收指示要被優(yōu)先對待的對象屬性信息的優(yōu)先級信息，以及
[0270]其中，基于由所述通信單元接收到的優(yōu)先級信息指示的被優(yōu)先對待的對象屬性信息，所述記錄控制單元搜索所述存儲器單元以尋找對應(yīng)于所述提取單元提取的對象的對象候選圖像。
[0271](10)根據(jù)⑶或(9)所述的服務(wù)器，進(jìn)一步包括:
[0272]標(biāo)志生成單元，其被配置成生成指示所述提取單元提取的對象是否是前景的標(biāo)志信息，
[0273]其中所述對象屬性信息進(jìn)一步包含所述標(biāo)志生成單元生成的標(biāo)志信息。
[0274](11)根據(jù)⑶至(10)中任一項所述的服務(wù)器，
[0275]其中所述成像參數(shù)包括與已拍攝所述第一圖像的所述圖像拍攝單元的圖像拍攝透鏡相關(guān)的信息，以及指示所述圖像拍攝單元的傾度和方向的信息，以及
[0276]其中所述記錄控制單元記錄進(jìn)一步包含指示所述第一圖像被拍攝的時間的時間信息的對象屬性信息。
[0277](12) 一種具有存儲在其中的程序的非暫態(tài)的計算機可讀存儲介質(zhì)，所述程序使計算機執(zhí)行如下操作:
[0278]從通過使用特定成像參數(shù)拍攝的圖像中提取對象；
[0279]獲取指示已拍攝圖像的圖像拍攝單元和已被成像的對象之間的距離的距離信息；
[0280]與對象屬性信息相關(guān)聯(lián)地將示出從第一圖像提取的對象的對象圖像傳送到外部裝置，所述對象屬性信息包含所述距離信息和所述特定成像參數(shù)，所述距離信息是從所述第一圖像獲取的；
[0281]將與所述第一圖像不同的第二圖像傳送到所述外部裝置；
[0282]從所述外部裝置接收示出從所述第一圖像提取的對象的對象圖像作為對象候選圖像，所述對象圖像對應(yīng)于所述第二圖像中包括的對象；以及
[0283]在所述第二圖像中包括的對象的區(qū)域中組合接收到的對象候選圖像。
[0284](13) 一種具有存儲在其中的程序的非暫態(tài)的計算機可讀存儲介質(zhì)，所述程序使計算機執(zhí)行如下操作:
[0285]從外部裝置接收通過使用特定成像參數(shù)拍攝的圖像以及所述成像參數(shù)；
[0286]從接收到的圖像提取對象；
[0287]獲取指示已拍攝圖像的圖像拍攝單元和已被成像的對象之間的距離的距離信息；
[0288]與對象屬性信息相關(guān)聯(lián)地將示出從接收到的第一圖像中提取的對象的對象圖像記錄在存儲器單元中，所述對象屬性信息包含所述距離信息和所述特定成像參數(shù)，所述距離信息是從所述第一圖像獲取的；
[0289]基于包含從接收到的第二圖像獲取的距離信息和所述特定成像參數(shù)的對象屬性信息，搜索所述存儲器單元以尋找示出從所述第一圖像提取的對象的對象圖像作為對象候選圖像，所述對象圖像對應(yīng)于從所述第二圖像提取的對象，所述第二圖像與所述第一圖像不同；
[0290]生成合成圖像，其中所找到的對象候選圖像在所述第二圖像中包括的對象的區(qū)域中被組合；以及
[0291]向所述外部裝置傳送所生成的合成圖像。
【權(quán)利要求】
1.一種圖像處理裝置，包括: 提取單元，其被配置成從通過使用特定成像參數(shù)拍攝的圖像中提取對象； 測距單元，其被配置成獲取指示已拍攝圖像的圖像拍攝單元和已被成像的對象之間的距離的距離信息； 通信單元，其具有 第一傳送功能，其與對象屬性信息相關(guān)聯(lián)地將示出所述提取單元從所述圖像中的第一圖像提取的對象的對象圖像傳送到外部裝置，所述對象屬性信息包含所述距離信息和所述特定成像參數(shù)，所述距離信息由所述測距單元從所述第一圖像獲取， 第二傳送功能，其將與所述第一圖像不同的、所述圖像中的第二圖像傳送到所述外部裝置，以及 接收功能，其從所述外部裝置接收示出從所述第一圖像提取的對象的對象圖像作為對象候選圖像，所述對象圖像對應(yīng)于所述第二圖像中包括的對象；以及 合成單元，其被配置成在所述第二圖像中包括的對象的區(qū)域中組合所述通信單元接收到的所述對象候選圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中所述通信單元進(jìn)一步傳送所述第二圖像的對象屬性信息，并且與適用于所傳送的對象屬性信息的對象屬性信息相關(guān)聯(lián)地接收所述對象候選圖像。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中所述通信單元進(jìn)一步傳送指示要被優(yōu)先對待的對象屬性信息的優(yōu)先級信息，并且與所傳送的優(yōu)先級信息指示的被優(yōu)先對待的對象屬性信息相關(guān)聯(lián)地接收所述對象候選圖像。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，進(jìn)一步包括: 標(biāo)志生成單元，其被配置成生成指示所述提取單元提取的對象是否是前景的標(biāo)志信息， 其中所述對象屬性信息進(jìn)一步包含所述標(biāo)志生成單元生成的標(biāo)志信息。
5.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中所述合成單元基于所述第二圖像的對象屬性信息來組合所述對象候選圖像。
6.根據(jù)權(quán)利要求1所述的圖像處理裝置，進(jìn)一步包括: 時間獲取單元，其被配置成生成指示對象被成像的時間的時間信息， 其中所述對象屬性信息進(jìn)一步包含所述時間獲取單元生成的時間信息。
7.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中所述第二圖像是示出所述提取單元從與所述圖像拍攝單元拍攝的所述第一圖像不同的圖像中提取的對象的對象圖像。
8.一種服務(wù)器，包括: 通信單元，其被配置成從外部裝置接收通過使用特定成像參數(shù)拍攝的圖像以及所述成像參數(shù)； 提取單元，其被配置成從所述通信單元接收到的圖像提取對象； 測距單元，其被配置成獲取指示已拍攝圖像的圖像拍攝單元和已被成像的對象之間的距離的距離信息； 記錄控制單元，其被配置成與對象屬性信息相關(guān)聯(lián)地、將示出所述提取單元從所述通信單元接收到的所述圖像中的第一圖像中提取的對象的對象圖像記錄在存儲器單元中，所述對象屬性信息包含所述距離信息和所述特定成像參數(shù)，所述距離信息由所述測距單元從所述第一圖像獲??；以及 合成單元，其被配置成將所述存儲器單元中記錄的對象圖像與所述通信單元接收到的圖像組合， 其中，基于包含所述測距單元從所述圖像中的第二圖像獲取的距離信息和所述特定成像參數(shù)的對象屬性信息，所述記錄控制單元搜索所述存儲器單元以尋找示出從所述第一圖像提取的對象的對象圖像作為對象候選圖像，所述對象圖像對應(yīng)于所述提取單元從所述第二圖像提取的對象，所述第二圖像與所述通信單元接收到的所述第一圖像不同， 其中所述合成單元生成合成圖像，其中所述記錄控制單元找到的對象候選圖像在所述第二圖像中包括的對象的區(qū)域中被組合，以及 其中所述通信單元向所述外部裝置傳送由所述合成單元組合的合成圖像。
9.根據(jù)權(quán)利要求8所述的服務(wù)器， 其中所述通信單元進(jìn)一步接收指示要被優(yōu)先對待的對象屬性信息的優(yōu)先級信息，以及其中，基于由所述通信單元接收到的優(yōu)先級信息指示的被優(yōu)先對待的對象屬性信息，所述記錄控制單元搜索所述存儲器單元以尋找對應(yīng)于所述提取單元提取的對象的對象候選圖像。
10.根據(jù)權(quán)利要求8所述的服務(wù)器，進(jìn)一步包括: 標(biāo)志生成單元，其被配置成生成指示所述提取單元提取的對象是否是前景的標(biāo)志信息， 其中所述對象屬性信息進(jìn)一步包含所述標(biāo)志生成單元生成的標(biāo)志信息。
11.根據(jù)權(quán)利要求8所述的服務(wù)器， 其中所述成像參數(shù)包括與已拍攝所述第一圖像的所述圖像拍攝單元的圖像拍攝透鏡相關(guān)的信息，以及指示所述圖像拍攝單元的傾度和方向的信息，以及 其中所述記錄控制單元記錄進(jìn)一步包含指示所述第一圖像被拍攝的時間的時間信息的對象屬性信息。
12.—種具有存儲在其中的程序的非暫態(tài)的計算機可讀存儲介質(zhì)，所述程序使計算機執(zhí)行如下操作: 從通過使用特定成像參數(shù)拍攝的圖像中提取對象； 獲取指示已拍攝圖像的圖像拍攝單元和已被成像的對象之間的距離的距離信息；與對象屬性信息相關(guān)聯(lián)地將示出從所述圖像中的第一圖像提取的對象的對象圖像傳送到外部裝置，所述對象屬性信息包含所述距離信息和所述特定成像參數(shù)，所述距離信息是從所述第一圖像獲取的； 將與所述第一圖像不同的、所述圖像中的第二圖像傳送到所述外部裝置； 從所述外部裝置接收示出從所述第一圖像提取的對象的對象圖像作為對象候選圖像，所述對象圖像對應(yīng)于所述第二圖像中包括的對象；以及 在所述第二圖像中包括的對象的區(qū)域中組合接收到的對象候選圖像。
13.一種具有存儲在其中的程序的非暫態(tài)的計算機可讀存儲介質(zhì)，所述程序使計算機執(zhí)行如下操作: 從外部裝置接收通過使用特定成像參數(shù)拍攝的圖像以及所述成像參數(shù)； 從接收到的圖像提取對象； 獲取指示已拍攝圖像的圖像拍攝單元和已被成像的對象之間的距離的距離信息；與對象屬性信息相關(guān)聯(lián)地將示出從接收到的所述圖像中的第一圖像中提取的對象的對象圖像記錄在存儲器單元中，所述對象屬性信息包含所述距離信息和所述特定成像參數(shù)，所述距離信息是從所述第一圖像獲取的； 基于包含從接收到的所述圖像中的第二圖像獲取的距離信息和所述特定成像參數(shù)的對象屬性信息，搜索所述存儲器單元以尋找示出從所述第一圖像提取的對象的對象圖像作為對象候選圖像，所述對象圖像對應(yīng)于從所述第二圖像提取的對象，所述第二圖像與所述第一圖像不同； 生成合成圖像，其中所找到的對象候選圖像在所述第二圖像中包括的對象的區(qū)域中被組合；以及 向所述外部裝置傳送所生成的合成圖像。
【文檔編號】H04N1/00GK104243798SQ201410250490
【公開日】2014年12月24日 申請日期:2014年6月6日 優(yōu)先權(quán)日:2013年6月14日
【發(fā)明者】渡邊一弘, 佐古曜一郎, 淺田宏平, 迫田和之, 荒谷勝久, 中村隆俊, 竹原充, 丹下明, 花谷博幸, 甲賀有希, 大沼智也 申請人:索尼公司