圖像捕獲裝置、圖像處理裝置及其控制方法
【專利摘要】一種圖像處理裝置，包括：特定聲音檢測(cè)部分，其檢測(cè)在由圖像組中包括的對(duì)象的特定運(yùn)動(dòng)期間生成的特定聲音，所述圖像組包括以時(shí)間序列方式連續(xù)的多個(gè)圖像；合成圖像生成部分，其參照在時(shí)間軸上檢測(cè)到的特定聲音的檢測(cè)位置，使用在所述時(shí)間軸上的圖像組的選擇范圍中包括的預(yù)定數(shù)目的圖像，生成代表特定運(yùn)動(dòng)的轉(zhuǎn)換的合成圖像；以及控制部分，在預(yù)定范圍中檢測(cè)到特定聲音的情況下，所述控制部分控制所述合成圖像生成部分使用檢測(cè)到的特定聲音生成合成圖像，并且在預(yù)定范圍中沒(méi)有檢測(cè)到特定聲音的情況下，所述控制部分控制所述合成圖像生成部分不生成合成圖像。
【專利說(shuō)明】CN 103533285 A
書
明
說(shuō)
1/36 頁(yè)
圖像捕獲裝置、圖像處理裝置及其控制方法
[0001]本申請(qǐng)是申請(qǐng)日為2010年11月22日、申請(qǐng)?zhí)枮?01010554066. 7、發(fā)明名稱為“圖
像捕獲裝置、圖像處理裝置及其控制方法”的專利申請(qǐng)的分案申請(qǐng)。
【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及圖像捕獲裝置，并且更具體地，涉及用于處理以時(shí)間序列方式連續(xù)的多個(gè)圖像的圖像捕獲裝置、圖像處理裝置及其控制方法。
【背景技術(shù)】
[0003]近年來(lái)，廣泛使用如數(shù)字相機(jī)、數(shù)字?jǐn)z像機(jī)(例如，集成相機(jī)記錄器）等的圖像捕獲裝置，其通過(guò)成像如人的對(duì)象生成圖像數(shù)據(jù)，并且將生成的圖像數(shù)據(jù)記錄為如圖像文件、運(yùn)動(dòng)圖像文件等的內(nèi)容。此外，廣泛地使用這樣的圖像捕獲裝置記錄例如高爾夫、棒球等的運(yùn)動(dòng)的圖像作為內(nèi)容。以此方式記錄的內(nèi)容(例如，運(yùn)動(dòng)圖像內(nèi)容）可以用于例如檢查運(yùn)動(dòng)中的動(dòng)作(例如，高爾夫揮桿或擊球(棒球)）。
[0004]例如，在確認(rèn)運(yùn)動(dòng)動(dòng)作(例如，高爾夫揮桿或擊球(棒球)）的情況下，已經(jīng)提出一種合成圖像生成方法，其生成表示運(yùn)動(dòng)轉(zhuǎn)變的圖像作為合成圖像，使得可以容易地掌握運(yùn)動(dòng)轉(zhuǎn)變。例如，提出了一種圖像捕獲裝置，其從以預(yù)定間隔連續(xù)拍攝的圖像中選擇多個(gè)圖像，并且使用選擇的多個(gè)圖像生成合成圖像(例如，參照日本未審專利申請(qǐng)公開No. 2009-44573(圖 9))。

【發(fā)明內(nèi)容】

[0005]根據(jù)上述現(xiàn)有技術(shù)，可能生成代表例如進(jìn)行高爾夫揮桿的人的運(yùn)動(dòng)轉(zhuǎn)變的合成圖像。
[0006]在該方面中，例如，因?yàn)樵谙鄬?duì)短時(shí)間內(nèi)進(jìn)行高爾夫揮桿或擊球(棒球）的運(yùn)動(dòng)，所以當(dāng)生成代表運(yùn)動(dòng)轉(zhuǎn)變的合成圖像時(shí)，重要的是適當(dāng)?shù)剡x擇形成合成圖像的圖像。然而，在上述現(xiàn)有技術(shù)中，參照由用戶開始操作的時(shí)間確定用于選擇生成合成圖像的多個(gè)圖像的范圍。因此，例如，在用戶不習(xí)慣于拍攝或是新手的情況下，可能難以適當(dāng)?shù)貙?duì)于在相對(duì)短時(shí)間內(nèi)進(jìn)行的高爾夫揮桿或擊球(棒球)執(zhí)行開始操作。在沒(méi)有以此方式適當(dāng)?shù)貓?zhí)行開始操作的情況下，如果使用參照開始操作時(shí)間確定的范圍中包括的多個(gè)圖像生成合成圖像，則不可能生成適當(dāng)?shù)暮铣蓤D像。在此情況下，用于生成合成圖像的處理時(shí)間變長(zhǎng)，并且可能喪失拍攝適當(dāng)?shù)暮铣蓤D像的機(jī)會(huì)。
[0007]因此，希望提供一種技術(shù)，其可以適當(dāng)?shù)厣纱碛赡繕?biāo)對(duì)象進(jìn)行的特定運(yùn)動(dòng)的轉(zhuǎn)變的合成圖像。
[0008]根據(jù)本發(fā)明的實(shí)施例，提供一種圖像處理裝置、其控制方法和用于使得該方法在計(jì)算機(jī)上執(zhí)行的程序，所述圖像捕獲裝置包括：特定聲音檢測(cè)部分，其檢測(cè)在由圖像組中包括的目標(biāo)對(duì)象進(jìn)行的特定運(yùn)動(dòng)的運(yùn)動(dòng)期間生成的特定聲音，所述圖像組包括以時(shí)間序列方式連續(xù)的多個(gè)圖像；合成圖像生成部分，其參照在時(shí)間軸上檢測(cè)到的特定聲音的檢測(cè)位置，
5使用在所述時(shí)間軸上的圖像組的選擇范圍中包括的預(yù)定數(shù)目的圖像，生成代表特定運(yùn)動(dòng)的轉(zhuǎn)換的合成圖像；確定范圍設(shè)置部分，其基于用戶操作，設(shè)置用于關(guān)于所述合成圖像的生成的確定的所述時(shí)間軸上的范圍作為確定范圍；以及控制部分，在設(shè)置的確定范圍中檢測(cè)到特定聲音的情況下，所述控制部分控制所述合成圖像生成部分使用檢測(cè)到的特定聲音生成合成圖像，并且在設(shè)置的確定范圍中沒(méi)有檢測(cè)到特定聲音的情況下，所述控制部分控制所述合成圖像生成部分不生成合成圖像。因此，可能基于關(guān)于依靠圖像捕獲部分的圖像捕獲操作的用戶操作，設(shè)置確定范圍，并且在設(shè)置的確定范圍中檢測(cè)到特定聲音的情況下，控制所述合成圖像生成部分使用檢測(cè)到的特定聲音生成合成圖像，并且在設(shè)置的確定范圍中沒(méi)有檢測(cè)到特定聲音的情況下，控制所述合成圖像生成部分不生成合成圖像。
[0009]在該實(shí)施例中，用戶操作可以是當(dāng)終止特定運(yùn)動(dòng)時(shí)接收的特定操作，或者用于特定運(yùn)動(dòng)的終止時(shí)間變?yōu)闀r(shí)間計(jì)數(shù)器的終止時(shí)間這樣的設(shè)置的定時(shí)器設(shè)置操作，并且其中在用戶操作是特定操作的情況下，所述確定范圍設(shè)置部分可以參照接收特定操作的時(shí)間軸上的位置設(shè)置確定范圍，并且在用戶操作是定時(shí)器設(shè)置操作的情況下，所述確定范圍設(shè)置部分可以參照依靠定時(shí)器設(shè)置操作的時(shí)間計(jì)數(shù)器的終止時(shí)間設(shè)置確定范圍。因此，在用戶操作是特定操作的情況下，可以參照接收特定操作的位置設(shè)置確定范圍，并且在用戶操作是定時(shí)器設(shè)置操作的情況下，可以參照依靠定時(shí)器設(shè)置操作的時(shí)間計(jì)數(shù)器的終止時(shí)間設(shè)置確定范圍。
[0010]在該實(shí)施例中，與在用戶操作是定時(shí)器設(shè)置操作的情況下設(shè)置的確定范圍相比，所述確定范圍設(shè)置部分可以使得在用戶操作是特定操作的情況下設(shè)置的確定范圍變窄。因此，與在用戶操作是定時(shí)器設(shè)置操作的情況下設(shè)置的確定范圍相比，可以使得在用戶操作是特定操作的情況下設(shè)置的確定范圍變窄。
[0011]在該實(shí)施例中，所述裝置還可以包括:對(duì)象距離計(jì)算部分，其計(jì)算到目標(biāo)對(duì)象的距離；以及延遲時(shí)間計(jì)算部分，其基于計(jì)算的距離計(jì)算檢測(cè)到的特定聲音的延遲時(shí)間，并且所述控制部分可以基于計(jì)算的延遲時(shí)間校正時(shí)間軸上檢測(cè)到的特定聲音的檢測(cè)位置，并且根據(jù)校正的檢測(cè)位置是否存在于設(shè)置的確定范圍中來(lái)確定是否允許所述合成圖像生成部分生成合成圖像。因此，可能計(jì)算到目標(biāo)對(duì)象的距離，基于計(jì)算的距離計(jì)算檢測(cè)到的特定聲音的延遲時(shí)間，基于計(jì)算的延遲時(shí)間校正檢測(cè)到的特定聲音的檢測(cè)位置，并且根據(jù)校正的檢測(cè)位置是否存在于設(shè)置的確定范圍中確定是否允許所述合成圖像生成部分生成合成圖像。
[0012]在該實(shí)施例中，所述裝置還可以包括確定部分，在校正的檢測(cè)位置存在于設(shè)置的確定范圍中的情況下，所述確定部分參照校正的檢測(cè)位置確定選擇范圍。因此，在校正的檢測(cè)位置存在于設(shè)置的確定范圍中的情況下，可能參照校正的檢測(cè)位置確定選擇范圍。
[0013]在該實(shí)施例中，所述合成圖像生成部分相對(duì)于選擇范圍中的預(yù)定數(shù)目的圖像的選擇間隔，可以使得比具有時(shí)間軸上的特定聲音的檢測(cè)位置作為中心位置的選擇范圍更窄的范圍中的選擇間隔與其它選擇間隔相比更緊密。因此，相對(duì)于選擇范圍中的預(yù)定數(shù)目的圖像的選擇間隔，可以使得比具有特定聲音的檢測(cè)位置作為中心位置的選擇范圍更窄的范圍中的選擇間隔與其它選擇間隔相比更緊密。
[0014]在該實(shí)施例中，所述裝置還可以包括:存儲(chǔ)部分，其存儲(chǔ)關(guān)于多個(gè)類型的特定運(yùn)動(dòng)的特定聲音和確定范圍；以及操作接收部分，其接收用于從其中存儲(chǔ)了特定聲音和確定范圍的多個(gè)類型的特定運(yùn)動(dòng)中指定希望的特定運(yùn)動(dòng)的指定操作。這里，所述特定聲音檢測(cè)部分可以檢測(cè)關(guān)于指定的特定運(yùn)動(dòng)的特定聲音，并且所述確定范圍設(shè)置部分可以基于用戶操作設(shè)置關(guān)于指定的特定運(yùn)動(dòng)的確定范圍。因此，如果接收用于從多個(gè)類型的特定運(yùn)動(dòng)中指定希望的特定運(yùn)動(dòng)的指定操作，則可以檢測(cè)關(guān)于指定的特定運(yùn)動(dòng)的特定聲音，并且可以基于用戶操作設(shè)置關(guān)于指定的特定運(yùn)動(dòng)的確定范圍。
[0015]根據(jù)本發(fā)明的另一實(shí)施例，提供一種圖像捕獲裝置、其控制方法和用于使得方法在計(jì)算機(jī)上執(zhí)行的程序，所述圖像捕獲裝置包括:圖像捕獲部分，其成像對(duì)象以便生成以時(shí)間序列方式連續(xù)的多個(gè)圖像；特定聲音檢測(cè)部分，其檢測(cè)在由包括多個(gè)圖像的圖像組中包括的目標(biāo)對(duì)象進(jìn)行的特定運(yùn)動(dòng)的運(yùn)動(dòng)期間生成的特定聲音；合成圖像生成部分，其參照在時(shí)間軸上檢測(cè)到的特定聲音的檢測(cè)位置，使用在所述時(shí)間軸上的圖像組的選擇范圍中包括的預(yù)定數(shù)目的圖像，生成代表特定運(yùn)動(dòng)的轉(zhuǎn)換的合成圖像；確定范圍設(shè)置部分，其基于關(guān)于依靠圖像捕獲部分的圖像捕獲操作的用戶操作，設(shè)置用于關(guān)于所述合成圖像的生成的確定的所述時(shí)間軸上的范圍作為確定范圍；以及控制部分，在設(shè)置的確定范圍中檢測(cè)到特定聲音的情況下，所述控制部分控制所述合成圖像生成部分使用檢測(cè)到的特定聲音生成合成圖像，并且在設(shè)置的確定范圍中沒(méi)有檢測(cè)到特定聲音的情況下，所述控制部分控制所述合成圖像生成部分不生成合成圖像。
[0016]根據(jù)本發(fā)明的另一實(shí)施例，提供一種圖像處理裝置、其控制方法和用于使得方法在計(jì)算機(jī)上執(zhí)行的程序，所述圖像處理裝置包括:特定聲音檢測(cè)部分，其檢測(cè)在由圖像組中包括的目標(biāo)對(duì)象進(jìn)行的特定運(yùn)動(dòng)的運(yùn)動(dòng)期間生成的特定聲音，所述圖像組包括以時(shí)間序列方式連續(xù)的多個(gè)圖像；確定改變檢測(cè)部分，其在形成圖像組的各個(gè)圖像之間檢測(cè)時(shí)間軸上的確定改變；合成圖像生成部分，其參照在時(shí)間軸上檢測(cè)到的特定聲音的檢測(cè)位置，使用在所述時(shí)間軸上的圖像組的選擇范圍中包括的預(yù)定數(shù)目的圖像，生成代表特定運(yùn)動(dòng)的轉(zhuǎn)換的合成圖像；確定范圍設(shè)置部分，其基于其中檢測(cè)到確定改變的時(shí)間軸上的位置，設(shè)置用于關(guān)于所述合成圖像的生成的確定的所述時(shí)間軸上的范圍作為確定范圍；以及控制部分，在設(shè)置的確定范圍中檢測(cè)到特定聲音的情況下，所述控制部分控制所述合成圖像生成部分使用檢測(cè)到的特定聲音生成合成圖像，并且在設(shè)置的確定范圍中沒(méi)有檢測(cè)到特定聲音的情況下，所述控制部分控制所述合成圖像生成部分不生成合成圖像。因此，可能基于其中檢測(cè)到確定改變的位置，設(shè)置確定范圍，并且在設(shè)置的確定范圍中檢測(cè)到特定聲音的情況下，控制所述合成圖像生成部分使用檢測(cè)到的特定聲音生成合成圖像，并且在設(shè)置的確定范圍中沒(méi)有檢測(cè)到特定聲音的情況下，控制所述合成圖像生成部分不生成合成圖像。
[0017]根據(jù)本發(fā)明的另一實(shí)施例，提供一種圖像捕獲裝置、其控制方法和用于使得方法在計(jì)算機(jī)上執(zhí)行的程序，所述圖像捕獲裝置包括:圖像捕獲部分，其成像對(duì)象以便生成以時(shí)間序列方式連續(xù)的多個(gè)圖像；特定聲音檢測(cè)部分，其檢測(cè)在由圖像組中包括的目標(biāo)對(duì)象進(jìn)行的特定運(yùn)動(dòng)的運(yùn)動(dòng)期間生成的特定聲音，所述圖像組包括以時(shí)間序列方式連續(xù)的多個(gè)圖像；確定改變檢測(cè)部分，其在形成圖像組的各個(gè)圖像之間檢測(cè)時(shí)間軸上的確定改變；合成圖像生成部分，其參照在時(shí)間軸上檢測(cè)到的特定聲音的檢測(cè)位置，使用在所述時(shí)間軸上的圖像組的選擇范圍中包括的預(yù)定數(shù)目的圖像，生成代表特定運(yùn)動(dòng)的轉(zhuǎn)換的合成圖像；確定范圍設(shè)置部分，其基于其中檢測(cè)到確定改變的時(shí)間軸上的位置，設(shè)置用于關(guān)于所述合成圖像的生成的確定的所述時(shí)間軸上的范圍作為確定范圍；以及控制部分，在設(shè)置的確定范圍中檢測(cè)到特定聲音的情況下，所述控制部分控制所述合成圖像生成部分使用檢測(cè)到的特定CN 103533285 A
書
明
說(shuō)
4/36 頁(yè)
聲音生成合成圖像，并且在設(shè)置的確定范圍中沒(méi)有檢測(cè)到特定聲音的情況下，所述控制部分控制所述合成圖像生成部分不生成合成圖像。
[0018]在該實(shí)施例中，所述確定改變檢測(cè)部分可以使用從形成圖像組的每個(gè)圖像提取的特征量和基于關(guān)于形成圖像組的每個(gè)圖像的聲音提取的特征量的至少一個(gè)，檢測(cè)所述確定改變。因此，可以從形成圖像組的每個(gè)圖像提取的特征量和基于關(guān)于形成圖像組的每個(gè)圖像的聲音提取的特征量的至少一個(gè)，檢測(cè)所述確定改變。
[0019]根據(jù)本發(fā)明的另一實(shí)施例，提供一種圖像處理裝置，包括：特定聲音檢測(cè)部分，其檢測(cè)在由圖像組中包括的對(duì)象的特定運(yùn)動(dòng)期間生成的特定聲音，所述圖像組包括以時(shí)間序列方式連續(xù)的多個(gè)圖像；合成圖像生成部分，其參照在時(shí)間軸上檢測(cè)到的特定聲音的檢測(cè)位置，使用在所述時(shí)間軸上的圖像組的選擇范圍中包括的預(yù)定數(shù)目的圖像，生成代表特定運(yùn)動(dòng)的轉(zhuǎn)換的合成圖像；以及控制部分，在預(yù)定范圍中檢測(cè)到特定聲音的情況下，所述控制部分控制所述合成圖像生成部分使用檢測(cè)到的特定聲音生成合成圖像，并且在預(yù)定范圍中沒(méi)有檢測(cè)到特定聲音的情況下，所述控制部分控制所述合成圖像生成部分不生成合成圖像。
[0020]根據(jù)本發(fā)明的另一實(shí)施例，提供一種圖像捕獲裝置，包括：圖像捕獲部分，其成像對(duì)象以便生成以時(shí)間序列方式連續(xù)的多個(gè)圖像；特定聲音檢測(cè)部分，其檢測(cè)在由包括多個(gè)圖像的圖像組中包括的對(duì)象的特定運(yùn)動(dòng)期間生成的特定聲音；合成圖像生成部分，其參照在時(shí)間軸上檢測(cè)到的特定聲音的檢測(cè)位置，使用在所述時(shí)間軸上的圖像組的選擇范圍中包括的預(yù)定數(shù)目的圖像，生成代表特定運(yùn)動(dòng)的轉(zhuǎn)換的合成圖像；以及控制部分，在預(yù)定范圍中檢測(cè)到特定聲音的情況下，所述控制部分控制所述合成圖像生成部分使用檢測(cè)到的特定聲音生成合成圖像，并且在預(yù)定范圍中沒(méi)有檢測(cè)到特定聲音的情況下，所述控制部分控制所述合成圖像生成部分不生成合成圖像。
[0021]根據(jù)本發(fā)明的另一實(shí)施例，提供一種圖像處理裝置，包括：特定聲音檢測(cè)部分，其檢測(cè)在由圖像組中包括的對(duì)象進(jìn)行的特定運(yùn)動(dòng)期間生成的特定聲音，所述圖像組包括以時(shí)間序列方式連續(xù)的多個(gè)圖像；確定改變檢測(cè)部分，其在形成圖像組的各個(gè)圖像之間檢測(cè)時(shí)間軸上的確定改變；合成圖像生成部分，其參照在時(shí)間軸上檢測(cè)到的特定聲音的檢測(cè)位置，使用在所述時(shí)間軸上的圖像組的選擇范圍中包括的預(yù)定數(shù)目的圖像，生成代表特定運(yùn)動(dòng)的轉(zhuǎn)換的合成圖像；以及控制部分，在預(yù)定范圍中檢測(cè)到特定聲音的情況下，所述控制部分控制所述合成圖像生成部分使用檢測(cè)到的特定聲音生成合成圖像，并且在預(yù)定范圍中沒(méi)有檢測(cè)到特定聲音的情況下，所述控制部分控制所述合成圖像生成部分不生成合成圖像。
[0022]根據(jù)本發(fā)明的另一實(shí)施例，提供一種圖像捕獲裝置，包括：圖像捕獲部分，其成像對(duì)象以便生成以時(shí)間序列方式連續(xù)的多個(gè)圖像；特定聲音檢測(cè)部分，其檢測(cè)在由圖像組中包括的對(duì)象進(jìn)行的特定運(yùn)動(dòng)期間生成的特定聲音，所述圖像組包括以時(shí)間序列方式連續(xù)的多個(gè)圖像；確定改變檢測(cè)部分，其在形成圖像組的各個(gè)圖像之間檢測(cè)時(shí)間軸上的確定改變；合成圖像生成部分，其參照在時(shí)間軸上檢測(cè)到的特定聲音的檢測(cè)位置，使用在所述時(shí)間軸上的圖像組的選擇范圍中包括的預(yù)定數(shù)目的圖像，生成代表特定運(yùn)動(dòng)的轉(zhuǎn)換的合成圖像；以及控制部分，在預(yù)定范圍中檢測(cè)到特定聲音的情況下，所述控制部分控制所述合成圖像生成部分使用檢測(cè)到的特定聲音生成合成圖像，并且在預(yù)定范圍中沒(méi)有檢測(cè)到特定聲音的情況下，所述控制部分控制所述合成圖像生成部分不生成合成圖像。
8[0023]根據(jù)本發(fā)明的另一實(shí)施例，提供一種圖像處理裝置的控制方法，包括以下步驟:執(zhí)行控制，使得在預(yù)定范圍中檢測(cè)到特定聲音的情況下，所述特定聲音在由包括以時(shí)間序列方式連續(xù)的多個(gè)圖像的圖像組中包括的對(duì)象進(jìn)行的特定運(yùn)動(dòng)期間生成，參照在時(shí)間軸上檢測(cè)到的特定聲音的檢測(cè)位置，使用在所述時(shí)間軸上的圖像組的選擇范圍中包括的預(yù)定數(shù)目的圖像，生成代表特定運(yùn)動(dòng)的轉(zhuǎn)換的合成圖像，并且使得在預(yù)定范圍中沒(méi)有檢測(cè)到特定聲音的情況下，不生成合成圖像。
[0024]根據(jù)本發(fā)明的實(shí)施例，可以適當(dāng)?shù)厣纱碛赡繕?biāo)對(duì)象進(jìn)行的特定運(yùn)動(dòng)的轉(zhuǎn)變的合成圖像。
【專利附圖】

【附圖說(shuō)明】
[0025]圖1是圖示根據(jù)本發(fā)明的第一實(shí)施例的圖像捕獲裝置的功能配置的示例的框圖。
[0026]圖2是圖示根據(jù)本發(fā)明的第二實(shí)施例的選擇部分和層處理部分的功能配置的示例的框圖。
[0027]圖3A、3B和3C是示意性圖示根據(jù)本發(fā)明的第一實(shí)施例、圖像捕獲裝置和作為圖像捕獲目標(biāo)的人之間的位置關(guān)系以及從該位置關(guān)系生成的運(yùn)動(dòng)圖像之間的關(guān)系的圖。
[0028]圖4A和4B是圖示根據(jù)本發(fā)明的第一實(shí)施例、由合成目標(biāo)圖像選擇部分選擇的合成目標(biāo)圖像和由層處理部分生成的合成圖像的示例的圖。
[0029]圖5A、5B和5C是不意性圖不根據(jù)本發(fā)明的第一實(shí)施例、通過(guò)有效聲音范圍設(shè)置部分的有效聲音范圍的設(shè)置方法和通過(guò)合成目標(biāo)圖像選擇范圍確定部分的合成目標(biāo)圖像選擇范圍的確定方法的圖。
[0030]圖6A和6B是圖示根據(jù)本發(fā)明的第一實(shí)施例、在顯示部分上顯示的顯示屏幕的轉(zhuǎn)換示例的圖。
[0031]圖7A、7B和7C是示意性圖示根據(jù)本發(fā)明的第一實(shí)施例、通過(guò)有效聲音范圍設(shè)置部分的有效聲音范圍的設(shè)置方法和通過(guò)合成目標(biāo)圖像選擇范圍確定部分的合成目標(biāo)圖像選擇范圍的確定方法的圖。
[0032]圖8A、8B、8C和8D是示意性圖示根據(jù)本發(fā)明的第一實(shí)施例、通過(guò)選擇部分的合成目標(biāo)圖像的選擇處理和通過(guò)層處理部分的合成圖像的生成處理的流程的示例的圖。
[0033]圖9A和9B是示意性圖示根據(jù)本發(fā)明的第一實(shí)施例、通過(guò)層分離部分的合成目標(biāo)圖像的分離方法的圖。
[0034]圖10AU0B和IOC是示意性圖示根據(jù)本發(fā)明的第一實(shí)施例、作為通過(guò)層修改部分的修改處理的目標(biāo)的圖像和通過(guò)層修改裝置修改的圖像的圖。
[0035]圖1lA和IlB是示意性圖示根據(jù)本發(fā)明的第一實(shí)施例、通過(guò)層合成部分的合成方法的圖。
[0036]圖12A和12B是示意性圖示根據(jù)本發(fā)明的第一實(shí)施例、通過(guò)層合成部分的合成目標(biāo)圖像的合成方法的圖。
[0037]圖13是圖示根據(jù)本發(fā)明的第一實(shí)施例、通過(guò)層處理部分生成的合成圖像的示例的圖。
[0038]圖14是圖示根據(jù)本發(fā)明的第一實(shí)施例、通過(guò)圖像捕獲裝置的合成圖像生成處理的處理過(guò)程的示例的流程圖。[0039]圖15是圖示根據(jù)本發(fā)明的第一實(shí)施例、通過(guò)圖像捕獲裝置的合成圖像生成處理的處理過(guò)程的示例的流程圖。
[0040]圖16A和16B是圖示根據(jù)本發(fā)明的第二實(shí)施例、圖像捕獲裝置和目標(biāo)對(duì)象之間的距離以及撞擊聲音的生成位置和其到達(dá)位置之間的關(guān)系的圖。
[0041]圖17是圖示根據(jù)本發(fā)明的第二實(shí)施例的圖像捕獲裝置的功能配置的示例的框圖。
[0042]圖18A和18B是示意性圖示根據(jù)本發(fā)明的第二實(shí)施例、作為通過(guò)圖像捕獲部分的圖像捕獲目標(biāo)的圖像捕獲范圍和在顯示部分上顯示的捕獲圖像的圖。
[0043]圖19是示意性圖示根據(jù)本發(fā)明的第二實(shí)施例、作為通過(guò)圖像捕獲部分的圖像捕獲目標(biāo)的圖像捕獲范圍和在顯示部分上顯示的捕獲圖像之間的位置關(guān)系的頂視圖。
[0044]圖20A和20B是示意性圖示根據(jù)本發(fā)明的第二實(shí)施例、通過(guò)有效聲音范圍設(shè)置部分的有效聲音范圍的設(shè)置方法和通過(guò)合成目標(biāo)圖像選擇范圍確定部分的合成目標(biāo)圖像選擇范圍的確定方法的圖。
[0045]圖21是圖示根據(jù)本發(fā)明的第二實(shí)施例的顯示部分中的顯示示例的圖。
[0046]圖22是圖示根據(jù)本發(fā)明的第二實(shí)施例、通過(guò)圖像捕獲裝置的合成圖像生成處理的處理過(guò)程的示例的流程圖。
[0047]圖23是圖示根據(jù)本發(fā)明的第三實(shí)施例的圖像捕獲裝置的功能配置的示例的框圖。
[0048]圖24是圖示根據(jù)本發(fā)明的第三實(shí)施例的目標(biāo)對(duì)象信息存儲(chǔ)部分的存儲(chǔ)內(nèi)容的示例的圖。
[0049]圖25是圖示根據(jù)本發(fā)明的第三實(shí)施例的顯示部分的顯示示例(顯示屏幕)的圖。
[0050]圖26A和26B是圖示根據(jù)本發(fā)明的第三實(shí)施例、通過(guò)層處理部分生成的合成圖像的示例的圖。
[0051]圖27是圖示根據(jù)本發(fā)明的第四實(shí)施例的圖像處理裝置的功能配置的示例的框圖。
[0052]圖28是圖示根據(jù)本發(fā)明的第四實(shí)施例的目標(biāo)對(duì)象信息存儲(chǔ)部分的存儲(chǔ)內(nèi)容的示例的圖。
[0053]圖29A和29B是示意性圖示根據(jù)本發(fā)明的第四實(shí)施例、通過(guò)有效聲音范圍設(shè)置部分的有效聲音范圍的設(shè)置方法和通過(guò)合成目標(biāo)圖像選擇范圍確定部分的合成目標(biāo)圖像選擇范圍的確定方法的圖。
[0054]圖30A和30B是示意性圖示根據(jù)本發(fā)明的第四實(shí)施例、通過(guò)有效聲音范圍設(shè)置部分的有效聲音范圍的設(shè)置方法和通過(guò)合成目標(biāo)圖像選擇范圍確定部分的合成目標(biāo)圖像選擇范圍的確定方法的圖。
【具體實(shí)施方式】
[0055]下文中，將以以下順序描述用于執(zhí)行本發(fā)明的實(shí)施例。
[0056]1.第一實(shí)施例(合成圖像生成控制:基于用戶操作的有效聲音范圍的設(shè)置示例)
[0057]2.第二實(shí)施例(合成圖像生成控制:計(jì)算對(duì)象距離和校正撞擊聲音檢測(cè)位置的示例)CN 103533285 A
書
明
說(shuō)
7/36 頁(yè)
[0058]3.第三實(shí)施例(合成圖像生成控制：從多個(gè)對(duì)象中指定期望的對(duì)象并且生成與該對(duì)象有關(guān)的合成圖像的示例）
[0059]4.第四實(shí)施例(合成圖像生成控制：在記錄的圖像內(nèi)容中生成合成圖像的示例）
[0060]I.第一實(shí)施例
[0061][圖像捕獲裝置的配置]
[0062]圖I是圖示根據(jù)本發(fā)明的第一實(shí)施例的圖像捕獲裝置100的功能配置的示例的框圖。圖像捕獲裝置100包括圖像捕獲部分111、對(duì)象信息生成部分120、捕獲圖像保持部分115、聲音輸入部分131、特定聲音檢測(cè)部分132、操作接收部分140和定時(shí)器設(shè)置部分150。此外，圖像捕獲裝置100包括有效聲音范圍設(shè)置部分160、選擇部分170、層處理部分180、合成圖像保持部分185、顯示控制部分190、顯示部分191和合成圖像存儲(chǔ)部分200。例如，圖像捕獲裝置100可以通過(guò)數(shù)字?jǐn)z像機(jī)實(shí)現(xiàn)，該數(shù)字?jǐn)z像機(jī)可以成像對(duì)象以生成捕獲圖像(圖像數(shù)據(jù))，通過(guò)圖像分析對(duì)于圖像數(shù)據(jù)提取每個(gè)特征量，并且使用每個(gè)提取的特征量執(zhí)行多種圖像處理。
[0063]圖像捕獲部分111包括圖像捕獲元件(例如，圖19所示的圖像捕獲元件112)和信號(hào)處理部分(未示出），圖像捕獲元件將通過(guò)鏡頭(未示出）入射的對(duì)象的光轉(zhuǎn)換為電信號(hào)，信號(hào)處理部分處理圖像捕獲元件的輸出信號(hào)以生成捕獲圖像（圖像數(shù)據(jù))。也就是說(shuō)，在圖像捕獲部分111中，在圖像捕獲元件的成像表面上形成通過(guò)鏡頭入射的對(duì)象的光學(xué)圖像，圖像捕獲元件在此狀態(tài)下執(zhí)行圖像捕獲操作，并且信號(hào)處理部分對(duì)于成像信號(hào)執(zhí)行信號(hào)處理，因此生成捕獲圖像?；趶牟僮鹘邮詹糠?40或定時(shí)器設(shè)置部分150輸出的圖像捕獲操作的開始指令信息生成捕獲圖像。此外，生成的捕獲圖像提供并保持在捕獲圖像保持部分115中。此外，生成的捕獲圖像提供到顯示控制部分190，然后在顯示部分191上顯示。此外，生成的捕獲圖像和在生成捕獲圖像時(shí)每個(gè)鏡頭(例如，聚焦鏡頭和變焦鏡頭）的位置和聚焦位置提供到對(duì)象信息生成部分120。
[0064]捕獲圖像保持部分115是用于將由圖像捕獲部分111生成的捕獲圖像保持預(yù)定時(shí)間的環(huán)形緩沖器，并且將保持的捕獲圖像提供到選擇部分170。此外，捕獲圖像保持部分115保持與由圖像捕獲部分111生成的捕獲圖像相關(guān)的由對(duì)象信息生成部分120生成的對(duì)象信息。這里，當(dāng)捕獲圖像保持在捕獲圖像保持部分115時(shí)的預(yù)定時(shí)間例如可以是3到10秒。也就是說(shuō)，由圖像捕獲部分111生成的最新捕獲圖像和由對(duì)象信息生成部分120生成的對(duì)象信息在捕獲圖像保持部分115中保持3到10秒。
[0065]對(duì)象信息生成部分120基于由圖像捕獲部分111生成的捕獲圖像和在生成捕獲圖像時(shí)的每條信息(例如，鏡頭的位置和聚焦位置)，生成與捕獲圖像有關(guān)的對(duì)象信息。此外，對(duì)象信息生成部分120將生成的對(duì)象信息提供到捕獲圖像保持部分115，并且允許它保持在其中。例如，對(duì)象信息例如是用于從由圖像捕獲部分111生成的捕獲圖像中包括的對(duì)象中辨別目標(biāo)對(duì)象區(qū)域和其背景區(qū)域的信息。例如，生成深度圖作為對(duì)象信息。這里，深度圖是指示從圖像捕獲位置(例如，圖像捕獲裝置100的位置）到捕獲圖像中包括的圖像的距離的數(shù)據(jù)。作為生成深度圖的技術(shù)，例如，可以使用如TOF(飛行時(shí)間)、散焦深度等的技術(shù)。例如，TOF技術(shù)是用于基于從光源發(fā)射的光從對(duì)象反射并且到達(dá)傳感器期間的延遲時(shí)間和光的速度計(jì)算到對(duì)象的距離的技術(shù)。
[0066]聲音輸入部分131獲得圖像捕獲裝置100周圍的聲音，并且將獲得的聲音(聲音數(shù)
11據(jù))輸出到特定聲音檢測(cè)部分132。例如，通過(guò)多個(gè)麥克風(fēng)等實(shí)現(xiàn)聲音輸入部分131。
[0067]特定聲音檢測(cè)部分132基于從聲音輸入部分131輸出的聲音檢測(cè)特定聲音，并且在檢測(cè)到特定聲音的情況下，將其輸出到選擇部分170。在本發(fā)明的第一實(shí)施例中，示例了在高爾夫揮桿期間高爾夫球桿與高爾夫球接觸的時(shí)刻生成的聲音(撞擊聲音)的情況。例如，特定聲音檢測(cè)部分132將與特定聲音有關(guān)的特征量預(yù)先存儲(chǔ)為特定聲音識(shí)別信息(參考數(shù)據(jù))。然后，特定聲音檢測(cè)部分132從由聲音輸入部分131輸出的聲音提取特征量，并且比較提取的特征量與特定聲音識(shí)別信息以計(jì)算相似度。在計(jì)算的相似度超過(guò)閾值的情況下，特定聲音檢測(cè)部分132確定從聲音輸入部分131輸出的聲音是特定聲音。具體地，從聲音輸入部分131輸出的聲音數(shù)據(jù)通過(guò)AD (模擬到數(shù)字)轉(zhuǎn)換處理采樣，并且轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)。此外，以適當(dāng)?shù)臅r(shí)間間隔對(duì)數(shù)字?jǐn)?shù)據(jù)執(zhí)行如頻率分析的處理，使得數(shù)字?jǐn)?shù)據(jù)轉(zhuǎn)換為指示聲音的頻譜或其它聲學(xué)特征的參數(shù)。因此，提取聲音的時(shí)間序列特征量。此外，使用保持的參考數(shù)據(jù)執(zhí)行與提取的時(shí)間序列特征量的匹配處理，然后聲音識(shí)別結(jié)果輸出為匹配處理的結(jié)果?？梢允褂酶鞣N其它現(xiàn)有方法執(zhí)行聲音分析和識(shí)別。
[0068]操作接收部分140接收通過(guò)用戶操作的操作內(nèi)容，并且輸出基于接收的操作內(nèi)容的操作信號(hào)到圖像捕獲部分111、定時(shí)器設(shè)置部分150、有效聲音范圍設(shè)置部分160和顯示控制部分190。例如，當(dāng)接收指示用于生成合成圖像的合成圖像記錄模式的設(shè)置的合成圖像記錄模式設(shè)置操作時(shí)，操作接收部分140輸出用于指令開始圖像捕獲操作的控制信號(hào)到圖像捕獲部分111。然后，操作接收部分140輸出用戶指令捕獲圖像的顯示開始的控制信號(hào)到顯示控制部分190。例如，通過(guò)合成圖像記錄模式的設(shè)置按鈕的按壓操作執(zhí)行合成圖像記錄模式的設(shè)置操作。此外，例如，當(dāng)接收用于指令合成圖像記錄模式的解除的合成圖像記錄模式解除操作時(shí)，操作接收部分140輸出用于停止圖像捕獲操作的控制信號(hào)到圖像捕獲部分111。例如，通過(guò)合成圖像記錄模式的解除按鈕執(zhí)行合成圖像記錄模式解除操作。此夕卜，例如，當(dāng)在設(shè)置合成圖像記錄模式的情況下接收合成圖像的記錄指令操作時(shí)，操作接收部分140輸出指示接收到合成圖像的記錄指令操作的控制信號(hào)到有效聲音范圍設(shè)置部分160。然后，操作接收部分140輸出用于停止圖像捕獲操作的控制信號(hào)到圖像捕獲部分111。例如，通過(guò)視頻記錄按鈕(REC按鈕)執(zhí)行合成圖像的記錄指令操作。此外，例如，當(dāng)接收用于通過(guò)定時(shí)器設(shè)置在合成圖像記錄模式中執(zhí)行圖像捕獲操作的定時(shí)器設(shè)置操作時(shí)，操作接收部分140輸出用于指令定時(shí)器設(shè)置的控制信號(hào)到定時(shí)器設(shè)置部分150。例如，通過(guò)定時(shí)器設(shè)置按鈕執(zhí)行定時(shí)器設(shè)置操作。此外，當(dāng)按壓定時(shí)器設(shè)置按鈕時(shí)，可以執(zhí)行計(jì)數(shù)器值(例如，8到17秒的設(shè)置)的設(shè)置操作?？梢允褂萌缣峁┰趫D像捕獲裝置100上的按鈕的操作部件輸入這些操作，并且可以通過(guò)遙控器操作等由無(wú)線通信執(zhí)行這些操作。
[0069]定時(shí)器設(shè)置部分150設(shè)置用于在合成圖像記錄模式中執(zhí)行圖像捕獲操作的定時(shí)器(例如，自定時(shí)器功能)。具體地，如果通過(guò)操作接收部分140接收定時(shí)器設(shè)置操作，則定時(shí)器設(shè)置部分150輸出用于指令開始圖像捕獲操作的控制信號(hào)到圖像捕獲部分111。此外，定時(shí)器設(shè)置部分150輸出用于指令捕獲圖像的顯示開始的控制信號(hào)和由于定時(shí)器設(shè)置的計(jì)數(shù)值到顯示控制部分190。此外，在計(jì)數(shù)值的顯示開始之后，定時(shí)器設(shè)置部分150根據(jù)設(shè)置的內(nèi)容順序輸出計(jì)數(shù)值到顯示控制部分190。因此，如圖6A和6B所示，由圖像捕獲部分111生成的捕獲圖像顯示在顯示部分191上，并且計(jì)數(shù)值重疊并且顯示在捕獲圖像上。例如，對(duì)于每秒一個(gè)接一個(gè)計(jì)數(shù)的計(jì)數(shù)值顯示在顯示部分191上。此外，在設(shè)置的定時(shí)器的計(jì)數(shù)值是“零”的情況下，定時(shí)器設(shè)置部分150輸出指示該事實(shí)的控制信號(hào)到有效聲音范圍設(shè)置部分160。此外，定時(shí)器設(shè)置部分150輸出用于停止圖像捕獲操作的控制信號(hào)到圖像捕獲部分111。
[0070]在設(shè)置合成圖像記錄模式的情況下，有效聲音范圍設(shè)置部分160設(shè)置用于確定由特定聲音檢測(cè)部分132檢測(cè)到的特定聲音是否有效的有效聲音范圍。此外，有效聲音范圍設(shè)置部分160輸出關(guān)于設(shè)置的有效聲音范圍(有效聲音范圍和在設(shè)置該范圍時(shí)用作參考的時(shí)間軸上的位置)的信息到選擇部分170。具體地，在通過(guò)操作接收部分140接收合成圖像的記錄指令操作的情況下，或者在通過(guò)定時(shí)器設(shè)置部分150設(shè)置的定時(shí)器的計(jì)數(shù)值變?yōu)椤傲恪钡那闆r下，有效聲音范圍設(shè)置部分160設(shè)置有效聲音范圍。這里，在通過(guò)操作接收部分140接收合成圖像的記錄指令操作的情況下，接收合成圖像的記錄指令操作的時(shí)間軸上的位置變?yōu)閰⒖嘉恢谩４送?，由定時(shí)器設(shè)置部分150設(shè)置的定時(shí)器的計(jì)數(shù)值變?yōu)椤傲恪?，?jì)數(shù)值變?yōu)椤傲恪钡臅r(shí)間軸上的位置變?yōu)閰⒖嘉恢?。將參照?qǐng)D5A到7C等詳細(xì)描述有效聲音范圍的這些設(shè)置方法。此外，有效聲音范圍設(shè)置部分160是權(quán)利要求中公開的確定范圍設(shè)置部分的示例。
[0071]選擇部分170從捕獲圖像保持部分115中保持的捕獲圖像中，依靠層處理部分180選擇在合成圖像的生成處理中使用的合成目標(biāo)圖像。此外，選擇部分170輸出關(guān)于選擇的合成目標(biāo)圖像的信息(例如，合成目標(biāo)圖像、關(guān)于這些圖像的對(duì)象信息、以及在合成圖像的生成處理中使用的坐標(biāo))到層處理部分180。將參照?qǐng)D2詳細(xì)描述選擇部分170的內(nèi)部配置。此外，選擇部分170是在權(quán)利要求中公開的控制部分的示例。
[0072]層處理部分180使用由選擇部分170選擇的合成目標(biāo)圖像生成合成圖像，然后將生成的合成圖像存儲(chǔ)在合成圖像存儲(chǔ)部分200中。將參照?qǐng)D2詳細(xì)描述層處理部分180的內(nèi)部配置。此外，層處理部分180是權(quán)利要求中公開的合成圖像生成部分的示例。
[0073]合成圖像保持部分185在依靠層處理部分180的合成圖像的生成處理時(shí)的合成處理期間保持合成圖像(歷史圖像)，并且將保持的合成圖像提供到層處理部分180。將參照?qǐng)D2詳細(xì)描述合成圖像保持部分185。
[0074]顯示控制部分190根據(jù)由操作接收部分140接收的操作輸入，在顯示部分191上顯示合成圖像存儲(chǔ)部分200中存儲(chǔ)的合成圖像或從圖像捕獲部分111輸出的捕獲圖像。此夕卜，顯示控制部分190將由定時(shí)器設(shè)置部分150設(shè)置的定時(shí)器的計(jì)數(shù)值與要在顯示部分191上顯示的捕獲圖像重疊。
[0075]顯示部分191在顯示控制部分190的控制下顯示每個(gè)圖像。
[0076]合成圖像存儲(chǔ)部分200存儲(chǔ)由層處理部分180生成的合成圖像，并且將存儲(chǔ)的合成圖像提供到顯示控制部分190。
[0077]圖2是圖示根據(jù)本發(fā)明的第二實(shí)施例的選擇部分170和層處理部分180的功能配置的示例的框圖。選擇部分170包括合成目標(biāo)圖像選擇范圍確定部分171、合成目標(biāo)圖像選擇部分172、坐標(biāo)計(jì)算部分173和計(jì)數(shù)器部分174。此外，層處理部分180包括層分離部分181、層修改部分182和層合成部分183。
[0078]合成目標(biāo)圖像選擇范圍確定部分171在捕獲圖像保持部分115中保持的捕獲圖像中，確定用于選擇在依靠層處理部分180的合成圖像的生成處理中使用的合成目標(biāo)圖像的范圍(合成目標(biāo)圖像選擇范圍)。具體地，合成目標(biāo)圖像選擇范圍確定部分171基于由特定CN 103533285 A
書
明
說(shuō)
10/36 頁(yè)
聲音檢測(cè)部分132檢測(cè)到的特定聲音的檢測(cè)位置(時(shí)間軸上的位置)和由有效聲音范圍設(shè)置部分160設(shè)置的有效聲音范圍確定合成目標(biāo)圖像選擇范圍。例如，在特定聲音的檢測(cè)位置包括在有效聲音范圍內(nèi)的情況下，合成目標(biāo)圖像選擇范圍確定部分171基于特定聲音的檢測(cè)位置確定合成目標(biāo)圖像選擇范圍。另一方面，在特定聲音的檢測(cè)位置不包括在有效聲音范圍內(nèi)的情況下，合成目標(biāo)圖像選擇范圍確定部分171基于設(shè)置有效聲音范圍時(shí)變?yōu)閰⒖嫉臅r(shí)間軸上的位置確定合成目標(biāo)圖像選擇范圍。這里，在由操作接收部分140接收合成圖像的記錄指令操作的情況下，接收合成圖像的記錄指令操作的時(shí)間軸上的位置變?yōu)閰⒖嘉恢?。此外，在由定時(shí)器設(shè)置部分150設(shè)置的定時(shí)器的計(jì)數(shù)值變?yōu)椤傲恪钡那闆r下，計(jì)數(shù)值變?yōu)椤傲恪钡臅r(shí)間軸上的位置變?yōu)閰⒖嘉恢?。此外，合成目?biāo)圖像選擇范圍確定部分171輸出關(guān)于確定的合成目標(biāo)圖像選擇范圍的信息(例如，合成目標(biāo)圖像選擇范圍和關(guān)于包括在該范圍中的圖像的對(duì)象信息）到合成目標(biāo)圖像選擇部分172。合成目標(biāo)圖像選擇范圍確定部分171是權(quán)利要求中公開的確定部分的示例。
[0079]合成目標(biāo)圖像選擇部分172從由合成目標(biāo)圖像選擇范圍確定部分171確定的合成目標(biāo)圖像選擇范圍中包括的各個(gè)圖像中，選擇在依靠層處理部分180的合成圖像的生成處理中使用的合成目標(biāo)圖像。例如，合成目標(biāo)圖像選擇部分172從由合成目標(biāo)圖像選擇范圍確定部分171確定的合成目標(biāo)圖像選擇范圍中包括的各個(gè)圖像(在捕獲圖像保持部分115中保持的捕獲圖像沖，選擇以預(yù)定的時(shí)間間隔的圖像作為合成目標(biāo)圖像。此外，例如，可以選擇合成目標(biāo)圖像以具有適于可視化目標(biāo)對(duì)象的運(yùn)動(dòng)轉(zhuǎn)變的間隔。此外，合成目標(biāo)圖像選擇部分172輸出關(guān)于選擇的合成目標(biāo)圖像的信息(例如，合成目標(biāo)圖像、關(guān)于這些圖像的對(duì)象信息）到坐標(biāo)計(jì)算部分173和層分離部分181。
[0080]坐標(biāo)計(jì)算部分173對(duì)于從合成目標(biāo)圖像選擇部分172輸出的每個(gè)合成目標(biāo)圖像計(jì)算在通過(guò)層處理部分180的合成圖像的生成處理中使用的坐標(biāo)，并且將計(jì)算的坐標(biāo)輸出到層修改部分182。在該坐標(biāo)計(jì)算中，計(jì)算要與和作為計(jì)算目標(biāo)的合成目標(biāo)圖像有關(guān)的合成圖像合成的像素位置。也就是說(shuō)，在該坐標(biāo)計(jì)算中，計(jì)算對(duì)應(yīng)于作為最終生成的合成圖像(例如，圖8D中示出的合成圖像402)中的計(jì)算目標(biāo)的合成目標(biāo)圖像的像素范圍(例如，圖8D中示出的包括H)和FlO的范圍）。
[0081]計(jì)數(shù)器部分174提供在通過(guò)合成目標(biāo)圖像選擇范圍確定部分171的合成目標(biāo)圖像選擇范圍確定時(shí)使用的計(jì)數(shù)器(撞擊聲音檢測(cè)計(jì)數(shù)器）的值到合成目標(biāo)圖像選擇范圍確定部分171。這里，計(jì)數(shù)器部分174連續(xù)增加撞擊聲音檢測(cè)計(jì)數(shù)器。此外，在從特定聲音檢測(cè)部分132檢測(cè)到的特定聲音輸出到合成目標(biāo)圖像選擇范圍確定部分171的事實(shí)的情況下，通過(guò)合成目標(biāo)圖像選擇范圍確定部分171將撞擊聲音檢測(cè)計(jì)數(shù)器的值重置為“零”。類似地，在重置后，計(jì)數(shù)器部分174還連續(xù)增加撞擊聲音檢測(cè)計(jì)數(shù)器。此外，合成目標(biāo)圖像選擇范圍確定部分171在合成目標(biāo)圖像選擇范圍的確定時(shí)使用撞擊聲音檢測(cè)計(jì)數(shù)器的值估計(jì)撞擊聲音檢測(cè)位置。也就是說(shuō)，在合成目標(biāo)圖像選擇范圍的確定時(shí)，估計(jì)領(lǐng)先確定時(shí)間撞擊聲音檢測(cè)計(jì)數(shù)器的值的位置(在時(shí)間軸上的領(lǐng)先位置）為撞擊聲音檢測(cè)位置。
[0082]層分離部分181對(duì)于由合成目標(biāo)圖像選擇部分172選擇的合成目標(biāo)對(duì)象使用相應(yīng)的對(duì)象信息執(zhí)行層分離。這里，術(shù)語(yǔ)“層”指對(duì)于每個(gè)圖像(幀)通過(guò)分離目標(biāo)對(duì)象部分和背景部分獲得的每個(gè)圖像。此外，層分離部分181輸出每個(gè)分離的層圖像到層修改部分182。
[0083]層修改部分182使用通過(guò)坐標(biāo)計(jì)算部分173計(jì)算的坐標(biāo)，執(zhí)行多種修改處理，用于
14生成從層分離部分181輸出的各個(gè)層圖像作為合成圖像。作為該修改處理，執(zhí)行如剪切、縮放、旋轉(zhuǎn)和坐標(biāo)移動(dòng)的幾何算術(shù)處理。例如，縮放具有根據(jù)合成目標(biāo)圖像的數(shù)目、合成圖像的尺寸等確定的其處理內(nèi)容。此外，作為修改處理，可以執(zhí)行如對(duì)于目標(biāo)對(duì)象的運(yùn)動(dòng)部分的強(qiáng)調(diào)的圖像處理。此外，層修改部分182輸出處理的層圖像到層合成部分183。
[0084]層合成部分183對(duì)于從層修改部分182輸出的層圖像執(zhí)行圖像合成處理，并且將生成的合成圖像存儲(chǔ)到合成圖像存儲(chǔ)部分200。具體地，層合成部分183合成各個(gè)層圖像，使得從層修改部分182輸出的層圖像安排在相應(yīng)的像素范圍內(nèi)。此外，層合成部分183合成緊接在合成目標(biāo)之前的層圖像，然后將合成圖像(歷史圖像)順序保持在合成圖像保持部分185中。此外，當(dāng)執(zhí)行變?yōu)橄乱粋€(gè)合成目標(biāo)的層圖像的合成處理時(shí)，層合成部分183從合成圖像保持部分185獲得在合成圖像保持部分185中保持的合成圖像(歷史圖像)，并且在合成處理中使用它們。
[0085]合成圖像保持部分185順序保持由層合成部分183生成的合成圖像(歷史圖像)，并且將保持的合成圖像提供到層合成部分183。也就是說(shuō)，由層合成部分183生成的合成圖像被順序更新，并保持在合成圖像保持部分185中。
[0086][合成圖像生成處理的轉(zhuǎn)變的示例]
[0087]接下來(lái)，將簡(jiǎn)要描述在生成合成圖像的情況下的生成處理的轉(zhuǎn)變的示例。
[0088]圖3A到3C是示意性圖示根據(jù)本發(fā)明的第一實(shí)施例、圖像捕獲裝置100和作為圖像捕獲目標(biāo)的人300之間的位置關(guān)系以及以該位置關(guān)系生成的運(yùn)動(dòng)圖像的關(guān)系的圖。
[0089]圖3A示意性圖示圖像捕獲裝置100和作為相對(duì)于圖像捕獲裝置100的圖像捕獲目標(biāo)的人300之間的位置關(guān)系。例如，人300在高爾夫練習(xí)場(chǎng)中練習(xí)揮桿高爾夫球桿301。隨著人300從圖3A所示的姿勢(shì)揮動(dòng)高爾夫球桿301，人300用高爾夫球桿301擊打高爾夫球302以在希望的方向驅(qū)動(dòng)高爾夫球302。
[0090]圖3B以矩形形狀示意性圖示由圖像捕獲部分111生成的運(yùn)動(dòng)圖像310。此外，在圖3B中，以對(duì)應(yīng)于運(yùn)動(dòng)圖像310的矩形形狀，沿著時(shí)間軸排列用于形成運(yùn)動(dòng)圖像310的各幀中的一些幀(圖像311到313等)。此外，運(yùn)動(dòng)圖像310是通過(guò)由圖3A所示的狀態(tài)下的圖像捕獲裝置100成像人300的高爾夫練習(xí)揮桿的外觀獲得的運(yùn)動(dòng)圖像。這里，圖像311是通過(guò)成像人300準(zhǔn)備好高爾夫揮桿的狀態(tài)所獲得的圖像，并且圖像312是通過(guò)成像人300觀察完成高爾夫揮桿之后高爾夫球302飛行的方向的狀態(tài)所獲得的圖像。此外，圖像313是通過(guò)成像當(dāng)人300進(jìn)行高爾夫揮桿時(shí)高爾夫球桿301與高爾夫球302接觸時(shí)的瞬間的狀態(tài)所獲得的圖像。這里，當(dāng)人300進(jìn)行高爾夫揮桿時(shí)，在高爾夫球桿301與高爾夫球302接觸的瞬間生成特定聲音(撞擊聲音)。生成撞擊聲音的運(yùn)動(dòng)圖像310中的位置表不為撞擊聲音生成位置315。
[0091]在使用如此生成的運(yùn)動(dòng)圖像310生成指示人300的高爾夫揮桿的轉(zhuǎn)變的合成圖像的情況下，例如，選擇用于選擇合成目標(biāo)圖像的預(yù)定范圍(合成目標(biāo)圖像選擇范圍)。合成目標(biāo)圖像選擇范圍是這樣的范圍，其中包括例如從高爾夫揮桿開始到其結(jié)束的一系列運(yùn)動(dòng)轉(zhuǎn)變。此外，在預(yù)定范圍中，選擇和合成作為合成目標(biāo)的圖像。在圖4B中示出該合成示例。
[0092]例如，如圖3B所示，在運(yùn)動(dòng)圖像310中確定合成目標(biāo)圖像選擇范圍320，并且在合成目標(biāo)圖像選擇范圍320中包括的各個(gè)巾貞中,確定滿足預(yù)定條件的巾貞作為合成目標(biāo)圖像。
[0093]在圖3C中，沿著時(shí)間軸排列在圖3B所不的運(yùn)動(dòng)圖像310中確定的合成目標(biāo)圖像選擇范圍320中包括的各個(gè)幀中的一些幀(圖像321到326)。這里，運(yùn)動(dòng)圖像321是當(dāng)人300開始高爾夫揮桿時(shí)成像的圖像，而圖像326是當(dāng)人300結(jié)束高爾夫揮桿時(shí)成像的圖像。此外，圖像323是對(duì)應(yīng)于圖3B中示出的圖像313的圖像。此外，圖像322、324和325是在圖像321和326之間通過(guò)以時(shí)間序列方式成像進(jìn)行高爾夫揮桿的人300的運(yùn)動(dòng)轉(zhuǎn)變所獲得的圖像。
[0094]圖4A和4B是圖示根據(jù)本發(fā)明的第一實(shí)施例、由合成目標(biāo)圖像選擇部分172選擇的合成目標(biāo)圖像和由層處理部分180生成的合成圖像的示例的圖。在圖4A中，以時(shí)間序列方式排列在圖3B所示的運(yùn)動(dòng)圖像310中的合成目標(biāo)圖像選擇范圍320中包括的各個(gè)幀中選擇作為合成目標(biāo)圖像的24個(gè)圖像。在圖4A中所示的24個(gè)圖像中包括與圖3C中所示的圖像321到326相同對(duì)象的圖像給出相同的參考標(biāo)號(hào)。這里，例如用于選擇處于預(yù)定間隔的幀作為合成目標(biāo)圖像的選擇方法可以用作合成目標(biāo)圖像的選擇方法。此外，例如，在一些情況下可以考慮精密地確認(rèn)在高爾夫球桿301與高爾夫球302接觸時(shí)的時(shí)間左右的運(yùn)動(dòng)變換。在此情況下，當(dāng)生成撞擊聲音時(shí)的圖像(例如，圖像323)的相鄰圖像的間隔可以比用于選擇合成目標(biāo)圖像的其它間隔更緊密。
[0095]圖4B示意性圖示通過(guò)層處理部分180生成的合成圖像330。以此方式，確定其中包括從人300的高爾夫揮桿的開始到其結(jié)束的運(yùn)動(dòng)轉(zhuǎn)變的合成目標(biāo)圖像選擇范圍，并且在該合成目標(biāo)圖像選擇范圍中選擇合成目標(biāo)圖像用于合成。因此，可以生成指示人300的高爾夫揮桿的運(yùn)動(dòng)轉(zhuǎn)變的合成圖像。
[0096]如上所述，在從運(yùn)動(dòng)圖像310生成合成圖像的情況下，重要的是適當(dāng)?shù)剡x擇用于合成目標(biāo)圖像的選擇的合成目標(biāo)圖像選擇范圍。然而，因?yàn)樵谙鄬?duì)短時(shí)間內(nèi)進(jìn)行高爾夫揮桿，所以可能難以從運(yùn)動(dòng)圖像310適當(dāng)?shù)剡x擇合成目標(biāo)圖像選擇范圍。也就是說(shuō)，可能難以從運(yùn)動(dòng)圖像310選擇合成目標(biāo)圖像選擇范圍，所述運(yùn)動(dòng)圖像310包括從人300的高爾夫揮桿的開始之前的狀態(tài)的圖像到包括高爾夫揮桿的結(jié)束之后的狀態(tài)的圖像范圍內(nèi)的圖像。
[0097]這里，如上所述，在高爾夫揮桿中間生成撞擊聲音。以此方式，因?yàn)樵诟郀柗驌]桿期間在預(yù)定位置頻繁生成撞擊聲音，所以可以基于撞擊聲音選擇合成目標(biāo)圖像選擇范圍。然而，在人300在存在很多其它人的高爾夫練習(xí)場(chǎng)練習(xí)時(shí)，在人300準(zhǔn)備好高爾夫揮桿等時(shí)，很可能由不同于人300的人的高爾夫揮桿生成撞擊聲音。也就是說(shuō)，在適當(dāng)?shù)赜涗浥c導(dǎo)致撞擊聲音有關(guān)的瞬時(shí)運(yùn)動(dòng)的情況下，如果檢測(cè)到的撞擊聲音總是有效，則很可能錯(cuò)誤地檢測(cè)來(lái)自不同于檢測(cè)目標(biāo)的人的撞擊聲音。為此，在生成與人300有關(guān)的合成圖像的情況下，重要的是當(dāng)基于撞擊聲音選擇合成目標(biāo)圖像選擇范圍時(shí)，適當(dāng)?shù)貦z測(cè)由人300的高爾夫揮桿生成的撞擊聲音。因此，在本發(fā)明的第一實(shí)施例中，提供設(shè)置有效聲音范圍以減少撞擊聲音錯(cuò)誤檢測(cè)的示例，其中僅僅基于用戶操作的拍攝觸發(fā)左右的鄰近定時(shí)有效。僅使用在有效聲音范圍中檢測(cè)到的撞擊聲音設(shè)置合成目標(biāo)圖像選擇范圍，從而選擇適當(dāng)?shù)暮铣赡繕?biāo)圖像。
[0098][基于視頻記錄按鈕操作的合成目標(biāo)圖像選擇范圍的確定示例]
[0099]圖5A、5B和5C是不意性圖不根據(jù)本發(fā)明的第一實(shí)施例、通過(guò)有效聲音范圍設(shè)置部分160的有效聲音范圍的設(shè)置方法和通過(guò)合成目標(biāo)圖像選擇范圍確定部分171的合成目標(biāo)圖像選擇范圍的確定方法的圖。
[0100]圖5A以矩形形狀示意性圖示通過(guò)圖像捕獲部分111生成的運(yùn)動(dòng)圖像350。此外，CN 103533285 A
書
明
說(shuō)
13/36 頁(yè)
以類似于圖3B所示的示例的方法，運(yùn)動(dòng)圖像350是通過(guò)由圖像捕獲裝置100成像人(例如，Koda Goro)的高爾夫練習(xí)揮桿所獲得的運(yùn)動(dòng)圖像。這里，假設(shè)Koda Goto要他的朋友(例如,Otogawa Rokuro)拍攝他的高爾夫揮桿。在此情況下,Otogawa Rokuro用他的手把持圖像捕獲裝置100，其中圖像捕獲裝置100的光軸方向朝向Koda Goro0如果通過(guò)操作接收部分140接收到按壓操作，則通過(guò)圖像捕獲部分111生成捕獲圖像，并且生成的捕獲圖像順序地保持在成像圖像保持部分115中。此外，顯示控制部分190在顯示部分191上順序顯示生成的捕獲圖像(所謂通過(guò)圖像（through image))。以此方式,在Otogawa Rokuro使用其中設(shè)置合成圖像記錄模式的圖像捕獲裝置100執(zhí)行拍攝的狀態(tài)下，Koda Goro進(jìn)行高爾夫揮桿。就在Koda Goro完成高爾夫揮桿之后,Otogawa Rokuro迅速按壓視頻記錄按鈕。如果通過(guò)操作接收部分140接收到按壓操作，則有效聲音范圍設(shè)置部分160設(shè)置有效聲音范圍。
[0101]例如，假設(shè)由Otogawa Rokuro按壓視頻記錄按鈕的位置（時(shí)間軸上的位置）是圖5A所示的運(yùn)動(dòng)圖像350的時(shí)間軸上的視頻記錄按鈕的按壓位置(視頻記錄按鈕按壓位置351)。在此情況下，有效聲音范圍設(shè)置部分160基于視頻記錄按鈕按壓位置351設(shè)置有效聲音范圍352。具體地，有效聲音范圍設(shè)置部分160在時(shí)間軸上設(shè)置領(lǐng)先視頻記錄按鈕按壓位置351時(shí)間LI的范圍作為有效聲音范圍352。在該示例中，因?yàn)榭梢栽谝幌盗懈郀柗驌]桿運(yùn)動(dòng)的結(jié)束之后生成視頻記錄按鈕的按壓(拍攝觸發(fā))，所以撞擊聲音的生成位置可能存在于拍攝觸發(fā)的定時(shí)之前。因此，該示例是其中在視頻記錄按鈕的按壓之前設(shè)置有效聲音范圍的示例。
[0102]這里，例如，時(shí)間LI可以是I. O秒?；谠谝源朔绞皆O(shè)置的有效聲音范圍中檢測(cè)到的撞擊聲音確定合成目標(biāo)圖像選擇范圍。將參照?qǐng)D5B描述合成目標(biāo)圖像選擇范圍的確定方法。此外，在以此方式設(shè)置的有效聲音范圍中沒(méi)有檢測(cè)到撞擊聲音的情況下，基于視頻記錄按鈕按壓位置351確定合成目標(biāo)圖像選擇范圍。將參照?qǐng)D5C描述合成目標(biāo)圖像選擇范圍的確定方法。
[0103]圖5B示意性圖示在通過(guò)有效聲音范圍設(shè)置部分160設(shè)置的有效聲音范圍352中檢測(cè)到撞擊聲音的情況下，合成目標(biāo)圖像選擇范圍的確定方法。在圖5B中，通過(guò)特定聲音檢測(cè)部分132檢測(cè)到撞擊聲音的位置(時(shí)間軸上的位置)表示為撞擊聲音檢測(cè)位置353。如圖5B所示，在通過(guò)有效聲音范圍設(shè)置部分160設(shè)置的有效聲音范圍352中檢測(cè)到撞擊聲音的情況下，合成目標(biāo)圖像選擇范圍確定部分171基于撞擊聲音檢測(cè)位置353確定合成目標(biāo)圖像選擇范圍。也就是說(shuō)，合成目標(biāo)圖像選擇范圍確定部分171參照撞擊聲音檢測(cè)位置353，確定在時(shí)間軸上的撞擊聲音檢測(cè)位置353前后的預(yù)定范圍作為合成目標(biāo)圖像選擇范圍354。具體地，合成目標(biāo)圖像選擇范圍確定部分171在時(shí)間軸上確定范圍L4，其包括領(lǐng)先撞擊聲音檢測(cè)位置353時(shí)間L2的范圍和超過(guò)撞擊聲音檢測(cè)位置353時(shí)間L3的范圍作為合成目標(biāo)圖像選擇范圍354。
[0104]這里，考慮高爾夫球桿的旋轉(zhuǎn)速度，在高爾夫球桿與高爾夫球接觸之后的高爾夫揮桿期間的時(shí)間比高爾夫球桿與高爾夫球接觸之前的時(shí)間短。也就是說(shuō)，在生成撞擊聲音之后的高爾夫揮桿期間的時(shí)間比生成撞擊聲音之前的時(shí)間短。因此，確定合成目標(biāo)圖像選擇范圍354，使得撞擊聲音檢測(cè)位置353之前的時(shí)間L2比其后的時(shí)間L3長(zhǎng)。例如，時(shí)間L2可以是I. 5秒，而時(shí)間L3可以是O. 5秒。以此方式，由于基于在有效聲音范圍中檢測(cè)到的
17撞擊聲音確定合成目標(biāo)圖像選擇范圍，所以可以確定適當(dāng)?shù)暮铣赡繕?biāo)圖像選擇范圍。
[0105]這里，假設(shè)在不同于由有效聲音范圍設(shè)置部分160設(shè)置的有效聲音范圍352的位置(例如，由圖5B所示的箭頭358和359指示的位置)中檢測(cè)到撞擊聲音。在不同于有效聲音范圍352的位置檢測(cè)到撞擊聲音的情況下,撞擊聲音不用于合成目標(biāo)圖像選擇范圍的確定。在不使用撞擊聲音的情況下，可以基于視頻記錄按鈕的按壓位置確定合成目標(biāo)圖像選擇范圍。此外，在不同于有效聲音范圍352的位置檢測(cè)到撞擊聲音的情況下,撞擊聲音不用于合成目標(biāo)圖像選擇范圍的確定，但是可以用于下一個(gè)合成圖像的生成處理。
[0106]圖5C示意性圖示在通過(guò)有效聲音范圍設(shè)置部分160設(shè)置的有效聲音范圍352中沒(méi)有檢測(cè)到撞擊聲音的情況下，合成目標(biāo)圖像選擇范圍的確定方法。在圖5C中，以與圖5A的情況類似的方式，按壓視頻記錄按鈕的位置表示為視頻記錄按鈕按壓位置351。如圖5C所示，在有效聲音范圍352中沒(méi)有檢測(cè)到撞擊聲音的情況下，合成目標(biāo)圖像選擇范圍確定部分171基于視頻記錄按鈕按壓位置351確定合成目標(biāo)圖像選擇范圍。也就是說(shuō)，合成目標(biāo)圖像選擇范圍確定部分171參照視頻記錄按鈕按壓位置351,確定時(shí)間軸上在視頻記錄按鈕按壓位置351之前的預(yù)定范圍作為合成目標(biāo)圖像選擇范圍355。具體地，合成目標(biāo)圖像選擇范圍確定部分171確定時(shí)間軸上領(lǐng)先撞擊聲音檢測(cè)位置353時(shí)間L7 (L5+L6)的范圍作為合成目標(biāo)圖像選擇范圍355。以此方式，在有效聲音范圍352中沒(méi)有檢測(cè)到撞擊聲音的情況下，將時(shí)間軸上領(lǐng)先視頻記錄按鈕的按壓位置時(shí)間L6的位置當(dāng)作撞擊聲音檢測(cè)位置，以確定合成目標(biāo)圖像選擇范圍355。也就是說(shuō)，時(shí)間L5和L6對(duì)應(yīng)于圖5B所示的時(shí)間L2和L3。這里，例如，以與圖5B的情況類似的方式，時(shí)間L7可以是2.0秒。也就是說(shuō)，時(shí)間L5是
1.5秒，而時(shí)間L6是0.5秒。然而，在基于視頻記錄按鈕按壓位置確定合成目標(biāo)圖像選擇范圍的情況下，因?yàn)榛谟脩舨僮鞔_定合成目標(biāo)圖像選擇范圍，所以與圖5B所示的合成目標(biāo)圖像選擇范圍354相比可能降低了精度。因此，在基于視頻記錄按鈕按壓位置確定合成目標(biāo)圖像選擇范圍的情況下，例如，時(shí)間L7可以長(zhǎng)于時(shí)間L4，以確定合成目標(biāo)圖像選擇范圍。
[0107]此外，可以通過(guò)用戶操作改變這些時(shí)間LI到L7。
[0108][基于定時(shí)器的合成目標(biāo)圖像選擇范圍的確定示例]
[0109]圖6A和6B是圖示根據(jù)本發(fā)明的第一實(shí)施例、在顯示部分191上顯示的顯示屏幕的轉(zhuǎn)換示例的圖。圖6A圖示在人300的高爾夫揮桿開始之前的顯示示例(顯示屏幕370)，其中由定時(shí)器設(shè)置部分150設(shè)置的定時(shí)器的計(jì)數(shù)值“17” (372)與由圖像捕獲部分111生成的圖像重疊。圖6B圖示在人300的高爾夫揮桿結(jié)束時(shí)的顯示示例(顯示屏幕371)，其中由定時(shí)器設(shè)置部分150設(shè)置的定時(shí)器的計(jì)數(shù)值“O”(373)與由圖像捕獲部分111生成的圖像重疊。
[0110]在該示例中，假設(shè)人300 (例如，Koda Goro)由他自己拍攝他的高爾夫練習(xí)揮桿的外觀。在此情況下，例如，正在練習(xí)的Koda Goro安裝圖像捕獲裝置100，使得其光軸指向他自己，如圖3A所示，然后按壓定時(shí)器設(shè)置按鈕。通過(guò)該按壓操作，通過(guò)圖像捕獲部分111生成捕獲圖像，并且顯示控制部分190在顯示部分191上顯示生成的捕獲圖像(所謂通過(guò)圖像)。此外，定時(shí)器設(shè)置部分150通過(guò)定時(shí)器設(shè)置按鈕的按壓操作設(shè)置定時(shí)器，并且顯示控制部分190將對(duì)應(yīng)于該設(shè)置內(nèi)容的計(jì)數(shù)值(例如，17秒)與要在顯示部分191上顯示的通過(guò)圖像重疊。例如，如圖6A所示，在按壓定時(shí)器設(shè)置按鈕之后，顯示顯示屏幕370，其中由定時(shí)器設(shè)置部分150設(shè)置的定時(shí)器的計(jì)數(shù)值“17” (372)與包括準(zhǔn)備高爾夫揮桿的人300的捕CN 103533285 A
書
明
說(shuō)
15/36 頁(yè)
獲圖像重疊。此后，類似地，在顯示部分191上顯示顯示屏幕，其中定時(shí)器的計(jì)數(shù)值(例如，以一秒的間隔從17秒減小的值)與包括人300的捕獲圖像重疊。在觀看以此方式在顯示部分191上顯示的顯示屏幕的同時(shí)，人300進(jìn)行高爾夫揮桿，使得在定時(shí)器的計(jì)數(shù)值變?yōu)椤癘”時(shí)的時(shí)間左右終止高爾夫揮桿。此外，在定時(shí)器的計(jì)數(shù)值是“O”的情況下，有效聲音范圍設(shè)置部分160設(shè)置有效聲音范圍。然后，在預(yù)定時(shí)間之后停止成像運(yùn)動(dòng)。將參照?qǐng)D7A、7B和7C詳細(xì)描述有效聲音范圍的設(shè)置方法。
[0111]隨著如上所述執(zhí)行定時(shí)器設(shè)置，例如，即使在朋友沒(méi)有執(zhí)行拍攝的情況下，人300也可以容易地拍攝他自己的高爾夫揮桿的外觀。
[0112]圖7A、7B和7C是示意性圖示根據(jù)本發(fā)明的第一實(shí)施例、通過(guò)有效聲音范圍設(shè)置部分160的有效聲音范圍的設(shè)置方法和通過(guò)合成目標(biāo)圖像選擇范圍確定部分171的合成目標(biāo)圖像選擇范圍的確定方法的圖。這里，第一實(shí)施例提供其中基于由定時(shí)器設(shè)置部分150設(shè)置的定時(shí)器設(shè)置有效聲音范圍的示例。
[0113]圖7A以矩形形狀示意性圖示由圖像捕獲部分111生成的運(yùn)動(dòng)圖像380。以與圖3B所示的示例類似的方式，運(yùn)動(dòng)圖像380是通過(guò)由圖像捕獲裝置100成像人300 (例如，KodaGoro)的高爾夫練習(xí)揮桿的外觀所獲得的運(yùn)動(dòng)圖像。例如，如圖6A和6B所示，在人300(例如,Koda Goro )由他自己拍攝他的高爾夫練習(xí)揮桿的外觀時(shí)，假設(shè)由定時(shí)器設(shè)置部分150設(shè)置的定時(shí)器的計(jì)數(shù)值是“O”。在此情況下，如上所述，有效聲音范圍設(shè)置部分160設(shè)置有效聲音范圍。
[0114]例如，假設(shè)由定時(shí)器設(shè)置部分150設(shè)置的定時(shí)器的計(jì)數(shù)值是“O”的位置是圖7A所示的運(yùn)動(dòng)圖像380的時(shí)間計(jì)數(shù)器“O”在時(shí)間軸上的位置（時(shí)間計(jì)數(shù)器“O”位置381)。在此情況下，有效聲音范圍設(shè)置部分160基于時(shí)間計(jì)數(shù)器“O”位置381設(shè)置有效聲音范圍382。具體地，有效聲音范圍設(shè)置部分160參照時(shí)間計(jì)數(shù)器“O”位置381，設(shè)置在時(shí)間軸上時(shí)間計(jì)數(shù)器“O”位置381前后的預(yù)定范圍作為有效聲音范圍382。例如，有效聲音范圍設(shè)置部分160在時(shí)間軸上設(shè)置包括領(lǐng)先時(shí)間計(jì)數(shù)器“O”位置381時(shí)間Lll的范圍和超過(guò)時(shí)間計(jì)數(shù)器“O”位置381時(shí)間L12的范圍的范圍L13作為有效聲音范圍382。
[0115]這里，人300進(jìn)行高爾夫揮桿以便在時(shí)間計(jì)數(shù)器“O”的定時(shí)終止該系列高爾夫揮桿運(yùn)動(dòng)可能是困難的。因此，在該示例中，生成撞擊聲音的瞬間可以對(duì)應(yīng)于時(shí)間計(jì)數(shù)器“O”的位置，并且有效聲音范圍設(shè)為覆蓋時(shí)間計(jì)數(shù)器“O”的位置前后的范圍。以此方式，基于視頻記錄按鈕的按壓位置設(shè)置有效聲音范圍的情況和基于時(shí)間計(jì)數(shù)器“O”的位置設(shè)置有效聲音范圍的情況可以具有不同設(shè)置內(nèi)容。隨著根據(jù)多個(gè)拍攝觸發(fā)特性設(shè)置有效聲音范圍，可能降低錯(cuò)誤地檢測(cè)不同于要檢測(cè)的撞擊聲音的聲音的風(fēng)險(xiǎn)。
[0116]在該方面，例如，時(shí)間LI I可以是O. 5秒,而時(shí)間L12可以是O. 5秒。也就是說(shuō)，例如，有效聲音范圍382的時(shí)間L13可以是I. O秒。在觀看在顯示部分191上顯示的顯示屏幕的同時(shí)，人300進(jìn)行高爾夫揮桿，使得在定時(shí)器的計(jì)數(shù)值變?yōu)椤癘”時(shí)的時(shí)間附近終止高爾夫揮桿。為此，與基于按壓視頻記錄按鈕的位置設(shè)置有效聲音范圍的情況相比，可能降低精度。因此，基于定時(shí)器設(shè)置操作的有效聲音范圍可能比基于視頻記錄按鈕按壓操作的有效聲音范圍相對(duì)更寬。也就是說(shuō)，基于視頻記錄按鈕按壓操作的有效聲音范圍可能比基于定時(shí)器設(shè)置操作的有效聲音范圍更短?；谝源朔绞皆谟行曇舴秶袡z測(cè)到的撞擊聲音確定合成目標(biāo)圖像選擇范圍。將參照?qǐng)D7B描述合成目標(biāo)圖像選擇范圍的確定方法。此外，
19CN 103533285 A
書
明
說(shuō)
16/36 頁(yè)
在以此方式?jīng)]有在有效聲音范圍中檢測(cè)到的撞擊聲音的情況下，基于時(shí)間計(jì)數(shù)器“O”位置381確定合成目標(biāo)圖像選擇范圍。將參照?qǐng)D7c描述合成目標(biāo)圖像選擇范圍的確定方法。
[0117]圖7B示意性圖示在由有效聲音范圍設(shè)置部分160設(shè)置的有效聲音范圍382中檢測(cè)到撞擊聲音的情況下的合成目標(biāo)圖像選擇范圍的確定方法。在圖7B中，其中由特定聲音檢測(cè)部分132檢測(cè)到撞擊聲音的位置(時(shí)間軸上的位置)表示為撞擊聲音檢測(cè)位置383。如圖7B所示，在由有效聲音范圍設(shè)置部分160設(shè)置的有效聲音范圍382中檢測(cè)到撞擊聲音的情況下，合成目標(biāo)圖像選擇范圍確定部分171基于撞擊聲音檢測(cè)位置383確定合成目標(biāo)圖像選擇范圍。也就是說(shuō)，合成目標(biāo)圖像選擇范圍確定部分171參照撞擊聲音檢測(cè)位置383，確定在時(shí)間軸上撞擊聲音檢測(cè)位置383前后的預(yù)定范圍作為合成目標(biāo)圖像選擇范圍384。具體地，確定在時(shí)間軸上包括領(lǐng)先撞擊聲音檢測(cè)位置383時(shí)間L14的范圍和超過(guò)撞擊聲音檢測(cè)位置383時(shí)間L15的范圍的范圍L16作為合成目標(biāo)圖像選擇范圍384。
[0118]這里，如上所述，在高爾夫球桿與高爾夫球接觸之后的高爾夫揮桿期間的時(shí)間比高爾夫球桿與高爾夫球接觸之前的時(shí)間短。因此，確定合成目標(biāo)圖像選擇范圍384，使得撞擊聲音檢測(cè)位置383之前的時(shí)間L14比其后的時(shí)間L15長(zhǎng)。例如，時(shí)間L14可以是I. 5秒，而時(shí)間L15可以是O. 5秒。以此方式，由于基于在有效聲音范圍中檢測(cè)到的撞擊聲音確定合成目標(biāo)圖像選擇范圍，所以可以確定適當(dāng)?shù)暮铣赡繕?biāo)圖像選擇范圍。
[0119]假設(shè)在不同于由有效聲音范圍設(shè)置部分160設(shè)置的有效聲音范圍382的位置(例如，由圖7B所示的箭頭388和389指示的位置)中檢測(cè)到撞擊聲音。以與圖5B所示的示例類似的方式，在以此方式在不同于有效聲音范圍382的位置檢測(cè)到撞擊聲音的情況下,撞擊聲音不用于合成目標(biāo)圖像選擇范圍的確定。在不使用撞擊聲音的情況下，如圖7C所示，可以基于時(shí)間計(jì)數(shù)器“O”位置確定合成目標(biāo)圖像選擇范圍。此外，在不同于有效聲音范圍382的位置檢測(cè)到撞擊聲音的情況下，撞擊聲音不用于合成目標(biāo)圖像選擇范圍的確定，但是可以用于下一個(gè)合成圖像的生成處理。
[0120]圖7C示意性圖示在通過(guò)有效聲音范圍設(shè)置部分160設(shè)置的有效聲音范圍382中沒(méi)有檢測(cè)到撞擊聲音的情況下，合成目標(biāo)圖像選擇范圍的確定方法。在圖7C中，以與圖7A的情況類似的方式，其中由定時(shí)器設(shè)置部分150設(shè)置的定時(shí)器的計(jì)數(shù)值的為“O”的位置表示為時(shí)間計(jì)數(shù)器“O”位置381。如圖7C所示，在有效聲音范圍382中沒(méi)有檢測(cè)到撞擊聲音的情況下，合成目標(biāo)圖像選擇范圍確定部分171基于時(shí)間計(jì)數(shù)器“O”位置381確定合成目標(biāo)圖像選擇范圍。也就是說(shuō)，合成目標(biāo)圖像選擇范圍確定部分171參照時(shí)間計(jì)數(shù)器“O”位置381，確定時(shí)間軸上在時(shí)間計(jì)數(shù)器“O”位置381前后的預(yù)定范圍作為合成目標(biāo)圖像選擇范圍385。具體地，有效聲音范圍設(shè)置部分160設(shè)置范圍L19作為合成目標(biāo)圖像選擇范圍385，范圍L19包括時(shí)間軸上領(lǐng)先時(shí)間計(jì)數(shù)器“O”位置381時(shí)間L17的范圍和超過(guò)時(shí)間計(jì)數(shù)器“O”位置381時(shí)間L18的范圍。
[0121]這里，在觀看顯示部分191上顯示的顯示屏幕的同時(shí)，人300進(jìn)行高爾夫揮桿，使得在定時(shí)器的計(jì)數(shù)值變?yōu)椤癘”時(shí)的時(shí)間左右終止高爾夫揮桿。為此，如圖5C所示，與基于按壓視頻記錄按鈕的位置確定合成目標(biāo)圖像選擇范圍的情況相比，可能降低精度。因此，在有效聲音范圍382中沒(méi)有檢測(cè)到有效聲音的情況下，考慮時(shí)間軸上定時(shí)器的計(jì)數(shù)值是“O”的位置（時(shí)間計(jì)數(shù)器“O”位置381)作為撞擊聲音檢測(cè)位置，以便確定合成目標(biāo)圖像選擇范圍 385。
20[0122]此外，時(shí)間L17和L18對(duì)應(yīng)于圖7B所示的時(shí)間L14和L15。此外，例如，以類似于圖7B的示例的方式，時(shí)間L17是1.5秒，而時(shí)間L18是0.5秒。如上所述，在基于定時(shí)器的計(jì)數(shù)值是“O”的位置確定合成目標(biāo)圖像選擇范圍的情況下，基于由于用戶的感覺(jué)的動(dòng)作確定合成目標(biāo)圖像選擇范圍。為此,與圖7B所示的合成目標(biāo)圖像選擇范圍384相比,可能降低精度。因此，在基于定時(shí)器的計(jì)數(shù)值是“O”的位置確定合成目標(biāo)圖像選擇范圍的情況下，例如，時(shí)間L19可以比時(shí)間L16更長(zhǎng)，以便確定合成目標(biāo)圖像選擇范圍。
[0123]此外，各個(gè)時(shí)間Lll到L19可以通過(guò)用戶操作改變。
[0124][合成圖像的生成示例]
[0125]接下來(lái)，將參照附圖詳細(xì)描述使用確定的合成目標(biāo)圖像選擇范圍中包括的每個(gè)幀生成合成圖像的示例。在本發(fā)明的第一實(shí)施例中，將描述生成靜態(tài)圖像的合成圖像的情況作為示例。
[0126]圖8A、8B、8C和8D是示意性圖示根據(jù)本發(fā)明的第一實(shí)施例、通過(guò)選擇部分170的合成目標(biāo)圖像的選擇處理和通過(guò)層處理部分180的合成圖像的生成處理的流程的示例的圖。
[0127]圖8A示意性圖示由圖像捕獲部分111生成的運(yùn)動(dòng)圖像400和在運(yùn)動(dòng)圖像400中由合成目標(biāo)圖像選擇范圍確定部分171確定的合成目標(biāo)圖像選擇范圍401。運(yùn)動(dòng)圖像400是以與圖3B等所示的示例類似的方式，通過(guò)由圖像捕獲裝置100成像人的高爾夫練習(xí)揮桿的外觀所獲得的運(yùn)動(dòng)圖像。此外，假設(shè)合成目標(biāo)圖像選擇范圍401是以與圖5B和5C以及圖7B和7C所示的示例類似的方式，由合成目標(biāo)圖像選擇范圍確定部分171確定的合成目標(biāo)圖像選擇范圍。
[0128]圖8B示意性圖示運(yùn)動(dòng)圖像400中的合成目標(biāo)圖像選擇范圍401中包括的各個(gè)中貞。在圖SB中，以矩形形狀示出合成目標(biāo)圖像選擇范圍401中包括的各個(gè)幀。這里，以矩形形狀給出指示各個(gè)幀的Fl到F90。
[0129]合成目標(biāo)圖像選擇部分172基于預(yù)定條件從合成目標(biāo)圖像選擇范圍401中包括的各個(gè)幀中選擇合成目標(biāo)圖像。例如，合成目標(biāo)圖像選擇部分172在幀F(xiàn)l到F90中選擇處于預(yù)定間隔(例如，10幀間隔)的幀作為合成目標(biāo)圖像。在此情況下，例如，包括在檢測(cè)到撞擊聲音的位置周圍的預(yù)定范圍(例如，0.05秒)內(nèi)的各幀的間隔可以比要選擇的其它間隔更緊密。因此，可以使用在要觀察的運(yùn)動(dòng)轉(zhuǎn)變周圍選擇的圖像生成合成圖像。在圖SC是示出以此方式選擇的合成目標(biāo)圖像。在該示例中，為了描述的簡(jiǎn)化，以相對(duì)少量幀為示例。
[0130]圖8C示意性圖示從合成目標(biāo)圖像選擇范圍401中包括的各個(gè)巾貞中選擇作為合成目標(biāo)圖像的多個(gè)合成目標(biāo)圖像(幀HKFlO等)。在圖SC中，以矩形形狀示出合成目標(biāo)圖像。這里，以矩形形狀給出指示每個(gè)合成目標(biāo)圖像的HKFlO等。在該示例中，為了描述的簡(jiǎn)化，以相對(duì)少量巾貞(例如，10巾貞)為示例。
[0131]圖8D示意性圖示由合成目標(biāo)圖像(多個(gè)幀RKFlO等)生成的合成圖像402。在圖8D中，以矩形形狀示出合成目標(biāo)圖像。這里，以矩形形狀給出指示每個(gè)合成目標(biāo)圖像的H)、FlO 等。
[0132]層處理部分180通過(guò)修改處理合成由合成目標(biāo)圖像選擇部分172選擇的合成目標(biāo)圖像(幀F(xiàn)0、FlO等)，從而生成合成圖像。例如，層處理部分180對(duì)于由合成目標(biāo)圖像選擇范圍確定部分171選擇的10個(gè)合成目標(biāo)圖像執(zhí)行用于合成的修改處理(例如，相對(duì)端的剪CN 103533285 A
書
明
說(shuō)
18/36 頁(yè)
切)，從而以時(shí)間序列方式合成修改之后的合成目標(biāo)圖像。例如，層處理部分180從左上端部分起以時(shí)間序列方式合成要排列的5個(gè)合成目標(biāo)圖像（FO、FlO、F20、F30和F40)，并且從左下端部分起以時(shí)間序列方式合成要排列的5個(gè)合成目標(biāo)圖像（F50、F60、F70、F80和F90)?；谟勺鴺?biāo)計(jì)算部分173的計(jì)算結(jié)果確定合成目標(biāo)圖像的合成位置。因此，如圖4B所示，生成指示練習(xí)高爾夫揮桿的人的運(yùn)動(dòng)轉(zhuǎn)變的合成圖像。
[0133]在圖8A、8B、8C和8D中，已經(jīng)描述了其中容易執(zhí)行圖像合成的示例(其中在合成目標(biāo)圖像的相對(duì)端的剪切之后執(zhí)行圖像合成)。下文中，將描述其中合成目標(biāo)圖像分為目標(biāo)圖像層和背景層以生成合成圖像的示例。
[0134][合成目標(biāo)圖像的層分離示例]
[0135]圖9A和9B是示意性圖示根據(jù)本發(fā)明的第一實(shí)施例、通過(guò)層分離部分181的合成目標(biāo)圖像的分離方法的圖。在該示例中，基于由對(duì)象信息生成部分120生成的對(duì)象信息，將由合成目標(biāo)圖像選擇部分172選擇的合成目標(biāo)圖像分為兩層。
[0136]圖9A圖示合成目標(biāo)圖像410和為合成目標(biāo)圖像410生成的對(duì)象信息412。合成目標(biāo)圖像410是包括人411的圖像。此外，作為由對(duì)象信息生成部分120生成的對(duì)象信息，例如，生成指示“I”給到對(duì)應(yīng)于目標(biāo)對(duì)象區(qū)域的像素并且“O”給到對(duì)應(yīng)于不同于目標(biāo)對(duì)象的區(qū)域(例如，背景區(qū)域）的像素的信息。在圖9A中，對(duì)應(yīng)于人411的區(qū)域（目標(biāo)對(duì)象區(qū)域）是白色區(qū)域413，并且不同于人411的區(qū)域(背景區(qū)域)是黑色區(qū)域，從而示意性圖示對(duì)象信息412。
[0137]如上所述，在捕獲圖像保持部分115中，順序保持由圖像捕獲部分111生成的捕獲圖像，并且與捕獲圖像相關(guān)地存儲(chǔ)由對(duì)象信息生成部分120生成的對(duì)象信息。此外，合成目標(biāo)圖像選擇部分172輸出選擇的合成目標(biāo)圖像和為合成目標(biāo)圖像生成的對(duì)象信息到層分離部分181。然后，層分離部分181使用相應(yīng)的目標(biāo)信息，將從合成目標(biāo)圖像選擇部分172輸出的合成目標(biāo)圖像分為兩層。
[0138]圖9B圖示由層分離部分181分離的目標(biāo)對(duì)象層420和背景層422。目標(biāo)對(duì)象層420通過(guò)在圖9A所示的合成目標(biāo)圖像410中提取目標(biāo)對(duì)象區(qū)域(也就是說(shuō)，給出“I”作為目標(biāo)信息412的像素區(qū)域)所獲得的圖像。也就是說(shuō)，提取合成目標(biāo)圖像410中包括的對(duì)應(yīng)于人411的區(qū)域421。此外，背景層422是通過(guò)在圖9A所示的合成目標(biāo)圖像410中提取背景區(qū)域(也就是說(shuō)，給出“O”作為目標(biāo)信息412的像素區(qū)域)所獲得的圖像。也就是說(shuō)，提取對(duì)應(yīng)于不同于合成目標(biāo)圖像410中包括的人411的區(qū)域(背景區(qū)域）的區(qū)域(不同于區(qū)域423的區(qū)域)。
[0139]對(duì)于以此方式分離的各個(gè)層圖像，通過(guò)層修改部分182執(zhí)行多種修改處理。將參照?qǐng)DIOA到IOC詳細(xì)描述該修改示例。
[0140][合成目標(biāo)圖像的修改示例]
[0141]圖10AU0B和IOC是示意性圖示根據(jù)本發(fā)明的第一實(shí)施例、作為通過(guò)層修改部分182的修改處理的目標(biāo)的圖像和通過(guò)層修改裝置182修改的圖像的圖。這里，將描述為以站立姿勢(shì)執(zhí)行的運(yùn)動(dòng)（如高爾夫）生成合成圖像的情況作為示例。此外，在圖10A、10B和IOC中，為了描述的簡(jiǎn)化，示出使用層分離之前的狀態(tài)的合成目標(biāo)圖像執(zhí)行修改處理的情況作為示例。
[0142]圖IOA圖示依靠層修改部分182的修改之前的合成目標(biāo)圖像430。此外，圖IOB和
22IOC圖示依靠層修改部分182的修改之后的合成目標(biāo)圖像432和433。進(jìn)行高爾夫揮桿的人431包括在合成目標(biāo)圖像430、432和433中。
[0143]圖1OA所示的合成目標(biāo)圖像430例如具有寬度Wl和高度Hl的圖像尺寸。合成目標(biāo)圖像430的圖像尺寸例如可以是VGA尺寸(640像素X480像素)。也就是說(shuō)，寬度Wl可以是640，而高度Hl可以是480。
[0144]圖1OB所示的合成目標(biāo)圖像432是對(duì)應(yīng)于圖1OA所示的合成目標(biāo)圖像430中的轉(zhuǎn)變運(yùn)動(dòng)有效區(qū)域的圖像，并且例如，具有寬度W2和高度H2的圖像尺寸。這里，轉(zhuǎn)變運(yùn)動(dòng)有效區(qū)域是用于從修改之前的合成目標(biāo)圖像中包括的對(duì)象剪切目標(biāo)對(duì)象的區(qū)域。例如，合成目標(biāo)圖像432的圖像尺寸可以是320像素X480像素。也就是說(shuō)，寬度W2可以是320，而高度H2可以是480。
[0145]圖1OC所示的合成目標(biāo)圖像433是對(duì)應(yīng)于圖1OA所示的合成目標(biāo)圖像430中的剩余背景區(qū)域的圖像，并且例如，具有寬度W3和高度H3的圖像尺寸。剩余背景區(qū)域是用作合成處理中的背景圖像的區(qū)域。例如，合成目標(biāo)圖像433的圖像尺寸可以是160像素X480像素。也就是說(shuō)，寬度W3可以是160,而聞度H3可以是480。
[0146]假設(shè)轉(zhuǎn)變運(yùn)動(dòng)有效區(qū)域和剩余背景區(qū)域之間的中心位置和合成目標(biāo)圖像的中心位置重合。此外，轉(zhuǎn)變運(yùn)動(dòng)有效區(qū)域的尺寸(W2XH2)和剩余背景區(qū)域的尺寸(W3XH3)可以根據(jù)目標(biāo)對(duì)象的轉(zhuǎn)變方向在它們的尺寸上相同(寬度和高度的至少一個(gè))。例如，目標(biāo)對(duì)象的轉(zhuǎn)變方向是其中當(dāng)圖像表示為運(yùn)動(dòng)轉(zhuǎn)變圖像時(shí)圖像以時(shí)間方式進(jìn)行的方向。
[0147]例如，在對(duì)于以站立姿勢(shì)執(zhí)行的運(yùn)動(dòng)(如高爾夫)的運(yùn)動(dòng)轉(zhuǎn)變生成合成圖像的情況下，如圖4B所示，很可能在橫向方向轉(zhuǎn)變每個(gè)目標(biāo)對(duì)象。為此，如圖1OB和IOC所示，可能優(yōu)選的是轉(zhuǎn)變運(yùn)動(dòng)有效區(qū)域和剩余背景區(qū)域的高度H2和H3是與合成目標(biāo)圖像的高度Hl相同的。另一方面，在對(duì)于在水平方向狀態(tài)下執(zhí)行的運(yùn)動(dòng)的運(yùn)動(dòng)轉(zhuǎn)變生成合成圖像的情況下，每個(gè)目標(biāo)對(duì)象圖像可以在縱向方向轉(zhuǎn)變。在此情況下，可能優(yōu)選的是轉(zhuǎn)變運(yùn)動(dòng)有效區(qū)域和剩余背景區(qū)域的寬度W2和W3是與合成目標(biāo)圖像的寬度Wl相同的。例如，在柔道中的場(chǎng)地工作變?yōu)槟繕?biāo)對(duì)象的情況下，很可能在縱向方向執(zhí)行運(yùn)動(dòng)轉(zhuǎn)變。
[0148]圖10AU0B和IOC示出的這樣的示例，其中優(yōu)選的根據(jù)對(duì)象的尺寸或運(yùn)動(dòng)對(duì)于轉(zhuǎn)變運(yùn)動(dòng)有效區(qū)域和剩余背景區(qū)域的寬度和高度執(zhí)行適當(dāng)?shù)脑O(shè)置，以便剪切圖像作為用于合成處理的圖像。
[0149][圖像合成示例]
[0150]圖1lA和IlB是示意性圖示根據(jù)本發(fā)明的第一實(shí)施例、通過(guò)層合成部分183的合成方法的圖。這里，本實(shí)施例提供這樣的示例，其中對(duì)于以時(shí)間序列方式連續(xù)的兩個(gè)合成目標(biāo)圖像執(zhí)行合成處理。
[0151]圖1lA示意性圖示通過(guò)層分離部分181分離和通過(guò)層修改部分182修改的合成目標(biāo)圖像(以時(shí)間序列方式連續(xù)的兩個(gè)合成目標(biāo)圖像)。如上所述，合成目標(biāo)圖像通過(guò)層分離部分181分離為目標(biāo)對(duì)象層和背景層。此外，層修改部分182對(duì)于通過(guò)層分離部分181分離的目標(biāo)對(duì)象層和背景層執(zhí)行修改處理。以此方式，隨著對(duì)以時(shí)間序列方式連續(xù)的兩個(gè)合成目標(biāo)圖像執(zhí)行分離和修改，如圖1lA所示，生成四層(第一優(yōu)先級(jí)圖像441到第四優(yōu)先級(jí)圖像444)。
[0152]假設(shè)第一優(yōu)先級(jí)圖像441是時(shí)間軸上較晚進(jìn)入的合成目標(biāo)圖像的目標(biāo)對(duì)象層，并且第三優(yōu)先級(jí)圖像443是合成目標(biāo)圖像的背景層。此外，假設(shè)第二優(yōu)先級(jí)圖像442是時(shí)間軸上較早進(jìn)入的合成目標(biāo)圖像的目標(biāo)對(duì)象層，并且第四優(yōu)先級(jí)圖像444是合成目標(biāo)圖像的背景層。此外，在合成這些圖像的情況下，執(zhí)行合成使得覆蓋具有較高優(yōu)先級(jí)的圖像。
[0153]圖1lB圖示基于各個(gè)層圖像的優(yōu)先級(jí)生成的合成圖像450。也就是說(shuō)，層合成部分183基于優(yōu)先級(jí)合成四層(第一優(yōu)先級(jí)圖像441到第四優(yōu)先級(jí)圖像444)，從而生成合成圖像450。合成圖像450是通過(guò)合成第一優(yōu)先級(jí)圖像441中包括的人圖像445和第二優(yōu)先級(jí)圖像442中包括的人圖像446以覆蓋在通過(guò)第三優(yōu)先級(jí)圖像443和第四優(yōu)先級(jí)圖像444合成的背景區(qū)域上所獲得的圖像。在此情況下，合成第三優(yōu)先級(jí)圖像443以覆蓋在第四優(yōu)先級(jí)圖像444上。此外，合成第一優(yōu)先級(jí)圖像中包括的人圖像445以覆蓋在第二優(yōu)先級(jí)圖像442中包括的人圖像446上。
[0154]如圖12A和12B所示，在順序合成三個(gè)或更多合成目標(biāo)圖像以生成合成圖像的情況下，以時(shí)間序列方式順序合成合成目標(biāo)圖像，從而生成合成圖像。此外，在以時(shí)間序列方式連續(xù)的兩個(gè)合成目標(biāo)圖像中，在時(shí)間軸上較早進(jìn)入的合成目標(biāo)圖像保持在合成圖像保持部分185中，直到較晚進(jìn)入的合成目標(biāo)圖像的合成處理時(shí)間。
[0155]圖12A和12B是示意性圖示根據(jù)本發(fā)明的第一實(shí)施例、依靠層合成部分183的合成目標(biāo)圖像的合成方法的圖。這里，示出直到生成圖12B所示的合成圖像460的合成目標(biāo)圖像的合成示例。
[0156]圖12A圖示在直到生成圖12B所示的合成圖像460的某一時(shí)間點(diǎn)的合成狀態(tài)。例如，假設(shè)圖12A所示的狀態(tài)是在對(duì)合成對(duì)象圖像462 (2個(gè)層圖像)執(zhí)行合成處理時(shí)的時(shí)間點(diǎn)的狀態(tài)。也就是說(shuō)，圖12A示出對(duì)應(yīng)于合成目標(biāo)圖像462的轉(zhuǎn)變運(yùn)動(dòng)有效區(qū)域E10，以及其中對(duì)于正好之前進(jìn)入的合成目標(biāo)圖像463執(zhí)行合成處理的合成圖像461。在該示例中，緊接在合成目標(biāo)之前的各個(gè)層圖像保持在合成圖像保持部分185中。
[0157]這里，在合成目標(biāo)圖像462的區(qū)域Ell中，在鄰近合成目標(biāo)圖像463和合成目標(biāo)圖像462之間不存在重疊區(qū)域。為此，在合成目標(biāo)圖像462與合成圖像461合成的情況下，相對(duì)于合成目標(biāo)圖像462中的區(qū)域ElI，合成目標(biāo)圖像462的轉(zhuǎn)變運(yùn)動(dòng)有效區(qū)域的像素被合成為照原樣作為新的合成圖像覆蓋在合成圖像461上。
[0158]然而，合成目標(biāo)圖像462的區(qū)域E12重疊有鄰近合成目標(biāo)圖像463的一部分。因此，如圖1lA和IlB所示，各個(gè)層圖像根據(jù)優(yōu)先級(jí)在合成目標(biāo)圖像462的區(qū)域E12中合成。
[0159]也就是說(shuō)，層合成部分183使用作為當(dāng)前合成目標(biāo)的合成目標(biāo)圖像462的各個(gè)層圖像和合成圖像保持部分185中保持的相鄰合成目標(biāo)圖像463，根據(jù)對(duì)于區(qū)域E12的優(yōu)先級(jí)合成各個(gè)層圖像。通過(guò)這樣的合成，從合成目標(biāo)圖像462和463生成區(qū)域E11+E12的合成圖像。此外，層合成部分183合成以此方式生成的區(qū)域E11+E12的合成圖像，以便與合成圖像保持部分185中保持的合成圖像(與鄰近合成目標(biāo)圖像463合成的合成圖像)覆蓋。也就是說(shuō)，層合成部分183執(zhí)行粘貼通過(guò)這樣的合成生成的區(qū)域E11+E12的合成圖像到對(duì)應(yīng)于合成圖像保持部分185中保持的合成圖像的區(qū)域El上的處理。
[0160]此外，變?yōu)楫?dāng)前合成目標(biāo)的合成目標(biāo)圖像462 (兩層圖像)和通過(guò)當(dāng)前合成處理生成的合成圖像保持在合成圖像保持部分185中，并且用于下一個(gè)合成處理。以此方式生成的合成圖像的示例在圖12B中示出。
[0161]以此方式，隨著根據(jù)優(yōu)先級(jí)合成各個(gè)層圖像，相對(duì)于在合成處理中連續(xù)圖像之間CN 103533285 A
書
明
說(shuō)
21/36 頁(yè)
重疊的區(qū)域(例如，區(qū)域E12)，可以生成合成圖像而不損害一部分目標(biāo)圖像。因此，在使用多個(gè)合成目標(biāo)圖像生成合成圖像的情況下，也可能生成能夠適當(dāng)?shù)乇憩F(xiàn)目標(biāo)圖像的運(yùn)動(dòng)的運(yùn)動(dòng)轉(zhuǎn)變圖像。
[0162]以此方式，由層合成部分183生成的合成圖像460存儲(chǔ)在合成圖像存儲(chǔ)部分200中。此外，例如，根據(jù)用戶操作在顯示部分191上顯示合成圖像460。此外，例如，只要通過(guò)層合成部分183生成合成圖像，就可以在顯示部分191上自動(dòng)顯示。圖13圖示以此方式生成的合成圖像的示例。
[0163][合成圖像示例]
[0164]圖13是圖示根據(jù)本發(fā)明的第一實(shí)施例、通過(guò)層處理部分180生成的合成圖像的示例的圖。圖13所示的合成圖像470指示練習(xí)高爾夫揮桿的人的運(yùn)動(dòng)轉(zhuǎn)變。在合成圖像470中，由箭頭471指示的區(qū)域是包括對(duì)應(yīng)于生成撞擊聲音的位置的圖像的區(qū)域。
[0165][圖像捕獲裝置的操作示例]
[0166]圖14是圖示根據(jù)本發(fā)明的第一實(shí)施例、通過(guò)圖像捕獲裝置100的合成圖像生成處理的處理過(guò)程的示例的流程圖。
[0167]首先，確定是否進(jìn)行合成圖像記錄模式的設(shè)置操作(步驟S901)。例如，確定是否執(zhí)行合成圖像記錄模式的設(shè)置按鈕或定時(shí)器設(shè)置按鈕的按壓操作。在沒(méi)有執(zhí)行合成圖像記錄模式的操作的設(shè)置的情況下(步驟S901)，繼續(xù)監(jiān)控直到執(zhí)行合成圖像記錄模式的操作的設(shè)置。在執(zhí)行合成圖像記錄模式的設(shè)置操作的情況下(步驟S901)，圖像捕獲部分111執(zhí)行捕獲圖像的生成處理(步驟S902)，并且生成的捕獲圖像保持在捕獲圖像保持部分115中（步驟S903)。也就是說(shuō)，執(zhí)行緩沖處理。步驟S902是權(quán)利要求中公開的成像過(guò)程的示例。
[0168]隨后，確定是否執(zhí)行視頻記錄按鈕的按壓操作(步驟S904)。在執(zhí)行視頻記錄按鈕的按壓操作的情況下，有效聲音范圍設(shè)置部分160基于按壓位置設(shè)置有效聲音范圍（步驟
5905)。例如，如圖5A所示，基于視頻記錄按鈕按壓位置351設(shè)置有效聲音范圍352。另一方面，在沒(méi)有執(zhí)行視頻記錄按鈕的按壓操作的情況下(步驟S904)，確定由定時(shí)器設(shè)置部分設(shè)置的定時(shí)器的計(jì)數(shù)值是否是“O”（步驟S906)。在定時(shí)器的計(jì)數(shù)值是“O”的情況下(步驟
5906)，有效聲音范圍設(shè)置部分160基于定時(shí)器的計(jì)數(shù)值是“O”的位置設(shè)置有效聲音范圍(步驟S907)。例如，如圖7A所示，基于時(shí)間計(jì)數(shù)器“O”位置381設(shè)置有效聲音范圍382。此外，在定時(shí)器的計(jì)數(shù)值不是“O”或者沒(méi)有通過(guò)定時(shí)器設(shè)置部分150執(zhí)行定時(shí)器設(shè)置的情況下(步驟S906)，過(guò)程返回到步驟S902。步驟S904到S907代表權(quán)利要求中公開的確定范圍設(shè)置步驟的示例。
[0169]接下來(lái)，執(zhí)行緩沖終止處理(步驟S908)，并且確定在設(shè)置的有效聲音范圍中是否檢測(cè)到撞擊聲音(步驟S909)。在設(shè)置的有效聲音范圍中檢測(cè)到撞擊聲音的情況下(步驟S909),合成目標(biāo)圖像選擇范圍確定部分171基于檢測(cè)到撞擊聲音的位置確定合成目標(biāo)圖像選擇范圍（步驟S910)。例如，如圖5C所示，基于撞擊聲音檢測(cè)位置353確定合成目標(biāo)圖像選擇范圍355。此外,例如,如圖7C所不,基于撞擊聲音檢測(cè)位置353確定合成目標(biāo)圖像選擇范圍385。
[0170]此外，在設(shè)置的有效聲音范圍中沒(méi)有檢測(cè)到撞擊聲音的情況下(步驟S909)，合成目標(biāo)圖像選擇范圍確定部分171基于當(dāng)設(shè)置有效聲音范圍時(shí)作為參照的位置確定合成目標(biāo)圖像選擇范圍(步驟S911)。也就是說(shuō)，在基于視頻記錄按鈕的按壓位置設(shè)置有效聲音范
25圍的情況下，基于按壓位置確定合成目標(biāo)圖像選擇范圍。例如，如圖5C所示，基于視頻記錄按鈕按壓位置351確定目標(biāo)圖像選擇范圍355。另一方面，在基于定時(shí)器的計(jì)數(shù)值是“O”的位置設(shè)置有效聲音范圍的情況下，基于該位置確定合成目標(biāo)圖像選擇范圍。例如，如圖7C所示，基于時(shí)間計(jì)數(shù)器“O”位置381確定合成目標(biāo)圖像選擇范圍385。
[0171]隨后，合成目標(biāo)圖像選擇部分172從確定的合成目標(biāo)圖像選擇范圍中包括的各個(gè)圖像選擇合成目標(biāo)圖像(步驟S912)。然后，使用選擇的合成目標(biāo)圖像執(zhí)行合成圖像的生成處理(步驟S913)。
[0172]接下來(lái)，確定是否執(zhí)行合成圖像記錄模式的解除操作(步驟S194)。在不執(zhí)行合成圖像記錄模式的解除操作的情況下，過(guò)程返回到步驟S902，并且順序執(zhí)行與下一個(gè)合成圖像有關(guān)的圖像合成處理。另一方面，在執(zhí)行合成圖像記錄模式的解除操作的情況下(步驟S194)，終止合成圖像生成處理的操作。
[0173]以此方式，在本發(fā)明的第一實(shí)施例中，設(shè)置其中變?yōu)闄z測(cè)目標(biāo)的撞擊聲音可能存在的時(shí)間跨度作為有效時(shí)間范圍，因此可能減少不同于變?yōu)闄z測(cè)目標(biāo)的撞擊聲音的聲音的錯(cuò)誤檢測(cè)。因此，在生成使用導(dǎo)致撞擊聲音的極快運(yùn)動(dòng)(如高爾夫揮桿)作為目標(biāo)的合成圖像的情況下，可能用高精確度檢測(cè)撞擊聲音的生成位置。此外，可能在強(qiáng)調(diào)撞擊聲音的精確生成位置周圍的情況下生成合成圖像，并且生成具有高可見度的合成圖像。在此情況下，因?yàn)樽矒袈曇舻纳晌恢玫臋z測(cè)不需要用戶的手工工作，所以可能減少對(duì)于用戶的不便。
[0174]此外，如上所述，可能根據(jù)在有效聲音范圍中是否檢測(cè)到撞擊聲音，確定是否生成合成圖像。
[0175]圖15是圖示根據(jù)本發(fā)明的第一實(shí)施例、通過(guò)圖像捕獲裝置100的合成圖像生成處理的處理過(guò)程的示例的流程圖。該示例是圖14所示的合成圖像生成處理的處理過(guò)程的修改示例，其中省略了步驟S911。因此，相同的參考標(biāo)號(hào)給到如圖14所示的相同處理步驟，并且將省略其描述。
[0176]確定在步驟S905或S907中設(shè)置的有效聲音范圍中是否檢測(cè)到撞擊聲音(步驟S909)。在設(shè)置的有效聲音范圍中沒(méi)有檢測(cè)到撞擊聲音的情況下(步驟S909)，過(guò)程進(jìn)到步驟S914。也就是說(shuō)，在設(shè)置的有效聲音范圍中沒(méi)有檢測(cè)到撞擊聲音的情況下，使用下一個(gè)視頻記錄按鈕的按壓位置或定時(shí)器的計(jì)數(shù)值為“O”的位置執(zhí)行合成圖像的生成處理，而不生成合成圖像。也就是說(shuō)，在有效聲音范圍中檢測(cè)到撞擊聲音的情況下，選擇部分170執(zhí)行控制使得在層處理部分180中使用特定聲音生成合成圖像，并且在有效聲音范圍中沒(méi)有檢測(cè)到撞擊聲音的情況下，執(zhí)行控制使得在層處理部分180中不生成合成圖像。步驟S909、S910、S912和S913是權(quán)利要求中公開的控制步驟的示例。
[0177]以此方式，在有效聲音范圍中不能檢測(cè)到撞擊聲音的情況下，通過(guò)返回到下一個(gè)可拍攝狀態(tài)而不生成合成圖像，可能減少用于拍攝機(jī)會(huì)的損失。此外，因?yàn)榭梢允褂镁_的撞擊聲音生成合成圖像，所以可能生成適當(dāng)?shù)暮铣蓤D像。
[0178]隨著以此方式生成合成圖像，即使不習(xí)慣于圖像捕獲裝置的操作的初學(xué)者也可以容易地生成適當(dāng)?shù)暮铣蓤D像。
[0179]在通過(guò)圖像捕獲部分111生成的捕獲圖像記錄為圖像內(nèi)容(例如，運(yùn)動(dòng)圖像文件或連續(xù)靜態(tài)圖像文件)的情況下，撞擊聲音檢測(cè)位置可以記錄為幀的元數(shù)據(jù)。因此，例如，在顯示圖像內(nèi)容的列表的情況下，對(duì)應(yīng)于撞擊聲音檢測(cè)位置的幀可以用作代表性縮略圖。[0180]2.第二實(shí)施例
[0181]在本發(fā)明的第一實(shí)施例中，已經(jīng)通過(guò)示例描述了圖像捕獲裝置和目標(biāo)對(duì)象(練習(xí)高爾夫揮桿的人)之間的距離相對(duì)短的情況。然而，圖像捕獲裝置可能位于距目標(biāo)對(duì)象的距離相對(duì)長(zhǎng)的位置，并且可以依靠圖像捕獲裝置的變焦功能拍攝目標(biāo)對(duì)象。在這種圖像捕獲裝置和目標(biāo)對(duì)象之間的距離相對(duì)長(zhǎng)的情況下，直到撞擊聲音到達(dá)圖像捕獲裝置的時(shí)間根據(jù)距離的長(zhǎng)度變長(zhǎng)。在此情況下，在生成撞擊聲音的時(shí)間和撞擊聲音到達(dá)圖像捕獲裝置的時(shí)間之間出現(xiàn)延遲。因此，本發(fā)明的第二實(shí)施例提供這樣示例，其中在圖像捕獲裝置和目標(biāo)對(duì)象之間的距離相對(duì)長(zhǎng)的情況下，根據(jù)距離的長(zhǎng)度校正時(shí)間軸上撞擊聲音的檢測(cè)位置。
[0182]圖16A和16B是圖示根據(jù)本發(fā)明的第二實(shí)施例、圖像捕獲裝置500和目標(biāo)對(duì)象之間的距離以及撞擊聲音的生成位置和其到達(dá)位置之間的關(guān)系的圖。圖16A示意性圖示圖像捕獲裝置500和變?yōu)橥ㄟ^(guò)圖像捕獲裝置500的圖像捕獲目標(biāo)的人540之間的位置關(guān)系。這里，圖像捕獲裝置500和人540之間的距離稱為距離d。圖像捕獲裝置500和人540之間的關(guān)系與如3A所示的示例大致相同，除了距離d是不同的，因此可以省略其描述。
[0183]圖16B示意性圖示形成由圖17所示的圖像捕獲部分111生成的運(yùn)動(dòng)圖像的各個(gè)圖像和人540的運(yùn)動(dòng)轉(zhuǎn)變之間的關(guān)系。圖像組550代表在圖16A所示的狀態(tài)下人540的運(yùn)動(dòng)轉(zhuǎn)變，其中在時(shí)間軸上排列形成圖像組550的各個(gè)圖像。圖像組560代表形成在圖16A所示的狀態(tài)下由圖像捕獲部分111生成的運(yùn)動(dòng)圖像的各個(gè)圖像，其中在時(shí)間軸上排列形成圖像組560的各個(gè)圖像。這里，通過(guò)人540的高爾夫揮桿生成撞擊聲音的位置(時(shí)間軸上的位置)表不為撞擊聲音生成位置555。
[0184]在這方面，空氣中的音速為大約340米/秒。因此，在圖像捕獲裝置500和人540之間的距離d相對(duì)長(zhǎng)的情況下，直到撞擊聲音到達(dá)圖像捕獲裝置500的時(shí)間變長(zhǎng)，因此在生成撞擊聲音的時(shí)間和撞擊聲音輸入圖像捕獲裝置500的時(shí)間之間出現(xiàn)延遲。
[0185]例如，假設(shè)在形成圖16B所示的圖像組550的各圖像中的圖像551的位置是撞擊聲音生成位置555。在此情況下，例如，在距離d相對(duì)短(例如幾米)的情況下，如由箭頭552所指示的，對(duì)應(yīng)于生成撞擊聲音的位置的圖像551和當(dāng)撞擊聲音輸入圖像捕獲裝置500時(shí)生成的圖像561近似相互相同。另一方面，在距離d相對(duì)長(zhǎng)(例如，340米或更長(zhǎng))的情況下，如由箭頭553所指示的，對(duì)應(yīng)于生成撞擊聲音的位置的圖像551和當(dāng)撞擊聲音輸入圖像捕獲裝置500時(shí)生成的圖像562相互不同，從而導(dǎo)致延遲。在這方面，即使在距離d相對(duì)長(zhǎng)的情況下，可能以與距離d相對(duì)短的情況下近似相同的視角觀看在顯示部分191上顯示的顯示屏幕上的圖像。為此，可能難以通過(guò)用戶的手動(dòng)操作校正撞擊時(shí)間的延遲。因此，下文中，示出了其中根據(jù)圖像捕獲裝置和目標(biāo)對(duì)象之間的距離校正生成的撞擊聲音的延遲的示例。
[0186][圖像捕獲裝置的配置示例]
[0187]圖17是圖示根據(jù)本發(fā)明的第二實(shí)施例的圖像捕獲裝置500的功能配置的示例的框圖。圖像捕獲裝置500不同于圖1所示的圖像捕獲裝置100在于添加了對(duì)象距離計(jì)算部分510，并且安裝選擇部分520代替選擇部分170。除了這些組件外的配置與圖像捕獲裝置100中大致相同。因此，相同的參考標(biāo)號(hào)給予共同組件，并且將省略這部分的描述。
[0188]對(duì)象距離計(jì)算部分510計(jì)算與由圖像捕獲部分111生成的捕獲圖像中包括的對(duì)象的距離(對(duì)象距離)，并且將計(jì)算的對(duì)象距離輸出到選擇部分520。例如，對(duì)象距離計(jì)算部分510檢測(cè)由圖像捕獲部分111生成的捕獲圖像中包括的人的面部，并且使用檢測(cè)到的面CN 103533285 A
書
明
說(shuō)
24/36 頁(yè)
部和生成捕獲圖像時(shí)的成像信息(例如，每個(gè)鏡頭的位置和聚焦位置）計(jì)算目標(biāo)對(duì)象的對(duì)象距離。例如，通過(guò)模板和內(nèi)容圖像的匹配的面部檢測(cè)方法(例如，見日本未審專利申請(qǐng)公開No. 2004-133637)可以用作捕獲圖像中包括的面部的檢測(cè)方法，在所述模板中記錄面部的亮度分布信息。此外，可以使用基于捕獲圖像中包括的膚色部分或人面部的特征量的面部檢測(cè)方法。通過(guò)這樣的面部檢測(cè)方法，可以計(jì)算捕獲圖像中的人的面部的位置和大小。
[0189]選擇部分520基于從對(duì)象距離計(jì)算部分510輸出的對(duì)象距離估計(jì)撞擊聲音的延遲時(shí)間，并且考慮延遲時(shí)間選擇合成目標(biāo)圖像。具體地，選擇部分520的合成目標(biāo)圖像選擇范圍確定部分171 (圖2中示出）基于從對(duì)象距離計(jì)算部分510輸出的對(duì)象距離，校正由特定聲音檢測(cè)部分132檢測(cè)到的特定聲音的檢測(cè)位置（時(shí)間軸上的位置)。此外，合成目標(biāo)圖像選擇范圍確定部分171基于校正之后的位置(校正的位置)和由有效聲音范圍設(shè)置部分160設(shè)置的有效聲音范圍，確定合成目標(biāo)圖像選擇范圍。選擇部分520是權(quán)利要求中公開的控制部分的示例。此外，合成目標(biāo)圖像選擇范圍確定部分171是權(quán)利要求中公開的延遲時(shí)間計(jì)算部分的示例。
[0190][對(duì)象距離的計(jì)算配置]
[0191]接下來(lái)，將參照附圖詳細(xì)描述用于計(jì)算圖像捕獲裝置500和目標(biāo)對(duì)象之間的距離的距離計(jì)算方法。這里，將描述用于使用普通人面部的大小(參考值)估計(jì)圖像捕獲裝置500和面部之間的距離的距離計(jì)算方法。
[0192]圖18A和18B是示意性圖示根據(jù)本發(fā)明的第二實(shí)施例、作為通過(guò)圖像捕獲部分111的圖像捕獲目標(biāo)的圖像捕獲范圍和在顯示部分191上顯示的捕獲圖像的圖。圖18A是示意性圖示以高爾夫球場(chǎng)為背景成像人571的情況下的圖像捕獲范圍570的圖，并且圖18B是示意性圖示對(duì)應(yīng)于圖18A所示的圖像捕獲范圍570的捕獲圖像575的顯示部分191的顯示示例的圖。
[0193]例如，如圖18A所示，在以高爾夫球場(chǎng)為背景成像人571作為對(duì)象的情況下，根據(jù)圖像捕獲裝置500的位置、變焦鏡頭的位置等確定其中成像人571的范圍（圖像捕獲范圍570)。此外，如圖18B所示，從圖像捕獲范圍570中包括的對(duì)象入射的光通過(guò)圖像捕獲部分111轉(zhuǎn)換為捕獲圖像，并且在顯示部分191上顯示捕獲圖像(所謂通過(guò)圖像)。
[0194]這里，在圖18A所示的圖像捕獲范圍570中，在左邊和右邊方向上圖像捕獲裝置500的寬度表示為圖像捕獲范圍寬度Wa，并且在左邊和右邊方向上圖像捕獲范圍570中包括的人570的面部572的寬度表示為面部寬度Wref。面部寬度Wref對(duì)應(yīng)于普通人面部的大小，而不是人571的實(shí)際面部寬度。此外，圖18B所示的捕獲圖像575的左邊和右邊方向上的寬度表示為圖像寬度Ww，并且左邊和右邊方向上捕獲圖像575中包括的人576的面部577的寬度表示為面部圖像寬度Wf。在此情況下，圖像捕獲范圍寬度Wa與面部寬度Wref的比率通常和圖像寬度Ww與面部圖像寬度Wf的比率相同。
[0195]圖19是示意性圖示根據(jù)本發(fā)明的第二實(shí)施例、作為通過(guò)圖像捕獲部分111的圖像捕獲目標(biāo)的圖像捕獲范圍和在顯示部分上191顯示的捕獲圖像之間的位置關(guān)系的頂視圖。在圖19所示的示例中，示意性示出圖18A所示的人571與圖像捕獲裝置500中提供的圖像捕獲元件112和顯示部分191之間的位置關(guān)系。如圖19所示，從圖像捕獲裝置500到面部572的距離表示為對(duì)象距離Df ;圖像捕獲裝置500中的焦距表示為焦距f ;并且圖像捕獲元件112的寬度表示為圖像捕獲元件寬度Wi。圖像捕獲范圍寬度Wa和面部寬度Wref與圖
2818A所示的那些相同。
[0196]如圖19所示，如果從圖像捕獲范圍570中包括的對(duì)象入射的光進(jìn)入圖像捕獲元件112，則生成對(duì)應(yīng)于圖像捕獲范圍570中包括的對(duì)象的捕獲圖像，然后在顯示部分191上顯示生成的捕獲圖像575。此外，在從人571的面部572入射的光進(jìn)入圖像捕獲元件112的情況下在圖像捕獲元件112上的面部寬度是在圖像捕獲元件上的面部寬度Wb。
[0197]這里，從具有平行線的比例關(guān)系建立以下兩個(gè)等式。
[0198]Df/ffref=f/ffb等式1 [0199]fff/ffw=ffb/ffi等式 2
[0200]這里，等式I變?yōu)镈f=f XWref/Wb，并且等式2變?yōu)閃b=Wf XWi/Ww。然后，將通過(guò)變化等式2獲得的Wb=WfXWi/Ww帶入等式1，從而計(jì)算以下等式3?；阽R頭的基本物理定律計(jì)算該等式3。
[0201]Df=WrefX (f/ffi) X (ffw/fff) 等式 3
[0202]這里，Wi (圖像捕獲元件寬度)和Ww (圖像寬度)是常數(shù)，并且普通人面部的大小用作Wref。在此情況下，隨著檢測(cè)到Wf (面部圖像寬度)，可以使用等式3計(jì)算Df (到面部的估計(jì)距離)。
[0203]例如，如圖18A所示，在一個(gè)人的面部572包括在圖像捕獲范圍570的情況下，通過(guò)對(duì)象距離計(jì)算部分510從對(duì)應(yīng)于圖像捕獲范圍570的捕獲圖像575檢測(cè)到面部577。以此方式，在檢測(cè)到面部的情況下，對(duì)象距離計(jì)算部分510基于等式3使用檢測(cè)到的面部的寬度(面部圖像寬度)計(jì)算對(duì)象距離Df。
[0204]本發(fā)明的第二實(shí)施例提供了其中使用一個(gè)參考值作為普通人面部大小計(jì)算對(duì)象距離的示例。這里，變?yōu)閳D像捕獲對(duì)象的人可能根據(jù)人的屬性(例如，年齡和性別)具有不同面部大小。例如，在兒童面部與成人面部比較的情況下，面部大小可能相互不同。此外，在女性面部與男性面部比較的情況下，面部大小可能相互不同。因此，根據(jù)人的屬性的多個(gè)參考值可以保持在對(duì)象距離計(jì)算部分510中。然后，對(duì)象距離計(jì)算部分510可以檢測(cè)從捕獲圖像檢測(cè)到的面部的屬性，并且對(duì)象距離計(jì)算部分510可以使用根據(jù)屬性的參考值計(jì)算距離d。為了檢測(cè)屬性，例如，可以使用由使用面部圖像中兩個(gè)點(diǎn)之間亮度的差別值的弱學(xué)習(xí)者(weak learner)檢測(cè)各個(gè)屬性的檢測(cè)方法(例如，見日本未審專利申請(qǐng)公開N0.2009-118009)ο
[0205][延遲時(shí)間的校正示例]
[0206]圖20A和20B是示意性圖示根據(jù)本發(fā)明的第二實(shí)施例、通過(guò)有效聲音范圍設(shè)置部分160的有效聲音范圍的設(shè)置方法和通過(guò)合成目標(biāo)圖像選擇范圍確定部分171的合成目標(biāo)圖像選擇范圍的確定方法的圖。因?yàn)樵撌纠菆D5A和5B的修改示例，所以將省略共同組件部分的描述。
[0207]圖20A以矩形形狀示意性圖示由圖像捕獲部分111生成的運(yùn)動(dòng)圖像580。此外，假設(shè)按壓視頻記錄按鈕的位置是圖20A所示的運(yùn)動(dòng)圖像580的時(shí)間軸上視頻記錄按鈕的按壓位置(視頻記錄按鈕按壓位置581)。在此情況下，有效聲音范圍設(shè)置部分160基于視頻記錄按鈕按壓位置581設(shè)置有效聲音范圍582。具體地，有效聲音范圍設(shè)置部分160設(shè)置時(shí)間軸上領(lǐng)先視頻記錄按鈕按壓位置581時(shí)間L21的范圍作為有效聲音范圍582。這里，例如，以類似于圖5A所示的時(shí)間LI的方式，時(shí)間L21可以是1.0秒。此外，時(shí)間L21可以長(zhǎng)于時(shí)間LI，并且可以根據(jù)由對(duì)象距離計(jì)算部分510計(jì)算的對(duì)象距離的大小改變。
[0208]圖20B示意性圖示在由有效聲音范圍設(shè)置部分160設(shè)置的有效聲音范圍582中檢測(cè)到撞擊聲音的情況下的合成目標(biāo)圖像選擇范圍的確定方法。在圖20B中，由特定聲音檢測(cè)部分132檢測(cè)到的撞擊聲音的位置(時(shí)間軸上的位置)表不為撞擊聲音檢測(cè)位置583。
[0209]在本發(fā)明的第二實(shí)施例中，在確定有效聲音范圍582中是否檢測(cè)到撞擊聲音之前，合成目標(biāo)圖像選擇范圍確定部分171基于由對(duì)象距離計(jì)算部分510估計(jì)的對(duì)象距離d(米)估計(jì)聲音的延遲時(shí)間。具體地，合成目標(biāo)圖像選擇范圍確定部分171基于由對(duì)象距離計(jì)算部分510估計(jì)的對(duì)象距離d (米)估計(jì)聲音的延遲時(shí)間。如上所述，因?yàn)槁曇舻乃俣仁?40(米/秒)，可以使用以下等式4計(jì)算直到撞擊聲音到達(dá)圖像捕獲裝置500的時(shí)間x(秒)。
[0210]x=d/340 等式 4
[0211]合成目標(biāo)圖像選擇范圍確定部分171在時(shí)間軸上將撞擊聲音檢測(cè)位置583移動(dòng)使用等式4計(jì)算的時(shí)間X。移動(dòng)之后的位置表示為校正位置584。
[0212]隨后，合成目標(biāo)圖像選擇范圍確定部分171確定校正位置584是否包括在由有效聲音范圍設(shè)置部分160設(shè)置的有效聲音范圍582中。如圖20B所示，在校正位置584包括在由有效聲音范圍設(shè)置部分160設(shè)置的有效聲音范圍582中的情況下，合成目標(biāo)圖像選擇范圍確定部分171基于校正位置584確定合成目標(biāo)圖像選擇范圍。也就是說(shuō)，合成目標(biāo)圖像選擇范圍確定部分171參照校正位置584確定時(shí)間軸上校正位置584前后的預(yù)定范圍作為合成面部圖像選擇范圍585。具體地，合成目標(biāo)圖像選擇范圍確定部分171確定時(shí)間軸上包括領(lǐng)先校正位置584時(shí)間L22的范圍和超過(guò)校正位置584時(shí)間L23的范圍的范圍L24作為合成目標(biāo)圖像選擇范圍585。
[0213]這里，時(shí)間L22到L24例如可以是與圖5B所示的時(shí)間L2到L4相同的值。此外，時(shí)間L24可以長(zhǎng)于時(shí)間L4，并且可以根據(jù)由基于由對(duì)象距離計(jì)算部分510計(jì)算的對(duì)象距離的大小改變。
[0214]此外，例如，在圖像捕獲裝置500和人540之間的距離相對(duì)遠(yuǎn)的情況下，可以通過(guò)遙控器操作執(zhí)行定時(shí)器設(shè)置。因此，在基于通過(guò)定時(shí)器設(shè)置部分150設(shè)置的定時(shí)器計(jì)數(shù)值設(shè)置有效聲音范圍，并且使用有效聲音范圍確定合成目標(biāo)圖像選擇范圍的情況下，類似地，可以估計(jì)聲音的延遲時(shí)間并且可以基于延遲時(shí)間執(zhí)行校正。
[0215]以此方式，即使在圖像捕獲裝置500和人540之間的距離相對(duì)遠(yuǎn)的情況下，也校正撞擊聲音的檢測(cè)位置，以便基于校正之后的位置確定合成目標(biāo)圖像選擇范圍。因此，可能確定合適的合成目標(biāo)圖像選擇范圍。
[0216]這里，校正位置可能不存在于由有效聲音范圍設(shè)置部分160設(shè)置的有效聲音范圍582中。在此情況下，以類似于圖5C的示例的方式，不使用撞擊聲音。此外，在不使用撞擊聲音的情況下，如圖5C所示，可以基于視頻記錄按鈕的按壓位置確定合成目標(biāo)圖像選擇范圍。
[0217]在圖18A、18B和圖19中，示出了使用人的面部的大小計(jì)算目標(biāo)距離的示例，但是如圖21所示，可以通過(guò)不同于面部的部分的大小計(jì)算對(duì)象距離。
[0218][對(duì)象距離的計(jì)算示例]
[0219]圖21是圖示根據(jù)本發(fā)明的第二實(shí)施例的顯示部分191中的顯示示例的圖。在圖21所示的顯示屏幕590中，顯示用于將進(jìn)行高爾夫揮桿的人591安排在合適的位置的操作CN 103533285 A
書
明
說(shuō)
27/36 頁(yè)
支持圖像592和593，以重疊在捕獲圖像上。該示例是圖18A、18B和圖19所示的對(duì)象距離的計(jì)算方法的修改示例，并且是其中基于由顯示屏幕590中的對(duì)象占據(jù)的區(qū)域的大小(垂直方法的長(zhǎng)度）計(jì)算對(duì)象距離的示例。
[0220]操作支持圖像592和593表示其中要在顯示屏幕590中安排進(jìn)行高爾夫揮桿的人591的推薦區(qū)域。操作支持圖像592由顯示屏幕590中的黑線指示，并且表示在左邊和右邊方向上進(jìn)行高爾夫揮桿的人591的推薦區(qū)域。此外，操作支持圖像593由顯示屏幕590中的虛線黑框指示，表示在上面和下面方向上進(jìn)行高爾夫揮桿的人591的推薦區(qū)域。這里，由操作支持圖像593指定的在上面和下面方向上的推薦區(qū)域可以是在垂直方向上顯示屏幕590的長(zhǎng)度的預(yù)定比率(例如，70%)的值Hl I。
[0221]例如，在使用圖像捕獲裝置500通過(guò)設(shè)置合成圖像記錄模式執(zhí)行拍攝的情況下，拍攝者確認(rèn)顯示屏幕590中包括的操作支持圖像592和593，并且執(zhí)行調(diào)整，使得目標(biāo)對(duì)象的人包括在操作支持圖像592和593中。此外，在執(zhí)行變焦操作等的情況下，類似地，拍攝者執(zhí)行調(diào)整，使得目標(biāo)對(duì)象的人包括在操作支持圖像592和593中。
[0222]以此方式，通過(guò)基于如上所述的與面部有關(guān)的參考值和捕獲圖像中包括的面部的大小應(yīng)用用于計(jì)算對(duì)象距離的對(duì)象距離計(jì)算方法，可能計(jì)算對(duì)象距離。也就是說(shuō)，因?yàn)樵趫D21所示的示例中捕獲圖像中包括的人的大小可能是預(yù)定值H11，所以可以基于與打高爾夫的人的普通高度有關(guān)的參考值(例如，170cm)和預(yù)定值Hll計(jì)算對(duì)象距離。
[0223]在圖18A、18B、圖19和圖21所示的示例中，使用人的每個(gè)部分的大小計(jì)算對(duì)象距離，但是可以使用其它對(duì)象距離計(jì)算方法。例如，可以生成與捕獲圖像有關(guān)的深度圖，并且可以使用該深度圖來(lái)計(jì)算對(duì)象距離。此外，在圖像捕獲裝置500中可以安裝距離測(cè)量傳感器，并且可以使用由距離測(cè)量傳感器測(cè)量的對(duì)象距離。此外，可以使用聚焦位置信息計(jì)算對(duì)象距離。
[0224]此外，可以根據(jù)拍攝情況選擇使用聚焦位置的對(duì)象距離計(jì)算方法和使用變焦位置信息的對(duì)象距離計(jì)算方法的任一用于使用。例如，在寬邊緣的變焦位置形成聚焦的情況下，可能聚焦位置信息比變焦位置信息具有更高精度。為此，在寬邊緣的變焦位置中形成聚焦的情況下，可以選擇使用聚焦位置信息的對(duì)象距離計(jì)算方法。此外，可以通過(guò)特定方法估計(jì)對(duì)象距離，并且可以確定是否使用估計(jì)結(jié)果或參照估計(jì)結(jié)果通過(guò)其它方法來(lái)執(zhí)行重新估計(jì)。
[0225][圖像捕獲裝置的操作示例]
[0226]圖22是圖示根據(jù)本發(fā)明的第二實(shí)施例、通過(guò)圖像捕獲裝置500的合成圖像生成處理的處理過(guò)程的示例的流程圖。該示例是圖14所示的合成圖像生成處理的處理過(guò)程的修改示例，其中添加步驟S921并且執(zhí)行步驟S922和S923的處理過(guò)程代替步驟S910。因此，相同的參考標(biāo)號(hào)給到如圖14所示的相同處理過(guò)程，并且將省略其描述。
[0227]在執(zhí)行緩沖終止處理之后（步驟S908)，對(duì)象距離計(jì)算部分510計(jì)算對(duì)象距離（步驟 S921)。
[0228]此外，在設(shè)置的有效聲音范圍中檢測(cè)到撞擊聲音的情況下(步驟S909)，合成目標(biāo)圖像選擇范圍確定部分171基于計(jì)算的對(duì)象距離校正撞擊聲音檢測(cè)位置(步驟S922)。具體地，合成目標(biāo)圖像選擇范圍確定部分171基于對(duì)象距離計(jì)算延遲時(shí)間，并且從計(jì)數(shù)器部分174提供的計(jì)數(shù)值減去計(jì)算的延遲時(shí)間以計(jì)算校正值。然后，合成目標(biāo)圖像選擇范圍確
31CN 103533285 A
書
明
說(shuō)
28/36 頁(yè)
定部分171基于校正值指定撞擊聲音檢測(cè)位置的校正之后的位置。例如，如圖20B所示，將撞擊聲音檢測(cè)位置583運(yùn)動(dòng)校正值X以計(jì)算校正位置584。
[0229]隨后，合成目標(biāo)圖像選擇范圍確定部分171基于校正之后的位置(校正位置）確定合成目標(biāo)圖像選擇范圍（步驟S923)。例如,如圖20B所示,基于校正位置584確定合成目標(biāo)圖像選擇范圍585。
[0230]以此方式，根據(jù)本發(fā)明的第二實(shí)施例，可能用高精度檢測(cè)撞擊聲音的生成位置，而不依賴于由于變焦操作的圖像捕獲裝置500和目標(biāo)對(duì)象之間距離的改變。因此，可能生成具有高可見度的合成圖像，而不依賴于由于變焦操作的圖像捕獲裝置500和目標(biāo)對(duì)象之間距離的改變。此外，因?yàn)椴恍枰脩舻氖謩?dòng)工作，所以可能減少用戶的不便。
[0231]此外，例如，在記錄通過(guò)圖像捕獲部分111生成的捕獲圖像作為圖像內(nèi)容的情況下，當(dāng)與圖像內(nèi)容相關(guān)地記錄元數(shù)據(jù)時(shí)，可能記錄校正之后的撞擊聲音檢測(cè)位置。因此，因?yàn)樵谠佻F(xiàn)圖像文件的情況下可以使用校正之后的撞擊聲音檢測(cè)位置，所以可能檢測(cè)撞擊聲音的正確生成位置。此外，例如，在顯示圖像內(nèi)容的列表的情況下，對(duì)應(yīng)于校正之后的撞擊聲音檢測(cè)位置的幀可以用作代表性縮略圖。
[0232]3.第三實(shí)施例
[0233]本發(fā)明的第一和第二實(shí)施例主要提供其中生成進(jìn)行高爾夫揮桿的人的運(yùn)動(dòng)轉(zhuǎn)變作為合成圖像的示例。這里，例如，在不同于高爾夫的運(yùn)動(dòng)(如擊球游戲或?qū)ο笈鲎灿螒?的情況下，在游戲者擊球或?qū)ο笙嗷ヅ鲎矔r(shí)的瞬間生成特征聲音。此外，例如，在焰火的情況下，在華麗地爆炸瞬間生成爆炸聲音。由于使用這些特定聲音確定合成目標(biāo)圖像選擇范圍，可以生成適當(dāng)?shù)暮铣蓤D像。在這方面中，本發(fā)明的第三實(shí)施例提供了根據(jù)用戶的偏好容易地生成這種合成圖像的示例。
[0234][圖像捕獲裝置的配置示例]
[0235]圖23是圖示根據(jù)本發(fā)明的第三實(shí)施例的圖像捕獲裝置600的功能配置的示例的框圖。圖像捕獲裝置600不同于圖17所示的圖像捕獲裝置500在于添加了目標(biāo)對(duì)象信息存儲(chǔ)部分610，并且修改了一部分的其它組件。也就是說(shuō)，代替圖像捕獲裝置500中的特定聲音檢測(cè)部分132、有效聲音范圍設(shè)置部分160和選擇部分520，圖像捕獲裝置600提供有特定聲音檢測(cè)部分620、有效聲音范圍設(shè)置部分630和選擇部分640。不同于這些組件的配置與圖像捕獲裝置500大致相同。因此，相同的參考標(biāo)號(hào)給予共同組件，并且將省略這部分的描述。
[0236]下文中，將描述適于根據(jù)本發(fā)明的實(shí)施例的合成目標(biāo)圖像的選擇處理的特定運(yùn)動(dòng)(例如，體育運(yùn)動(dòng)等)的條件(例如，第一條件和第二條件)的示例。第一條件是目標(biāo)對(duì)象的身體部分貫穿整個(gè)運(yùn)動(dòng)基本存在于相同位置。此外，第二條件是在一系列運(yùn)動(dòng)中存在涉及撞擊聲音的快速運(yùn)動(dòng)。作為不同于高爾夫的滿足這些條件的體育運(yùn)動(dòng)的示例，可以以棒球的擊球、網(wǎng)球發(fā)球、破瓦等為示例。此外，可以以不同于體育運(yùn)動(dòng)的對(duì)象（如焰火）為示例。因此，本發(fā)明的第三實(shí)施例提供其中這種對(duì)象或體育運(yùn)動(dòng)變?yōu)槟繕?biāo)對(duì)象的示例。
[0237]目標(biāo)對(duì)象信息存儲(chǔ)部分610存儲(chǔ)關(guān)于特定聲音的信息和相對(duì)于多種類型的目標(biāo)對(duì)象的特定運(yùn)動(dòng)的有效聲音范圍，并且將各個(gè)存儲(chǔ)的信息提供到特定聲音檢測(cè)部分620、有效聲音范圍設(shè)置部分630和選擇部分640。將參照?qǐng)D24詳細(xì)描述目標(biāo)對(duì)象信息存儲(chǔ)部分610的存儲(chǔ)內(nèi)容。目標(biāo)對(duì)象信息存儲(chǔ)部分610是權(quán)利要求中公開的存儲(chǔ)部分的示例。
32[0238]特定聲音檢測(cè)部分620基于從聲音輸入部分131輸出的聲音檢測(cè)特定聲音，并且在檢測(cè)到特定聲音的情況下輸出該事實(shí)到選擇部分640。此外，特定聲音檢測(cè)部分620檢測(cè)與網(wǎng)球(發(fā)球)和破瓦有關(guān)的特定值或更高的聲音。在這方面中，本發(fā)明的第三實(shí)施例提供這樣的示例，其中處理與高爾夫揮桿有關(guān)的撞擊聲音外，圖24中的撞擊聲音611中所示的每個(gè)撞擊聲音變?yōu)樘囟曇簟＠?，在棒?擊球)和網(wǎng)球(發(fā)球)中，在運(yùn)動(dòng)中球棒或球拍與球接觸時(shí)的瞬間生成的聲音變?yōu)樽矒袈曇?。此外，例如，在破瓦時(shí)，在手與瓦接觸時(shí)的瞬間生成的聲音變?yōu)樽矒袈曇簟４送?，在焰火時(shí)，在焰火在空中爆炸時(shí)的瞬間生成的聲音變?yōu)樽矒袈曇簟榱藱z測(cè)這些聲音，可以使用根據(jù)本發(fā)明的第一實(shí)施例的特定聲音檢測(cè)方法。
[0239]此外，在多種類型的目標(biāo)對(duì)象的特定運(yùn)動(dòng)中，特定聲音檢測(cè)部分620、有效聲音范圍設(shè)置部分630和選擇部分640從目標(biāo)對(duì)象信息存儲(chǔ)部分610獲取關(guān)于由用戶操作指定的特定運(yùn)動(dòng)的目標(biāo)對(duì)象信息。然后，特定聲音檢測(cè)部分620、有效聲音范圍設(shè)置部分630和選擇部分640使用獲取的目標(biāo)對(duì)象信息執(zhí)行各個(gè)處理。在這些各個(gè)處理中，該示例與本發(fā)明的第一和第二實(shí)施例中示出的示例大致相同，除了撞擊聲音的值和有效聲音范圍等不同，因此將省略其描述。有效聲音范圍設(shè)置部分630是權(quán)利要求中公開的確定范圍設(shè)置部分的示例。此外，選擇部分640是權(quán)利要求中公開的控制部分的示例。
[0240][目標(biāo)對(duì)象信息存儲(chǔ)部分的存儲(chǔ)示例]
[0241]圖24是圖示根據(jù)本發(fā)明的第三實(shí)施例的目標(biāo)對(duì)象信息存儲(chǔ)部分610的存儲(chǔ)內(nèi)容的示例的圖。在目標(biāo)對(duì)象信息存儲(chǔ)部分610中存儲(chǔ)撞擊聲音611、高速運(yùn)動(dòng)范圍612、有效聲音范圍613和合成目標(biāo)圖像選擇范圍614。
[0242]用于通過(guò)特定聲音檢測(cè)部分620檢測(cè)特定聲音(撞擊聲音)的特定聲音識(shí)別信息(參考數(shù)據(jù))存儲(chǔ)在撞擊聲音611中。圖24所不的撞擊聲音611僅僅公開了指不相應(yīng)的特定聲音的詞語(yǔ)。
[0243]在高速運(yùn)動(dòng)范圍612中，存儲(chǔ)合成目標(biāo)圖像選擇范圍中具有比用于合成目標(biāo)圖像的選擇的其它間隔更緊密的間隔的范圍。例如，在由于目標(biāo)對(duì)象是棒球(擊球)的特定運(yùn)動(dòng)的情況下，可能考慮精密地確認(rèn)當(dāng)棒球棒與球接觸時(shí)的瞬間左右的運(yùn)動(dòng)轉(zhuǎn)變。因此，在合成目標(biāo)圖像選擇范圍中，設(shè)置高速運(yùn)動(dòng)范圍，其中該瞬間左右的圖像的間隔可以比用于合成目標(biāo)圖像的選擇的其它間隔更緊密。在該高速運(yùn)動(dòng)范圍中，例如設(shè)置撞擊聲音周圍的預(yù)定范圍。
[0244]有效聲音范圍613存儲(chǔ)通過(guò)有效聲音范圍設(shè)置部分630變?yōu)樵O(shè)置目標(biāo)的有效聲音范圍。本發(fā)明的第三實(shí)施例提供其中視頻記錄按鈕的按壓操作用作拍攝觸發(fā)的示例。以與本發(fā)明的第一和第二實(shí)施例所示示例類似的方式，在高爾夫和棒球(擊球)時(shí)，可以在作為目標(biāo)的運(yùn)動(dòng)終止之后生成拍攝觸發(fā)。在焰火的情況下，可以在焰火在空中爆炸時(shí)的瞬間生成拍攝觸發(fā)。此外，以與本發(fā)明的第一和第二實(shí)施例所示示例類似的方式，在高爾夫、棒球(擊球)和焰火中，在拍攝觸發(fā)之前的特定范圍可以設(shè)為有效聲音范圍。
[0245]此夕卜,在網(wǎng)球(發(fā)球)的情況下,可以在球員抬高(turn up)預(yù)定時(shí)間時(shí)的瞬間生成拍攝觸發(fā)。在破瓦時(shí)，可以在破瓦的人的面部充滿戰(zhàn)斗精神時(shí)的瞬間生成拍攝觸發(fā)。此外，在網(wǎng)球(發(fā)球)和破瓦時(shí)，從拍攝觸發(fā)最初檢測(cè)到特定值或更高的聲音之前的特定范圍可以設(shè)為有效聲音范圍。以此方式，在網(wǎng)球(發(fā)球)和破瓦的情況下，設(shè)置有效聲音范圍的后邊緣對(duì)應(yīng)于檢測(cè)到特定值或更高的聲音時(shí)的時(shí)間。然而，經(jīng)過(guò)預(yù)定時(shí)間沒(méi)有檢測(cè)到聲音的情況下，聲音檢測(cè)可能變?yōu)闊o(wú)效，然后可以設(shè)置新的有效聲音范圍。對(duì)于該新的有效聲音范圍，重新生成拍攝觸發(fā)。因此，可能減少撞擊聲音的錯(cuò)誤檢測(cè)。在這方面中，通過(guò)特定聲音檢測(cè)部分620檢測(cè)網(wǎng)球(發(fā)球)和破瓦時(shí)特定值或更高的聲音。
[0246]在合成目標(biāo)圖像選擇范圍614中存儲(chǔ)通過(guò)合成目標(biāo)圖像選擇范圍確定部分171確定的合成目標(biāo)圖像選擇范圍。本發(fā)明的第三實(shí)施例提供了這樣的示例，其中參照在有效聲音范圍中檢測(cè)到的撞擊聲音的特定范圍設(shè)為合成目標(biāo)圖像選擇范圍。
[0247][目標(biāo)對(duì)象的指定屏幕的顯示示例]
[0248]圖25是圖示根據(jù)本發(fā)明的第三實(shí)施例的顯示部分191的顯示示例(顯示屏幕660)的圖。顯示屏幕660提供有高爾夫(揮桿)按鈕661、棒球(擊球)按鈕662、網(wǎng)球(發(fā)球)按鈕663、破瓦按鈕664和焰火按鈕665。此外，顯示屏幕660提供有返回按鈕666和確定按鈕667。
[0249]按壓高爾夫(揮桿)按鈕661、棒球(擊球)按鈕662、網(wǎng)球(發(fā)球)按鈕663、破瓦按鈕664和焰火按鈕665，以便指定當(dāng)對(duì)于運(yùn)動(dòng)轉(zhuǎn)變生成合成圖像時(shí)作為目標(biāo)的運(yùn)動(dòng)類型。例如，在由觸摸面板制成顯示部分191的情況下，可以通過(guò)希望按鈕的按壓操作執(zhí)行指定。
[0250]按壓確定按鈕667以在用于指定作為合成圖像的目標(biāo)的運(yùn)動(dòng)類型的按壓操作之后確定指定。通過(guò)該按壓，設(shè)置合成目標(biāo)圖像記錄模式。
[0251]按壓返回按鈕666以返回例如正好之前顯示的顯示屏幕。
[0252]例如，在顯示屏幕660中，在按壓希望的按鈕(例如，網(wǎng)球(發(fā)球)按鈕663)并且按壓確定按鈕667的情況下，指示該事實(shí)的操作信號(hào)從操作接收部分140輸出到各個(gè)部分。然后，特定聲音檢測(cè)部分620、有效聲音范圍設(shè)置部分630和選擇部分640從目標(biāo)對(duì)象信息存儲(chǔ)部分610獲取指定的運(yùn)動(dòng)類型的目標(biāo)對(duì)象信息(例如，關(guān)于網(wǎng)球(發(fā)球)的目標(biāo)對(duì)象信息)。然后，特定聲音檢測(cè)部分620、有效聲音范圍設(shè)置部分630和選擇部分640使用獲取的目標(biāo)對(duì)象信息執(zhí)行各個(gè)處理。
[0253][合成圖像示例]
[0254]圖26A和26B是圖示根據(jù)本發(fā)明的第三實(shí)施例、通過(guò)層處理部分180生成的合成圖像的示例的圖。
[0255]圖26A圖示成像進(jìn)行棒球擊球的人的情況下的合成圖像671。也就是說(shuō)，合成圖像671是使用通過(guò)在按壓圖25所示的棒球(擊球)按鈕662和按壓確定按鈕667之后開始的圖像捕獲操作所獲得的運(yùn)動(dòng)圖像生成的合成圖像。
[0256]圖26B圖示成像進(jìn)行網(wǎng)球發(fā)球的人的情況下的合成圖像672。也就是說(shuō)，合成圖像672是使用通過(guò)在按壓圖25所示的網(wǎng)球(發(fā)球)按鈕663和按壓確定按鈕667之后開始的圖像捕獲操作所獲得的運(yùn)動(dòng)圖像生成的合成圖像。
[0257]以此方式，在不同于高爾夫揮桿的特定運(yùn)動(dòng)期間，其中變?yōu)闄z測(cè)目標(biāo)的撞擊聲音可能存在的時(shí)間跨度設(shè)為有效聲音范圍，因此，可能減少不同于變?yōu)闄z測(cè)目標(biāo)的撞擊聲音的聲音的錯(cuò)誤檢測(cè)。因此，在使用導(dǎo)致撞擊聲音的極快運(yùn)動(dòng)作為目標(biāo)生成合成圖像的情況下，可能用高精確度檢測(cè)撞擊聲音的生成位置。此外，可能在強(qiáng)調(diào)撞擊聲音的精確生成位置周圍的情況下生成合成圖像，并且生成具有高可視性的合成圖像。在此情況下，因?yàn)樽矒袈曇舻纳晌恢玫臋z測(cè)不需要用戶的手工工作，所以可能減少對(duì)于用戶的不便。隨著以此方式生成合成圖像，即使不習(xí)慣于圖像捕獲裝置的操作的初學(xué)者也可以容易地根據(jù)用戶的偏CN 103533285 A
書
明
說(shuō)
31/36 頁(yè)
好生成適當(dāng)?shù)暮铣蓤D像。
[0258]4.第四實(shí)施例
[0259]本發(fā)明的第一到第三實(shí)施例提供了這樣的示例，其中通過(guò)圖像捕獲裝置執(zhí)行圖像捕獲操作，并且使用在圖像捕獲操作時(shí)生成的撞擊聲音生成合成圖像。這里，在對(duì)于由圖像捕獲裝置記錄的內(nèi)容(例如，運(yùn)動(dòng)圖像內(nèi)容）生成合成圖像的情況下，可以使用內(nèi)容中包括的撞擊聲音生成合成圖像。此外，例如，在高爾夫比賽的情況下，可以生成不同于撞擊聲音的特征聲音，如高爾夫揮桿之后的巨大歡呼。為此，可以使用特征聲音作為觸發(fā)代替視頻記錄按鈕的按壓操作或定時(shí)器設(shè)置來(lái)設(shè)置有效聲音范圍。因此，本發(fā)明的第四實(shí)施例提供了這樣的示例，其中使用特征聲音代替視頻記錄按鈕的按壓操作或定時(shí)器設(shè)置來(lái)設(shè)置有效聲音范圍，并且對(duì)于由圖像捕獲裝置記錄的運(yùn)動(dòng)圖像內(nèi)容生成合成圖像。
[0260][圖像捕獲裝置的配置示例]
[0261]圖27是圖示根據(jù)本發(fā)明的第四實(shí)施例的圖像捕獲裝置700的功能配置的示例的框圖。圖像處理裝置700不同于圖23所示的圖像捕獲裝置600在于省略了聲音輸入部分161和定時(shí)器設(shè)置部分150，并且修改了一些其它組件。也就是說(shuō)，圖像處理裝置700提供有目標(biāo)對(duì)象信息存儲(chǔ)部分710、輸入部分720和對(duì)象信息生成部分730，代替圖像捕獲裝置600中的目標(biāo)對(duì)象信息存儲(chǔ)部分610、圖像捕獲部分111和對(duì)象信息生成部分120。此外，圖像捕獲裝置700提供有特定聲音檢測(cè)部分740、有效聲音范圍設(shè)置部分750和選擇部分760，代替圖像捕獲裝置600中的特定聲音檢測(cè)部分620、有效聲音范圍設(shè)置部分630和選擇部分640。不同于這些組件的配置與圖像捕獲裝置600大致相同。因此，相同的參考標(biāo)號(hào)給予共同組件，并且將省略這部分的描述。
[0262]目標(biāo)對(duì)象信息存儲(chǔ)部分710存儲(chǔ)關(guān)于特定聲音或多種類型的目標(biāo)對(duì)象的特定運(yùn)動(dòng)的有效聲音范圍的信息，并且將各個(gè)存儲(chǔ)的信息提供到特定聲音檢測(cè)部分740、有效聲音范圍設(shè)置部分750和選擇部分760。將參照?qǐng)D28詳細(xì)描述目標(biāo)對(duì)象信息存儲(chǔ)部分710的存儲(chǔ)內(nèi)容。
[0263]輸入部分720是這樣的輸入部分，通過(guò)其輸入由如數(shù)字?jǐn)z像機(jī)的圖像捕獲裝置記錄的圖像內(nèi)容(例如，運(yùn)動(dòng)圖像文件)。假設(shè)圖像內(nèi)容是這樣的內(nèi)容，例如其中與運(yùn)動(dòng)圖像的圖像捕獲操作時(shí)的各個(gè)幀有關(guān)的元數(shù)據(jù)(例如，聲音信息、變焦信息或聚焦位置信息）或連續(xù)靜態(tài)圖像與各個(gè)幀相關(guān)地記錄。輸入部分720以預(yù)定間隔提供用于形成輸入圖像內(nèi)容的各個(gè)圖像(幀）到捕獲圖像保持部分115、顯示控制部分190和特定聲音檢測(cè)部分740。此外，輸入部分720輸出用于形成輸入圖像內(nèi)容的各個(gè)圖像和關(guān)于圖像的屬性信息(例如，鏡頭位置和聚焦位置）到對(duì)象距離計(jì)算部分510和對(duì)象信息生成部分730。
[0264]對(duì)象信息生成部分730基于從輸入部分720提供的各個(gè)圖像和關(guān)于圖像的屬性信息生成關(guān)于各個(gè)圖像的對(duì)象信息。此外，對(duì)象信息生成部分730將生成的對(duì)象信息提供到捕獲圖像保持部分115，以便將對(duì)象信息保持在其中，并且還提供對(duì)象信息到有效聲音范圍設(shè)置部分750和選擇部分760。例如，作為對(duì)象信息，除了用于辨別目標(biāo)對(duì)象的區(qū)域和其背景區(qū)域的信息外，生成用于檢測(cè)各個(gè)圖像之間時(shí)間軸上的特定變化的信息。例如，檢測(cè)圖像中包括的面部，并且生成關(guān)于面部的表情、方向等的屬性信息。例如，可以檢測(cè)如喜、怒、哀、樂(lè)表情、緊張、面部方向、嘴部表情(張開/閉上)、眼部表情(例如，眨眼)等的屬性，并且可以基于檢測(cè)結(jié)果生成屬性信息。作為屬性檢測(cè)方法，例如，可以使用基于從與變?yōu)闄z測(cè)目標(biāo)的
35屬性有關(guān)的面部圖像提取特征量的識(shí)別方法。也就是說(shuō)，預(yù)先存儲(chǔ)從與變?yōu)闄z測(cè)目標(biāo)的屬性有關(guān)的面部圖像提取的特征量作為識(shí)別庫(kù)。此外，從包括檢測(cè)到的面部的面部圖像提取特征量，并且將提取的特征量與識(shí)別庫(kù)中包括的特征量進(jìn)行比較，從而計(jì)算這些特征量之間的相似度。此外，在計(jì)算的相似度超過(guò)閾值的情況下，確定檢測(cè)到的面部是對(duì)應(yīng)于識(shí)別庫(kù)的屬性，其變?yōu)槌^(guò)閾值的類似度的計(jì)算目標(biāo)。此外，例如，可以使用上述屬性檢測(cè)方法(例如，參照日本未審專利申請(qǐng)公開N0.2009-118009)。
[0265]有效聲音范圍設(shè)置部分750基于以此方式生成的屬性信息，檢測(cè)各個(gè)圖像之間時(shí)間軸上的特定改變。作為該特定改變，例如，可以檢測(cè)到面部改變。例如，在喜、怒、哀、樂(lè)或緊張時(shí)表情的改變、面部方向的改變(例如，在面部方向從向下改變?yōu)榍胺降那闆r下)、在張開或閉上嘴部時(shí)的改變、或者在眨眼時(shí)眼睛的改變可以檢測(cè)為面部改變。此外，人的面部出現(xiàn)在屏幕或人的面部離開屏幕的情況可以檢測(cè)為各個(gè)圖像之間時(shí)間軸上的特定改變。此夕卜，作為用于檢測(cè)各個(gè)圖像之間時(shí)間軸上的特定改變的信息，可以生成指示整個(gè)圖像的亮度的亮度信息和指示圖像中照度值的分布狀態(tài)的照度值分布信息。然后，可以檢測(cè)信息中的特定改變作為各個(gè)圖像之間時(shí)間軸上的特定改變。
[0266]特定聲音檢測(cè)部分740基于從輸入部分720提供的圖像內(nèi)容中包括的聲音檢測(cè)特定聲音，然后在檢測(cè)到特定聲音的情況下將該事實(shí)輸出到有效聲音范圍設(shè)置部分750和選擇部分760。通過(guò)特定聲音檢測(cè)部分740變?yōu)闄z測(cè)目標(biāo)的撞擊聲音與本發(fā)明的第三實(shí)施例中的相同。此外，在本發(fā)明的第四實(shí)施例中，當(dāng)檢測(cè)到各個(gè)圖像之間時(shí)間軸上的特定改變時(shí)，使用由特定聲音檢測(cè)部分740檢測(cè)到的特定聲音。例如，在舉行高爾夫或棒球比賽的情況下的觀眾的巨大歡呼(瘋狂鼓掌)，或在戰(zhàn)斗精神投入到破瓦時(shí)的瞬間的呼喊檢測(cè)為特定聲音。此外，例如，吹笛人的吹笛生或水的飛濺聲(例如，在目標(biāo)對(duì)象與水有關(guān)的情況下)可以檢測(cè)為特定聲音。此外，有效聲音范圍設(shè)置部分750檢測(cè)特定聲音中的改變作為各個(gè)圖像之間時(shí)間軸上的特定改變。例如，當(dāng)從幾乎不存在聲音的狀態(tài)檢測(cè)到巨大歡呼的時(shí)間，或者從檢測(cè)到巨大歡呼的狀態(tài)到幾乎不存在聲音的時(shí)間可以檢測(cè)為各個(gè)圖像之間時(shí)間軸上的特定改變。作為特定聲音檢測(cè)方法，可以使用本發(fā)明第一實(shí)施例中示出的特定聲音檢測(cè)方法。也就是說(shuō)，有效聲音范圍設(shè)置部分750可以使用從各個(gè)圖像提取的特征量和基于與各個(gè)圖像有關(guān)的聲音提取的特征量的至少一個(gè)檢測(cè)特定聲音。有效聲音范圍設(shè)置部分750是權(quán)利要求中公開的特定改變檢測(cè)部分的示例。
[0267]特定聲音檢測(cè)部分740、有效聲音范圍設(shè)置部分750和選擇部分760從目標(biāo)對(duì)象信息存儲(chǔ)部分710獲取關(guān)于多種類型的目標(biāo)對(duì)象的特定運(yùn)動(dòng)中由用戶操作指定的特定運(yùn)動(dòng)的目標(biāo)對(duì)象信息。此外，特定聲音檢測(cè)部分740、有效聲音范圍設(shè)置部分750和選擇部分760使用獲取的目標(biāo)對(duì)象信息執(zhí)行各個(gè)處理。各個(gè)處理與本發(fā)明的第一到第三實(shí)施例中所示的不例大致相同，除了設(shè)置撞擊聲音時(shí)的觸發(fā)、撞擊聲音、有效聲音范圍的值等不同，因此，將省略其描述。有效聲音范圍設(shè)置部分750是權(quán)利要求中公開的確定范圍設(shè)置部分的示例。此外，選擇部分760是權(quán)利要求中公開的控制部分的示例。
[0268][目標(biāo)對(duì)象信息存儲(chǔ)部分的存儲(chǔ)示例]
[0269]圖28是圖示根據(jù)本發(fā)明的第四實(shí)施例的目標(biāo)對(duì)象信息存儲(chǔ)部分710的存儲(chǔ)內(nèi)容的示例的圖。在目標(biāo)對(duì)象信息存儲(chǔ)部分710中存儲(chǔ)撞擊聲音711、高速運(yùn)動(dòng)范圍712、用于確定有效聲音范圍的觸發(fā)713、有效聲音范圍714和合成目標(biāo)圖像選擇范圍715。撞擊聲音711、高速運(yùn)動(dòng)范圍712和合成目標(biāo)圖像選擇范圍715與圖24所示的撞擊聲音611、高速運(yùn)動(dòng)范圍612和合成目標(biāo)圖像選擇范圍614大致相同，因此，將省略其描述。
[0270]用于確定有效聲音范圍的觸發(fā)713存儲(chǔ)當(dāng)由有效聲音范圍設(shè)置部分750設(shè)置有效聲音范圍時(shí)的觸發(fā)。例如，在高爾夫和棒球(擊球)的情況下，觸發(fā)可以是在從輸入部分720輸入的內(nèi)容中檢測(cè)到觀眾的巨大歡呼時(shí)的瞬間生成?；谟商囟曇魴z測(cè)部分740檢測(cè)到的特定聲音，由有效聲音范圍設(shè)置部分750執(zhí)行觀眾的巨大歡呼的檢測(cè)。此外，在焰火的情況下，可以在屏幕中的黑暗狀態(tài)轉(zhuǎn)變?yōu)閺妮斎氩糠?20輸入的內(nèi)容中的明亮狀態(tài)時(shí)的瞬間生成觸發(fā)?；谟蓪?duì)象信息生成部分730生成的屬性信息，通過(guò)有效聲音范圍設(shè)置部分750執(zhí)行當(dāng)屏幕中的黑暗狀態(tài)轉(zhuǎn)變?yōu)槊髁翣顟B(tài)時(shí)的瞬間的檢測(cè)。此外，在網(wǎng)球(發(fā)球)的情況下，可以在從輸入部分720輸入的內(nèi)容中球員抬高預(yù)定時(shí)間時(shí)的瞬間生成觸發(fā)?；谟蓪?duì)象信息生成部分730生成的屬性信息，通過(guò)有效聲音范圍設(shè)置部分750執(zhí)行球員抬高預(yù)定時(shí)間時(shí)的瞬間的檢測(cè)。此外，在破瓦的情況下，可以在從輸入部分720輸入的內(nèi)容中執(zhí)行破瓦的人的面部充滿戰(zhàn)斗精神時(shí)的瞬間生成觸發(fā)?；谟蓪?duì)象信息生成部分730生成的屬性信息或者由特定聲音檢測(cè)部分740檢測(cè)到的特定聲音，通過(guò)有效聲音范圍設(shè)置部分750執(zhí)行當(dāng)執(zhí)行破瓦的人的面部充滿戰(zhàn)斗精神時(shí)的瞬間的檢測(cè)。
[0271]有效聲音范圍714存儲(chǔ)通過(guò)有效聲音范圍設(shè)置部分750變?yōu)樵O(shè)置目標(biāo)的有效聲音范圍。本發(fā)明的第四實(shí)施例提供這樣的示例，其中用于確定有效時(shí)間范圍的觸發(fā)713中存儲(chǔ)的特定改變的檢測(cè)時(shí)間是有效聲音范圍的觸發(fā)。該有效聲音范圍與圖24所示的有效聲音范圍613大致相同，除了用于確定有效時(shí)間范圍的觸發(fā)713中存儲(chǔ)的特定改變的檢測(cè)時(shí)間是有效聲音范圍的觸發(fā)，因此，將省略其描述。
[0272][合成目標(biāo)圖像的選擇范圍的確定示例]
[0273]圖29A和29B是示意性圖示根據(jù)本發(fā)明的第四實(shí)施例、通過(guò)有效聲音范圍設(shè)置部分750的有效聲音范圍的設(shè)置方法和通過(guò)合成目標(biāo)圖像選擇范圍確定部分171的合成目標(biāo)圖像選擇范圍的確定方法的圖。這是在指定圖28所示的棒球(擊球)的情況下，確定合成目標(biāo)圖像選擇范圍的示例。此外，該示例是圖5A和5B中的修改示例，因此，將省略一部分共同組件的描述。
[0274]圖29A以矩形形狀示意性圖示通過(guò)輸入部分720輸入的運(yùn)動(dòng)圖像800。例如，運(yùn)動(dòng)圖像800是其中記錄棒球比賽的外觀的運(yùn)動(dòng)圖像。此外，在用于形成運(yùn)動(dòng)圖像800的各個(gè)圖像中，由特定聲音檢測(cè)部分740檢測(cè)到的觀眾的巨大歡呼的位置表示為圖29A所示的運(yùn)動(dòng)圖像800的時(shí)間軸上的巨大歡呼檢測(cè)位置801。在此情況下，有效聲音范圍設(shè)置部分750基于巨大歡呼檢測(cè)位置801設(shè)置有效聲音范圍802。具體地，有效聲音范圍設(shè)置部分750設(shè)置時(shí)間軸上領(lǐng)先巨大歡呼檢測(cè)位置801時(shí)間L31的范圍作為有效聲音范圍802。這里，例如，以與圖5A所示的時(shí)間LI類似的方式，時(shí)間L3可以是1.0秒。此外，時(shí)間L31可以長(zhǎng)于時(shí)間LI。
[0275]例如，考慮當(dāng)球員在高爾夫錦標(biāo)賽中打出漂亮一桿時(shí)的撞擊聲音的生成位置出現(xiàn)在觀眾的巨大歡呼之前。因此，有效聲音范圍設(shè)置在觀眾的具有歡呼之前(在時(shí)間軸上的領(lǐng)先位置)，從而可能適當(dāng)?shù)貦z測(cè)撞擊聲音。
[0276]圖29B示意性圖示在通過(guò)有效聲音范圍設(shè)置部分750設(shè)置的有效聲音范圍802中檢測(cè)到撞擊聲音的情況下的合成目標(biāo)圖像選擇范圍的確定方法。在圖29B中，通過(guò)特定聲CN 103533285 A
書
明
說(shuō)
34/36 頁(yè)
音檢測(cè)部分740檢測(cè)到撞擊聲音的位置（時(shí)間軸上的位置）表不為撞擊聲音檢測(cè)位置803。
[0277]例如，合成目標(biāo)圖像選擇范圍確定部分171確定撞擊聲音檢測(cè)位置803是否包括在由有效聲音范圍設(shè)置部分750設(shè)置的有效聲音范圍802中。如圖29B所示，在撞擊聲音檢測(cè)位置803包括在有效聲音范圍802中的情況下，合成目標(biāo)圖像選擇范圍確定部分171基于撞擊聲音檢測(cè)位置803確定合成目標(biāo)圖像選擇范圍。也就是說(shuō)，合成目標(biāo)圖像選擇范圍確定部分171參照撞擊聲音檢測(cè)位置803，確定時(shí)間軸上撞擊聲音檢測(cè)位置803前后的特定范圍作為合成目標(biāo)圖像選擇范圍804。具體地，包括在時(shí)間軸上領(lǐng)先撞擊聲音檢測(cè)位置803時(shí)間L32的范圍和超過(guò)撞擊聲音檢測(cè)位置803時(shí)間L33的范圍的范圍L34確定為合成目標(biāo)圖像選擇范圍804。
[0278]這里，時(shí)間L32到L34例如可以是與圖5B所示的時(shí)間L2到L4相同的值。此外，時(shí)間L34可以長(zhǎng)于時(shí)間L4。
[0279]圖30A和30B是示意性圖示根據(jù)本發(fā)明的第四實(shí)施例、通過(guò)有效聲音范圍設(shè)置部分175的有效聲音范圍的設(shè)置方法和通過(guò)合成目標(biāo)圖像選擇范圍確定部分171的合成目標(biāo)圖像選擇范圍的確定方法的圖。這是在指定圖28中的網(wǎng)球(發(fā)球）的情況下確定合成目標(biāo)圖像選擇范圍的示例。此外，該示例是圖5A和5B所示的修改示例，因此,將省略一部分共同組件的描述。
[0280]圖30A以矩形形狀示意性圖示通過(guò)輸入部分720輸入的運(yùn)動(dòng)圖像810。例如，運(yùn)動(dòng)圖像810是其中記錄網(wǎng)球比賽的外觀的運(yùn)動(dòng)圖像。此外，在用于形成運(yùn)動(dòng)圖像810的各個(gè)圖像中，由對(duì)象信息生成部分730檢測(cè)到網(wǎng)球球員的面部抬高預(yù)定時(shí)間或更長(zhǎng)的位置表示為時(shí)間軸上運(yùn)動(dòng)圖像810的面部抬高狀態(tài)檢測(cè)位置811。此外，由特定聲音檢測(cè)部分740檢測(cè)到特定值或更高的聲音的位置（時(shí)間軸上的位置）表示為特定值或更高的聲音檢測(cè)位置812。在此情況下，有效聲音范圍設(shè)置部分750基于面部抬高狀態(tài)檢測(cè)位置811和特定值或更高的聲音檢測(cè)位置812設(shè)置有效聲音范圍813。具體地，有效聲音范圍設(shè)置部分750參照面部抬高狀態(tài)檢測(cè)位置811和特定值或更高的聲音檢測(cè)位置812，設(shè)置時(shí)間軸上的有效聲音范圍813 (時(shí)間L41)。這里，時(shí)間L41例如是面部抬高狀態(tài)檢測(cè)位置811是起點(diǎn)并且特定值或更高的聲音檢測(cè)位置812是終點(diǎn)的范圍。
[0281]在這方面中，在與網(wǎng)球(發(fā)球）有關(guān)的有效聲音范圍的終點(diǎn)，特定值或更高的聲音的檢測(cè)是設(shè)置條件。這里，在對(duì)于預(yù)定時(shí)間或更長(zhǎng)從有效聲音范圍的期間沒(méi)有檢測(cè)到特定值或更高的聲音的情況下，有效聲音范圍設(shè)置部分750使得關(guān)于起點(diǎn)的有效聲音范圍無(wú)效，并且可以等待用于確定有效聲音范圍的新的觸發(fā)。因此，可以減少撞擊聲音的錯(cuò)誤檢測(cè)。此外，與破瓦有關(guān)的有效聲音范圍的終點(diǎn)可以類似地應(yīng)用。
[0282]圖30B示意性圖示在由有效聲音范圍設(shè)置部分750設(shè)置的有效聲音范圍813中檢測(cè)到撞擊聲音的情況下合成目標(biāo)圖像選擇范圍的確定方法。在圖30B中，由特定聲音檢測(cè)部分740檢測(cè)到撞擊聲音的位置（時(shí)間軸上的位置）表不為撞擊聲音檢測(cè)位置814。
[0283]例如，合成目標(biāo)圖像選擇范圍確定部分171確定撞擊聲音檢測(cè)位置814是否包括在由有效聲音范圍設(shè)置部分750設(shè)置的有效聲音范圍813中。如圖30B所示，在撞擊聲音檢測(cè)位置814包括在有效聲音范圍813中的情況下，合成目標(biāo)圖像選擇范圍確定部分171基于撞擊聲音檢測(cè)位置814確定合成目標(biāo)圖像選擇范圍。也就是說(shuō)，合成目標(biāo)圖像選擇范圍確定部分171參照撞擊聲音檢測(cè)位置814，確定時(shí)間軸上撞擊聲音檢測(cè)位置814前后的特
38定范圍作為合成目標(biāo)圖像選擇范圍815。具體地，包括在時(shí)間軸上領(lǐng)先撞擊聲音檢測(cè)位置814時(shí)間L42的范圍和超過(guò)撞擊聲音檢測(cè)位置814時(shí)間L43的范圍的范圍L44確定為合成目標(biāo)圖像選擇范圍815。
[0284]這里，如圖28所示，時(shí)間L42例如可以是2.5秒；并且時(shí)間L43例如可以是0.5秒。也就是說(shuō)，時(shí)間L44可以是3.0秒。時(shí)間L42到L44的設(shè)置內(nèi)容可以根據(jù)用戶的偏好改變。
[0285]此外，在圖29A、29B和圖30A和30B所示的示例中，如本發(fā)明的第二實(shí)施例所示，在有效聲音范圍中是否檢測(cè)到撞擊聲音的確定之前，可以估計(jì)聲音的延遲時(shí)間，并且可以基于估計(jì)結(jié)果校正撞擊聲音檢測(cè)位置。以此方式，校正撞擊聲音的檢測(cè)位置，從而使得可能基于校正之后的位置確定合成目標(biāo)圖像選擇范圍。此外，在作為有效聲音范圍的觸發(fā)的特定聲音(例如，觀眾的巨大歡呼)中，可以估計(jì)聲音延遲時(shí)間，并且可以基于估計(jì)結(jié)果校正檢測(cè)位置。例如，在特定聲音是觀眾的巨大歡呼的情況下，使用與各個(gè)幀有關(guān)的元數(shù)據(jù)(例如，變焦信息或聚焦位置信息)計(jì)算到目標(biāo)對(duì)象的背景的對(duì)象距離，并且可以基于對(duì)象距離估計(jì)觀眾的巨大歡呼的延遲時(shí)間。因此，即使在目標(biāo)對(duì)象相對(duì)遠(yuǎn)的運(yùn)動(dòng)圖像內(nèi)容通過(guò)變焦功能變?yōu)閳D像捕獲目標(biāo)時(shí)，也可以確定適當(dāng)?shù)暮铣赡繕?biāo)圖像選擇范圍。
[0286]此外，在圖29A、29B和圖30A和30B所示的示例中，可能在由有效聲音范圍設(shè)置部分750設(shè)置的有效聲音范圍中沒(méi)有檢測(cè)到撞擊聲音。在此情況下，不使用撞擊聲音生成合成圖像，并且可以執(zhí)行下一個(gè)合成圖像處理。
[0287]以此方式，對(duì)于由如數(shù)字?jǐn)z像機(jī)等的圖像捕獲裝置記錄的圖像內(nèi)容，可以使用各個(gè)圖像之間時(shí)間軸上的特定改變?cè)O(shè)置有效聲音范圍。因此，在生成導(dǎo)致撞擊聲音的極快運(yùn)動(dòng)作為目標(biāo)的合成圖像的情況下，可能用高精確度檢測(cè)撞擊聲音的生成位置。此外，可能在強(qiáng)調(diào)撞擊聲音的精確生成位置周圍的情況下生成合成圖像，并且生成具有高可見度的合成圖像。此外，因?yàn)樽矒袈曇舻纳晌恢玫臋z測(cè)也不需要用戶的手工工作，所以可能減少對(duì)于用戶的不便。隨著以此方式生成合成圖像，即使不習(xí)慣于圖像捕獲裝置的操作的初學(xué)者也可以根據(jù)用戶的偏好容易地生成適當(dāng)?shù)暮铣蓤D像。
[0288]用于使用各個(gè)圖像之間的時(shí)間軸上的特定改變?cè)O(shè)置有效聲音范圍的設(shè)置方法可以用于本發(fā)明的第一到第三實(shí)施例中示出的圖像捕獲裝置。
[0289]此外，在本發(fā)明的實(shí)施例中，由合成目標(biāo)圖像選擇部分172選擇的合成目標(biāo)圖像可以用于作為靜態(tài)圖像的合成圖像的生成合理。這里，例如，選擇的合成目標(biāo)圖像可以用于其中生成合成圖像的處理顯示為運(yùn)動(dòng)圖像的合成圖像生成處理。此外，選擇的合成目標(biāo)圖像可以用作合成目標(biāo)，此外，可以用作指示特定運(yùn)動(dòng)的轉(zhuǎn)變的多個(gè)圖像(例如，在幻燈片顯示中使用的圖像)。
[0290]本發(fā)明可以應(yīng)用于圖像處理裝置，如具有成像功能的移動(dòng)電話、個(gè)人計(jì)算機(jī)、視頻系統(tǒng)、編輯裝置等。此外，本發(fā)明的實(shí)施例中的處理過(guò)程還可以在處理程序中提供。
[0291]本發(fā)明的實(shí)施例示例了用于實(shí)現(xiàn)本發(fā)明的示例。這里，如在本發(fā)明的實(shí)施例中顯而易見，本發(fā)明的實(shí)施例的公開內(nèi)容分別對(duì)應(yīng)于權(quán)利要求中的公開內(nèi)容。類似地，權(quán)利要求中的公開內(nèi)容分別對(duì)應(yīng)于具有相同參考標(biāo)號(hào)的本發(fā)明的實(shí)施例的公開內(nèi)容。這里，本發(fā)明不限于實(shí)施例，可以在不背離本發(fā)明的精神的范圍內(nèi)進(jìn)行各種修改。
[0292]此外，在本發(fā)明實(shí)施例中描述的處理過(guò)程可以提供為具有一系列過(guò)程的方法。此夕卜，處理過(guò)程可以提供為用于允許該系列過(guò)程在計(jì)算機(jī)和記錄程序的記錄介質(zhì)上執(zhí)行的程序。⑶(致密盤)、MD (迷你盤)、DVD (數(shù)字多功能盤)、存儲(chǔ)卡、藍(lán)光盤(注冊(cè)商標(biāo))等可以用作該記錄介質(zhì)。
[0293]本申請(qǐng)包含涉及于2009年11月20日向日本專利局提交的日本優(yōu)先權(quán)專利申請(qǐng)JP2009-264617中公開的主題，在此通過(guò)引用并入其全部?jī)?nèi)容。
[0294]本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，依賴于設(shè)計(jì)需求和其他因素可以出現(xiàn)各種修改、組合、子組合和更改，只要它們?cè)跈?quán)利要求或其等效物的范圍內(nèi)。
【權(quán)利要求】
1.一種圖像處理裝置，包括：特定聲音檢測(cè)部分，其檢測(cè)在由圖像組中包括的對(duì)象的特定運(yùn)動(dòng)期間生成的特定聲音，所述圖像組包括以時(shí)間序列方式連續(xù)的多個(gè)圖像；合成圖像生成部分，其參照在時(shí)間軸上檢測(cè)到的特定聲音的檢測(cè)位置，使用在所述時(shí)間軸上的圖像組的選擇范圍中包括的預(yù)定數(shù)目的圖像，生成代表特定運(yùn)動(dòng)的轉(zhuǎn)換的合成圖像；以及控制部分，在預(yù)定范圍中檢測(cè)到特定聲音的情況下，所述控制部分控制所述合成圖像生成部分使用檢測(cè)到的特定聲音生成合成圖像，并且在預(yù)定范圍中沒(méi)有檢測(cè)到特定聲音的情況下，所述控制部分控制所述合成圖像生成部分不生成合成圖像。
2.如權(quán)利要求1所述的裝置，還包括：確定范圍設(shè)置部分，其設(shè)置用于關(guān)于所述合成圖像的生成的確定的所述時(shí)間軸上的預(yù)定范圍。
3.如權(quán)利要求1所述的裝置，還包括：對(duì)象距離計(jì)算部分，其計(jì)算到目標(biāo)對(duì)象的距離；以及延遲時(shí)間計(jì)算部分，其基于計(jì)算的距離計(jì)算檢測(cè)到的特定聲音的延遲時(shí)間，其中所述控制部分基于計(jì)算的延遲時(shí)間校正時(shí)間軸上檢測(cè)到的特定聲音的檢測(cè)位置，并且根據(jù)校正的檢測(cè)位置是否存在于預(yù)定范圍中來(lái)確定是否允許所述合成圖像生成部分生成合成圖像。
4.如權(quán)利要求3所述的裝置，還包括確定部分，在校正的檢測(cè)位置存在于預(yù)定范圍中的情況下，所述確定部分參照校正的檢測(cè)位置確定選擇范圍。
5.如權(quán)利要求1所述的裝置，其中所述合成圖像生成部分相對(duì)于選擇范圍中的預(yù)定數(shù)目的圖像的選擇間隔，使得比具有時(shí)間軸上的特定聲音的檢測(cè)位置作為中心位置的選擇范圍更窄的范圍中的選擇間隔，與選擇范圍中的預(yù)定數(shù)目的圖像的選擇間隔中的其它選擇間隔相比更緊密。
6.如權(quán)利要求1所述的裝置，還包括：存儲(chǔ)部分，其存儲(chǔ)關(guān)于多個(gè)類型的特定運(yùn)動(dòng)的特定聲音和確定范圍；以及操作接收部分，其接收用于從其中存儲(chǔ)了特定聲音和確定范圍的多個(gè)類型的特定運(yùn)動(dòng)中指定希望的特定運(yùn)動(dòng)的指定操作，其中所述特定聲音檢測(cè)部分檢測(cè)關(guān)于指定的特定運(yùn)動(dòng)的特定聲音，并且其中所述確定范圍設(shè)置部分基于用戶操作設(shè)置關(guān)于指定的特定運(yùn)動(dòng)的確定范圍。
7.一種圖像捕獲裝置，包括：圖像捕獲部分，其成像對(duì)象以便生成以時(shí)間序列方式連續(xù)的多個(gè)圖像；特定聲音檢測(cè)部分，其檢測(cè)在由包括多個(gè)圖像的圖像組中包括的對(duì)象的特定運(yùn)動(dòng)期間生成的特定聲音；合成圖像生成部分，其參照在時(shí)間軸上檢測(cè)到的特定聲音的檢測(cè)位置，使用在所述時(shí)間軸上的圖像組的選擇范圍中包括的預(yù)定數(shù)目的圖像，生成代表特定運(yùn)動(dòng)的轉(zhuǎn)換的合成圖像；以及控制部分，在預(yù)定范圍中檢測(cè)到特定聲音的情況下，所述控制部分控制所述合成圖像生成部分使用檢測(cè)到的特定聲音生成合成圖像，并且在預(yù)定范圍中沒(méi)有檢測(cè)到特定聲音的情況下，所述控制部分控制所述合成圖像生成部分不生成合成圖像。
8.如權(quán)利要求7所述的裝置，還包括: 確定范圍設(shè)置部分，其設(shè)置用于關(guān)于所述合成圖像的生成的確定的所述時(shí)間軸上的預(yù)定范圍。
9.一種圖像處理裝置，包括: 特定聲音檢測(cè)部分，其檢測(cè)在由圖像組中包括的對(duì)象進(jìn)行的特定運(yùn)動(dòng)期間生成的特定聲音，所述圖像組包括以時(shí)間序列方式連續(xù)的多個(gè)圖像； 確定改變檢測(cè)部分，其在形成圖像組的各個(gè)圖像之間檢測(cè)時(shí)間軸上的確定改變； 合成圖像生成部分，其參照在時(shí)間軸上檢測(cè)到的特定聲音的檢測(cè)位置，使用在所述時(shí)間軸上的圖像組的選擇范圍中包括的預(yù)定數(shù)目的圖像，生成代表特定運(yùn)動(dòng)的轉(zhuǎn)換的合成圖像；以及 控制部分，在預(yù)定范圍中檢測(cè)到特定聲音的情況下，所述控制部分控制所述合成圖像生成部分使用檢測(cè)到的特定聲音生成合成圖像，并且在預(yù)定范圍中沒(méi)有檢測(cè)到特定聲音的情況下，所述控制部分控制所述合成圖像生成部分不生成合成圖像。
10.如權(quán)利要求9所述的裝置，還包括: 確定范圍設(shè)置部分，其設(shè)置用于關(guān)于所述合成圖像的生成的確定的所述時(shí)間軸上的預(yù)定范圍。
11.一種圖像捕獲裝置，包括: 圖像捕獲部分，其成像對(duì)象以便生成以時(shí)間序列方式連續(xù)的多個(gè)圖像； 特定聲音檢測(cè)部分，其檢測(cè)在由圖像組中包括的對(duì)象進(jìn)行的特定運(yùn)動(dòng)期間生成的特定聲音，所述圖像組包括以時(shí)間序列方式連續(xù)的多個(gè)圖像； 確定改變檢測(cè)部分，其在形成圖像組的各個(gè)圖像之間檢測(cè)時(shí)間軸上的確定改變； 合成圖像生成部分，其參照在時(shí)間軸上檢測(cè)到的特定聲音的檢測(cè)位置，使用在所述時(shí)間軸上的圖像組的選擇范圍中包括的預(yù)定數(shù)目的圖像，生成代表特定運(yùn)動(dòng)的轉(zhuǎn)換的合成圖像；以及 控制部分，在預(yù)定范圍中檢測(cè)到特定聲音的情況下，所述控制部分控制所述合成圖像生成部分使用檢測(cè)到的特定聲音生成合成圖像，并且在預(yù)定范圍中沒(méi)有檢測(cè)到特定聲音的情況下，所述控制部分控制所述合成圖像生成部分不生成合成圖像。
12.如權(quán)利要求11所述的裝置，還包括: 確定范圍設(shè)置部分，其設(shè)置用于關(guān)于所述合成圖像的生成的確定的所述時(shí)間軸上的預(yù)定范圍。
13.如權(quán)利要求11所述的裝置， 其中所述確定改變檢測(cè)部分使用從形成圖像組的每個(gè)圖像提取的特征量和基于關(guān)于形成圖像組的每個(gè)圖像的聲音提取的特征量的至少一個(gè)，檢測(cè)所述確定改變。
14.一種圖像處理裝置的控制方法，包括以下步驟: 執(zhí)行控制，使得在預(yù)定范圍中檢測(cè)到特定聲音的情況下，所述特定聲音在由包括以時(shí)間序列方式連續(xù)的多個(gè)圖像的圖像組中包括的對(duì)象進(jìn)行的特定運(yùn)動(dòng)期間生成，參照在時(shí)間軸上檢測(cè)到的特定聲音的檢測(cè)位置 ，使用在所述時(shí)間軸上的圖像組的選擇范圍中包括的預(yù)定數(shù)目的圖像，生成代表特定運(yùn)動(dòng)的轉(zhuǎn)換的合成圖像，并且使得在預(yù)定范圍中沒(méi)有檢測(cè)到特定聲音的情 況下，不生成合成圖像。
【文檔編號(hào)】H04N5/92GK103533285SQ201310466818
【公開日】2014年1月22日 申請(qǐng)日期:2010年11月22日 優(yōu)先權(quán)日:2009年11月20日
【發(fā)明者】河井哲郎, 中尾大輔 申請(qǐng)人:索尼公司