專利名稱：圖像處理設(shè)備、攝像設(shè)備和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備和圖像處理方法，尤其涉及用于獲取來自多個視點的所拍攝圖像的技術(shù)。
背景技術(shù)：
已經(jīng)提出了用于獲取來自多個視點的所拍攝圖像的攝像設(shè)備(例如，AaronIsaksen et al. “Dynamically Reparameterized Light Fields，，，Proc. ACM. SIGGRAPH,pp. 297-306, 2000) 0該攝像設(shè)備包括多個攝像單元。各攝像單元拍攝圖像，從而獲取來自多個視點的所拍攝圖像。在攝像之后，合成所拍攝圖像以生成包含與離被攝體上的基準(zhǔn)視點的距離相對應(yīng)的模糊的圖像(以下稱為模糊圖像)、具有高空間頻率的圖像或具有寬動態(tài)范圍的圖像等。特別地，模糊圖像生成具有通過模糊背景而使主被攝體突出的效果并用于拍攝人的照片。以下將這種拍攝來自多個視點的圖像的攝像設(shè)備稱為多眼照相機。 多眼照相機包括與攝像單元的數(shù)量一樣多的鏡頭。為此，用戶很可能利用被他/她的手指覆蓋的鏡頭進行拍攝。以下將利用用戶的手指覆蓋鏡頭稱為“手指覆蓋”。如果通過多眼照相機所獲得的所拍攝圖像組包括具有手指覆蓋等的缺陷的圖像，則圖像合成可能失敗，或者精度可能降低。為了防止這個問題，提出了用于通過突出顯示來向用戶通知檢測到多眼照相機上的手指覆蓋的技術(shù)(例如，日本特開2010-114760)。然而，用戶可能忽略通知并在不移除手指的情況下進行拍攝。

發(fā)明內(nèi)容
做出本發(fā)明以解決上述問題，本發(fā)明提供以下技術(shù)在用于獲取來自多個視點的所拍攝圖像的攝像設(shè)備中，即使所拍攝圖像組包括具有缺陷的圖像，也生成維持模糊的對稱性的模糊圖像。根據(jù)本發(fā)明的一個方面，一種圖像處理設(shè)備，包括獲取單元，用于獲取通過用于從不同視點拍攝被攝體的多個攝像單元所拍攝的多個所拍攝圖像；指定單元，用于從所述多個所拍攝圖像中指定缺陷圖像；確定單元，用于基于拍攝到所述指定單元所指定的缺陷圖像的攝像單元的位置來確定針對各所拍攝圖像的權(quán)重；以及合成單元，用于通過基于所述確定單元所確定的權(quán)重對所述多個所拍攝圖像進行加權(quán)和合成來生成合成圖像。根據(jù)本發(fā)明的另一方面，一種攝像設(shè)備，包括上述的圖像處理設(shè)備；以及多個攝像單元，用于從不同視點拍攝被攝體。根據(jù)本發(fā)明的又一方面，一種圖像處理方法，包括以下步驟獲取通過用于從不同視點拍攝被攝體的多個攝像單元所拍攝的多個所拍攝圖像；指定步驟，用于從所述多個所拍攝圖像中指定缺陷圖像；確定步驟，用于基于拍攝到所述指定步驟中所指定的缺陷圖像的攝像單元的位置來確定針對各所拍攝圖像的權(quán)重；以及通過基于所述確定步驟中所確定的權(quán)重對所述多個所拍攝圖像進行加權(quán)和合成來生成合成圖像。
根據(jù)本發(fā)明，提供以下技術(shù)在用于獲取來自多個視點的所拍攝圖像的攝像設(shè)備中，即使所拍攝圖像組包括具有缺陷的圖像，也生成維持模糊的對稱性的模糊圖像。通過以下(參考附圖)對典型實施例的說明，本發(fā)明的其它特征將變得明顯。


圖I是示出根據(jù)本發(fā)明實施例的攝像設(shè)備(多眼照相機)的外觀的圖；圖2是示出多眼照相機的配置的框圖；圖3是示出多眼照相機的各攝像單元的配置的框圖；圖4是示出數(shù)字信號處理單元的處理的框
圖5是示出圖像合成單元的配置的框圖；圖6是示意性示出手指覆蓋的例子的圖；圖7是示出模糊圖像生成單元的配置的框圖；圖8是示出圖像合成處理的流程圖；圖9是不意性不出基準(zhǔn)視點和所拍攝圖像的視點之間的距尚關(guān)系的圖；圖10是示出權(quán)重設(shè)置處理的流程圖；圖11是示意性示出穿過基準(zhǔn)視點的對稱軸和攝像單元的圖；圖12是示意性示出被攝體和各攝像單元的傳感器之間的位置關(guān)系的圖；圖13是示出所拍攝圖像重疊處理的流程圖；圖14是示出根據(jù)第二實施例的圖像合成單元的配置的框圖；圖15是示出根據(jù)第二實施例的圖像合成處理的流程圖；圖16A和16B是示意性示出根據(jù)第二實施例的重要攝像單元組的例子的圖；圖17A和17B是示意性示出根據(jù)第二實施例的重要攝像單元組和基準(zhǔn)視點的圖；圖18是示出根據(jù)第三實施例的權(quán)重調(diào)整數(shù)據(jù)庫的例子的圖；圖19是示意性示出根據(jù)第三實施例的權(quán)重調(diào)整攝像單元的圖；以及圖20是示意性示出根據(jù)第四實施例的攝像單元和對稱軸的圖。
具體實施例方式現(xiàn)在將參考附圖詳細(xì)說明本發(fā)明的實施例。注意，以下實施例不對權(quán)利要求的范圍所確定的本發(fā)明造成限定，并且實施例中說明的特征的所有組合對于本發(fā)明的解決方式來說不是必須的。第一實施例根據(jù)本實施例，當(dāng)通過合成來自不同視點的多個所拍攝圖像來生成從預(yù)定基準(zhǔn)視點所拍攝的模糊圖像時，針對多個所拍攝圖像中的缺陷圖像和位于與缺陷圖像對稱的位置處的所拍攝圖像設(shè)置較小的權(quán)重，然后合成圖像。這使得可以生成維持模糊的對稱性的模糊圖像。設(shè)備配置圖I示出根據(jù)本實施例的攝像設(shè)備的外觀。本實施例的攝像設(shè)備是所謂的多眼照相機，其包括在單個平面上以正方形矩陣配置的25個攝像單元(照相機)以從不同視點拍攝圖像。附圖標(biāo)記101 125表示攝像單元；附圖標(biāo)記126表示拍攝按鈕；附圖標(biāo)記127表示電子閃光燈；以及附圖標(biāo)記128表示照相機主體。注意，多眼照相機中包括的照相機的數(shù)量不限于該示例(25個)，并且本發(fā)明可以應(yīng)用至包括3個以上的任意數(shù)量的攝像單元的多眼照相機。圖2是示出根據(jù)本實施例的多眼照相機的內(nèi)部配置的框圖。圖I所示的各攝像單元101 125利用傳感器接收被攝體的光學(xué)信息，對信號進行A/D轉(zhuǎn)換以獲取所拍攝圖像的數(shù)字?jǐn)?shù)據(jù)(所拍攝圖像數(shù)據(jù))，并將數(shù)字?jǐn)?shù)據(jù)輸出至用作數(shù)據(jù)傳送路徑的總線215。圖3示出將要說明的各攝像單元101 125的詳細(xì)配置。各攝像單元101 125包括用于檢測被攝體的光量的攝像系統(tǒng)和用于將檢測結(jié)果轉(zhuǎn)換成信號值的轉(zhuǎn)換系統(tǒng)。攝像系統(tǒng)包括變焦透鏡301、調(diào)焦透鏡302、模糊校正透鏡303、光圈304、快門305、光學(xué)低通濾波器306、紅外截止濾波器307、顏色濾波器308和諸如CMO S或C⑶等的傳感器309。轉(zhuǎn)換系統(tǒng)包括用于將攝像系統(tǒng)所檢測到的被攝體光量轉(zhuǎn)換成數(shù)字?jǐn)?shù)據(jù)并將數(shù)字?jǐn)?shù)據(jù)輸出至總線215的A/D轉(zhuǎn)換單元310。

再參考圖2，數(shù)字信號處理單元209接收經(jīng)由總線215輸入的所拍攝圖像的數(shù)字?jǐn)?shù)據(jù)，并進行各種圖像處理。圖4示出數(shù)字信號處理單元209的詳細(xì)配置。如圖4所示，數(shù)字信號處理單元209包括噪聲降低處理單元401、白平衡控制單元402、顏色轉(zhuǎn)換單元403和伽瑪處理單元404。針對所輸入的數(shù)字?jǐn)?shù)據(jù)，噪聲降低處理單元401進行噪聲降低處理，白平衡控制單元402進行白平衡處理，顏色轉(zhuǎn)換單元403進行顏色校正處理，并且伽瑪處理單元404進行伽瑪處理，從而生成數(shù)字圖像信號。壓縮/解壓縮單元210將數(shù)字圖像信號轉(zhuǎn)換成諸如jpeg或mpeg等的壓縮文件格式。外部存儲器控制單元211是將多眼照相機連接至PC或其它介質(zhì)212 (例如，硬盤、存儲卡、CF卡、SD卡或USB存儲器)的接口。CPU203通過順次進行讀出R0M201或RAM202中存儲的指示、解釋它們并根據(jù)結(jié)果執(zhí)行處理來進行多眼照相機的攝像控制和組件的所有處理。R0M201和RAM202將處理所需的程序、數(shù)據(jù)和工作區(qū)域等提供至CPU203。攝像系統(tǒng)控制單元204基于CPU203的指示來控制攝像系統(tǒng)以例如進行調(diào)焦、打開快門并調(diào)節(jié)光圈。電子閃光燈214利用光照射被攝體。操作單元205對應(yīng)于輸入用戶指示所利用的按鈕和模式撥盤等。CG生成單元206生成文字和圖形等。液晶顯示器被廣泛地用作顯示單元208，顯示單元208用于顯示從CG生成單元206、數(shù)字信號處理單元209或后述的圖像合成單元213接收到的文字和所拍攝圖像。顯示單元208可以具有觸摸屏功能。在該情況下，可以作為操作單元205的輸入來處理從顯示單元208輸入的用戶指示。圖像合成單元213使用從攝像單元101 125獲得的數(shù)字圖像或從數(shù)字信號處理單元209輸出的數(shù)字圖像組來生成新的圖像(模糊圖像)，并將結(jié)果(合成圖像數(shù)據(jù))輸出至總線215。圖像合成單元213是本實施例的特征組件，并將在后面詳細(xì)說明其處理。注意，根據(jù)本實施例的多眼照相機還包括除上述以外的構(gòu)成元件。然而，這些構(gòu)成元件不是本發(fā)明的主旨，并且將省略其說明。圖像合成處理以下將參考圖5說明圖像合成單元213的詳細(xì)配置。圖像合成單元213根據(jù)從攝像單元101 125輸入的具有針對被攝體的不同視點的所拍攝圖像組生成模糊圖像，并輸出模糊圖像。首先，缺陷指定單元501從攝像單元101 125獲取的所拍攝圖像組中指定由于手指覆蓋等而導(dǎo)致被攝體圖像的本應(yīng)該拍攝的至少一部分丟失的圖像，作為要從要合成的圖像中排除的缺陷圖像(缺陷圖像數(shù)據(jù))。圖6是手指覆蓋的示意圖。可以使用例如將多個攝像單元所獲得的所拍攝圖像進行比較的已知的方法來進行缺陷指定單元501中缺陷圖像的指定。例如，當(dāng)所拍攝圖像包括相對于其它所拍攝圖像的極暗部分時，將所拍攝圖像指定為發(fā)生手指覆蓋的圖像。當(dāng)所拍攝圖像相對于其它所拍攝圖像在極端靠近攝像單元的距離處具有高的AF(自動調(diào)焦)評價值時，將所拍攝圖像指定為發(fā)生手指覆蓋的圖像。注意，缺陷像素不需要總是具有手指覆蓋的圖像，并且可以將在存在鏡頭污染或裂紋等的異常攝像條件下所拍攝的任意圖像指定為缺陷圖像。另外，可以在實際拍攝之前進行預(yù)拍攝，以從預(yù)拍攝圖像組指定缺陷圖像?；谌毕葜付▎卧?01所指定的缺陷圖像的視點，權(quán)重設(shè)置單元502針對攝像單元101 125所獲取的所拍攝圖像中的各所拍攝圖像設(shè)置權(quán)重。后面將詳細(xì)說明權(quán)重設(shè)置 處理。模糊圖像生成單元503在預(yù)定基準(zhǔn)視點處合成攝像單元101 125所獲取的所拍攝圖像組，從而生成從基準(zhǔn)視點所拍攝的模糊圖像。基準(zhǔn)視點是拍攝模糊圖像的虛擬視點。在本實施例中，將所拍攝圖像的視點的重心定義為基準(zhǔn)視點。例如，在圖I所示的多眼照相機的例子中，與位于所有攝像單元101 125的中心的攝像單元113的視點相同的位置是基準(zhǔn)視點。這里將參考圖8的流程圖說明圖像合成單元213的圖像合成處理。在步驟S801中，缺陷指定單元501從攝像單元101 125所獲取的所拍攝圖像組中指定缺陷圖像。在步驟S802中，權(quán)重設(shè)置單元502設(shè)置各所拍攝圖像的權(quán)重。在步驟S803中，模糊圖像生成單元503計算從各所拍攝圖像的視點至基準(zhǔn)視點的偏移量。在步驟S804中，對所拍攝圖像進行加權(quán)和重疊。由此生成模糊圖像。權(quán)重設(shè)置處理(S802)以下將詳細(xì)說明權(quán)重設(shè)置單元502的權(quán)重設(shè)置處理。該處理與圖8的步驟S802中的權(quán)重設(shè)置處理相對應(yīng)。權(quán)重設(shè)置單元502設(shè)置要用于后述的所拍攝圖像重疊處理中所拍攝圖像的加權(quán)和重疊的權(quán)重。例如，當(dāng)計算與基準(zhǔn)視點和各所拍攝圖像的視點之間的距離相對應(yīng)的權(quán)重wi，并在所拍攝圖像重疊處理時使用權(quán)重Wi時，所生成的模糊圖像中的模糊變成關(guān)于基準(zhǔn)視點點對稱。權(quán)重Wi由以下給出wi = k w’ i…(I)w，i = exp(-(A/(lx2 +Iy2) )/C)...(2)其中，i是識別各所拍攝圖像的識別符，k是后述的標(biāo)準(zhǔn)化系數(shù)，W，i是標(biāo)準(zhǔn)化之前的權(quán)重，以及C是任意常數(shù)。另外，如圖9所示，Ix和Iy是基準(zhǔn)視點和各所拍攝圖像的視點之間的、水平方向(圖I中配置攝像單元101 105的方向)和與水平方向垂直的垂直方向上的距離。從等式(I)中顯然可知，基準(zhǔn)視點和所拍攝圖像的視點之間的距離越長，權(quán)重越小。如果所拍攝圖像包括缺陷，并且缺陷圖像用于生成模糊圖像，則模糊圖像將具有差的質(zhì)量或失敗。在本實施例中，將由缺陷指定單元501判斷為缺陷圖像的所拍攝圖像的權(quán)重wi設(shè)置為0，以不在模糊圖像生成上反映該所拍攝圖像，即不針對模糊圖像生成使用該所拍攝圖像。然而，當(dāng)缺陷圖像的權(quán)重wi是0時，權(quán)重wi關(guān)于基準(zhǔn)視點的對稱性破壞，并且模糊的對稱性也破壞。在本實施例中,調(diào)節(jié)除缺陷圖像的權(quán)重以外的權(quán)重wi以維持所拍攝圖像的權(quán)重wi關(guān)于基準(zhǔn)視點的對稱性。圖10是示出權(quán)重設(shè)置單元502的權(quán)重設(shè)置處理的流程圖。在步驟S1001中，將通過位于關(guān)于基準(zhǔn)視點與獲取到缺陷圖像的攝像單元對稱的位置處的攝像單元所獲取的所拍攝圖像選擇為作為權(quán)重調(diào)整的對象的權(quán)重調(diào)整圖像。這里將參考圖11說明權(quán)重調(diào)整圖像選擇方法。圖11示意性示出攝像單元101 125和穿過攝像單元113的基準(zhǔn)視點的4個對稱軸1101 1104。例如，假定將攝像單元120所獲取的所拍攝圖像指定為缺陷圖像。在該情況下，針對缺陷圖像，將以下總共7個攝像單 元所獲取的所拍攝圖像選擇為權(quán)重調(diào)整圖像。首先，選擇在關(guān)于對稱軸1101、1102、1103和1104與攝像單元120線對稱的位置處的攝像單元110、116、124和102。另外，選擇在關(guān)于對稱軸1104與攝像單元110線對稱的位置處的攝像單元104、在關(guān)于對稱軸1104與攝像單元116線對稱的位置處的攝像單元122、和在關(guān)于對稱軸1103與攝像單元102線對稱的位置處的攝像單元106。通過7個由此選擇的攝像單元102、110、116、124、104、106和122所獲取的所拍攝圖像是權(quán)重調(diào)整圖像。如上所述，在本實施例中，首先指定在關(guān)于穿過基準(zhǔn)視點的多個線1101、1102、1103和1104與第一攝像單元120對稱的位置處的第二攝像單元110、116、124和102。另夕卜，指定在關(guān)于線1101、1102、1103和1104與第二攝像單元110、116、124和102對稱的位置處的第三攝像單元104、122和106。將通過第二攝像單元102、110、116、124和第三攝像單元104、106、122所拍攝的圖像選擇為權(quán)重調(diào)整圖像。以這種方式，在基準(zhǔn)視點周圍配置缺陷圖像和權(quán)重調(diào)整圖像的攝像單兀以關(guān)于基準(zhǔn)視點相互點對稱。注意，實際上，需要將穿過基準(zhǔn)視點的所有線考慮作為對稱軸。即，需要將在關(guān)于穿過基準(zhǔn)視點的任意線與攝像單元120對稱的位置處的所有攝像單元選擇為權(quán)重調(diào)整圖像的攝像單元。然而，在圖11所示的多眼照相機的例子中，由于僅在關(guān)于4個對稱軸1101 1104線對稱的位置處存在攝像單元，因而僅示出4個對稱軸1101 1104。注意，為了維持根據(jù)本實施例的合成之后的模糊的對稱性，將在關(guān)于基準(zhǔn)視點與拍攝到缺陷圖像的攝像單元點對稱的位置處的攝像單元所拍攝的圖像選擇為權(quán)重調(diào)整圖像。當(dāng)然，如圖11所示，通過在基準(zhǔn)視點周圍的對稱位置處散布多個攝像單元來更精確地維持模糊的對稱性。當(dāng)以上述方式選擇權(quán)重調(diào)整圖像時，在步驟S1002中對標(biāo)志i設(shè)置I以識別所拍攝圖像。在步驟S1003中，將第i個所拍攝圖像設(shè)置為關(guān)注圖像。在步驟S1004中，利用等式(2)針對關(guān)注圖像計算標(biāo)準(zhǔn)化之前的權(quán)重w’ i。在步驟S1005中，判斷關(guān)注圖像是否是權(quán)重調(diào)整圖像或缺陷圖像。如果關(guān)注圖像是權(quán)重調(diào)整圖像或缺陷圖像，則在步驟S1006中進行調(diào)整以將標(biāo)準(zhǔn)化之前的權(quán)重w’i設(shè)置為O。如果在步驟S1005中關(guān)注圖像既不是權(quán)重調(diào)整圖像也不是缺陷圖像，則不調(diào)整標(biāo)準(zhǔn)化之前的權(quán)重w’ i。由于針對缺陷圖像和權(quán)重調(diào)整圖像將w’ i設(shè)置為0，因而所拍攝圖像的權(quán)重wi的分布幾乎關(guān)于基準(zhǔn)視點點對稱。在步驟S1007中，判斷i是否達(dá)到所拍攝圖像的數(shù)量。如果i未達(dá)到所拍攝圖像的數(shù)量，則在步驟S1008中將i增加I。重復(fù)步驟S1003 S1007的處理直到i達(dá)到所拍攝圖像的數(shù)量為止。當(dāng)i達(dá)到所拍攝圖像的數(shù)量時，在步驟S1009中標(biāo)準(zhǔn)化所拍攝圖像的權(quán)重w’ i。通過設(shè)置等式(I)的標(biāo)準(zhǔn)化系數(shù)k以使得所拍攝圖像的權(quán)重w’ i的總和變成I. O來標(biāo)準(zhǔn)化權(quán)重w ’ i。如上所述，將在關(guān)于基準(zhǔn)視點與獲取到缺陷圖像的攝像單元對稱的位置處的攝像單元所拍攝的圖像選擇為權(quán)重調(diào)整圖像，并且將圖像的權(quán)重調(diào)整為0，從而維持關(guān)于基準(zhǔn)視點的模糊的對稱性。在上述例子中，針對缺陷圖像和權(quán)重調(diào)整圖像兩者將標(biāo)準(zhǔn)化之前的權(quán)重w’ i調(diào)整為O。然而，權(quán)重調(diào)整方法不限于該例子。進行調(diào)整以使得權(quán)重w’ i比步驟S1004中利用等式(2)計算得到的值小。為了強調(diào)對稱性，缺陷圖像和權(quán)重調(diào)整圖像的權(quán)重可以相等。權(quán)重公式不限于等式(I)和(2)，并且計算與各攝像單元的位置相對應(yīng)的權(quán)重就可以了。

當(dāng)權(quán)重調(diào)整圖像的數(shù)量超過預(yù)定數(shù)量時，可以在顯示單元208上顯示警告以通知給用戶。警告允許用戶知道權(quán)重調(diào)整圖像的數(shù)量超過上限，即缺陷圖像的數(shù)量落在允許范圍以外。樽糊圖像牛成處理(S803、S804)以下將詳細(xì)說明模糊圖像生成單元503的模糊圖像生成處理。該處理與圖8的步驟S803中的偏移量計算處理和步驟S804中的所拍攝圖像重疊處理相對應(yīng)。圖7示出模糊圖像生成單元503的詳細(xì)配置。偏移量計算單元701計算從各所拍攝圖像的視點至基準(zhǔn)視點的偏移量。拍攝圖像重疊單元702將各所拍攝圖像偏移由偏移量計算單元701所計算得到的偏移量，以使得各所拍攝圖像的視點與基準(zhǔn)視點一致，并基于權(quán)重設(shè)置單元502所設(shè)置的權(quán)重來重疊圖像，由此生成從基準(zhǔn)視點所拍攝的模糊圖像。首先將參考圖12說明偏移量計算單元701的偏移量計算處理。圖12是示意性示出被攝體和各攝像單元的傳感器之間的位置關(guān)系的圖。參考圖12，傳感器平面1201是攝像單元101 125的傳感器309所位于的平面，被攝體焦平面1202是攝像單元101 125聚焦的距離處的平面，以及視點平面1203是包括攝像單元101 125的所有視點的平面。另外，f是攝像單元101 125的焦距，以及sx是水平方向(圖I中配置攝像單元101 105的方向)上傳感器309的長度。注意，傳感器309的水平像素的數(shù)量由nx表示。另外，rx是被攝體焦平面1202上的傳感器309的所有像素的攝像范圍的水平長度，ox是被攝體焦平面1202上的傳感器309的一個像素的攝像范圍的水平長度，Ix是從基準(zhǔn)視點至所拍攝圖像的視點的水平距離，以及d是從被攝體焦平面1202至視點平面1203的距離。在本實施例的偏移量計算處理中，計算為了使得所拍攝圖像與從基準(zhǔn)視點拍攝的圖像一致、各所拍攝圖像需要被偏移的像素數(shù)。由于從基準(zhǔn)視點至各所拍攝圖像的視點的距離是lx，因而計算與Ix相對應(yīng)的像素數(shù)作為偏移量。通過以下給出與在距離被攝體焦平面1202距離d的視點平面1203上的Ix相對應(yīng)的像素數(shù)px px = lx/ox…(3)ox = rx/nx (4)rx = sx (d/f)…(5)在本實施例中，將由此計算得到的針對距離d與Ix相對應(yīng)的像素數(shù)px定義為從各所拍攝圖像的視點至基準(zhǔn)視點的偏移量。在該情況下，在距離視點平面1203距離d的被攝體焦平面1202上的被攝體實際上在所拍攝圖像中重疊。因此，當(dāng)重疊所拍攝圖像時，不發(fā)生模糊。另一方面，針對距離視點平面1203除d以外的距離、即從被攝體焦平面1202偏移的位置處的被攝體，與Ix相對應(yīng)的像素數(shù)改變。為此，被攝體在所拍攝圖像中不重疊，并且在重疊之后發(fā)生模糊。以上說明了水平偏移量px。通過以下類似地給出垂直偏移量py:py = ly/oy…(6)oy = ry/ny (7)ry = sy (d/f)…(8)其中，Iy是從基準(zhǔn)視點至各所拍攝圖像的視點的垂直距離，ny是傳感器309的垂直像素數(shù)，ry是被攝體焦平面1202上傳感器309的所有像素的攝像范圍的垂直長度，oy是 被攝體焦平面1202上傳感器309的一個像素的攝像范圍的垂直長度，以及sy是傳感器309的垂直長度。接著將參考圖13的流程圖說明拍攝圖像重疊單元702的所拍攝圖像重疊處理。在步驟S1301中，將模糊圖像的所有像素的像素值初始化為O。在步驟S1302中，將標(biāo)志j設(shè)置為I以識別所拍攝圖像。在步驟S1303中，將第j個所拍攝圖像設(shè)置為關(guān)注圖像。在步驟S1304中，使用權(quán)重設(shè)置單元502所設(shè)置的權(quán)重來對關(guān)注圖像的所有像素的像素值進行加權(quán)。通過以下進行加權(quán)V，jk = wj vjk ... (9)其中，vjk是加權(quán)之前的像素值，wj是所拍攝圖像的權(quán)重，v’ jk是加權(quán)之后的像素值，以及k是表示所拍攝圖像的各像素的識別符。在步驟S1305中，在基準(zhǔn)視點的方向上將關(guān)注圖像偏移由偏移量計算單元701所計算得到的偏移量，由此使得關(guān)注圖像的視點與基準(zhǔn)視點一致。在步驟S1306中，在模糊圖像的像素值上重疊關(guān)注圖像的像素值。在步驟S1307中，判斷j是否達(dá)到所拍攝圖像的數(shù)量。如果j未達(dá)到所拍攝圖像的數(shù)量，則在步驟S1308中j增加I。重復(fù)步驟S1303 S1307的處理直到j(luò)達(dá)到所拍攝圖像的數(shù)量。當(dāng)j達(dá)到所拍攝圖像的數(shù)量時，完成模糊圖像生成。如上所述，根據(jù)本實施例，選擇位于關(guān)于基準(zhǔn)視點與獲取到缺陷圖像的攝像單元對稱的位置處的攝像單元所獲取的所拍攝圖像。通過針對所拍攝圖像設(shè)置較小的權(quán)重(例如，0)來生成模糊圖像。這允許維持模糊圖像中的模糊的對稱性。在本實施例中，舉例說明了包括以正方形矩陣配置的25個攝像單元的多眼照相機。然而，本發(fā)明的多眼照相機中攝像單元的配置不限于正方形矩陣，并且可以應(yīng)用任意其它矩陣配置。第二實施例以下將說明本發(fā)明的第二實施例。在上述第一實施例中，將攝像單元101 125的視點的重心定義為基準(zhǔn)視點。針對位于關(guān)于基準(zhǔn)視點與獲取到缺陷圖像的攝像單元對稱的位置處的攝像單元所獲取的所拍攝圖像來設(shè)置較小的權(quán)重。在第二實施例中，將說明以下例子根據(jù)缺陷圖像的視點來確定基準(zhǔn)視點，并且改變權(quán)重以使得所拍攝圖像的權(quán)重維持關(guān)于基準(zhǔn)視點的對稱性。注意，根據(jù)第二實施例的攝像設(shè)備的配置與上述第一實施例的圖I和2所示的配置相同，并且將省略其說明。在第二實施例中，圖像合成單元213的處理與第一實施例不同。因此，以下將詳細(xì)說明根據(jù)第二實施例的圖像合成處理。圖像合成處理將參考圖14說明根據(jù)第二實施例的圖像合成單元213的詳細(xì)配置。根據(jù)第二實施例的圖像合成單元213包括缺陷指定單元501、重要攝像單元組設(shè)置單元1401、基準(zhǔn)視點設(shè)置單元1402、權(quán)重設(shè)置單元1403和模糊圖像生成單元503。注意，缺陷指定單元501和模糊圖像生成單元503的處理與第一實施例中相同，并且將省略其說明。重要攝像單元組設(shè)置單元1401確定在生成模糊圖像時要參考的重要攝像單元?；鶞?zhǔn)視點設(shè)置單元1402根據(jù)生成模糊圖像時要參考的重要攝像單元的位置來確定基準(zhǔn)視點。將參考圖15的流程圖來說明根據(jù)第二實施例的圖像合成處理。在步驟S1501中，缺陷指定單元501從攝像單元101 125所獲取的所拍攝圖像組中指定缺陷圖像。在步驟S1502中，重要攝像單元組設(shè)置單元1401設(shè)置重要攝像單元組。在步驟S1503中，基準(zhǔn)視點 設(shè)置單元1402設(shè)置基準(zhǔn)視點。在步驟S1504中，權(quán)重設(shè)置單元1403設(shè)置各所拍攝圖像的權(quán)重。在步驟S1505中，模糊圖像生成單元503計算從各所拍攝圖像的視點至基準(zhǔn)視點的偏移量。在步驟S1506中，對所拍攝圖像進行加權(quán)和重疊。由此生成模糊圖像。以下將參考圖16A和16B說明重要攝像單元組設(shè)置單元1401的重要攝像單元組設(shè)置處理。圖16A和16B是示意性示出攝像單元101 125的陣列的圖。重要攝像單元組設(shè)置單元1401在除了獲取到缺陷圖像的攝像單元以外的攝像單元中選擇用于以nXn正方形矩陣形成攝像單元組的多個攝像單元，其中，n是盡可能大的數(shù)字。將在此選擇出的攝像單元組確定為重要攝像單元組。例如，圖16A示出在缺陷圖像是攝像單元125所拍攝的圖像的情況下重要攝像單元組的候選1601 1603。將候選1601 1603之一確定為重要攝像單元組。圖16B示出在攝像單元119和125所拍攝的圖像是缺陷圖像的情況下重要攝像單元組的候選1604 1608。將候選之一確定為重要攝像單元組。注意，圖16A和16B分別示出n = 4和n = 3的例子。以下將參考圖17A和17B說明基準(zhǔn)視點設(shè)置單元1402的基準(zhǔn)視點設(shè)置處理?；鶞?zhǔn)視點設(shè)置單元1402將重要攝像單元組設(shè)置單元1401所設(shè)置的重要攝像單元組的重心設(shè)置為基準(zhǔn)視點。圖17A和17B分別與圖16A和16B相對應(yīng)，并示出針對重要攝像單元組的各候選所確定的基準(zhǔn)視點的例子。圖17A示出分別在將候選1601 1603中相對應(yīng)的一個確定為重要攝像單元組時所設(shè)置的基準(zhǔn)視點1701 1703。圖17B示出分別在將候選1604 1608中相對應(yīng)的一個確定為重要攝像單元組時所設(shè)置的基準(zhǔn)視點1704 1708。以下將詳細(xì)說明權(quán)重設(shè)置單元1403的權(quán)重設(shè)置處理。如第一實施例的權(quán)重設(shè)置單元502 —樣，權(quán)重設(shè)置單元1403根據(jù)圖10的流程圖設(shè)置所拍攝圖像的權(quán)重。然而，在第二實施例中，步驟S1001中的權(quán)重調(diào)整圖像選擇方法與第一實施例不同。在第二實施例中，將重要攝像單元組中不包括的攝像單元所獲取的所拍攝圖像中、除了缺陷圖像以外的所拍攝圖像選擇為權(quán)重調(diào)整圖像。當(dāng)針對由此選擇的權(quán)重調(diào)整圖像和缺陷圖像將權(quán)重設(shè)置為0時，有效拍攝圖像的權(quán)重的分布關(guān)于基準(zhǔn)視點設(shè)置單元1402所設(shè)置的基準(zhǔn)視點點對稱。注意，如第一實施例中那樣，可以不將權(quán)重調(diào)整圖像和缺陷圖像的權(quán)重調(diào)整為0，而是將其調(diào)整為比步驟S1004中計算得到的值小。如上所述，根據(jù)第二實施例，根據(jù)缺陷圖像的視點位置來確定基準(zhǔn)視點。通過改變權(quán)重以使得所拍攝圖像的權(quán)重關(guān)于基準(zhǔn)視點維持對稱性來生成模糊圖像。這允許維持模糊圖像中模糊的對稱性。第三實施例以下將說明本發(fā)明的第三實施例。在上述第一實施例中，當(dāng)合成圖像時，將較小的權(quán)重給予獲取到缺陷圖像的攝像單元所獲取的所拍攝圖像以及位于關(guān)于基準(zhǔn)視點與獲取到缺陷圖像的攝像單元對稱的位置處的攝像單元所獲取的所拍攝圖像。在第三實施例中，與假定獲取到缺陷圖像的各攝像單元相對應(yīng)地預(yù)先將用于確定攝像單元所獲取的所拍攝圖像的權(quán)重的方法保持在數(shù)據(jù)庫中。使用數(shù)據(jù)庫來確定攝像單元所獲取的所拍攝圖像的權(quán)重。注意，根據(jù)第三實施例的攝像設(shè)備的配置與上述第一實施例的圖I和2中所示的配置相同，并且將省略其說明。根據(jù)第三實施例的處理除了由權(quán)重設(shè)置單元502執(zhí)行的處理以外與第一實施例相同。以下將詳細(xì)說明根據(jù)第三實施例的權(quán)重設(shè)置處理(S802)。 權(quán)重設(shè)置處理(S802)以下將說明根據(jù)第三實施例的權(quán)重設(shè)置單元502所執(zhí)行的處理。在第三實施例中，如第一實施例中那樣，計算并調(diào)整由等式(I)和(2)表示的權(quán)重wi。在第一實施例中，針對獲取到缺陷圖像的攝像單元設(shè)置較小的權(quán)重。針對關(guān)于基準(zhǔn)視點與獲取到缺陷圖像的攝像單元對稱的位置處的攝像單元所拍攝的圖像設(shè)置較小的權(quán)重。然而，在第三實施例中，基于后述的權(quán)重調(diào)整數(shù)據(jù)庫來調(diào)整所拍攝圖像的權(quán)重。以下將參考圖18說明權(quán)重調(diào)整數(shù)據(jù)庫的例子。參考圖18，各行與要調(diào)整權(quán)重的攝像單元相對應(yīng)，以及各列與獲取到缺陷圖像的攝像單元相對應(yīng)。各要素與在攝像單元a獲取到缺陷圖像時要用于調(diào)整攝像單元i的權(quán)重的系數(shù)Gai相對應(yīng)。當(dāng)攝像單元a獲取到缺陷圖像時，權(quán)重設(shè)置單元502針對具有權(quán)重wi的攝像單元i通過以下計算調(diào)整后的權(quán)重wi ” wi” = Gai wi…(10)權(quán)重調(diào)整數(shù)據(jù)庫的要素Gai具有任意值。從攝像單元i至基準(zhǔn)視點的距離和從攝像單元a至基準(zhǔn)視點的距離之間的差越小，要素Gai的值可以越小。例如，通過以下確定權(quán)重調(diào)整數(shù)據(jù)庫的要素Gai的值
Gai = exp(-abs(^/(lxa2+Iya2) --D))...(11)其中，Ixa和Iya是基準(zhǔn)視點和攝像單元a之間的在水平方向和與水平方向垂直的垂直方向上的距離，以及Ixi和Iyi是基準(zhǔn)視點和攝像單元i之間的在水平方向和與水平方向垂直的垂直方向上的距離。另外，abs(b)是b的絕對值。注意，D是任意常數(shù)。除了從攝像單元i至基準(zhǔn)視點的距離和從攝像單元a至基準(zhǔn)視點的距離充分接近時，D可以接近于I。根據(jù)等式(11)創(chuàng)建權(quán)重調(diào)整數(shù)據(jù)庫，這使得可以針對以基準(zhǔn)視點為中心的同心圓上的包括攝像單元a的攝像單元所拍攝的圖像設(shè)置較小的權(quán)重。注意，不需要基于權(quán)重調(diào)整數(shù)據(jù)庫來調(diào)整所有所拍攝圖像的權(quán)重。以下將說明使用權(quán)重調(diào)整數(shù)據(jù)庫選擇性地調(diào)整所拍攝圖像的權(quán)重的處理。圖19示意性示出攝像單元。參考圖19，攝像單元125是獲取到缺陷圖像的攝像單元。攝像單元103和111是權(quán)重調(diào)整對象的攝像單元。如圖19所示，可以通過選擇權(quán)重調(diào)整對象的攝像單元以使得重心與基準(zhǔn)視點位置更接近來保持模糊的形式對稱。例如，可以通過利用下式選擇權(quán)重調(diào)整對象的攝像單元來保持模糊的形式對稱
權(quán)利要求
1.一種圖像處理設(shè)備，包括 獲取單元，用于獲取通過用于從不同視點拍攝被攝體的多個攝像單元所拍攝的多個所拍攝圖像； 指定單元，用于從所述多個所拍攝圖像中指定缺陷圖像； 確定單元，用于基于拍攝到所述指定單元所指定的缺陷圖像的攝像單元的位置來確定針對各所拍攝圖像的權(quán)重；以及 合成單元，用于通過基于所述確定單元所確定的權(quán)重對所述多個所拍攝圖像進行加權(quán)和合成來生成合成圖像。
2.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其特征在于，所述指定單元通過比較所述多個所拍攝圖像來指定所述缺陷圖像。
3.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其特征在于，所述確定單元將針對所述缺陷圖像的權(quán)重設(shè)置為O。
4.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其特征在于，所述確定單元 從所述多個所拍攝圖像中選擇與所述缺陷圖像不同的至少一個所拍攝圖像作為選擇圖像，以及 將針對所述缺陷圖像和所述選擇圖像的權(quán)重確定為小于在所拍攝圖像既未被選擇為所述缺陷圖像也未被選擇為所述選擇圖像的情況下的權(quán)重。
5.根據(jù)權(quán)利要求4所述的圖像處理設(shè)備，其特征在于，所述確定單元 將權(quán)重分配給所述多個所拍攝圖像中的各所拍攝圖像，以及 針對所述缺陷圖像和所述選擇圖像將所分配的權(quán)重調(diào)整為更小。
6.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備，其特征在于，所述確定單元將權(quán)重分配給所述多個所拍攝圖像中的各所拍攝圖像，以使得權(quán)重隨著從拍攝到所拍攝圖像的攝像單元至用作所述合成圖像的視點的基準(zhǔn)視點的距離的增大而變小。
7.根據(jù)權(quán)利要求4所述的圖像處理設(shè)備，其特征在于，所述選擇圖像是由位于關(guān)于用作所述合成圖像的視點的基準(zhǔn)視點、與拍攝到所述缺陷圖像的攝像單元的位置對稱的位置處的攝像單元拍攝的圖像。
8.根據(jù)權(quán)利要求7所述的圖像處理設(shè)備，其特征在于，所述選擇圖像是由位于關(guān)于穿過所述基準(zhǔn)視點的對稱軸、與拍攝到所述缺陷圖像的攝像單元的位置線對稱的位置處的攝像單元拍攝的圖像。
9.根據(jù)權(quán)利要求4所述的圖像處理設(shè)備，其特征在于，所述確定單元通過參考數(shù)據(jù)庫來確定所述選擇圖像的權(quán)重。
10.根據(jù)權(quán)利要求4所述的圖像處理設(shè)備，其特征在于，選擇所述選擇圖像，以使得從拍攝到所述缺陷圖像或所述選擇圖像的攝像單元的重心至用作所述合成圖像的視點的基準(zhǔn)視點的距離小于預(yù)定閾值。
11.根據(jù)權(quán)利要求4所述的圖像處理設(shè)備，其特征在于，所述確定單元將既未拍攝到所述缺陷圖像也未拍攝到所述選擇圖像的攝像單元的重心位置設(shè)置為用作所述合成圖像的視點的基準(zhǔn)視點。
12.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其特征在于，在格子點上配置所述多個攝像單元。
13.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其特征在于，在同心圓上配置所述多個攝像單元。
14.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其特征在于，還包括計算單元，所述計算單元用于計算所述多個所拍攝圖像中的各所拍攝圖像為了與通過從基準(zhǔn)視點攝像所獲得的圖像對準(zhǔn)所需的偏移量， 其中，所述合成單元基于所述計算單元所計算得到的偏移量來偏移所述多個所拍攝圖像中的各所拍攝圖像，并且合成偏移后的圖像。
15.一種攝像設(shè)備，包括 根據(jù)權(quán)利要求I所述的圖像處理設(shè)備；以及 多個攝像單元，用于從不同視點拍攝被攝體。
16.一種圖像處理方法，包括以下步驟 獲取通過用于從不同視點拍攝被攝體的多個攝像單元所拍攝的多個所拍攝圖像； 指定步驟，用于從所述多個所拍攝圖像中指定缺陷圖像； 確定步驟，用于基于拍攝到所述指定步驟中所指定的缺陷圖像的攝像單元的位置來確定針對各所拍攝圖像的權(quán)重；以及 通過基于所述確定步驟中所確定的權(quán)重對所述多個所拍攝圖像進行加權(quán)和合成來生成合成圖像。
全文摘要
本發(fā)明涉及圖像處理設(shè)備、攝像設(shè)備和圖像處理方法。圖像處理設(shè)備包括獲取單元，用于獲取通過用于從不同視點拍攝被攝體的多個攝像單元所拍攝的所拍攝圖像；指定單元，用于從多個所拍攝圖像中指定缺陷圖像；確定單元，用于基于拍攝到指定單元所指定的缺陷圖像的攝像單元的位置來確定針對各所拍攝圖像的權(quán)重；以及合成單元，用于通過基于確定單元所確定的權(quán)重對多個所拍攝圖像進行加權(quán)和合成來生成合成圖像。
文檔編號H04N5/225GK102682440SQ20121003979
公開日2012年9月19日 申請日期2012年2月20日 優(yōu)先權(quán)日2011年2月18日
發(fā)明者澤田圭一 申請人:佳能株式會社