專利名稱：圖像生成方法、裝置、其程序以及記錄有程序的記錄介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及根據(jù)多個(gè)圖像生成高分辨率的圖像的技術(shù)。本申請基于2007年10月15日申請的日本專利申請?zhí)卦?007-267927號要求優(yōu) 先權(quán)，并在這里引用其內(nèi)容。
背景技術(shù)：
圖11是表示直線排列的多視點(diǎn)攝像系統(tǒng)的攝影機(jī)配置例的圖，圖12是表示平面 排列的多視點(diǎn)攝像系統(tǒng)的攝影機(jī)配置例的圖，圖13是表示弧形狀排列的多視點(diǎn)攝像系統(tǒng) 的攝影機(jī)配置例的圖，圖14是表示球面排列的多視點(diǎn)攝 像系統(tǒng)的攝影機(jī)配置例的圖。已經(jīng)開發(fā)了從不同方向?qū)σ粋€(gè)場景(scene)進(jìn)行攝影的多視點(diǎn)攝像系統(tǒng)。在多視 點(diǎn)攝像系統(tǒng)中，攝影機(jī)配置是如圖11所示那樣在直線上一維排列、或如圖12所示那樣在平 面上二維排列、或如圖13所示那樣排列為弧形狀、或如圖14所示那樣排列為球面狀的配置 等各種各樣的。如果利用這樣的多視點(diǎn)攝像系統(tǒng)，就能夠?qū)Χ嗝娴囊曨l圖像場景進(jìn)行歸檔 (匯總為一個(gè))。進(jìn)而，存在根據(jù)在多視點(diǎn)攝影的攝影機(jī)視頻圖像，生成沒有攝影的假想攝影機(jī)位 置的圖像信息的技術(shù)。將其稱為圖像合成技術(shù)。在圖像合成中，假設(shè)已知攝影機(jī)參數(shù)，該攝 影機(jī)參數(shù)表示原來的攝影機(jī)視頻圖像是從空間中的哪個(gè)方向攝影的圖像信息。在圖像合成 中有各種各樣的方法。例如，存在推定深度信息(cbpth information)來進(jìn)行合成的方法。首先，在原來 的攝影機(jī)視頻圖像之間進(jìn)行圖像信息的對應(yīng)點(diǎn)探索來求取視差信息，根據(jù)視差信息來推定 場景的深度信息。然后，推定假想攝影機(jī)位置的深度信息，根據(jù)原來的攝影機(jī)的圖像信息來 產(chǎn)生對應(yīng)的圖像信息(參照非專利文獻(xiàn)1)。此外，也存在不進(jìn)行深度信息的推定，而利用原來的圖像的視差信息直接產(chǎn)生假 想攝影機(jī)位置的圖像信息的方法(參照非專利文獻(xiàn)2)?；蛘?，也存在預(yù)先根據(jù)多個(gè)攝影機(jī)視頻圖像來推定在場景中存在的對象(object) 的三維模型信息，生成從假想攝影機(jī)位置的該模型的投影圖像的方法(參照非專利文獻(xiàn) 3)。在這樣的攝像系統(tǒng)中，通常使用分辨率相同的攝影機(jī)，但也可以使用分辨率不同 的攝影機(jī)。通過組合分辨率高的攝影機(jī)和分辨率低的攝影機(jī)進(jìn)行使用，從而能夠降低得到 的圖像信息的信息量。此外，也可以改變攝影機(jī)的聚焦位置或視野角。在該情況下，即使是 被攝影的圖像信號的分辨率相同，實(shí)際被攝影的區(qū)域部分的分辨率也不同。作為根據(jù)分辨率低的圖像獲得分辨率高的圖像的方法，可以舉出對低分辨率的圖 像中的圖像信號應(yīng)用上采樣濾波器的擴(kuò)大方法，和使用超分辨(super-resolution)的方 法。在擴(kuò)大方法中，對周圍附近的圖像信號應(yīng)用適當(dāng)?shù)臑V波器來獲得圖像信號。另一 方面，在超分辨方法中，通常使用連續(xù)攝影的多個(gè)相同分辨率的圖像信息(參照非專利文獻(xiàn)4)。首先，作為目標(biāo)圖像，定義與攝影的圖像相比大分辨率的圖像。即，預(yù)先對生成的對 象的像素位置進(jìn)行定義。然后，在多個(gè)攝影的圖像之間，推定對應(yīng)關(guān)系，將攝影得到的圖像 信號埋入目標(biāo)像素位置。由此，得到高分辨率的圖像信息。非專利文獻(xiàn) 1 :Keita Takahashi and Takeshi Naemura, "LayeredLight-Field Rendering with Focus Measurement，，，EURAS IP SignalProcessing : Image Communication, vol. 21, no. 6, pp. 519-530 (2006. 7.非專利文獻(xiàn) 2 :M. Droese, T. Fujii and M. Tanimoto, "Ray-SpaceInterpolation Constraining Smooth Disparities Based On Loopy BeliefPropagation", Proc.of IWSSIP2004, pp. 247-250，Poznan, Poland, Sept. 2004.非專利文獻(xiàn)3 松山隆司、高井勇志、勺小軍、延原章平「3次元r才映像Θ撮 影·編集·表示」、日本"'一子^ ^ 'J 7 -j r 學(xué)會(huì)論文誌、Vol.7, No. 4，pp. 521-532， 2002. 12.非專利文獻(xiàn)4:田中正行、奧富正敏、「再構(gòu)成型超解像処理O高速化7 > 3 ·； < KU O 精度評価」、信學(xué)論 D-II vol. J88-D-II, no. 11，pp. 2200-2209，2005.

發(fā)明內(nèi)容
本發(fā)明要解決的課題本發(fā)明的目的在于，針對處理分辨率不同的多視點(diǎn)視頻圖像這一發(fā)明者著眼的新 技術(shù)，提供一種對低分辨率的圖像失去的高頻成分的信息進(jìn)行復(fù)原，對以與高分辨率的圖 像相比主觀品質(zhì)低的低分辨率攝影的圖像高品質(zhì)地進(jìn)行高分辨率化的方式。用于解決課題的方案在現(xiàn)有技術(shù)中沒有進(jìn)行對分辨率不同的多視點(diǎn)視頻圖像的處理。即，本發(fā)明的課 題是從處理分辨率不同的多視點(diǎn)視頻圖像這一新的技術(shù)構(gòu)思而產(chǎn)生的課題。在多視點(diǎn)攝像系統(tǒng)中使用分辨率不同的攝影機(jī)的情況下，低分辨率的圖像和高分 辨率的圖像混合存在。此外，即使在以相同分辨率的攝影機(jī)進(jìn)行攝影的情況下，由于能夠例 如通過降低一部分的攝影機(jī)視頻圖像的分辨率來削減信息量，所以有適于多視點(diǎn)圖像的壓 縮的情況。即使在該情況下，低分辨率的圖像和高分辨率的圖像也混合存在。在以上那樣的情況下，在低分辨率的圖像信息中欠缺高頻成分。因此，以低分辨率 攝影的攝影機(jī)位置的圖像信息與以高分辨率攝影的攝影機(jī)位置中的圖像信息相比，存在主 觀品質(zhì)劣化的問題。因此，本發(fā)明為了解決上述問題，提供一種對低分辨率的圖像失去的高頻成分的 信息進(jìn)行復(fù)原，對以與高分辨率的圖像相比主觀品質(zhì)低的低分辨率攝影的圖像，高品質(zhì)地 進(jìn)行高分辨率化的方式。對本發(fā)明的概要進(jìn)行說明。例如，通過以分辨率不同的多個(gè)攝影機(jī)對同一場景進(jìn) 行攝影，從而能夠減少處理的圖像信息的總量。因此，在該情況下，能夠大幅降低多視點(diǎn)視 頻圖像的碼量。可是，以低分辨率攝影的攝影機(jī)的視頻圖像，與高分辨率的圖像相比，存在 主觀品質(zhì)低的問題。本發(fā)明以對該在低分辨率攝影的視頻圖像高品質(zhì)地進(jìn)行高分辨率化的方式，解決 該問題。在現(xiàn)有技術(shù)中原本沒有進(jìn)行分辨率不同的多視點(diǎn)視頻圖像的處理。本發(fā)明的課題是從處理分辨率不同的多視點(diǎn)視頻圖像這一新的技術(shù)構(gòu)成產(chǎn)生的課題。如具體地作為實(shí)施例后述的那樣，本發(fā)明不僅對分辨率不同的多視點(diǎn)視頻圖像，而且對于在一個(gè)攝影機(jī)輸入視頻圖像中的幀之間分辨率不同的視頻圖像等也能夠應(yīng)用?；旧?，本發(fā)明通過提供對低分辨率的圖像失去的高頻成分的信息進(jìn)行復(fù)原的手 段，能夠?qū)崿F(xiàn)在處理分辨率不同的多視點(diǎn)視頻圖像的情況下的、處理的圖像信號的總量的 削減，即能夠?qū)崿F(xiàn)多視點(diǎn)視頻圖像的碼量的大幅削減。作為增加低分辨率的圖像的像素?cái)?shù)、即提高分辨率的現(xiàn)有方法，如上述那樣，可以 舉出使用上采樣濾波器對圖像信號進(jìn)行擴(kuò)大的方法，或使用超分辨技術(shù)的方法，其中，超分 辨技術(shù)利用其它的圖像的圖像信號制作高分辨率的圖像。其中，在擴(kuò)大圖像信號的方法中， 不能夠得到失去的高頻成分的信息。另一方面，在超分辨的方法中，雖然能夠得到高頻成分 的信息，但做法和處理的對象與本發(fā)明不同。在超分辨的方法中，首先前提是存在多個(gè)低分辨率的圖像信息。而且，設(shè)定目標(biāo)的 高分辨率的圖像的像素位置，在該像素位置中埋入低分辨率的圖像信息。因此，可以說超分 辨是對原本不存在的圖像本身進(jìn)行合成來產(chǎn)生的技術(shù)。相對于此，本發(fā)明與超分辨在本質(zhì)上處理的課題不同，其主旨在于對低分辨率的 圖像信息原本具有的高頻成分進(jìn)行復(fù)原。但與超分辨的構(gòu)思根本上不同之處在于使用如下 技術(shù)手段，即，這時(shí)利用其它的高分辨率的圖像的對應(yīng)的圖像信息進(jìn)行產(chǎn)生，僅在對應(yīng)點(diǎn)探 索中利用原來的低分辨率的圖像信息，對于將低分辨率的圖像擴(kuò)大后的圖像，利用對應(yīng)的 高分辨率的圖像的圖像信息進(jìn)行埋入。為了解決上述課題，本發(fā)明提供一種圖像生成方法，根據(jù)圖像A、和比圖像A分辨 率高的圖像B來生成圖像C的圖像信息，該圖像生成方法執(zhí)行如下步驟圖像擴(kuò)大步驟，對 圖像A進(jìn)行擴(kuò)大，產(chǎn)生與圖像B具有相同的分辨率的圖像C;對應(yīng)點(diǎn)推定步驟，對圖像C的各 像素位置與圖像B中的對應(yīng)點(diǎn)的有無、以及對應(yīng)點(diǎn)位置進(jìn)行推定；以及對應(yīng)圖像設(shè)定步驟， 在對應(yīng)點(diǎn)推定步驟中推定為有對應(yīng)點(diǎn)的、圖像C中的像素位置中，設(shè)定圖像B中的對應(yīng)位置 的圖像信息。根據(jù)該圖像生成方法，能夠使用其它圖像中包含的高頻成分的信息，生成對于所 希望的低分辨率的圖像的高分辨率的圖像。在這時(shí)在其它圖像中不存在對應(yīng)于生成的像素 位置的圖像信號的情況下，通過使用將原來的低分辨率擴(kuò)大后的圖像信息，從而能夠防止 圖像信息的欠缺。在對應(yīng)點(diǎn)的推定中，可以舉出另外輸入對應(yīng)點(diǎn)信息而進(jìn)行賦予的情況，和使用圖 像信息來探索對應(yīng)點(diǎn)的情況。在另外賦予對應(yīng)點(diǎn)信息的情況下，也可以預(yù)先推定場景的深 度信息或幾何信息，然后推定圖像間的對應(yīng)點(diǎn)。在對應(yīng)點(diǎn)的探索中，在對應(yīng)的像素間(對圖像C的各像素的，圖像B的1 多個(gè)像 素候補(bǔ))求取差分的絕對值，在該值的最小值比預(yù)先設(shè)定的閾值小的情況下，將成為該最 小值的點(diǎn)推定為對應(yīng)點(diǎn)，在比閾值大的情況下，推定為沒有對應(yīng)點(diǎn)也可。優(yōu)選將該情況下的閾值與低分辨率的圖像信息一起進(jìn)行文件化(filing)。在根 據(jù)文件化后的低分辨率的圖像信息生成高分辨率的圖像信息時(shí)，通過使用文件中包含的閾 值，能夠保障在生成時(shí)總是得到相同的圖像。在利用分辨率不同的攝影機(jī)的圖像，從多個(gè)方向攝影某個(gè)場景的情況下，對于低分辨率的攝影機(jī)的圖像，能夠利用其它的高分辨率的攝影機(jī)的圖像，生成高分辨率的圖像。 該方法不僅在多視點(diǎn)圖像中、也能應(yīng)用于單鏡頭(single camera)的活動(dòng)圖像。即，在活動(dòng) 圖像中的各幀的分辨率不同的情況下，對于低分辨率的幀的圖像，能夠利用其它的高分辨 率的幀的圖像，生成高分辨率的圖像。在上述方法中，可以進(jìn)一步設(shè)置圖像內(nèi)插步驟，在該步驟中，根據(jù)在對應(yīng)圖像設(shè)定 步驟中設(shè)定的圖像信息，產(chǎn)生在對應(yīng)點(diǎn)推定步驟中推定為沒有對應(yīng)點(diǎn)的、圖像C中的像素 位置的圖像信息。
在該情況下，在其它的圖像中不存在對應(yīng)于生成的像素位置的圖像信號的情況 下，通過根據(jù)在周圍的、生成的高分辨率的圖像信號進(jìn)行內(nèi)插而產(chǎn)生，能夠防止圖像信息的 欠缺。此外，本發(fā)明的圖像生成方法，根據(jù)圖像A、和比圖像A分辨率高的圖像B來生成 圖像C的圖像信息，該圖像生成方法執(zhí)行如下步驟圖像擴(kuò)大步驟，對圖像A進(jìn)行擴(kuò)大，產(chǎn)生 與圖像B具有相同分辨率的圖像D ；對應(yīng)點(diǎn)推定步驟，對圖像D的各像素位置與圖像B中的 對應(yīng)點(diǎn)的有無、以及對應(yīng)點(diǎn)位置進(jìn)行推定；對應(yīng)圖像設(shè)定步驟，在圖像E中的像素位置中， 設(shè)定圖像B中的對應(yīng)位置的圖像信息，其中，該圖像E中的像素位置與在對應(yīng)點(diǎn)推定步驟中 推定為有對應(yīng)點(diǎn)的、圖像D中的像素位置相同；圖像內(nèi)插步驟，根據(jù)在對應(yīng)圖像設(shè)定步驟中 設(shè)定的圖像信息，產(chǎn)生圖像E中的像素位置的圖像信息，其中，該圖像E中的像素位置與在 對應(yīng)點(diǎn)推定步驟中推定為沒有對應(yīng)點(diǎn)的、圖像D中的像素位置相同；圖像縮小步驟，對圖像 E進(jìn)行縮小，產(chǎn)生與圖像A具有相同分辨率的圖像F;差分產(chǎn)生步驟，在圖像A的各像素位置 中，求取圖像A的圖像信息和相同像素位置的圖像F的圖像信息的差分；以及圖像信息設(shè)定 步驟，在差分產(chǎn)生步驟中求取的各像素位置中的差分小的情況下，在對應(yīng)的圖像C的各像 素位置中設(shè)定圖像E的圖像信息，在差分產(chǎn)生步驟中求取的各像素位置中的差分大的情況 下，在對應(yīng)的圖像C的各像素位置中設(shè)定基于圖像D的圖像信息的圖像信息。作為典型例子，在上述圖像信息設(shè)定步驟中，在上述差分產(chǎn)生步驟中求取的各像 素位置中的差分比閾值大的情況下，(i)在對應(yīng)的圖像C的各像素位置中設(shè)定圖像D的圖像信息，或(ii)在對應(yīng)的圖像C的各像素位置中，設(shè)定對圖像D的圖像信息和圖像E的圖像 信息進(jìn)行加權(quán)平均后的值。根據(jù)該圖像生成方法，在所希望的低分辨率的圖像與其它圖像的對應(yīng)點(diǎn)的推定中 存在誤差的情況下，代替使用與上述發(fā)明同樣地生成的高分辨率的圖像，而使用將原來的 低分辨率以擴(kuò)大為高分辨率后的圖像信息，或使用生成的高分辨率的圖像信息、和將原來 的低分辨率擴(kuò)大為高分辨率的圖像信息的加權(quán)平均值，由此能夠降低推定誤差導(dǎo)致的畫質(zhì) 的劣化。此外，本發(fā)明提供一種圖像生成方法，其中，根據(jù)具有相同分辨率的圖像A和圖像 B來生成圖像C的圖像信息，其中，該圖像生成方法執(zhí)行如下步驟基準(zhǔn)圖像縮小步驟，對圖 像A進(jìn)行縮小來產(chǎn)生分辨率小的圖像G ；圖像擴(kuò)大步驟，對圖像G進(jìn)行擴(kuò)大，產(chǎn)生與圖像A 具有相同分辨率的圖像D ；對應(yīng)點(diǎn)推定步驟，對圖像D的各像素位置與圖像B中的對應(yīng)點(diǎn)的 有無、以及對應(yīng)點(diǎn)位置進(jìn)行推定；對應(yīng)圖像設(shè)定步驟，在圖像E中的像素位置中，設(shè)定圖像 B中的對應(yīng)位置的圖像信息，其中，該圖像E中的像素位置與在對應(yīng)點(diǎn)推定步驟中推定為有對應(yīng)點(diǎn)的、圖像D中的像素位置相同；圖像內(nèi)插步驟，根據(jù)在對應(yīng)圖像設(shè)定步驟中設(shè)定的圖像信息，產(chǎn)生圖像E中的像素位置的圖像信息，其中，該圖像E中的像素位置與在對應(yīng)點(diǎn)推 定步驟中推定為沒有對應(yīng)點(diǎn)的、圖像D中的像素位置相同；圖像縮小步驟，對圖像E進(jìn)行縮 小，產(chǎn)生與圖像G具有相同分辨率的圖像F ；以及差分產(chǎn)生步驟，在圖像G的各像素位置中， 求取圖像G的圖像信息和相同像素位置的圖像F的圖像信息的差分，進(jìn)而，一邊改變閾值一 邊執(zhí)行如下步驟閾值設(shè)定步驟，在預(yù)先設(shè)定的范圍中設(shè)定閾值；圖像信息設(shè)定步驟，在差 分產(chǎn)生步驟中求取的各像素位置中的差分比閾值小的情況下，在對應(yīng)的圖像C的各像素位 置中設(shè)定圖像E的圖像信息，在差分產(chǎn)生步驟中求取的各像素位置中的差分比閾值大的情 況下，在對應(yīng)的圖像C的各像素位置中設(shè)定基于圖像D的圖像信息的圖像信息；以及生成差 分合計(jì)步驟，計(jì)算在圖像選擇步驟中得到的圖像C和圖像A的各像素位置中的圖像信息的 差分的合計(jì)，執(zhí)行閾值決定步驟，決定在生成差分合計(jì)步驟中得到的差分的合計(jì)變得最小 的閾值。作為典型例子，在上述圖像信息設(shè)定步驟中，在上述差分產(chǎn)生步驟中求取的各像 素位置中的差分比閾值大的情況下，(i)在對應(yīng)的圖像C的各像素位置中設(shè)定圖像D的圖像信息，或(ii)在對應(yīng)的圖像C的各像素位置中，設(shè)定對圖像D的圖像信息和圖像E的圖像 信息進(jìn)行加權(quán)平均后的值。根據(jù)該圖像生成方法，在將圖像低分辨率化后進(jìn)行高分辨率化的情況下，在以上 述方法生成高分辨率的圖像時(shí)，檢測出對應(yīng)點(diǎn)的推定誤差導(dǎo)致的劣化的大小，以劣化變得 最小的方式，決定對生成的高分辨率的圖像進(jìn)行選擇的閾值。由于也存在原來的高分辨率 的圖像信息，所以能夠檢測出劣化的大小。該閾值參數(shù)能夠以如下方式利用。首先，預(yù)先推定該閾值，作為閾值參數(shù)對低分辨 率的圖像附加。例如，與低分辨率的圖像和其它圖像一起，該閾值參數(shù)也進(jìn)行文件化。在該 文件中不包含進(jìn)行低分辨率化之前的圖像信息。因此，由于對與原來的圖像相比低分辨率 的圖像信息進(jìn)行文件化，所以能夠減小文件大小。在再生該文件時(shí)，根據(jù)低分辨率的圖像和 其它圖像，利用上述閾值參數(shù)，能夠生成高分辨率的圖像。這時(shí)，能夠生成將主觀品質(zhì)的劣 化最小化了的高分辨率的圖像。此外，在上述圖像信息設(shè)定步驟中，在上述差分產(chǎn)生步驟中求取的各像素位置中 的差分比閾值大的情況下，在使用上述(ii)的方法時(shí)，不是在生成的圖像的信號中使用將 低分辨率的圖像擴(kuò)大后的圖像，而是使用與高分辨率的圖像加權(quán)平均后的值，因此能夠降 低對低分辨率的圖像進(jìn)行擴(kuò)大而導(dǎo)致的圖像的模糊。本發(fā)明此外也提供利用上述各方法生成圖像的圖像生成裝置。發(fā)明的效果根據(jù)本發(fā)明，能夠?qū)σ缘头直媛蕯z影的攝影機(jī)位置的圖像信息，利用以其它的高 分辨率攝影的攝影機(jī)位置的圖像信息，生成高分辨率的圖像信息。由此，能夠降低主觀品質(zhì) 的劣化。


圖1是表示本發(fā)明的第一實(shí)施例的圖像生成裝置的結(jié)構(gòu)的圖。
圖2是表示同實(shí)施例的圖像生成裝置的工作的流程圖。圖3是表示本發(fā)明的第二實(shí)施例的圖像生成裝置的結(jié)構(gòu)的圖。圖4是表示同實(shí)施例的圖像生成裝置的工作的流程圖。圖5是表示本發(fā)明的第三實(shí)施例的圖像生成裝置的結(jié)構(gòu)的圖。圖6是表示同實(shí)施例的圖像生成裝置的工作的流程圖。圖7是表示同實(shí)施例的變形例的圖像生成裝置的結(jié)構(gòu)的圖。圖8是表示本發(fā)明的第四實(shí)施例的圖像生成裝置的結(jié)構(gòu)的圖。圖9是表示同實(shí)施例的圖像生成裝置的工作的流程圖。圖10是表示同實(shí)施例的變形例的圖像生成裝置的結(jié)構(gòu)的圖。圖11是表示直線排列的多視點(diǎn)攝像系統(tǒng)的例子的圖。圖12是表示平面排列的多視點(diǎn)攝像系統(tǒng)的例子的圖。圖13是表示弧形狀排列的多視點(diǎn)攝像系統(tǒng)的例子的圖。圖14是表示球面排列的多視點(diǎn)攝像系統(tǒng)的例子的圖。附圖標(biāo)記說明101、201、301、401 圖像擴(kuò)大部102、202、302、402 對應(yīng)點(diǎn)推定部103、203、303、403對應(yīng)圖像設(shè)定部204、304、404 圖像內(nèi)插部305、405圖像縮小部306,406差分產(chǎn)生部307、407圖像選擇部308、408圖像生成部409生成差分合計(jì)部410閾值設(shè)定部
411閾值決定部412基準(zhǔn)圖像縮小部
具體實(shí)施例方式使用附圖對本發(fā)明的圖像生成裝置的實(shí)施例進(jìn)行說明。[第一實(shí)施例]作為第一實(shí)施例，表示如下情況的例子，即根據(jù)以其它的攝影機(jī)攝影的低分辨率 的圖像A和高分辨率的圖像B，生成對應(yīng)于圖像A的高分辨率(對應(yīng)于圖像B的高分辨率) 的圖像C。在這里，假設(shè)以攝影機(jī)攝影的信號全部是利用YUV信號(亮度Y，色差U、V)設(shè)定 了彩色信號的信號，在實(shí)施例中，假設(shè)僅處理Y信號。在圖1中表示裝置概要。本實(shí)施例中的圖像生成裝置具備圖像擴(kuò)大部101，擴(kuò)大 圖像A，產(chǎn)生與圖像B具有相同的分辨率的圖像C ；對應(yīng)點(diǎn)推定部102，對圖像C的各像素位 置與圖像B中的對應(yīng)點(diǎn)的有無、以及對應(yīng)點(diǎn)位置進(jìn)行推定；以及對應(yīng)圖像設(shè)定部103，在對 應(yīng)點(diǎn)推定部102中推定為有對應(yīng)點(diǎn)的圖像C中的像素位置中，設(shè)定圖像B中的對應(yīng)位置的 圖像信息。
在這里，在圖像擴(kuò)大部101中，利用雙線性內(nèi)插求取分?jǐn)?shù)位置(fractional position)的圖像信息，產(chǎn)生擴(kuò)大圖像。此外，在對應(yīng)點(diǎn)推定部102中，使用攝影機(jī)參數(shù)或已知的匹配(matching)技術(shù)，針 對圖像C的各像素假定(圖像B中的)對應(yīng)的像素的候補(bǔ)(1 多個(gè))，在對應(yīng)的像素之間 求取差分的絕對值，在這些絕對值的最小值比預(yù)先設(shè)定的閾值小的情況下，將成為該最小 值的點(diǎn)推定為對應(yīng)點(diǎn)，在比閾值大的情況下，針對圖像C的相應(yīng)像素推定為沒有對應(yīng)點(diǎn)。
以上述為前提，圖1所示的圖像生成裝置以下述方式工作。圖2表示其流程圖。首先，圖像擴(kuò)大部101對圖像A以上述方式進(jìn)行擴(kuò)大來產(chǎn)生圖像C (步驟S12)。然 后，對應(yīng)點(diǎn)推定部102以上述方法來推定圖像C與圖像B的對應(yīng)點(diǎn)的有無、以及位置(步驟 Sll)。對應(yīng)圖像設(shè)定部103對于在對應(yīng)點(diǎn)推定部102中推定為有對應(yīng)點(diǎn)的圖像C的各像素， 設(shè)定圖像B的對應(yīng)點(diǎn)的圖像信息(步驟S12)。通過以上方式生成圖像C。再有，在圖像擴(kuò)大部101中，也可以應(yīng)用抽頭數(shù)長(large number oftaps)的濾波 器，也可以應(yīng)用二維濾波器，也可以以橫縱的順序應(yīng)用一維濾波器。此外，也可以應(yīng)用保存 邊緣信息的濾波器。在任何情況下，不利用圖像B，進(jìn)行使用擴(kuò)大的對象的圖像A的圖像信 息擴(kuò)大分辨率的處理。此外，在對應(yīng)點(diǎn)推定部102中，在像素之間求取差分的絕對值，但也可以使用由將 推定的對象的像素作為中心的多個(gè)像素構(gòu)成的塊(block)來進(jìn)行推定。例如，針對圖像C 的各像素，假定圖像B中的對應(yīng)的像素的候補(bǔ)(1 多個(gè))，求取與由將各候補(bǔ)作為中心的多 個(gè)像素構(gòu)成的塊內(nèi)的像素的差分的絕對值的合計(jì)，將該合計(jì)值變?yōu)樽钚〉暮蜓a(bǔ)的位置作為 對應(yīng)點(diǎn)進(jìn)行推定。在以上的例子中，根據(jù)以其它的攝影機(jī)攝影的低分辨率的圖像A和高分辨率的圖 像B來生成高分辨率的圖像C，但也可以根據(jù)以相同攝影機(jī)攝影的、某個(gè)時(shí)刻的低分辨率的 圖像A、和其它時(shí)刻的高分辨率的圖像B，來生成高分辨率的圖像C。此外，如上述那樣，根據(jù)圖像A和圖像B，產(chǎn)生對應(yīng)于圖像A的圖像C，但圖像B是 多個(gè)也可。下面表示圖像B是2個(gè)(Bi和B2)的情況下的例子。結(jié)構(gòu)是相同的，圖像生成 裝置以如下方式工作。首先，圖像擴(kuò)大部101對圖像A以上述方式進(jìn)行擴(kuò)大來產(chǎn)生圖像C。然后，對應(yīng)點(diǎn) 推定部102以與上述相同的方法來推定圖像C和圖像Bl的對應(yīng)點(diǎn)的有無、以及位置。對應(yīng) 圖像設(shè)定部103將在對應(yīng)點(diǎn)推定部102中推定為有對應(yīng)點(diǎn)的各位置中的圖像Bl的圖像信 息向圖像C設(shè)定。接著，對應(yīng)點(diǎn)推定部102同樣地推定圖像C和圖像B2的對應(yīng)點(diǎn)的有無、以及位置。 對應(yīng)圖像設(shè)定部103將在對應(yīng)點(diǎn)推定部102中推定為有對應(yīng)點(diǎn)的各位置中的圖像B2的圖 像信息向圖像C設(shè)定。通過以上方式生成圖像C。在推定為在圖像Bl和圖像B2的雙方中有對應(yīng)點(diǎn)的情況下，使預(yù)先決定的任一個(gè) 的圖像信息優(yōu)先而設(shè)定到圖像C也可，將與對應(yīng)的圖像C的像素的差分較小的圖像Bl或圖 像B2的圖像信息設(shè)定到圖像C也可，將圖像Bl與圖像B2的圖像信息的平均值設(shè)定到圖像 C也可。在圖像B是3個(gè)以上的情況下也能夠同樣地生成高分辨率的圖像C。
關(guān)于以下說明的其它實(shí)施例，在存在多個(gè)圖像B的情況下，也能夠同樣地實(shí)施。[第二實(shí)施例]接著，作為第二實(shí)施例，表示如下情況的例子，即與第一實(shí)施例同樣地，根據(jù)以其它的攝影機(jī)攝影的低分辨率的圖像A和高分辨率的圖像B，生成對應(yīng)于圖像A的高分辨率圖 像C。其中，表示如下例子，即，在沒有對應(yīng)點(diǎn)的情況下，根據(jù)周圍的高分辨率的圖像信息進(jìn) 行內(nèi)插而生成。在圖3中表示裝置概要。本實(shí)施例中的圖像生成裝置具備圖像擴(kuò)大部201，擴(kuò)大 圖像A的分辨率，產(chǎn)生圖像C ；對應(yīng)點(diǎn)推定部202，對圖像C的各像素位置與圖像B中的對應(yīng) 點(diǎn)的有無、以及對應(yīng)點(diǎn)位置進(jìn)行推定；對應(yīng)圖像設(shè)定部203，在對應(yīng)點(diǎn)推定部202中推定為 有對應(yīng)點(diǎn)的圖像C中的像素位置中，設(shè)定圖像B中的對應(yīng)位置的圖像信息；以及圖像內(nèi)插部 204，根據(jù)在對應(yīng)圖像設(shè)定部203中設(shè)定的圖像信息，產(chǎn)生在對應(yīng)點(diǎn)推定部202中推定為沒 有對應(yīng)點(diǎn)的圖像C中的像素位置的圖像信息。在圖像內(nèi)插部204中，根據(jù)假設(shè)有對應(yīng)點(diǎn)而從圖像B設(shè)定了圖像信息的像素位置 的相應(yīng)圖像信息，來產(chǎn)生在圖像C中的像素中的、推定為沒有對應(yīng)點(diǎn)的像素的圖像信息。這 時(shí)，與從圖像B設(shè)定了圖像信息的像素位置起的距離對應(yīng)地進(jìn)行線性內(nèi)插。以上述為前提，圖像生成裝置以下述方式工作。圖4表示其流程圖。首先，圖像擴(kuò)大部201對圖像A的分辨率進(jìn)行擴(kuò)大來產(chǎn)生圖像C(步驟S20)。然 后，對應(yīng)點(diǎn)推定部202推定圖像C和圖像B的對應(yīng)點(diǎn)的有無、以及位置(步驟S21)。對應(yīng) 圖像設(shè)定部203對于在對應(yīng)點(diǎn)推定部202中推定為有對應(yīng)點(diǎn)的圖像C的各像素，設(shè)定圖像 B的對應(yīng)點(diǎn)的圖像信息(步驟S22)。圖像內(nèi)插部204針對在對應(yīng)點(diǎn)推定部202中推定為沒 有對應(yīng)點(diǎn)的像素位置，根據(jù)在對應(yīng)圖像設(shè)定部203中已經(jīng)設(shè)定的圖像信息進(jìn)行內(nèi)插來產(chǎn)生 圖像信息(步驟S23)。通過以上生成圖像C。在圖像內(nèi)插部204中，通過線性內(nèi)插來生成圖像信息，但使用非線性處理來生成 圖像信息也可。這些情況均利用在對應(yīng)圖像設(shè)定部203中設(shè)定的圖像信息來生成。[第三實(shí)施例]接著，作為第三實(shí)施例，表示如下情況的例子，與第一實(shí)施例同樣地，即根據(jù)以其 它的攝影機(jī)攝影的低分辨率的圖像A和高分辨率的圖像B，生成對應(yīng)于圖像A的高分辨率 (對應(yīng)于圖像B的分辨率)的圖像C。其中，表示如下例子，即僅在將生成的圖像信息的縮 小圖像和原來的圖像A的差較小的像素位置，應(yīng)用生成的圖像信息。在以下的說明中，圖像D是最初將圖像A擴(kuò)大后(提高了分辨率)的圖像，圖像E 是與圖像D相同尺寸(相同像素結(jié)構(gòu))的臨時(shí)處理用圖像。此外，圖像F是將圖像E縮小而產(chǎn)生的、分辨率小的圖像(與圖像A具有相同的分 辨率的、臨時(shí)處理用圖像)。在圖5中表示裝置概要。本實(shí)施例中的圖像生成裝置具備圖像擴(kuò)大部301，對圖 像A進(jìn)行擴(kuò)大(提高分辨率)，產(chǎn)生圖像D ；對應(yīng)點(diǎn)推定部302，對圖像D的各像素位置與圖 像B中的對應(yīng)點(diǎn)的有無、以及對應(yīng)點(diǎn)位置進(jìn)行推定；對應(yīng)圖像設(shè)定部303，在圖像E中的像 素位置中，設(shè)定圖像B中的對應(yīng)位置的圖像信息，其中，圖像E中的像素位置與在對應(yīng)點(diǎn)推 定部302中推定為有對應(yīng)點(diǎn)的、圖像D中的像素位置相同；圖像內(nèi)插部304，根據(jù)在對應(yīng)圖 像設(shè)定部303中設(shè)定的圖像信息，產(chǎn)生圖像E中的像素位置的圖像信息，其中，圖像E中的像素位置與在對應(yīng)點(diǎn)推定部302中推定為沒有對應(yīng)點(diǎn)的、圖像D中的像素位置相同；圖像縮 小部305，對圖像E進(jìn)行縮小(降低分辨率)，產(chǎn)生圖像F ；差分產(chǎn)生部306，在圖像A的各像 素位置中，求取圖像A的圖像信息、與相同像素位置的圖像F的圖像信息的差分；以及圖像 選擇部307，在差分產(chǎn)生部306中求取的各像素位置中的差分小的情況下，在對應(yīng)的圖像C 的各像素位置中設(shè)定圖像E的圖像信息，在差分產(chǎn)生部306中求取的各像素位置中的差分 大的情況下，在對應(yīng)的圖像C的各像素位置中設(shè)定圖像D的圖像信息。在圖像縮小部305中，對像素進(jìn)行間隔剔除(thinning)來生成縮小圖像(即，圖 像F)。在差分產(chǎn)生部306中，在各像素位置產(chǎn)生上述差分。在圖像選擇部307中，預(yù)先設(shè)定差分的閾值，進(jìn)行與在差分產(chǎn)生部306中得到的差 分的比較。以上述為前提，圖像生成裝置以下述方式工作。圖6表示其流程圖。首先，圖像擴(kuò)大部301以上述方式對圖像A進(jìn)行擴(kuò)大來產(chǎn)生圖像D (步驟S30)。然 后，對應(yīng)點(diǎn)推定部302推定圖像D和圖像B的對應(yīng)點(diǎn)的有無、以及位置(步驟S31)。對應(yīng)圖像設(shè)定部303將在對應(yīng)點(diǎn)推定部302中推定為有對應(yīng)點(diǎn)的位置中的圖像B 的圖像信息向圖像E設(shè)定(步驟S32)。圖像內(nèi)插部304針對在對應(yīng)點(diǎn)推定部302中推定為 沒有對應(yīng)點(diǎn)的位置，根據(jù)在對應(yīng)圖像設(shè)定部303中已經(jīng)設(shè)定的圖像信息進(jìn)行內(nèi)插來產(chǎn)生圖 像E的圖像信息(步驟S33)。圖像縮小部305對圖像E進(jìn)行縮小，產(chǎn)生圖像F(步驟S34)。差分產(chǎn)生部306產(chǎn)生 圖像A和圖像F的差分(步驟S35)。在圖像選擇部307中，按照在差分產(chǎn)生部306中得到的差分，針對各像素位置，選 擇圖像E或圖像D來生成圖像C (步驟S36)。再有，在圖像縮小部305中，也可以使用其它方法來產(chǎn)生縮小圖像。此外，在差分產(chǎn)生部306中，也可以產(chǎn)生將對象像素作為中心的塊之間的差分(參 照第一實(shí)施例)。在本實(shí)施例中，在圖像選擇部307中，在差分產(chǎn)生部306中求取的各像素位置中的 差分小的情況下，在對應(yīng)的圖像C的各像素位置中設(shè)定圖像E的圖像信息，在差分產(chǎn)生部 306中求取的各像素位置中的差分大的情況下，在對應(yīng)的圖像C的各像素位置中設(shè)定圖像D 的圖像信息。也可以代替該圖像選擇部307，設(shè)置圖像生成部。在圖7中表示裝置概要。在圖7所示的圖像生成部308中，在差分產(chǎn)生部306中 求取的各像素位置中的差分小的情況下，在對應(yīng)的圖像C的各像素位置中設(shè)定圖像E的圖 像信息，在差分產(chǎn)生部306中求取的各像素位置中的差分大的情況下，在對應(yīng)的圖像C的各 像素位置中設(shè)定對圖像D的圖像信息和圖像E的圖像信息進(jìn)行加權(quán)平均后的值。由此，在差分大的情況下不是使用擴(kuò)大后(高分辨率的)的圖像D，而能夠使用擴(kuò) 大后的圖像D和根據(jù)其它圖像生成的圖像E的加權(quán)平均。本方法在擴(kuò)大后的圖像D的高頻 成分少的情況下是優(yōu)選的。[第四實(shí)施例]接著，作為第四實(shí)施例，表示以下情況下的例子，即，有以其它的攝影機(jī)攝影的相 同分辨率的圖像A和B，根據(jù)圖像A的縮小圖像和圖像B來生成接近于圖像A的圖像C。在這里，表示如下例子，即僅在將生成的圖像信息的縮小圖像和原來的圖像A的縮小圖像的差較小的像素位置，應(yīng)用生成的圖像信息。在本實(shí)施例中，其特征在于對各像素位置中的2 圖像間的差分的閾值也進(jìn)行推定。在圖8中表示裝置概要。本實(shí)施例的圖像生成裝置具備·基準(zhǔn)圖像縮小部412，對圖像A進(jìn)行縮小，產(chǎn)生分辨率小的圖像G ；·圖像擴(kuò)大部401，對圖像G進(jìn)行擴(kuò)大，產(chǎn)生與圖像A、B相同分辨率的圖像D ；·對應(yīng)點(diǎn)推定部402，對圖像D的各像素位置和圖像B中的對應(yīng)點(diǎn)的有無、以及對 應(yīng)點(diǎn)位置進(jìn)行推定；·對應(yīng)圖像設(shè)定部403，在圖像E(與圖像D同尺寸的臨時(shí)處理圖像)中的像素位 置中，設(shè)定圖像B中的對應(yīng)位置的圖像信息，其中，該圖像E中的像素位置與在對應(yīng)點(diǎn)推定 部402中推定為有對應(yīng)點(diǎn)的、圖像D中的像素位置相同；·圖像內(nèi)插部404，根據(jù)在對應(yīng)圖像設(shè)定部403中設(shè)定的圖像信息，產(chǎn)生圖像E中 的像素位置的圖像信息，其中，該圖像E中的像素位置與在對應(yīng)點(diǎn)推定部402中推定為沒有 對應(yīng)點(diǎn)的、圖像D中的像素位置相同；·圖像縮小部405，對圖像E進(jìn)行縮小，產(chǎn)生(與圖像G相同分辨率的)的圖像F; 差分產(chǎn)生部406，在圖像G的各像素位置中，求取圖像G的圖像信息、與相同像素 位置的圖像F的圖像信息的差分；·閾值設(shè)定部410，在預(yù)先設(shè)定的范圍中設(shè)定多個(gè)閾值；·圖像選擇部407，對于在閾值設(shè)定部410中設(shè)定的各閾值，在差分產(chǎn)生部406中 求取的各像素位置中的差分比閾值小的情況下，在對應(yīng)的圖像C的各像素位置中設(shè)定圖像 E的圖像信息，在差分產(chǎn)生部406中求取的各像素位置中的差分比閾值大的情況下，在對應(yīng) 的圖像C的各像素位置中設(shè)定圖像D的圖像信息； 生成差分合計(jì)部409，對在圖像選擇部407中得到的圖像C和圖像A的各像素位 置中的圖像信息的差分的合計(jì)進(jìn)行計(jì)算；以及 閾值決定部411，決定在生成差分合計(jì)部409中得到的差分的合計(jì)變得最小的閾值。在閾值設(shè)定部410中，作為閾值從10到50以10為單位使閾值增加。以上述為前提，圖像生成裝置以下述方式工作。圖9表示其流程圖。首先，基準(zhǔn)圖像縮小部412縮小圖像A來產(chǎn)生分辨率低的圖像G (步驟S40)。圖像擴(kuò)大部401對圖像G進(jìn)行擴(kuò)大，產(chǎn)生分辨率高(與圖像A、B具有相同的分辨 率)的圖像D (步驟S41)。然后，對應(yīng)點(diǎn)推定部402推定圖像D和圖像B的對應(yīng)點(diǎn)的有無、以及位置(步驟 S42)。對應(yīng)圖像設(shè)定部403將在對應(yīng)點(diǎn)推定部402中推定為有對應(yīng)點(diǎn)的位置中的圖像B 的圖像信息向圖像E設(shè)定(步驟S43)。圖像內(nèi)插部404針對在對應(yīng)點(diǎn)推定部402中推定為沒有對應(yīng)點(diǎn)的位置，根據(jù)在對 應(yīng)圖像設(shè)定部403中已經(jīng)設(shè)定的圖像信息進(jìn)行內(nèi)插來產(chǎn)生圖像E的圖像信息(步驟S44)。圖像縮小部405對圖像E進(jìn)行縮小，產(chǎn)生分辨率低的圖像F(步驟S45)。差分產(chǎn)生部406產(chǎn)生圖像G和圖像F的差分(步驟S46)。
接著，在閾值設(shè)定部410中，將閾值設(shè)定為10(步驟S47)。在圖像選擇部407中，對在差分產(chǎn)生部406中得到的差分與閾值進(jìn)行比較，按各像 素位置的每一個(gè)選擇圖像E或圖像D來生成圖像C(步驟S48)。生成差分合計(jì)部409求取圖像C和圖像A的差分的合計(jì)(步驟S49)。
在50之前一邊使閾值以10為單位增加，一邊反復(fù)執(zhí)行以上的閾值設(shè)定部410和 圖像選擇部407和生成差分合計(jì)部409的處理(步驟S50、S51)。接著，閾值決定部411決定在生成差分合計(jì)部409中得到的值變得最小的情況下 的閾值(步驟S52)。在上述結(jié)構(gòu)中，也可以代替圖像選擇部407而使用圖像生成部。在圖10中表示裝 置概要。在圖10所示的圖像生成部408中，在差分產(chǎn)生部406中求取的各像素位置中的差 分小的情況下，在對應(yīng)的圖像C的各像素位置中設(shè)定圖像E的圖像信息，在差分產(chǎn)生部406 中求取的各像素位置中的差分大的情況下，在對應(yīng)的圖像C的各像素位置中設(shè)定將圖像D 的圖像信息和圖像E的圖像信息加權(quán)平均后的值。在以上的實(shí)施例中，說明了針對多個(gè)攝影機(jī)輸入視頻圖像的處理。該方法不僅在 多視點(diǎn)圖像中、也能應(yīng)用于單鏡頭的活動(dòng)圖像。S卩，在活動(dòng)圖像中的各幀的分辨率不同的情況下，對于低分辨率的幀的圖像，能夠 利用其它的高分辨率的幀的圖像，生成高分辨率的圖像。例如，在將低分辨率的幀作為圖像A，將其它的高分辨率的幀作為圖像B，生成高 分辨率的圖像C的處理中能夠應(yīng)用。此外，在本實(shí)施例中，將處理的信號作為Y信號，但其是RGB等的其它的彩色信號 也可。此外，在YUV信號的Y信號的分辨率相同，但UV信號的分辨率不同的情況下也能 應(yīng)用。在該情況下，在圖像擴(kuò)大部中僅擴(kuò)大UV信號，直接復(fù)制Y信號。而且，不利用擴(kuò)大U 或V信號后的信號，而利用Y信號進(jìn)行在對應(yīng)點(diǎn)推定部中的對應(yīng)點(diǎn)推定的處理也可。以上的圖像生成的處理，能夠通過計(jì)算機(jī)和軟件程序來實(shí)現(xiàn)，也能夠?qū)⒃摮绦蛴?錄在計(jì)算機(jī)能夠讀取的記錄介質(zhì)中進(jìn)行提供，或通過網(wǎng)絡(luò)進(jìn)行提供。產(chǎn)業(yè)上的利用可能性根據(jù)本發(fā)明，對以低分辨率攝影的攝影機(jī)位置的圖像信息，能夠利用其它的以高 分辨率攝影的攝影機(jī)位置的圖像信息，生成高分辨率的圖像信息。由此，能夠降低主觀品質(zhì) 的劣化。
權(quán)利要求
一種圖像生成方法，根據(jù)第一圖像A、和比圖像A分辨率高的第二圖像B，生成第三圖像C的圖像信息，其特征在于，執(zhí)行如下步驟圖像擴(kuò)大步驟，對第一圖像A進(jìn)行擴(kuò)大，產(chǎn)生與圖像B具有相同的分辨率的第三圖像C；對應(yīng)點(diǎn)推定步驟，對第三圖像C的各像素位置與第二圖像B中的對應(yīng)點(diǎn)的有無、以及對應(yīng)點(diǎn)位置進(jìn)行推定；以及對應(yīng)圖像設(shè)定步驟，在所述對應(yīng)點(diǎn)推定步驟中推定為有對應(yīng)點(diǎn)的、第三圖像C中的像素位置中，設(shè)定第二圖像B中的對應(yīng)位置的圖像信息。
2.根據(jù)權(quán)利要求1所述的圖像生成方法，其特征在于，還執(zhí)行圖像內(nèi)插步驟，根據(jù)在所述對應(yīng)圖像設(shè)定步驟中設(shè)定的圖像信息進(jìn)行內(nèi)插，產(chǎn)生在所 述對應(yīng)點(diǎn)推定步驟中推定為沒有對應(yīng)點(diǎn)的、第三圖像C中的像素位置的圖像信息。
3.一種圖像生成方法，根據(jù)第一圖像A、和比圖像A分辨率高的第二圖像B，生成第三圖 像C的圖像信息，其特征在于，執(zhí)行如下步驟圖像擴(kuò)大步驟，對第一圖像A進(jìn)行擴(kuò)大，產(chǎn)生與圖像B具有相同分辨率的第四圖像D ；對應(yīng)點(diǎn)推定步驟，對第四圖像D的各像素位置與第二圖像B中的對應(yīng)點(diǎn)的有無、以及對 應(yīng)點(diǎn)位置進(jìn)行推定；對應(yīng)圖像設(shè)定步驟，在第五圖像E中的像素位置中，設(shè)定第二圖像B中的對應(yīng)位置的圖 像信息，其中，該第五圖像E中的像素位置與在所述對應(yīng)點(diǎn)推定步驟中推定為有對應(yīng)點(diǎn)的、 第四圖像D中的像素位置相同；圖像內(nèi)插步驟，根據(jù)在所述對應(yīng)圖像設(shè)定步驟中設(shè)定的圖像信息進(jìn)行內(nèi)插，產(chǎn)生第五 圖像E中的像素位置的圖像信息，其中，該第五圖像E中的像素位置與在所述對應(yīng)點(diǎn)推定步 驟中推定為沒有對應(yīng)點(diǎn)的、第四圖像D中的像素位置相同；圖像縮小步驟，對第五圖像E進(jìn)行縮小，產(chǎn)生與圖像A具有相同分辨率的第六圖像F ；差分產(chǎn)生步驟，在第一圖像A的各像素位置中，求取第一圖像A的圖像信息、和相同像 素位置的第六圖像F的圖像信息的差分；以及圖像信息設(shè)定步驟，在所述差分產(chǎn)生步驟中求取的各像素位置中的差分比閾值小的情 況下，在對應(yīng)的第三圖像C的各像素位置中設(shè)定第五圖像E的圖像信息，在所述差分產(chǎn)生步 驟中求取的各像素位置中的差分比閾值大的情況下，在對應(yīng)的第三圖像C的各像素位置中 設(shè)定基于第四圖像D的圖像信息的圖像信息。
4.根據(jù)權(quán)利要求3所述的圖像生成方法，其特征在于，在所述圖像信息設(shè)定步驟中，在 所述差分產(chǎn)生步驟中求取的各像素位置中的差分比閾值大的情況下，在對應(yīng)的第三圖像C 的各像素位置中設(shè)定第四圖像D的圖像信息。
5.根據(jù)權(quán)利要求3所述的圖像生成方法，其特征在于，在所述圖像信息設(shè)定步驟中，在 所述差分產(chǎn)生步驟中求取的各像素位置中的差分比閾值大的情況下，在對應(yīng)的第三圖像C 的各像素位置中設(shè)定對第四圖像D的圖像信息和第五圖像E的圖像信息進(jìn)行加權(quán)平均后的 值。
6.一種圖像生成方法，根據(jù)具有相同分辨率的第一圖像A和第二圖像B，使用第四 第 七圖像D G生成第三圖像C的圖像信息，其特征在于，執(zhí)行如下步驟基準(zhǔn)圖像縮小步驟，對第一圖像A進(jìn)行縮小來產(chǎn)生分辨率小的第七圖像G ；圖像擴(kuò)大步驟，對第七圖像G進(jìn)行擴(kuò)大，產(chǎn)生與圖像A具有相同分辨率的第四圖像D ；對應(yīng)點(diǎn)推定步驟，對第四圖像D的各像素位置與第二圖像B中的對應(yīng)點(diǎn)的有無、以及對 應(yīng)點(diǎn)位置進(jìn)行推定；對應(yīng)圖像設(shè)定步驟，在第五圖像E中的像素位置中，設(shè)定第二圖像B中的對應(yīng)位置的圖 像信息，其中，該第五圖像E中的像素位置與在所述對應(yīng)點(diǎn)推定步驟中推定為有對應(yīng)點(diǎn)的、 第四圖像D中的像素位置相同；圖像內(nèi)插步驟，根據(jù)在所述對應(yīng)圖像設(shè)定步驟中設(shè)定的圖像信息進(jìn)行內(nèi)插，產(chǎn)生第五 圖像E中的像素位置的圖像信息，其中，該第五圖像E中的像素位置與在所述對應(yīng)點(diǎn)推定步 驟中推定為沒有對應(yīng)點(diǎn)的、第四圖像D中的像素位置相同；圖像縮小步驟，對第五圖像E進(jìn)行縮小，產(chǎn)生與圖像G具有相同分辨率的第六圖像F ； 差分產(chǎn)生步驟，在第七圖像G的各像素位置中，求取第七圖像G的圖像信息、和相同像 素位置的第六圖像F的圖像信息的差分； 閾值設(shè)定步驟，設(shè)定閾值；圖像信息設(shè)定步驟，在所述差分產(chǎn)生步驟中求取的各像素位置中的差分比閾值小的情 況下，在對應(yīng)的第三圖像C的各像素位置中設(shè)定第五圖像E的圖像信息，在所述差分產(chǎn)生步 驟中求取的各像素位置中的差分比閾值大的情況下，在對應(yīng)的第三圖像C的各像素位置中 設(shè)定基于第四圖像D的圖像信息的圖像信息；生成差分合計(jì)步驟，計(jì)算在所述圖像選擇步驟中得到的第三圖像C和第一圖像A的各 像素位置中的圖像信息的差分的合計(jì)；以及閾值決定步驟，一邊將在所述閾值設(shè)定步驟中設(shè)定的閾值在預(yù)先決定的范圍內(nèi)改變， 一邊反復(fù)進(jìn)行所述圖像選擇步驟和所述生成差分合計(jì)步驟，根據(jù)其結(jié)果決定在所述生成差 分合計(jì)步驟中得到的差分的合計(jì)變得最小的閾值。
7.根據(jù)權(quán)利要求6所述的圖像生成方法，其特征在于，在所述圖像信息設(shè)定步驟中，在 所述差分產(chǎn)生步驟中求取的各像素位置中的差分比閾值大的情況下，在對應(yīng)的第三圖像C 的各像素位置中設(shè)定第四圖像D的圖像信息。
8.根據(jù)權(quán)利要求6所述的圖像生成方法，其特征在于，在所述圖像信息設(shè)定步驟中，在 所述差分產(chǎn)生步驟中求取的各像素位置中的差分比閾值大的情況下，在對應(yīng)的第三圖像C 的各像素位置中，設(shè)定對第四圖像D的圖像信息和第五圖像E的圖像信息進(jìn)行加權(quán)平均后 的值。
9.一種圖像生成裝置，根據(jù)第一圖像A、和比圖像A分辨率高的第二圖像B，生成第三圖 像C的圖像信息，其特征在于，具備圖像擴(kuò)大部，對第一圖像A進(jìn)行擴(kuò)大，產(chǎn)生與圖像B具有相同的分辨率的第三圖像C ； 對應(yīng)點(diǎn)推定部，對第三圖像C的各像素位置與第二圖像B中的對應(yīng)點(diǎn)的有無、以及對應(yīng) 點(diǎn)位置進(jìn)行推定；以及對應(yīng)圖像設(shè)定部，在所述對應(yīng)點(diǎn)推定部中推定為有對應(yīng)點(diǎn)的、第三圖像C中的像素位 置中，設(shè)定第二圖像B中的對應(yīng)位置的圖像信息。
10.根據(jù)權(quán)利要求9所述的圖像生成裝置，其特征在于，還具備圖像內(nèi)插部，根據(jù)在所述對應(yīng)圖像設(shè)定部中設(shè)定的圖像信息進(jìn)行內(nèi)插，產(chǎn)生在所述對 應(yīng)點(diǎn)推定部中推定為沒有對應(yīng)點(diǎn)的、第三圖像C中的像素位置的圖像信息。
11.一種圖像生成裝置，根據(jù)第一圖像Α、和比圖像A分辨率高的第二圖像B，生成第三 圖像C的圖像信息，其特征在于，具備圖像擴(kuò)大部，對第一圖像A進(jìn)行擴(kuò)大，產(chǎn)生與圖像B具有相同分辨率的第四圖像D ； 對應(yīng)點(diǎn)推定部，對第四圖像D的各像素位置與第二圖像B中的對應(yīng)點(diǎn)的有無、以及對應(yīng) 點(diǎn)位置進(jìn)行推定；對應(yīng)圖像設(shè)定部，在第五圖像E中的像素位置中，設(shè)定第二圖像B中的對應(yīng)位置的圖像 信息，其中，該第五圖像E中的像素位置與在所述對應(yīng)點(diǎn)推定部中推定為有對應(yīng)點(diǎn)的、第四 圖像D中的像素位置相同；圖像內(nèi)插部，根據(jù)在所述對應(yīng)圖像設(shè)定部中設(shè)定的圖像信息進(jìn)行內(nèi)插，產(chǎn)生第五圖像 E中的像素位置的圖像信息，其中，該第五圖像E中的像素位置與在所述對應(yīng)點(diǎn)推定部中推 定為沒有對應(yīng)點(diǎn)的、第四圖像D中的像素位置相同；圖像縮小部，對第五圖像E進(jìn)行縮小，產(chǎn)生與圖像A具有相同分辨率的第六圖像F ； 差分產(chǎn)生部，在第一圖像A的各像素位置中，求取第一圖像A的圖像信息、和相同像素 位置的第六圖像F的圖像信息的差分；以及圖像信息設(shè)定部，在所述差分產(chǎn)生部中求取的各像素位置中的差分比閾值小的情況 下，在對應(yīng)的第三圖像C的各像素位置中設(shè)定第五圖像E的圖像信息，在所述差分產(chǎn)生部中 求取的各像素位置中的差分比閾值大的情況下，在對應(yīng)的第三圖像C的各像素位置中設(shè)定 基于第四圖像D的圖像信息的圖像信息。
12.根據(jù)權(quán)利要求11所述的圖像生成裝置，其特征在于，在所述圖像信息設(shè)定部中，在 所述差分產(chǎn)生部求取的各像素位置中的差分比閾值大的情況下，在對應(yīng)的第三圖像C的各 像素位置中設(shè)定第四圖像D的圖像信息。
13.根據(jù)權(quán)利要求11所述的圖像生成裝置，其特征在于，在所述圖像信息設(shè)定部中，在 所述差分產(chǎn)生部求取的各像素位置中的差分比閾值大的情況下，在對應(yīng)的第三圖像C的各 像素位置中設(shè)定對第四圖像D的圖像信息和第五圖像E的圖像信息進(jìn)行加權(quán)平均后的值。
14.一種圖像生成裝置，根據(jù)具有相同分辨率的第一圖像A和第二圖像B，使用第四 第七圖像D G生成第三圖像C的圖像信息，其特征在于，具備基準(zhǔn)圖像縮小部，對第一圖像A進(jìn)行縮小來產(chǎn)生分辨率小的第七圖像G ； 圖像擴(kuò)大部，對第七圖像G進(jìn)行擴(kuò)大，產(chǎn)生與圖像A具有相同分辨率的第四圖像D ； 對應(yīng)點(diǎn)推定部，對第四圖像D的各像素位置與第二圖像B中的對應(yīng)點(diǎn)的有無、以及對應(yīng) 點(diǎn)位置進(jìn)行推定；對應(yīng)圖像設(shè)定部，在第五圖像E中的像素位置中，設(shè)定第二圖像B中的對應(yīng)位置的圖像 信息，其中，該第五圖像E中的像素位置與在所述對應(yīng)點(diǎn)推定部中推定為有對應(yīng)點(diǎn)的、第四 圖像D中的像素位置相同；圖像內(nèi)插部，根據(jù)在所述對應(yīng)圖像設(shè)定部中設(shè)定的圖像信息進(jìn)行內(nèi)插，產(chǎn)生第五圖像 E中的像素位置的圖像信息，其中，該第五圖像E中的像素位置與在所述對應(yīng)點(diǎn)推定部中推 定為沒有對應(yīng)點(diǎn)的、第四圖像D中的像素位置相同；圖像縮小部，對第五圖像E進(jìn)行縮小，產(chǎn)生與圖像G具有相同分辨率的第六圖像F ； 差分產(chǎn)生部，在第七圖像G的各像素位置中，求取第七圖像G的圖像信息、和相同像素 位置的第六圖像F的圖像信息的差分；閾值設(shè)定部，設(shè)定閾值；圖像信息設(shè)定部，在所述差分產(chǎn)生部中求取的各像素位置中的差分比閾值小的情況 下，在對應(yīng)的第三圖像C的各像素位置中設(shè)定第五圖像E的圖像信息，在所述差分產(chǎn)生部中 求取的各像素位置中的差分比閾值大的情況下，在對應(yīng)的第三圖像C的各像素位置中設(shè)定 基于第四圖像D的圖像信息的圖像信息；生成差分合計(jì)部，計(jì)算在所述圖像選擇部中得到的第三圖像C和第一圖像A的各像素 位置中的圖像信息的差分的合計(jì)；以及閾值決定部，一邊將在所述閾值設(shè)定部中設(shè)定的閾值在預(yù)先決定的范圍內(nèi)改變，一邊 反復(fù)進(jìn)行利用所述圖像選擇部和所述生成差分合計(jì)部的處理，根據(jù)其結(jié)果決定在所述生成 差分合計(jì)部中得到的差分的合計(jì)變得最小的閾值。
15.根據(jù)權(quán)利要求14所述的圖像生成裝置，其特征在于，在所述圖像信息設(shè)定部中，在 所述差分產(chǎn)生部求取的各像素位置中的差分比閾值大的情況下，在對應(yīng)的第三圖像C的各 像素位置中，設(shè)定第四圖像D的圖像信息。
16.根據(jù)權(quán)利要求14所述的圖像生成裝置，其特征在于，在所述圖像信息設(shè)定部中，在 所述差分產(chǎn)生部求取的各像素位置中的差分比閾值大的情況下，在對應(yīng)的第三圖像C的各 像素位置中，設(shè)定對第四圖像D的圖像信息和第五圖像E的圖像信息進(jìn)行加權(quán)平均后的值。
17.一種圖像生成程序，用于使計(jì)算機(jī)執(zhí)行權(quán)利要求1、3、和6的任一項(xiàng)所述的圖像生 成方法。
18.一種計(jì)算機(jī)能夠讀取的記錄介質(zhì)，記錄有圖像生成程序，該圖像生成程序用于使計(jì) 算機(jī)執(zhí)行權(quán)利要求1、3、和6的任一項(xiàng)所述的圖像生成方法。
全文摘要
一種圖像生成方法，根據(jù)圖像A、和比圖像A分辨率高的圖像B，生成圖像C的圖像信息，對圖像A進(jìn)行擴(kuò)大，產(chǎn)生與圖像B具有相同的分辨率的圖像C，對圖像C的各像素位置與圖像B中的對應(yīng)點(diǎn)的有無、以及對應(yīng)點(diǎn)位置進(jìn)行推定，在推定為有對應(yīng)點(diǎn)的、圖像C中的像素位置中，設(shè)定圖像B中的對應(yīng)位置的圖像信息。
文檔編號G06T3/40GK101821769SQ200880111538
公開日2010年9月1日 申請日期2008年10月9日 優(yōu)先權(quán)日2007年10月15日
發(fā)明者上倉一人, 八島由幸, 志水信哉, 木全英明 申請人:日本電信電話株式會(huì)社