專利名稱：圖像生成裝置及圖像生成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及生成圖像的裝置和方法。
背景技術(shù)：
數(shù)字靜物照相機(jī)(digital still camera)和數(shù)字?jǐn)z像機(jī)已經(jīng)普及,將所拍攝的靜圖像和動(dòng)圖像保存在計(jì)算機(jī)中進(jìn)行閱覽、加工，或?qū)⑵滹@示于游戲機(jī)或電視(TV)系統(tǒng)的畫面上的機(jī)會(huì)正在增加。此外，將所拍攝的動(dòng)圖像上傳到因特網(wǎng)上的投稿網(wǎng)站，與其他用戶共享動(dòng)圖像的情況也很流行。數(shù)碼照相機(jī)中還有能夠拍攝全景圖像的照相機(jī)，其已能夠簡(jiǎn)單地拍攝視場(chǎng)角大的全景圖像。此外，通過一邊改變拍攝方向，一邊粘貼數(shù)碼照相機(jī)所拍攝的多個(gè)圖像來生成全景圖像的軟件工具也已經(jīng)常被利用。存在接受用戶所拍攝的這樣的全景圖像的投稿，并將其在因特網(wǎng)上公開的稱作360cities的網(wǎng)站(http;//www.360cities.net),在該網(wǎng)站上，能夠閱覽全世界的用戶所投稿的全景圖像。

發(fā)明內(nèi)容
〔發(fā)明所要解決的課題〕由于全景圖像是全天球圖像，在戶外拍攝全景圖像時(shí)會(huì)將太陽或街燈也拍攝進(jìn)來，故圖像的明亮部分和較暗部分的差別較大、動(dòng)態(tài)范圍會(huì)非常大。因此，若不針對(duì)特定的對(duì)象物調(diào)整曝光地拍攝全景圖像，則明亮的部分有時(shí)會(huì)產(chǎn)生“曝光過度(blown outhighlights)”,較暗的部分有時(shí)會(huì)產(chǎn)生“曝光不足(blocked up shadows)”。所謂“曝光過度”，是指強(qiáng)烈的光線照射到的部分變?yōu)槿?；所謂“曝光不足”，是指光線幾乎沒有照射到的較暗的部分變?yōu)槿?。在通常的照片拍攝中，為不產(chǎn)生曝光過度或曝光不足而在對(duì)被攝物體進(jìn)行適當(dāng)曝光的基礎(chǔ)上進(jìn)行拍攝，或者進(jìn)行調(diào)整使得視界內(nèi)不進(jìn)入強(qiáng)烈的光線，但在拍攝全方位的全景圖像的拍攝中，無法根據(jù)特定的被攝物體來決定進(jìn)行適當(dāng)曝光。因此，生成全景圖像時(shí)，例如需要采用高動(dòng)態(tài)范圍合成方法，改變曝光地拍攝多張低動(dòng)態(tài)范圍照片，通過合成它們而生成沒有曝光過度、曝光不足的高動(dòng)態(tài)范圍的圖像。但是，存在高動(dòng)態(tài)范圍合成需要昂貴的照相機(jī)或耗費(fèi)拍攝時(shí)間、處理時(shí)間這樣的問題。本發(fā)明是鑒于這樣的課題而研發(fā)的，其目的在于提供一種能夠高效地生成沒有曝光過度、曝光不足的圖像的技術(shù)?！灿糜诮鉀Q課題的手段〕為解決前述課題，本發(fā)明的一個(gè)方案的圖像生成裝置包括:存儲(chǔ)部，準(zhǔn)備并保持多個(gè)曝光不同的低動(dòng)態(tài)范圍圖像集合，該低動(dòng)態(tài)范圍圖像集合包含搖擺角或傾斜角不同的多個(gè)低動(dòng)態(tài)范圍分割圖像；高動(dòng)態(tài)范圍合成部，通過合成曝光不同的多個(gè)低動(dòng)態(tài)范圍分割圖像，來生成包含搖擺角或傾斜角不同的多個(gè)高動(dòng)態(tài)范圍分割圖像的高動(dòng)態(tài)范圍圖像集合；輸出圖像合成部，拼接相鄰的高動(dòng)態(tài)范圍分割圖像，來生成高動(dòng)態(tài)范圍輸出圖像。本發(fā)明的另一個(gè)方案是圖像生成方法。該方法包括:處理器從存儲(chǔ)設(shè)備讀出多個(gè)低動(dòng)態(tài)范圍圖像集合的步驟，該存儲(chǔ)設(shè)備中準(zhǔn)備并保持多個(gè)曝光不同的低動(dòng)態(tài)范圍圖像集合，該低動(dòng)態(tài)范圍圖像集合包含搖擺角或傾斜角不同的多個(gè)低動(dòng)態(tài)范圍分割圖像；處理器通過合成曝光不同的多個(gè)低動(dòng)態(tài)范圍分割圖像，來生成包含搖擺角或傾斜角不同的多個(gè)高動(dòng)態(tài)范圍分割圖像的高動(dòng)態(tài)范圍圖像集合的步驟；處理器拼接相鄰的高動(dòng)態(tài)范圍分割圖像，來生成高動(dòng)態(tài)范圍輸出圖像的步驟。本發(fā)明的另一個(gè)方案是程序。該程序使計(jì)算機(jī)實(shí)現(xiàn)如下功能:處理器從存儲(chǔ)設(shè)備讀出多個(gè)低動(dòng)態(tài)范圍圖像集合的功能，該存儲(chǔ)設(shè)備中準(zhǔn)備并保持多個(gè)曝光不同的低動(dòng)態(tài)范圍圖像集合，該低動(dòng)態(tài)范圍圖像集合包含搖擺角或傾斜角不同的多個(gè)低動(dòng)態(tài)范圍分割圖像；通過合成曝光不同的多個(gè)低動(dòng)態(tài)范圍分割圖像，來生成包含搖擺角或傾斜角不同的多個(gè)高動(dòng)態(tài)范圍分割圖像的高動(dòng)態(tài)范圍圖像集合的功能；利用色調(diào)映射來壓縮搖擺角或傾斜角不同的多個(gè)高動(dòng)態(tài)范圍分割圖像的動(dòng)態(tài)范圍，由此生成搖擺角或傾斜角不同的多個(gè)被進(jìn)行了動(dòng)態(tài)范圍壓縮的分割圖像的功能；在生成高動(dòng)態(tài)范圍輸出圖像時(shí)，拼接相鄰的高動(dòng)態(tài)范圍分割圖像，來生成高動(dòng)態(tài)范圍輸出圖像，在生成低動(dòng)態(tài)范圍輸出圖像時(shí)，拼接通過色調(diào)映射而生成的、搖擺角或傾斜角不同的多個(gè)被進(jìn)行了動(dòng)態(tài)范圍壓縮的分割圖像內(nèi)的、相鄰的分割圖像，來生成低動(dòng)態(tài)范圍輸出圖像的功能。此外，將以上構(gòu)成要素的任意組合、本發(fā)明的表現(xiàn)形式在方法、裝置、系統(tǒng)、計(jì)算機(jī)程序等間變換后的實(shí)施方式，作為本發(fā)明的方案也是有效的?！舶l(fā)明效果〕通過本發(fā)明，能夠高效地生成沒有曝光過度、曝光不足的圖像。


圖1是實(shí)施方式的全景圖像顯示裝置的構(gòu)成圖。圖2是作為圖1的全景圖像顯示裝置所連接的輸入設(shè)備的一個(gè)例子的控制器的構(gòu)成圖。圖3的(a) (d)是說明用于拍攝全景圖像的全方位拍攝系統(tǒng)的機(jī)構(gòu)和拍攝方向的圖。圖4的(a)是說明照相機(jī)的方位角Θ的圖，圖4的(b)是說明照相機(jī)的仰角Φ的圖。圖5的(a) (C)是說明照相機(jī)的初始位置在方位角Θ的方向上時(shí)拍攝的全景圖像的圖。圖6的(a) (C)是說明在照相機(jī)的仰角Φ = 60°時(shí)拍攝的全景圖像的圖。圖7A是說明拼接多個(gè)圖像來制作全景圖像的方法的圖。圖7B是說明拼接多個(gè)圖像來制作全景圖像的方法的圖。圖8是說明圖1的全景圖像顯示裝置的全景圖像生成步驟的流程圖。圖9的(a)、(b)是表示在2個(gè)相鄰的分割圖像之間檢測(cè)出來的控制點(diǎn)的圖。圖10是表示基于控制點(diǎn)對(duì)齊并合成2個(gè)相鄰的分割圖像的情況的圖。圖11的(a)、(b)是說明使全景圖像的兩端重復(fù)的擴(kuò)展全景圖像的圖。
圖12是說明基于低動(dòng)態(tài)范圍分割圖像來生成高動(dòng)態(tài)范圍全景圖像的以往方法的圖。圖13是說明基于低動(dòng)態(tài)范圍分割圖像來生成高動(dòng)態(tài)范圍全景圖像的本實(shí)施方式的方法的圖。圖14是說明基于低動(dòng)態(tài)范圍分割圖像來生成低動(dòng)態(tài)范圍全景圖像的本實(shí)施方式的方法的圖。
具體實(shí)施例方式對(duì)本發(fā)明的實(shí)施方式的概要進(jìn)行說明。在本實(shí)施方式中，針對(duì)曝光不同的低動(dòng)態(tài)范圍分割圖像進(jìn)行高動(dòng)態(tài)范圍合成，先生成高動(dòng)態(tài)范圍分割圖像，再拼接分割圖像來生成全景圖像。圖1是實(shí)施方式的全景圖像顯示裝置100的構(gòu)成圖。作為ー個(gè)例子，圖1所示的全景圖像顯示裝置100的功能結(jié)構(gòu)能夠通過對(duì)個(gè)人計(jì)算機(jī)、游戲機(jī)、便攜設(shè)備、便攜式終端等安裝硬件、軟件或其組合來構(gòu)成。這些功能結(jié)構(gòu)的一部分被安裝于服務(wù)器，一部分被安裝于客戶端，全景圖像顯示裝置100可以介由網(wǎng)絡(luò)而作為服務(wù)器-客戶端系統(tǒng)來實(shí)現(xiàn)。實(shí)施方式的全景圖像生成裝置由以下部分構(gòu)成:全景圖像顯示裝置100的HDR合成部20、色調(diào)映射(Tone Mapping)部21、控制點(diǎn)檢測(cè)部22、全景圖像合成部23、圖像編碼部25、及LDR圖像數(shù)據(jù)存儲(chǔ)部26。全景圖像生成裝置的這些功能構(gòu)成可以被安裝于全景圖像顯示裝置100之外的其它計(jì)算機(jī)、游戲機(jī)、便攜設(shè)備、便攜式終端中，可以通過網(wǎng)絡(luò)或連接纜線等與全景圖像顯示裝置100連接。此外，全景圖像生成裝置的功能構(gòu)成還可以使用數(shù)碼照相機(jī)的CPU、存儲(chǔ)器來實(shí)現(xiàn)。LDR圖像數(shù)據(jù)存儲(chǔ)部26保持包含將照相機(jī)搖擺或傾斜地拍攝的多個(gè)低動(dòng)態(tài)范圍(LDR ；low dynamic range)分割圖像的LDR圖像集合。LDR圖像數(shù)據(jù)存儲(chǔ)部26保持有曝光不同的多個(gè)LDR圖像集合。若拼接搖擺角和傾斜角不同的分割圖像，則會(huì)得到全景圖像，為使相當(dāng)于相鄰的分割圖像的連接處的區(qū)域容易合成，重復(fù)地進(jìn)行拍攝。LDR圖像集合也可以是使用與應(yīng)進(jìn)行拍攝的搖擺角或傾斜角對(duì)應(yīng)的多個(gè)照相機(jī)來拍攝的。在此，不論是將一臺(tái)照相機(jī)搖擺或傾斜而拍攝出來的分割圖像，還是使用與應(yīng)進(jìn)行拍攝的搖擺角或傾斜角對(duì)應(yīng)的多個(gè)照相機(jī)拍攝出來的分割圖像，都簡(jiǎn)單稱作“搖擺角或傾斜角不同的分割圖像”。HDR合成部20從LDR圖像數(shù)據(jù)存儲(chǔ)部26讀出曝光不同的多個(gè)LDR圖像集合，拍攝分割圖像時(shí)的搖擺角及傾斜角的各個(gè)組合，合成曝光不同的多個(gè)低動(dòng)態(tài)范圍分割圖像，由此生成搖擺角或傾斜角不同的多個(gè)高動(dòng)態(tài)范圍(HDR ;high dynamic range)分割圖像。色調(diào)映射部21是在生成低動(dòng)態(tài)范圍全景圖像時(shí)進(jìn)行動(dòng)作的結(jié)構(gòu)，在生成高動(dòng)態(tài)范圍全景圖像時(shí)不動(dòng)作。首先，說明生成高動(dòng)態(tài)范圍全景圖像的情況。HDR合成部20將所生成的搖擺角或傾斜角不同的多個(gè)高動(dòng)態(tài)范圍分割圖像提供給控制點(diǎn)檢測(cè)部22?？刂泣c(diǎn)檢測(cè)部22通過在搖擺角或傾斜角不同的多個(gè)高動(dòng)態(tài)范圍分割圖像中的相鄰的分割圖像之間進(jìn)行特征點(diǎn)抽取，來檢測(cè)用于使相鄰的高動(dòng)態(tài)范圍分割圖像建立對(duì)應(yīng)的控制點(diǎn)。關(guān)于特征點(diǎn)抽取處理，能夠使用圖像匹配中所使用的公知的技木。特征點(diǎn)抽取處理結(jié)束后，從所抽取的特征點(diǎn)中選擇適合于使相鄰的分割圖像建立對(duì)應(yīng)的控制點(diǎn)。特征點(diǎn)被抽取多個(gè)，但作為控制點(diǎn)，優(yōu)選不偏向地分散于相鄰的分割圖像的連接處區(qū)域整體。若控制點(diǎn)分散在連接處區(qū)域整體中，則能夠使相鄰的分割圖像高精度地對(duì)齊。全景圖像合成部23基于所檢測(cè)出的控制點(diǎn)來調(diào)整相鄰的高動(dòng)態(tài)范圍分割圖像之間的對(duì)齊并合成它們，由此生成高動(dòng)態(tài)范圍全景圖像。具體來講，使分割圖像旋轉(zhuǎn)地合成，以使得在相鄰的分割圖像之間對(duì)應(yīng)的控制點(diǎn)盡可能地一致，換言之，使得相鄰的分割圖像之間的對(duì)應(yīng)的控制點(diǎn)的偏差總和最小。接著，說明生成低動(dòng)態(tài)范圍全景圖像的情況。在生成低動(dòng)態(tài) 范圍全景圖像時(shí)，色調(diào)映射部21進(jìn)行動(dòng)作。HDR合成部20將所生成的搖擺角或傾斜角不同的多個(gè)高動(dòng)態(tài)范圍分割圖像提供給色調(diào)映射部21。色調(diào)映射部21利用色調(diào)映射來壓縮搖擺角或傾斜角不同的多個(gè)高動(dòng)態(tài)范圍分割圖像的動(dòng)態(tài)范圍，由此生成搖擺角或傾斜角不同的多個(gè)被進(jìn)行了動(dòng)態(tài)范圍壓縮的多個(gè)分割圖像?？刂泣c(diǎn)檢測(cè)部22通過在搖擺角或傾斜角不同的多個(gè)被進(jìn)行了動(dòng)態(tài)范圍壓縮的多個(gè)分割圖像中的相鄰的分割圖像之間進(jìn)行特征點(diǎn)抽取，來檢測(cè)用于使相鄰的被進(jìn)行了動(dòng)態(tài)范圍壓縮的分割圖像建立對(duì)應(yīng)的控制點(diǎn)。全景圖像合成部23基于所檢測(cè)出的控制點(diǎn)來調(diào)整相鄰的被進(jìn)行了動(dòng)態(tài)范圍壓縮的分割圖像的對(duì)齊并合成它們，由此生成低動(dòng)態(tài)范圍全景圖像。圖像編碼部25對(duì)由全景圖像合成部23合成的高動(dòng)態(tài)范圍或低動(dòng)態(tài)范圍的全景圖像進(jìn)行編碼。此時(shí)，對(duì)在全景圖像的左端附加了右端的區(qū)域的一部分、在右端附加了左端的區(qū)域的一部分的擴(kuò)展全景圖像進(jìn)行壓縮編碼。當(dāng)全景圖像是動(dòng)圖像吋，圖像編碼部25按宏塊(Macro block)単位對(duì)擴(kuò)展全景圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)和壓縮編碼。圖像編碼部25將被編碼后的全景圖像存儲(chǔ)于全景圖像 附加數(shù)據(jù)存儲(chǔ)部24中。全景圖像 附加數(shù)據(jù)存儲(chǔ)部24保持將與拍攝地點(diǎn)相關(guān)的信息和與拍攝方位相關(guān)的信息建立了關(guān)聯(lián)的全景圖像。與拍攝地點(diǎn)、拍攝方位相關(guān)的信息等附加數(shù)據(jù)可以直接附加于全景圖像的數(shù)據(jù)文件中，也可以將附加數(shù)據(jù)作為不同于全景圖像的文件來管理。與拍攝地點(diǎn)相關(guān)的信息例如包含由GPS (Global Positioning System)給出的諱度、經(jīng)度信息。與拍攝方位相關(guān)的信息例如包含從方位傳感器等得到的全景圖像的中心點(diǎn)的方位角的信息，還可以包含拍攝時(shí)的照相機(jī)的仰角和滾動(dòng)角的信息。作為與拍攝方位相關(guān)的信息，若給出全景圖像的中心點(diǎn)的方位角，則能夠基于將照相機(jī)的鏡頭向左右方向搖擺的角度來計(jì)算并求出全景圖像的任意點(diǎn)的方位?？梢詫⒒谌皥D像的中心點(diǎn)的方位角和搖擺(pan)角計(jì)算出來的處于全景圖像的正北、正南、正東、正西方位的像素的坐標(biāo)值作為與拍攝方位相關(guān)的信息，附加于全景圖像。全景圖像取得部10從全景圖像 附加數(shù)據(jù)存儲(chǔ)部24取得顯示對(duì)象全景圖像。顯示對(duì)象全景圖像例如通過用戶在地圖等中指定拍攝地點(diǎn)來確定。圖像解碼部12解碼全景圖像取得部10所取得的擴(kuò)展全景圖像，修剪擴(kuò)展全景圖像的兩端的重復(fù)的區(qū)域，將再現(xiàn)出來的全景圖像提供給映射處理部14。當(dāng)由全景圖像取得部10取得的擴(kuò)展全景圖像是已通過運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)而被編碼了的動(dòng)圖像吋，圖像解碼部12解碼動(dòng)圖像，修剪兩端的重復(fù)的區(qū)域，將再現(xiàn)出來的動(dòng)圖像的幀提供給映射處理部14。映射處理部14進(jìn)行將全景圖像作為紋理而映射到三維全景空間的處理。
在全天球全景圖像的情況下，假設(shè)球作為三維全景空間，通過球面映射，將全景圖像紋理映射于球面?；蛘撸梢约僭O(shè)立方體作為三維全景空間，通過立方體映射，將全景圖像紋理映射于立方體表面。此外，若全景圖像是不含傾斜(tilt)方向的成分、僅在搖擺方向延展的圖像，則可以假設(shè)圓柱體作為三維全景空間，將全景圖像紋理映射于圓柱體面。全景圖像是不含搖擺方向的成分、僅在傾斜方向延展的圖像的情況也是一祥。三維圖像生成部16生成在所指定的視線方向上觀看被映射處理部14映射了全景圖像的三維全景空間內(nèi)時(shí)的三維全景圖像。若三維全景空間是球，則視點(diǎn)被置于球的中心，若三維全景空間是立方體，則視點(diǎn)被置于立方體內(nèi)部的中心，若三維全景空間是圓柱體，則視點(diǎn)被置于圓柱體的中心軸上。視點(diǎn)是拍攝顯示對(duì)象全景圖像的地點(diǎn)，而視線方向是從該拍攝地點(diǎn)觀看周圍的方向，以方位角和仰角來確定。三維圖像生成部16生成按方位角和仰角所確定的視線方向觀看三維全景空間時(shí)的三維圖像。顯示控制部18使所生成的三維全景圖像顯示于顯示器裝置的畫面中。用戶接ロ部40是能夠由用戶使用輸入設(shè)備針對(duì)顯示器的畫面所顯示的圖形進(jìn)行操作的圖形用戶接ロ。用戶接ロ部40從游戲機(jī)的控制器、鼠標(biāo)、鍵盤等輸入設(shè)備接受用戶針對(duì)畫面所顯示的地圖或三維全景圖像的指示。圖2表示作為輸入設(shè)備的一個(gè)例子的控制器102，對(duì)于其詳細(xì)的構(gòu)成會(huì)在之后敘述。用戶接ロ部40指示全景圖像取得部10從全景圖像 附加數(shù)據(jù)存儲(chǔ)部24取得被指定的全景圖像。用戶通過操作例如控制器102的模擬搖桿118或方向鍵群116等，能夠輸入變更觀看三維全景空間的視線方向的指示。用戶接ロ部40的視線方向設(shè)定部32將用戶所指示的視線方向提供給三維圖像生成部16。三維圖像生成部16生成從被指定的視線方向觀看三維全景空間時(shí)的圖像 。視場(chǎng)角設(shè)定部31設(shè)定在用戶針對(duì)所顯示的全景圖像進(jìn)行了變倍操作時(shí)的視場(chǎng)角，向全景圖像取得部10和三維圖像生成部16提供所設(shè)定的視場(chǎng)角的信息。當(dāng)視場(chǎng)角不同的全景圖像已被存儲(chǔ)于全景圖像 附加數(shù)據(jù)存儲(chǔ)部24時(shí)，全景圖像取得部10讀出距所設(shè)定的視場(chǎng)角最近的視場(chǎng)角的全景圖像，切換顯示對(duì)象全景圖像。三維圖像生成部16通過根據(jù)所設(shè)定的視場(chǎng)角放大或縮小三維全景圖像，來實(shí)現(xiàn)變倍放大、變倍縮小的視覺效果。全景圖像中被賦予有與拍攝高度相關(guān)的信息，全景圖像 附加數(shù)據(jù)存儲(chǔ)部24可以保持以不同的高度針對(duì)同一拍攝位置拍攝的全景圖像。此時(shí)，用戶通過操作例如處于控制器102的殼體前面左側(cè)的L1/L2按鈕161、162，能夠輸入變更高度的指示。通過按壓LI按鈕161，能夠給與増加高度的指示，通過按壓L2按鈕162，能夠給與降低高度的指示。顯示控制部18例如可以通過在畫面的上部、下部顯示小箭頭來將針對(duì)當(dāng)前正顯示的全景圖像有以不同的高度在同一拍攝地點(diǎn)拍攝的全景圖像這一事情通知給用戶。若畫面的上部有向上的箭頭，則表不有拍攝聞度比當(dāng)如的聞的圖像，若畫面的下部有向下的箭頭，則表示有拍攝高度比當(dāng)前的低的圖像。用戶接ロ部40的高度設(shè)定部34接收到用戶的變更高度的指示后，指示全景圖像取得部10從全景圖像 附加數(shù)據(jù)存儲(chǔ)部24取得拍攝位置相同的、與被指定的高度對(duì)應(yīng)的全景圖像。全景圖像取得部10在LI按鈕161被按壓的情況下，取得拍攝高度比當(dāng)前正顯示的全景圖像高的全景圖像，在L2按鈕162被按壓的情況下，取得拍攝高度更低的全景圖像。
顯示控制部18在切換到拍攝高度不同的全景圖像進(jìn)行顯示時(shí)，例如為給與用戶仿佛在升降電梯中升降那樣的感覺，可以對(duì)圖像施以特別的效果。例如，當(dāng)切換到高度更高的全景圖像時(shí)，將當(dāng)前正顯示的全景圖像向下滾動(dòng)、使高度更高的全景圖像從上方降下來地進(jìn)行顯示，由此，用戶能夠有仿佛上了樓那樣的感覺。全景圖像中被賦予有與拍攝日期時(shí)間相關(guān)的信息，全景圖像 附加數(shù)據(jù)存儲(chǔ)部24可以保持拍攝位置相同而拍攝日期時(shí)間不同的全景圖像。此時(shí)，用戶例如通過操作處于控制器102的殼體前面右側(cè)的R1/R2按鈕151、152，能夠輸入變更拍攝日期時(shí)間的指示。通過按壓Rl按鈕151，能夠給與移換到較晚的日期時(shí)間的指示，通過按壓R2按鈕152，能夠給與移換到較早的日期時(shí)間的指示。顯示控制部18可以將針對(duì)當(dāng)前正顯示的全景圖像有在不同的日期時(shí)間拍攝的全景圖像這ー情況例如通過在畫面的角落顯示時(shí)鐘或日歷的圖標(biāo)來通知給用戶。當(dāng)存在早晨、中午、夜晚等時(shí)間帶不同的全景圖像時(shí)，顯示時(shí)鐘圖標(biāo)，當(dāng)存在春季、夏季、秋季、冬季等拍攝季節(jié)不同的全景圖像時(shí)，顯示日歷圖標(biāo)。當(dāng)用戶接ロ部40的日期時(shí)間設(shè)定部36從用戶接收到變更日期時(shí)間的指示時(shí)，指示全景圖像取得部10從全景圖像 附加數(shù)據(jù)存儲(chǔ)部24取得拍攝位置相同的、與被指定的日期時(shí)間對(duì)應(yīng)的全景圖像。全景圖像取得部10在Rl按鈕151被按壓了的情況下，取得拍攝日期時(shí)間比當(dāng)前正顯示的全景圖像晚的全景圖像，在R2按鈕152被按壓了的情況下，取得拍攝日期時(shí)間更早的全景圖像。由此，例如即使是同一拍攝地點(diǎn)，也能夠從在早晨的時(shí)間帶拍攝的全景圖像切換為在夜晚時(shí)間帶拍攝的全景圖像，或從春季所拍攝的全景圖像切換到秋季所拍攝的全景圖像等，切換到拍攝時(shí)間帶、拍攝季節(jié)等不同的全景圖像。顯示控制部18在切換全景圖像吋，可以對(duì)圖像施以淡入淡出等效果。視點(diǎn)位置設(shè)定部30將全景圖像的拍攝地點(diǎn)設(shè)定于視點(diǎn)位置，將視點(diǎn)位置通知給三維圖像生成部16。視線方向設(shè)定部32將被指定的視線方向提供給三維圖像生成部16。圖2是作為圖1的全景圖像顯示裝置100所連接的輸入設(shè)備的ー個(gè)例子的控制器102的構(gòu)成圖。全景圖像顯示裝置100例如可以是游戲機(jī)?？刂破?02具有用于進(jìn)行對(duì)全景圖像顯示裝置100的操作輸入的多個(gè)按鈕和鍵。用戶操作控制器102的按鈕、鍵時(shí)，該操作輸入被通過無線或有線發(fā)送給全景圖像顯示裝置 100?？刂破?02的殼體上面122設(shè)有方向鍵群116、模擬搖桿118、操作按鈕群120。方向鍵群116包含“上”、“下”、“左”、“右”方向指示鍵。操作按鈕群120包含〇按鈕124、X按鈕126、□按鈕128、及A按鈕130。用戶以左手握持左側(cè)握持部134b，以右手握持右側(cè)握持部134a，來操作殼體上面122上的方向鍵群116、模擬搖桿118、及操作按鈕群120。此外，控制器102的殼體前面設(shè)有右側(cè)操作部150和左側(cè)操作部160。右側(cè)操作部150包含Rl按鈕151和R2按鈕152，左側(cè)操作部160包含LI按鈕161和L2按鈕162。用戶通過操作方向鍵群116，能夠使畫面上所顯示的指針向上下左右各方向移動(dòng)。例如，選擇全景圖像內(nèi)所顯示的多個(gè)標(biāo)識(shí)器的其中ー個(gè)時(shí)，能夠操作方向鍵群116而在畫面上的多個(gè)標(biāo)識(shí)器之間移動(dòng)。用戶在指針已到達(dá)所希望的標(biāo)識(shí)器上時(shí)，通過按壓〇按鈕124，能夠選擇該標(biāo)識(shí)器。操作按鈕群120的各按鈕可以被全景圖像顯示應(yīng)用程序分派各自不同的功能。例如，A按鈕130被分派指定菜單的顯示的功能、X按鈕126被分派指定取消所選擇的項(xiàng)目等的功能，〇按鈕124被分派指定所選擇的項(xiàng)目的決定等的功能，□按鈕128被分派指定目錄等的顯示/非顯示的功能。模擬搖桿118具備在由用戶進(jìn)行了傾倒操作時(shí)，輸出模擬值的裝置。控制器102將與傾倒模擬搖桿118時(shí)的方向和量相應(yīng)的模擬輸出信號(hào)傳送到全景圖像顯示裝置100。例如，用戶通過向所希望的方向傾倒模擬搖桿118，能夠在顯示器所顯示的三維全景圖像內(nèi)使視點(diǎn)向所希望的方向移動(dòng)。殼體上面122還設(shè)有帶LED的按鈕136、選擇按鈕140、開始按鈕138。帶LED的按鈕136例如作為用于使菜單畫面顯示于顯示器的按鈕被使用。開始按鈕138是用于用戶指示全景圖像顯示應(yīng)用程序的起動(dòng)、全景圖像的再現(xiàn)開始、暫停等的按鈕。選擇按鈕140是用于用戶指示選擇顯示器所顯示的菜單顯示等的按鈕。圖3的(a) (d)是說明用于拍攝全景圖像的全方位拍攝系統(tǒng)230的機(jī)構(gòu)和拍攝方向的圖。如圖3的(d)所示的那樣，在全方位拍攝系統(tǒng)230中，照相機(jī)200被固定于操作盤210，通過使操作盤210圍繞Z軸轉(zhuǎn)動(dòng)，能夠改變照相機(jī)的搖擺角，通過使操作盤210圍繞X軸轉(zhuǎn)動(dòng)，能夠改變照相機(jī)的傾斜角，通過使操作盤210圍繞Y軸方向轉(zhuǎn)動(dòng)，能夠改變照相機(jī)的滾動(dòng)角。在此，Z軸是鉛直軸(重力方向軸)。圖3的(a)是設(shè)置于操作盤210上的照相機(jī)200的俯視圖，將操作盤的初始位置(Y軸方向)定為搖擺 角0°，能夠圍繞Z軸在ー 180° + 180°的范圍內(nèi)改變搖擺角。圖3的(b)是設(shè)置在操作盤210上的照相機(jī)200的主視圖，將操作盤210被水平放置的狀態(tài)定為滾動(dòng)角0°，能夠圍繞Y軸在ー 180° + 180°的范圍內(nèi)改變滾動(dòng)角。圖3的(C)是設(shè)置在操作盤210上的照相機(jī)200的側(cè)視圖，將操作盤210被水平放置的狀態(tài)定為傾斜角0°，能夠圍繞X軸在ー 90° +90°的范圍內(nèi)改變傾斜角。為將與拍攝方位相關(guān)的信息賦予給由圖3的(d)的全方位拍攝系統(tǒng)230拍攝的全景圖像，需要預(yù)先記錄照相機(jī)200在拍攝時(shí)朝向哪個(gè)方位。為此，全方位拍攝系統(tǒng)230具備用于測(cè)量方位的方位傳感器和用于測(cè)量?jī)A斜角的加速度傳感器等。此外，為測(cè)量拍攝位置和拍攝時(shí)間，還具備GPS傳感器等。圖4的(a)是說明照相機(jī)200的方位角0的圖，圖4的(b)是說明照相機(jī)200的仰角小的圖。圖4的(a)是照相機(jī)200的俯視圖，照相機(jī)200在拍攝的初始位置時(shí)朝向從正北向東偏離了方位角9的角度的方向220，該方向相當(dāng)于搖擺角0°。即，搖擺角的基準(zhǔn)方向220的方位角是0。拍攝全景圖像時(shí)，ー邊相對(duì)于該方位角9的基準(zhǔn)方向220在一180° + 180°的范圍內(nèi)改變搖擺角，ー邊全景拍攝被攝物體。圖4的(b)是照相機(jī)200的側(cè)視圖，仰角小是使照相機(jī)200繞X軸轉(zhuǎn)動(dòng)了時(shí)，相對(duì)于傾斜0°的方向、即Y軸方向，將上方向定義為正的角度。通常，由于將照相機(jī)200設(shè)定在水平位置上來拍攝，故仰角￠=0°，但在拍攝全天球的全景圖像時(shí)，需要使照相機(jī)傾斜，改變仰角小來拍攝被攝物體。
圖5的(a) (c)是說明照相機(jī)200的初始位置處于方位角0的方向時(shí)所拍攝的全景圖像的圖。如圖5的(a)的俯視圖所示的那樣，在初始位置下，照相機(jī)200朝向方位角0的方向220，如圖5的(b)的側(cè)視圖所示的那樣，照相機(jī)200的仰角小=0°。保持仰角小=0°，一邊使照相機(jī)200的搖擺角相對(duì)于基準(zhǔn)方向220在一 180°至+ 180°的范圍內(nèi)變化，一邊拍攝仰角￠=0°時(shí)的全方位的全景圖像。圖5的(c)表示這樣拍攝的全景圖像300。全景圖像300的中心是搖擺角0°，全景圖像300的左半部分是將搖擺角從0°改變至一 180°所拍攝的圖像，右半部分是將搖擺角從0°改變至180°所拍攝的圖像。因全景 圖像300的搖擺角0°的中心位置從正北向東偏離了方位角9，故北(N)、南(S)、東(E)、西(W)的位置是虛線所示的地方。只要全景圖像300擁有搖擺角0°的中心位置的方位角e作為與拍攝方位相關(guān)的信息，就能夠考慮方位角e的偏離地計(jì)算求得北(N)、南(S)、東(E)、西(W)的像素位置?；蛘?，也可以取代方位角0，而是具有北(N)、南
(S)、東(E)、西(W)的像素位置的坐標(biāo)值來作為與拍攝方位相關(guān)的信息。為得到全天球的全景圖像，需要改變照相機(jī)200的仰角來拍攝。例如，假設(shè)照相機(jī)200的視場(chǎng)角是60°時(shí)，從原理上來講，若在使照相機(jī)200上下地傾斜±60°的基礎(chǔ)上，一邊在ー 180° 180°的范圍內(nèi)改變搖擺角，ー邊進(jìn)行同樣的拍攝，則能夠得到全天球的全景圖像。圖6的(a) (C)是說明在照相機(jī)200的仰角小=60°的情況下拍攝的全景圖像的圖。如圖6的(a)的俯視圖所示的那樣，在初始位置，照相機(jī)200朝向方位角0的方向220,如圖6的(b)的側(cè)視圖所示的那樣,照相機(jī)200的仰角= 60°。保持仰角小=60°，一邊使照相機(jī)200的搖擺角相對(duì)于基準(zhǔn)方向220在一 180°至+ 180°的范圍內(nèi)變化，ー邊拍攝如圖6的(c)所示那樣的仰角小=60°時(shí)的全景圖像302。同樣地，保持照相機(jī)200的仰角小=一 60°，一邊使搖擺角在一 180°至+ 180°的范圍內(nèi)變化，一邊拍攝仰角小=一 60°時(shí)的全景圖像。若組合仰角￠=0°、60°、一60°的全景圖像，則能夠得到全天球全景圖像。當(dāng)然，在實(shí)際操作上，為修正在視場(chǎng)角的邊界部分粘貼圖像時(shí)因鏡頭的畸變產(chǎn)生的失配，多數(shù)采取使邊界附近重疊來拍攝的方法。這樣得到的全天球全景圖像被賦予有方位角及仰角的信息，能夠基于該信息針對(duì)全景圖像的任意像素確定方位和仰角。此外，全景圖像還被賦予由GPS測(cè)量出的緯度、經(jīng)度信息作為拍攝地點(diǎn)的位置信息。作為ー個(gè)例子，應(yīng)賦予全景圖像的附加信息可以按照被稱作Exif (Exchangeable Image File Format:可交換圖像文件)的圖像文件的規(guī)格來記錄。能夠?qū)⑴臄z地點(diǎn)的地名記錄在文件名的一部分中，并將拍攝日期時(shí)間、拍攝地點(diǎn)的緯度、經(jīng)度、高度、方位角等作為Exif格式的數(shù)據(jù)來記錄。仰角在Exif格式中沒有被定義，但作為擴(kuò)展數(shù)據(jù)來記錄。圖7A及圖7B是說明拼接多個(gè)圖像來制作全景圖像的方法的圖。在圖7A的例子中，在一邊使照相機(jī)200傾斜(或搖擺)ー邊所拍攝的7幅圖像341 347映射于圓筒后，拼接而生成圓筒狀的圖像340。拼接圖像時(shí)，使圖像的邊界附近重疊。如圖7B所示的那樣，通過使照相機(jī)200搖擺(或傾斜)地進(jìn)行拍攝，能夠在搖擺(或傾斜)方向上得到多個(gè)圖7A所示的圓筒狀的圖像。通過使這些圓筒狀的圖像340a 340f在圖像的邊界附近重疊地合成，能夠最終得到全方位的全景圖像360。圖8是說明全景圖像顯示裝置100的全景圖像生成步驟的流程圖。ー邊參照?qǐng)D9的(a)、(b) 圖11的(a)、(b)，ー邊說明圖8的全景圖像生成步驟的各步驟。在圖8所示的流程圖中，將各部的處理步驟以代表步驟的S (Step的首字母)和數(shù)字的組合來表示。此夕卜，當(dāng)在以S和數(shù)字的組合表示的處理中執(zhí)行某判斷處理，其判斷結(jié)果為肯定吋，附加“是”(“是”的首字母)，例如表示為“S14的“是””，相反的，其判斷結(jié)果為否定時(shí)，附加“否”(“否”的首字母)，表示為“S14的“否””。輸入曝光不同的多個(gè)LDR圖像集合(S10)。各LDR圖像集合包含搖擺角及傾斜角的至少ー者不同的多個(gè)低動(dòng)態(tài)范圍分割圖像。HDR合成部20針對(duì)拍攝分割圖像時(shí)的搖擺角及傾斜角的各組合，合成曝光不同的多個(gè)低動(dòng)態(tài)范圍分割圖像，由此生成搖擺角或傾斜角不同的多個(gè)高動(dòng)態(tài)范圍分割圖像(S12)。對(duì)于高動(dòng)態(tài)范圍合成，使用公知的技木。從曝光不同的多張LDR圖像中選擇除去了明顯的曝光不足、曝光過度的區(qū)塊(segment)的區(qū)域進(jìn)行合成，由此生成在所有區(qū)域中都不存在曝光不足、曝光過度的HDR圖像。當(dāng)輸出圖像格式是LDR全景圖像時(shí)(S14的“是”)，執(zhí)行步驟S16的色調(diào)映射處理。色調(diào)映射部21通過針對(duì)HDR合成部20所生成的高動(dòng)態(tài)范圍分割圖像施以色調(diào)映射處理地壓縮動(dòng)態(tài)范圍，來使其變換為被進(jìn)行動(dòng)態(tài)范圍壓縮了的分割圖像。作為色調(diào)映射處理的方法，例如有減小圖像整體的反差的方法和模仿人的視覺特性地將圖像變換為非線性的圖像的方法。步驟S16的色調(diào)映射處理結(jié)束后，進(jìn)行步驟S18。當(dāng)輸出圖像格式是HDR全景圖像時(shí)(S14的“否”)，跳過步驟S16的色調(diào)映射處理，進(jìn)入步驟S18。控制點(diǎn)檢測(cè)部22通過在搖擺角或傾斜角不同的多個(gè)被進(jìn)行了動(dòng)態(tài)范圍壓縮的分割圖像/高動(dòng)態(tài)范圍分割圖像中的、相鄰的分割圖像之間進(jìn)行特征點(diǎn)抽取，來檢測(cè)用于使相鄰的分割圖像建立對(duì)應(yīng)的控制點(diǎn)(S18 )。圖9的(a)、( b )是表示在2個(gè)相鄰的分割圖像401、402之間檢測(cè)出的控制點(diǎn)的圖。在此，檢測(cè)出了 9個(gè)控制點(diǎn)。全景圖像合成部23基于所檢測(cè)出的控制點(diǎn)來調(diào)整相鄰的被進(jìn)行了動(dòng)態(tài)范圍壓縮的分割圖像/高動(dòng)態(tài)范圍分割圖像的對(duì)齊并將其合成，由此生成LDR/HDR的全景圖像(S20)。圖10是表示基于控制點(diǎn)對(duì)齊并合成2個(gè)相鄰的分割圖像401、402的情況的圖。在相鄰的分割圖像401、402的重復(fù)區(qū)域中，使一方的分割圖像402相對(duì)于另一方的分割圖像401旋轉(zhuǎn)地進(jìn)行合成，以使得兩圖像的控制點(diǎn)(在該圖中以圓點(diǎn)表示)盡可能地相對(duì)準(zhǔn)。圖像編碼部25將由全景圖像合成部23合成的LDR/HDR的全景圖像(S22)編碼。此時(shí)，針對(duì)在全景圖像的左端附加有右端的區(qū)域的一部分、在右端附加有左端的區(qū)域的一部分的擴(kuò)展全景圖像，進(jìn)行壓縮編碼，由此減輕塊噪聲(block noise)。當(dāng)全景圖像是動(dòng)圖像吋，圖像編碼部25通過按宏塊單位對(duì)擴(kuò)展全景圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)地壓縮編碼，即使在有跨越了全景圖像的兩端的邊界線的運(yùn)動(dòng)的情況下，也能夠進(jìn)行抑制了塊噪聲的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)。圖11的(a)、(b)是說明使全景圖像的兩端重復(fù)的擴(kuò)展全景圖像的圖。圖11的(a)是使照相機(jī)360度搖擺地拍攝出的全景圖像500。當(dāng)全景圖像500是動(dòng)圖像時(shí)，利用運(yùn)動(dòng)矢量按宏塊單位參照周邊區(qū)域的像素來進(jìn)行預(yù)測(cè)編碼，但由于在比全景圖像500的右端/左端更靠右側(cè)/左側(cè)處不存在周邊像素，故會(huì)產(chǎn)生塊噪聲。因此，在將全景圖像500粘貼到全天球中時(shí)，在動(dòng)圖像再現(xiàn)過程中，連接處會(huì)出現(xiàn)不自然的邊界線。因此，將全景圖像500的右端區(qū)域502、左端區(qū)域504分別復(fù)制到全景圖像500的左端、右端，來擴(kuò)展全景圖像500。圖11的(b)是擴(kuò)展全景圖像510。當(dāng)右端區(qū)域502、左端區(qū)域504分別是搖擺角20度的量的區(qū)域時(shí)，擴(kuò)展全景圖像510成為搖擺角被擴(kuò)展到400度的形式。若針對(duì)該擴(kuò)展全景圖像510按宏塊單位進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼，則能夠使在全景圖像500的右端及左端產(chǎn)生的塊噪聲最小化。若針對(duì)圖11的(b)的擴(kuò)展全景圖像510的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼結(jié)束，則刪除所復(fù)制的右端區(qū)域502、左端區(qū)域504，回到圖11的(a)的全景圖像500。此后，即使將全景圖像500粘貼于全天球，由于連接處塊噪聲已被最小化，故在動(dòng)圖像再現(xiàn)過程中連接處不會(huì)出現(xiàn)邊界線。接下來，參照?qǐng)D12 圖14詳細(xì)地說明基于搖擺角或傾斜角不同的多個(gè)LDR分割圖像生成HDR/LDR全景圖像的本實(shí)施方式的方法的優(yōu)點(diǎn)。圖12是為進(jìn)行比較而說明基于LDR分割圖像來生成HDR全景圖像的以往的方法的圖。在此，準(zhǔn)備有3種曝光不一樣的、搖擺角或傾斜角不同的多個(gè)LDR分割圖像的集合。LDR分割圖像集合411、412、413各自的曝光值是￡￥1、EV2、EV3，且曝光值按該順序越來越小。各LDR分割圖像集合411、412、413包含有搖擺角或傾斜角不同的6張LDR分割圖像。例如是將搖擺角3階段(pl、p2、p3)地改變、將傾斜角2階段(tl、t2)地改變來拍攝的6張分割圖像的情況。

在此，為方便說明，僅將曝光值設(shè)置成了 3個(gè)階段，但在實(shí)際的使用上，需要將曝光段數(shù)N定為8個(gè)階段以上。此外，搖擺方向的拍攝張數(shù)P SP = 360/ (水平視場(chǎng)角X0.8)得出，傾斜方向的拍攝張數(shù)T由T = 180/ (垂直視場(chǎng)角X0.8)得出。在傾斜方向上，除此之外，有時(shí)還會(huì)向天頂和正下方各拍攝I張。之所以乘以系數(shù)0.8，是為了使相鄰的分割圖像具有重復(fù)區(qū)域。分割圖像的總拍攝張數(shù)M由NXPXT得出。在以往的方法中，合成曝光值為EVl的LDR分割圖像集合411來生成LDR全景圖像421。同樣地，合成曝光值為EV2、EV3的LDR分割圖像集合412、413來生成LDR全景圖像422、423。在合成分割圖像來生成全景圖像時(shí)，在相鄰的分割圖像的重復(fù)區(qū)域中檢測(cè)控制點(diǎn)，取得匹配。此時(shí)，在基于某曝光值所拍攝的LDR分割圖像集合內(nèi)，由于一部分分割圖像的曝光不適當(dāng)，故有產(chǎn)生了曝光過度、曝光不足的可能性。這是因?yàn)樵诟淖儞u擺角或傾斜角地拍攝出來的分割圖像中，有拍攝到強(qiáng)烈的光的部分或極度變暗的部分。由于難以針對(duì)產(chǎn)生了曝光過度或曝光不足的分割圖像進(jìn)行特征點(diǎn)抽取，故無法設(shè)定控制點(diǎn)，或即使能夠設(shè)定控制點(diǎn)，控制點(diǎn)的設(shè)定位置也較偏、或控制點(diǎn)的數(shù)量較少。因此，不能很好地連接相鄰的分割圖像，所生成的全景圖像的合成精度不好，不會(huì)成為漂亮的圖像。接著，通過對(duì)曝光值為EVl的LDR全景圖像421、曝光值為EV2的LDR全景圖像422、曝光值為EV3的LDR全景圖像423進(jìn)行高動(dòng)態(tài)范圍合成，來生成HDR全景圖像430。但是，LDR全景圖像421、422、423中有可能混雜有上述那樣的因曝光過度或曝光不足而合成精度低的圖像，故有時(shí)最終生成的HDR全景圖像430的精度也會(huì)較低。圖13是說明基于LDR分割圖像來生成HDR全景圖像的本實(shí)施方式的方法的圖。在本實(shí)施方式中，對(duì)曝光值不同的LDR分割圖像的集合施以高動(dòng)態(tài)范圍合成，首先，生成HDR分割圖像的集合后，通過將其合成為全景圖像，來生成HDR全景圖像。通過對(duì)曝光值為EV1、EV2、EV3的LDR分割圖像集合411、412、413進(jìn)行高動(dòng)態(tài)范圍合成，來生成HDR分割圖像集合440。HDR分割圖像集合440包含搖擺角或傾斜角不同的6張HDR分割圖像。接著，合成HDR分割圖像集合440，來生成HDR全景圖像450。通過此方法，例如針對(duì)搖擺角為p1、傾斜角為tl的LDR分割圖像來看，通過對(duì)3個(gè)曝光值分別為EV1、EV2、EV3的LDR分割圖像進(jìn)行高動(dòng)態(tài)范圍合成，而生成了搖擺角為p1、傾斜角為tl的HDR分割圖像。因此，在生成HDR分割圖像的時(shí)點(diǎn)，能夠消除LDR分割圖像中發(fā)生的曝光過度或曝光不足的問題。在合成HDR分割圖像集合440而生成HDR全景圖像450吋，由于6張HDR分割圖像中沒有曝光過度或曝光不足，故能夠從相鄰的分割圖像的重復(fù)區(qū)域中可靠地抽取出特征點(diǎn)，高精度地檢測(cè)控制點(diǎn)，從而所合成的HDR全景圖像450成為漂亮的圖像。圖14是說明基于LDR分割圖像來生成LDR全景圖像的本實(shí)施方式的方法的圖。與圖13不同的是，針對(duì)將曝光值為EV1、EV2、EV3的LDR分割圖像集合411、412、413進(jìn)行高動(dòng)態(tài)范圍合成而得到的HDR分割圖像集合440，施以色調(diào)映射處理而變換為L(zhǎng)DR分割圖像集合460之后，再合成為L(zhǎng)DR全景圖像470。此時(shí)，由于在生成HDR分割圖像集合440的階段，曝光過度或曝光不足的問題已不存在，故之后在合成降低了動(dòng)態(tài)范圍的LDR分割圖像集合460時(shí)，也不會(huì)產(chǎn)生無法檢測(cè)控制點(diǎn)的問題。像這樣，與圖12的以往的方法相比，在圖13及圖14的本實(shí)施方式的方法中，如上述那樣合成的全景圖像的精度會(huì)明顯改善。本實(shí)施方式的全景圖像生成方法在處理效率以外的方面也有優(yōu)點(diǎn)。在以往的方法中，由于對(duì)各曝光值的LDR分割圖像集合進(jìn)行控制點(diǎn)的檢測(cè)處理來生成LDR全景圖像，故耗費(fèi)處理時(shí)間。針對(duì)此，在本實(shí)施方式的方法中，由于預(yù)先生成HDR分割圖像集合后再進(jìn)行控制點(diǎn)的檢測(cè)處理來生成HDR全景圖像，故若將曝光段數(shù)定為N，則與以往的方法相比，處理時(shí)間縮短至1/N。此外，在以往的方法中，由于基于各曝光值的多個(gè)LDR分割圖像來生成LDR全景圖像，故需要進(jìn)行總拍攝張數(shù)M=曝光段數(shù)NX搖擺段數(shù)PX傾斜段數(shù)T的拍攝，會(huì)耗費(fèi)拍攝時(shí)間。此外，由于拍攝時(shí)間長(zhǎng)，故當(dāng)被攝物體移動(dòng)了時(shí)，在不同曝光值的LDR全景圖像之間，被攝物體的位置會(huì)偏移，將其合成為HDR全景圖像了時(shí)，會(huì)生成被攝物體發(fā)虛那樣的圖像。對(duì)此，在本實(shí)施方式的方法中，不需要會(huì)產(chǎn)生曝光過度、曝光不足那樣的曝光值的圖像，故即使省略以該曝光值進(jìn)行的拍攝，也能夠生成精度足夠的HDR分割圖像。只要掃描全天球來預(yù)先測(cè)定各拍攝方向下的適當(dāng)?shù)钠毓庵?、或基于光線的方向等來決定各拍攝方向的適當(dāng)?shù)钠毓庵祦磉M(jìn)行拍攝即可，不需要針對(duì)所有曝光值進(jìn)行拍攝。因此，能夠縮短拍攝時(shí)間，還能縮短HDR合成的處理時(shí)間。此外，在本實(shí)施方式的方法中，由于能夠縮短拍攝時(shí)間，故能夠降低拍攝到高速移動(dòng)的鳥或飛機(jī)等物體的可能性。即使存在拍攝到那樣的移動(dòng)物體的LDR分割圖像，刪除該圖像，還會(huì)有以其它曝光值拍攝到同一區(qū)域的LDR分割圖像，故能夠以足夠的精度來生成HDR分割圖像。如以上所述的那樣，通過本實(shí)施方式的全景圖像顯示裝置，能夠基于LDR分割圖像、以高精度高效地生成HDR/LDR全景圖像。當(dāng)以低動(dòng)態(tài)范圍拍攝全景圖像，其正面明亮、背面較暗時(shí)，不能在全方位都以適當(dāng)?shù)钠毓膺M(jìn)行拍攝，故以前無法得到漂亮的全景圖像。通過本實(shí)施方式的全景圖像生成方法，基于改變曝光地拍攝到的LDR分割圖像而先生成HDR分割圖像后，再將其合成為全景圖像，故能夠得到針對(duì)全方位都適當(dāng)調(diào)整了曝光值的漂亮的全景圖像。由于高動(dòng)態(tài)范圍處理解決LDR分割圖像中所產(chǎn)生的曝光過度和曝光不足的問題，故基于HDR分割圖像合成全景圖像時(shí)，也能夠精度高地進(jìn)行合成。此外，通過不以會(huì)產(chǎn)生曝光過度或曝光不足那樣的曝光值進(jìn)行拍攝，能夠大幅度地縮短拍攝時(shí)間。此外，即使有拍攝到非預(yù)期的高速移動(dòng)物體的LDR分割圖像，也能夠刪除該圖像而生成HDR分割圖像，故抗噪
聲性強(qiáng)。以上基于實(shí)施方式對(duì)本發(fā)明進(jìn)行了說明。本領(lǐng)域技術(shù)人員當(dāng)理解實(shí)施方式為例示，其各構(gòu)成要素和各處理過程的組合可以有各種變形例，且該變形例同樣包含在本發(fā)明的范圍內(nèi)。在前述的說明中，將全景圖像映射于球面等三維全景空間中，將從被指定的視線方向觀看三維全景空間時(shí)的三維全景圖像顯示在了畫面中，但也可以僅簡(jiǎn)單地ニ維顯示全景圖像。此時(shí)，不需要映射處理部14及三維圖像生成部16的構(gòu)成，能夠使全景圖像顯示裝置100簡(jiǎn)單化。全景圖像不限定于用圖3那樣的全方位拍攝系統(tǒng)拍攝的圖像，也可以是使用魚眼鏡頭拍攝的圖像，或?qū)ⅸ`邊改變拍攝方向ー邊用通常的數(shù)碼照相機(jī)拍攝的多個(gè)圖像合成后的圖像。通過將全景圖像顯示裝置100的功能結(jié)構(gòu)中的主要涉及HDR合成、色調(diào)映射處理、控制點(diǎn)檢測(cè)、全景圖像合成、圖像編碼的處理的結(jié)構(gòu)安裝于服務(wù)器，將主要涉及解碼并再現(xiàn)全景圖像的處理的結(jié)構(gòu)安裝于客戶端，能夠?qū)⑷皥D像顯示裝置100作為介由網(wǎng)絡(luò)的服務(wù)器一客戶端系統(tǒng)來實(shí)現(xiàn)。服務(wù)器可以基于LDR分割圖像生成HDR/LDR全景圖像并編碼，客戶端可以從服務(wù)器接收全景圖像的編碼流，并解碼顯示。此外，在本說明書中所講的“全景圖像”，并不限定于狹義上的“全景圖像”、即橫長(zhǎng)或縱長(zhǎng)的圖像、360度的全景圖像等，而是單純地以廣范圍為對(duì)象的圖像。此外，在實(shí)施方式中，說明了生成全景圖像來作為合成圖像的例子，但所輸出的合成圖像不需要是所謂的全景圖像，以任意尺寸的通常的圖像為合成圖像，也能夠適用本發(fā)明?；蛘撸敵龅暮铣蓤D像也可以是分辨率不同的多個(gè)圖像被階層化了的圖像。這樣的被階層化了的圖像可以構(gòu)成為在將圖像的一部分區(qū)域放大時(shí)，被放大的區(qū)域置換為分辨率更高的圖像?！矘?biāo)號(hào)說明〕10全景圖像取得部、12圖像解碼部、14映射處理部、16三維圖像生成部、18顯示控制部、20HDR合成部、21色調(diào)映射部 、22控制點(diǎn)檢測(cè)部、23全景圖像合成部、24全景圖像 附加數(shù)據(jù)存儲(chǔ)部、25圖像編碼部、26LDR圖像數(shù)據(jù)存儲(chǔ)部26、30視點(diǎn)位置設(shè)定部、31視場(chǎng)角設(shè)定部、32視線方向設(shè)定部、34高度設(shè)定部、36日期時(shí)間設(shè)定部、40用戶接ロ部、100全景圖像顯示裝置、200照相機(jī)?！播I(yè)可利用性〕能夠適用于生成圖像的技術(shù)。
權(quán)利要求
1.一種圖像生成裝置，其特征在于，包括: 存儲(chǔ)部，準(zhǔn)備并保持多個(gè)曝光不同的低動(dòng)態(tài)范圍圖像集合，該低動(dòng)態(tài)范圍圖像集合包含搖擺角或傾斜角不同的多個(gè)低動(dòng)態(tài)范圍分割圖像； 高動(dòng)態(tài)范圍合成部，通過合成曝光不同的多個(gè)低動(dòng)態(tài)范圍分割圖像，來生成包含搖擺角或傾斜角不同的多個(gè)高動(dòng)態(tài)范圍分割圖像的高動(dòng)態(tài)范圍圖像集合；以及 輸出圖像合成部，拼接相鄰的高動(dòng)態(tài)范圍分割圖像，來生成高動(dòng)態(tài)范圍輸出圖像。
2.如權(quán)利要求1所述的圖像生成裝置，其特征在于， 還包括檢測(cè)部，通過在搖擺角或傾斜角不同的多個(gè)高動(dòng)態(tài)范圍分割圖像中的、相鄰的分割圖像之間進(jìn)行特征點(diǎn)抽取，來檢測(cè)用于使相鄰的高動(dòng)態(tài)范圍分割圖像建立對(duì)應(yīng)的控制占.上述輸出圖像合成部通過基于上述控制點(diǎn)來調(diào)整相鄰的高動(dòng)態(tài)范圍分割圖像之間的對(duì)齊地進(jìn)行合成，來生成高動(dòng)態(tài)范圍輸出圖像。
3.如權(quán)利要求1或2所述的圖像生成裝置，其特征在于， 還包括色調(diào)映射部，利用色調(diào)映射來壓縮搖擺角或傾斜角不同的多個(gè)高動(dòng)態(tài)范圍分割圖像的動(dòng)態(tài)范圍，由此生成搖擺角或傾斜角不同的多個(gè)被進(jìn)行了動(dòng)態(tài)范圍壓縮的分割圖像； 在生成低動(dòng)態(tài)范圍輸出圖像時(shí)，上述輸出圖像合成部將由上述色調(diào)映射部生成的、搖擺角或傾斜角不同的多個(gè)被進(jìn)行了動(dòng)態(tài)范圍壓縮的分割圖像內(nèi)的、相鄰的分割圖像拼接，來生成低動(dòng)態(tài)范圍輸出圖像。
4.如權(quán)利要求1至3的任意 一項(xiàng)所述的圖像生成裝置，其特征在于， 還包括圖像編碼部，當(dāng)上述輸出圖像是動(dòng)圖像時(shí)，針對(duì)擴(kuò)展輸出圖像進(jìn)行基于運(yùn)動(dòng)補(bǔ)償?shù)膱D像壓縮編碼，該擴(kuò)展輸出圖像是上述輸出圖像合成部所生成的在輸出圖像的左端附加有右端的區(qū)域的一部分、在右端附加有左端的區(qū)域的一部分的圖像。
5.如權(quán)利要求1至4的任意一項(xiàng)所述的圖像生成裝置，其特征在于， 上述輸出圖像是全景圖像。
6.一種圖像生成方法，其特征在于，包括: 處理器從存儲(chǔ)設(shè)備讀出多個(gè)低動(dòng)態(tài)范圍圖像集合的步驟，該存儲(chǔ)設(shè)備中準(zhǔn)備并保持多個(gè)曝光不同的低動(dòng)態(tài)范圍圖像集合，該低動(dòng)態(tài)范圍圖像集合包含搖擺角或傾斜角不同的多個(gè)低動(dòng)態(tài)范圍分割圖像； 處理器通過合成曝光不同的多個(gè)低動(dòng)態(tài)范圍分割圖像，來生成包含搖擺角或傾斜角不同的多個(gè)高動(dòng)態(tài)范圍分割圖像的高動(dòng)態(tài)范圍圖像集合的步驟；以及 處理器拼接相鄰的高動(dòng)態(tài)范圍分割圖像，來生成高動(dòng)態(tài)范圍輸出圖像的步驟。
7.一種程序，其特征在于，使計(jì)算機(jī)實(shí)現(xiàn)如下功能: 處理器從存儲(chǔ)設(shè)備讀出多個(gè)低動(dòng)態(tài)范圍圖像集合的功能，該存儲(chǔ)設(shè)備中準(zhǔn)備并保持多個(gè)曝光不同的低動(dòng)態(tài)范圍圖像集合，該低動(dòng)態(tài)范圍圖像集合包含搖擺角或傾斜角不同的多個(gè)低動(dòng)態(tài)范圍分割圖像； 通過合成曝光不同的多個(gè)低動(dòng)態(tài)范圍分割圖像，來生成包含搖擺角或傾斜角不同的多個(gè)高動(dòng)態(tài)范圍分割圖像的高動(dòng)態(tài)范圍圖像集合的功能； 利用色調(diào)映射來壓縮搖擺角或傾斜角不同的多個(gè)高動(dòng)態(tài)范圍分割圖像的動(dòng)態(tài)范圍，由此生成搖擺角或傾斜角不同的多個(gè)被進(jìn)行了動(dòng)態(tài)范圍壓縮的分割圖像的功能；以及 在生成高動(dòng)態(tài)范圍輸出圖像時(shí)，拼接相鄰的高動(dòng)態(tài)范圍分割圖像，來生成高動(dòng)態(tài)范圍輸出圖像，在生成低動(dòng)態(tài)范圍輸出圖像時(shí)，拼接通過色調(diào)映射而生成的、搖擺角或傾斜角不同的多個(gè)被進(jìn)行了動(dòng)態(tài)范圍壓縮的分割圖像內(nèi)的、相鄰的分割圖像，來生成低動(dòng)態(tài)范圍輸出圖像的功能。
8.—種記錄介質(zhì),其特征在于， 存儲(chǔ)有權(quán)利要求7所述 的程序。
全文摘要
LDR圖像數(shù)據(jù)存儲(chǔ)部(26)準(zhǔn)備并保持多個(gè)曝光不同的低動(dòng)態(tài)范圍圖像集合，該低動(dòng)態(tài)范圍圖像集合包含使照相機(jī)搖擺或傾斜地拍攝的多個(gè)低動(dòng)態(tài)范圍分割圖像。高動(dòng)態(tài)范圍合成部(20)通過合成曝光不同的多個(gè)低動(dòng)態(tài)范圍分割圖像，來生成包含搖擺角或傾斜角不同的多個(gè)高動(dòng)態(tài)范圍分割圖像的高動(dòng)態(tài)范圍圖像集合。全景圖像合成部(23)拼接相鄰的高動(dòng)態(tài)范圍分割圖像，來生成高動(dòng)態(tài)范圍全景圖像。
文檔編號(hào)H04N5/225GK103141079SQ20118004799
公開日2013年6月5日 申請(qǐng)日期2011年7月29日 優(yōu)先權(quán)日2010年10月5日
發(fā)明者古村京子, 平田真一 申請(qǐng)人:索尼電腦娛樂公司