圖像處理裝置、圖像處理方法以及程序的制作方法
【專利摘要】一種圖像處理設(shè)備配有聯(lián)系單元，其中，當(dāng)確定位移成像方向的同時(shí)使用通過成像操作獲得的多組幀圖像數(shù)據(jù)生成的一組全景圖像數(shù)據(jù)是全環(huán)繞全景圖像時(shí)，該聯(lián)系單元將全景圖像數(shù)據(jù)與指示全景圖像數(shù)據(jù)是全環(huán)繞全景圖像的信息相聯(lián)系。
【專利說明】圖像處理裝置、圖像處理方法以及程序

【技術(shù)領(lǐng)域】
[0001]本公開涉及圖像處理裝置、圖像處理方法以及實(shí)現(xiàn)這些的程序，尤其涉及適合顯示全景圖像數(shù)據(jù)的圖像處理。
[0002]引用列表
[0003]專利文獻(xiàn)
[0004]專利文獻(xiàn)I JP2010-161520A

【背景技術(shù)】
[0005]如專利文獻(xiàn)I所示，從多個(gè)圖像中生成一個(gè)全景圖像的圖像處理是眾所周知。
[0006]例如，用戶在水平掃掠照相機(jī)的同時(shí)獲取大量捕獲圖像(幀圖像數(shù)據(jù))，并且通過組合這些圖像，可以獲取所謂的全景圖像。
[0007]注意，“掃掠”被認(rèn)為是在成像的時(shí)候，由于成像裝置的轉(zhuǎn)動，沿著成像方向移動，以便為全景圖像生成獲取多種幀圖像數(shù)據(jù)的操作。例如，在成像方向沿著水平移動的情況下，掃掠方向?qū)⒅赶蛩椒较颉?br>

【發(fā)明內(nèi)容】

[0008]技術(shù)問題
[0009]在為全景圖像進(jìn)行再現(xiàn)和顯示的情況下，進(jìn)行所謂的單視圖顯示或進(jìn)行滾動顯示是常見的。
[0010]單視圖顯示通過將所有全景圖像數(shù)據(jù)壓縮成一個(gè)靜止圖像來顯示。在這種情況下，雖然可以觀看整個(gè)全景圖像，但由于壓縮，難以成為多姿多彩的圖像。
[0011]滾動顯示通過依次切出全景圖像數(shù)據(jù)的一部分，一邊滾動一邊顯示。通過滾動顯示，對于每個(gè)部分可以較大地在屏幕上觀看全景圖像。
[0012]但是，例如，滾動顯示通過簡單地依次切出投影在柱面等上的全景圖像數(shù)據(jù)來顯示，未必精確反映從用戶的視角觀看的場景，比方說，像，例如，水平線或建筑物那樣的直線部分明顯彎曲了。
[0013]另一方面，存在通過將投影在柱面等上的全景圖像通過重新投影在平面屏幕上設(shè)置成顯示圖像，獲得強(qiáng)烈的沉浸感和現(xiàn)場感的技術(shù)。這樣的再現(xiàn)和顯示的技術(shù)在本描述中被稱為“投影顯示”。
[0014]例如，QuickTime VR—一種虛擬環(huán)境導(dǎo)航的基于圖像方式(蘋果電腦公司)等是眾所周知的。
[0015]雖然可以認(rèn)為當(dāng)使用這樣的投影顯示時(shí)，可以提高觀看全景圖像的顯示的用戶的滿意度，但簡單地進(jìn)行投影顯示來取代滾動顯示在如下方面是困難的。
[0016]雖然全景圖像的視角在進(jìn)行投影顯示的制作中可能是必要的，但用戶通常很少精確知道在數(shù)字照相機(jī)的全景模式下投影的全景圖像的視角。例如，在全景圖像中，存在像具有360°視角的全環(huán)繞圖像、從具有近似120°的視角的圖像到具有近似180°的視角的圖像的各種類型圖像。此外，除了 360°視角之外，這種從全景圖像數(shù)據(jù)中獲取視角的計(jì)算由于像對準(zhǔn)誤差、掃掠半徑或畸變像差那樣的影響而變得不精確，不能獲得精確的視角。
[0017]這樣，視角不能只通過全景圖像數(shù)據(jù)來獲知，以及不能進(jìn)行投影顯示的制作。例如，為了保證投影顯示的視角是已知的，用戶可能有必要在全景成像的時(shí)候粗略估計(jì)視角，并在制作的時(shí)候人工輸入視角。這對于普通用戶來說將成為困難的操作。進(jìn)一步，當(dāng)輸入視角顯著不同于實(shí)際視角時(shí)，將導(dǎo)致出現(xiàn)在投影顯示圖像中的畸變。
[0018]據(jù)此，從實(shí)際用戶的觀點(diǎn)來看或從顯示質(zhì)量的觀點(diǎn)來看，投影顯示未必總是最佳顯不系統(tǒng)。
[0019]本公開的目的是實(shí)現(xiàn)一種圖像處理，以便能夠人工和精確地進(jìn)行全景圖像的顯示，尤其，高質(zhì)量投影顯示，例如，通過從專家級使用或商業(yè)使用直到一般消費(fèi)者的設(shè)備廣泛地假設(shè)。
[0020]問題的解決方案
[0021]按照本公開的圖像處理裝置包括聯(lián)系部分，其被配置成在位移成像方向的同時(shí)使用通過成像操作獲得的多個(gè)幀圖像數(shù)據(jù)生成的全景圖像數(shù)據(jù)被確定為全環(huán)繞全景圖像的情況下，將全景圖像數(shù)據(jù)與顯示全景圖像數(shù)據(jù)是全環(huán)繞全景圖像的信息相聯(lián)系。
[0022]按照本公開的圖像處理方法包括進(jìn)行這樣的處理，即在位移成像方向的同時(shí)使用通過成像操作獲得的多個(gè)幀圖像數(shù)據(jù)生成的全景圖像數(shù)據(jù)被確定為全環(huán)繞全景圖像的情況下，將全景圖像數(shù)據(jù)與顯示全景圖像數(shù)據(jù)是全環(huán)繞全景圖像的信息相聯(lián)系。
[0023]按照本公開的程序使計(jì)算處理裝置進(jìn)行該圖像處理方法的處理。
[0024]在這樣的本公開中，將像再現(xiàn)和顯示時(shí)那樣，確定是否是全環(huán)繞全景圖像的信息加入從多個(gè)幀圖像數(shù)據(jù)中組合和生成的全景圖像數(shù)據(jù)中。也就是說，在至少一些全景圖像數(shù)據(jù)被確定為全環(huán)繞全景圖像的情況下，將顯示是全環(huán)繞全景圖像的信息與這個(gè)全景圖像數(shù)據(jù)相聯(lián)系。這樣，例如，當(dāng)進(jìn)行隨后再現(xiàn)和顯示時(shí)，可以按照是否是全環(huán)繞全景圖像選擇顯示處理系統(tǒng)。
[0025]這里，存在可以將全環(huán)繞全景圖像確定為具有360° (或近似360° )的視角的情況。也就是說，存在當(dāng)進(jìn)行投影和顯示時(shí)，可以將視角固定的情況。
[0026]本發(fā)明的有利效果
[0027]按照本公開，在全景圖像數(shù)據(jù)是全環(huán)繞全景圖像的情況下，與顯示這種情況的信息相聯(lián)系。因此，具有當(dāng)進(jìn)行再現(xiàn)和顯示時(shí)，可以按照是否是全環(huán)繞全景圖像選擇顯示處理系統(tǒng)。例如，在全環(huán)繞全景圖像的情況下，可以將視角設(shè)置成360°來進(jìn)行適當(dāng)投影顯示等。

【專利附圖】

【附圖說明】
[0028]圖1是在本公開的一個(gè)實(shí)施例中進(jìn)行的全景成像的說明圖；
[0029]圖2是在一個(gè)實(shí)施例中的進(jìn)行的全景圖像組合的說明圖；
[0030]圖3是一個(gè)實(shí)施例的全景圖像的說明圖；
[0031]圖4是一個(gè)實(shí)施例的組合投影處理和顯示投影處理的說明圖；
[0032]圖5是一個(gè)實(shí)施例的滾動顯示和投影顯示的說明圖；
[0033]圖6是一個(gè)實(shí)施例的360°全景圖像的投影顯示的說明圖；
[0034]圖7是一個(gè)實(shí)施例的單視圖顯示和列表顯示的說明圖；
[0035]圖8是一個(gè)實(shí)施例的圖像處理裝置的框圖；
[0036]圖9是一個(gè)實(shí)施例的圖像處理裝置安裝設(shè)備的配置例子的框圖；
[0037]圖10是一個(gè)實(shí)施例的圖像處理裝置安裝設(shè)備的配置例子的框圖；
[0038]圖11是一個(gè)實(shí)施例的第一配置例子的說明圖；
[0039]圖12是一個(gè)實(shí)施例的第一配置例子中的處理的流程圖；
[0040]圖13是一個(gè)實(shí)施例的第二配置例子的說明圖；
[0041]圖14是一個(gè)實(shí)施例的第二配置例子中的處理的流程圖；
[0042]圖15是一個(gè)實(shí)施例的第三配置例子的說明圖；
[0043]圖16是一個(gè)實(shí)施例的第三配置例子中的處理的流程圖；
[0044]圖17是一個(gè)實(shí)施例的第四配置例子的說明圖；
[0045]圖18是一個(gè)實(shí)施例的第四配置例子中的處理的流程圖；
[0046]圖19是一個(gè)實(shí)施例的第五配置例子的成像裝置的框圖；
[0047]圖20是一個(gè)實(shí)施例的安裝在成像裝置中的全景組合部分和聯(lián)系部分的功能配置的框圖；
[0048]圖21是在視角不是360°的情況下和未對其進(jìn)行對準(zhǔn)的全景圖像的說明圖；
[0049]圖22是一個(gè)實(shí)施例的對其進(jìn)行對準(zhǔn)的全景圖像的說明圖；
[0050]圖23是一個(gè)實(shí)施例的全景圖像的對準(zhǔn)的說明圖；
[0051]圖24是一個(gè)實(shí)施例的在全景成像時(shí)的處理的流程圖；
[0052]圖25是一個(gè)實(shí)施例的顯示模式轉(zhuǎn)變的說明圖；
[0053]圖26是一個(gè)實(shí)施例的安裝在存儲裝置中的顯示圖像生成部分的功能配置的框圖；
[0054]圖27是一個(gè)實(shí)施例的顯示處理的流程圖；以及
[0055]圖28是一個(gè)實(shí)施例的計(jì)算機(jī)裝置的框圖。

【具體實(shí)施方式】
[0056]在下文中，將按如下次序描述實(shí)施例。
[0057]注意，在實(shí)施例中至少含有聯(lián)系部分11的設(shè)備將成為權(quán)利要求書中的圖像處理
>J-U ρ?α裝直。
[0058]〈1.全景組合和再現(xiàn)顯示的概況>
[0059]<2.圖像處理裝置配置例子〉
[0060]<3.第一配置例子(元數(shù)據(jù))>
[0061]<4.第二配置例子(專用程序)>
[0062]<5.第三配置例子(文件鏈接信息)>
[0063]<6.第四配置例子(專用格式)>
[0064]<7.第五配置例子(成像裝置的應(yīng)用例子)>
[0065](7-1:成像裝置的配置)
[0066](7-2:全景組合和聯(lián)系處理)
[0067](7-3:全景圖像顯示)
[0068]〈8.第六配置例子(計(jì)算機(jī)裝置和程序的應(yīng)用例子〉
[0069]<9.修改例 >
[0070]<1.全景組合和再現(xiàn)顯示的概況>
[0071]首先，將描述全景組合的概況。
[0072]后面將描述的一個(gè)實(shí)施例的成像裝置50、或近年的一般成像裝置(數(shù)字照相機(jī))可以通過對進(jìn)行成像的拍攝者在圍繞某個(gè)轉(zhuǎn)軸轉(zhuǎn)動成像裝置50的同時(shí)獲得的多個(gè)靜止圖像(幀圖像數(shù)據(jù))進(jìn)行組合處理生成全景圖像。
[0073]具體地，一個(gè)實(shí)施例的成像裝置50可以生成具有360°的視角的全環(huán)繞全景圖像。
[0074]圖1A示出了在全景成像的時(shí)候存儲裝置50的移動。由于在全景成像的時(shí)候當(dāng)組合背景和前景的視差時(shí)會出現(xiàn)連接區(qū)的不自然，所以希望將成像時(shí)的旋轉(zhuǎn)中心設(shè)置成不會出現(xiàn)視差、稱為節(jié)點(diǎn)(Nodal Point)、透鏡特有的點(diǎn)的旋轉(zhuǎn)中心。將在全景成像的時(shí)候成像裝置50的轉(zhuǎn)動稱為“掃掠”。
[0075]圖1B是對通過成像裝置50的掃掠獲得的多個(gè)靜止圖像進(jìn)行適當(dāng)對準(zhǔn)時(shí)的示意圖。在這個(gè)圖形中，按成像的時(shí)序示出了通過成像獲得的每個(gè)靜止圖像。也就是說，將從時(shí)間0直到時(shí)間(η-1)捕獲的幀圖像數(shù)據(jù)設(shè)置成幀圖像數(shù)據(jù)FM#0，F(xiàn)M#1,......，F(xiàn)M#(n_l)。
[0076]在從η個(gè)靜止圖像中生成全景圖像的情況下，對像所例示那樣連續(xù)捕獲的一系列η個(gè)幀圖像數(shù)據(jù)FM#0到FM#(n-l)進(jìn)行組合處理。
[0077]如圖1B所示，由于可能有必要讓每個(gè)捕獲幀圖像數(shù)據(jù)具有與相鄰幀圖像數(shù)據(jù)的重疊部分，所以有必要適當(dāng)設(shè)置成像裝置50的每個(gè)幀圖像數(shù)據(jù)的成像時(shí)間間隔、和拍攝者進(jìn)行掃掠的速度的上限值。
[0078]此外，由于這樣對準(zhǔn)的幀圖像數(shù)據(jù)具有許多重疊部分，所以可能有必要對每個(gè)幀圖像數(shù)據(jù)確定用于最終全景圖像的區(qū)域。換句話說，這等同于在全景組合處理中確定圖像的連接區(qū)(接縫:接縫)。
[0079]在圖2A和圖2B中，示出了接縫SM的例子。
[0080]在接縫中，可以像圖2A所示那樣沿著掃掠方向設(shè)置成垂直直線，或像圖2B所示那樣設(shè)置成非直線(曲線等)。
[0081]在圖2A和圖2B中，接縫SM0被顯示成幀圖像數(shù)據(jù)FM#0和FM#1之間的連接區(qū)，接縫SM1被顯示成幀圖像數(shù)據(jù)FM#1和FM#2之間的連接區(qū)，......，以及接縫SM(n_2)被顯示成幀圖像數(shù)據(jù)FM#(n-2)和FM#(n-l)之間的連接區(qū)。
[0082]注意，通過在組合的時(shí)候?qū)⑦@些接縫SM0到SM(n_2)設(shè)置成相鄰圖像之間的連接區(qū)，在每個(gè)幀圖像數(shù)據(jù)中成為陰影部分的部分將變成未用于最終全景圖像的圖像區(qū)域。
[0083]進(jìn)一步，當(dāng)進(jìn)行全景組合時(shí)，設(shè)置降低接縫附近的圖像的不自然的目標(biāo)，以及將存在也對接縫附近的圖像區(qū)域進(jìn)行混合處理的情況。此外，還將存在在寬范圍內(nèi)通過混合處理連接每個(gè)幀圖像數(shù)據(jù)的共同部分的情況，或還將存在從共同部分中為每個(gè)像素選擇對全景圖像有貢獻(xiàn)的像素的情況下，以及在這些情況下，雖然清楚地存在連接區(qū)，但對于本公開來說，這些寬范圍連接部分將具有與接縫相同的外觀。
[0084]進(jìn)一步，如圖1B所示，作為對準(zhǔn)每個(gè)幀圖像數(shù)據(jù)的結(jié)果，不僅在一般掃掠方向，而且在與掃掠方向垂直的方向識別出某種移動。由于拍攝者在掃掠的時(shí)候使照相機(jī)抖動，所以將存在由此引起的間隙。
[0085]通過確定每個(gè)幀圖像數(shù)據(jù)的接縫，通過這些邊界區(qū)域上的連接或混合處理進(jìn)行連接，以及最終考慮到照相機(jī)抖動量地在與掃掠方向垂直的方向修剪掉不必要部分，可以像圖3所示那樣，將掃掠方向設(shè)置成長邊方向地獲得具有寬視角的全景圖像。
[0086]在圖3中，垂直線示出了接縫，并示意性地示出了通過在接縫SMO到SM(n_2)上分別連接η個(gè)幀圖像數(shù)據(jù)FM#0到FM#(n-l)生成全景圖像的狀態(tài)。
[0087]下面將描述用戶為了使用成像裝置50獲取這樣的全景圖像而進(jìn)行的全景成像的特定操作例子。
[0088]首先，將成像裝置50設(shè)置成全景成像模式，并另外設(shè)置最大圖像視角。例如，能夠?qū)?20°、180°、360°等設(shè)置成最大圖像視角，在選擇360°的情況下，可以進(jìn)行為所有照片存儲周圍的整個(gè)場景的所謂全環(huán)繞成像。注意，像“360°全景成像模式”那樣的表達(dá)用在在全景成像模式下將最大圖像視角設(shè)置成360°的情況下，像“180°全景成像模式”那樣的表達(dá)用在將最大圖像視角設(shè)置成180°的情況下。
[0089]接著，通過讓拍攝者按下成像裝置50的快門按鈕開始全景成像，并進(jìn)行掃掠操作。此后，在滿足全景成像的結(jié)束條件的情況下，完成全景成像。例如，結(jié)束條件如下:
[0090]*達(dá)到事先設(shè)置的最大圖像視角的情況；
[0091]*用戶停止掃掠操作的情況；
[0092]*用戶再次按下快門按鈕的情況；
[0093]*用戶從快門按鈕上移走手指的情況(規(guī)定在全景成像期間連續(xù)按住快門按鈕)；以及
[0094]*發(fā)生某種錯(cuò)誤的情況。
[0095]在完成成像之后，自動開始全景組合處理，在經(jīng)過了某個(gè)時(shí)間之后完成全景圖像的組合，并將這個(gè)全景圖像數(shù)據(jù)保存在記錄設(shè)備中。此后，通常使列表與靜止圖像的相同，并且可以顯示該列表。
[0096]下面將描述像這種情況那樣的所生成全景圖像數(shù)據(jù)以及這種情況的顯示模式。
[0097]圖4A是全景組合時(shí)的投影處理的示意圖。雖然全景組合時(shí)的處理系統(tǒng)是多種多樣的，但往往進(jìn)行，例如，投影在柱面、球面、立方體等上的處理。這在本描述中被稱為“組合投影處理”，并與后面將描述的、為了投影顯示而進(jìn)行的“顯示投影處理”區(qū)分開。
[0098]在這個(gè)圖4A中，示出了在全景成像的時(shí)候一邊掃掠一邊捕獲的大量幀圖像數(shù)據(jù)FM?？梢哉J(rèn)為，幀圖像數(shù)據(jù)FM，S卩，與正常拍攝相同的捕獲圖像將三維場景投影在平面(例如，照相機(jī)的成像器平面)上。當(dāng)從這樣的大量幀圖像數(shù)據(jù)FM中生成像圖3的那個(gè)那樣的全景圖像數(shù)據(jù)時(shí)，例如，像組合投影處理那樣，設(shè)置將每個(gè)幀圖像數(shù)據(jù)FM投影在柱面FR上的狀態(tài)。在這個(gè)圖形中，沿著柱面FR示意性地示出了投影幀圖像數(shù)據(jù)FMpd。
[0099]通過連接對其進(jìn)行這樣的組合投影處理的幀圖像數(shù)據(jù)FMpd生成像圖4B的那個(gè)那樣的全景圖像數(shù)據(jù)H)。全景圖像數(shù)據(jù)H)可以是如從投影中心CT看過去再次在柱面FR上進(jìn)行了投影的圖像數(shù)據(jù)。
[0100]在本實(shí)施例中，對于這樣的全景圖像數(shù)據(jù)ro，單視圖顯示、列表顯示、滾動顯示和投影顯示能夠作為顯示模式來執(zhí)行。這些顯示模式例示在圖5、圖6和圖7中。
[0101]圖5示意性地示出了滾動顯示和投影顯示的概念。
[0102]滾動顯示切出作為按原樣投影在像上述那樣的柱面等上的圖像的全景圖像數(shù)據(jù)PD的一部分，并通過向上，向下，向左和向右滾動自動顯示或依照人工操作顯示。
[0103]另一方面，投影顯示不同于滾動顯示，它是對投影在柱面、球面、立方體等的全景圖像數(shù)據(jù)ro再次進(jìn)行到虛擬平面屏幕vs的投影(顯示投影處理)的圖像。
[0104]也就是說，在這種情況下，進(jìn)行像顯示投影處理那樣將在全景圖像生成的時(shí)候投影在投影面上的全景圖像數(shù)據(jù)投影在平面上的處理。此外，將投影在平面上的圖像設(shè)置成顯示圖像數(shù)據(jù)。
[0105]這樣，可以再現(xiàn)成像時(shí)的圖像，消除如從滾動顯示中看到的由柱面投影或球面投影引起的投影畸變，以及實(shí)現(xiàn)沉浸感和現(xiàn)場感得到改善的顯示。
[0106]例如，圖6示意性地示出了在360°全景成像模式下獲得的全景圖像數(shù)據(jù)的投影顯示。全景圖像數(shù)據(jù)ro是投影在投影中心CT的周圍的360°柱面上的圖像數(shù)據(jù)。這種全景圖像數(shù)據(jù)ro被投影在與每個(gè)角度相對應(yīng)的虛擬平面屏幕VS0......VS45......等上。
例如，平面屏幕VS0被顯示成中心在從投影中心CT出發(fā)的0°方向上的平面屏幕，平面屏幕VS45被顯示成中心在從投影中心CT出發(fā)的45°方向上的平面屏幕。在該圖形中，另外例示了 135。方向、180。方向、225°方向和315°方向的每個(gè)平面屏幕VS135，VS180，VS225和 VS315。
[0107]在投影顯示中，顯示投影在設(shè)置成從投影中心CT出發(fā)這樣的觀看方向的平面屏幕VS上的圖像。通過自動地或依照人工操作適當(dāng)設(shè)置從投影中心CT到平面屏幕VS的矢量或距離，可以改變觀看方向或放大/縮小。
[0108]例如，如果依次顯示平面屏幕VS0的投影圖像、平面屏幕VS1 (1°方向)、平面屏幕VS2(2°方向)、......、平面屏幕VS45、......、平面屏幕VS135、......、平面屏幕
VS315........和平面屏幕VS0的投影圖像，則可以顯示成從投影中心CT全環(huán)繞地觀看周圍。
[0109]進(jìn)一步，通過離開投影中心CT地移動平面屏幕VS或使其接近投影中心CT，將放大/縮小顯示的圖像。
[0110]但是，除了在360°全景成像模式下捕獲的全環(huán)繞全景圖像之外，不能精確獲得全景圖像數(shù)據(jù)的視角。此外，不能嚴(yán)格定義進(jìn)行顯示投影處理時(shí)的三維模型。于是，非360°全景圖像數(shù)據(jù)不適合投影顯示。
[0111]接著，圖7A示出了單視圖顯示的例子，以及圖7B示出了列表顯示的例子。
[0112]由于單視圖顯示生成簡單地包括所有全景圖像數(shù)據(jù)ro的顯示圖像數(shù)據(jù)，并顯示它，所以是普通顯示操作。例如，通過讓全景圖像變成水平長圖像，以及將其與顯示屏的不同縱橫比結(jié)合，像顯示在圖7A中那樣屏幕的一些部分(在本例的情況下，上部區(qū)域和下部區(qū)域)往往變成不顯示的區(qū)域。
[0113]如圖7B所示，列表顯示顯示能夠再現(xiàn)和顯示在列表中的圖像數(shù)據(jù)。例如，通過讓用戶在列表顯示中進(jìn)行圖像規(guī)定，可以選擇進(jìn)行上述滾動顯示或投影處理的全景圖像數(shù)據(jù)PD。
[0114]注意，例如，雖然圖7B的列表顯示的圖像不是壓縮整個(gè)水平長全景圖像的圖像，但在在列表顯示中表示全景圖像數(shù)據(jù)ro的情況下，可以切出和壓縮全景圖像的一部分，并且可以像所例示那樣進(jìn)行顯示。不用說，例如，通過壓縮整個(gè)水平長全景圖像，還存在像多并排那樣的列表顯不模式。
[0115]<2.圖像處理裝置配置例子〉
[0116]下面將描述一個(gè)實(shí)施例的圖像處理裝置的配置例子。
[0117]圖8A示出了含有包括生成全景圖像數(shù)據(jù)的聯(lián)系部分11的信息處理裝置1、和全景組合部分10的配置例子。聯(lián)系部分11和全景組合部分10可以包括在同一設(shè)備內(nèi)的單個(gè)主體中，或可以每一個(gè)包括在不同設(shè)備主體中。
[0118]進(jìn)一步，圖SB示出了含有包括顯示全景圖像數(shù)據(jù)的顯示圖像生成部分20的圖像處理裝置2、和顯示部分21的配置例子。顯示圖像生成部分20和顯示部分可以包括在同一設(shè)備內(nèi)的單個(gè)主體中，或可以每一個(gè)包括在不同設(shè)備主體中。
[0119]在圖8A的配置中，全景組合部分10從輸入圖像群FMS中生成全景圖像數(shù)據(jù)H)。輸入圖像群FMS是通過讓拍攝者在全景成像模式下一邊掃掠一邊進(jìn)行成像操作獲得的一系列幀圖像數(shù)據(jù)FM。全景組合部分10通過將多個(gè)幀圖像數(shù)據(jù)FM用作輸入圖像群FMS，生成像上面在圖1到3中所述那樣的全景圖像數(shù)據(jù)H)。
[0120]然后，全景組合部分10將所生成全景圖像數(shù)據(jù)H)供應(yīng)給聯(lián)系部分11。注意，全景組合部分10的詳細(xì)處理例子將在一個(gè)實(shí)施例的第五配置例子的描述中陳述。
[0121]進(jìn)一步，全景組合部分?ο在全景圖像數(shù)據(jù)ro的生成處理中還將各種類型的全景處理信息Ip供應(yīng)給聯(lián)系部分11。
[0122]全景處理信息Ip是在全景組合處理的各種處理中生成的各種類型信息的統(tǒng)稱。
[0123]例如，示出像360°全景成像模式或180°全景成像模式那樣的模式類型的信息(在下文中，全景模式類型信息)可以被認(rèn)為是全景處理信息Ip的內(nèi)容。
[0124]進(jìn)一步，示出全景圖像數(shù)據(jù)ro是否具有360°視角的確定結(jié)果的信息(在下文中，360°視角確定彳目息)可以被認(rèn)為是全景處理彳目息Ip的內(nèi)容。例如，這是確定是否是精確360°視角的結(jié)果的信息。注意，可以是確定具有大約360°視角的結(jié)果。
[0125]進(jìn)一步，示出全景圖像數(shù)據(jù)ro是否具有360°視角、和進(jìn)行兩端對準(zhǔn)的信息(在下文中，兩端對準(zhǔn)信息)可以被認(rèn)為是全景處理信息Ip的內(nèi)容。雖然兩端對準(zhǔn)將在一個(gè)實(shí)施例的第五配置例子的描述中陳述。但可以簡單地認(rèn)為，這是進(jìn)行調(diào)整，以便在全景圖像的0°和360°位置上，也就是說，在全景圖像的兩端上沿著垂直方向和水平方向沒有圖像間隙的處理。
[0126]進(jìn)一步，組合投影處理的投影表面的信息(在下文中，組合投影表面信息)可以被認(rèn)為是全景處理信息Ip的內(nèi)容。例如，這是示出柱面、球面、多邊形表面、平面等的信息。
[0127]進(jìn)一步，示出全景圖像數(shù)據(jù)ro的水平視角和垂直視角的信息(在下文中，水平和垂直視角?目息)可以被認(rèn)為是全景處理?目息Ip的內(nèi)容。
[0128]在所生成全景圖像數(shù)據(jù)ro被確定為全環(huán)繞全景圖像的情況下，聯(lián)系部分11進(jìn)行將這個(gè)全景圖像數(shù)據(jù)ro與示出這個(gè)全景圖像數(shù)據(jù)ro是全環(huán)繞全景圖像的信息相聯(lián)系的處理(聯(lián)系處理)。作為聯(lián)系處理的特定處理例子將在一個(gè)實(shí)施例的第一配置例子到第四配置例子中描述。
[0129]此外，聯(lián)系部分11輸出全景圖像數(shù)據(jù)以便加以記錄或發(fā)送。為了在描述中加以區(qū)分，將把聯(lián)系部分11輸出、要加以記錄或發(fā)送的全景圖像數(shù)據(jù)特別稱為“全景圖像文件PDr ”。
[0130]這個(gè)全景圖像文件PDr是記錄到記錄介質(zhì)中或發(fā)送給另一個(gè)設(shè)備的全景圖像數(shù)據(jù)。尤其，在全景圖像數(shù)據(jù)ro具有近似360°視角(或精確360°視角)的情況下，將存在與示出這是全環(huán)繞全景圖像的信息相聯(lián)系的狀態(tài)一個(gè)或多個(gè)數(shù)據(jù)文件。
[0131]接著，在圖8B的配置中，顯示圖像生成部分20獲取全景圖像文件H)r。
[0132]例如，將通過從上述聯(lián)系部分11輸出記錄到記錄介質(zhì)中的全景圖像文件PDr通過從記錄介質(zhì)中讀取供應(yīng)給顯示圖像生成部分20?？商娲兀瑢⑼ㄟ^從聯(lián)系部分11輸出發(fā)送和輸出的全景圖像文件PDr通過接收供應(yīng)給顯示圖像生成部分20。
[0133]例如，顯示圖像生成部分20為上述單視圖顯示、列表顯示、滾動顯示或投影顯示生成顯示圖像數(shù)據(jù)rodsp。尤其，在選為顯示目標(biāo)的全景圖像文件ror的全景圖像被確定為全環(huán)繞全景圖像的情況下，通過進(jìn)行顯示投影處理生成用于投影顯示的顯示圖像數(shù)據(jù)PDdsp。
[0134]此外，顯示圖像生成部分20將顯示圖像數(shù)據(jù)PDdsp供應(yīng)給顯示部分21。顯示圖像生成部分20的特定處理例子將在一個(gè)實(shí)施例的第一配置例子到第四配置例子中描述。
[0135]顯示部分21含有像液晶面板、有機(jī)電致發(fā)光(EL)面板、等離子顯示面板或陰極射線管(CRT)那樣的顯示面板、和這個(gè)顯示面板的顯示驅(qū)動部分，并進(jìn)行各種類型的顯示。通過擁有從顯示圖像生成部分20a供應(yīng)的顯示圖像數(shù)據(jù)rodsp，在這個(gè)顯示部分21中執(zhí)行基于這種顯示圖像數(shù)據(jù)rodsp的顯示操作。例如，進(jìn)行與全景圖像有關(guān)的單視圖顯示、列表顯示、滾動顯示或投影顯示。
[0136]在本例的情況下，在選為顯示目標(biāo)的全景圖像文件FOr的全景圖像被確定為全環(huán)繞全景圖像的情況下，顯示圖像生成部分20通過進(jìn)行顯示投影處理生成顯示圖像數(shù)據(jù)rodsp，并將其供應(yīng)給顯示部分21。例如，依次供應(yīng)投影在圖6的虛擬平面屏幕VS上的圖像，以及在這種情況下，由顯示部分21進(jìn)行投影顯示。
[0137]像上述那樣，各種類型的配置例子可以被認(rèn)為是含有包括聯(lián)系部分11的圖像處理設(shè)備1、和包括顯示圖像生成部分20的圖像處理裝置2的電子設(shè)備。各種類型的裝置配置例子將作為電子設(shè)備例不在圖9和圖10中。
[0138]圖9A是圖像處理裝置1和圖像處理裝置2構(gòu)成包括成像功能的裝置DVC1的例子。
[0139]這個(gè)例子的裝置DVC1含有成像部分12、全景組合部分10、聯(lián)系部分11、記錄和再現(xiàn)部分13、顯示圖像生成部分20、和顯示部分21。
[0140]例如，成像部分12通過全景圖像數(shù)據(jù)的成像操作，獲取生成全景圖像的一系列多個(gè)幀圖像數(shù)據(jù)FM。將這多個(gè)幀圖像數(shù)據(jù)FM供應(yīng)給全景組合部分10作為輸入圖像群FMS。全景組合部分10從輸入圖像群FMS中生成全景圖像數(shù)據(jù)PD，并輸出全景圖像數(shù)據(jù)ro和全景處理信息ip。聯(lián)系部分11進(jìn)行上述聯(lián)系處理，并輸出全景圖像文件ror。在記錄和再現(xiàn)部分13中將全景圖像文件PDr記錄到記錄介質(zhì)中。
[0141]將在記錄和再現(xiàn)部分13中從記錄介質(zhì)中讀取的全景圖像文件PDr供應(yīng)給顯示圖像生成部分20，并生成顯示圖像數(shù)據(jù)rodsp。將這個(gè)顯示圖像數(shù)據(jù)PDdsp供應(yīng)給顯示部分21，并進(jìn)行像投影顯示那樣的顯示。
[0142]這樣，例如，可以假設(shè)裝置DVC1是包括全景成像功能、記錄和再現(xiàn)功能、和顯示功能的數(shù)字照相機(jī)、攝像機(jī)、移動電話單元、計(jì)算機(jī)裝置等。
[0143]圖9B是圖像處理裝置1和圖像處理裝置2構(gòu)成包括從外部輸入圖像數(shù)據(jù)的圖像數(shù)據(jù)輸入功能的裝置DVC2的例子。
[0144]這個(gè)例子的裝置DVC2含有輸入部分14、全景組合部分10、聯(lián)系部分11、記錄和再現(xiàn)部分13、顯示圖像生成部分20、和顯示部分21。也就是說，與上述圖9A相比，存在包括輸入部分14來取代成像部分12的情況。
[0145]例如，輸入部分14輸入通過在外部成像裝置中進(jìn)行全景圖像數(shù)據(jù)的成像操作獲得、生成全景圖像的一系列多個(gè)幀圖像數(shù)據(jù)FM。將這多個(gè)幀圖像數(shù)據(jù)FM供應(yīng)給全景組合部分10作為輸入圖像群FMS。此后的每個(gè)部分的操作都與圖9A的那些相同。
[0146]這樣，裝置DVC2是通過使用在外部成像裝置中獲得的幀圖像數(shù)據(jù)FM進(jìn)行全景圖像生成，或進(jìn)行全景圖像的顯示的設(shè)備。例如，可以假設(shè)是通過與像數(shù)字照相機(jī)那樣的成像裝置有線或無線連接使用的圖像編輯設(shè)備、記錄和再現(xiàn)裝置、電視接收設(shè)備、移動電話單元、計(jì)算機(jī)裝置等。
[0147]圖9C的裝置DVC3是圖像處理裝置I和圖像處理裝置2構(gòu)成沒有顯示部分21的設(shè)備的例子。
[0148]這個(gè)例子的裝置DVC3含有輸入部分14 (或成像部分12)、全景組合部分10、聯(lián)系部分11、記錄和再現(xiàn)部分13、和顯示圖像生成部分20。這種情況的顯示部分21變成與裝置DVC3連接的外部設(shè)備。雖然每個(gè)部分的操作與圖9A和9B的那些相同，但顯示圖像生成部分210將生成的顯示圖像數(shù)據(jù)rodsp發(fā)送給外部顯示部分21，使像投影顯示那樣的顯示得以進(jìn)行。
[0149]這樣，圖像處理裝置I和圖像處理裝置2能夠作為沒有顯示功能的設(shè)備來執(zhí)行。
[0150]圖1OA是成為圖像處理裝置I的裝置DVC4、和成為圖像處理裝置2的裝置DVC5的例子。
[0151]裝置DVC4含有成像部分12 (或輸入部分14)、全景組合部分10、聯(lián)系部分11、和記錄部分13R。
[0152]記錄部分13R將來自聯(lián)系部分11的全景圖像文件PDr記錄到便攜式記錄介質(zhì)90中?？梢詫⒋鎯ā⒐獗P、磁盤等假設(shè)為便攜式記錄介質(zhì)90。
[0153]裝置DVC5含有再現(xiàn)部分13P、顯示圖像生成部分20、和顯示部分21。
[0154]再現(xiàn)部分13P從便攜式記錄介質(zhì)90中再現(xiàn)全景圖像文件ror，并將其供應(yīng)給顯示圖像生成部分20。顯示圖像生成部分20根據(jù)全景圖像文件PDr生成顯示圖像數(shù)據(jù)TOdsp，并通過供應(yīng)給顯示部分21使全景圖像的顯示得以進(jìn)行。
[0155]在這樣的例子中，通過便攜式記錄介質(zhì)90輸送全景圖像文件PDr的配置可以被認(rèn)為是成為圖像處理裝置I的裝置DVC4和成為圖像處理裝置2的裝置DVC5是不同主體的配置。注意，也可以考慮在裝置DVC5中不包括顯示部分21、使用外部顯示部分21的例子。
[0156]圖1OB是成為圖像處理裝置I的裝置DVC6、和成為圖像處理裝置2的裝置DVC7的例子。
[0157]裝置DVC6含有成像部分12 (或輸入部分14)、全景組合部分10、聯(lián)系部分11、和通信部分15。
[0158]通信部分15將來自聯(lián)系部分11的全景圖像文件PDr發(fā)送到外部。
[0159]裝置DVC7含有通信部分16、顯示圖像生成部分20、和顯示部分21。
[0160]通信部分16接收從裝置DVC6發(fā)送的全景圖像文件TOr，并將其供應(yīng)給顯示圖像生成部分20。顯示圖像生成部分20根據(jù)全景圖像文件PDr生成顯示圖像數(shù)據(jù)TOdsp，并通過供應(yīng)給顯示部分21使全景圖像的顯示得以進(jìn)行。
[0161]在這樣的例子中，通過通信輸送全景圖像文件PDr的配置可以被認(rèn)為是成為圖像處理裝置1的裝置DVC4和成為圖像處理裝置2的裝置DVC5是不同主體的配置。
[0162]關(guān)于通信部分15和16之間的通信，也可以考慮有線通信或無線通信。進(jìn)一步，假設(shè)該通信是像通過設(shè)備之間的電纜連接的通信、通過通用串行總線(USB)等的通信、通過局域網(wǎng)(LAN)的通信、或使用像互聯(lián)網(wǎng)那樣的公共網(wǎng)絡(luò)的通信那樣的所謂通信模式。另外，通信部分15可以進(jìn)行在互聯(lián)網(wǎng)上將全景圖像文件PDr上載到服務(wù)器等的通信，或通信部分16可以進(jìn)行從服務(wù)器下載全景圖像文件H)r的通信。進(jìn)一步，通信部分15和16可以進(jìn)行采用云計(jì)算的通信。
[0163]注意，也可以考慮在裝置DVC7中不包括顯示部分21、使用外部顯示部分21的例子。
[0164]至此，雖然已經(jīng)示出了設(shè)備配置例子，但可以針對各種類型另外考慮實(shí)現(xiàn)圖像處理裝置1和2的設(shè)備配置。
[0165]例如，在采用云計(jì)算系統(tǒng)的情況下，也可以考慮將聯(lián)系部分11和顯示圖像生成部分20安排在網(wǎng)絡(luò)上而不是在用戶使用設(shè)備中。
[0166]進(jìn)一步，上述全景圖像文件PDr是對其進(jìn)行將全景圖像數(shù)據(jù)與顯示這個(gè)全景圖像數(shù)據(jù)ro是全環(huán)繞全景圖像的信息相聯(lián)系的處理的數(shù)據(jù)。雖然可以考慮構(gòu)建將顯示是全環(huán)繞全景圖像的信息(例如，后面將描述的元數(shù)據(jù)或?qū)Ｓ贸绦?與全景圖像數(shù)據(jù)ro合并的文件作為這個(gè)全景圖像文件ror，但也可以作為不同文件地包括另外全景圖像數(shù)據(jù)ro和顯示是全環(huán)繞全景圖像的信息，以及還存在通過某種信息將這些相聯(lián)系的模式。
[0167]<3.第一配置例子(元數(shù)據(jù))>
[0168]在下文中，將描述作為顯示在圖8中的聯(lián)系部分11和顯示圖像生成部分20的特定配置例子。第一配置例子是聯(lián)系部分11使用元數(shù)據(jù)進(jìn)行聯(lián)系的例子。
[0169]圖11A示出了圖像處理裝置1中的全景組合部分10和聯(lián)系部分11。在這個(gè)第一配置例子中，聯(lián)系部分11含有元數(shù)據(jù)生成部分11a和數(shù)據(jù)綜合部分lib。
[0170]全景組合部分10生成全景圖像數(shù)據(jù)PD并輸出全景處理信息Ip。
[0171]將全景處理信息Ip供應(yīng)給元數(shù)據(jù)生成部分11a。元數(shù)據(jù)生成部分11a生成反映全景處理信息Ip的元數(shù)據(jù)MT。作為上述全景處理信息Ip的內(nèi)容，存在全景模式類型信息、360°視角確定信息、兩端對準(zhǔn)信息、組合投影表面信息、水平和垂直視角信息等。
[0172]在生成的全景圖像數(shù)據(jù)ro被確定為全環(huán)繞全景圖像的情況下，這些信息當(dāng)中的全景模式類型信息、360°視角確定信息或兩端對準(zhǔn)信息可以成為顯示這個(gè)全景圖像數(shù)據(jù)PD是全環(huán)繞全景圖像的信息。
[0173]數(shù)據(jù)綜合部分lib通過將全景組合部分10生成的全景圖像數(shù)據(jù)ro與元數(shù)據(jù)生成部分11a生成的元數(shù)據(jù)MT綜合生成全景圖像文件ror。例如，全景圖像文件PDr成為像圖11B那樣的結(jié)構(gòu)。也就是說，這是包括首標(biāo)、全景圖像數(shù)據(jù)ro、和元數(shù)據(jù)MT的數(shù)據(jù)文件結(jié)構(gòu)。
[0174]在例示在圖9和圖10中的裝置DVC1到DVC3、DVC4和DVC6的每一種中，將這樣的全景圖像文件PDr記錄到記錄介質(zhì)中或加以發(fā)送和輸出。
[0175]圖11C示出了圖像處理裝置2中的顯示圖像生成部分20。在這個(gè)第一配置例子中，顯示圖像生成部分20含有數(shù)據(jù)分離部分20a、元數(shù)據(jù)解釋部分20b、和圖像生成處理部分 20c。
[0176]將從記錄介質(zhì)中再現(xiàn)或接收的全景圖像文件PDr輸入數(shù)據(jù)分離部分20a中。數(shù)據(jù)分離部分20a從這個(gè)全景圖像文件TOr中分離元數(shù)據(jù)MT和全景圖像數(shù)據(jù)H)。
[0177]元數(shù)據(jù)MT經(jīng)元數(shù)據(jù)解釋部分20b解釋，供應(yīng)給圖像生成處理部分20c作為全景處理信息Ip (全景模式類型信息、360°視角確定信息、兩端對準(zhǔn)信息、組合投影表面信息、水平和垂直視角信息)。
[0178]圖像生成處理部分20c根據(jù)全景圖像數(shù)據(jù)ro生成并輸出顯示圖像數(shù)據(jù)rodsp。此時(shí)，依照全景處理信息Ip的內(nèi)容確定是否為投影顯示進(jìn)行顯示圖像數(shù)據(jù)rodsp生成。也就是說，在顯示目標(biāo)的全景圖像數(shù)據(jù)ro被確定為全環(huán)繞全景圖像的情況下，進(jìn)行有關(guān)投影顯示的處理，而在不是全環(huán)繞全景圖像的情況下，進(jìn)行，例如，有關(guān)滾動顯示或單視圖顯示的處理。
[0179]然后，將生成的顯示圖像數(shù)據(jù)rodsp供應(yīng)給未例示的顯示部分、或含有顯示部分的設(shè)備，并進(jìn)行顯示。
[0180]在例示在圖9和圖10中的裝置DVCl到DVC3、DVC5和DVC7的每一種中，將這種顯示圖像數(shù)據(jù)PDdsp供應(yīng)給顯示部分21并進(jìn)行全景圖像顯示。
[0181]在圖12中示出了上述圖像處理裝置I和圖像處理裝置2的處理例子。
[0182]圖12A示出了作為圖像處理裝置I的全景組合部分10和聯(lián)系部分11的處理。
[0183]在步驟Fl中，全景組合部分10獲取輸入圖像群FMS。
[0184]在步驟F2中，通過讓全景組合部分10進(jìn)行全景組合處理生成全景圖像數(shù)據(jù)H)。全景組合部分10將在這種全景組合處理過程中獲得的全景處理信息Ip供應(yīng)給聯(lián)系部分11 (元數(shù)據(jù)生成部分11a)。
[0185]在步驟F3中，聯(lián)系部分11 (元數(shù)據(jù)生成部分I Ia)根據(jù)全景處理信息Ip生成元數(shù)據(jù)MT。
[0186]在步驟F4中，聯(lián)系部分11 (數(shù)據(jù)綜合部分Ilb)將全景圖像數(shù)據(jù)H)與元數(shù)據(jù)MT綜合并生成，例如，像圖1lB的那個(gè)那樣的全景圖像文件H)r。
[0187]在步驟F5中，由未例示的記錄和再現(xiàn)部分將全景圖像文件PDr記錄到記錄介質(zhì)中，并通過未例示的通信部分發(fā)送和輸出到外部設(shè)備、網(wǎng)絡(luò)等。
[0188]在圖12B中，示出了圖像處理裝置2的顯示圖像生成部分20的處理。
[0189]在步驟F51中，顯示圖像生成部分20(數(shù)據(jù)分離部分20a)獲取通過未例示的記錄介質(zhì)再現(xiàn)或通過未例示的通信部分接收的全景圖像文件ror。
[0190]在步驟F52中，顯示圖像生成部分20 (數(shù)據(jù)分離部分20a、元數(shù)據(jù)解釋部分20b)從全景圖像文件PDr中分離全景圖像數(shù)據(jù)H)和元數(shù)據(jù)MT，提供元數(shù)據(jù)MT，并通過解釋這個(gè)元數(shù)據(jù)MT獲取全景處理信息Ip。
[0191]在步驟F53中，顯示圖像生成部分20 (圖像生成處理部分20c)通過此時(shí)的顯示目標(biāo)的全景圖像數(shù)據(jù)ro是否是具有360°視角的全環(huán)繞全景圖像將處理分支。
[0192]可以針對各種類型考慮全景圖像數(shù)據(jù)ro是否是全環(huán)繞全景圖像的確定。
[0193]通過參照全景處理信息Ip中的360°視角確定信息,可以確定全景圖像數(shù)據(jù)F1D是否具有精確360°視角。于是，可以在具有精確360°視角的情況下確定是全環(huán)繞全景圖像。
[0194]進(jìn)一步，通過參照全景處理信息Ip中的兩端對準(zhǔn)信息，可以確定全景圖像數(shù)據(jù)ro是否具有360°視角，以及是否進(jìn)行兩端對準(zhǔn)處理。于是，通過作為條件，具有360°視角和進(jìn)行兩端對準(zhǔn)處理的設(shè)置，可以確定是全環(huán)繞全景圖像。
[0195]進(jìn)一步，通過參照全景處理信息Ip中的全景模式類型信息，可以確定是否以360°全景成像模式捕獲全景圖像數(shù)據(jù)ro，也就是說，是否具有近似360°視角。于是，如果以360°全景成像模式捕獲，則可以確定是全環(huán)繞全景圖像。
[0196]注意，可能沒有必要認(rèn)為以360°全景成像模式捕獲的全景圖像數(shù)據(jù)具有精確360°視角。這是因?yàn)椋?60°全景成像模式下，雖然從在成像的時(shí)候通過360°掃掠獲得的幀圖像數(shù)據(jù)FM中生成全景圖像數(shù)據(jù)PD，但該掃掠由執(zhí)行進(jìn)行，未必成為精確360°視角。存在用戶在到達(dá)360°之前停止掃掠的情況。因此，在360°全景成像模式下捕獲的全景圖像數(shù)據(jù)變成估計(jì)具有近似360°視角的圖像。
[0197]在步驟F53中，使用上述確定技術(shù)的任何一種，在確定是全環(huán)繞全景圖像的情況下，顯示圖像生成部分20 (圖像生成處理部分20c)轉(zhuǎn)到步驟F54，通過進(jìn)行顯示投影處理生成顯示圖像數(shù)據(jù)rodsp，并在步驟F55中，進(jìn)行輸出這個(gè)顯示圖像數(shù)據(jù)rodsp的處理。這些步驟F54和F55的處理一直繼續(xù)到在步驟F56中，通過用戶操作或自動處理變成顯示結(jié)束。這樣，在顯示部分中，作為投影顯示，進(jìn)行，例如，使得全環(huán)繞觀看的顯示或任意方向的顯不。
[0198]這里，在進(jìn)行投影顯示的顯示投影處理中，全景圖像的視角的信息可能是有必要的。在本例的情況下，成為步驟F54的處理目標(biāo)的全景圖像數(shù)據(jù)ro像上述那樣被確定為全環(huán)繞全景圖像，于是，圖像生成處理部分20c可以通過將全景圖像數(shù)據(jù)ro設(shè)置成360°的視角進(jìn)行顯示投影處理。這樣，可以進(jìn)行存在少數(shù)圖像畸變的高質(zhì)量投影顯示。
[0199]進(jìn)一步，在顯示投影處理中，將在全景組合的時(shí)候進(jìn)行到投影表面(柱面、球面、多邊形表面等)的投影的全景圖像數(shù)據(jù)ro重新投影在虛擬平面屏幕vs上。于是，全景圖像數(shù)據(jù)ro的投影表面的信息可能是有必要的。在本例中，通過參照全景處理信息ip中的組合投影表面信息，圖像生成處理部分20c可以精確地進(jìn)行到平面屏幕vs的重新投影處理。
[0200]進(jìn)一步，在投影顯示中，通過改變虛擬平面屏幕VS的水平和垂直視角，可以與滾動顯示相同地進(jìn)行沿著水平和垂直方向觀看周圍的顯示。例如，通過沿著水平方向具有360°視角，可以在沿著水平方向進(jìn)行無限制滾動的同時(shí)，沿著垂直方向加以限制。在這種情況下，通過參照全景處理信息Ip中的水平和垂直視角信息，圖像生成處理部分20c可以限制垂直方向的能夠滾動范圍。
[0201]注意，水平和垂直視角信息可以是簡單地用于限制顯示范圍，而不是為了顯示用在到平面屏幕VS的投影處理本身中的信息。因此，可以示出視角的精確大值。在生成全景圖像數(shù)據(jù)ro的時(shí)候，可能不必進(jìn)行獲取高度精確水平和垂直視角的困難計(jì)算。
[0202]在步驟F53中，在確定不是全環(huán)繞全景圖像的情況下，在步驟F57中，顯示圖像生成部分20 (圖像生成處理部分20c)進(jìn)行另一個(gè)系統(tǒng)的顯示圖像數(shù)據(jù)生成處理。例如，像滾動顯示或單視圖顯示那樣生成全景圖像數(shù)據(jù)rodsp。然后，在步驟F58中，進(jìn)行輸出全景圖像數(shù)據(jù)rodsp的處理。這些步驟F57和F58的處理一直繼續(xù)到在步驟F59中確定顯示結(jié)束。這樣，在顯示部分中，進(jìn)行除了投影顯示之外的滾動顯示或單視圖顯示。
[0203]在不是全環(huán)繞全景圖像的情況下，如果不精確知道視角，則不能高質(zhì)量地進(jìn)行顯示。于是，進(jìn)行滾動顯示或單視圖顯示。
[0204]在像上述那樣的第一配置例子中，在信息處理裝置I中，聯(lián)系部分11通過將包括示出是全環(huán)繞全景圖像的信息的元數(shù)據(jù)MT與全景圖像數(shù)據(jù)ro相聯(lián)系生成全景圖像文件PDr0
[0205]示出全景圖像生成時(shí)幀圖像數(shù)據(jù)的投影表面的類型的組合投影表面信息、全景圖像數(shù)據(jù)ro的360°視角確定信息、兩端對準(zhǔn)信息、全景模式信息和水平和垂直視角信息才包括在元數(shù)據(jù)MT中。
[0206]另一方面，在圖像處理裝置2中，顯示圖像生成部分20在全景圖像數(shù)據(jù)H)被確定為全環(huán)繞全景圖像的時(shí)候，通過進(jìn)行顯示投影處理生成顯示圖像數(shù)據(jù)，并使投影顯示得以進(jìn)行。全環(huán)繞全景圖像的確定使用相聯(lián)系成元數(shù)據(jù)MT的信息。
[0207]通過這樣的配置，可以對可以進(jìn)行精確投影顯示的全環(huán)繞全景圖像自動進(jìn)行投影顯示，以及可以為用戶提供具有沉浸感的顯示。另一方面，通過在不能精確指定非全環(huán)繞全景圖像的視角的時(shí)候，通過另一種顯示系統(tǒng)進(jìn)行顯示，可以進(jìn)行顯示操作的切換，以便不進(jìn)行低質(zhì)量投影顯示。
[0208]進(jìn)一步，全景模式類型信息、360°視角確定信息、兩端對準(zhǔn)信息等作為元數(shù)據(jù)MT包括進(jìn)來，通過讓這些信息與全景圖像數(shù)據(jù)ro相聯(lián)系，可以容易地和精確地進(jìn)行是否是全環(huán)繞全景圖像的確定。也就是說，使顯示系統(tǒng)的選擇變得既容易又精確。
[0209]進(jìn)一步，通過讓組合投影表面信息包括在元數(shù)據(jù)MT中，可以精確地進(jìn)行顯示投影處理。
[0210]<4.第二配置例子(專用程序)>
[0211]下面將描述一個(gè)實(shí)施例的第二配置例子。在第二配置例子中，圖像處理裝置I的聯(lián)系部分11將用于顯示全環(huán)繞全景圖像的顯示處理程序(專用程序)與全景圖像數(shù)據(jù)ro相聯(lián)系，作為示出是全環(huán)繞全景圖像的信息。
[0212]進(jìn)一步，圖像處理裝置2的顯示圖像生成部分20通過讓顯示處理程序與全景圖像數(shù)據(jù)ro相聯(lián)系確定是全環(huán)繞全景圖像，并根據(jù)這個(gè)顯示處理程序，通過進(jìn)行顯示投影處理生成顯示圖像數(shù)據(jù)。
[0213]圖13A示出了圖像處理裝置I中的全景組合部分10和聯(lián)系部分11。在這個(gè)第二配置例子中，聯(lián)系部分11含有顯示處理程序生成部分Ild和數(shù)據(jù)綜合部分lie。
[0214]全景組合部分10生成全景圖像數(shù)據(jù)PD并輸出全景處理信息Ip。
[0215]將全景處理信息Ip供應(yīng)給顯示處理程序生成部分lid。顯示處理程序生成部分IId使顯示處理程序PG根據(jù)全景處理信息Ip生成。通過全景處理信息Ip中的全景模式類型信息、360°視角確定信息和兩端對準(zhǔn)信息的任何一種確定全景圖像數(shù)據(jù)H)是否是全環(huán)繞全景圖像，在全環(huán)繞全景圖像的情況下，顯示處理程序生成部分Ild使顯示處理程序PG得以生成。
[0216]例如，由于描述在Flash (Adobe)、QuickTime VR(Apple)或 HTML5 中，所以作為顯示處理程序PG，可以由多種多樣顯示設(shè)備進(jìn)行再現(xiàn)和顯示。
[0217]數(shù)據(jù)綜合部分lie通過將全景組合部分10生成的全景圖像數(shù)據(jù)H)與顯示處理程序生成部分Ild生成的顯示處理程序PG綜合生成全景圖像文件ror。例如，全景圖像文件PDr變成像圖13B那樣的結(jié)構(gòu)。也就是說，這是包括首標(biāo)、全景圖像數(shù)據(jù)H)和顯示處理程序PG的數(shù)據(jù)文件結(jié)構(gòu)。
[0218]在例示在圖9和圖10中的裝置DVC1到DVC3、DVC4和DVC6的每一種中，將這樣的全景圖像文件PDr記錄到記錄介質(zhì)中或加以發(fā)送和輸出。注意，如例示成全景圖像文件ror，雖然全景圖像數(shù)據(jù)ro可以被設(shè)置成普通全景保存形式，以及可以與顯示處理程序PG相加，但也可以將它設(shè)置成將全景圖像數(shù)據(jù)ro嵌入顯示處理程序本身中的形式。
[0219]圖13C示出了圖像處理裝置2中的顯示圖像生成部分20。在這個(gè)第二配置例子中，顯示圖像生成部分20含有數(shù)據(jù)分離部分20f、和圖像生成處理部分20c。
[0220]將從記錄介質(zhì)中再現(xiàn)或接收的全景圖像文件PDr輸入數(shù)據(jù)分離部分20f中。數(shù)據(jù)分離部分20f從這個(gè)全景圖像文件PDr中分離全景圖像數(shù)據(jù)和顯示處理程序PG，并將它們供應(yīng)給圖像生成處理部分20c。
[0221]注意，在全景圖像數(shù)據(jù)ro不是全環(huán)繞全景圖像的情況下，顯示處理程序PG不包括在全景圖像文件ror中，因此，數(shù)據(jù)分離部分20f只將全景圖像數(shù)據(jù)ro供應(yīng)給圖像生成處理部分20c。
[0222]圖像生成處理部分20c根據(jù)全景圖像數(shù)據(jù)ro生成并輸出顯示圖像數(shù)據(jù)rodsp。此時(shí)，如果存在顯示處理程序PG，則通過根據(jù)顯示處理程序PG進(jìn)行處理，為投影顯示進(jìn)行顯示圖像數(shù)據(jù)rodsp生成。在全景圖像數(shù)據(jù)ro不是全環(huán)繞全景圖像，以及未提取顯示處理程序PG的的情況下，進(jìn)行另一種顯示，例如，滾動顯示或單視圖顯示的處理。
[0223]然后，將生成的顯示圖像數(shù)據(jù)PDdsp供應(yīng)給未例示的顯示部分、或含有顯示部分的設(shè)備，并進(jìn)行顯示。
[0224]在例示在圖9和圖10中的裝置DVC1到DVC3、DVC5和DVC7的每一種中，將這種顯示圖像數(shù)據(jù)PDdsp供應(yīng)給顯示部分21并進(jìn)行全景圖像顯示。
[0225]在圖14中示出了上述圖像處理裝置1和圖像處理裝置2的處理例子。
[0226]圖14A示出了作為圖像處理裝置1的全景組合部分10和聯(lián)系部分1的處理。
[0227]在步驟F11中，全景組合部分10獲取輸入圖像群FMS。
[0228]在步驟F12中，通過讓全景組合部分10進(jìn)行全景組合處理生成全景圖像數(shù)據(jù)H)。全景組合部分10將在這種全景組合處理過程中獲得的全景處理信息Ip供應(yīng)給聯(lián)系部分11 (顯示處理程序生成部分lid)。
[0229]在步驟F13中，聯(lián)系部分11 (顯示處理程序生成部分lid)確認(rèn)全景處理信息Ip，并進(jìn)行生成全景圖像數(shù)據(jù)ro是否是全環(huán)繞全景圖像的確定。
[0230]與在第一配置例子中所陳述的類似，是否是全環(huán)繞全景圖像的確定可以通過參照全景處理信息Ip中的360°視角確定信息的系統(tǒng)、參照兩端對準(zhǔn)信息的系統(tǒng)、參照全景模式類型信息的系統(tǒng)等來考慮。
[0231]在是全環(huán)繞全景圖像的情況下，從步驟F14轉(zhuǎn)到步驟F15，聯(lián)系部分11 (顯示處理程序生成部分lid)使顯示處理程序PG得以生成。
[0232]在步驟F16中，在生成顯示處理程序PG的情況下，聯(lián)系部分11 (顯示處理程序生成部分lid)綜合全景圖像數(shù)據(jù)ro和顯示處理程序PG，并生成像，例如，圖13B的那種那樣的全景圖像文件ror。在未生成顯示處理程序PG的情況下，也就是說，在不是全環(huán)繞全景圖像的情況下，生成包括全景圖像數(shù)據(jù)ro的全景圖像文件ror。
[0233]在步驟F17中，由未例示的記錄和再現(xiàn)部分將全景圖像文件PDr記錄到記錄介質(zhì)中，并通過未例示的通信部分發(fā)送和輸出到外部設(shè)備、網(wǎng)絡(luò)等。
[0234]在圖14B中，示出了圖像處理裝置2的顯示圖像生成部分20的處理。
[0235]在步驟F60中，顯示圖像生成部分20(數(shù)據(jù)分離部分20f)獲取在未例示的記錄介質(zhì)中再現(xiàn)或在未例示的通信部分中接收的全景圖像文件ror。
[0236]在步驟F61中，顯示圖像生成部分20(數(shù)據(jù)分離部分20f)進(jìn)行全景圖像文件TOr的分離處理，并確認(rèn)是否包括顯示處理程序PG。
[0237]在步驟F62中，顯示圖像生成部分20依照顯示處理程序PG的存在與否將處理分支。
[0238]在存在顯示處理程序PG的情況下，在步驟F63中，獲取顯示處理程序PG，并將其設(shè)置成用作圖像生成處理部分20c生成顯示圖像的程序的狀態(tài)。
[0239]然后，顯示圖像生成部分20 (圖像生成處理部分20c)轉(zhuǎn)到步驟F64，通過依照顯示處理程序PG進(jìn)行顯示投影處理生成顯示圖像數(shù)據(jù)PDdsp，并在步驟F65中，進(jìn)行輸出這個(gè)顯示圖像數(shù)據(jù)HMsp的處理。這些步驟F64和F65的處理一直繼續(xù)到在步驟F66中，通過用戶操作或自動處理變成顯示結(jié)束。這樣，在顯示部分中，作為投影顯示，進(jìn)行，例如，使得全環(huán)繞觀看的顯示或任意方向的顯示等。
[0240]注意，像用于另外滾動限制的水平和垂直視角信息那樣，在顯示處理程序PG中可以描述全景圖像數(shù)據(jù)ro具有360°視角的全景圖像數(shù)據(jù)ro的投影表面的信息。
[0241]在在步驟F62中確定不存在顯示處理程序PG的情況下，顯示圖像生成部分20 (圖像生成處理部分20c)在步驟F67中根據(jù)現(xiàn)有顯示處理程序進(jìn)行顯示圖像數(shù)據(jù)生成處理。例如，當(dāng)圖像生成處理部分20c中顯示處理程序被存儲成滾動顯示或單視圖顯示時(shí)，使用這些程序像滾動顯示或單視圖顯示那樣生成顯示圖像數(shù)據(jù)rodsp。然后，在步驟F68中，進(jìn)行輸出顯示圖像數(shù)據(jù)I3Ddsp的處理。步驟F67和F68的處理一直繼續(xù)到在步驟F69中確定顯示結(jié)束。這樣，在顯示部分中，進(jìn)行除了投影顯示之外的滾動顯示或單視圖顯示。也就是說，在不是全環(huán)繞全景圖像的情況下，進(jìn)行滾動顯示或單視圖顯示。
[0242]在像上述那樣的第二配置例子中，在信息處理裝置I中，聯(lián)系部分11通過將進(jìn)行與全環(huán)繞全景圖像相對應(yīng)的投影顯示的顯示處理程序PG與全景圖像數(shù)據(jù)ro相聯(lián)系生成全景圖像文件ror。
[0243]另一方面，在圖像處理裝置2中，如果存在顯示處理程序PG，則顯示圖像生成部分20通過根據(jù)這個(gè)顯示處理程序PG進(jìn)行顯示投影處理，為投影顯示生成顯示圖像數(shù)據(jù)PDdsp。
[0244]通過這樣的配置，可以對可以進(jìn)行適當(dāng)投影顯示的全環(huán)繞全景圖像自動進(jìn)行投影顯示，以及可以為用戶提供具有沉浸感的顯示。另一方面，通過在不能精確指定非全環(huán)繞全景圖像的視角的時(shí)候，通過另一種顯示系統(tǒng)進(jìn)行顯示，可以進(jìn)行顯示操作的切換，以便不進(jìn)行低質(zhì)量投影顯示。
[0245]<5.第三配置例子(文件鏈接信息)>
[0246]下面將描述一個(gè)實(shí)施例的第三配置例子。在第三配置例子中，圖像處理裝置I的聯(lián)系部分η進(jìn)行將包括示出是全環(huán)繞全景圖像的信息的與包括全景圖像數(shù)據(jù)ro的數(shù)據(jù)文件相聯(lián)系的處理。
[0247]進(jìn)一步，圖像處理裝置2的顯示圖像生成部分20從包括全景圖像數(shù)據(jù)H)的數(shù)據(jù)文件中確認(rèn)相聯(lián)系的數(shù)據(jù)文件，并通過獲取信息確定是否是全環(huán)繞全景圖像。然后，在是全環(huán)繞全景圖像的情況下，通過進(jìn)行顯示投影處理生成顯示圖像數(shù)據(jù)。
[0248]圖15A示出了圖像處理裝置1中的全景組合部分10和聯(lián)系部分11。在這個(gè)第三配置例子中，聯(lián)系部分11含有兀數(shù)據(jù)生成部分11a和聯(lián)系信息加入部分11c。
[0249]全景組合部分10生成全景圖像數(shù)據(jù)PD，并輸出全景處理信息Ip。將全景處理信息Ip (全景模式類型信息、360°視角確定信息、兩端對準(zhǔn)信息、組合投影信息、水平和垂直視角信息等)供應(yīng)給元數(shù)據(jù)生成部分11a。
[0250]元數(shù)據(jù)生成部分11a生成反映全景處理信息Ip的元數(shù)據(jù)MT。
[0251]如圖15B所示，聯(lián)系信息加入部分11c生成包括全景圖像數(shù)據(jù)Η)的全景圖像文件PDrl，并生成包括元數(shù)據(jù)MT的數(shù)據(jù)文件H)r2。在這種情況下，將文件鏈接信息LK1和LK2分別加入全景圖像文件rorl和數(shù)據(jù)文件Η)Γ2中，并使它們相互聯(lián)系。文件鏈接信息LK1是指定數(shù)據(jù)文件Η)Γ2的信息，文件鏈接信息LK2是指定全景圖像文件rorl的信息。注意，可以將指定其它的文件鏈接信息只加入全景圖像文件rori和數(shù)據(jù)文件ror2之一中。
[0252]在例示在圖9和圖10中的裝置DVC1到DVC3、DVC4和DVC6的每一種中，將這樣的全景圖像文件PDr和數(shù)據(jù)文件Η)γ2記錄到記錄介質(zhì)中或加以發(fā)送和輸出。記錄每種文件的記錄介質(zhì)可以是不同記錄介質(zhì)。進(jìn)一步，可以將每種文件發(fā)送給不同設(shè)備、網(wǎng)絡(luò)服務(wù)器等。
[0253]圖15C示出了圖像處理裝置2中的顯示圖像生成部分20。在這個(gè)第三配置例子中，顯示圖像生成部分20含有聯(lián)系信息提取部分20d、相應(yīng)數(shù)據(jù)獲取部分20e、元數(shù)據(jù)解釋部分20b、和圖像生成處理部分20c。
[0254]將從記錄介質(zhì)中再現(xiàn)或接收的全景圖像文件PDr輸入聯(lián)系信息提取部分20d中。聯(lián)系信息提取部分20d從這個(gè)全景圖像文件PDr中提取文件鏈接信息LK1并將其供應(yīng)給相應(yīng)數(shù)據(jù)獲取部分20e，以及將全景圖像數(shù)據(jù)供應(yīng)給圖像生成處理部分20c。
[0255]相應(yīng)數(shù)據(jù)獲取部分20e使用文件鏈接信息LK1進(jìn)行訪問ACLK，并獲取相關(guān)數(shù)據(jù)文件H)r2。例如，通過訪問規(guī)定記錄介質(zhì)讀取數(shù)據(jù)文件H)r2?？商娲?，通過訪問規(guī)定外部設(shè)備、網(wǎng)絡(luò)服務(wù)器等接收數(shù)據(jù)文件Η)Γ2。然后，如果相應(yīng)數(shù)據(jù)獲取部分20e獲得數(shù)據(jù)文件PDr2，則提取元數(shù)據(jù)MT，并將其供應(yīng)給元數(shù)據(jù)解釋部分20b。也就是說，獲取與此時(shí)的顯示目標(biāo)的的全景圖像數(shù)據(jù)ro相聯(lián)系的元數(shù)據(jù)MT。
[0256]元數(shù)據(jù)MT經(jīng)元數(shù)據(jù)解釋部分20b解釋，供應(yīng)給圖像生成處理部分20c作為全景處理信息Ip (全景模式類型信息、360°視角確定信息、兩端對準(zhǔn)信息、組合投影表面信息、水平和垂直視角信息)。
[0257]圖像生成處理部分20c根據(jù)全景圖像數(shù)據(jù)ro生成并輸出顯示圖像數(shù)據(jù)rodsp。此時(shí)，依照全景處理信息Ip的內(nèi)容確定是否為投影顯示進(jìn)行顯示圖像數(shù)據(jù)rodsp生成。也就是說，在顯示目標(biāo)的全景圖像數(shù)據(jù)ro被確定為全環(huán)繞全景圖像的情況下，進(jìn)行有關(guān)投影顯示的處理，而在不是全環(huán)繞全景圖像的情況下，進(jìn)行另一種顯示，例如，滾動顯示或單視圖顯示的處理。
[0258]然后，將生成的顯示圖像數(shù)據(jù)PDdsp供應(yīng)給未例示的顯示部分、或含有顯示部分的設(shè)備，并進(jìn)行顯示。
[0259]在例示在圖9和圖10中的裝置DVC1到DVC3、DVC5和DVC7的每一種中，將這種顯示圖像數(shù)據(jù)PDdsp供應(yīng)給顯示部分21并進(jìn)行全景圖像顯示。
[0260]在圖16中示出了上述圖像處理裝置I和圖像處理裝置2的處理例子。
[0261]圖16A示出了作為圖像處理裝置I的全景組合部分10和聯(lián)系部分11的處理。
[0262]在步驟F21中，全景組合部分10獲取輸入圖像群FMS。
[0263]在步驟F22中，通過讓全景組合部分10進(jìn)行全景組合處理生成全景圖像數(shù)據(jù)H)。全景組合部分10將在這種全景組合處理過程中獲得的全景處理信息Ip供應(yīng)給聯(lián)系部分11 (元數(shù)據(jù)生成部分11a)。
[0264]在步驟F23中，聯(lián)系部分11 (元數(shù)據(jù)生成部分Ila)根據(jù)全景處理信息Ip生成元數(shù)據(jù)MT。
[0265]在步驟F24中，聯(lián)系部分11 (聯(lián)系信息加入部分lie)生成包括全景圖像數(shù)據(jù)H)和文件鏈接信息LKl的全景圖像文件TOr I，或生成包括元數(shù)據(jù)MT和文件鏈接信息LK2的數(shù)據(jù)文件H)r2。
[0266]在步驟F25中，由未例示的記錄再現(xiàn)部分將全景圖像文件I3Drl和數(shù)據(jù)文件H)r2記錄到記錄介質(zhì)中，并通過未例示的通信部分發(fā)送和輸出到外部設(shè)備、網(wǎng)絡(luò)等。
[0267]圖16B示出了圖像處理裝置2的顯示圖像生成部分20的處理。
[0268]在步驟F71中，顯示圖像生成部分20(聯(lián)系信息提取部分20d)獲取通過未例示的記錄介質(zhì)再現(xiàn)或通過未例示的通信部分接收的全景圖像文件rori。
[0269]在步驟F72中，顯示圖像生成部分20(聯(lián)系信息提取部分10d、相應(yīng)數(shù)據(jù)獲取部分20e、元數(shù)據(jù)解釋部分20b)使用從全景圖像文件TOrl中提取的鏈接信息LKl進(jìn)行訪問，并獲取數(shù)據(jù)文件Η)Γ2。然后，從數(shù)據(jù)文件Η)Γ2中提取元數(shù)據(jù)MT，并通過對此加以解釋獲取全景處理信息Ip。
[0270]在步驟F73中，顯示圖像生成部分20 (圖像生成處理部分20c)通過此時(shí)的顯示目標(biāo)的全景圖像數(shù)據(jù)ro是否是具有360°視角的全環(huán)繞全景圖像將處理分支。
[0271]如第一配置例子所述，可以通過全景處理信息Ip中的全景模式類型信息、360°視角確定信息和兩端對準(zhǔn)信息的任何一種確定全景圖像數(shù)據(jù)ro是否是全環(huán)繞全景圖像。
[0272]在步驟F73中，在確定是全環(huán)繞全景圖像的情況下，顯示圖像生成部分20(圖像生成處理部分20c)轉(zhuǎn)到步驟F74，通過進(jìn)行顯示投影處理生成顯示圖像數(shù)據(jù)rodsp，并在步驟F75中，進(jìn)行輸出這個(gè)顯示圖像數(shù)據(jù)I3Ddsp的處理。這些步驟F74和F75的處理一直繼續(xù)到在步驟F76中，通過用戶操作或自動處理變成顯示結(jié)束。這樣，在顯示部分中，作為投影顯示，進(jìn)行，例如，使得全環(huán)繞觀看的顯示或任意方向的顯示。
[0273]注意，在這種情況下，由于全景圖像數(shù)據(jù)H)是全環(huán)繞全景圖像，所以可以將用在顯示投影處理中的視角設(shè)置成360°。
[0274]進(jìn)一步，通過參照全景處理信息Ip中的組合投影表面信息，圖像生成處理部分20c可以精確地進(jìn)行到平面屏幕VS的重新投影處理。
[0275]在在步驟F73中確定不是全環(huán)繞全景圖像的情況下，顯示圖像生成部分20(圖像生成處理部分20c)在步驟F77中進(jìn)行另一種系統(tǒng)的顯示圖像數(shù)據(jù)生成處理。例如，像滾動顯示或單視圖顯示那樣生成全景圖像數(shù)據(jù)rodsp。然后，在步驟F78中，進(jìn)行輸出全景圖像數(shù)據(jù)I3Ddsp的處理。這些步驟F77和F78的處理一直繼續(xù)到在步驟F79中確定顯示結(jié)束。這樣，在顯示部分中，進(jìn)行除了投影顯示之外的滾動顯示或單視圖顯示。也就是說，在全景圖像數(shù)據(jù)H)不是全環(huán)繞全景圖像，以及不精確知道視角的情況下，進(jìn)行滾動顯示或單視圖顯不。
[0276]在像上述那樣的第三配置例子中，在信息處理裝置1中，聯(lián)系部分11生成包括元數(shù)據(jù)MT(包括示出是全環(huán)繞全景圖像的信息)的數(shù)據(jù)文件ror2、和包括全景圖像數(shù)據(jù)ro的全景圖像文件rorl，并通過文件鏈接信息LK1和LK2聯(lián)系這些文件。
[0277]另一方面，圖像處理裝置2中的顯示圖像生成部分20使用文件鏈接信息獲取與全景圖像數(shù)據(jù)ro相聯(lián)系的元數(shù)據(jù)MT，并從元數(shù)據(jù)MT中確定全景圖像數(shù)據(jù)ro是否是全環(huán)繞全景圖像。然后，在全景圖像數(shù)據(jù)ro被確定為全環(huán)繞全景圖像的時(shí)候，通過進(jìn)行顯示投影處理生成顯示圖像數(shù)據(jù)，并進(jìn)行投影顯示。
[0278]通過這樣的配置，可以對可以進(jìn)行適當(dāng)投影顯示的全環(huán)繞全景圖像自動進(jìn)行投影顯示，以及可以為用戶提供具有沉浸感的顯示。另一方面，通過在不能精確指定非全環(huán)繞全景圖像的視角的時(shí)候，通過另一種顯示系統(tǒng)進(jìn)行顯示，可以進(jìn)行顯示操作的切換，以便不進(jìn)行低質(zhì)量投影顯示。
[0279]注意，在圖15和16中，通過使用元數(shù)據(jù)MT的例子來描述，但也可以使用在第二配置例子中陳述的顯示處理程序PG來考慮。
[0280]例如，讓不是元數(shù)據(jù)MT的顯示處理程序PG包括在顯示在圖15B中的數(shù)據(jù)文件PDr2中。這是如果顯示處理程序PG包括在相關(guān)數(shù)據(jù)文件Η)Γ2中，則顯示圖像生成部分20使用這個(gè)顯示處理程序PG為投影顯示進(jìn)行顯示圖像數(shù)據(jù)rodsp的生成處理的例子。
[0281]示出是全環(huán)繞全景圖像的信息作為與上述全景圖像數(shù)據(jù)ro不同的文件包括進(jìn)來，以及可以針對各種類型考慮使這些相聯(lián)系的模式。作為相關(guān)技術(shù)1，例如，唯一素材標(biāo)識符(UMID)作為引用視頻編輯數(shù)據(jù)中的視頻素材的信息是眾所周知的(例如，參照J(rèn)P2004-312233A)。例如，圖15B的數(shù)據(jù)文件H)r2可以通過像UMID那樣的模式，將元數(shù)據(jù)MT與不同文件的全景圖像文件rori中的全景圖像數(shù)據(jù)ro相聯(lián)系。
[0282]<6.第四配置例子(專用格式)>
[0283]下面將描述一個(gè)實(shí)施例的第四配置例子。在第四配置例子中，圖像處理裝置1的聯(lián)系部分11將全景圖像數(shù)據(jù)本身設(shè)置成特定格式的數(shù)據(jù)，作為示出是全環(huán)繞全景圖像的信息。
[0284]進(jìn)一步，圖像處理裝置2的顯示圖像生成部分20通過將全景圖像數(shù)據(jù)設(shè)置成特定格式的數(shù)據(jù)確證是全環(huán)繞全景圖像，并通過進(jìn)行顯示投影處理生成顯示圖像數(shù)據(jù)。
[0285]圖17A示出了圖像處理裝置1中的全景組合部分10和聯(lián)系部分11。在這個(gè)第四配置例子中，聯(lián)系部分11含有格式處理部分Ilf。
[0286]全景組合部分10生成全景圖像數(shù)據(jù)PD，并輸出全景處理信息Ip。
[0287]格式處理部分Ilf通過全景處理信息Ip中的全景模式類型信息、360°視角確定信息和兩端對準(zhǔn)信息的任何一種確定全景圖像數(shù)據(jù)ro是否是全環(huán)繞全景圖像。然后，在全環(huán)繞全景圖像的情況下，生成包括專用格式的全景圖像數(shù)據(jù)ro的全景圖像文件ror。在不是全環(huán)繞全景圖像的情況下，生成包括一般普通格式的全景圖像數(shù)據(jù)ro的全景圖像文件PD。
[0288]注意，例如，普通格式的全景圖像數(shù)據(jù)Η)是像聯(lián)合圖像專家組(JPEG)格式等那樣通常使用的圖像數(shù)據(jù)形式。另一方面，將專用格式設(shè)置成全環(huán)繞全景圖像獨(dú)有的新數(shù)據(jù)格式。
[0289]圖17B示出了圖像處理裝置2中的顯示圖像生成部分20。在這個(gè)第四配置例子中，顯示圖像生成部分20含有格式確定部分20g、和圖像生成處理部分20c。
[0290]將從記錄介質(zhì)中再現(xiàn)或接收的全景圖像文件PDr輸入格式確定部分20g中。格式確定部分20g確定包括在全景圖像文件TOr中的全景圖像數(shù)據(jù)H)是專用格式還是一般格式。然后，將提取的全景圖像數(shù)據(jù)ro和格式確定信息FM供應(yīng)給圖像生成處理部分20c。
[0291]圖像生成處理部分20c根據(jù)全景圖像數(shù)據(jù)ro生成并輸出顯示圖像數(shù)據(jù)rodsp。此時(shí)，依照格式確定信息確定是否是全環(huán)繞全景圖像，如果是全環(huán)繞全景圖像，則進(jìn)行用于投影顯示的顯示圖像數(shù)據(jù)rodsp的生成。在全景圖像數(shù)據(jù)ro不是全環(huán)繞全景圖像的情況下，進(jìn)行另一種顯示，例如，滾動顯示或單視圖顯示的處理。
[0292]然后，將生成的顯示圖像數(shù)據(jù)rodsp供應(yīng)給未例示的顯示部分、或含有顯示部分的設(shè)備，并進(jìn)行顯示。
[0293]在圖18中示出了上述圖像處理裝置I和圖像處理裝置2的處理例子。
[0294]圖18A示出了作為圖像處理裝置I的全景組合部分10和聯(lián)系部分11的處理。
[0295]在步驟F41中，全景組合部分10獲取輸入圖像群FMS。
[0296]在步驟F42中，通過讓全景組合部分10進(jìn)行全景組合處理生成全景圖像數(shù)據(jù)H)。全景組合部分10將在這種全景組合處理過程中獲得的全景處理信息Ip以及全景圖像數(shù)據(jù)PD供應(yīng)給聯(lián)系部分11 (格式處理部分Ilf)。
[0297]在步驟F43中，聯(lián)系部分11(格式處理部分Ilf)確認(rèn)全景處理信息Ip，并進(jìn)行生成的全景圖像數(shù)據(jù)ro是否是全環(huán)繞全景圖像的確定。與在第一配置例子中所陳述的類似，是否是全環(huán)繞全景圖像的確定可以通過參照全景處理信息Ip中的360°視角確定信息的系統(tǒng)、參照兩端對準(zhǔn)信息的系統(tǒng)、參照全景模式類型信息的系統(tǒng)等來考慮。
[0298]在是全環(huán)繞全景圖像的情況下，從步驟F44轉(zhuǎn)到步驟F45，聯(lián)系部分11 (格式處理部分iif)通過將全景圖像數(shù)據(jù)ro轉(zhuǎn)換成專用模式生成全景圖像文件ror。
[0299]在不是全環(huán)繞全景圖像的情況下，從步驟F44轉(zhuǎn)到步驟F46，聯(lián)系部分11 (格式處理部分iif)生成包括普通格式的全景圖像數(shù)據(jù)ro的全景圖像文件ror。
[0300]在步驟F47中，由未例示的記錄和再現(xiàn)部分將全景圖像文件PDr記錄到記錄介質(zhì)中，并通過未例示的通信部分發(fā)送和輸出到外部設(shè)備、網(wǎng)絡(luò)等。
[0301]圖18B示出了圖像處理裝置2的顯示圖像生成部分20的處理。
[0302]在步驟F81中，顯示圖像生成部分20 (格式確定部分20g)獲取通過未例示的記錄介質(zhì)再現(xiàn)或通過未例示的通信部分接收的全景圖像文件ror。
[0303]在步驟F82中，顯示圖像生成部分20 (格式確定部分20g)確定包括在全景圖像文件ror中的全景圖像數(shù)據(jù)ro的格式。
[0304]然后，在步驟F83中，顯示圖像生成部分20依照格式確定結(jié)果將處理分支。
[0305]在確定是專用格式的情況下，顯示圖像生成部分20 (圖像生成處理部分20c)轉(zhuǎn)到步驟F84，通過進(jìn)行顯示投影生成顯示圖像數(shù)據(jù)rodsp，并在步驟S85中，輸出這個(gè)顯示圖像數(shù)據(jù)rodsp。這些步驟F84和F85的處理一直繼續(xù)到在步驟F86中，通過用戶操作或自動處理變成顯示結(jié)束。這樣，在顯示部分中，作為投影顯示，進(jìn)行，例如，使得全環(huán)繞觀看的顯示或任意方向的顯示。
[0306]注意，可以將顯示投影處理中的投影計(jì)算使用的全景圖像數(shù)據(jù)ro的視角設(shè)置成 360。。
[0307]進(jìn)一步，全景圖像數(shù)據(jù)ro的投影表面的信息、用于滾動限制的水平和垂直視角信息等在專用格式的數(shù)字形式下可以通過嵌入來加以考慮。
[0308]在步驟F83中，在確定不是專用格式的情況下，顯示圖像生成部分20(圖像生成處理部分20c)在步驟F87中像另一種系統(tǒng)，例如，滾動顯示或單視圖顯示那樣生成顯示圖像數(shù)據(jù)rodsp。然后，在步驟F88中，進(jìn)行輸出顯示圖像數(shù)據(jù)rodsp的處理。這些步驟F87和F88的處理一直繼續(xù)到在步驟F89中確定顯示結(jié)束。在這種情況下，在顯示部分中，進(jìn)行除了投影顯示之外的滾動顯示或單視圖顯示。
[0309]在像上述那樣的第四配置例子中，在信息處理裝置1中，聯(lián)系部分11在全環(huán)繞全景圖像的情況下使用專用格式。
[0310]另一方面，在圖像處理裝置2中，通過如果是專用格式則確定全景圖像數(shù)據(jù)ro是全環(huán)繞全景圖像，顯示圖像生成部分20通過進(jìn)行顯示投影處理為投影顯示生成顯示圖像數(shù)據(jù)rodsp。
[0311]通過這樣的配置，對可以進(jìn)行適當(dāng)投影顯示的全環(huán)繞全景圖像自動進(jìn)行投影顯示，以及可以為用戶提供具有沉浸感的顯示。另一方面，通過在不能精確指定非全環(huán)繞全景圖像的視角的時(shí)候，通過另一種顯示方法進(jìn)行顯示，可以進(jìn)行顯示操作的切換，以便不進(jìn)行低質(zhì)量投影顯示。
[0312]<7.第五配置例子(成像裝置的應(yīng)用例子)>
[0313](7_1:成像裝置的配置)
[0314]接著，作為一個(gè)實(shí)施例的第一配置例子，將通過包括本公開的圖像處理裝置1和2的設(shè)備描述成像裝置50作為一個(gè)特例。
[0315]圖19示出了成像裝置50的配置例子。
[0316]成像裝置50包括透鏡單元100、成像元件101、圖像處理部分102、控制部分103、顯示部分104、存儲器部分105、記錄設(shè)備106、操作部分107、傳感器部分108、和通信部分109。
[0317]透鏡單元100收集拍攝對象的光學(xué)圖像。透鏡單元100具有依照來自控制部分103的指令，調(diào)整焦距、拍攝對象距離、光圈等，以便獲取適當(dāng)圖像的功能。進(jìn)一步，還具有光學(xué)抑制圖像的模糊的照相機(jī)抖動校正功能。
[0318]成像元件101光學(xué)轉(zhuǎn)換透鏡單元100收集的光學(xué)圖像，并將它轉(zhuǎn)換成電信號。具體地說，通過電荷耦合器件(CCD)圖像傳感器、互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)圖像傳感器等來實(shí)現(xiàn)。
[0319]圖像處理部分102由采樣來自成像元件101的電信號的采樣電路、將模擬信號轉(zhuǎn)換成數(shù)字信號的A/D轉(zhuǎn)換電路、將規(guī)定圖像處理應(yīng)用于數(shù)字信號的圖像處理電路等構(gòu)成。這里，這個(gè)圖像處理部分102被顯示成進(jìn)行通過利用成像元件101成像獲取幀圖像數(shù)據(jù)的處理，以及進(jìn)行組合全景圖像的處理。
[0320]這個(gè)圖像處理部分102不僅包括專用硬件電路，而且包括中央處理單元(CPU)或數(shù)字信號處理器(DSP)，可以進(jìn)行適合靈活圖像處理的軟件處理。
[0321]控制部分103由CPU和控制程序構(gòu)成，對成像裝置50的每個(gè)部分進(jìn)行控制?？刂瞥绦虮旧韺?shí)際上存儲在存儲器部分105中，由CPU執(zhí)行。
[0322]公開在上述配置例子的每一個(gè)中的全景組合部分10和聯(lián)系部分11的處理，以及另外顯示圖像生成部分20的處理都由控制部分103和圖像處理部分102執(zhí)行。因此，本公開的圖像處理裝置I和2通過控制部分103和圖像處理部分102實(shí)現(xiàn)。
[0323]顯示部分104由使圖像處理部分102處理過和存儲在存儲器部分105中的圖像數(shù)據(jù)變成模擬的D/A轉(zhuǎn)換電路、以適合后一級的顯示設(shè)備的形式的視頻信號編碼成為模擬的圖像信號的視頻編碼器、和顯示與輸入視頻信號相對應(yīng)的圖像的顯示設(shè)備構(gòu)成。
[0324]顯示設(shè)備通過，例如，液晶顯示器(LCD)、有機(jī)電致發(fā)光(EL)面板等實(shí)現(xiàn)，以及也具有像取景器那樣的功能。
[0325]存儲器部分105由像動態(tài)隨機(jī)訪問存儲器(DRAM)那樣的半導(dǎo)體存儲器構(gòu)成，臨時(shí)記錄圖像處理部分102處理過的圖像數(shù)據(jù)、控制部分103中的控制程序和各種類型數(shù)據(jù)等。
[0326]記錄設(shè)備106由記錄介質(zhì),譬如,像閃速存儲器(Flash Memory)那樣的半導(dǎo)體存儲器、磁盤、光盤或磁光盤、和用于這些記錄介質(zhì)的記錄和再現(xiàn)電路/機(jī)構(gòu)構(gòu)成。
[0327]在成像裝置50成像的時(shí)候，圖像處理部分102以聯(lián)合圖像專家組(JPEG)形式進(jìn)行編碼，并將存儲在存儲器部分105中的JPEG圖像數(shù)據(jù)記錄到記錄介質(zhì)中。
[0328]在再現(xiàn)的時(shí)候，將保存在記錄介質(zhì)中的JPEG圖像數(shù)據(jù)讀取到存儲器部分105中，由圖像處理部分102進(jìn)行解碼處理?？梢宰岋@示部分104顯示解碼的圖像數(shù)據(jù)，或通過通信部分109發(fā)送和輸出到外部設(shè)備。
[0329]操作部分107包括輸入設(shè)備，譬如，像快門按鈕、向上、向下、向左和向右箭頭鍵、確定鍵和取消鍵那樣的硬件鍵、操作盤、觸摸面板和變焦桿，檢測拍攝者(用戶)的操作，以及將其發(fā)送給控制部分103。控制部分103依照用戶的輸入操作確定成像裝置50的操作，并進(jìn)行控制以便每個(gè)部分進(jìn)行必要操作。
[0330]傳感器部分108由陀螺儀傳感器、加速度傳感器、地磁傳感器、全球定位系統(tǒng)(GPS)傳感器等構(gòu)成，進(jìn)行各種類型信息的檢測。除了作為所捕獲圖像數(shù)據(jù)的元數(shù)據(jù)加入之夕卜，這種信息也用于各種類型的圖像處理和控制處理。
[0331]通信部分109進(jìn)行與外部設(shè)備的通信或網(wǎng)絡(luò)通信。具體地說，對于通信部分109，可以考慮各種類型的例子，譬如，USB通信部分、LAN通信部分、像互聯(lián)網(wǎng)那樣的公共網(wǎng)絡(luò)通信部分、或與特定設(shè)備的專用通信部分。進(jìn)一步，傳輸線的形式可以是通過電波或紅外線的無線傳輸線，或通過電纜連接的電線傳輸線?？梢约僭O(shè)信號模式是數(shù)字電信號通信、模擬電信號通信、光通信等。
[0332]圖像處理部分102、控制部分103、顯示部分104、存儲器部分105、記錄設(shè)備106、操作部分107、傳感器部分108和通信部分109經(jīng)由總線110相互連接，交換圖像數(shù)據(jù)、控制信
V寸O
[0333](7-2:全景組合和聯(lián)系處理)
[0334]接著，將詳細(xì)描述本實(shí)施例的成像裝置50的全景組合和聯(lián)系處理。
[0335]作為功能配置，圖20示出了在圖像處理部分102和控制部分103中為全景組合和聯(lián)系處理進(jìn)行的處理，以及示出了這些功能配置部分進(jìn)行的處理。
[0336]注意，這里，將把使用在上述第一配置例子中陳述的元數(shù)據(jù)的例子描述成聯(lián)系處理。
[0337]如圖20中的虛線所示，全景組合部分10和聯(lián)系部分11作為功能配置包括進(jìn)來。也就是說，圖像處理裝置1通過至少通過圖像處理部分102、控制部分103等具有作為聯(lián)系部分11包括的功能，在成像裝置50內(nèi)形成。
[0338]進(jìn)一步，將描述由作為全景組合部分10的功能執(zhí)行的處理功能。作為全景組合部分10執(zhí)行的處理(算法流)由每個(gè)方框示出。也就是說，在全景組合部分10中，進(jìn)行預(yù)處理200、圖像對齊處理201、運(yùn)動拍攝對象檢測處理202、檢測/識別處理203、360°成像確定處理204、360°優(yōu)化處理205、組合投影處理206、接縫確定處理207和縫合處理208。
[0339]下面將描述每種處理。
[0340]如圖1所示，成為預(yù)處理200的目標(biāo)的輸入圖像群FMS是在拍攝者通過成像裝置50進(jìn)行全景成像的時(shí)候依次獲取的幀圖像數(shù)據(jù)FM#0，F(xiàn)M#1, FM#2,.......
[0341]在全景組合部分10中，首先，對通過拍攝者的全景成像操作捕獲的圖像(每個(gè)幀圖像數(shù)據(jù))進(jìn)行全景組合的預(yù)處理200。注意，這里，對幀圖像數(shù)據(jù)FM進(jìn)行與普通成像的時(shí)候相同的圖像處理。
[0342]輸入圖像受基于透鏡單元100的特性的畸變影響。尤其，透鏡的畸變像差負(fù)面地影響圖像對齊處理201，并且將降低對準(zhǔn)的精度。另外，由于還在組合全景圖像的接縫附近生成假像，所以在這種預(yù)處理200中進(jìn)行畸變像差的校正。通過畸變像差的校正，將產(chǎn)生使運(yùn)動拍攝對象檢測處理202和檢測/識別處理203的精度提高的效果。
[0343]接著，在全景組合部分10中，對已經(jīng)進(jìn)行了預(yù)處理200的幀圖像數(shù)據(jù)進(jìn)行圖像對齊處理201、運(yùn)動拍攝對象檢測處理202、檢測/識別處理203。
[0344]在全景組合的時(shí)候可能有必要將多個(gè)幀圖像數(shù)據(jù)轉(zhuǎn)換成簡單坐標(biāo)系中的坐標(biāo)，這個(gè)簡單坐標(biāo)系被稱為全景坐標(biāo)系。
[0345]圖像對齊處理201是輸入兩個(gè)相繼幀圖像數(shù)據(jù)，并在全景坐標(biāo)系中進(jìn)行對準(zhǔn)的處理。雖然對兩個(gè)幀圖像數(shù)據(jù)進(jìn)行圖像對齊處理201獲得的信息是兩種圖像坐標(biāo)之間的相對關(guān)系，但通過選擇多個(gè)圖像坐標(biāo)系當(dāng)中的一個(gè)(例如，初始幀圖像數(shù)據(jù)的坐標(biāo)系)，并將它固定成全景坐標(biāo)系，可以將所有幀圖像數(shù)據(jù)的坐標(biāo)系轉(zhuǎn)換成全景坐標(biāo)系。
[0346]將在圖像對齊處理201中進(jìn)行的特定處理大致劃分成如下兩種。
[0347]1.在圖像內(nèi)檢測局部運(yùn)動；以及
[0348]2.從上述所獲局部運(yùn)動信息中獲取整個(gè)圖像全局運(yùn)動。
[0349]在上述的處理1中，一般說來，使用:
[0350]*塊匹配；以及
[0351]*像Harris、Hessian、SIFT、SURF或FAST那樣的特征點(diǎn)提取和特征點(diǎn)匹配等，以及
[0352]獲取圖像的特征點(diǎn)的局部矢量。
[0353]在上述的處理2中，將像如下那樣的健壯性估計(jì)技術(shù):
[0354]*最小二乘法；
[0355]*M_ 估計(jì)器；
[0356]*最小均方(LMedS)法；以及
[0357]*隨機(jī)樣本一致性(RANSAC)
[0358]用于在上述處理1中獲得的局部矢量群，以及獲取陳述2種坐標(biāo)系之間的關(guān)系的最佳仿射變換矩陣或投影變換矩陣(單應(yīng)性)。在本公開中，將這種信息稱為圖像對齊信肩、O
[0359]進(jìn)一步，在全景復(fù)合處理中，借助于組合多個(gè)幀圖像數(shù)據(jù)的特征劃分在成像場景中存在運(yùn)動拍攝對象的運(yùn)動拍攝對象的部分將引起像變I吳糊那樣對圖像的破壞或圖像質(zhì)量的降低。于是，優(yōu)選的是，一旦檢測到運(yùn)動拍攝對象，通過避免運(yùn)動拍攝對象來確定全景的接縫。
[0360]運(yùn)動拍攝對象檢測處理202是輸入2個(gè)或更多個(gè)相繼幀圖像數(shù)據(jù)，并進(jìn)行運(yùn)動拍攝對象的檢測的處理。在特定處理的例子在閾值上或高于閾值，其中通過經(jīng)由圖像對齊處理201獲得的圖像對齊信息實(shí)際進(jìn)行對準(zhǔn)的2個(gè)幀圖像數(shù)據(jù)的像素值存在差異的情況下，將這些像素確定為運(yùn)動拍攝對象。
[0361]可替代地，可以使用在圖像對齊處理201的健壯性估計(jì)的時(shí)候確定為異常值(outliers)的特征點(diǎn)信息進(jìn)行確定。
[0362]在檢測/識別處理203中，檢測所捕獲幀圖像數(shù)據(jù)內(nèi)像人臉或人體或動物那樣的位置信息。即使人或動物有很大可能是未運(yùn)動的拍攝對象，但在這個(gè)拍攝對象上確定全景的接縫的情況下，與其它對象相比在視覺上往往出現(xiàn)不相容的感覺，因此，優(yōu)選的是通過避免這些對象來確定接縫。也就是說，將在這種檢測/識別處理203中獲取的信息用于補(bǔ)充運(yùn)動拍攝對象檢測處理202的信息。
[0363]在后面將描述的接縫確定處理207中，根據(jù)在運(yùn)動拍攝對象檢測處理202和檢測/識別處理203中獲取的信息確定接縫(連接區(qū))。
[0364]360°成像確定處理204和360°優(yōu)化處理205進(jìn)行專用于360°全環(huán)繞成像的處理。
[0365]這里，為了理解這些處理，將描述在360°成像的時(shí)候存在的各種問題。
[0366]圖21A、圖21B和圖22是在每種情況下全景圖像的例子。注意，在這些圖形中，為了確認(rèn)全景圖像的左端和右端的連續(xù)性，將全景圖像的左端區(qū)域的一部分顯示成復(fù)制(圖像RCP)在全景圖像的每個(gè)右端(邊界線BD的右側(cè))上。排除圖像RCP的圖像部分，S卩，由輸出全景圖像的范圍RP示出的部分是最終一幅全景圖像。
[0367]在是360°全環(huán)繞全景的情況下，希望在這個(gè)邊界線BD的兩側(cè)自然地連接沒有間隙的具有連續(xù)性的圖像。
[0368]在組合多個(gè)靜止圖像的全景圖像中，難以精確知道一般全景視角。通常，成像裝置的透鏡的焦距(f:像素轉(zhuǎn)換值)、全景圖像的掃掠方向的像素?cái)?shù)(I)、和全景視角(Θ)存在如下關(guān)系:
[0369]I = f Θ。
[0370]但是，由于實(shí)際上存在像如下那樣的影響:
[0371]*掃掠時(shí)旋轉(zhuǎn)的半徑；
[0372]*畸變像差的校正誤差；以及
[0373]*對齊處理的誤差，所以可能與實(shí)際場景的視角存在明顯差異。
[0374]在對齊處理只限于平行移動，以及像省略投影處理那樣對算法進(jìn)行簡化的情況下，對于成像裝置的處理性能來說，這些誤差將變得更加顯著。
[0375]圖21A是從上面方程中確定適當(dāng)360°全景圖像數(shù)和進(jìn)行復(fù)合處理的全景圖像的例子。針對誤差通過顯著超過360°地組合，在全景圖像的左端和右端(邊界線BD部分)上不存在連續(xù)性。
[0376]這樣，雖然難以精確確定一般全景視角，但在是360°全環(huán)繞圖像的情況下，可以通過考慮實(shí)現(xiàn)全景的左端和右端的連續(xù)性的約束條件確定視角。
[0377]將涉及圖23。圖23是通過360°全景成像獲得的圖像群(幀圖像數(shù)據(jù)FM#0到FM#(η-1))的示意圖。
[0378]具體地說，在假設(shè)掃掠方向從左到右，以及將用在全景左側(cè)上的第一幀圖像數(shù)據(jù)FM#0設(shè)置成0°位置的時(shí)候，對于處在360°之前的位置上、完全與此相同的圖像的幀圖像數(shù)據(jù)FM#0A、和用在全景圖像的右端上的最終幀圖像數(shù)據(jù)FM#(n-l)，建立如下條件:
[0379]*FM#0A和FM# (n_l)存在重疊區(qū)；以及
[0380]*FM#(n-l)是與FM#0A相比左側(cè)更接近FM#0A的圖像。
[0381]通過檢索作為滿足這些條件的最終圖像的幀圖像數(shù)據(jù)FM#(n_l)，可以固定360°位置。
[0382]在這個(gè)例子的成像裝置50中，通過360°成像確定處理204進(jìn)行這種處理。
[0383]在360°成像確定處理204中，在可以確定滿足上述兩個(gè)條件的最終幀圖像數(shù)據(jù)FM#(n-l)的情況下，確定組合處理內(nèi)的全景圖像數(shù)據(jù)是通過360°成像的全環(huán)繞全景圖像。另一方面，在不能確定滿足上述兩個(gè)條件的最終幀圖像數(shù)據(jù)FM#(n-l)的情況下，確定組合處理內(nèi)的全景圖像數(shù)據(jù)不是全環(huán)繞全景圖像。
[0384]這種確定結(jié)果變成作為上述全景處理信息Ip之一的360°視角確定信息。在360°成像確定處理204中，進(jìn)行將360°視角確定信息輸出到聯(lián)系部分11的處理。
[0385]注意，這種360°成像確定處理204可以在以360°全景成像模式進(jìn)行全景成像的情況下進(jìn)行。在除了 360°全景成像模式之外的其它情況(例如，180°全景成像模式等)下，可能不必進(jìn)行這種360°成像確定處理204。注意，在這種情況下，可以設(shè)置成示出非全環(huán)繞全景圖像的信息作為360°視角確定信息。
[0386]進(jìn)一步，在這種360°成像確定處理204的處理中，可以通過生成水平和垂直視角信息和全景模式類型信息輸出到聯(lián)系部分11。
[0387]圖21B是組合在360°成像確定處理204中確定的最終圖像，即，直到符合上述兩個(gè)條件的幀圖像數(shù)據(jù)FM#(n-l)的結(jié)果的例子。
[0388]由于在360°成像確定處理204中確定了 360°位置，所以變成作為全景圖像的360°圖像。但是，這個(gè)例子與圖21A的例子類似，在全景的左端和右端上不存在連續(xù)性。雖然在這個(gè)例子中水平方向的位置是合適的，但垂直方向的位置漂移了。
[0389]由于這樣在相鄰圖像之間進(jìn)行每個(gè)圖像的對準(zhǔn)，所以存在在對齊處理中累積的誤差地生成圖像。
[0390]也就是說，在圖23中，存在針對對齊處理的累積誤差，為顯示成幀圖像數(shù)據(jù)FM#0A的位置計(jì)算作為360°之前的第一圖像的位置(顯示成幀圖像數(shù)據(jù)FM#0B的位置)以便成為具有連續(xù)性的全環(huán)繞全景圖像的現(xiàn)象。
[0391]為了解決這種現(xiàn)象，在如下360°優(yōu)化處理205中，在在360°成像確定處理204中確定是360°全環(huán)繞成像的情況下，通過使用從圖像對齊處理201中輸入的圖像對齊信息、和通過360°成像確定處理204確定的最終圖像信息優(yōu)化圖像對齊信息，并像360°全環(huán)繞全景那樣適當(dāng)校正圖像對齊信息。
[0392]這種處理是前述兩端對準(zhǔn)的處理。也就是說，調(diào)整圖像對齊信息，以便在作為全景圖像的0°和360°位置的全景圖像的兩端上，在垂直方向和水平方向都沒有圖像間隙。
[0393]當(dāng)在圖23中描述時(shí)，所有幀圖像數(shù)據(jù)FM#0到FM#(n_l)的位置都得到優(yōu)化和校正，使得幀圖像數(shù)據(jù)FM#0A的位置與幀圖像數(shù)據(jù)FM#0B的位置一致。
[0394]具體地說，存在簡單地使累積誤差分散到所有圖像對齊信息中的技術(shù)、只要可以使用最小二乘法得出原始對齊信息，就無傷害地進(jìn)行優(yōu)化的技術(shù)等。
[0395]例如，簡單分散的技術(shù)是陳述如下的技術(shù)。在幀圖像數(shù)據(jù)FM#0A的位置和幀圖像數(shù)據(jù)FM#0B的位置上，像顯示在圖23中那樣存在水平方向的誤差Λ X和垂直方向的誤差Δ Y。讓構(gòu)成全景圖像的幀圖像數(shù)據(jù)FM#0到FM# (η-1)的χ坐標(biāo)位置和y坐標(biāo)位置各自分別漂移ΛΧ/η和Λ Υ/η。這樣，每個(gè)幀圖像數(shù)據(jù)FM—點(diǎn)點(diǎn)一點(diǎn)點(diǎn)地吸收掉誤差，作為與第一幀圖像數(shù)據(jù)FM#0相同的圖像的虛擬幀圖像數(shù)據(jù)FM#0A的位置與顯示成幀圖像數(shù)據(jù)FM#0B的位置一致。
[0396]雖然幀圖像數(shù)據(jù)FM#0到FM#(n_l)的每一個(gè)相對于原始坐標(biāo)漂移了一點(diǎn)，但整個(gè)圖像質(zhì)量幾乎沒有任何變差。
[0397]圖22是使用通過讓兩端對準(zhǔn)像上面在360°優(yōu)化處理250中所述那樣進(jìn)行校正的圖像對齊信息進(jìn)行全景組合的結(jié)果的例子。通過360°成像確定處理204和360°優(yōu)化處理205，可以確認(rèn)圖像像輸出全景圖像的范圍RP那樣，在全景的兩端上沒有垂直和水平間隙地自然連接的。
[0398]通過像上述那樣的360°優(yōu)化處理205，是否進(jìn)行兩端對準(zhǔn)的信息成為作為全景處理信息Ip之一的兩端對準(zhǔn)信息。
[0399]在360°優(yōu)化處理205中，還進(jìn)行將兩端對準(zhǔn)信息輸出到聯(lián)系部分11的處理。
[0400]接著，在組合投影處理206中，根據(jù)通過圖像對齊處理201獲得的圖像對齊信息(或在360°優(yōu)化處理205中校正的圖像對齊信息)，對所有幀圖像數(shù)據(jù)在單個(gè)平面或像柱面或球面那樣的單個(gè)曲面上進(jìn)行投影處理。進(jìn)一步，同時(shí)，針對運(yùn)動拍攝對象信息和/或檢測確認(rèn)信息，在相同平面或曲面上進(jìn)行投影處理。投影表面可以在成像的時(shí)候從視角等中自動選擇，或可以依照用戶操作設(shè)置。
[0401]通過考慮像素處理的優(yōu)化，可以作為縫合處理208之前的處理，或作為縫合處理208的一部分地進(jìn)行幀圖像數(shù)據(jù)的組合投影處理206。進(jìn)一步，例如，可以在圖像對齊處理201之前，簡單地作為預(yù)處理200的一部分來進(jìn)行。進(jìn)一步，通過另外的簡化，可以不進(jìn)行這種處理地作為柱面投影處理的近似來管理。
[0402]注意，在這種組合投影處理206中投影表面的信息的類型成為作為全景處理信息Ip之一的組合投影表面信息。
[0403]在組合投影處理206中，還進(jìn)行將組合投影表面信息輸出到聯(lián)系部分11的處理。
[0404]接縫確定處理207是將來自組合投影處理206的圖像數(shù)據(jù)、來自圖像對齊處理201的圖像對齊信息、來自運(yùn)動拍攝對象檢測處理202的運(yùn)動拍攝對象信息和來自檢測/識別處理203的檢測/識別信息設(shè)置成輸入的處理，并確定作為全景圖像來說有點(diǎn)欠缺的適當(dāng)接縫SM(描述在圖2和3中的接縫SMO到SM(n-2))。
[0405]在接縫確定處理207中，首先，從輸入信息中為相鄰幀圖像數(shù)據(jù)之間的重疊區(qū)定義成本函數(shù)。例如，對于重疊區(qū)的每個(gè)像素，可以將總值設(shè)置成將每個(gè)適當(dāng)重疊區(qū)與來自運(yùn)動拍攝對象檢測處理202的運(yùn)動拍攝對象信息和來自檢測/識別處理203的檢測/識別信息相聯(lián)系的函數(shù)值。
[0406]在這種情況下，由于具有成本函數(shù)值隨此刻存在的像運(yùn)動拍攝對象那樣的對象的數(shù)量增加而增加的含義，所以可以接合成本函數(shù)值低的點(diǎn)的集合，以便將全景圖像中的欠缺抑制到最低程度。
[0407]在存在用于全景圖像組合的η個(gè)圖像(幀圖像數(shù)據(jù))的情況下，這些重疊區(qū)的數(shù)量將變成η-1，將成本函數(shù)定義成η-1個(gè)。因此，為了為整個(gè)全景圖像選擇最佳接縫，獲取使這η-1個(gè)成本函數(shù)最小的組合。這一般被稱為組合優(yōu)化問題，如下方程是眾所周知的:
[0408]*獲取精確解的方法:
[0409]-分支定界法；
[0410]-記憶法；
[0411]-動態(tài)規(guī)劃技術(shù)(DynamicProgramming);以及
[0412]-圖形切割法；以及
[0413]*獲取近似解的方法:
[0414]-局部搜索法(爬山法)；
[0415]-退火法(模擬退火)；
[0416]-禁忌搜索法；以及
[0417]-通用算法(Genericalgorithm)。
[0418]所有接縫SM1到SM(n_2)都可以通過上述方法的任何一種獲得。
[0419]在縫合處理208中，使用像上述那樣確定的所有接縫SM1到SM(n_2)、和每個(gè)幀圖像數(shù)據(jù)FM#0到FM#(n-l)組合最終全景圖像。
[0420]對接縫周圍的區(qū)域進(jìn)行降低連接區(qū)的不自然的混合處理，對除了這些之外的其它區(qū)域只進(jìn)行簡單像素的復(fù)制，即，全景坐標(biāo)系的重新采樣，并連接整個(gè)圖像。
[0421]通過考慮到照相機(jī)抖動量地最終掃掠和修剪掉垂直方向的不必要部分，可以像具有設(shè)置成長邊方向的掃掠方向的那種那樣，獲得具有寬視角的全景圖像(全景圖像數(shù)據(jù)PD)。
[0422]上述處理成為全景組合部分10的處理。
[0423]在本實(shí)施例的情況下，另外對全景組合部分10生成的全景圖像數(shù)據(jù)ro進(jìn)行聯(lián)系部分11的處理。
[0424]在圖20的功能配置例子中，在本例的成像裝置50中，圖11A的前功能配置適合用作第一配置例子。聯(lián)系部分11進(jìn)行元數(shù)據(jù)生成處理301和數(shù)據(jù)綜合處理302。
[0425]將各種類型的全景處理信息Ip從全景組合部分10供應(yīng)給聯(lián)系部分11。也就是說，將在360°成像確定處理204中獲得的360°視角確定信息、在360°優(yōu)化處理205中獲得的兩端對準(zhǔn)信息、和在組合投影處理206中獲得的組合投影表面信息供應(yīng)給聯(lián)系部分11。
[0426]注意，另外還可以供應(yīng)全景模式類型信息和水平和垂直視角信息。
[0427]聯(lián)系部分11像元數(shù)據(jù)生成處理301那樣生成反映全景處理信息Ip的元數(shù)據(jù)MT。
[0428]注意，由于在后面至少要描述的顯示圖像生成部分20的處理中進(jìn)行是否是全環(huán)繞全景圖像的確定，以及從用于進(jìn)行顯示投影處理的觀點(diǎn)來看，可能不必讓元數(shù)據(jù)MT包括所有360°視角確定信息、兩端對準(zhǔn)信息、組合投影表面信息、全景模式類型信息和水平和垂直視角信息。
[0429]雖然在第一配置例子到第四配置例子中已經(jīng)描述過，但顯示圖像生成部分20對是否是全環(huán)繞全景圖像的確定可以參照360°視角確定信息、兩端對準(zhǔn)信息和全景模式類型信息。但是，組合投影表面信息可能是適當(dāng)進(jìn)行顯示投影處理所必不可少的。
[0430]于是:
[0431]*360°視角確定信息和組合投影表面信息；
[0432]*兩端對準(zhǔn)信息和組合投影表面信息；以及
[0433]*全景模式類型信息和組合投影表面信息
[0434]的至少一種可以作為全景處理信息Ip包括進(jìn)來，由全景組合部分10生成，以及由元數(shù)據(jù)生成部分Ila使其成為元數(shù)據(jù)。
[0435]在數(shù)據(jù)綜合處理302中，聯(lián)系部分11通過將全景組合部分10生成的全景圖像數(shù)據(jù)ro與元數(shù)據(jù)生成部分301生成的元數(shù)據(jù)MT綜合生成全景圖像文件ror。
[0436]例如，全景圖像文件PDr變成像公開在圖1lB中的那種那樣含有圖像數(shù)據(jù)和元數(shù)據(jù)的結(jié)構(gòu)。更具體地說，可以考慮將像可交換圖像文件格式(EXIF)那樣的元數(shù)據(jù)嵌入圖像數(shù)據(jù)中的例子。注意，可以設(shè)置成全景圖像數(shù)據(jù)H)和元數(shù)據(jù)MT無關(guān)的文件。
[0437]在本例的成像裝置50中，在圖像處理部分102和控制部分103中像上述全景組合部分10和聯(lián)系部分11那樣進(jìn)行處理，作為這種處理的結(jié)果，將全景圖像文件PDr記錄到記錄設(shè)備106中。
[0438]注意，可以在外部從通信部分109發(fā)送全景圖像文件F1Dr15
[0439]在圖24中示出了包含上述全景組合部分10和聯(lián)系部分11的處理、從全景處理直到記錄的一系列處理的例子。
[0440]步驟FlOO的圖像捕獲以全景成像模式捕獲一個(gè)靜止圖像，并且在成像裝置I內(nèi)將一次獲取處理表示成一個(gè)幀圖像數(shù)據(jù)。也就是說，成像元件部分101獲得的成像信號是在控制部分103的控制下，經(jīng)過圖像處理部分102處理的成像信號，并且變成一個(gè)幀圖像數(shù)據(jù)。
[0441]圖像處理部分102可以按原樣將這個(gè)幀圖像數(shù)據(jù)供應(yīng)給全景組合處理(圖20的全景組合部分10的處理)，或可以由圖像處理部分102在一次性從存儲器部分105中獲得之后作為一個(gè)幀圖像數(shù)據(jù)供應(yīng)給全景組合處理。
[0442]由通過圖像處理部分102和控制部分103實(shí)現(xiàn)的圖20的全景組合部分10依照基于步驟FlOO的幀圖像數(shù)據(jù)的輸入進(jìn)行從步驟FlOl向前的處理。
[0443]在步驟FlOl中，全景組合部分10進(jìn)行預(yù)處理200。
[0444]在步驟F102中，全景組合部分10進(jìn)行圖像對齊處理201。
[0445]在步驟F103中，全景組合部分10進(jìn)行運(yùn)動拍攝對象檢測處理202。
[0446]在步驟F104中，全景組合部分10進(jìn)行檢測/識別處理203。
[0447]注意，將在這些處理的每一種中獲得的圖像的像素信息、圖像對齊信息、運(yùn)動拍攝對象信息、檢測/確認(rèn)信息等暫時(shí)存儲在存儲器部分105中作為與各自處理目標(biāo)的幀圖像數(shù)據(jù)相對應(yīng)的信息。
[0448]對每個(gè)幀圖像數(shù)據(jù)重復(fù)上述處理，直到在步驟F105中，成像結(jié)束。
[0449]如果對所有獲得幀圖像數(shù)據(jù)FM都完成了上述處理，則在步驟F106中，全景組合部分10進(jìn)行360°成像確定處理204。
[0450]在步驟F107中，全景組合部分10進(jìn)行360°優(yōu)化處理205。
[0451]然后，在步驟F108中，全景組合部分10通過使用在360°優(yōu)化處理205中調(diào)整的圖像對齊信息等進(jìn)行組合投影處理。
[0452]在步驟F109中，全景組合部分10通過接縫確定處理207確定接縫SM0到SM(n_2)。
[0453]在步驟F110中，全景組合部分10進(jìn)行縫合處理208。也就是說，通過接縫SM0到SM(n-2)的每一個(gè)連接每個(gè)幀圖像數(shù)據(jù)。在連接時(shí)也進(jìn)行混合處理。此后，生成像顯示在圖3A中那樣的一個(gè)全景圖像數(shù)據(jù)ro。
[0454]接著，聯(lián)系部分11進(jìn)行元數(shù)據(jù)生成處理301。也就是說，生成反映從全景組合部分10供應(yīng)的全景處理信息Ip的元數(shù)據(jù)MT。
[0455]然后，在步驟F112中，聯(lián)系部分11通過進(jìn)行數(shù)據(jù)綜合處理302生成全景圖像文件PDr。
[0456]控制部分103進(jìn)行使在像全景組合部分10和聯(lián)系部分11那樣的處理中生成的全景圖像文件PDr記錄到記錄設(shè)備106中的控制。
[0457]在上述處理中，記錄包括全景圖像數(shù)據(jù)和元數(shù)據(jù)MT的全景圖像文件Η)!.，此后可以再現(xiàn)和顯示等。
[0458](7_3:全景圖像顯示)
[0459]接著，將描述在在成像裝置50中選擇和顯示像上述那樣的所記錄全景圖像文件PDr的情況下的操作。
[0460]首先，將在圖25中描述成像裝置50的顯示部分104進(jìn)行的顯示操作模式。
[0461]在成像裝置50中，能夠進(jìn)行單視圖顯示、列表顯示、滾動顯示和投影顯示的上述四種顯示模式的顯示操作。圖25示出了四種顯示模式的轉(zhuǎn)變。
[0462]為了簡化描述，只將多個(gè)全景圖像文件PDr記錄到記錄設(shè)備106中。
[0463]首先，當(dāng)用戶使用操作部分107的鍵等指定再現(xiàn)和顯示時(shí)，控制部分103將成像裝置50設(shè)置成再現(xiàn)和顯示狀態(tài)。此時(shí)，從初始狀態(tài)轉(zhuǎn)變成單視圖顯示模式。這里，例如，全景圖像數(shù)據(jù)PDr最新圖像像，例如，圖7A的那種那樣顯示出來。在這種單視圖顯示模式下，例如，可以通過讓用戶按下操作部分107的向右箭頭鍵和向左箭頭鍵切換到全景圖像文件PDr的其它圖像。
[0464]進(jìn)一步，在單視圖顯示中，當(dāng)按下向下箭頭鍵時(shí)，狀態(tài)轉(zhuǎn)變成像圖7B的那種那樣的列表顯示，并進(jìn)行圖像的列表顯示。
[0465]通過讓用戶使用向上、向下、向左和向右箭頭鍵，在這個(gè)列表顯示屏上選擇作為目標(biāo)的圖像，狀態(tài)再次轉(zhuǎn)變成單視圖顯示，并顯示全景圖像文件ror的所選圖像。
[0466]在，例如，在單視圖顯示中按下確定鍵的情況下，進(jìn)行放大顯示。注意，放大顯示將是滾動顯示或投影顯示。
[0467]控制部分103參照全景圖像文件PDr的所顯示圖像的元數(shù)據(jù)，在全景圖像文件H)r全環(huán)繞全景圖像的情況下，使?fàn)顟B(tài)轉(zhuǎn)變成投影顯示模式，并進(jìn)行投影顯示。在這種情況下，依照記錄成元數(shù)據(jù)的組合時(shí)的投影表面信息，進(jìn)行投影處理，并開始投影顯示。
[0468]在這種投影顯示模式下，可以讓用戶使用向上、向下、向左和向右箭頭鍵指定觀看方向的變化，或使用變焦桿指定放大或縮小。進(jìn)一步，在這種情況下，通過擁有為觀看方向記錄在元數(shù)據(jù)中的水平和垂直視角信息和變焦值，像全景圖像那樣通過水平視角或垂直視角進(jìn)行限制，因此不涉及圖像之外。
[0469]在在固定時(shí)間內(nèi)沒有鍵操作的情況下，可以通過菜單設(shè)置進(jìn)行自動觀看改變。
[0470]在這種投影顯示模式下，當(dāng)用戶按下取消鍵時(shí)，轉(zhuǎn)變到單視圖顯示狀態(tài)，并再次顯示單視圖顯示。
[0471]在滾動顯示模式下，在沿著全景的長邊方向自動開始滾動的同時(shí)，可以讓用戶也使用向上、向下、向左和向右箭頭鍵指定沿著任意方向的滾動，或使用變焦桿指定放大或縮小。
[0472]在滾動顯示模式下，當(dāng)用戶按下取消鍵時(shí)，轉(zhuǎn)變到單視圖顯示狀態(tài)，并再次顯示單視圖顯示。
[0473]在具有像上述那樣的模式轉(zhuǎn)變的本實(shí)施例的成像裝置50中，如果是全環(huán)繞全景圖像，則進(jìn)行投影顯示，并且進(jìn)行像如果不是全環(huán)繞全景圖像則進(jìn)行滾動顯示那樣，顯示操作的自動切換。
[0474]如果是全環(huán)繞全景圖像，則自動為用戶提供高質(zhì)量投影顯示。另一方面，在不是全環(huán)繞全景圖像的情況下，當(dāng)進(jìn)行投影顯示時(shí)，可能出現(xiàn)圖像畸變等，不能保證高質(zhì)量的顯示。于是，以滾動顯示進(jìn)行全景圖像的顯示。也就是說，依照全景圖像選擇適當(dāng)顯示模式。
[0475]在圖26和圖27中描述了進(jìn)行這樣顯示的配置和處理。
[0476]圖26示出了為顯示圖像數(shù)據(jù)I3Ddsp的生成處理在包括在控制部分103中的顯示圖像生成部分20中進(jìn)行的處理。
[0477]注意，將基于使用在上述第一配置例子中陳述的元數(shù)據(jù)的例子的例子設(shè)置成顯示圖像生成部分20的處理。
[0478]由控制部分103中的軟件執(zhí)行的顯示圖像生成部分20像所例示那樣進(jìn)行數(shù)據(jù)分離處理401、元數(shù)據(jù)解釋處理402和圖像生成處理403。
[0479]作為數(shù)據(jù)分離處理401，顯示圖像生成部分20為從記錄設(shè)備106讀取顯示目標(biāo)的全景圖像文件PDr分離元數(shù)據(jù)MT和全景圖像數(shù)據(jù)H)。
[0480]分離的元數(shù)據(jù)MT經(jīng)元數(shù)據(jù)解釋部分402解釋，供應(yīng)給圖像生成處理403作為全景處理信息Ip (全景模式類型信息、360°視角確定信息、兩端對準(zhǔn)信息、組合投影表面信息、水平和垂直視角信息)。
[0481]在圖像生成處理403中，依照顯示模式信息Md生成顯示圖像數(shù)據(jù)rodsp，并將其輸出到顯不部分104。
[0482]作為圖像生成處理403，進(jìn)行顯示系統(tǒng)選擇處理403a、單視圖顯示處理403b、列表顯示處理403c、滾動顯示處理403d和投影顯示處理403e。
[0483]在顯示系統(tǒng)選擇處理403a中，進(jìn)行根據(jù)與基于用戶操作等的上述顯示模式轉(zhuǎn)變相對應(yīng)的顯示模式信息Md，選擇要進(jìn)行什么顯示的處理。進(jìn)一步，當(dāng)在單視圖顯示模式的狀態(tài)的時(shí)候移動到滾動顯示模式或投影顯示模式時(shí)，通過參照在元數(shù)據(jù)解釋處理402中解釋的全景處理信息Ip選擇滾動顯示模式和投影顯示模式。
[0484]在單視圖顯示處理403b中，作為單視圖顯示，為供應(yīng)的全景圖像數(shù)據(jù)H)生成顯示圖像數(shù)據(jù)rodsp。
[0485]在列表顯示處理403c中，例如，從從記錄設(shè)備106中讀取的每個(gè)全景圖像文件H)r的縮略圖等中生成列表圖像，并作為列表顯示，進(jìn)行將此設(shè)置到顯示圖像數(shù)據(jù)rodsp中的處理。
[0486]在滾動顯示處理403d中，作為滾動顯示，為供應(yīng)的全景圖像數(shù)據(jù)生成顯示圖像數(shù)據(jù)rodsp。
[0487]在投影顯示處理403e中，對供應(yīng)的全景圖像數(shù)據(jù)進(jìn)行顯示投影處理，并作為投影顯示，生成顯示圖像數(shù)據(jù)rodsp。
[0488]將在這些處理的任何一種中生成的顯示圖像數(shù)據(jù)PDdsp供應(yīng)給顯示部件104，并進(jìn)行屏幕顯示。
[0489]圖27示出了與圖25的顯示模式轉(zhuǎn)變相對應(yīng)的控制部分103(顯示圖像生成部分20)的處理例子。
[0490]當(dāng)依照用戶操作等表明再現(xiàn)和顯示時(shí)，在步驟F201中，顯示圖像生成部分20進(jìn)行單視圖顯示模式的處理。例如，顯示圖像生成部分20從記錄設(shè)備106中讀取最新全景圖像文件ror，通過單視圖顯示處理403b生成顯示圖像數(shù)據(jù)rodsp，并將其供應(yīng)給顯示部分104。
[0491]在單視圖顯示模式的時(shí)段中，顯示圖像生成部分20在步驟F202、F203和F206中監(jiān)視模式轉(zhuǎn)變或顯示結(jié)束的觸發(fā)(顯示系統(tǒng)選擇處理403a)。
[0492]如果顯示圖像生成部分20檢測到結(jié)束觸發(fā)，則從步驟F202開始結(jié)束再現(xiàn)和顯示操作。
[0493]當(dāng)選擇列表顯示模式的操作時(shí)，顯示圖像生成部分20從步驟F203轉(zhuǎn)到步驟F204，并進(jìn)行列表顯示處理403c。例如，通過從記錄設(shè)備106中讀取每個(gè)全景圖像文件的縮略圖生成列表圖像，并將其供應(yīng)給顯示部分104作為顯示圖像數(shù)據(jù)rodsp。
[0494]在步驟F205中，顯示圖像生成部分20監(jiān)視列表顯示結(jié)束的觸發(fā)(顯示系統(tǒng)選擇處理403a)。在列表顯示結(jié)束的情況下，通過返回到步驟F201進(jìn)行單視圖顯示處理403b。例如，作為單視圖顯示，為在列表中選擇的全景圖像生成顯示圖像數(shù)據(jù)rodsp，并將其供應(yīng)給顯示部分104。
[0495]當(dāng)在單視圖顯示狀態(tài)下指定放大顯示(滾動顯示或投影顯示)時(shí)，顯示圖像生成部分20從步驟F206轉(zhuǎn)到步驟F207，并首先確認(rèn)全景處理信息Ip。也就是說，確定當(dāng)前在單視圖顯示中的圖像是否是全環(huán)繞全景圖像。在這種情況下，顯示圖像生成部分20可以通過全景處理信息Ip中的全景模式類型信息、360°視角確定信息和兩端對齊信息的任何一種確定全景圖像數(shù)據(jù)ro是否是全環(huán)繞全景圖像。
[0496]在是全環(huán)繞全景圖像的情況下，顯示圖像生成部分20從步驟F208轉(zhuǎn)到步驟F211，通過進(jìn)行投影顯示處理403e生成顯示圖像數(shù)據(jù)rodsp，并將其供應(yīng)給顯示部分104。
[0497]在步驟F212中，顯示圖像生成部分20監(jiān)視投影顯示模式的結(jié)束，如果完成了，則返回到步驟F201的單視圖顯示處理403b。
[0498]在不是全環(huán)繞全景圖像的情況下，顯示圖像生成部分20從步驟F208轉(zhuǎn)到步驟F209，通過進(jìn)行滾動顯示處理403d生成顯示圖像數(shù)據(jù)rodsp，并將其供應(yīng)給顯示部分104。
[0499]在步驟F212中，顯示圖像生成部分20監(jiān)視滾動顯示模式的結(jié)束，如果完成了，則返回到步驟F201的單視圖顯示處理403b。
[0500]通過上述處理在顯示在圖25中的模式轉(zhuǎn)變下進(jìn)行各種類型的顯示。[0501 ] 也就是說，在成像裝置50中，在作為顯示目標(biāo)的全景圖像數(shù)據(jù)ro被確定為全環(huán)繞全景圖像的情況下，控制部分103 (顯示圖像生成部分20)通過進(jìn)行顯示投影處理生成顯示圖像數(shù)據(jù)rodsp，并使投影顯示得以進(jìn)行。
[0502]在確定不是全環(huán)繞全景圖像的情況下，不進(jìn)行顯示投影處理，在在組合的時(shí)候只從投影表面中依次切出全景圖像數(shù)據(jù)ro的滾動顯示處理中生成顯示圖像數(shù)據(jù)rodsp，并進(jìn)行滾動顯示。
[0503]注意，作為這種處理的修改例，在確定不是全環(huán)繞全景圖像的情況下，作為不進(jìn)行顯示投影處理的顯示處理，可以進(jìn)行單視圖顯示處理。例如，這時(shí)即使在單視圖顯示處理中作出放大顯示的指定，除了針對全環(huán)繞全景圖像之外，也不進(jìn)行放大顯示的例子。
[0504]進(jìn)一步，在作為這個(gè)實(shí)施例的第五配置例子的成像裝置50中，雖然設(shè)置了與上述第一配置例子一致地安裝圖像處理裝置I和2的例子，但自然可以采用與上述第二到第四配置例子一致地包括圖像處理裝置I和2的例子。
[0505]〈8.第六配置例子(計(jì)算機(jī)裝置和程序的應(yīng)用例子)>
[0506]作為第六配置例子，下面將描述計(jì)算機(jī)裝置和程序的應(yīng)用例子。像上述圖像處理裝置I和2那樣的處理可以通過硬件進(jìn)行，或可以通過軟件進(jìn)行。
[0507]實(shí)施例的程序是，例如，使像中央處理單元(CPU)或數(shù)字信號處理器(DSP)那樣的計(jì)算處理裝置進(jìn)行顯示在上述實(shí)施例中的處理的程序。
[0508]也就是說，實(shí)現(xiàn)圖像處理裝置I的程序是使計(jì)算處理裝置進(jìn)行在位移成像方向的同時(shí)使用通過成像操作獲得的多個(gè)幀圖像數(shù)據(jù)生成的全景圖像數(shù)據(jù)被確定為全環(huán)繞全景圖像的情況下，將全景圖像數(shù)據(jù)與示出是全環(huán)繞全景圖像的信息相聯(lián)系的處理的程序。
[0509]具體地說，這個(gè)程序可以是使計(jì)算處理裝置進(jìn)行顯示在圖12A、圖14A、圖16A、圖18A或圖24中的處理的程序。
[0510]進(jìn)一步，實(shí)現(xiàn)圖像處理裝置2的程序是使計(jì)算處理裝置進(jìn)行在作為顯示目標(biāo)的全景圖像數(shù)據(jù)被確定為全環(huán)繞全景圖像的情況下，通過進(jìn)行顯示投影處理生成顯示圖像數(shù)據(jù)的處理的程序。
[0511]具體地說，這個(gè)程序可以是使計(jì)算處理裝置進(jìn)行顯示在圖12B、圖14B、圖16B、圖18B或圖27中的處理的程序。
[0512]通過這些程序，可以使用計(jì)算處理裝置實(shí)現(xiàn)上述圖像處理裝置I和2。
[0513]像這些那樣的程序可以事先記錄到作為內(nèi)置在像計(jì)算機(jī)裝置那樣的設(shè)備中的記錄介質(zhì)、含有CPU等的微型計(jì)算機(jī)內(nèi)的HDD、ROM中。
[0514]進(jìn)一步，除了從可移除記錄介質(zhì)安裝在個(gè)人計(jì)算機(jī)等中之外，這樣的程序可以經(jīng)由像局域網(wǎng)(LAN)或互聯(lián)網(wǎng)那樣的網(wǎng)絡(luò)從下載站點(diǎn)下載。
[0515]進(jìn)一步，如果像這些那樣的程序可用，則它們適合大范圍地規(guī)定一個(gè)實(shí)施例的圖像處理裝置I和2。例如，通過將程序下載到個(gè)人計(jì)算機(jī)、便攜式信息處理裝置、移動電話單元、游戲設(shè)備、個(gè)人數(shù)字助理(PDA)等，可以將這種便攜式信息處理裝置等設(shè)置成圖像處理裝置I和2。例如，在像顯示在圖28中那樣的計(jì)算機(jī)裝置中，可以進(jìn)行與圖像處理裝置I和2的那些相同的處理。
[0516]在圖28中，計(jì)算機(jī)裝置70的CPU 71依照存儲在ROM 72中的程序或從存儲部分78下載到ROM 73的程序進(jìn)行各種類型的處理。進(jìn)一步，在CPU71進(jìn)行各種類型的處理的時(shí)候，也將必要數(shù)據(jù)等任意地存儲在RAM 73中。
[0517]CPU 7UR0M 72和RAM 73經(jīng)由總線74相互連接。進(jìn)一步，輸入/輸出接口 75也與這條總線74連接。
[0518]由鍵盤、鼠標(biāo)等構(gòu)成的輸入部分76、由由陰極射線管(CRT)、LCD、有機(jī)EL面板等構(gòu)成的顯示器、和揚(yáng)聲器等構(gòu)成的輸出部分77、由硬盤等構(gòu)成的存儲部分78、和由調(diào)制解調(diào)器等構(gòu)成的通風(fēng)部分79與輸入/輸出接口 75連接。通信部分79經(jīng)由包括互聯(lián)網(wǎng)的網(wǎng)絡(luò)進(jìn)行通信處理。
[0519]進(jìn)一步，如有必要，將驅(qū)動器80與輸入/輸出接口 75連接，任意地包括像磁盤、光盤、磁光盤或半導(dǎo)體存儲器那樣的可移除介質(zhì)81，以及如有必要，將從這些當(dāng)中讀取的計(jì)算機(jī)程序安裝在存儲部分78中。
[0520]在通過軟件進(jìn)行上述圖像處理裝置1和2的處理的情況下，從網(wǎng)絡(luò)或記錄介質(zhì)安裝構(gòu)成這種軟件的程序。
[0521]例如，如圖28所示，這種記錄介質(zhì)由與裝置主體分離、為了將程序輸送給用戶而分發(fā)的可移除介質(zhì)81構(gòu)成。例如，可移除介質(zhì)81由記錄程序的磁盤(包括柔性盤)、光盤(包括藍(lán)光盤、⑶-ROM或DVD)、磁光盤(包括小型盤(MD))和半導(dǎo)體存儲器構(gòu)成。
[0522]可替代地，記錄介質(zhì)由在事先內(nèi)置在裝置主體中的狀態(tài)下輸送給用戶、記錄程序的ROM 72、包括在存儲部分78中的硬盤等構(gòu)成。
[0523]像這種那樣的計(jì)算機(jī)裝置70當(dāng)通過經(jīng)由通信部分79的接收操作、經(jīng)由驅(qū)動器80 (可移除介質(zhì)81)或記錄部分78的再現(xiàn)操作等，為全景圖像生成輸入η個(gè)幀的幀圖像數(shù)據(jù)FM#0到FM# (η-1)時(shí)，根據(jù)CPU 71執(zhí)行的程序?qū)崿F(xiàn)圖像處理裝置1的功能，并且像上述聯(lián)系部分11那樣進(jìn)行處理。
[0524]這樣，從η個(gè)輸入幀的幀圖像數(shù)據(jù)FM#0到FM#(n_l)中生成一個(gè)全景圖像數(shù)據(jù)。
[0525]進(jìn)一步，對于全景圖像的顯示，根據(jù)CPU 71執(zhí)行的程序?qū)崿F(xiàn)圖像處理裝置2的功能，并且像上述顯示圖像生成部分20那樣進(jìn)行處理。
[0526]<9.修改例 >
[0527]雖然至此已經(jīng)描述了一個(gè)實(shí)施例，但對于本公開的圖像處理裝置，可以考慮各種類型的修改例。
[0528]可以以組合方式采用第一配置例子到第四配置例子。
[0529]例如，可以考慮通過組合第一配置例子和第二配置例子，作為聯(lián)系處理利用元數(shù)據(jù)加入專用程序，以及通過組合第一配置例子和第四配置例子，作為聯(lián)系處理利用元數(shù)據(jù)進(jìn)行構(gòu)建專用格式的處理等。
[0530]雖然將包括聯(lián)系部分11和顯示圖像生成部分20的功能的例子設(shè)置成第一配置例子的成像裝置50，但也可以考慮，例如，只包括聯(lián)系部分11和顯示圖像生成部分20之一的功能的例子。
[0531]雖然在實(shí)施例中對于不是全環(huán)繞全景圖像的全景圖像數(shù)據(jù)ro，沒有投影顯示的目標(biāo)，但也可以通過特定操作進(jìn)行投影顯示。但是，在這種情況下，由于不能建立精確三維模型，所以存在在投影顯示圖像中出現(xiàn)像畸變那樣的負(fù)面影響的可能性，因此存在將此作為特殊模式的想法。
[0532]除了內(nèi)置在上述成像裝置50或計(jì)算機(jī)裝置70中之外，本公開的圖像處理裝置也可用于內(nèi)置在具有成像功能的移動電話單元、游戲機(jī)或錄像機(jī)、或沒有成像功能但具有輸入幀圖像數(shù)據(jù)的功能的移動電話單元、游戲設(shè)備、視頻設(shè)備或信息處理裝置中。
[0533]本技術(shù)還可以按如下配置。
[0534](I)
[0535]一種圖像處理裝置，包括:
[0536]聯(lián)系部分，其被配置成在位移成像方向的同時(shí)使用通過成像操作獲得的多個(gè)幀圖像數(shù)據(jù)生成的全景圖像數(shù)據(jù)被確定為全環(huán)繞全景圖像的情況下，將全景圖像數(shù)據(jù)與顯示全景圖像數(shù)據(jù)是全環(huán)繞全景圖像的信息相聯(lián)系。
[0537](2)
[0538]按照(I)所述的圖像處理裝置，
[0539]其中在全景圖像數(shù)據(jù)具有360°視角的情況下，將全景圖像數(shù)據(jù)確定為全環(huán)繞全景圖像。
[0540](3)
[0541]按照(I)所述的圖像處理裝置，
[0542]其中在全景圖像數(shù)據(jù)具有360°視角，以及進(jìn)行兩個(gè)圖像端的對準(zhǔn)處理的情況下，將全景圖像數(shù)據(jù)確定為全環(huán)繞全景圖像。
[0543](4)
[0544]按照(I)所述的圖像處理裝置，
[0545]其中在通過360°全景成像模式操作獲得全景圖像數(shù)據(jù)的情況下，將全景圖像數(shù)據(jù)確定為全環(huán)繞全景圖像，在該360°全景成像模式操作中，在將成像方向位移近似360°的同時(shí)使用通過成像操作獲得的多個(gè)幀圖像數(shù)據(jù)生成全景圖像數(shù)據(jù)。
[0546](5)
[0547]按照(I)到⑷的任何一項(xiàng)所述的圖像處理裝置，
[0548]其中該聯(lián)系部分將作為示出全景圖像數(shù)據(jù)是全環(huán)繞全景圖像的信息的元數(shù)據(jù)與全景圖像數(shù)據(jù)相聯(lián)系。
[0549](6)
[0550]按照(I)到⑷的任何一項(xiàng)所述的圖像處理裝置，
[0551]其中該聯(lián)系部分將作為示出全景圖像數(shù)據(jù)是全環(huán)繞全景圖像的信息、用于顯示全環(huán)繞全景圖像的顯示處理程序與全景圖像數(shù)據(jù)相聯(lián)系。
[0552](7)
[0553]按照(I)到⑷的任何一項(xiàng)所述的圖像處理裝置，
[0554]其中該聯(lián)系部分將作為示出全景圖像數(shù)據(jù)是全環(huán)繞全景圖像的信息的全景圖像數(shù)據(jù)本身設(shè)置成特定格式的數(shù)據(jù)。
[0555](8)
[0556]按照(I)到⑷的任何一項(xiàng)所述的圖像處理裝置，
[0557]其中該聯(lián)系部分將包括全景圖像數(shù)據(jù)的數(shù)據(jù)文件與包括示出全景圖像數(shù)據(jù)是全環(huán)繞全景圖像的信息的數(shù)據(jù)文件相聯(lián)系。
[0558](9)
[0559]按照(5)所述的圖像處理裝置，
[0560]其中將示出在全景圖像生成的時(shí)候幀圖像數(shù)據(jù)的投影表面的類型的信息包括在元數(shù)據(jù)中。
[0561](10)
[0562]按照(9)所述的圖像處理裝置，
[0563]其中示出投影表面的類型的信息是將單個(gè)平面、柱面、球面或立方體顯示成彎曲或平坦投影表面的類型的信息。
[0564](11)
[0565]按照(5)、(9)和(10)的任何一項(xiàng)所述的圖像處理裝置，
[0566]其中將全景圖像數(shù)據(jù)的360°視角確定結(jié)果的信息包括在元數(shù)據(jù)中。
[0567](12)
[0568]按照(5)、(9)、(10)和(11)的任何一項(xiàng)所述的圖像處理裝置，
[0569]其中將示出全景圖像數(shù)據(jù)的兩個(gè)圖像端的對準(zhǔn)處理的結(jié)果的信息包括在元數(shù)據(jù)中。
[0570](13)
[0571]按照(5)、(9)、(10)、(11)和(12)的任何一項(xiàng)所述的圖像處理裝置，
[0572]其中將示出是否通過360°成像模式操作獲得全景圖像數(shù)據(jù)的信息包括在元數(shù)據(jù)中，在該360°全景成像模式操作中，在將成像方向位移近似360°的同時(shí)使用通過成像操作獲得的多個(gè)幀圖像數(shù)據(jù)生成全景圖像數(shù)據(jù)。
[0573](14)
[0574]按照(5)、(9)、(10)、(11)、(12)和(13)的任何一項(xiàng)所述的圖像處理裝置，
[0575]其中將全景圖像數(shù)據(jù)的水平視角和垂直視角的信息包括在元數(shù)據(jù)中。
[0576](15)
[0577]按照(1)到(14)的任何一項(xiàng)所述的圖像處理裝置，進(jìn)一步包括:
[0578]全景組合部分，其被配置成通過組合在位移成像方向的同時(shí)通過成像操作獲得的多個(gè)幀圖像數(shù)據(jù)生成全景圖像數(shù)據(jù)。
【權(quán)利要求】
1.一種圖像處理裝置，包含: 聯(lián)系部分，其被配置成在位移成像方向的同時(shí)使用通過成像操作獲得的多個(gè)幀圖像數(shù)據(jù)生成的全景圖像數(shù)據(jù)被確定為全環(huán)繞全景圖像的情況下，將全景圖像數(shù)據(jù)與顯示全景圖像數(shù)據(jù)是全環(huán)繞全景圖像的信息相聯(lián)系。
2.按照權(quán)利要求1所述的圖像處理裝置， 其中在全景圖像數(shù)據(jù)具有360。視角的情況下，將全景圖像數(shù)據(jù)確定為全環(huán)繞全景圖像。
3.按照權(quán)利要求1所述的圖像處理裝置， 其中在全景圖像數(shù)據(jù)具有360。視角，以及進(jìn)行兩個(gè)圖像端的對準(zhǔn)處理的情況下，將全景圖像數(shù)據(jù)確定為全環(huán)繞全景圖像。
4.按照權(quán)利要求1所述的圖像處理裝置， 其中在通過360。全景成像模式操作獲得全景圖像數(shù)據(jù)的情況下，將全景圖像數(shù)據(jù)確定為全環(huán)繞全景圖像，在該360。全景成像模式操作中，在將成像方向位移近似360。的同時(shí)使用通過成像操作獲得的多個(gè)幀圖像數(shù)據(jù)生成全景圖像數(shù)據(jù)。
5.按照權(quán)利要求1所述的圖像處理裝置， 其中該聯(lián)系部分將作為示出全景圖像數(shù)據(jù)是全環(huán)繞全景圖像的信息的元數(shù)據(jù)與全景圖像數(shù)據(jù)相聯(lián)系。
6.按照權(quán)利要求1所述的圖像處理裝置， 其中該聯(lián)系部分將作為示出全景圖像數(shù)據(jù)是全環(huán)繞全景圖像的信息的、用于顯示全環(huán)繞全景圖像的顯示處理程序與全景圖像數(shù)據(jù)相聯(lián)系。
7.按照權(quán)利要求1所述的圖像處理裝置， 其中該聯(lián)系部分將作為示出全景圖像數(shù)據(jù)是全環(huán)繞全景圖像的信息的全景圖像數(shù)據(jù)本身設(shè)置成特定格式的數(shù)據(jù)。
8.按照權(quán)利要求1所述的圖像處理裝置， 其中該聯(lián)系部分將包括全景圖像數(shù)據(jù)的數(shù)據(jù)文件與包括示出全景圖像數(shù)據(jù)是全環(huán)繞全景圖像的信息的數(shù)據(jù)文件相聯(lián)系。
9.按照權(quán)利要求5所述的圖像處理裝置， 其中將在全景圖像生成的時(shí)候示出幀圖像數(shù)據(jù)的投影表面的類型的信息包括在元數(shù)據(jù)中。
10.按照權(quán)利要求9所述的圖像處理裝置， 其中示出投影表面的類型的信息是將單個(gè)平面、柱面、球面或立方體顯示成彎曲或平坦投影表面的類型的信息。
11.按照權(quán)利要求5所述的圖像處理裝置， 其中將全景圖像數(shù)據(jù)的360。視角確定結(jié)果的信息包括在元數(shù)據(jù)中。
12.按照權(quán)利要求5所述的圖像處理裝置， 其中將示出全景圖像數(shù)據(jù)的兩個(gè)圖像端的對準(zhǔn)處理的結(jié)果的信息包括在元數(shù)據(jù)中。
13.按照權(quán)利要求5所述的圖像處理裝置， 其中將示出是否通過360。成像模式操作獲得全景圖像數(shù)據(jù)的信息包括在元數(shù)據(jù)中，在該360。全景成像模式操作中，在將成像方向位移近似360。的同時(shí)使用通過成像操作獲得的多個(gè)幀圖像數(shù)據(jù)生成全景圖像數(shù)據(jù)。
14.按照權(quán)利要求5所述的圖像處理裝置， 其中將全景圖像數(shù)據(jù)的水平視角和垂直視角的信息包括在元數(shù)據(jù)中。
15.按照權(quán)利要求1所述的圖像處理裝置，進(jìn)一步包含: 全景組合部分，其被配置成通過組合在位移成像方向的同時(shí)通過成像操作獲得的多個(gè)幀圖像數(shù)據(jù)生成全景圖像數(shù)據(jù)。
16.—種圖像處理方法，包含: 在位移成像方向的同時(shí)使用通過成像操作獲得的多個(gè)幀圖像數(shù)據(jù)生成的全景圖像數(shù)據(jù)被確定為全環(huán)繞全景圖像的情況下，進(jìn)行將全景圖像數(shù)據(jù)與顯示全景圖像數(shù)據(jù)是全環(huán)繞全景圖像的信息相聯(lián)系的處理。
17.一種使計(jì)算處理裝置進(jìn)行如下處理的程序: 在位移成像方向的同時(shí)使用通過成像操作獲得的多個(gè)幀圖像數(shù)據(jù)生成的全景圖像數(shù)據(jù)被確定為全環(huán)繞全景圖像的情況下，將全景圖像數(shù)據(jù)與顯示全景圖像數(shù)據(jù)是全環(huán)繞全景圖像的信息相聯(lián)系的處理。
【文檔編號】G03B37/00GK104365083SQ201380028447
【公開日】2015年2月18日 申請日期:2013年4月3日 優(yōu)先權(quán)日:2012年6月6日
【發(fā)明者】木村篤史 申請人:索尼公司