專利名稱：圖像組合系統(tǒng)、圖像組合方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像組合系統(tǒng)、一種圖像組合方法和一種圖像組合程序，用于將對象劃分為多個局部圖像、拍攝劃分的局部圖像、以及組合這些局部圖像以產(chǎn)生具有更寬視角和更高清晰度的圖像。
背景技術(shù)：
通常，圖像組合方法被公知為將對象劃分為拍攝的多個局部圖像，以及利用各個局部圖像之間的位置關(guān)系的估計(jì)，將局部圖像互相組合，以產(chǎn)生具有更寬視角和更高清晰度的所謂鑲嵌圖像。
例如，非專利文獻(xiàn)1(Naoki Chiba，Hiroshi Kayano，MitihikoMino，Shouji Yasuda，“Image Mosaicking Based on Image Features”(根據(jù)圖像屬性的圖像鑲嵌)，Transaction of The Institute ofElectronics，Information and Communication Engineers D-II，Vol.J82-D-II，No.10，pp.1581-1589)公開了一種通過根據(jù)圖像分析所產(chǎn)生的局部圖像中的運(yùn)動矢量來估計(jì)各個局部圖像之間的位置關(guān)系而產(chǎn)生鑲嵌圖像的方法。具體地，從在最接近時刻所拍攝的兩個局部圖像中找到亮度值分布類似的位置(相應(yīng)點(diǎn))，并且計(jì)算用于進(jìn)行幾何轉(zhuǎn)換(移動、旋轉(zhuǎn)、放大/縮小)的圖像轉(zhuǎn)換參數(shù)，以便所有局部圖像互相交迭。然后，以一個局部圖像為基礎(chǔ)，使用計(jì)算的圖像轉(zhuǎn)換參數(shù)來幾何地轉(zhuǎn)換另一個局部圖像，以產(chǎn)生鑲嵌圖像。
下面假設(shè)對象是平面的模型因?yàn)樗暮唵涡远?jīng)常被用于圖像轉(zhuǎn)換參數(shù)。
u2v21=abcdefgh1u1v11]]>
其中，(u1，v1，1)、(u2，v2，1)是各個相應(yīng)點(diǎn)的齊次坐標(biāo)(homogeneouscoordinate)，a、b、c、d、e、f、g、h是圖像轉(zhuǎn)換參數(shù)，并且t是任意常數(shù)。
此外，為了進(jìn)一步簡化模型，可以將限制條件應(yīng)用于圖像轉(zhuǎn)換參數(shù)，例如g＝h＝0、a＝e＝cosθ、b＝d＝sinθ等。
在上述非專利文獻(xiàn)1中說明的方法中，必須移動照相機(jī)，使得在兩個局部圖像之間存在交迭。否則，在局部圖像之間將不存在相應(yīng)點(diǎn)，導(dǎo)致計(jì)算圖像轉(zhuǎn)換參數(shù)失敗。此外，如果當(dāng)拍攝局部圖像時沒有拍攝對象的一部分，則鑲嵌圖像缺少該局部圖像，因此用戶必須詳盡地拍攝對象。
專利文獻(xiàn)1(日本專利No.2744265(5至7頁，以及圖3))說明了圖像組合系統(tǒng)的示例，用于顯示屏幕以指導(dǎo)具有照相機(jī)的用戶進(jìn)行拍攝，從而可以滿足上述條件。在圖1中示出了在專利文獻(xiàn)1中說明的傳統(tǒng)圖像組合系統(tǒng)的配置。
在圖1中，101表示照相機(jī)主體；102表示快門鈕；103表示顯示設(shè)備，104和105表示用于指示照相機(jī)是否在左手方向或右手方向上搖動鏡頭的開關(guān)；以及106表示用于將對象聚焦于底片或成像設(shè)備的鏡頭。
圖2示出了由圖1所示的圖像組合系統(tǒng)的顯示設(shè)備103所示出的典型顯示。
例如，當(dāng)通過開關(guān)105輸入右手方向、因而照相機(jī)在右手方向上搖動鏡頭時，在顯示圖像203的左端區(qū)域顯示已經(jīng)拍攝的局部圖像201的右側(cè)區(qū)域。此外，當(dāng)前由照相機(jī)捕獲的局部圖像204的左側(cè)區(qū)域205作為運(yùn)動圖像被組合到顯示圖像203的剩下的右側(cè)屏幕中，并且顯示產(chǎn)生的圖像。
用戶參考顯示設(shè)備103的顯示圖像203，與成像面平行地移動(搖動鏡頭)照相機(jī)主體101，使先前拍攝的局部圖像201的右側(cè)區(qū)域202與當(dāng)前由照相機(jī)捕獲的局部圖像204的左側(cè)區(qū)域205在之間的邊界處不會斷開，并且按下快門鈕102以拍攝局部圖像。按照這種方式，通過使照相機(jī)向尚未拍攝的對象位置移動、同時在先前拍攝的局部圖像和當(dāng)前由照相機(jī)捕獲的局部圖像之間包含交迭區(qū)域、并依次拍攝局部圖像，來產(chǎn)生鑲嵌圖像。
然而，在上述專利文獻(xiàn)1中所述的傳統(tǒng)圖像組合系統(tǒng)中，例如，如果圖像組合系統(tǒng)被制造用于拍攝在垂直和水平方向都寬廣的對象，根據(jù)專利文獻(xiàn)1的技術(shù)，照相機(jī)主體必須在垂直方向和水平方向中移動。因?yàn)楸仨氼A(yù)先由開關(guān)指定照相機(jī)移動的方向，從而出現(xiàn)這種操作非常復(fù)雜的問題。因此，在專利文獻(xiàn)1中所述的圖像組合系統(tǒng)是一種不適用于拍攝在垂直和水平方向都寬廣的對象的配置。
此外，在專利文獻(xiàn)1所述的圖像組合系統(tǒng)中，必須與成像面平行地移動照相機(jī)主體，并且必須調(diào)整移動量，使先前拍攝的局部圖像與當(dāng)前由照相機(jī)捕獲的局部圖像在之間的邊界處不會斷開。因此，需要用戶執(zhí)行精細(xì)操作，導(dǎo)致用戶體驗(yàn)到相當(dāng)困難的拍攝的問題。

發(fā)明內(nèi)容
因此，本發(fā)明的目的是提供一種圖像組合系統(tǒng)和方法，能夠通過簡單的操作產(chǎn)生鑲嵌圖像，而不需要用戶進(jìn)行復(fù)雜和精細(xì)的操作，例如開關(guān)的操作、照相機(jī)的平行移動、局部圖像之間的對準(zhǔn)等。
為了實(shí)現(xiàn)上述目的，在本發(fā)明中，數(shù)據(jù)處理單元計(jì)算與每一個局部圖像相對應(yīng)的圖像轉(zhuǎn)換參數(shù)，基于計(jì)算的圖像轉(zhuǎn)換參數(shù)，以當(dāng)前的局部圖像為基礎(chǔ)，幾何地轉(zhuǎn)換拍攝的局部圖像，并且組合它們，以產(chǎn)生鑲嵌圖像。此外，顯示設(shè)備顯示每一個當(dāng)前的局部圖像以及至少一部分產(chǎn)生的鑲嵌圖像。
在這種配置中，不需要用戶預(yù)先利用開關(guān)來指定照相機(jī)移動的方向、或者與成像面平行地移動照相機(jī)、或者調(diào)整照相機(jī)的鏡頭搖動以避免在當(dāng)前的局部圖像和拍攝的局部圖像之間的邊界處圖像斷開，這是傳統(tǒng)圖像組合系統(tǒng)中所需的。因此，即使對于在垂直和水平方向都寬廣的對象，通過簡單的操作，可以產(chǎn)生鑲嵌圖像，而不需要用戶進(jìn)行復(fù)雜的操作或者對準(zhǔn)。
此外，在本發(fā)明中，優(yōu)化每一個圖像轉(zhuǎn)換參數(shù)，以便在所有的局部圖像中保持幾何轉(zhuǎn)換和組合的一致性。因此，在分離時間拍攝的局部圖像之間消除了組合中的移位，從而實(shí)現(xiàn)了具有較少失真的鑲嵌圖像。此外，通過對每一個局部圖像應(yīng)用超分辨率處理，可以以更高分辨率產(chǎn)生鑲嵌圖像。
本發(fā)明采用圖像作為顯示圖像，所述圖像具有位于顯示設(shè)備的整個屏幕上的當(dāng)前局部圖像，以及以縮減比例顯示在一部分屏幕上的從包括當(dāng)前局部圖像的拍攝局部圖像中產(chǎn)生的鑲嵌圖像；或者所述圖像具有位于顯示設(shè)備的屏幕中心的當(dāng)前局部圖像，以及包含在以當(dāng)前局部圖像為中心的周圍預(yù)定范圍內(nèi)的拍攝局部圖像，組合它們用于顯示；或者所述圖像具有位于顯示設(shè)備的整個屏幕上的當(dāng)前局部圖像，以及顯示并加亮的與拍攝局部圖像相交迭的部分。
結(jié)果，因?yàn)樵陲@示設(shè)備上不僅顯示了當(dāng)前局部圖像而且至少顯示了一部分鑲嵌圖像，用戶可以容易地確認(rèn)沒有拍攝的對象的區(qū)域，并且可以容易地確定接下來照相機(jī)應(yīng)該移動的方向。因此，即使拍攝在垂直和水平方向上都寬廣的對象，用戶也不會遺忘拍攝對象的一部分。


圖1是示出了傳統(tǒng)圖像組合系統(tǒng)的配置的側(cè)面視圖。
圖2是示出了圖1所示的圖像組合系統(tǒng)所顯示的典型顯示的示意圖。
圖3是示出了本發(fā)明圖像組合系統(tǒng)的第一實(shí)施例的配置的方框圖。
圖4是示出了圖3所示的圖像組合系統(tǒng)的處理過程的流程圖。
圖5是示出了本發(fā)明圖像組合系統(tǒng)所顯示的圖像的第一示例的示意圖。
圖6是示出了本發(fā)明圖像組合系統(tǒng)所顯示的圖像的第二示例的示意圖。
圖7是示出了本發(fā)明圖像組合系統(tǒng)所顯示的圖像的第三示例的示意圖。
圖8是示出了本發(fā)明的圖像組合系統(tǒng)的第二實(shí)施例的配置的方框圖。
圖9是示出了圖8所示的圖像組合系統(tǒng)的處理過程的流程圖。
圖10是示出了本發(fā)明的圖像組合系統(tǒng)的第三實(shí)施例的配置的方框圖。
圖11是示出了本發(fā)明的圖像組合系統(tǒng)的第四實(shí)施例的配置的方框圖。
圖12是示出了本發(fā)明的圖像組合系統(tǒng)的實(shí)施方式的配置的方框圖。
具體實(shí)施例方式
接下來，參考附圖來說明本發(fā)明。
(第一實(shí)施例)如圖3所示，第一實(shí)施例的圖像組合系統(tǒng)包括成像設(shè)備310，例如照相機(jī)、攝像機(jī)等；數(shù)據(jù)處理單元300，用于組合局部圖像以產(chǎn)生鑲嵌圖像；以及顯示設(shè)備320，例如液晶面板、Braun管等，用于顯示數(shù)據(jù)處理單元300的處理結(jié)果。由包括計(jì)算功能和存儲器的LSI(大規(guī)模集成電路)、邏輯電路等來實(shí)現(xiàn)數(shù)據(jù)處理單元300。
第一實(shí)施例的數(shù)據(jù)處理單元300包括轉(zhuǎn)換參數(shù)估計(jì)單元301、存儲單元302、圖像組合數(shù)據(jù)檢索單元303、圖像組合單元304以及控制單元305。
轉(zhuǎn)換參數(shù)估計(jì)單元301估計(jì)用于組合成像設(shè)備310所拍攝的局部圖像中先前拍攝的(在先)局部圖像與當(dāng)前正在拍攝的局部圖像所需的幾何轉(zhuǎn)換，并且計(jì)算其圖像轉(zhuǎn)換參數(shù)。分別將所有拍攝的局部圖像和轉(zhuǎn)換參數(shù)估計(jì)單元301所計(jì)算的圖像轉(zhuǎn)換參數(shù)存儲在存儲單元302中。
圖像組合數(shù)據(jù)檢索單元303根據(jù)顯示設(shè)備320的分辨率或用戶所指定的顯示方法(屏幕布局)，選擇產(chǎn)生顯示圖像所需的局部圖像，并且從存儲單元302中檢索選定的局部圖像和與其相對應(yīng)的圖像轉(zhuǎn)換參數(shù)。
圖像組合單元304使用圖像組合數(shù)據(jù)檢索單元303所檢索的局部圖像和圖像參數(shù)，以當(dāng)前的局部圖像為基礎(chǔ)，幾何地轉(zhuǎn)換拍攝的局部圖像，并且將其組合以產(chǎn)生鑲嵌圖像。此外，圖像組合單元304產(chǎn)生圖像數(shù)據(jù)，用于根據(jù)用戶所指定的顯示方法(屏幕布局)在顯示設(shè)備320上顯示圖像，該圖像包含當(dāng)前的局部圖像和至少一部分組合的鑲嵌圖像。
控制單元305分別控制轉(zhuǎn)換參數(shù)估計(jì)單元301、存儲單元302、圖像組合數(shù)據(jù)檢索單元303以及圖像組合單元304的處理。
接下來，將參考圖3，使用圖4的流程圖，來說明第一實(shí)施例的圖像組合系統(tǒng)的處理過程。
假設(shè)在下面用戶移動成像設(shè)備310，每一次按下快門鈕時或者以預(yù)先設(shè)置的恒定時間間隔來拍攝對象，并且依次將拍攝的局部圖像從成像設(shè)備310提供給數(shù)據(jù)處理單元300。
如圖4所示，當(dāng)由成像設(shè)備310所拍攝的對象的一個局部圖像被數(shù)據(jù)處理單元300捕獲時(步驟S401)，控制單元305首先訪問存儲單元302，以搜索是否存在包含與剛剛拍攝的對象相同對象的局部圖像(步驟S402)。如果存在拍攝的局部圖像，控制單元305使用轉(zhuǎn)換參數(shù)估計(jì)單元301，估計(jì)將當(dāng)前局部圖像與剛剛拍攝的局部圖像進(jìn)行組合所需的幾何轉(zhuǎn)換，并且計(jì)算幾何轉(zhuǎn)換所需的圖像轉(zhuǎn)換參數(shù)(步驟S403)。然后，控制單元305將當(dāng)前的局部圖像與計(jì)算的圖像轉(zhuǎn)換參數(shù)彼此相關(guān)聯(lián)地存儲在存儲單元302中(步驟S404)。例如，作為一種計(jì)算圖像轉(zhuǎn)換參數(shù)的方法，可以使用在上述非專利文獻(xiàn)1中公開的方法。
可選地，可以將照相機(jī)的外部參數(shù)用作圖像轉(zhuǎn)換參數(shù)。在這種情況下，首先，假設(shè)照相機(jī)實(shí)質(zhì)上與對象相對、并且對象是距離照相機(jī)一定距離的平面，在起始幀中，在圖像上檢測特征點(diǎn)，并且針對每一個特征點(diǎn)確定三維坐標(biāo)。
在隨后的幀中，例如使用在Tomokazu Sato，Masayuki Kanbara，Naokazu Yokoya，&Haruo Takemura，“Three-Dimensional Modelingof Outdoor Environment from Moving Image UtilizingMulti-Baseline Stereo Method”(使用多基線立體方法從運(yùn)動圖像中建立室外環(huán)境的三維模型)，Technical Report，PRMU2001-233，2002年2月中公開的方法，來計(jì)算照相機(jī)的外部參數(shù)。這種方法通過在當(dāng)前捕獲的局部圖像和之前捕獲的局部圖像之間跟蹤預(yù)定特征點(diǎn)，來估計(jì)照相機(jī)的外部參數(shù)。
如果在步驟S402在搜索處理中不存在拍攝的局部圖像，流程前進(jìn)到步驟S408的處理，返回到步驟S401的處理，在步驟S401捕獲下一個拍攝圖像。
隨后，控制單元305使用圖像組合數(shù)據(jù)檢索單元303，選擇用于組合成鑲嵌圖像所需的多個局部圖像，從存儲單元302中分別檢索選定的局部圖像和與其相對應(yīng)的轉(zhuǎn)換參數(shù)(步驟405)，并且將他它們傳送到圖像組合單元304。
圖像組合單元304使用圖像組合數(shù)據(jù)檢索單元303所檢索的局部圖像和圖像轉(zhuǎn)換參數(shù)，以當(dāng)前的局部圖像為基礎(chǔ)，幾何地轉(zhuǎn)換拍攝的局部圖像，并且組合它們以產(chǎn)生鑲嵌圖像(步驟406)。圖像組合單元304還將用于顯示圖像的圖像數(shù)據(jù)發(fā)送到顯示設(shè)備320，所述圖像包括當(dāng)前的局部圖像和至少一部分產(chǎn)生的鑲嵌圖像(步驟S407)。當(dāng)產(chǎn)生用于顯示圖像的圖像數(shù)據(jù)時，分別針對位于相同坐標(biāo)的每一個象素，計(jì)算平均值或中值，并且可以將這些值用作顯示設(shè)備320的象素值。
考慮顯示在顯示設(shè)備320上的圖像例如是這樣一種布局當(dāng)前的局部圖像901位于顯示屏幕900的整體之上，并且作為所拍攝的局部圖像的組合的鑲嵌圖像902覆蓋顯示屏幕900的一部分，例如以縮減比例處于右下區(qū)域，如圖5所示。
在這種情況下，為了向用戶指示出當(dāng)前的局部圖像901位于何處，可以在鑲嵌圖像中對當(dāng)前的局部圖像903的外接矩形加亮。例如通過設(shè)置特定象素值(黑色等)，可以識別在鑲嵌圖像902中不具有局部圖像的未拍攝區(qū)域904。此外，當(dāng)當(dāng)前的局部圖像903位于鑲嵌圖像902之外時，可以滾動并顯示整個鑲嵌圖像，以使局部圖像903適合鑲嵌圖像902，或者可以以更縮減的比例顯示鑲嵌圖像902。
此外，考慮顯示在顯示設(shè)備320上的圖像的第二示例是這樣一種布局當(dāng)前局部圖像一直位于屏幕中心，并且所拍攝的局部圖像處于中心附近預(yù)定范圍內(nèi)，它們以組合形式顯示，如圖6所示。
在這種情況下，數(shù)據(jù)處理單元300首先將在時間n輸入的第一局部圖像1001放置在此時的屏幕1000的中心(圖6(a))。
接下來，數(shù)據(jù)處理單元300將在時間n+1輸入的第二局部圖像1011放置在此時的屏幕1010的中心，以第二局部圖像1011為基礎(chǔ)，幾何地轉(zhuǎn)換在時間n輸入的第一局部圖像1001，并且以組合形式布置轉(zhuǎn)換后的局部圖像1012(圖6(b))。
類似地，數(shù)據(jù)處理單元300將在時間n+2輸入的第三局部圖像1021放置在此時的屏幕1020的中心，以第三局部圖像1021為基礎(chǔ)，幾何地轉(zhuǎn)換在n+1輸入的第二局部圖像1011，并且組合地布置轉(zhuǎn)換后的局部圖像1022。此外，數(shù)據(jù)處理單元300以第三局部圖像1021為基礎(chǔ)，幾何地轉(zhuǎn)換在時間n輸入的第一局部圖像1001(或者局部圖像1012)，并且組合地布置轉(zhuǎn)換后的局部圖像1023(圖6(c))。
在屏幕上，每一次可以加亮局部圖像1001、1011、1021的外接矩形，以向用戶指示出當(dāng)前的局部圖像。此外，通過將其設(shè)置為特定象素值(黑色等)，可以識別出現(xiàn)在每一個屏幕上的不具有局部圖像的未拍攝區(qū)域1002。
此外，考慮顯示在顯示設(shè)備320上的圖像的第三示例是這樣一種布局當(dāng)前的局部圖像位于整個屏幕之上，并且將與所拍攝的局部圖像相交迭的區(qū)域加亮，如圖7所示。
在這種情況下，數(shù)據(jù)處理單元300首先將在時間n輸入的第一局部圖像1101放置在此時的整個屏幕1100之上(圖7(a))。
接下來，數(shù)據(jù)處理單元300將在時間n+1輸入的第二局部圖像1111放置在此時的屏幕1110之上。此外，數(shù)據(jù)處理單元300根據(jù)圖像轉(zhuǎn)換參數(shù)檢測在時間n輸入的第一局部圖像1101與第二局部圖像1111的交迭區(qū)域1112，并且產(chǎn)生具有加亮的交迭區(qū)域1112的圖像(圖7(b))。加亮交迭區(qū)域1112的方法包括例如改變交迭區(qū)域1112的亮度的方法、在交迭區(qū)域1112中混合特定顏色的方法等。
同樣地，數(shù)據(jù)處理單元300將在時間n+2輸入的第三局部圖像1121放置在此時的整個屏幕1120之上。此外，數(shù)據(jù)處理單元300根據(jù)圖像轉(zhuǎn)換參數(shù)檢測在時間n+1輸入的第二局部圖像1111和第三局部圖像1121的交迭區(qū)域1122，并且產(chǎn)生具有加亮的交迭區(qū)域1122的圖像。此外，數(shù)據(jù)處理單元300根據(jù)圖像轉(zhuǎn)換參數(shù)，計(jì)算在時間n輸入的第一局部圖像1101與第三局部圖像1121相交迭的區(qū)域，并且產(chǎn)生具有加亮的交迭區(qū)域的圖像(圖7(c))。在此，例如，通過執(zhí)行例如根據(jù)其中局部圖像的數(shù)目而用更深的顏色來混合的處理，可以加亮多個局部圖像相交迭的區(qū)域，例如交迭區(qū)域1123。
在圖7所示的第三典型顯示圖像中，可以在屏幕的一部分中以縮減比例顯示不僅具有當(dāng)前的局部圖像而且具有處于中心周圍預(yù)定區(qū)域內(nèi)并且組合到其中的局部圖像的鑲嵌圖像，如圖5所示的顯示圖像。
可以由用戶使用開關(guān)等預(yù)先設(shè)置應(yīng)該在顯示設(shè)備320上顯示圖5-7所示的多個典型顯示圖像的哪一個，或者在拍攝中可以切換。
當(dāng)從圖像組合單元304將圖像數(shù)據(jù)發(fā)送到顯示設(shè)備320時，控制單元305確定對于組合到鑲嵌圖像所需的所有局部圖像的處理是否已經(jīng)結(jié)束(步驟S408)，并且如果處理還未結(jié)束，返回到步驟S401的處理，以捕獲下一個局部圖像，并且重復(fù)從步驟S401到步驟S408的上述處理。相反地，如果對于所有所需的局部圖像的處理已經(jīng)結(jié)束，終止鑲嵌圖像組合處理。
接下來，給出本發(fā)明的圖像組合系統(tǒng)的第一實(shí)施例的效果的說明。
在第一實(shí)施例的圖像組合系統(tǒng)中，用戶不需要在局部圖像之間進(jìn)行對準(zhǔn)，而是數(shù)據(jù)處理單元300根據(jù)轉(zhuǎn)換參數(shù)估計(jì)單元301所計(jì)算的圖像轉(zhuǎn)換參數(shù)，幾何地轉(zhuǎn)換用于組合的局部圖像，因此使得可以通過簡單的操作來產(chǎn)生鑲嵌圖像，而不需要用戶來進(jìn)行復(fù)雜的切換操作、照相機(jī)的平行移動、局部圖像之間的對準(zhǔn)等。
此外，通過顯示圖5-7所示的圖像，組合地顯示當(dāng)前的局部圖像以及拍攝的局部圖像，從而用戶可以容易地確認(rèn)對象的未拍攝區(qū)域，并且可以容易地確定照相機(jī)應(yīng)該移動的方向。按照這種方式，即使拍攝在垂直和水平方向上都寬廣的對象，用戶也不會遺忘拍攝對象的一部分。
此外，因?yàn)楦鶕?jù)顯示設(shè)備320的分辨率或用戶指定的顯示圖像，從存儲單元302中檢索所需的局部圖像和圖像轉(zhuǎn)換參數(shù)，以產(chǎn)生顯示圖像的圖像數(shù)據(jù)，可以將用于顯示圖像的處理限制為最小必需量。
(第二實(shí)施例)接下來，使用附圖，說明本發(fā)明的圖像組合系統(tǒng)的第二實(shí)施例。
如圖8所示，與第一實(shí)施例相同，第二實(shí)施例的圖像組合系統(tǒng)包括成像設(shè)備510，例如照相機(jī)、攝像機(jī)等；數(shù)據(jù)處理單元500，用于組合局部圖像以產(chǎn)生鑲嵌圖像；以及顯示設(shè)備520，例如液晶面板、Braun管等，用于顯示數(shù)據(jù)處理單元500的處理結(jié)果。例如由包括計(jì)算功能和存儲器的LSI、邏輯電路等來實(shí)現(xiàn)數(shù)據(jù)處理單元500。
第二實(shí)施例的數(shù)據(jù)處理單元500包括鑲嵌圖像產(chǎn)生單元501以及整體優(yōu)化單元502。
鑲嵌圖像產(chǎn)生單元501包括與第一實(shí)施例的數(shù)據(jù)處理單元300類似的功能，并且以當(dāng)前局部圖像為基礎(chǔ)，幾何地轉(zhuǎn)換并組合拍攝的局部圖像，以產(chǎn)生鑲嵌圖像。整體優(yōu)化單元502單獨(dú)優(yōu)化各個圖像轉(zhuǎn)換參數(shù)，以便在所有局部圖像中保持幾何轉(zhuǎn)換和組合的結(jié)果的一致性。
作為一種優(yōu)化圖像轉(zhuǎn)換參數(shù)的方法，使用下面的方法作為示例。
首先，對于每一個局部圖像中的特征點(diǎn)，在所有其他的局部圖像中搜索相應(yīng)點(diǎn)，以收集特征點(diǎn)對。在此，第i對特征點(diǎn)由{xi，xi’}表示。
隨后，查找局部圖像之間的圖像轉(zhuǎn)換參數(shù)，以使下面所示的評價方程最小化，并且將所述參數(shù)定義為最終的圖像參數(shù)。
Σid2(x^i,xi)+d2(x^′i,x′i)]]>其中，[方程3]d(x^i,xi),d(x^′i,x′i)]]>示出了[方程4]在點(diǎn) 和點(diǎn)x之間或者在點(diǎn) 和點(diǎn)x′之間的歐幾里德距離，此外，[方程5]x^]]>表示點(diǎn)x的位置，按照圖像轉(zhuǎn)換參數(shù)來轉(zhuǎn)換其坐標(biāo)。
當(dāng)圖像轉(zhuǎn)換參數(shù)被用作照相機(jī)的外部參數(shù)時，可以找到圖像轉(zhuǎn)換參數(shù)，他們使下面所示的評價方程最小化，并且可以將選擇它們作為最終的圖像轉(zhuǎn)換參數(shù)。

ΣfΣpwp|xfp-x^fp|]]>其中，f是輸入的局部圖像的號碼，p是跟蹤的特征點(diǎn)的號碼，xfp是第f幀中特征點(diǎn)p的坐標(biāo)，并且[方程7]x^fp]]>是特征點(diǎn)p投影在第f幀的圖像上的坐標(biāo)。此外，Wp是根據(jù)特征點(diǎn)跟蹤誤差的特征點(diǎn)的可信度。
作為參考，公知的Levenberg-Marquardt算法(參見“NumericalRecipes in C[日語版本]Numerical Calculation Recipes in Clanguage”，pp.503-507，Gijutsu-Hyoron Co.，Ltd，ISBN4-87408-506-1等)可以被用于圖像轉(zhuǎn)換參數(shù)的優(yōu)化。在這種情況下，由鑲嵌圖像產(chǎn)生單元501所產(chǎn)生的值可以被用作與每一個局部圖像相對應(yīng)的圖像轉(zhuǎn)換參數(shù)的初始值。
接下來，參考圖8，使用圖9的流程圖，來說明第二實(shí)施例的圖像組合系統(tǒng)的處理過程。
假設(shè)在下面用戶移動成像設(shè)備510，并且每一次按下快門鈕時或者以預(yù)先設(shè)置的恒定時間間隔來拍攝對象，并且將拍攝的局部圖像從成像設(shè)備510提供給數(shù)據(jù)處理單元500。此外，假設(shè)由鑲嵌圖像產(chǎn)生單元501所擁有的控制單元(未示出)來控制鑲嵌圖像產(chǎn)生單元501和整體優(yōu)化單元502的如下處理。
如圖9所示，當(dāng)成像設(shè)備510所拍攝的對象的一個局部圖像被數(shù)據(jù)處理單元500捕獲時(步驟S601)，鑲嵌圖像產(chǎn)生單元501按照與第一實(shí)施例類似的方式產(chǎn)生鑲嵌圖像，并且將其傳遞給顯示設(shè)備520(步驟602)。
當(dāng)圖像數(shù)據(jù)被傳遞給顯示設(shè)備520時，鑲嵌圖像產(chǎn)生單元501確定針對組合到鑲嵌圖像所需的所有局部圖像的處理是否已經(jīng)結(jié)束(步驟S603)，并且如果處理尚未結(jié)束，返回到步驟S601的處理，以重復(fù)從步驟S601到步驟S603的處理。
如果針對所需的局部圖像處理已經(jīng)結(jié)束，使用整體優(yōu)化單元502來優(yōu)化每一個圖像轉(zhuǎn)換參數(shù)，以去除不是在相鄰時間拍攝的局部圖像之間組合中的移位(步驟S604)。
最后，使用在步驟S604中處理所優(yōu)化的圖像轉(zhuǎn)換參數(shù)，通過幾何地轉(zhuǎn)換和組合各個局部圖像，再次產(chǎn)生鑲嵌圖像，并且將鑲嵌圖像數(shù)據(jù)發(fā)送到顯示設(shè)備502(步驟S605)。
在上述說明中，在鑲嵌圖像產(chǎn)生單元501已經(jīng)終止了所有局部圖像的幾何轉(zhuǎn)換和組合之后，針對圖像轉(zhuǎn)化參數(shù)執(zhí)行整體優(yōu)化處理，然而，可以在每一次針對一個局部圖像完成幾何轉(zhuǎn)換和組合處理時執(zhí)行圖像轉(zhuǎn)換參數(shù)的整體優(yōu)化處理，或者可以在每一次針對每預(yù)定數(shù)目的局部圖像完成幾何轉(zhuǎn)換和組合處理時執(zhí)行?？蛇x地，可以在滿足預(yù)定條件時執(zhí)行圖像轉(zhuǎn)換參數(shù)的整體優(yōu)化處理，例如就在成像設(shè)備510在搖動鏡頭方向上有較大改變之前執(zhí)行等。
接下來，給出本發(fā)明的圖像組合系統(tǒng)的第二實(shí)施例的效果的說明。
在第一實(shí)施例的圖像組合系統(tǒng)中，針對在相鄰時間拍攝的局部圖像分別計(jì)算圖像轉(zhuǎn)換參數(shù)，并且根據(jù)這些用于組合的值，依次幾何地轉(zhuǎn)換局部圖像，因此可能積累了圖像轉(zhuǎn)換參數(shù)的誤差，導(dǎo)致鑲嵌圖像中的失真。
在第二實(shí)施例的圖像轉(zhuǎn)換系統(tǒng)中，因?yàn)槿コ嗽诜蛛x時間拍攝的局部圖像之間組合中的移位，產(chǎn)生的鑲嵌圖像可以比第一實(shí)施例具有更少的失真。
(第三實(shí)施例)接下來，使用附圖，說明本發(fā)明的圖像組合系統(tǒng)的第三實(shí)施例。
如圖10所示，與第一實(shí)施例相同，第三實(shí)施例的圖像組合系統(tǒng)包括成像設(shè)備710，例如照相機(jī)、攝像機(jī)等；數(shù)據(jù)處理單元700，用于組合局部圖像以產(chǎn)生鑲嵌圖像；以及顯示設(shè)備720，例如液晶面板、Braun管等，用于顯示數(shù)據(jù)處理單元700的處理結(jié)果。例如由包括計(jì)算功能和存儲器的LSI、邏輯電路等來實(shí)現(xiàn)數(shù)據(jù)處理單元700。
第三實(shí)施例的數(shù)據(jù)處理單元700包括鑲嵌圖像產(chǎn)生單元701以及超分辨率圖像產(chǎn)生單元702。
包括與第一實(shí)施例的數(shù)據(jù)處理單元300或者第二實(shí)施例的數(shù)據(jù)處理單元500類似的功能的鑲嵌圖像產(chǎn)生單元701以當(dāng)前的局部圖像為基礎(chǔ)，幾何地轉(zhuǎn)換和組合拍攝的局部圖像以產(chǎn)生鑲嵌圖像。此外，鑲嵌圖像產(chǎn)生單元701分別優(yōu)化各個圖像轉(zhuǎn)換參數(shù)，以便在所有局部圖像中保持幾何轉(zhuǎn)換和組合的結(jié)果的一致性。
超分辨率圖像產(chǎn)生單元702通過將超分辨率處理應(yīng)用于拍攝的局部圖像，產(chǎn)生比第一實(shí)施例或第二實(shí)施例的圖像組合系統(tǒng)更高分辨率的鑲嵌圖像。
作為超分辨率處理，可以采用下面的方法，例如在Irani Pelog，“Improving Resolution by Image Registration”，CVGIPGraphicalModel and Image Processing，Vol.53，pp.231-239，1991中公開的方法等。
現(xiàn)在假設(shè)存在m個局部圖像{gk}＝g1、g2、…、gm，并且假設(shè)f表示希望產(chǎn)生的高分辨率鑲嵌圖像。此外，假設(shè)由鑲嵌圖像產(chǎn)生單元701所產(chǎn)生的鑲嵌圖像和圖像轉(zhuǎn)換參數(shù)被用作鑲嵌圖像f的初始圖像以及局部圖像{gk}之間的各個圖像轉(zhuǎn)換參數(shù)。
超分辨率圖像產(chǎn)生單元702首先針對鑲嵌圖像設(shè)置初始圖像f(0)，并且根據(jù)針對幾何轉(zhuǎn)換和包括模糊數(shù)據(jù)的低分辨率鑲嵌圖像產(chǎn)生的處理的模擬結(jié)果，估計(jì)與每一個局部圖像{gk}相對應(yīng)的低分辨率圖像(gk(0)}。
接下來，超分辨率圖像產(chǎn)生單元702計(jì)算估計(jì)圖像和輸入圖像之間的差分圖像(gk-gk(0)}，并將差分圖像的象素值加到初始圖像f(0)中相應(yīng)的位置，以產(chǎn)生更新的高分辨率鑲嵌圖像f(1)。
重復(fù)該處理，直到由下面的方程所示的誤差函數(shù)e變?yōu)樽銐蛐　?br> e(n)=ΣkΣ(x,y)(gk(x,y)-gk(n)(x,y))2]]>其中，n是重復(fù)計(jì)算的次數(shù)。
可以放大由鑲嵌圖像產(chǎn)生單元701所產(chǎn)生的鑲嵌圖像，例如在垂直和水平方向中分別為兩倍，以產(chǎn)生用作鑲嵌圖像的初始圖像的圖像，或者可以放大等于或大于兩倍的因子，用作初始圖像。
接下來，給出本發(fā)明的第三實(shí)施例的圖像組合系統(tǒng)的效果的說明。
第三實(shí)施例的圖像組合系統(tǒng)通過包含超分辨率圖像產(chǎn)生單元702，可以提供比第一實(shí)施例和第二實(shí)施例的圖像組合系統(tǒng)更高分辨率的鑲嵌圖像。
第三實(shí)施例的圖像組合系統(tǒng)可以在拍攝對象的同時只執(zhí)行施加相對較輕處理負(fù)擔(dān)(低計(jì)算成本)的鑲嵌圖像組合處理，并且在已經(jīng)拍攝所有局部圖像之后執(zhí)行施加相對較重處理負(fù)擔(dān)(高計(jì)算成本)的超分辨率圖像產(chǎn)生處理和圖像轉(zhuǎn)換參數(shù)的整體優(yōu)化處理。在這種情況下，避免鑲嵌圖像更新響應(yīng)在拍攝對象時劣化。
(第四實(shí)施例)接下來，使用附圖，說明本發(fā)明的圖像組合系統(tǒng)的第四實(shí)施例。
如圖11所示，與第一實(shí)施例相同，第四實(shí)施例的圖像組合系統(tǒng)包括成像設(shè)備810，例如照相機(jī)、攝像機(jī)等；數(shù)據(jù)處理單元800，用于組合局部圖像以產(chǎn)生鑲嵌圖像；顯示設(shè)備820，例如液晶面板、Braun管等，用于顯示數(shù)據(jù)處理單元800的處理結(jié)果；以及記錄介質(zhì)830，記錄用于使數(shù)據(jù)處理單元800產(chǎn)生鑲嵌圖像的圖像組合程序。
圖像組合程序是使數(shù)據(jù)處理單元800實(shí)現(xiàn)第一實(shí)施例的圖像組合系統(tǒng)中所包括的轉(zhuǎn)換參數(shù)估計(jì)單元301、圖像組合數(shù)據(jù)檢索單元303、圖像組合單元304和控制單元305每一個的處理的程序?？蛇x地，圖像組合程序是使數(shù)據(jù)處理單元800實(shí)現(xiàn)第二實(shí)施例的圖像組合系統(tǒng)中所包括的鑲嵌圖像產(chǎn)生單元501和整體優(yōu)化單元502每一個的處理的程序?？蛇x地，圖像組合程序是使數(shù)據(jù)處理單元800實(shí)現(xiàn)第三實(shí)施例的圖像組合系統(tǒng)中所包括的鑲嵌圖像產(chǎn)生單元701和超分辨率圖像產(chǎn)生單元702的處理的程序。
由計(jì)算機(jī)實(shí)現(xiàn)第四實(shí)施例的數(shù)據(jù)處理單元800，計(jì)算機(jī)具有例如CPU(未示出)；用于暫時持有CPU處理所需數(shù)據(jù)的主存儲設(shè)備；作為與成像設(shè)備810、顯示設(shè)備820、記錄介質(zhì)830等的接口單元的I/O單元；以及通信設(shè)備，使得能夠通過網(wǎng)絡(luò)與服務(wù)器設(shè)備等進(jìn)行數(shù)據(jù)發(fā)送/接收。
記錄介質(zhì)830可以是磁盤、半導(dǎo)體存儲器、磁帶、CD(壓縮盤)-ROM、DVD(數(shù)字多媒體盤)或者其他記錄介質(zhì)。
數(shù)據(jù)處理單元800在主存儲設(shè)備中載入記錄在記錄介質(zhì)830上的圖像組合程序，并且根據(jù)圖像組合程序，由CPU執(zhí)行與在上述第一至第三實(shí)施例中所述的數(shù)據(jù)處理單元類似的處理。圖像組合程序不必一定存儲在記錄介質(zhì)830中，而是可以存儲在例如網(wǎng)絡(luò)上的服務(wù)器設(shè)備等上，并且響應(yīng)于來自數(shù)據(jù)處理單元800的請求，通過網(wǎng)絡(luò)從服務(wù)器設(shè)備下載到主存儲單元。
相同地，第四實(shí)施例的圖像組合系統(tǒng)可以產(chǎn)生與在上述第一至第三實(shí)施例中所述的圖像組合系統(tǒng)相類似的效果。
實(shí)施方式接下來，使用附圖，說明本發(fā)明的圖像組合系統(tǒng)的實(shí)施方式。
該實(shí)施方式是第三實(shí)施例的圖像組合系統(tǒng)被應(yīng)用于移動電話系統(tǒng)的示例。
如圖12所示，應(yīng)用本發(fā)明圖像組合系統(tǒng)的移動電話系統(tǒng)包括移動電話1230以及通過網(wǎng)絡(luò)與移動電話1230相連的服務(wù)器設(shè)備1240。
移動電話1230包括CCD照相機(jī)1210，是能夠拍運(yùn)動圖像的成像設(shè)備；處理器1200，是數(shù)據(jù)處理單元；以及液晶面板1220，是顯示設(shè)備。
與第一實(shí)施例的數(shù)據(jù)處理單元相同，處理器1200包括轉(zhuǎn)換參數(shù)估計(jì)單元1201、存儲單元1202、圖像組合數(shù)據(jù)檢索單元1203、圖像組合單元1204以及控制單元1205。
服務(wù)器設(shè)備1240相應(yīng)地包括第二實(shí)施例所示的超分辨率整體優(yōu)化單元、第三實(shí)施例所述的超分辨率圖像產(chǎn)生單元以及使得能夠通過網(wǎng)絡(luò)與移動電話1230進(jìn)行數(shù)據(jù)通信的通信設(shè)備(未示出)。
包含在移動電話1230中的處理器1200包括存儲器以及用于(例如根據(jù)圖像轉(zhuǎn)換程序)執(zhí)行與第一實(shí)施例中數(shù)據(jù)處理單元相類似的處理的CPU。服務(wù)器設(shè)備1240相應(yīng)地包括存儲器和用于根據(jù)程序執(zhí)行上述整體優(yōu)化單元1241和超分辨率圖像產(chǎn)生單元1242每一個的處理的CPU。
在本實(shí)施方式的移動電話系統(tǒng)中，當(dāng)利用CCD照相機(jī)1210捕獲對象的同時用戶移動移動電話1230時，以預(yù)先設(shè)置的恒定時間間隔將CCD照相機(jī)1210所拍攝的對象的局部圖像提供給處理器1200。
當(dāng)捕獲對象的一個局部圖像時，處理器1200搜索存儲單元1202，以查看是否存在包含與剛剛拍攝的對象相同對象的局部圖像。如果沒有找到局部圖像，捕獲下一個拍攝的局部圖像?？蛇x地，如果存在拍攝的局部圖像，處理器1200根據(jù)在上述非專利文獻(xiàn)1中公開的方法，估計(jì)將當(dāng)前局部圖像與剛剛拍攝的局部圖像組合所需的幾何轉(zhuǎn)換，并且計(jì)算其圖像轉(zhuǎn)換參數(shù)。然后，將當(dāng)前的局部圖像和計(jì)算的圖像轉(zhuǎn)換參數(shù)彼此相關(guān)聯(lián)地存儲在存儲單元1202中。
接下來，處理器1200選擇組合為鑲嵌圖像所需的多個局部圖像，并且檢索選定的局部圖像和與其相對應(yīng)的圖像轉(zhuǎn)換參數(shù)。在該實(shí)施方式中，假設(shè)在液晶面板1220上顯示圖6所示的第二典型顯示圖像。在這種情況下，處理器1200從存儲單元1202中檢索位于以當(dāng)前局部圖像為中心的周圍預(yù)定范圍內(nèi)的局部圖像和與其相對應(yīng)的圖像轉(zhuǎn)換參數(shù)。
處理器1200使用檢索的局部圖像和圖像轉(zhuǎn)換參數(shù)，產(chǎn)生鑲嵌圖像，并且在液晶板1220上顯示包含鑲嵌圖像的第二典型顯示圖像。然后，確定針對組合到鑲嵌圖像所需的所有局部圖像的處理是否結(jié)束，并且如果處理尚未結(jié)束，處理器1200檢索下一個圖像并重復(fù)上述處理。相反地，如果針對所有所需的局部圖像的處理已經(jīng)結(jié)束，處理器1200通過網(wǎng)絡(luò)將所有的局部圖像和與其相對應(yīng)的圖像轉(zhuǎn)換參數(shù)以及處理鑲嵌圖像的請求(是否需要整體優(yōu)化和超分辨率處理)發(fā)送到服務(wù)器設(shè)備1240。
當(dāng)從移動電話1230接收到局部圖像和圖像轉(zhuǎn)換參數(shù)時，響應(yīng)于來自用戶的處理請求，服務(wù)器設(shè)備1240通過整體優(yōu)化單元1241、按照與第二實(shí)施例類似的方式來優(yōu)化所有的圖像轉(zhuǎn)換參數(shù)，以便在組合成鑲嵌圖像之后保持一致性，并且將優(yōu)化的圖像轉(zhuǎn)換參數(shù)發(fā)送到移動電話1230。在這種情況下，移動電話1230使用從服務(wù)器設(shè)備接收的圖像轉(zhuǎn)換參數(shù)，再次組合鑲嵌圖像，并且將其顯示在顯示設(shè)備1220上。
此外，當(dāng)從移動電話1230接收到局部圖像和圖像轉(zhuǎn)換參數(shù)時，響應(yīng)于來自用戶的處理請求，服務(wù)器設(shè)備1240通過超分辨率圖像產(chǎn)生單元1242、按照與第三實(shí)施例類似的方式來針對每一個局部圖像執(zhí)行超分辨率處理，以產(chǎn)生高分辨率鑲嵌圖像，并且將鑲嵌圖像發(fā)送到移動電話1230。在這種情況下，移動電話1230將從服務(wù)器設(shè)備接收的高分辨率鑲嵌圖像顯示在顯示設(shè)備1220上。
根據(jù)本實(shí)施方式的移動電話系統(tǒng)，使用在移動電話1230中備有的低分辨率照相機(jī)，可以產(chǎn)生具有廣視角和高分辨率的鑲嵌圖像。
權(quán)利要求
1.一種圖像組合系統(tǒng)，包括成像設(shè)備，用于將對象劃分為多個局部圖像，并且拍攝局部圖像；轉(zhuǎn)換參數(shù)估計(jì)單元，用于估計(jì)局部圖像之間組合所需的幾何轉(zhuǎn)換，并且計(jì)算用于幾何轉(zhuǎn)換的圖像轉(zhuǎn)換參數(shù)；存儲單元，用于存儲局部圖像和與局部圖像相對應(yīng)的計(jì)算的圖像轉(zhuǎn)換參數(shù)；圖像組合數(shù)據(jù)檢索單元，用于選擇產(chǎn)生鑲嵌圖像所需的局部圖像，并且從所述存儲單元中分別檢索選定的局部圖像和與其相對應(yīng)的圖像轉(zhuǎn)換參數(shù)；圖像組合單元，用于使用由所述圖像組合數(shù)據(jù)檢索單元所檢索的局部圖像和圖像轉(zhuǎn)換參數(shù)，以當(dāng)前的局部圖像為基礎(chǔ)，幾何地轉(zhuǎn)換拍攝的局部圖像，組合它們，以產(chǎn)生鑲嵌圖像，并且產(chǎn)生用于顯示當(dāng)前的局部圖像和至少一部分鑲嵌圖像的圖像數(shù)據(jù)；以及顯示設(shè)備，用于根據(jù)所述圖像組合單元所產(chǎn)生的圖像數(shù)據(jù)，顯示圖像。
2.根據(jù)權(quán)利要求1所述的圖像組合系統(tǒng)，還包括整體優(yōu)化單元，用于優(yōu)化每一個圖像轉(zhuǎn)換參數(shù)，以便在所有局部圖像中保持幾何轉(zhuǎn)換和組合的一致性。
3.根據(jù)權(quán)利要求1所述的圖像組合系統(tǒng)，還包括超分辨率圖像產(chǎn)生單元，用于以高于鑲嵌圖像的分辨率產(chǎn)生圖像。
4.根據(jù)權(quán)利要求1所述的圖像組合系統(tǒng)，其中，所述圖像組合單元產(chǎn)生圖像數(shù)據(jù)，用于將當(dāng)前的局部圖像放置在所述顯示設(shè)備的整個屏幕之上，并且在屏幕的一部分中以縮減比例顯示根據(jù)當(dāng)前的局部圖像和拍攝的局部圖像而產(chǎn)生的鑲嵌圖像。
5.根據(jù)權(quán)利要求4所述的圖像組合系統(tǒng)，其中，所述圖像組合單元產(chǎn)生圖像數(shù)據(jù)，用于加亮出現(xiàn)在鑲嵌圖像中的當(dāng)前局部圖像的外接矩形。
6.根據(jù)權(quán)利要求4所述的圖像組合系統(tǒng)，其中，所述圖像組合單元產(chǎn)生圖像數(shù)據(jù)，用于利用特定象素值來顯示其中不存在局部圖像的鑲嵌圖像中的區(qū)域。
7.根據(jù)權(quán)利要求4所述的圖像組合系統(tǒng)，其中，所述圖像組合單元產(chǎn)生圖像數(shù)據(jù)，用于在當(dāng)前的局部圖像位于鑲嵌圖像之外時，滾動和顯示鑲嵌圖像，或者以縮減比例顯示鑲嵌圖像，從而當(dāng)前的局部圖像處于鑲嵌圖像中。
8.根據(jù)權(quán)利要求1所述的圖像組合系統(tǒng)，其中，所述圖像組合單元產(chǎn)生圖像數(shù)據(jù)，用于將當(dāng)前的局部圖像放置在所述顯示設(shè)備的屏幕中心，并且顯示包含在以當(dāng)前局部圖像為中心的周圍預(yù)定范圍內(nèi)的拍攝的局部圖像的組合。
9.根據(jù)權(quán)利要求1所述的圖像組合系統(tǒng)，其中，所述圖像組合單元產(chǎn)生圖像數(shù)據(jù)，用于將當(dāng)前的局部圖像放置在所述顯示設(shè)備的整個屏幕之上，并且顯示和加亮與拍攝的局部圖像相交迭的部分。
10.根據(jù)權(quán)利要求9所述的圖像組合系統(tǒng)，其中，所述圖像組合單元產(chǎn)生圖像數(shù)據(jù)，用于以根據(jù)交迭的局部圖像的數(shù)目而變化的顏色來顯示與拍攝的局部圖像相交迭的部分。
11.一種用于組合從對象中分離并且由成像設(shè)備拍攝的多個局部圖像以產(chǎn)生用于在顯示設(shè)備上顯示的鑲嵌圖像的圖像組合方法，所述方法包括估計(jì)局部圖像之間組合所需的幾何轉(zhuǎn)換，并且計(jì)算用于幾何轉(zhuǎn)換的圖像轉(zhuǎn)換參數(shù)；分別將局部圖像和與局部圖像相對應(yīng)的計(jì)算的圖像轉(zhuǎn)換參數(shù)存儲在存儲單元中；選擇產(chǎn)生鑲嵌圖像所需的局部圖像，并且從所述存儲單元中檢索選定的局部圖像和與其相對應(yīng)的圖像轉(zhuǎn)換參數(shù)；使用所檢索的局部圖像和圖像轉(zhuǎn)換參數(shù)，以當(dāng)前的局部圖像為基礎(chǔ)，幾何地轉(zhuǎn)換拍攝的局部圖像，并且組合它們，以產(chǎn)生鑲嵌圖像；以及產(chǎn)生用于在所述顯示設(shè)備上顯示當(dāng)前的局部圖像和至少一部分鑲嵌圖像的圖像數(shù)據(jù)。
12.根據(jù)權(quán)利要求11所述的圖像組合方法，還包括執(zhí)行整體優(yōu)化處理，用于優(yōu)化每一個圖像轉(zhuǎn)換參數(shù)，以便在所有局部圖像中保持幾何轉(zhuǎn)換和組合的一致性。
13.根據(jù)權(quán)利要求11所述的圖像組合方法，還包括執(zhí)行超分辨率圖像產(chǎn)生處理，用于以高于鑲嵌圖像的分辨率產(chǎn)生圖像。
14.根據(jù)權(quán)利要求11所述的圖像組合方法，包括產(chǎn)生圖像數(shù)據(jù)，用于將當(dāng)前的局部圖像放置在所述顯示設(shè)備的整個屏幕之上，并且在屏幕的一部分中以縮減比例顯示根據(jù)當(dāng)前的局部圖像和拍攝的局部圖像而產(chǎn)生的鑲嵌圖像。
15.根據(jù)權(quán)利要求14所述的圖像組合方法，包括產(chǎn)生圖像數(shù)據(jù)，用于加亮出現(xiàn)在鑲嵌圖像中的當(dāng)前局部圖像的外接矩形。
16.根據(jù)權(quán)利要求14所述的圖像組合方法，包括產(chǎn)生圖像數(shù)據(jù)，用于利用特定象素值來顯示其中不存在局部圖像的鑲嵌圖像中的區(qū)域。
17.根據(jù)權(quán)利要求14所述的圖像組合方法，包括產(chǎn)生圖像數(shù)據(jù)，用于在當(dāng)前的局部圖像位于鑲嵌圖像之外時，滾動和顯示鑲嵌圖像，或者以縮減比例顯示鑲嵌圖像，從而當(dāng)前的局部圖像處于鑲嵌圖像中。
18.根據(jù)權(quán)利要求11所述的圖像組合方法，包括產(chǎn)生圖像數(shù)據(jù)，用于將當(dāng)前的局部圖像放置在所述顯示設(shè)備的屏幕中心，并且顯示包含在以當(dāng)前局部圖像為中心的周圍預(yù)定范圍內(nèi)的拍攝的局部圖像的組合。
19.根據(jù)權(quán)利要求11所述的圖像組合方法，包括產(chǎn)生圖像數(shù)據(jù)，用于將當(dāng)前的局部圖像放置在所述顯示設(shè)備的整個屏幕之上，并且顯示和加亮與拍攝的局部圖像相交迭的部分。
20.根據(jù)權(quán)利要求19所述的圖像組合方法，包括產(chǎn)生圖像數(shù)據(jù)，用于以根據(jù)交迭的局部圖像的數(shù)目而變化的顏色來顯示與拍攝的局部圖像相交迭的部分。
21.一種程序，用于使計(jì)算機(jī)執(zhí)行組合從對象中分離并且由成像設(shè)備拍攝的多個局部圖像以產(chǎn)生用于在顯示設(shè)備上顯示的鑲嵌圖像的處理，所述程序使計(jì)算機(jī)執(zhí)行估計(jì)處理，用于估計(jì)局部圖像的組合所需的幾何轉(zhuǎn)換，并且計(jì)算用于幾何轉(zhuǎn)換的圖像轉(zhuǎn)換參數(shù)；存儲處理，用于分別將局部圖像和與局部圖像相對應(yīng)的計(jì)算的圖像轉(zhuǎn)換參數(shù)存儲在存儲單元中；檢索處理，用于選擇產(chǎn)生鑲嵌圖像所需的局部圖像，并且從所述存儲單元中檢索選定的局部圖像和與其相對應(yīng)的圖像轉(zhuǎn)換參數(shù)；轉(zhuǎn)換處理，用于使用所檢索的局部圖像和圖像轉(zhuǎn)換參數(shù)，以當(dāng)前的局部圖像為基礎(chǔ)，幾何地轉(zhuǎn)換拍攝的局部圖像，并且組合它們，以產(chǎn)生鑲嵌圖像；以及產(chǎn)生處理，用于產(chǎn)生用于在所述顯示設(shè)備上顯示當(dāng)前的局部圖像和至少一部分鑲嵌圖像的圖像數(shù)據(jù)。
22.根據(jù)權(quán)利要求21所述的程序，還包括使計(jì)算機(jī)執(zhí)行整體優(yōu)化處理，用于優(yōu)化每一個圖像轉(zhuǎn)換參數(shù)，以便在所有局部圖像中保持幾何轉(zhuǎn)換和組合的一致性。
23.根據(jù)權(quán)利要求21所述的程序，還包括使計(jì)算機(jī)執(zhí)行超分辨率圖像產(chǎn)生處理，用于以高于鑲嵌圖像的分辨率產(chǎn)生圖像。
24.根據(jù)權(quán)利要求21所述的程序，使計(jì)算機(jī)執(zhí)行處理，以產(chǎn)生圖像數(shù)據(jù)，用于將當(dāng)前的局部圖像放置在所述顯示設(shè)備的整個屏幕之上，并且在屏幕的一部分中以縮減比例顯示根據(jù)當(dāng)前的局部圖像和拍攝的局部圖像而產(chǎn)生的鑲嵌圖像。
25.根據(jù)權(quán)利要求24所述的程序，使計(jì)算機(jī)執(zhí)行處理，以產(chǎn)生圖像數(shù)據(jù)，用于加亮出現(xiàn)在鑲嵌圖像中的當(dāng)前局部圖像的外接矩形。
26.根據(jù)權(quán)利要求24所述的程序，使計(jì)算機(jī)執(zhí)行處理，以產(chǎn)生圖像數(shù)據(jù)，用于利用特定象素值來顯示其中不存在局部圖像的鑲嵌圖像中的區(qū)域。
27.根據(jù)權(quán)利要求24所述的程序，使計(jì)算機(jī)執(zhí)行處理，以產(chǎn)生圖像數(shù)據(jù)，用于在當(dāng)前的局部圖像位于鑲嵌圖像之外時，滾動和顯示鑲嵌圖像，或者以縮減比例顯示鑲嵌圖像，從而當(dāng)前的局部圖像處于鑲嵌圖像中。
28.根據(jù)權(quán)利要求21所述的程序，使計(jì)算機(jī)執(zhí)行處理，以產(chǎn)生圖像數(shù)據(jù)，用于將當(dāng)前的局部圖像放置在所述顯示設(shè)備的屏幕中心，并且顯示包含在以當(dāng)前局部圖像為中心的周圍預(yù)定范圍內(nèi)的拍攝的局部圖像的組合。
29.根據(jù)權(quán)利要求21所述的程序，使計(jì)算機(jī)執(zhí)行處理，以產(chǎn)生圖像數(shù)據(jù)，用于將當(dāng)前的局部圖像放置在所述顯示設(shè)備的整個屏幕之上，并且顯示和加亮與拍攝的局部圖像相交迭的部分。
30.根據(jù)權(quán)利要求29所述的程序，使計(jì)算機(jī)執(zhí)行處理，以產(chǎn)生圖像數(shù)據(jù)，用于以根據(jù)交迭的局部圖像的數(shù)目而變化的顏色來顯示與拍攝的局部圖像相交迭的部分。
全文摘要
數(shù)據(jù)處理單元計(jì)算與每一個局部圖像相對應(yīng)的圖像轉(zhuǎn)換參數(shù)，以當(dāng)前的局部圖像為基礎(chǔ)，根據(jù)計(jì)算的圖像轉(zhuǎn)換參數(shù)，幾何地轉(zhuǎn)換拍攝的局部圖像，并且組合它們，以產(chǎn)生鑲嵌圖像。此外，顯示設(shè)備顯示每一個當(dāng)前的局部圖像以及至少一部分所產(chǎn)生的鑲嵌圖像。
文檔編號H04N1/387GK1849623SQ200480025708
公開日2006年10月18日 申請日期2004年9月7日 優(yōu)先權(quán)日2003年9月8日
發(fā)明者池谷彰彥, 中島升, 佐藤智和, 池田圣, 神原誠之, 橫矢直和 申請人:日本電氣株式會社