專利名稱：圖像處理裝置、圖像處理方法以及圖像處理程序的制作方法
技術領域：
本發(fā)明涉及圖像處理裝置、圖像處理方法以及圖像處理程序。
背景技術：
以往，作為圖像處理裝置，公知有接合所拍攝的圖像而生成一張作為廣角靜態(tài)圖像的全景靜態(tài)圖像的裝置(例如參照專利文獻1、2)。專利文獻1、2所記載的圖像處理裝置在接合第I圖像和第2圖像時，在第I圖像與第2圖像重疊的區(qū)域內(nèi)對小區(qū)域進行模板匹配而進行定位，進行2個圖像重疊的區(qū)域中至少一個圖像的像素值的灰度轉(zhuǎn)換，對2個圖像重疊的區(qū)域中的明亮度進行校正以使接縫不明顯。
現(xiàn)有技術文獻專利文獻專利文獻I :日本特開平9-321972號公報專利文獻2 :日本特開平10-91765號公報

發(fā)明內(nèi)容
發(fā)明要解決的課題近年來，數(shù)字照相機廣泛普及，而且也已應用于便攜電話等移動設備中。在要求小型化的上述設備中，期望以較少資源進行高速的全景圖像的生成處理。在上述專利文獻I、2所記載的裝置中，從處理高速化的觀點來看存在改善的余地。因此，本發(fā)明是為了解決這種技術課題而完成的，其目的在于，提供圖像處理裝置、圖像處理方法以及圖像處理程序，它們在接合曝光條件不同的圖像時，能夠以低負荷進行使圖像的接縫不明顯的處理。用于解決課題的手段即，本發(fā)明的圖像處理裝置在每次輸入第2圖像時，將由一張圖像構(gòu)成或接合多個所述圖像而構(gòu)成的第I圖像與所輸入的該第2圖像進行接合，逐次生成合成圖像，該圖像處理裝置具有重疊區(qū)域取得部，其根據(jù)構(gòu)成所述第I圖像的圖像中在所述第2圖像之前剛輸入的前一輸入圖像和所述第2圖像，取得運動矢量，根據(jù)所取得的所述運動矢量，取得所述前一輸入圖像與所述第2圖像重疊的重疊區(qū)域；亮度值轉(zhuǎn)換系數(shù)計算部，其根據(jù)所述重疊區(qū)域中的所述第I圖像的亮度值和所述第2圖像的亮度值，計算亮度轉(zhuǎn)換系數(shù)，該亮度轉(zhuǎn)換系數(shù)以使所述第I圖像和所述第2圖像的亮度值的變化減小的方式對所述第I圖像或所述第2圖像的亮度值進行轉(zhuǎn)換；以及合成圖像生成部，其使用所述亮度轉(zhuǎn)換系數(shù)對所述第I圖像或所述第2圖像進行轉(zhuǎn)換，接合所述第I圖像與所述第2圖像而生成所述合成圖像。在本發(fā)明的圖像處理裝置中，重疊區(qū)域取得部根據(jù)第2圖像和在第2圖像之前剛輸入的前一輸入圖像，取得運動矢量，根據(jù)所取得的運動矢量，取得前一輸入圖像與第2圖像重疊的重疊區(qū)域，亮度值轉(zhuǎn)換系數(shù)計算部根據(jù)重疊區(qū)域中的第I圖像的亮度值和第2圖像的亮度值，計算亮度轉(zhuǎn)換系數(shù)，該亮度轉(zhuǎn)換系數(shù)以使第I圖像和第2圖像的亮度值的變化減小的方式對第I圖像或第2圖像的亮度值進行轉(zhuǎn)換，合成圖像生成部根據(jù)亮度轉(zhuǎn)換系數(shù)對第I圖像或第2圖像進行轉(zhuǎn)換，接合兩個圖像。這樣，通過利用運動矢量取得前一輸入圖像與第2圖像的重疊區(qū)域，能夠低負荷且高速地取得重疊區(qū)域的亮度值的信息。由此，在接合曝光條件不同的圖像時，能夠以低負荷進行使圖像的接縫變得不明顯的處理。這里，優(yōu)選的是，該圖像處理裝置具有亮度絕對值計算部，該亮度絕對值計算部根據(jù)所述重疊區(qū)域中的所述前一輸入圖像的亮度值的總和以及所述第2圖像的亮度值的總和，計算所述第2圖像的亮度絕對值，所述第2圖像的亮度絕對值是所述第I圖像中的規(guī)定的基準圖像的亮度值的總和與所述第2圖像的亮度值的總和之比，所述亮度值轉(zhuǎn)換系數(shù)計算部根據(jù)構(gòu)成所述第I圖像的圖像中與所述第2圖像重疊的對象圖像的所述亮度絕 對值和所述第2圖像的所述亮度絕對值，計算所述第2圖像的亮度值轉(zhuǎn)換系數(shù)，所述第2圖像的亮度值轉(zhuǎn)換系數(shù)取決于離所述對象圖像與所述第2圖像的接縫的距離。通過這樣地構(gòu)成，能夠根據(jù)亮度值的總和來計算亮度絕對值，使用該亮度絕對值計算亮度轉(zhuǎn)換系數(shù)，所以，能夠進行穩(wěn)健的運算。并且，不使用構(gòu)成第I圖像的一個圖像即計算亮度絕對值時作為基準的基準圖像的亮度值的總和，而是根據(jù)前一輸入圖像的亮度絕對值來計算第2圖像的亮度絕對值。即，不需要為了計算逐次輸入的第2圖像的亮度絕對值而始終記錄基準圖像的亮度值的總和。由此，能夠減輕處理負荷。并且，優(yōu)選的是，所述亮度值轉(zhuǎn)換系數(shù)計算部以使合成位置(合成場所內(nèi)的預定位置)處的所述第2圖像的權(quán)重與合成位置離接縫的距離成比例地增大的方式，計算所述亮度值轉(zhuǎn)換系數(shù)。通過這樣地構(gòu)成，能夠?qū)Φ?圖像的轉(zhuǎn)換后的亮度值進行校正，使得離接縫越遠，越接近第2圖像的原本的亮度值。另外，可以是，合成圖像生成部根據(jù)合成位置離接縫的距離來決定合成位置處的所述亮度值轉(zhuǎn)換系數(shù)，根據(jù)所決定的所述亮度值轉(zhuǎn)換系數(shù)導出對所述第2圖像的亮度值進行轉(zhuǎn)換的校正函數(shù)，根據(jù)所述校正函數(shù)和所述第2圖像的亮度值，計算在合成位置處使用的所述第2圖像的亮度值。另外，優(yōu)選的是，在轉(zhuǎn)換前的像素值和轉(zhuǎn)換后的像素值小于規(guī)定閾值的范圍內(nèi)，所述校正函數(shù)是將所述亮度值轉(zhuǎn)換系數(shù)作為比例常數(shù)的一次函數(shù)，在轉(zhuǎn)換前的像素值或轉(zhuǎn)換后的像素值為規(guī)定閾值以上的范圍內(nèi)，所述校正函數(shù)是與截止于閾值的一次函數(shù)連續(xù)且通過最大像素值的一次函數(shù)。這樣，通過采用一次函數(shù)作為校正函數(shù)，能夠抑制校正函數(shù)的計算成本。并且，在轉(zhuǎn)換前的像素值或轉(zhuǎn)換后的像素值為規(guī)定閾值以上的范圍內(nèi)，設校正函數(shù)為與截止于閾值的一次函數(shù)連續(xù)且通過最大像素值的一次函數(shù)，由此，能夠抑制校正函數(shù)的計算成本，并生成自然的合成圖像。另外，優(yōu)選的是，該圖像處理裝置具有中心位置取得部，該中心位置取得部根據(jù)構(gòu)成所述第I圖像的圖像中在所述第2圖像之前剛輸入的圖像和所述第2圖像，取得運動矢量，根據(jù)所取得的所述運動矢量，取得作為構(gòu)成所述第I圖像的各個圖像的中心點的第I中心點的位置信息以及作為所述第2圖像的中心點的第2中心點的位置信息，所述合成圖像生成部取得構(gòu)成所述第I圖像的圖像中與所述第2圖像重疊的圖像的所述第I中心點，根據(jù)所取得的所述第I中心點的位置信息和所述第2中心點的位置信息，將所取得的所述第I中心點與所述第2中心點的垂直二等分線作為所述第I圖像和所述第2圖像的接縫進行接合，生成所述合成圖像。通過這樣地構(gòu)成，在逐次合成第I圖像和所輸入的第2圖像時，能夠?qū)⒌贗中心點與第2中心點的垂直二等分線作為圖像的接縫，所以，能夠高速且低負荷地實現(xiàn)逐次合成處理。進而，通過使用垂直二等分線，能夠降低2個圖像的偏移量，所以，能夠提高合成圖像的品質(zhì)。進而，優(yōu)選的是，所述合成圖像生成部使處于從所述第I圖像與所述第2圖像的接縫到相距規(guī)定距離的位置為止的、比所述重疊區(qū)域小的范圍內(nèi)的像素值，成為所述第I圖像的像素值和所述第2圖像的像素值的合成值。通過這樣地構(gòu)成，使從接縫到相距規(guī)定距離的位置為止的像素值成為合成值，所以，能夠使接縫不明顯。并且，能夠使用對亮度值進行轉(zhuǎn)換后的第2圖像來計算像素值的合 成值，所以，能夠避免亮度值的差分大幅變化。而且，能夠分別獨立地進行亮度值的調(diào)整處理和像素值的合成處理，所以，例如，通過縮小接縫附近的合成區(qū)域，能夠降低處理負荷，并且，通過縮小第I區(qū)域，能夠根據(jù)比對像素進行合成后的區(qū)域大的區(qū)域中的第I圖像和第2圖像的亮度值，對顯著的第I圖像和第2圖像的亮度值的差分進行校正。并且，本發(fā)明的圖像處理方法在每次輸入第2圖像時，將由一張圖像構(gòu)成或接合多個所述圖像而構(gòu)成的第I圖像與所輸入的該第2圖像進行接合，逐次生成合成圖像，其特征在于，該圖像處理方法具有以下步驟重疊區(qū)域取得步驟，根據(jù)構(gòu)成所述第I圖像的圖像中在所述第2圖像之前剛輸入的前一輸入圖像和所述第2圖像，取得運動矢量，根據(jù)所取得的所述運動矢量，取得所述前一輸入圖像與所述第2圖像重疊的重疊區(qū)域；亮度轉(zhuǎn)換系數(shù)計算步驟，根據(jù)所述重疊區(qū)域中的所述第I圖像的亮度值和所述第2圖像的亮度值，計算亮度轉(zhuǎn)換系數(shù)，該亮度轉(zhuǎn)換系數(shù)以使所述第I圖像和所述第2圖像的亮度值的變化減小的方式對所述第I圖像或所述第2圖像的亮度值進行轉(zhuǎn)換；以及合成圖像生成步驟，使用所述亮度轉(zhuǎn)換系數(shù)對所述第I圖像或所述第2圖像進行轉(zhuǎn)換，接合所述第I圖像與所述第2圖像而生成所述合成圖像。根據(jù)本發(fā)明的圖像處理方法，能夠發(fā)揮與上述本發(fā)明的圖像處理裝置相同的效果。并且，本發(fā)明的圖像處理程序使計算機發(fā)揮如下功能在每次輸入第2圖像時，將由一張圖像構(gòu)成或接合多個所述圖像而構(gòu)成的第I圖像與所輸入的該第2圖像進行接合，逐次生成合成圖像，其特征在于，該圖像處理程序作為以下部分發(fā)揮功能重疊區(qū)域取得部，其根據(jù)構(gòu)成所述第I圖像的圖像中在所述第2圖像之前剛輸入的前一輸入圖像和所述第2圖像，取得運動矢量，根據(jù)所取得的所述運動矢量，取得所述前一輸入圖像與所述第2圖像重疊的重疊區(qū)域；亮度值轉(zhuǎn)換系數(shù)計算部，其根據(jù)所述重疊區(qū)域中的所述第I圖像的亮度值和所述第2圖像的亮度值，計算亮度轉(zhuǎn)換系數(shù)，該亮度轉(zhuǎn)換系數(shù)以使所述第I圖像和所述第2圖像的亮度值的變化減小的方式對所述第I圖像或所述第2圖像的亮度值進行轉(zhuǎn)換；以及合成圖像生成部，其使用所述亮度轉(zhuǎn)換系數(shù)對所述第I圖像或所述第2圖像進行轉(zhuǎn)換，接合所述第I圖像與所述第2圖像而生成所述合成圖像。根據(jù)本發(fā)明的圖像處理程序，能夠發(fā)揮與上述本發(fā)明的圖像處理裝置相同的效果。
發(fā)明效果根據(jù)本發(fā)明，在接合曝光條件不同的圖像時，能夠以低負荷進行使圖像的接縫不明顯的處理。


圖I是搭載了實施方式的圖像處理裝置的便攜終端的功能框圖。圖2是搭載有實施方式的圖像處理裝置的便攜終端的硬件結(jié)構(gòu)圖。圖3是說明已經(jīng)輸入的圖像與之后輸入的圖像的重疊區(qū)域的概要圖。圖4是說明合成圖像與之后輸入的圖像的重疊區(qū)域的概要圖。
圖5是說明已經(jīng)輸入的圖像與之后輸入的圖像的中心點的距離的概要圖。圖6是說明合成圖像與之后輸入的圖像的中心點的距離的概要圖。圖7是示出實施方式的圖像處理裝置的動作的流程圖。圖8是說明已經(jīng)輸入的圖像與之后輸入的圖像的合成的概要圖。圖9是說明亮度絕對值的概要圖。圖10是說明亮度轉(zhuǎn)換系數(shù)的概要圖。圖11是說明校正函數(shù)的概要圖。圖12是說明校正函數(shù)的另一例的概要圖。圖13是說明合成圖像的概要圖。圖14是說明合成圖像與之后輸入的圖像的合成的概要圖。圖15是說明合成圖像的概要圖。
具體實施例方式下面，參照附圖對本發(fā)明的實施方式進行說明。另外，在各圖中對相同或相當?shù)牟糠謽俗⑼粯颂?，并省略重復的說明。本實施方式的圖像處理裝置是在每次輸入了輸入圖像時接合輸入圖像而逐次生成一張圖像的裝置，例如，適合應用于以下情況實時地將連續(xù)拍攝的多個圖像進行接合而生成比I張攝像圖像更為廣角的全景圖像。本實施方式的圖像處理裝置適合搭載于例如便攜電話、數(shù)字照相機、PDA (Personal Digital Assistant :個人數(shù)字助理)等資源有限的移動終端中，但不限于此，例如也可以搭載于通常的計算機系統(tǒng)中。另外，在以下說明中，考慮到說明理解的容易性，作為本發(fā)明的圖像處理裝置的一例，對搭載于具有照相機功能的便攜終端中的圖像處理裝置進行說明。圖I是具有本實施方式的圖像處理裝置I的便攜終端2的功能框圖。圖I所示的便攜終端2例如是由用戶攜帶的移動終端，具有圖2所示的硬件結(jié)構(gòu)。圖2是便攜終端2的硬件結(jié)構(gòu)圖。如圖2所示，便攜終端2在物理上構(gòu)成為通常的計算機系統(tǒng)，其包含CPU (Central Processing Unit :中央處理單兀)100、ROM (Read Only Memory :只讀存儲器)101和RAM (Random Access Memory :隨機存取存儲器)102等主存儲裝置、照相機或鍵盤等輸入設備103、顯示器等輸出設備104、硬盤等輔助存儲裝置105等。通過在CPU 100、ROM IOU RAM 102等硬件上讀入規(guī)定的計算機軟件，從而在CPU 100的控制下使輸入設備103和輸出設備104工作，并進行主存儲裝置和輔助存儲裝置105中的數(shù)據(jù)的讀出和寫入，由此實現(xiàn)后述的便攜終端2以及圖像處理裝置I的各功能。另外，在上述說明中，說明了便攜終端2的硬件結(jié)構(gòu)，而圖像處理裝置I也可以構(gòu)成為包含CPU 100、ROM 101和RAM 102等主存儲裝置、輸入設備103、輸出設備104、輔助存儲裝置105等的通常的計算機系統(tǒng)。并且，便攜終端2還可以具有通信模塊等。如圖I所示，便攜終端2具有照相機30、圖像處理裝置I以及顯示部31。照相機30具有對圖像進行攝像的功能。作為照相機30，例如使用攝像元件等。照相機30例如具有從通過用戶操作等指定的定時起以規(guī)定間隔反復進行攝像的連續(xù)攝像功能。例如，用戶可以擺動照相機30從而對至少上下左右重疊的連續(xù)圖像進行攝像。而且，照相機30具有 在每次攝像時向圖像處理裝置I輸出所拍攝的圖像的功能。圖像處理裝置I具有圖像輸入部10、中心位置取得部11、合成圖像生成部12、中心位置存儲部13、重疊區(qū)域取得部14、亮度絕對值計算部15以及亮度值轉(zhuǎn)換系數(shù)計算部16。圖像輸入部10具有輸入由照相機30攝像的圖像的功能。圖像輸入部10具有在每次攝像時輸入由例如照相機30拍攝的圖像的功能。并且，圖像輸入部10具有將最初輸入的圖像保存到便攜終端2所具有的第I臨時存儲區(qū)域中的功能。并且，圖像輸入部10具有將從下次起連續(xù)輸入的圖像保存到便攜終端所具有的第2臨時存儲區(qū)域中的功能。另外，如后所述，在每次輸入新的圖像時更新第2臨時存儲區(qū)域，第I臨時存儲區(qū)域以改寫保存的方式存儲每次輸入圖像時逐次合成的圖像(中間合成圖像)。另外，以下，將存儲在第I臨時存儲區(qū)域中的圖像設為第I圖像、將存儲在第2臨時存儲區(qū)域中的圖像設為第2圖像進行說明。重疊區(qū)域取得部14具有根據(jù)所輸入的圖像和在其之前剛輸入的圖像(前一輸入圖像)來檢測照相機的運動(運動矢量)的功能。并且，重疊區(qū)域取得部14具有根據(jù)所得到的運動矢量取得所輸入的圖像和在其之前剛輸入的圖像的重疊區(qū)域的功能。圖3、4是說明重疊區(qū)域的概要圖。如圖3所示，能夠根據(jù)照相機的運動計算出第I圖像Fl與第2圖像 F2的重疊區(qū)域R1。并且，如圖4所示，在第I圖像由多個圖像F1、F2構(gòu)成的情況下，能夠根據(jù)照相機的運動計算出第2圖像F3與在該第2圖像F3之前剛輸入的圖像F2的重疊區(qū)域R2。另外，重疊區(qū)域R1、R2是矩形區(qū)域，其確定起來極其容易。而且，重疊區(qū)域取得部14具有向亮度絕對值計算部15輸出重疊區(qū)域的信息的功能。亮度絕對值計算部15具有計算所輸入的圖像的亮度絕對值的功能。亮度絕對值是以某個圖像的亮度值為基準而計算出的亮度值。作為基準的圖像沒有特別限定，而這里，以最初輸入并存儲到第I臨時存儲區(qū)域中的第I圖像為基準進行說明。并且，根據(jù)由重疊區(qū)域取得部14確定的重疊區(qū)域中的亮度值的總和來計算亮度絕對值。即，亮度絕對值計算部15計算重疊區(qū)域中包含的第2圖像的亮度值的總和以及重疊區(qū)域中包含的前一輸入圖像的亮度值的總和，根據(jù)兩者的亮度值的總和之比以及前一輸入圖像的亮度絕對值，計算第2圖像的亮度絕對值。當設重疊區(qū)域中包含的第2圖像的亮度值的總和為S2、重疊區(qū)域中包含的前一輸入圖像的亮度值的總和為S1、前一輸入圖像的亮度絕對值為H1時，使用以下的式I來計算第2圖像的亮度絕對值H2。(I)
另外，最初輸入并存儲到第I臨時存儲區(qū)域中的第I圖像的亮度絕對值使用規(guī)定值，例如使用I。并且，亮度絕對值計算部15具有向亮度值轉(zhuǎn)換系數(shù)計算部16輸出所計算出的亮度絕對值的功能。中心位置取得部11具有取得圖像輸入部10輸入的圖像(初始的第I圖像或第2圖像)的中心點的位置信息的功能。中心點是根據(jù)圖像的外緣唯一決定的點。位置信息可以是與實際空間相關聯(lián)的位置信息，也可以是在連續(xù)輸入的圖像之間相關聯(lián)的相對位置信息。中心位置取得部11具有為了取得上述位置信息而根據(jù)所輸入的圖像和在其之前剛輸入的圖像來檢測照相機的運動(運動矢量)的功能。并且，中心位置取得部11具有根據(jù)所得到的運動矢量和之前剛輸入的圖像的中心點的位置信息計算所輸入的圖像的中心點的位置信息的功能。另外，中心位置取得部11僅在最初輸入的圖像(初始的第I圖像)中取得中心點的位置信息，而對于以后輸入的圖像(第2圖像)，根據(jù)使用輸入圖像和剛輸入之前的圖像而得到的運動矢量來取得中心點的位置信息。例如，關于第n次(n> I)輸入的第2圖像，使用該第2圖像和第n-1次輸入的第2圖像取得運動矢量，根據(jù)所取得的運動矢量取得第n次輸入的第2圖像的中心點的位置信息。這里，中心位置取得部11也可以不使 用之前剛輸入的圖像本身，而是縮小之前剛輸入的圖像，進而使用僅作為亮度要素的圖像來計算運動矢量。通過這樣對之前輸入的圖像進行加工并取得運動矢量，能夠降低處理時間或處理成本。另外，以下，將構(gòu)成第I圖像的各個圖像的中心點作為第I中心點、將第2圖像的中心點作為第2中心點進行說明。進而，中心位置取得部11具有向合成圖像生成部12輸出所取得的中心點的位置信息的功能。合成圖像生成部12具有生成對所輸入的圖像(第2圖像)和已經(jīng)輸入的圖像(第I圖像)進行接合后的合成圖像的功能，具有距離計算部121和合成部122。距離計算部121具有例如根據(jù)由中心位置取得部11取得的運動矢量來確定構(gòu)成第I圖像的圖像中與第2圖像重疊的圖像的功能。而且，距離計算部121具有確定離與第2圖像重疊的圖像的規(guī)定位置最近的第I中心點并計算所確定的第I中心點與第2圖像的第2中心點的距離的功能。這里，為了使上述計算處理高速化，規(guī)定位置可以是格子狀排列的格點處的位置。例如，在合成圖像(這里為第I圖像)內(nèi)排列格點作為上述的規(guī)定位置。而且，距離計算部121具有如下功能在計算第I中心點與第2中心點的距離之前，針對每個格點確定離該格點最近的第I中心點，預先存儲到中心位置存儲部13中。S卩，在中心位置存儲部13中，相關聯(lián)地存儲有第I圖像中包含的格點和離該格點最近的第I中心點。該情況下，距離計算部121確定構(gòu)成第I圖像的圖像中與所輸入的第2圖像重疊的圖像，參照中心位置存儲部13，取得離所確定的格點最近的第I中心點。另外，在構(gòu)成第I圖像的圖像中與第2圖像重疊的圖像存在多個的情況下，有時最近的第I中心點因格點不同而不同。該情況下，距離計算部121計算對于每個格點不同的第I中心點與第2中心點的距離。距離計算部121具有向合成部122輸出所計算出的距離的功能。并且，距離計算部121具有向亮度值轉(zhuǎn)換系數(shù)計算部16輸出在計算距離時使用的第I中心點和第2中心點的坐標信息等的功能。亮度值轉(zhuǎn)換系數(shù)計算部16具有計算對亮度值進行轉(zhuǎn)換的校正函數(shù)的系數(shù)即亮度值轉(zhuǎn)換系數(shù)的功能。亮度值轉(zhuǎn)換系數(shù)計算部16具有如下功能根據(jù)構(gòu)成第I圖像的圖像中與第2圖像重疊的對象圖像的亮度絕對值和第2圖像的亮度絕對值，計算取決于離對象圖像與第2圖像的接縫的距離的第2圖像的亮度值轉(zhuǎn)換系數(shù)。例如，亮度值轉(zhuǎn)換系數(shù)計算部16根據(jù)第I中心點和第2中心點的位置信息，確定第I圖像與第2圖像的接縫即垂直二等分線。然后，亮度值轉(zhuǎn)換系數(shù)計算部16使用以下的式2計算亮度值轉(zhuǎn)換系數(shù)J。fff.+…(2)
/Z2 、D0D0J H2這里，Hex是合成位置(合成區(qū)域內(nèi)的規(guī)定位置)處的亮度絕對值，H2是第2圖像的亮度絕對值，Hf是對象圖像的亮度絕對值，D0是從垂直二等分線到合成位置的最大距離(決定亮度轉(zhuǎn)換區(qū)域的閾值)，D是從垂直二等分線到合成位置的距離。另外，在距離0>D0的情況下，合成位置位于對亮度值進行轉(zhuǎn)換的區(qū)域外，所以，只要設為D = Dtl進行處理即可。這樣，亮度值轉(zhuǎn)換系數(shù)計算部16具有如下功能以使合成位置處的第2圖像的權(quán)重與合成位置離接縫的距離成比例地增大的方式，計算出亮度值轉(zhuǎn)換系數(shù)。并且，亮度值轉(zhuǎn)換系數(shù)計算部16具有如下功能計算亮度值轉(zhuǎn)換系數(shù)，以便對從垂直二等分線到最大合成位置 D0的像素范圍的亮度值進行轉(zhuǎn)換。亮度值轉(zhuǎn)換系數(shù)計算部16具有向合成部122輸出所生成的亮度值轉(zhuǎn)換系數(shù)的功能。合成部122具有根據(jù)由距離計算部121計算出的第I中心點與第2中心點的距離對第I圖像和第2圖像進行接合的功能。例如，合成部122具有如下功能在合成圖像內(nèi)的規(guī)定位置，根據(jù)從該規(guī)定位置到最近的第I中心點與第2中心點的垂直二等分線的距離，決定該規(guī)定位置處的像素值。圖5、6是說明第I中心點與第2中心點的垂直二等分線的概要圖。如圖5所示，能夠在第I圖像Fl的第I中心點Pl與第2圖像F2的第2中心點P2之間引出垂直二等分線LI。然后，計算合成圖像內(nèi)的規(guī)定位置到垂直二等分線LI的距離，決定該規(guī)定位置處的像素值。并且，如圖6所示，在第I圖像由多個圖像F1、F2構(gòu)成的情況下，可針對每個第I中心點P1、P2引出與第2中心點P3的垂直二等分線L2、L3。這樣，在存在多個第I中心點的情況下，能夠引出多個垂直二等分線。然后，計算合成圖像內(nèi)的規(guī)定位置到垂直二等分線的距離，決定該規(guī)定位置處的像素值。并且，合成部122具有在將第2圖像與第I圖像接合之前對第2圖像的像素值進行轉(zhuǎn)換的功能。例如，合成部122根據(jù)由亮度值轉(zhuǎn)換系數(shù)計算部16計算出的亮度值轉(zhuǎn)換系數(shù)J和從接縫到合成位置的距離D，決定該合成位置處的亮度值轉(zhuǎn)換系數(shù)J。然后，合成部122根據(jù)所決定的亮度值轉(zhuǎn)換系數(shù)J，導出對第2圖像的亮度值進行轉(zhuǎn)換的校正函數(shù)Y。校正函數(shù)Y沒有特別限定，例如使用一次函數(shù)。然后，合成部122根據(jù)校正函數(shù)Y和第2圖像的亮度值，計算在該合成位置使用的第2圖像的亮度值。另外，合成部122在后述的圖像合成處理之前執(zhí)行第2圖像的亮度值的變更處理。并且，為了采用第I圖像和第2圖像中離合成位置最近的圖像的像素值作為該合成位置的像素值，合成部122利用了到垂直二等分線的距離。換言之，合成部122使用從合成圖像內(nèi)的規(guī)定位置到垂直二等分線的距離，作為對輸入圖像的遠近度進行評價的評價值。例如，合成部122利用以下的式3來評價輸入圖像的遠近度T。T ~A —B…(3)
C這里，A是從合成預定的規(guī)定位置到第2中心點的距離，B是從合成預定的規(guī)定位置到最近的第I中心點的距離，C是從第I中心點到第2中心點的距離。
合成部122將由式I得到的遠近度T作為評價值來決定合成位置(規(guī)定位置)處的像素值。例如，在從規(guī)定位置到垂直二等分線的距離大于規(guī)定值、且規(guī)定位置相比于第2中心點更接近第I中心點的情況下，合成部122將第I圖像的像素值作為該規(guī)定位置的像素值。另一方面，在從規(guī)定位置到垂直二等分線的距離大于規(guī)定值、且規(guī)定位置相比于第I中心點更接近第2中心點的情況下，合成部122將第2圖像的像素值作為該規(guī)定位置的像素值。而且，在從規(guī)定位置到垂直二等分線的距離為規(guī)定值以下的情況下，合成部122對第I圖像的像素值與第2圖像的像素值進行合成而作為該規(guī)定位置的像素值。合成的手法可以采用現(xiàn)有手法，例如使用這樣的手法將第I圖像的像素值與第2像素的像素值的平均值或加權(quán)平均值作為該規(guī)定位置的像素值。這樣，合成部122具有如下功能以垂直二等分線為界，判斷合成圖像的規(guī)定位置更接近第I中心點和第2中心點的哪一方，判斷采用第I圖像和第2圖像中的哪一方的像素值。而且，合成部122具有如下功能在規(guī)定位置處于垂直二等分線附近的情況下，即，針對合成圖像中離垂直二等分線的距離為規(guī)定值以下的規(guī)定位置，對第I圖像的像素值和第2圖像的像素值進行合成，由此，減小接縫的亮度差，生成不舒適感少的合成圖像。即，如下所示將遠近度T作為評價值來決定規(guī)定位置處的像素值。
f r>ir1-1 f；|-<-1 ^lil
廣「丨d Ii
I T<.'w另外，用于判斷是否對像素值進行合成的規(guī)定值W例如使用16(像素)。該情況下，在以垂直二等分線為基準位于8個像素內(nèi)的圖像位置處，對第I圖像的像素值和第2圖像的像素值進行合成。并且，通過設規(guī)定值W為幾個像素 十幾個像素左右，能夠成為比重置區(qū)域小的范圍。在輸入第2圖像之前，合成圖像內(nèi)的格點以完全包含第I圖像的方式排列成格子狀。另一方面，在輸入第2圖像之后，新追加格點，使得格點不僅包含第I圖像還包含第2圖像。這樣，通過采用格點作為規(guī)定位置，不需要針對合成圖像中包含的全部位置(像素位置)計算離垂直二等分線的距離，所以，能夠降低處理負荷。而且，合成部122通過參照中心位置存儲部13，能夠高速讀取離格點最近的第I中心點。由此，不需要對過去合成的全部圖像的第I中心點的位置與格點的位置進行比較，所以，能夠降低占用內(nèi)存量。而且，為了進一步實現(xiàn)高速化，合成部122具有如下功能根據(jù)格點處的判定結(jié)果來決定被格點包圍的塊內(nèi)的像素值。例如，合成部122具有如下功能在合成圖像內(nèi)排列成格子狀的格點處，根據(jù)從該格點到最近的第I中心點與第2中心點的垂直二等分線的距離，決定該格點處的像素值。而且，合成部122針對像素值被第I圖像的格點包圍的塊(區(qū)域)采用第I圖像的像素值。即，合成部122針對該塊不進行任何處理，而是將下一個塊作為處理對象。另一方面，合成部122針對像素值被第2圖像的格點包圍的塊采用第2圖像的像素值。S卩，合成部122針對該塊直接復制第2圖像。然后，在包圍塊的格點處的像素值不是全部為第I圖像的情況下或者不是全部為第2圖像的情況下，即在塊與垂直二等分線相交的情況下，合成部122具有將該塊內(nèi)的像素值作為第I圖像和第2圖像的像素值的合成值的功能。該情況下，根據(jù)格點處的遠近度T，以線性插值的方式求出塊內(nèi)的像素位置處的遠近度T，利用上述評價方法進行評價，由此，能夠恰當?shù)卮_定要合成的像素位置。另外，在上述說明中，考慮到說明理解的容易性，而分別說明了合成部122的像素值決定功能(決定在某個合成位置處是使用第I圖像或第2圖像中哪個圖像的像素值、或者使用兩個圖像的平均值等的功能)和亮度值轉(zhuǎn)換功能，并且，說明了在對亮度值進行轉(zhuǎn)換之后決定像素值的例子，不過，也可以在決定了像素值之后對亮度值進行轉(zhuǎn)換。進而，也可以構(gòu)成為，通過使用于發(fā)揮兩個功能的判定式成為一者，同時進行亮度值的轉(zhuǎn)換和像素值的決定。下面，說明同時進行亮度值的轉(zhuǎn)換和像素值的決定的情況。式2中使用的距離D為式3中使用的遠近度T的1/2。另外，將垂直二等分線上作為原點，當從垂直二等分線觀察，合成位置位于第I圖像側(cè)時，距離D取正值，當從垂直二等分線觀察，合成位置位于第2圖像側(cè)時，距離D取負值。因此，如下所示，可將距離D作為評價值來決定規(guī)定位置處的像素值，同時判斷有無亮度轉(zhuǎn)換。
權(quán)利要求
1.一種圖像處理裝置，該圖像處理裝置在每次輸入第2圖像時，將由一張圖像構(gòu)成或接合多個所述圖像而構(gòu)成的第I圖像與所輸入的該第2圖像進行接合，逐次生成合成圖像，其特征在于，該圖像處理裝置具有 重疊區(qū)域取得部，其根據(jù)構(gòu)成所述第I圖像的圖像中在所述第2圖像之前剛輸入的前一輸入圖像和所述第2圖像，取得運動矢量，根據(jù)所取得的所述運動矢量，取得所述前一輸入圖像與所述第2圖像重疊的重疊區(qū)域； 亮度值轉(zhuǎn)換系數(shù)計算部，其根據(jù)所述重疊區(qū)域中的所述第I圖像的亮度值和所述第2圖像的亮度值，計算亮度轉(zhuǎn)換系數(shù)，該亮度轉(zhuǎn)換系數(shù)以使所述第I圖像和所述第2圖像的亮度值的變化減小的方式對所述第I圖像或所述第2圖像的亮度值進行轉(zhuǎn)換；以及 合成圖像生成部，其使用所述亮度轉(zhuǎn)換系數(shù)對所述第I圖像或所述第2圖像進行轉(zhuǎn)換，接合所述第I圖像與所述第2圖像而生成所述合成圖像。
2.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中， 該圖像處理裝置具有亮度絕對值計算部，該亮度絕對值計算部根據(jù)所述重疊區(qū)域中的所述前一輸入圖像的亮度值的總和以及所述第2圖像的亮度值的總和，計算所述第2圖像的亮度絕對值，所述第2圖像的亮度絕對值是所述第I圖像中的規(guī)定的基準圖像的亮度值的總和與所述第2圖像的亮度值的總和之比， 所述亮度值轉(zhuǎn)換系數(shù)計算部根據(jù)構(gòu)成所述第I圖像的圖像中與所述第2圖像重疊的對象圖像的所述亮度絕對值和所述第2圖像的所述亮度絕對值，計算所述第2圖像的亮度值轉(zhuǎn)換系數(shù)，所述第2圖像的亮度值轉(zhuǎn)換系數(shù)取決于離所述對象圖像與所述第2圖像的接縫的距離。
3.根據(jù)權(quán)利要求I或2所述的圖像處理裝置，其中， 所述亮度值轉(zhuǎn)換系數(shù)計算部以使合成位置處的所述第2圖像的權(quán)重與合成位置離接縫的距離成比例地增大的方式，計算所述亮度值轉(zhuǎn)換系數(shù)。
4.根據(jù)權(quán)利要求I 3中的任意一項所述的圖像處理裝置，其中， 合成圖像生成部根據(jù)合成位置離接縫的距離來決定合成位置處的所述亮度值轉(zhuǎn)換系數(shù)，根據(jù)所決定的所述亮度值轉(zhuǎn)換系數(shù)導出對所述第2圖像的亮度值進行轉(zhuǎn)換的校正函數(shù)，根據(jù)所述校正函數(shù)和所述第2圖像的亮度值，計算在合成位置處使用的所述第2圖像的亮度值。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中， 在轉(zhuǎn)換前的像素值和轉(zhuǎn)換后的像素值小于規(guī)定閾值的范圍內(nèi)，所述校正函數(shù)是將所述亮度值轉(zhuǎn)換系數(shù)作為比例常數(shù)的一次函數(shù)，在轉(zhuǎn)換前的像素值或轉(zhuǎn)換后的像素值為規(guī)定閾值以上的范圍內(nèi)，所述校正函數(shù)是與截止于閾值的一次函數(shù)連續(xù)且通過最大像素值的一次函數(shù)。
6.根據(jù)權(quán)利要求I 5中的任意一項所述的圖像處理裝置，其中， 該圖像處理裝置具有中心位置取得部，該中心位置取得部根據(jù)構(gòu)成所述第I圖像的圖像中在所述第2圖像之前剛輸入的圖像和所述第2圖像，取得運動矢量，根據(jù)所取得的所述運動矢量，取得作為構(gòu)成所述第I圖像的各個圖像的中心點的第I中心點的位置信息以及作為所述第2圖像的中心點的第2中心點的位置信息， 所述合成圖像生成部取得構(gòu)成所述第I圖像的圖像中與所述第2圖像重疊的圖像的所述第I中心點，根據(jù)所取得的所述第I中心點的位置信息和所述第2中心點的位置信息，將所取得的所述第I中心點與所述第2中心點的垂直二等分線作為所述第I圖像和所述第2圖像的接縫進行接合，生成所述合成圖像。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其中， 所述合成圖像生成部使處于從所述第I圖像與所述第2圖像的接縫到相距規(guī)定距離的位置為止的、比所述重疊區(qū)域小的范圍內(nèi)的像素值，成為所述第I圖像的像素值和所述第2圖像的像素值的合成值。
8.一種圖像處理方法，該圖像處理方法在每次輸入第2圖像時，將由一張圖像構(gòu)成或接合多個所述圖像而構(gòu)成的第I圖像與所輸入的該第2圖像進行接合，逐次生成合成圖像，其特征在于，該圖像處理方法具有以下步驟 重疊區(qū)域取得步驟，根據(jù)構(gòu)成所述第I圖像的圖像中在所述第2圖像之前剛輸入的前一輸入圖像和所述第2圖像，取得運動矢量，根據(jù)所取得的所述運動矢量，取得所述前一輸入圖像與所述第2圖像重疊的重疊區(qū)域； 亮度轉(zhuǎn)換系數(shù)計算步驟，根據(jù)所述重疊區(qū)域中的所述第I圖像的亮度值和所述第2圖像的亮度值，計算亮度轉(zhuǎn)換系數(shù)，該亮度轉(zhuǎn)換系數(shù)以使所述第I圖像和所述第2圖像的亮度值的變化減小的方式對所述第I圖像或所述第2圖像的亮度值進行轉(zhuǎn)換；以及 合成圖像生成步驟，使用所述亮度轉(zhuǎn)換系數(shù)對所述第I圖像或所述第2圖像進行轉(zhuǎn)換，接合所述第I圖像與所述第2圖像而生成所述合成圖像。
9.一種圖像處理程序，該圖像處理程序使計算機發(fā)揮如下功能在每次輸入第2圖像時，將由一張圖像構(gòu)成或接合多個所述圖像而構(gòu)成的第I圖像與所輸入的該第2圖像進行接合，逐次生成合成圖像，其特征在于，該圖像處理程序作為以下部分發(fā)揮功能 重疊區(qū)域取得部，其根據(jù)構(gòu)成所述第I圖像的圖像中在所述第2圖像之前剛輸入的前一輸入圖像和所述第2圖像，取得運動矢量，根據(jù)所取得的所述運動矢量，取得所述前一輸入圖像與所述第2圖像重疊的重疊區(qū)域； 亮度值轉(zhuǎn)換系數(shù)計算部，其根據(jù)所述重疊區(qū)域中的所述第I圖像的亮度值和所述第2圖像的亮度值，計算亮度轉(zhuǎn)換系數(shù)，該亮度轉(zhuǎn)換系數(shù)以使所述第I圖像和所述第2圖像的亮度值的變化減小的方式對所述第I圖像或所述第2圖像的亮度值進行轉(zhuǎn)換；以及 合成圖像生成部，其使用所述亮度轉(zhuǎn)換系數(shù)對所述第I圖像或所述第2圖像進行轉(zhuǎn)換，接合所述第I圖像與所述第2圖像而生成所述合成圖像。
全文摘要
一種圖像處理裝置，該圖像處理裝置在每次輸入第2圖像時，將由一張圖像構(gòu)成或接合多個圖像而構(gòu)成的第1圖像與所輸入的該第2圖像進行接合，逐次生成合成圖像，其特征在于，該圖像處理裝置具有重疊區(qū)域取得部(14)，其根據(jù)構(gòu)成第1圖像的圖像中在第2圖像之前剛輸入的前一輸入圖像和第2圖像，取得運動矢量，根據(jù)所取得的運動矢量，取得前一輸入圖像與第2圖像重疊的重疊區(qū)域；亮度值轉(zhuǎn)換系數(shù)計算部(16)，其根據(jù)重疊區(qū)域中的第1圖像的亮度值和第2圖像的亮度值，計算亮度轉(zhuǎn)換系數(shù)，該亮度轉(zhuǎn)換系數(shù)以使第1圖像和第2圖像的亮度值的變化減小的方式對第1圖像或第2圖像的亮度值進行轉(zhuǎn)換；以及合成圖像生成部(12)，其使用亮度轉(zhuǎn)換系數(shù)對第1圖像或第2圖像進行轉(zhuǎn)換，接合第1圖像與第2圖像而生成合成圖像。
文檔編號G06T3/00GK102741878SQ20108001481
公開日2012年10月17日 申請日期2010年10月26日 優(yōu)先權(quán)日2010年10月26日
發(fā)明者椎野壽樹, 羽深兼介 申請人:株式會社摩如富