專(zhuān)利名稱(chēng)：圖像處理裝置以及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置以及圖像處理方法，尤其涉及圖像修正技術(shù)。
背景技術(shù)：
近年來(lái)，在照相機(jī)、攝像機(jī)等攝影裝置中的手抖修正技術(shù)中，提出了對(duì)圖像的傾斜進(jìn)行修正的技術(shù)。在專(zhuān)利文獻(xiàn)1中公開(kāi)了如下方法對(duì)攝像裝置設(shè)置加速度傳感器，通過(guò)用加速度傳感器測(cè)量重力加速度，檢測(cè)攝像裝置相對(duì)于地軸的傾斜，根據(jù)檢測(cè)到的傾斜角度，對(duì)拍攝的圖像的傾斜進(jìn)行修正。此外，在專(zhuān)利文獻(xiàn)2中公開(kāi)了如下方法對(duì)存在于攝像圖像的上部的線(xiàn)段進(jìn)行檢測(cè)，根據(jù)這些線(xiàn)段的傾斜角，推定圖像整體的傾斜角，對(duì)攝像圖像的傾斜進(jìn)行修正。此外，在專(zhuān)利文獻(xiàn)3中公開(kāi)了將傳感器和圖像處理進(jìn)行組合來(lái)使用從而提高傾斜角度計(jì)算的精度的方法。進(jìn)而，在專(zhuān)利文獻(xiàn)4中公開(kāi)了如下方法在利用圖像處理來(lái)計(jì)算圖像的傾斜角度時(shí)，將圖像分割為小塊，判斷各個(gè)塊中的紋理(texture)所示的方向性，僅將該紋理具有單一方向性的區(qū)域作為對(duì)象來(lái)計(jì)算傾斜角度。該方法與僅根據(jù)圖像中的構(gòu)造物(structure) 來(lái)提取傾斜信息的方法等效，有利于傾斜角度計(jì)算的精度和穩(wěn)定性的提高。但是，在專(zhuān)利文獻(xiàn)1所公開(kāi)的使用傳感器的方式中，傳感器的輸出值包含慣性噪聲(inertial noise)或其他軸靈敏度等變動(dòng)成分，因此在攝像機(jī)等攝影者一邊移動(dòng)一邊進(jìn)行攝像的情況下難以進(jìn)行高精度的傾斜修正。此外，在專(zhuān)利文獻(xiàn)2中，所攝像的圖像的構(gòu)圖有限制，在一般的使用狀況下并不實(shí)用。在專(zhuān)利文獻(xiàn)3及專(zhuān)利文獻(xiàn)4中，為了彌補(bǔ)上述缺點(diǎn)，提出了將傳感器和圖像處理進(jìn)行組合來(lái)使用的方法。即，公開(kāi)了利用傳感器信息從多個(gè)傾斜角度候選之中選擇某個(gè)滿(mǎn)足一定的基準(zhǔn)的角度成分的方法，但是在傳感器的輸出值中疊加有變動(dòng)成分的情況下，無(wú)法避免其精度下降。此外，在專(zhuān)利文獻(xiàn)4中公開(kāi)了預(yù)先去除在推定傾斜角度時(shí)可能成為變動(dòng)成分的來(lái)自非構(gòu)造物的傾斜角度信息，來(lái)實(shí)現(xiàn)其精度提高的方式，但是在來(lái)自構(gòu)造物的傾斜角度信息本身成為變動(dòng)成分的情況下無(wú)法呈現(xiàn)效果。圖1A、圖IB是用于說(shuō)明來(lái)自構(gòu)造物的傾斜角度信息成為變動(dòng)成分的一例的圖。圖 IA是使用如魚(yú)眼鏡頭那樣的廣角鏡頭所拍攝的影像。通常，廣角拍攝的影像中存在失真，因此為了獲得正確的圖像處理結(jié)果，需要通過(guò)校準(zhǔn)或從鏡頭的投影方式進(jìn)行逆運(yùn)算，來(lái)剪切廣角攝影圖像的一部分區(qū)域而制作失真少的影像。圖IB是剪切圖IA的中心附近并進(jìn)行失真修正而得到的圖像的例子。如圖1A、圖IB那樣的構(gòu)圖中可知，構(gòu)造物的水平線(xiàn)從近前向進(jìn)深方向延伸，本來(lái)是平行線(xiàn)的線(xiàn)向消失點(diǎn)收斂。此外，提供正確的傾斜角度信息的構(gòu)造物的垂直線(xiàn)比水平線(xiàn)相對(duì)少，因此難以檢測(cè)出正確的傾斜角度信息。圖2是針對(duì)圖IB所示的圖像的每個(gè)像素的亮度梯度，橫軸取角度、縱軸取頻度而得到的角度直方圖。假設(shè)該圖像傾斜了角度θ時(shí)，本來(lái)優(yōu)選的是θ的bin的頻數(shù)取最頻值，但可知根據(jù)構(gòu)造物的水平線(xiàn)得到的角度的bin的頻數(shù)超過(guò)該最頻值(mode value) 0該特性尤其因廣角影像而變得顯著，因此通過(guò)專(zhuān)利文獻(xiàn)4中公開(kāi)的預(yù)先去除非構(gòu)造物的方法不可能解決。在專(zhuān)利文獻(xiàn)5中公開(kāi)了如下方法將消失點(diǎn)候選和從圖像中提取的邊緣用線(xiàn)段連接，制作將滿(mǎn)足規(guī)定基準(zhǔn)的線(xiàn)段的傾斜角度的頻度累計(jì)而得到的直方圖，一邊逐個(gè)改變消失點(diǎn)候選一邊求出該直方圖，將表示最大的頻度的消失點(diǎn)候選作為消失點(diǎn)。若決定了該消失點(diǎn)，就能夠確定構(gòu)造物的水平線(xiàn)，能夠去除來(lái)自構(gòu)造物的變動(dòng)成分。但是，若利用專(zhuān)利文獻(xiàn)5中公開(kāi)的方法，則有可能還去除構(gòu)造物的垂直線(xiàn)。此外，必須預(yù)先確定規(guī)定的基準(zhǔn)，在無(wú)法設(shè)想以怎樣的傾斜角度進(jìn)行攝影的情況下無(wú)法使用。

發(fā)明內(nèi)容
本發(fā)明的目的在于，根據(jù)從圖像得到的邊緣成分及其傾斜角度，選擇能夠在圖像的傾斜角度的推定中使用的信息，由此能夠進(jìn)行傾斜角度推定，并對(duì)圖像的傾斜進(jìn)行修正?，F(xiàn)有技術(shù)文獻(xiàn)專(zhuān)利文獻(xiàn)專(zhuān)利文獻(xiàn)1 日本特開(kāi)2006-245726號(hào)公報(bào)專(zhuān)利文獻(xiàn)2 日本專(zhuān)利第3676360號(hào)公報(bào)專(zhuān)利文獻(xiàn)3 國(guó)際公開(kāi)第2009-001512號(hào)專(zhuān)利文獻(xiàn)4 國(guó)際公開(kāi)第2009-008174號(hào)專(zhuān)利文獻(xiàn)5 日本特開(kāi)昭63-106875號(hào)公報(bào)
發(fā)明概要本發(fā)明的圖像處理裝置包括圖像取得部；傾斜信息計(jì)算部，針對(duì)由圖像取得部取得的圖像的各像素，計(jì)算用于對(duì)圖像的傾斜進(jìn)行推定的多個(gè)傾斜信息；角度直方圖生成部，利用由傾斜信息計(jì)算部計(jì)算出的多個(gè)傾斜信息，生成作為每個(gè)傾斜角度的頻數(shù)分布的角度直方圖；傾斜信息-位置記錄部，記錄多個(gè)傾斜信息與得到該信息的圖像上的位置之間的對(duì)應(yīng)；傾斜信息分布度計(jì)算部，根據(jù)傾斜信息及其位置，計(jì)算傾斜信息的分布度；偽信息判定部，根據(jù)傾斜信息的分布度，判定傾斜信息中的在傾斜推定中能夠使用的信息和不能使用的信息；峰值檢測(cè)部，基于偽信息判定部的判斷結(jié)果，提取能夠使用的角度直方圖的最大值或極大值；傾斜推定部，根據(jù)峰值檢測(cè)部所檢測(cè)到的最大值或極大值所示的傾斜角度，推定圖像的傾斜角度；以及圖像修正部，利用推定出的傾斜角度，修正圖像的傾斜。根據(jù)該結(jié)構(gòu)，在推定圖像的傾斜角度時(shí)，能夠根據(jù)從圖像提取的多個(gè)邊緣及其傾斜角度，選擇在傾斜角度的推定中能夠使用的信息。此外，在上述圖像處理裝置中，也可以是，用于對(duì)上述傾斜進(jìn)行推定的多個(gè)傾斜信息是將上述圖像中的線(xiàn)段與其傾斜角一起計(jì)算出的；上述傾斜信息計(jì)算部在上述圖像的預(yù)先確定的范圍中按預(yù)先確定的像素間隔進(jìn)行上述計(jì)算處理。此外，在上述圖像處理裝置中，也可以是，用于對(duì)上述傾斜進(jìn)行推定的多個(gè)傾斜信息是將上述圖像中的亮度信息代入到規(guī)定的運(yùn)算式中進(jìn)行運(yùn)算、并求取上述亮度信息的亮度梯度而計(jì)算出的；上述傾斜信息計(jì)算部在上述圖像的預(yù)先確定的范圍中按預(yù)先確定的像素間隔進(jìn)行上述計(jì)算處理。根據(jù)該結(jié)構(gòu)，能夠減輕傾斜信息計(jì)算部的處理負(fù)荷或傾斜信息計(jì)算部以后的處理負(fù)荷。此外，在上述圖像處理裝置中，也可以是，上述角度直方圖生成部進(jìn)行對(duì)各傾斜角度信息的加權(quán)，從上述圖像檢測(cè)到的線(xiàn)段的長(zhǎng)度越長(zhǎng)則使權(quán)重越大。此外，在上述圖像處理裝置中，也可以是，上述角度直方圖生成部進(jìn)行對(duì)各傾斜角度信息的加權(quán)，從上述圖像檢測(cè)到的亮度梯度越接近于垂直則使權(quán)重越大。通過(guò)使可信賴(lài)的水平線(xiàn)、垂直線(xiàn)成分、亮度梯度的權(quán)重增大，能夠正確地進(jìn)行傾斜角度的推定和修正。此外，在上述圖像處理裝置中，也可以是，上述傾斜信息的分布度是與同一傾斜角度或在預(yù)先確定的范圍內(nèi)的每個(gè)傾斜角度的位置有關(guān)的方差或標(biāo)準(zhǔn)偏差。此外，在上述圖像處理裝置中，也可以是，上述偽信息判定部對(duì)上述傾斜信息分布度計(jì)算部的計(jì)算結(jié)果和預(yù)先設(shè)定的值進(jìn)行比較，判斷某同一個(gè)傾斜角度或在預(yù)先確定的范圍內(nèi)的傾斜角度是否為偽信息；上述傾斜推定部從滿(mǎn)足上述角度直方圖生成部中預(yù)先確定的基準(zhǔn)的傾斜角度之中，選擇在上述偽信息判定部中判斷為不是偽信息的傾斜角度。此外，在上述圖像處理裝置中，也可以是，上述傾斜推定部從具有滿(mǎn)足上述角度直方圖生成部中預(yù)先確定的基準(zhǔn)的頻數(shù)的傾斜角度之中，選擇在上述偽信息判定部中判斷為不是偽信息的傾斜角度中的具有最高的頻數(shù)的傾斜角度。此外，在上述圖像處理裝置中，也可以是，還具備圖像修正部，該圖像修正部按照上述傾斜推定部所輸出的上述傾斜信息來(lái)修正圖像。根據(jù)該結(jié)構(gòu)，能夠根據(jù)傾斜推定部所推定出的傾斜信息來(lái)進(jìn)行圖像的修正。此外，在上述圖像處理裝置中，也可以是，還具備圖像積蓄部，存儲(chǔ)取得的圖像； 以及全景圖像制作部，從存儲(chǔ)在上述圖像積蓄部中的圖像之中，選擇并讀出至少兩個(gè)圖像， 將該圖像結(jié)合而制作全景圖像；上述傾斜信息計(jì)算部對(duì)上述全景圖像的各像素進(jìn)行規(guī)定的運(yùn)算，提取用于對(duì)上述全景圖像的傾斜進(jìn)行推定的多個(gè)信息。根據(jù)該結(jié)構(gòu)，圖像中的線(xiàn)段或像素的每個(gè)傾斜角度的局部性變得更明確，因此傾斜角度的推定精度提高。此外，在上述圖像處理裝置中，也可以是，上述傾斜推定部推定與上述全景圖像有關(guān)的傾斜角度；利用構(gòu)成上述全景圖像的兩個(gè)以上圖像之間的相對(duì)的旋轉(zhuǎn)角度，計(jì)算構(gòu)成上述全景圖像的兩個(gè)以上圖像的各自的傾斜角度。根據(jù)本發(fā)明的圖像處理裝置，在推定圖像的傾斜角度時(shí)，例如即使是利用廣角鏡頭拍攝的、構(gòu)造物的水平成分起主導(dǎo)作用的圖像，也能夠選擇表示圖像的傾斜角度的信息， 能夠正確地進(jìn)行傾斜角度的推定和修正。


圖IA是用于說(shuō)明來(lái)自構(gòu)造物的傾斜角度信息成為變動(dòng)成分的一例的、表示利用廣角鏡頭攝影的圖像的圖。圖IB是用于說(shuō)明來(lái)自構(gòu)造物的傾斜角度信息成為變動(dòng)成分的一例的、表示剪切圖IA的中心附近并去除失真而得到的圖像的圖。圖2是表示圖IB的圖像的角度直方圖的圖。圖3是表示本發(fā)明的實(shí)施方式1中的圖像處理裝置的結(jié)構(gòu)的圖。
圖4是表示本發(fā)明的實(shí)施方式1中的圖像處理方法的流程圖。圖5是說(shuō)明線(xiàn)段上的點(diǎn)的亮度梯度的圖。圖6A是表示Sobel濾波器所使用的系數(shù)矩陣的圖。圖6B是表示Sobel濾波器所使用的系數(shù)矩陣的圖。圖7A是說(shuō)明對(duì)Hough變換中的線(xiàn)段賦予特征的參數(shù)的圖。圖7B是說(shuō)明對(duì)Hough變換中的線(xiàn)段賦予特征的參數(shù)的圖。圖8是說(shuō)明記錄從圖像中提取的邊緣及其參數(shù)的格式的一例。圖9A是表示構(gòu)造物的垂直線(xiàn)和水平線(xiàn)的空間性分布特性的差異的圖。圖9B是表示構(gòu)造物的垂直線(xiàn)和水平線(xiàn)的空間性分布特性的差異的圖。圖9C是表示構(gòu)造物的垂直線(xiàn)和水平線(xiàn)的空間性分布特性的差異的圖。圖9D是表示構(gòu)造物的垂直線(xiàn)和水平線(xiàn)的空間性分布特性的差異的圖。圖10是表示本發(fā)明的實(shí)施方式2中的圖像處理裝置的結(jié)構(gòu)的圖。圖IlA是說(shuō)明根據(jù)多個(gè)圖像制作全景圖像的例子、以及使用本發(fā)明的實(shí)施方式2 中的全景圖像的優(yōu)點(diǎn)的圖。圖IlB是說(shuō)明根據(jù)多個(gè)圖像制作全景圖像的例子、以及使用本發(fā)明的實(shí)施方式2 中的全景圖像的優(yōu)點(diǎn)的圖。圖12是表示本發(fā)明的實(shí)施方式3中的圖像處理裝置的結(jié)構(gòu)的圖。圖13是表示加速度傳感器的3軸的輸出值的一例的圖。圖14是表示利用加速度傳感器進(jìn)行傾斜檢測(cè)時(shí)的χ方向、y方向的輸出值的一例的圖。
具體實(shí)施例方式以下，參照

本發(fā)明的實(shí)施方式的結(jié)構(gòu)和動(dòng)作。(實(shí)施方式1)圖3是表示本發(fā)明的實(shí)施方式1中的圖像處理裝置的結(jié)構(gòu)的圖。此外，圖4是表示本發(fā)明的實(shí)施方式1中的圖像處理方法的流程圖。圖像取得部301將由攝像部307取得的圖像數(shù)據(jù)取入到圖像處理裝置300中，并發(fā)送給傾斜信息計(jì)算部302(S401)。傾斜信息計(jì)算部302中針對(duì)取入的圖像計(jì)算傾斜信息 (S402)。作為其方法，有如下方法等對(duì)圖像進(jìn)行灰階(gray scale)變換，按每個(gè)像素使縱向、橫向的Sobel濾波器起作用，將其結(jié)果進(jìn)行合成并計(jì)算梯度矢量的方法，以及使進(jìn)行從圖像中提取線(xiàn)段的Hough變換起作用，計(jì)算線(xiàn)段長(zhǎng)度及其傾斜角度的方法，但本發(fā)明不限于此。例如，也可以是，在從圖像中提取線(xiàn)段時(shí)，將圖像分割為多個(gè)小區(qū)域，檢查各小區(qū)域中是否包含成為判斷對(duì)象的具有傾斜的線(xiàn)段或像素(即，針按預(yù)先確定的范圍的預(yù)先確定的像素間隔，檢查是否包含成為判斷對(duì)象的具有傾斜的線(xiàn)段或像素)。根據(jù)該結(jié)構(gòu)，能夠減輕傾斜信息計(jì)算部302的處理負(fù)荷或者傾斜信息計(jì)算部302以后的處理負(fù)荷。這里，利用圖5、圖6A、圖6B對(duì)梯度矢量計(jì)算進(jìn)行說(shuō)明。在圖5中，將位置P的圖像的像素值設(shè)為I (P)，將P的X方向、y方向的對(duì)比度變化分別設(shè)為dx、dy時(shí)，用dx = ai(P)/ax,dy = ai(P)/ay
表示。此時(shí)，若將對(duì)比度變化的方向設(shè)為Θ，則θ = tan" (_1) (dy/dx)成立，這相當(dāng)于上述的梯度矢量的方向。求取dx、dy時(shí)使用圖6A、圖6B所示的 Sobel濾波器。圖6A及圖6B分別是用于測(cè)定χ方向、y方向的對(duì)比度變化的濾波器要素。 接著，利用圖7A、圖7B說(shuō)明基于Hough變換的線(xiàn)段檢測(cè)。在圖7A中，通過(guò)點(diǎn)(x_i，y_i)的直線(xiàn)滿(mǎn)足下式。ρ = x_i · cos θ +y_i · sin θ另外，ρ表示直線(xiàn)與原點(diǎn)之間的距離，θ表示從原點(diǎn)到直線(xiàn)的垂線(xiàn)與χ軸所成的角。這意味著，通過(guò)點(diǎn)(x_i，y_i)的直線(xiàn)群與圖7B中的一條曲線(xiàn)建立對(duì)應(yīng)。另一方面，若對(duì)位于相同的直線(xiàn)上的多個(gè)點(diǎn)進(jìn)行相同的對(duì)應(yīng)，則所得到的多個(gè)曲線(xiàn)在一點(diǎn)上相交， 該交點(diǎn)(P，Θ)表示通過(guò)這些點(diǎn)的直線(xiàn)。S卩，關(guān)注某θ，對(duì)ρ的數(shù)量進(jìn)行計(jì)數(shù)，從而能夠取得傾斜θ的線(xiàn)段的數(shù)量。角度直方圖生成部303通過(guò)以下處理來(lái)生成角度直方圖(S403)，該處理是將梯度矢量之中具有相同的方向成分的梯度矢量進(jìn)行累計(jì)，或者將通過(guò)Hough變換求出的線(xiàn)段之中具有相同的方向成分的線(xiàn)段的長(zhǎng)度進(jìn)行相加。該角度直方圖成為表示“某角度方向的邊緣存在多少”的指標(biāo)，一般在圖像中在沒(méi)有傾斜的狀態(tài)下僅拍攝有構(gòu)造物的情況(沒(méi)有失真的情況)下，水平線(xiàn)、垂直線(xiàn)成分變多，因此成為0度及90度的角度直方圖的值具有強(qiáng)的峰值的形狀。如圖IA及圖IB所示，若為傾斜θ的圖像，則如圖2所示可得到?jīng)]有傾斜的情況的角度直方圖平行移動(dòng)了 θ的角度直方圖。另外，在本實(shí)施方式中，說(shuō)明了按每個(gè)像素來(lái)求取亮度梯度的例子，但本發(fā)明不限于此。例如，也可以是，在根據(jù)圖像求取亮度梯度時(shí)，將圖像分割為多個(gè)小區(qū)域，在各小區(qū)域中，檢查與在此得到的傾斜角度成士90°的方向上是否存在具有同一傾斜角度的像素 (即，檢查與按預(yù)先確定的范圍的預(yù)先確定的像素間隔而得到的傾斜角度成士90°的方向上是否包含具有同一傾斜角度的像素)。根據(jù)該結(jié)構(gòu)，能夠減輕傾斜信息計(jì)算部302的處理負(fù)荷或者傾斜信息計(jì)算部302以后的處理負(fù)荷。在以往的圖像處理的傾斜角度推定中，通過(guò)峰值檢測(cè)部304搜索表示角度直方圖的最大值的角度，通過(guò)傾斜推定部305將表示角度直方圖的最大值的角度原樣作為圖像的傾斜角度，在圖像修正部306中進(jìn)行對(duì)該傾斜角度進(jìn)行修正的處理。或者通過(guò)峰值檢測(cè)部 304選擇包含最大值的幾個(gè)極大值，在傾斜推定部305中，通過(guò)多項(xiàng)式內(nèi)插、最小二乘法、梯度法等計(jì)算將該極大值平滑連接的包絡(luò)線(xiàn)，然后解析性地計(jì)算最大值，將該最大值作為圖像的傾斜角度，并在圖像修正部306中對(duì)該傾斜進(jìn)行修正。通常，在圖像修正部306中通過(guò)仿射(affine)變換對(duì)旋轉(zhuǎn)進(jìn)行修正。在本發(fā)明中，根據(jù)角度直方圖進(jìn)行的傾斜角度的推定和基于仿射變換的修正也進(jìn)行同樣的處理。在傾斜信息-位置記錄部310中，將由傾斜信息計(jì)算部302求出的傾斜信息與其在圖像中的位置建立關(guān)聯(lián)來(lái)記錄(S411)。圖8是將傾斜信息與表示其在圖像中的位置的坐標(biāo)建立關(guān)聯(lián)來(lái)記錄的例子。另外，傾斜信息在圖像中的位置并不限于坐標(biāo)，只要能夠表現(xiàn)位置，則也可以是矢量數(shù)據(jù)等。例如，幀ID、邊緣ID、x/y方向邊緣成分、角度、邊緣強(qiáng)度、坐標(biāo)等被建立關(guān)聯(lián)來(lái)記錄，但在該數(shù)據(jù)庫(kù)中也可以追加是否是從構(gòu)造物得到的邊緣、或者進(jìn)行特征點(diǎn)提取時(shí)的特征量等，也可以是僅為邊緣ID、x/y方向邊緣、坐標(biāo)或者僅為邊緣ID、角度、坐標(biāo)這樣的最小結(jié)構(gòu)。傾斜信息分布度計(jì)算部311從上述數(shù)據(jù)庫(kù)中提取具有在規(guī)定角度寬度的范圍內(nèi)的角度的多個(gè)傾斜信息，計(jì)算與這些坐標(biāo)有關(guān)的方差或標(biāo)準(zhǔn)偏差(S412)。 在設(shè)x/y方向的坐標(biāo)的方差分別為V_x/y、x/y方向的標(biāo)準(zhǔn)偏差分別為o_x/y時(shí)，V以及σ 能夠由以下式表現(xiàn)。(式 1) V_x= (1/η) Σ (χ-χ_η) "2, V_y = (1/η) Σ (y-y_n) "2(式 2) σ—χ = ^(V—χ),σ—y = ^(V_y)這里，x、y是各個(gè)坐標(biāo)的平均值，η是其邊緣數(shù)。登記在該數(shù)據(jù)庫(kù)中的傾斜信息屬于某個(gè)角度范圍的集合，針對(duì)所有的集合求取關(guān)于坐標(biāo)的標(biāo)準(zhǔn)偏差或方差。另外，只要是求取某集合的方差程度的計(jì)算方法，則不限于此。這里，敘述給出正確的傾斜角度的構(gòu)造物的垂直線(xiàn)、和成為偽信息的構(gòu)造物的水平線(xiàn)在圖像上的幾何配置特性。圖9Α至圖9D是從圖IB所示的圖像中提取具有相同傾斜角度的線(xiàn)段或像素的圖。圖9Α是構(gòu)造物的垂直線(xiàn)，可知在圖像上的廣闊的位置上分散配置。相對(duì)于此，圖9Β至圖9D是提取構(gòu)造物的水平線(xiàn)的圖?？芍?，僅在同一水平線(xiàn)時(shí)(圖9D 的情況)，或者最多與相對(duì)于消失點(diǎn)位于相反側(cè)的構(gòu)造物的水平線(xiàn)的傾斜角度偶然一致時(shí) (圖9Β或圖9C的情況)，構(gòu)造物的水平線(xiàn)在圖像上成為相同的傾斜角度，且最多僅出現(xiàn)兩處，分布在圖像上的非常窄的范圍。若能夠檢測(cè)出該局部性，則能夠判斷在圖像的傾斜角度推定中是否能夠使用。偽信息判定部312利用如上所述的構(gòu)造物邊緣的特征，判斷某關(guān)注的傾斜角度的局部性，由此判定是否為偽信息(S413至S415)。局部性判斷的具體方法中，計(jì)算邊緣的旋轉(zhuǎn)了傾斜角度后的坐標(biāo)，然后求出式1或式2，并利用如下特性，該特性是如圖9Β至圖9D 那樣的具有局部性的傾斜角度的集合的旋轉(zhuǎn)后的χ方向或y方向的方差或標(biāo)準(zhǔn)偏差成為非常小的值，而圖9A中在χ方向、y方向均具有某種程度的大小。進(jìn)而，可以考慮如下方法等，即將圖像分割為多個(gè)小區(qū)域，檢查各小區(qū)域中是否包含具有成為判斷對(duì)象的傾斜的線(xiàn)段或像素?；蛘?，也可以是，在求取亮度梯度時(shí)，檢查與在此得到的傾斜角度成士90°的方向上是否存在具有同一傾斜角度的像素，或者將Hough變換的結(jié)果原樣利用。局部性判斷的方法不限于在此敘述的方法，只要是能夠判斷圖像中的特征量的局部性的方法，則能夠利用任何方法。峰值檢測(cè)部304、傾斜推定部305接收上述角度直方圖生成部303的給出角度直方圖的多個(gè)極大值的傾斜角度、或者給出最頻值的傾斜角度這樣的信息、以及上述偽信息判定部312的每個(gè)傾斜角度的判定結(jié)果。此時(shí)，例如將判斷為不是偽信息的傾斜角度之中給出最頻值的角度設(shè)定為傾斜推定角度，并將該信息發(fā)送給圖像修正部306(S404、S405)。圖像修正部306例如進(jìn)行仿射變換等而使圖像整體旋轉(zhuǎn)，由此能夠?qū)D像間的旋轉(zhuǎn)移動(dòng)量進(jìn)行修正。這里，傾斜推定部305在通過(guò)上述方法設(shè)定的傾斜推定角度與之前剛剛推定的傾斜角度大為不同的情況下，也可以忽略推定結(jié)果，而將之前剛剛推定的角度作為傾斜角度。 或者，也可以是，對(duì)傾斜推定部305之前剛剛推定的傾斜角度設(shè)定適當(dāng)?shù)恼`差容許范圍(例如士1°等)，在該范圍內(nèi)選擇判斷為不是偽信息的傾斜角度之中給出最頻值的傾斜角度， 并將該傾斜角度作為推定角度。在任何情況下最終都通過(guò)在圖像修正部306中使圖像整體旋轉(zhuǎn)來(lái)完成目的圖像的修正(S406)。
修正后的圖像保存在存儲(chǔ)部308中后，顯示在未圖示的監(jiān)視裝置上，或者也可以作為文件保存在未圖示的外部存儲(chǔ)裝置中。此外，也可以經(jīng)由網(wǎng)絡(luò)送出。以上是本發(fā)明的實(shí)施方式1的圖像處理裝置300的結(jié)構(gòu)和動(dòng)作。另外，也可以是，角度直方圖生成部303進(jìn)行對(duì)各傾斜角度信息的加權(quán)，從上述圖像檢測(cè)到的線(xiàn)段的長(zhǎng)度越長(zhǎng)則使權(quán)重越大。因?yàn)?，線(xiàn)段的長(zhǎng)度越長(zhǎng)，則是能夠信賴(lài)的水平線(xiàn)或垂直線(xiàn)成分的可能性越高。此外，也可以是，角度直方圖生成部303進(jìn)行對(duì)各傾斜角度信息的加權(quán)，從上述圖像檢測(cè)到的亮度梯度越接近于垂直則使權(quán)重越大。另外，對(duì)于未持有為了推定傾斜角度而需要的信息的圖像，也可以不進(jìn)行任何處理。例如，在畫(huà)面上拍攝了許多人物、自然物的圖像中，由于不存在構(gòu)造物信息，因此不能進(jìn)行傾斜信息的計(jì)算。在這樣的情況下，在視覺(jué)上也會(huì)導(dǎo)致對(duì)圖像的傾斜的靈敏度降低(即使傾斜也難以感覺(jué)到品質(zhì)的下降)，因此與利用從人物、自然物提取的不穩(wěn)定且準(zhǔn)確度低的傾斜推定角度來(lái)進(jìn)行修正相比，取消修正本身會(huì)更好。另外，也可以設(shè)置對(duì)推定到的傾斜角度進(jìn)行保存的緩沖器。該緩沖器中預(yù)先保存有按時(shí)間序列計(jì)算出的推定傾斜角度，在不能計(jì)算出某一張圖像的傾斜角度的情況下，也可以利用其前后的傾斜角度推定成功的結(jié)果進(jìn)行內(nèi)插(interpolation)，由此進(jìn)行推定。這是因?yàn)椋跀z像機(jī)等取得連續(xù)的圖像的設(shè)備中，圖像的傾斜角度通常連續(xù)變化，因此通過(guò)使用該性質(zhì)，還能夠根據(jù)過(guò)去的傾斜角度推定結(jié)果，利用外插(extrapolation)處理推定對(duì)象圖像的傾斜角度。(實(shí)施方式2)圖10是表示本發(fā)明的實(shí)施方式2的圖像處理裝置的結(jié)構(gòu)的圖。在圖10中，對(duì)于與圖3相同的結(jié)構(gòu)要素使用相同的符號(hào)，并省略說(shuō)明。圖像積蓄部1001在規(guī)定的時(shí)間寬度記錄由圖像取得部301得到的圖像數(shù)據(jù)。設(shè)為具有與FIFO同樣的結(jié)構(gòu)。全景圖像制作部1002將圖像積蓄部1001中記錄的圖像數(shù)據(jù)依次讀出，制作全景圖像。全景圖像的制作本身利用公知的方式即可。假設(shè)在制作全景圖像時(shí)成為其元數(shù)據(jù)的多個(gè)圖像數(shù)據(jù)間的相對(duì)的傾斜角度被去除。全景圖像被發(fā)送到傾斜信息計(jì)算部302，之后，以與實(shí)施方式1相同的方法進(jìn)行傾斜角度的推定和全景圖像的傾斜修正。通過(guò)制作全景圖像，圖像中的線(xiàn)段或像素的每個(gè)傾斜角度的局部性變得更明確。 圖11A、圖IlB是全景圖像的例子。圖IlA表示將4張圖像進(jìn)行合成而制作1張全景圖像的情況，檢測(cè)圖像1至圖像4的重疊的部分，以使該部分的偏差不存在的方式進(jìn)行合成，來(lái)制作一張全景圖像。圖IlB是從全景圖像提取的線(xiàn)段或像素具有相同的傾斜角度的情況的一例。例如圖IlB的圖像3所示，存在用實(shí)線(xiàn)表示的構(gòu)造物的垂直線(xiàn)與用虛線(xiàn)表示的構(gòu)造物的水平線(xiàn)在空間分布的局部性上沒(méi)有差異的情況。在這樣的情況下，難以進(jìn)行本發(fā)明中的偽信息判定，但可以得知，通過(guò)作成全景圖像，其局部性變得顯著。由此，即使假設(shè)在單一的圖像中不可能進(jìn)行偽信息判定的情況下，也能夠通過(guò)制作全景圖像來(lái)明確全景圖像中的偽信息，能夠進(jìn)行傾斜角度推定。并且，通過(guò)將該信息反饋到單一圖像，能夠決定各個(gè)圖像的傾斜角度。即，全景圖像制作部1002中保存有制作全景圖像時(shí)的相對(duì)于基準(zhǔn)圖像的傾斜角度、或者相對(duì)于相鄰圖像的傾斜角度，通過(guò)對(duì)由傾斜推定部305得到的結(jié)果加減相對(duì)角度，進(jìn)行多個(gè)圖像中的每個(gè)圖像的傾斜角度修正。以上是本發(fā)明的實(shí)施方式2的圖像處理裝置1000的結(jié)構(gòu)和動(dòng)作。(實(shí)施方式3)圖12是表示本發(fā)明的實(shí)施方式3的圖像處理裝置的結(jié)構(gòu)的圖。在圖12中，對(duì)于與圖3相同的結(jié)構(gòu)要素使用相同的符號(hào)，并省略說(shuō)明。傳感器部1201設(shè)置在攝像部307的內(nèi)部或外部，以規(guī)定的周期計(jì)測(cè)攝像部307的運(yùn)動(dòng)并進(jìn)行輸出。圖13是傳感器輸出的一例。通常，優(yōu)選為在攝像部307捕捉圖像時(shí)同步地計(jì)測(cè)該運(yùn)動(dòng)。傳感器部1201由加速度傳感器、陀螺儀、方位傳感器等構(gòu)成，理想的是分別具有3軸計(jì)測(cè)軸以便能夠?qū)z像部307的運(yùn)動(dòng)全部計(jì)測(cè)，但并不一定需要全部的軸。圖像數(shù)據(jù)和傳感器數(shù)據(jù)在圖像處理裝置1200的內(nèi)部處理成同步。傳感器取得部1202對(duì)取得的傳感器數(shù)據(jù)進(jìn)行處理，計(jì)算用于計(jì)算推定傾斜角度的輔助信息。具體而言，能夠?qū)鞲衅髦祵?shí)施過(guò)濾來(lái)提取希望的帶域成分，或者能夠利用通過(guò)預(yù)先強(qiáng)化學(xué)習(xí)而構(gòu)成的識(shí)別器，根據(jù)傳感器群的動(dòng)作而推定運(yùn)動(dòng)方向。這些信息被發(fā)送到偽信息判定部312、傾斜推定部305。 偽信息判定部312利用來(lái)自傳感器取得部1202的信息，推定鉛直方向?yàn)閳D像的哪個(gè)方向， 決定從圖像提取的線(xiàn)段或像素的傾斜角度中的哪一個(gè)是構(gòu)造物的垂直線(xiàn)的可能性高。具體而言，求取表示由傳感器信息得到的鉛直方向的單位矢量與具有從圖像提取的傾斜角度的單位矢量的內(nèi)積，能夠判斷為其結(jié)果接近1(用法線(xiàn)矢量表示傾斜角度的情況下為0)的一方為垂直線(xiàn)的可能性高。此外，傾斜推定部305還可以例如利用加速度傳感器、陀螺儀，根據(jù)傳感器大致推定攝像部307的傾斜角度，并設(shè)為傾斜推定部305計(jì)算推定傾斜角度時(shí)的制約條件。圖14是表示χ方向、y方向的加速度的變化的一例。圖14中示出以(a)、(b)、 (c)的定時(shí)取得各個(gè)方向的加速度，映射到2維平面中并進(jìn)行矢量化而得到的結(jié)果。(a)、 (b)、(c)的矢量的方向表示相對(duì)于攝像部307攝像時(shí)的鉛直方向的傾斜角度，因此能夠通過(guò)將圖像旋轉(zhuǎn)為使上述矢量朝向鉛直方向從而去除傾斜。但是，在邊走邊進(jìn)行的拍攝中， 存在傳感器的值因慣性噪聲或其他軸靈敏度等而變得不正確的情況。在該情況下，需要利用本發(fā)明中明示的方法進(jìn)行的修正，但通過(guò)將傳感器所計(jì)測(cè)的傾斜方向輸入到傾斜推定部 305，能夠進(jìn)一步提高本發(fā)明的效果。即，假設(shè)由傳感器示出的方向?yàn)閳D像的真的鉛直方向的可能性高，以傳感器所示的方向?yàn)橹行脑O(shè)定規(guī)定的范圍，根據(jù)角度直方圖生成部303求出的角度直方圖將該設(shè)定的范圍內(nèi)的頻度的最頻值設(shè)為傾斜角度。另外，范圍設(shè)定既可以是固定值也可以是變動(dòng)值，在變動(dòng)值的情況下，可以根據(jù)運(yùn)動(dòng)的大小、即傳感器的振幅或穩(wěn)定度(能夠利用規(guī)定時(shí)間范圍內(nèi)的方差值等)而變化。在該情況下，在運(yùn)動(dòng)小時(shí)，判斷為傳感器的輸出值的誤差小而將范圍設(shè)定得窄，在運(yùn)動(dòng)大時(shí)，判斷為誤差大而將范圍設(shè)定得寬。 該變化既可以是連續(xù)的也可以是2階以上的離散值?；蛘撸趶膱D像中不能得到用于計(jì)算推定角度的信息的情況下，也可以根據(jù)過(guò)去的推定結(jié)果或前后的推定結(jié)果、以及傳感器值來(lái)計(jì)算推定角度。在該情況下，可以考慮如下方法適用若是在時(shí)序上連續(xù)取得的圖像則傾斜角度也連續(xù)變化的假定，對(duì)已推定的角度設(shè)定容許值，若傳感器值收斂于該范圍內(nèi)則將該值作為修正值。以上是本發(fā)明的實(shí)施方式3的圖像處理裝置1200的結(jié)構(gòu)和動(dòng)作。(其他變形例)另外，基于上述實(shí)施方式說(shuō)明了本發(fā)明，但本發(fā)明當(dāng)然不限于上述實(shí)施方式。以下所示的情況也包含于本發(fā)明中。(1)上述的各裝置具體而言，是由微處理器、ROM、RAM、硬盤(pán)單元、顯示器單元、鍵盤(pán)、鼠標(biāo)等構(gòu)成的計(jì)算機(jī)系統(tǒng)。上述RAM或硬盤(pán)單元中存儲(chǔ)有計(jì)算機(jī)程序。上述微處理器按照上述計(jì)算機(jī)程序動(dòng)作，從而各裝置實(shí)現(xiàn)其功能。這里，計(jì)算機(jī)程序?yàn)榱藢?shí)現(xiàn)規(guī)定的功能， 由多個(gè)表示針對(duì)計(jì)算機(jī)的指令的命令代碼組合而構(gòu)成。(2)構(gòu)成上述的各裝置的結(jié)構(gòu)要素的一部分或全部也可以由1個(gè)系統(tǒng)LSI (Large Scale Integration:大規(guī)模集成電路)構(gòu)成。系統(tǒng)LSI是將多個(gè)結(jié)構(gòu)部集成在1個(gè)芯片上來(lái)制造的超多功能LSI，具體而言，是包含微處理器、ROM、RAM等而構(gòu)成的計(jì)算機(jī)系統(tǒng)。上述RAM中存儲(chǔ)有計(jì)算機(jī)程序。上述微處理器按照上述計(jì)算機(jī)程序動(dòng)作，從而系統(tǒng)LSI實(shí)現(xiàn)其功能。(3)構(gòu)成上述的各裝置的結(jié)構(gòu)要素的一部分或全部也可以由可對(duì)各裝置進(jìn)行裝拆的IC卡或單體的模塊構(gòu)成。上述IC卡或上述模塊是由微處理器、ROM、RAM等構(gòu)成的計(jì)算機(jī)系統(tǒng)。上述IC卡或上述模塊也可以包括上述的超多功能LSI。微處理器按照計(jì)算機(jī)程序動(dòng)作，從而上述IC卡或上述模塊實(shí)現(xiàn)其功能。該IC卡或該模塊也可以具有防篡改性。(4)本發(fā)明也可以是如上所述的方法。此外，也可以是通過(guò)計(jì)算機(jī)實(shí)現(xiàn)這些方法的計(jì)算機(jī)程序，也可以是由上述計(jì)算機(jī)程序構(gòu)成的數(shù)字信號(hào)。此外，本發(fā)明也可以將上述計(jì)算機(jī)程序或上述數(shù)字信號(hào)記錄于計(jì)算機(jī)可讀取的記錄介質(zhì)、例如軟盤(pán)、硬盤(pán)、CD-ROM、M0、DVD、DVD-ROM、DVD-RAM、BD (Blu-ray Disc)、半導(dǎo)體存儲(chǔ)器等。此外，也可以是記錄在這些記錄介質(zhì)中的上述數(shù)字信號(hào)。此外，本發(fā)明也可以是將上述計(jì)算機(jī)程序或上述數(shù)字信號(hào)經(jīng)由以電氣通信線(xiàn)路、 無(wú)線(xiàn)或有線(xiàn)通信線(xiàn)路、因特網(wǎng)為代表的網(wǎng)絡(luò)、數(shù)據(jù)廣播等來(lái)傳送的結(jié)構(gòu)。此外，本發(fā)明也可以是具備微處理器和存儲(chǔ)器的計(jì)算機(jī)系統(tǒng)，上述存儲(chǔ)器存儲(chǔ)有上述計(jì)算機(jī)程序，上述微處理器按照上述計(jì)算機(jī)程序動(dòng)作。此外，也可以通過(guò)將上述程序或上述數(shù)字信號(hào)記錄在上述記錄介質(zhì)中來(lái)轉(zhuǎn)送，或者通過(guò)將上述程序或上述數(shù)字信號(hào)經(jīng)由上述網(wǎng)絡(luò)等來(lái)轉(zhuǎn)送，從而通過(guò)獨(dú)立的其他計(jì)算機(jī)系統(tǒng)加以實(shí)施。(5)也可以將上述實(shí)施方式以及上述變形例分別組合。工業(yè)實(shí)用性本發(fā)明的圖像處理裝置通過(guò)組裝到攝影裝置或圖像顯示裝置、影像顯示裝置中， 能夠?qū)θ〉玫膱D像的傾斜進(jìn)行修正，并生成正確的方向的圖像。即使是利用以往的圖像處理的傾斜修正裝置較為困難的圖像，也能夠通過(guò)綜合多個(gè)圖像信息來(lái)提取所希望的圖像的傾斜信息。此外，本發(fā)明不僅能夠應(yīng)用于攝影裝置、顯示裝置，還能夠應(yīng)用于處理影像的打印機(jī)或掃描儀等的電子介質(zhì)以外的傾斜修正。符號(hào)說(shuō)明301 圖像取得部302 傾斜信息計(jì)算部303 角度直方圖生成部304 峰值檢測(cè)部305 傾斜推定部
306圖像修正部307攝像部308存儲(chǔ)部310傾斜信息_位置記錄部311傾斜信息分布度計(jì)算部312偽信息判定部1001圖像積蓄部1002全景圖像制作部1201傳感器部1202傳感器取得部
權(quán)利要求
1.一種圖像處理裝置，包括 圖像取得部；傾斜信息計(jì)算部，針對(duì)由上述圖像取得部取得的圖像的各像素，計(jì)算用于對(duì)圖像的傾斜進(jìn)行推定的多個(gè)傾斜信息；角度直方圖生成部，利用由上述傾斜信息計(jì)算部計(jì)算出的多個(gè)傾斜信息，生成作為每個(gè)傾斜角度的頻數(shù)分布的角度直方圖；傾斜信息_位置記錄部，記錄上述多個(gè)傾斜信息與得到該信息的圖像上的位置之間的對(duì)應(yīng)；傾斜信息分布度計(jì)算部，根據(jù)上述傾斜信息及其上述位置，計(jì)算傾斜信息的分布度； 偽信息判定部，根據(jù)上述傾斜信息的分布度，判定上述傾斜信息中的在傾斜推定中能夠使用的信息和不能使用的信息；峰值檢測(cè)部，基于上述偽信息判定部的判斷結(jié)果，提取能夠使用的上述角度直方圖的最大值或極大值；以及傾斜推定部，根據(jù)上述峰值檢測(cè)部所檢測(cè)到的上述最大值或上述極大值所示的傾斜角度，推定圖像的傾斜角度。
2.如權(quán)利要求1所述的圖像處理裝置，用于對(duì)上述圖像的傾斜進(jìn)行推定的多個(gè)傾斜信息是將上述圖像中的線(xiàn)段與其傾斜角一起計(jì)算出的；上述傾斜信息計(jì)算部在上述圖像的預(yù)先確定的范圍中按預(yù)先確定的像素間隔進(jìn)行上述計(jì)算處理。
3.如權(quán)利要求1所述的圖像處理裝置，用于對(duì)上述圖像的傾斜進(jìn)行推定的多個(gè)傾斜信息是將上述圖像中的亮度信息代入到規(guī)定的運(yùn)算式中進(jìn)行運(yùn)算、并求取上述亮度信息的亮度梯度而計(jì)算出的；上述傾斜信息計(jì)算部在上述圖像的預(yù)先確定的范圍中按預(yù)先確定的像素間隔進(jìn)行上述計(jì)算處理。
4.如權(quán)利要求3所述的圖像處理裝置，上述傾斜信息計(jì)算部檢查在與根據(jù)上述圖像的預(yù)先確定的范圍中的亮度梯度而得到的傾斜角度成士90°的方向上是否存在具有同一傾斜角度的像素，由此進(jìn)行上述計(jì)算處理。
5.如權(quán)利要求2所述的圖像處理裝置，上述角度直方圖生成部進(jìn)行對(duì)各傾斜角度信息的加權(quán)，從上述圖像檢測(cè)到的線(xiàn)段的長(zhǎng)度越長(zhǎng)則使權(quán)重越大。
6.如權(quán)利要求3所述的圖像處理裝置，上述角度直方圖生成部進(jìn)行對(duì)各傾斜角度信息的加權(quán)，從上述圖像檢測(cè)到的亮度梯度越接近于垂直則使權(quán)重越大。
7.如權(quán)利要求1所述的圖像處理裝置，上述傾斜信息的分布度是與同一傾斜角度或在預(yù)先確定的范圍內(nèi)的每個(gè)傾斜角度的位置有關(guān)的方差或標(biāo)準(zhǔn)偏差。
8.如權(quán)利要求1所述的圖像處理裝置，上述偽信息判定部對(duì)上述傾斜信息分布度計(jì)算部的計(jì)算結(jié)果和預(yù)先設(shè)定的值進(jìn)行比較，判斷某同一個(gè)傾斜角度或在預(yù)先確定的范圍內(nèi)的傾斜角度是否為偽信息；上述傾斜推定部從滿(mǎn)足上述角度直方圖生成部中預(yù)先確定的基準(zhǔn)的傾斜角度之中，選擇在上述偽信息判定部中判斷為不是偽信息的傾斜角度。
9.如權(quán)利要求1所述的圖像處理裝置，上述傾斜推定部從具有滿(mǎn)足上述角度直方圖生成部中預(yù)先確定的基準(zhǔn)的頻數(shù)的傾斜角度之中，選擇在上述偽信息判定部中判斷為不是偽信息的傾斜角度中的具有最高頻數(shù)的傾斜角度。
10.如權(quán)利要求1所述的圖像處理裝置，該圖像處理裝置還具備圖像修正部，該圖像修正部按照上述傾斜推定部所輸出的上述傾斜信息來(lái)修正圖像。
11.如權(quán)利要求1所述的圖像處理裝置， 該圖像處理裝置還具備圖像積蓄部，存儲(chǔ)取得的圖像；以及全景圖像制作部，從存儲(chǔ)在上述圖像積蓄部中的圖像之中，選擇并讀出至少兩個(gè)圖像， 將該圖像結(jié)合而制作全景圖像；上述傾斜信息計(jì)算部對(duì)上述全景圖像的各像素進(jìn)行規(guī)定的運(yùn)算，提取用于對(duì)上述全景圖像的傾斜進(jìn)行推定的多個(gè)信息。
12.如權(quán)利要求11所述的圖像處理裝置，上述傾斜推定部推定與上述全景圖像有關(guān)的傾斜角度；利用構(gòu)成上述全景圖像的兩個(gè)以上圖像之間的相對(duì)的旋轉(zhuǎn)角度，計(jì)算構(gòu)成上述全景圖像的兩個(gè)以上圖像的各自的傾斜角度。
13.如權(quán)利要求1所述的圖像處理裝置，該圖像處理裝置還具備傳感器取得部，該傳感器取得部取得來(lái)自傳感器部的數(shù)據(jù)，該傳感器部計(jì)測(cè)攝像部的運(yùn)動(dòng)；上述傳感器取得部根據(jù)上述傾斜角度，計(jì)算用于對(duì)圖像的傾斜角度進(jìn)行推定的輔助信
14.如權(quán)利要求13所述的圖像處理裝置，上述偽信息判定部利用從上述傳感器取得部得到的上述輔助信息，推定鉛直方向是圖像的哪個(gè)方向，并決定從圖像提取的線(xiàn)段或像素的傾斜角度中的哪個(gè)是垂直線(xiàn)。
15.一種圖像處理方法，包括以下步驟 圖像取得步驟；傾斜信息計(jì)算步驟，針對(duì)在上述圖像取得步驟中取得的圖像的各像素，計(jì)算用于對(duì)圖像的傾斜進(jìn)行推定的多個(gè)傾斜信息；角度直方圖生成步驟，利用在上述傾斜信息計(jì)算步驟中計(jì)算出的多個(gè)傾斜信息，生成作為每個(gè)傾斜角度的頻數(shù)分布的角度直方圖；傾斜信息_位置記錄步驟，記錄上述多個(gè)傾斜信息與得到該信息的圖像上的位置之間的對(duì)應(yīng)；傾斜信息分布度計(jì)算步驟，根據(jù)上述傾斜信息及其上述位置，計(jì)算傾斜信息的分布度；偽信息判定步驟，根據(jù)上述傾斜信息的分布度，判斷上述傾斜信息中的在傾斜推定中能夠使用的信息和不能使用的信息；峰值檢測(cè)步驟，基于上述偽信息判定步驟的判斷結(jié)果，提取能夠使用的上述角度直方圖的最大值或極大值；以及傾斜推定步驟，根據(jù)在上述峰值檢測(cè)步驟中檢測(cè)到的上述最大值或上述極大值所示的傾斜角度，推定圖像的傾斜角度。
16.一種集成電路，包含權(quán)利要求1所述的圖像處理裝置。
17.一種程序，用于使計(jì)算機(jī)執(zhí)行權(quán)利要求15所述的圖像處理方法。
18.—種記錄介質(zhì)，存儲(chǔ)有權(quán)利要求17所述的程序。
全文摘要
一種圖像處理裝置，為了計(jì)算兩個(gè)以上圖像間的相對(duì)的傾斜角度，將圖像中包含的傾斜信息與其位置信息一起取得。接著，根據(jù)一起取得的位置信息在圖像中的分布特性，判定這些傾斜信息在傾斜角度推定中是否能夠使用(是否為偽信息)。然后，根據(jù)判定為能夠使用的傾斜信息，推定傾斜角度。利用其推定結(jié)果，能夠?qū)θ〉玫膱D像所包含的傾斜進(jìn)行修正，生成正確的方向的圖像。
文檔編號(hào)H04N5/232GK102474573SQ20118000325
公開(kāi)日2012年5月23日 申請(qǐng)日期2011年6月2日 優(yōu)先權(quán)日2010年6月11日
發(fā)明者大宮淳, 山田整 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社