本申請(qǐng)涉及圖像處理技術(shù)，尤指一種全景圖像的處理方法及裝置。

背景技術(shù)：

隨著虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)技術(shù)的快速發(fā)展，全景視頻、全景圖像因能給用戶帶來(lái)360度全方位的、沉浸式的觀看體驗(yàn)而被廣泛接受。

現(xiàn)有的全景處理、拼接技術(shù)中，在采集圖像和編碼壓縮后，還要進(jìn)行圖像處理和拼接融合等工作。由于成像條件等因素的影響，目前圖像拼接后得到的全景圖像通常會(huì)存在圖像整體亮度不一致的問(wèn)題，導(dǎo)致圖像展示效果不佳，用戶體驗(yàn)較差。

技術(shù)實(shí)現(xiàn)要素：

為了解決上述技術(shù)問(wèn)題，本申請(qǐng)?zhí)峁┝艘环N全景圖像的處理方法及裝置，能夠大大提高全景圖像的圖像質(zhì)量。

為了達(dá)到本發(fā)明目的，本申請(qǐng)?zhí)峁┝艘环N全景圖像的處理方法，包括：

獲取多路魚眼圖像，對(duì)所述多路魚眼圖像進(jìn)行同步處理；

對(duì)同步處理后的每一路魚眼圖像進(jìn)行暗電平校準(zhǔn)，使多路魚眼圖像獲得相同的灰度值基準(zhǔn)；

對(duì)相同灰度值基準(zhǔn)的多路魚眼圖像進(jìn)行圖像一致性處理，補(bǔ)償魚眼圖像的亮度差異；

對(duì)圖像一致性處理后的多路魚眼圖像進(jìn)行畸變校正，得到多路魚眼展開(kāi)圖，將多路魚眼展開(kāi)圖拼接為全景圖像。

本申請(qǐng)還提供了一種全景圖像的處理裝置，包括：

一同步單元，用于獲取多路魚眼圖像，對(duì)所述多路魚眼圖像進(jìn)行同步處理；

一暗電平處理單元，用于對(duì)同步處理后的每一路魚眼圖像進(jìn)行暗電平校準(zhǔn)，使多路魚眼圖像獲得相同的灰度值基準(zhǔn)；

一圖像一致性處理單元，用于對(duì)相同灰度值基準(zhǔn)的多路魚眼圖像進(jìn)行圖像一致性處理，補(bǔ)償魚眼圖像的亮度差異；

一畸變校正單元，用于對(duì)圖像一致性處理后的多路魚眼圖像進(jìn)行畸變校正，得到多路魚眼展開(kāi)圖；

一拼接融合單元，用于將多路魚眼展開(kāi)圖拼接為全景圖像。

與現(xiàn)有技術(shù)相比，本申請(qǐng)包括獲取多路魚眼圖像，對(duì)多路魚眼圖像進(jìn)行同步處理；對(duì)同步處理后的每一路魚眼圖像進(jìn)行暗電平校準(zhǔn)，使多路魚眼圖像獲得相同的灰度值基準(zhǔn)；對(duì)相同灰度值基準(zhǔn)的多路魚眼圖像進(jìn)行圖像一致性處理，補(bǔ)償魚眼圖像的亮度差異；對(duì)圖像一致性處理后的多路魚眼圖像進(jìn)行畸變校正，得到多路魚眼展開(kāi)圖，將多路魚眼展開(kāi)圖拼接為全景圖像。本申請(qǐng)通過(guò)對(duì)多路魚眼圖像進(jìn)行同步、暗電平校準(zhǔn)、圖像一致性處理等圖像處理操作，使得拼接、融合后能夠得到整體亮度一致的全景圖像、全景視頻，大大提高了全景圖像、全景視頻的圖像質(zhì)量。

本發(fā)明的其它特征和優(yōu)點(diǎn)將在隨后的說(shuō)明書中闡述，并且，部分地從說(shuō)明書中變得顯而易見(jiàn)，或者通過(guò)實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)可通過(guò)在說(shuō)明書、權(quán)利要求書以及附圖中所特別指出的結(jié)構(gòu)來(lái)實(shí)現(xiàn)和獲得。

附圖說(shuō)明

附圖用來(lái)提供對(duì)本發(fā)明技術(shù)方案的進(jìn)一步理解，并且構(gòu)成說(shuō)明書的一部分，與本申請(qǐng)的實(shí)施例一起用于解釋本發(fā)明的技術(shù)方案，并不構(gòu)成對(duì)本發(fā)明技術(shù)方案的限制。

圖1為本申請(qǐng)一實(shí)施例的全景圖像的處理方法的流程圖；

圖2為本發(fā)明的另一實(shí)施例的全景圖像的處理裝置的架構(gòu)圖。

具體實(shí)施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，下文中將結(jié)合附圖對(duì)本發(fā)明的實(shí)施例進(jìn)行詳細(xì)說(shuō)明。需要說(shuō)明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互任意組合。

在附圖的流程圖示出的步驟可以在諸如一組計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)系統(tǒng)中執(zhí)行。并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。

現(xiàn)有技術(shù)中，在生成全景圖像、全景視頻的過(guò)程中，在采集到魚眼圖像后，還要對(duì)魚眼圖像進(jìn)行圖像處理、畸變校正并拼接融合為全景圖像。由于成像條件等因素的影響，目前得到的全景圖像通常會(huì)存在圖像整體亮度不一致的問(wèn)題，例如，由于魚眼圖像自身不同區(qū)域存在亮度差異，不同魚眼圖像之間也可能存在亮度差異，導(dǎo)致對(duì)魚眼圖像進(jìn)行畸變校正、拼接融合得到的全景圖像的整體亮度不一致，在進(jìn)行全景播放展示時(shí)效果不佳，用戶體驗(yàn)較差。

本申請(qǐng)中，在獲得多路魚眼圖像并對(duì)多路魚眼圖像進(jìn)行同步后，還要進(jìn)一步對(duì)每一路魚眼圖像進(jìn)行暗電平校準(zhǔn)，以使多路魚眼圖像能夠獲得相同的灰度值基準(zhǔn)。在此基礎(chǔ)上，再對(duì)多路魚眼圖像進(jìn)行圖像一致性處理，消除魚眼圖像的亮度差異。最后，對(duì)魚眼圖像進(jìn)行畸變校正，并拼接融合為全景圖像。具體而言，本申請(qǐng)中的圖像一致性處理，可以是消除魚眼圖像自身不同區(qū)域的亮度差異，也可以是消除多路魚眼圖像之間的亮度差異，同時(shí)，也可以是既對(duì)魚眼圖像自身不同區(qū)域消除亮度差異，又消除多路魚眼圖像之間的亮度差異。本申請(qǐng)的全景圖像的處理方法能夠得到亮度均衡的全景圖像，提高了全景圖像的圖像質(zhì)量，增強(qiáng)了全景圖像展示的效果。

如圖1所示，本申請(qǐng)?zhí)峁┑娜皥D像的處理方法，包括：

步驟101：獲取多路魚眼圖像，對(duì)多路魚眼圖像進(jìn)行同步處理；

步驟102：對(duì)同步處理后的每一路魚眼圖像進(jìn)行暗電平校準(zhǔn)，使多路魚眼圖像獲得相同的灰度值基準(zhǔn)；

步驟103：對(duì)相同灰度值基準(zhǔn)的多路魚眼圖像進(jìn)行圖像一致性處理，補(bǔ)償魚眼圖像的亮度差異；

步驟104：對(duì)圖像一致性處理后的多路魚眼圖像進(jìn)行畸變校正，得到多路魚眼展開(kāi)圖，將多路魚眼展開(kāi)圖拼接為全景圖像。

本申請(qǐng)?zhí)峁┑娜皥D像的處理方法可以應(yīng)用于對(duì)全景相機(jī)、運(yùn)動(dòng)相機(jī)等拍攝設(shè)備拍攝的全景圖像、全景視頻進(jìn)行圖像處理，也可以是對(duì)全景電影、全景動(dòng)畫等由專業(yè)設(shè)備拍攝制作的全景內(nèi)容進(jìn)行圖像處理。

本申請(qǐng)方法可以應(yīng)用于在全景相機(jī)、運(yùn)動(dòng)相機(jī)等拍攝設(shè)備中，在全景拍攝場(chǎng)景下，拍攝設(shè)備拍攝魚眼圖像后，進(jìn)行圖像處理，從而獲得全景圖像；也可以應(yīng)用到智能終端(如手機(jī))、后期處理設(shè)備(如PC)等設(shè)備上，在從拍攝設(shè)備接收到魚眼圖像后，對(duì)魚眼圖像進(jìn)行圖像處理，從而獲得全景圖像。

全景視頻是由一系列的全景圖像序列組成，因此，本申請(qǐng)?zhí)峁┑娜皥D像的處理方法不僅適用于全景圖像的處理，同樣適用于全景視頻的處理。

在進(jìn)行圖像處理之前，需要進(jìn)行外界圖像的采集，可以通過(guò)全景采集模塊采集360度視野內(nèi)的圖像。優(yōu)選的，全景采集模塊可以包括至少兩個(gè)圖像采集單元，每個(gè)圖像采集單元包括一個(gè)魚眼鏡頭和一個(gè)攝取由魚眼鏡頭所形成圖像的圖像傳感器。每個(gè)魚眼鏡頭的視場(chǎng)角超過(guò)180度，用于采集空間的光信號(hào)，得到光信號(hào)魚眼圖像；圖像傳感器用于將光信號(hào)魚眼圖像轉(zhuǎn)換為電信號(hào)魚眼圖像。兩個(gè)圖像采集單元背向設(shè)置，保證采集到水平和垂直各360°的全景圖像。全景采集模塊也可以包含三個(gè)或更多個(gè)圖像采集單元。

在本申請(qǐng)?zhí)峁┑娜皥D像的處理方法中，首先需要獲取到多路魚眼圖像。例如，在拍攝設(shè)備上通過(guò)本申請(qǐng)的方法進(jìn)行圖像處理時(shí)，對(duì)于全景采集模塊拍攝的魚眼圖像，可以直接從全景采集模塊的圖像傳感器獲取魚眼圖像。在手機(jī)、PC等設(shè)備上通過(guò)本申請(qǐng)的方法進(jìn)行圖像處理時(shí)，手機(jī)、PC等設(shè)備可以從拍攝設(shè)備獲取多路魚眼圖像。

由于多路圖像采集單元相互獨(dú)立，對(duì)同一場(chǎng)景采集到的魚眼圖像存在時(shí)間差異，即使采用同步控制電路進(jìn)行控制，也無(wú)法保證拍攝得到的多路魚眼圖像精確同步。因此，在獲取到多路魚眼圖像后，需要對(duì)這多路魚眼圖像進(jìn)行同步處理，消除多個(gè)圖像采集單元采集魚眼圖像的時(shí)間差。

具體的，對(duì)多路魚眼圖像進(jìn)行同步處理可以是：將多路魚眼圖像分別寫入緩存，經(jīng)過(guò)一指定時(shí)間閾值的延遲后在同一時(shí)刻將多個(gè)緩存中的魚眼圖像讀出，經(jīng)過(guò)同步處理后的多路魚眼圖像完全同步。同步后的多路魚眼圖像在時(shí)間域上精確一致，避免視頻出現(xiàn)抖動(dòng)和時(shí)間不一致等現(xiàn)象。

其次，為了使多路魚眼圖像獲得相同的灰度值基準(zhǔn)，在對(duì)多路魚眼圖像進(jìn)行同步處理后，還對(duì)同步處理后的每一路魚眼圖像進(jìn)行暗電平校準(zhǔn)。

暗電平區(qū)域是圖像傳感器輸出的原始圖像中的非感光區(qū)域。暗電平會(huì)降低CMOS圖像傳感器的性能，如動(dòng)態(tài)范圍、靈敏度、噪聲等。

在本申請(qǐng)的一可選實(shí)施例中，對(duì)同步處理后的每一路魚眼圖像進(jìn)行暗電平校準(zhǔn)，包括：對(duì)每一路原始圖像分別統(tǒng)計(jì)各自暗電平區(qū)域的平均灰度值，然后將每一路魚眼圖像的每個(gè)像素點(diǎn)的灰度值減去各自對(duì)應(yīng)的原始圖像的暗電平區(qū)域的平均灰度值。

在暗電平區(qū)域中還可能存在少量壞點(diǎn)，壞點(diǎn)是指壞像素，壞點(diǎn)主要包括三種：(1)暗場(chǎng)下的亮像素點(diǎn)(無(wú)光照也能感光)；(2)亮場(chǎng)下的暗像素點(diǎn)(有光照也無(wú)法感光)；(3)感光異常的像素點(diǎn)(光照下與正常像素點(diǎn)響應(yīng)度相差較大)。為了增加灰度平均值的準(zhǔn)確性，在進(jìn)行灰度平均值統(tǒng)計(jì)前還可以先對(duì)壞點(diǎn)進(jìn)行補(bǔ)償。對(duì)壞點(diǎn)進(jìn)行補(bǔ)償?shù)姆椒梢圆捎茫褐兄禐V波、相鄰點(diǎn)復(fù)制等方法。

再次，由于全景圖像是對(duì)至少兩路魚眼圖像進(jìn)行圖像處理、畸變校正并拼接融合而得到的，而對(duì)于魚眼鏡頭，shading(漸暈效應(yīng))問(wèn)題是需要考慮的，也就是魚眼鏡頭的光學(xué)響應(yīng)度從中心向四周遞減，shading問(wèn)題會(huì)導(dǎo)致魚眼圖像的亮度從中心向四周逐漸降低。此外，不同魚眼鏡頭之間光學(xué)特性的差異，以及特殊使用場(chǎng)景下不同魚眼鏡頭的曝光量不同，如第一魚眼鏡頭正對(duì)光源，第二魚眼鏡頭背對(duì)光源，此時(shí)兩個(gè)圖像傳感器曝光差異明顯，也可能導(dǎo)致不同魚眼鏡頭采集得到的魚眼圖像之間存在亮度差異，以致拼接時(shí)出現(xiàn)全景圖像的畫面亮度不一致。為此，本申請(qǐng)中，在對(duì)魚眼圖像進(jìn)行暗電平校準(zhǔn)后，還對(duì)相同灰度值基準(zhǔn)的多路魚眼圖像進(jìn)行圖像一致性處理，以補(bǔ)償魚眼圖像的亮度差異。

本申請(qǐng)中，在對(duì)魚眼鏡頭進(jìn)行圖像一致性處理時(shí)，可以只進(jìn)行每一路魚眼圖像自身的一致性處理，或者，也可以只進(jìn)行多路魚眼圖像之間的一致性處理，又或者，還可以既進(jìn)行每一路魚眼圖像自身的一致性處理，也進(jìn)行多路魚眼圖像之間的一致性處理。如果既進(jìn)行每一路魚眼圖像自身的一致性處理，也進(jìn)行多路魚眼圖像之間的一致性處理，則可以先進(jìn)行單路魚眼圖像自身的一致性處理，后進(jìn)行多路魚眼圖像之間的一致性處理，或者，先進(jìn)行多路魚眼圖像之間的一致性處理，后進(jìn)行單路魚眼圖像自身的一致性處理。

在本申請(qǐng)的一可選實(shí)施例中，在只進(jìn)行每一路魚眼圖像自身的一致性處理的情況下，對(duì)相同灰度值基準(zhǔn)的多路魚眼圖像進(jìn)行圖像一致性處理，包括：

針對(duì)每一路魚眼圖像，對(duì)魚眼圖像劃分圖像區(qū)域，分別計(jì)算每個(gè)圖像區(qū)域的平均灰度值，將亮度最高的圖像區(qū)域的平均灰度值與每個(gè)圖像區(qū)域的平均灰度值做比值，將比值結(jié)果作為相應(yīng)圖像區(qū)域的增益系數(shù)對(duì)相應(yīng)圖像區(qū)域進(jìn)行亮度補(bǔ)償。或者，

也可以是針對(duì)每一路魚眼圖像，根據(jù)魚眼圖像對(duì)應(yīng)的魚眼鏡頭的響應(yīng)度信息確定圖像上每個(gè)像素點(diǎn)的響應(yīng)度，將亮度最高的像素的響應(yīng)度與每個(gè)像素的響應(yīng)度做比值，將比值結(jié)果作為相應(yīng)像素的增益系數(shù)對(duì)相應(yīng)像素進(jìn)行亮度補(bǔ)償。

上述將比值結(jié)果作為相應(yīng)圖像區(qū)域的增益系數(shù)對(duì)相應(yīng)圖像區(qū)域進(jìn)行亮度補(bǔ)償，是指對(duì)圖像區(qū)域中的每個(gè)像素點(diǎn)的灰度值乘上增益系數(shù)，補(bǔ)償亮度。上述將比值結(jié)果作為相應(yīng)像素的增益系數(shù)對(duì)相應(yīng)像素進(jìn)行亮度補(bǔ)償，是指將像素點(diǎn)的灰度值乘上增益系數(shù)。

上述響應(yīng)度信息表明了像素點(diǎn)與其響應(yīng)度的關(guān)系，其基本規(guī)律為：離圖像中心越近的像素點(diǎn)，響應(yīng)度越高，離圖像中心越遠(yuǎn)的像素點(diǎn)，響應(yīng)度越低。

上述魚眼鏡頭的響應(yīng)度信息可以通過(guò)以下方法獲得，包括：將魚眼鏡頭對(duì)準(zhǔn)均勻光源進(jìn)行拍照，根據(jù)拍攝的圖像的亮度差異對(duì)圖像進(jìn)行區(qū)域劃分，將每個(gè)區(qū)域的平均灰度值與亮度最高的區(qū)域的平均灰度值的比值作為該區(qū)域中心像素點(diǎn)的響應(yīng)度，在得到所有區(qū)域的中心像素點(diǎn)的響應(yīng)度后，再根據(jù)插值算法計(jì)算出魚眼鏡頭所拍攝的圖像上的所有像素點(diǎn)的響應(yīng)度，最后根據(jù)每個(gè)像素點(diǎn)的響應(yīng)度和坐標(biāo)值生成魚眼鏡頭的響應(yīng)度信息。

由于魚眼鏡頭的視場(chǎng)角大于180度，因此多路魚眼圖像之間存在重疊區(qū)域(魚眼圖像邊緣位置)。在本申請(qǐng)的一可選實(shí)施例中，在只進(jìn)行多路魚眼圖像之間的一致性處理的情況下，對(duì)相同灰度值基準(zhǔn)的多路魚眼圖像進(jìn)行圖像一致性處理，包括：

針對(duì)多路魚眼圖像，在多路魚眼圖像的重疊區(qū)域中識(shí)別出相同畫面區(qū)域，分別計(jì)算相同畫面區(qū)域在每一路魚眼圖像中的平均灰度值，根據(jù)相同畫面區(qū)域在多路魚眼圖像中的平均灰度值確定每一路魚眼圖像的增益系數(shù)，增益系數(shù)用于將多路魚眼圖像調(diào)整為相同亮度，根據(jù)每一路魚眼圖像的增益系數(shù)調(diào)整魚眼圖像的亮度，使多路魚眼圖像的亮度相同。

例如，假設(shè)存在兩路魚眼圖像，第一魚眼圖像和第二魚眼圖像，在第一魚眼圖像和第二魚眼圖像的重疊區(qū)域中識(shí)別出相同畫面區(qū)域A。通過(guò)計(jì)算得到區(qū)域A在第一魚眼圖像中的平均灰度值為1，在第二魚眼圖像中的平均灰度值為0.8。在確定第一魚眼圖像和第二魚眼圖像的增益系數(shù)時(shí)，可以是將亮度較低的魚眼圖像的亮度調(diào)整為與亮度較高的魚眼圖像的亮度相同，也可以將兩路魚眼圖像的亮度調(diào)整為中間值。在本例中，可以是確定第二魚眼圖像的增益系數(shù)為1.25，第一魚眼圖像的增益系數(shù)為1；也可以是確定第二魚眼圖像的增益系數(shù)為9/8，第一魚眼圖像的增益系數(shù)為9/10。

進(jìn)一步的，在進(jìn)行多路魚眼圖像之間的一致性處理時(shí)，還可以在重疊區(qū)域中識(shí)別出多個(gè)相同畫面區(qū)域，分別計(jì)算每個(gè)相同畫面區(qū)域在每一路魚眼圖像中的平均灰度值，根據(jù)每個(gè)相同畫面區(qū)域在多路魚眼圖像中的平均灰度值為每一路魚眼圖像確定一個(gè)增益系數(shù)，從而為每一路魚眼圖像確定出多個(gè)增益系數(shù)，將多個(gè)增益系數(shù)取平均值作為魚眼圖像的增益系數(shù)，或者使用相應(yīng)的增益系數(shù)對(duì)魚眼圖像上的相應(yīng)畫面區(qū)域進(jìn)行補(bǔ)償，其余區(qū)域采用多個(gè)增益系數(shù)中的其中之一進(jìn)行補(bǔ)償或者采用多個(gè)增益系數(shù)的平均值進(jìn)行補(bǔ)償。

同樣假設(shè)存在第一魚眼圖像和第二魚眼圖像，在第一魚眼圖像和第二魚眼圖像的重疊區(qū)域中識(shí)別出相同畫面區(qū)域A和相同畫面區(qū)域B。通過(guò)計(jì)算得到區(qū)域A在第一魚眼圖像中的平均灰度值為1，在第二魚眼圖像中的平均灰度值為0.8；區(qū)域B在第一魚眼圖像中的平均灰度值為0.8，在第二魚眼圖像中的平均灰度值為0.6?？梢愿鶕?jù)第一組平均灰度值，為第一魚眼鏡頭確定第一增益系數(shù)為1，為第二魚眼鏡頭確定第一增益系數(shù)為1.25；根據(jù)第二組平均灰度值，為第一魚眼鏡頭確定第二增益系數(shù)為1，為第二魚眼鏡頭確定第二增益系數(shù)為4/3。

在對(duì)第一魚眼圖像和第二魚眼圖像進(jìn)行亮度補(bǔ)償時(shí)，可以將第一魚眼圖像的兩個(gè)增益系數(shù)取平均值作為第一魚眼的增益系數(shù)，將第二魚眼圖像的兩個(gè)增益系數(shù)取平均值作為第二魚眼的增益系數(shù)；或者，

使用第一魚眼圖像的第一增益系數(shù)對(duì)第一魚眼圖像上的區(qū)域A進(jìn)行補(bǔ)償，使用第一魚眼圖像的第二增益系數(shù)對(duì)第一魚眼圖像上的區(qū)域B進(jìn)行補(bǔ)償，第一魚眼圖像的其余區(qū)域采用其第一增益系數(shù)和第二增益系數(shù)中的其中之一進(jìn)行補(bǔ)償或者采用這兩個(gè)增益系數(shù)的平均值進(jìn)行補(bǔ)償。同樣的，對(duì)于第二魚眼圖像，可以使用第二魚眼圖像的第一增益系數(shù)對(duì)第二魚眼圖像上的區(qū)域A進(jìn)行補(bǔ)償，使用第二魚眼圖像的第二增益系數(shù)對(duì)第二魚眼圖像上的區(qū)別B進(jìn)行補(bǔ)償，第二魚眼圖像的其余區(qū)域采用其第一增益系數(shù)和第二增益系數(shù)中的其中之一進(jìn)行補(bǔ)償或者采用這兩個(gè)增益系數(shù)的平均值進(jìn)行補(bǔ)償。

上述在多路魚眼圖像的重疊區(qū)域中識(shí)別出相同畫面區(qū)域，可以是針對(duì)重疊區(qū)域進(jìn)行特征模板匹配，找出相同畫面區(qū)域在兩張圖像中的位置。特征模板是指圖像中的特定灰度值或邊緣模式，特征是指實(shí)際圖像中的一部分，可以由邊緣特征、線性特征、中心特征、對(duì)角線特征等組成。在需要識(shí)別出多個(gè)相同畫面區(qū)域時(shí)，特征模板也可能為多個(gè)。

在本申請(qǐng)的另一可選實(shí)施例中，如上所述，對(duì)相同灰度值基準(zhǔn)的多路魚眼圖像進(jìn)行圖像一致性處理，可以是既進(jìn)行每一路魚眼圖像自身的一致性處理，也進(jìn)行多路魚眼圖像之間的一致性處理。這種情況下，可以是先進(jìn)行每一路魚眼圖像自身的一致性處理，也可以是先進(jìn)行多路魚眼圖像之間的一致性處理，本申請(qǐng)中不做限制。進(jìn)行每一路魚眼圖像自身的一致性處理和進(jìn)行多路魚眼圖像之間的一致性處理的具體步驟如上所述，此處不再贅述。

優(yōu)選地，為了提高圖像處理的實(shí)時(shí)性，節(jié)省圖像處理所消耗的資源，本申請(qǐng)中可以無(wú)需對(duì)每一路魚眼圖像的每一幀魚眼圖像均按照上述步驟進(jìn)行一致性處理，而是將當(dāng)前幀進(jìn)行上述過(guò)程所獲得的增益系數(shù)應(yīng)用到下一幀魚眼圖像中，對(duì)魚眼圖像進(jìn)行一致性處理。

再其次，在對(duì)多路魚眼圖像進(jìn)行圖像一致性處理后，還需要對(duì)多路魚眼圖像進(jìn)行畸變校正，以將魚眼圖像展開(kāi)為魚眼展開(kāi)圖，以便后續(xù)將魚眼展開(kāi)圖拼接融合為全景圖像。

在本申請(qǐng)的一可選實(shí)施例中，進(jìn)行畸變校正包括：

(1)將預(yù)先標(biāo)定好的用于畸變校正的數(shù)據(jù)查找表緩存于存儲(chǔ)器中；

(2)將圖像數(shù)據(jù)緩沖到存儲(chǔ)器中，利用查找表將圖像數(shù)據(jù)的每一個(gè)像素進(jìn)行畸變校正，并且將魚眼圖像展開(kāi)為適合人眼觀看的平面圖像。

最后，在得到多路魚眼展開(kāi)圖后，將多路魚眼展開(kāi)圖拼接為全景圖像。

本申請(qǐng)中將多路魚眼展開(kāi)圖拼接為全景圖像可以是對(duì)畸變校正后的魚眼展開(kāi)圖進(jìn)行融縫和拼接并進(jìn)行重疊區(qū)平滑處理，使圖像在重疊區(qū)域亮度平滑過(guò)渡，實(shí)現(xiàn)無(wú)縫拼接。

如圖2所示，本申請(qǐng)還提供了一種全景圖像的處理裝置，包括：

一同步單元，用于獲取多路魚眼圖像，對(duì)所述多路魚眼圖像進(jìn)行同步處理；

一暗電平處理單元，用于對(duì)同步處理后的每一路魚眼圖像進(jìn)行暗電平校準(zhǔn)，使多路魚眼圖像獲得相同的灰度值基準(zhǔn)；

一圖像一致性處理單元，用于對(duì)相同灰度值基準(zhǔn)的多路魚眼圖像進(jìn)行圖像一致性處理，補(bǔ)償魚眼圖像的亮度差異；

一畸變校正單元，用于對(duì)圖像一致性處理后的多路魚眼圖像進(jìn)行畸變校正，得到多路魚眼展開(kāi)圖；

一拼接融合單元，用于將多路魚眼展開(kāi)圖拼接為全景圖像。

進(jìn)一步，上述圖像一致性處理單元對(duì)相同灰度值基準(zhǔn)的多路魚眼圖像進(jìn)行圖像一致性處理，包括：

針對(duì)每一路魚眼圖像，對(duì)魚眼圖像劃分圖像區(qū)域，分別計(jì)算每個(gè)圖像區(qū)域的平均灰度值，將亮度最高的圖像區(qū)域的平均灰度值與每個(gè)圖像區(qū)域的平均灰度值做比值，將比值結(jié)果作為相應(yīng)圖像區(qū)域的增益系數(shù)對(duì)相應(yīng)圖像區(qū)域進(jìn)行亮度補(bǔ)償；或者，

針對(duì)每一路魚眼圖像，根據(jù)魚眼圖像對(duì)應(yīng)的魚眼鏡頭的響應(yīng)度信息確定圖像上每個(gè)像素點(diǎn)的響應(yīng)度，將亮度最高的像素點(diǎn)的響應(yīng)度與每個(gè)像素點(diǎn)的響應(yīng)度做比值，將比值結(jié)果作為相應(yīng)像素點(diǎn)的增益系數(shù)對(duì)相應(yīng)像素點(diǎn)進(jìn)行亮度補(bǔ)償。

進(jìn)一步，上述圖像一致性處理單元對(duì)相同灰度值基準(zhǔn)的多路魚眼圖像進(jìn)行圖像一致性處理，包括：

針對(duì)多路魚眼圖像，在多路魚眼圖像的重疊區(qū)域中識(shí)別出相同畫面區(qū)域，計(jì)算相同畫面區(qū)域在每一路魚眼圖像中的平均灰度值，根據(jù)相同畫面區(qū)域在多路魚眼圖像中的平均灰度值確定每一路魚眼圖像的增益系數(shù)，所述增益系數(shù)用于將多路魚眼圖像調(diào)整為相同亮度，根據(jù)所述每一路魚眼圖像的增益系數(shù)調(diào)整相應(yīng)魚眼圖像的亮度，使多路魚眼圖像的亮度相同。

進(jìn)一步，上述圖像一致性處理單元對(duì)相同灰度值基準(zhǔn)的多路魚眼圖像進(jìn)行圖像一致性處理，包括：進(jìn)行單路魚眼圖像自身的圖像一致性處理以及多路魚眼圖像之間的圖像一致性處理，其中：

單路魚眼圖像自身的圖像一致性處理，包括：針對(duì)每一路魚眼圖像，對(duì)魚眼圖像劃分圖像區(qū)域，分別計(jì)算每個(gè)圖像區(qū)域的平均灰度值，將亮度最高的圖像區(qū)域的平均灰度值與每個(gè)圖像區(qū)域的平均灰度值做比值，將比值結(jié)果作為相應(yīng)圖像區(qū)域的增益系數(shù)對(duì)相應(yīng)圖像區(qū)域進(jìn)行亮度補(bǔ)償；或者，針對(duì)每一路魚眼圖像，根據(jù)魚眼圖像對(duì)應(yīng)的魚眼鏡頭的響應(yīng)度信息確定圖像上每個(gè)像素點(diǎn)的響應(yīng)度，將亮度最高的像素點(diǎn)的響應(yīng)度與每個(gè)像素點(diǎn)的響應(yīng)度做比值，將比值結(jié)果作為相應(yīng)像素點(diǎn)的增益系數(shù)對(duì)相應(yīng)像素點(diǎn)進(jìn)行亮度補(bǔ)償；

多路魚眼圖像之間的圖像一致性處理，包括：針對(duì)多路魚眼圖像，在多路魚眼圖像的重疊區(qū)域中識(shí)別出相同畫面區(qū)域，計(jì)算相同畫面區(qū)域在每一路魚眼圖像中的平均灰度值，根據(jù)相同畫面區(qū)域在多路魚眼圖像中的平均灰度值確定每一路魚眼圖像的增益系數(shù)，該增益系數(shù)用于將多路魚眼圖像調(diào)整為相同亮度，根據(jù)所述每一路魚眼圖像的增益系數(shù)調(diào)整相應(yīng)魚眼圖像的亮度，使多路魚眼圖像的亮度相同。

進(jìn)一步，上述圖像一致性處理單元在多路魚眼圖像的重疊區(qū)域中識(shí)別出相同畫面區(qū)域，計(jì)算相同畫面區(qū)域在每一路魚眼圖像中的平均灰度值，根據(jù)相同畫面區(qū)域在多路魚眼圖像中的平均灰度值確定每一路魚眼圖像的增益系數(shù)，包括：

在所述重疊區(qū)域中識(shí)別出多個(gè)相同畫面區(qū)域，分別計(jì)算每個(gè)相同畫面區(qū)域在每一路魚眼圖像中的平均灰度值，根據(jù)每個(gè)相同畫面區(qū)域在多路魚眼圖像中的平均灰度值為每一路魚眼圖像確定一個(gè)增益系數(shù)，從而為每一路魚眼圖像確定出多個(gè)增益系數(shù)，將多個(gè)增益系數(shù)取平均值作為魚眼圖像的增益系數(shù)，或者使用相應(yīng)的增益系數(shù)對(duì)魚眼圖像上的相應(yīng)畫面區(qū)域進(jìn)行補(bǔ)償，其余區(qū)域采用多個(gè)增益系數(shù)中的其中之一進(jìn)行補(bǔ)償或者采用多個(gè)增益系數(shù)的平均值進(jìn)行補(bǔ)償。

進(jìn)一步，上述圖像一致性處理單元采用如下方法獲取響應(yīng)度信息，包括：

將魚眼鏡頭對(duì)均勻光源所拍攝的圖像按照亮度差異進(jìn)行區(qū)域劃分，將每個(gè)區(qū)域的平均灰度值與亮度最高的區(qū)域的平均灰度值的比值作為該區(qū)域中心像素點(diǎn)的響應(yīng)度，在得到所有區(qū)域的中心像素點(diǎn)的響應(yīng)度后，采用插值算法計(jì)算出魚眼鏡頭所拍攝的圖像上的所有像素點(diǎn)的響應(yīng)度，再根據(jù)每個(gè)像素點(diǎn)的響應(yīng)度和坐標(biāo)值生成魚眼鏡頭的響應(yīng)度信息。

進(jìn)一步，上述暗電平處理單元對(duì)同步處理后的每一路魚眼圖像進(jìn)行暗電平校準(zhǔn)，包括：

對(duì)每一路魚眼圖像對(duì)應(yīng)的原始圖像分別統(tǒng)計(jì)各自暗電平區(qū)域的平均灰度值，將每一路魚眼圖像的每個(gè)像素點(diǎn)的灰度值減去各自對(duì)應(yīng)的原始圖像的暗電平區(qū)域的平均灰度值。

雖然本發(fā)明所揭露的實(shí)施方式如上，但所述的內(nèi)容僅為便于理解本發(fā)明而采用的實(shí)施方式，并非用以限定本發(fā)明。任何本發(fā)明所屬領(lǐng)域內(nèi)的技術(shù)人員，在不脫離本發(fā)明所揭露的精神和范圍的前提下，可以在實(shí)施的形式及細(xì)節(jié)上進(jìn)行任何的修改與變化，但本發(fā)明的專利保護(hù)范圍，仍須以所附的權(quán)利要求書所界定的范圍為準(zhǔn)。