本發(fā)明屬于圖像通信技術領域，涉及魚眼圖像拼接技術領域，尤其涉及一種利用分塊運算的全景圖像實時拼接方法。

背景技術：

魚眼圖像拼接是一種利用實景圖像組成全景空間的技術，目前的魚眼圖像拼接技術主要有兩種方案：

第一種方案是用一個常規(guī)鏡頭的投影變換和多項式畸變校正技術用校正模板圖像對鏡頭畸變參數(shù)進行畸變校正，生成一組中間校正后的2D圖像，然后采用2D圖像配準技術對校正后的圖像元進行2D配準，最后對配準的兩幅圖像進行融合。

第二種方案是把魚眼圖像的徑向畸變校正參數(shù)和圖像元的位姿參數(shù)作為一體，整體用最優(yōu)化技術進行參數(shù)估計，生成一個參數(shù)映射表，然后利用參數(shù)映射表將原始圖片逐張映射到全景圖像中，處理完所有的圖像后，將兩兩相鄰的處理之后的圖像在重疊區(qū)域做一次融合過渡。

在圖像拼接算法的映射過程中，由于需要對原始圖像的每一個像素點都進行一次完整的投影映射計算，因此整個處理過程的計算量非常龐大，對計算機處理資源的消耗也很大。

在中國專利申請?zhí)朇N105516597A中介紹了一種全景拍攝處理方法及裝置。它結(jié)合離線處理和在線處理兩部分，其中，離線處理主要是指離線生成預設坐標映射表，在線處理主要是結(jié)合預設坐標映射表進行映射拼接形成全景圖像。該方法盡管減少了計算機的處理次數(shù)，由于FPGA的帶寬以及緩存的限制，這種基于像素點的投影映射在硬件上處理起來的效率非常低。

技術實現(xiàn)要素：

本發(fā)明為克服上述情況不足，旨在提出了一種利用分塊運算的全景圖像實時拼接方法。

一種利用分塊運算的圖像拼接方法，包括如下步驟：

S1：獲取多路攝像頭拍攝的原始圖像以及預設坐標映射表；

S2：基于預設坐標映射表，確定全景圖像與原始圖像像素點坐標之間的對應關系，利用分塊運算將原始圖像分割成大小一致的許多小塊；具體包括如下S201、S202、S203步驟；

S201：標記原始圖像中有效像素點所在的區(qū)域及像素集；

在原始圖像中查找與目標像素點相對應的源像素點的計算方法如下：

Dst(x，y)＝Src(Lut_x(x，y)，Lut_y(x，y))

其中，Dst(x，y)表示坐標為(x，y)的目標像素點，Lut_x(x，y)表示目標像素點坐標(x，y)經(jīng)過預設坐標映射表映射到源圖像中X方向上的坐標值，Lut_y(x，y)表示目標像素點坐標(x，y)經(jīng)過預設坐標映射表映射到源圖像中Y方向上的坐標值，Src(Lut_x(x，y)，Lut_y(x，y))表示目標像素點坐標(x，y)經(jīng)過預設坐標映射表映射到源圖像中的位置；

對于一個目標像素點，計算與小數(shù)坐標相對應的整數(shù)坐標區(qū)域的端點值X_min、Y_min、X_max、Y_max，公式表示如下：

X_min＝floor(Lut_x(x，y))-1,Y_min＝floor(Lut_y(x，y))-1

X_max＝ceil(Lut_x(x，y))+1,Y_max＝ceil(Lut_y(x，y))+1

其中，floor(.)函數(shù)表示小數(shù)值向下取整數(shù)，ceil(.)函數(shù)表示小數(shù)值向上取整數(shù)；所述四個端點值組成了16種整數(shù)坐標，存儲在原像素坐標集E_{pixel_position}中；依次計算與所有目標像素點相對應的源像素點的整數(shù)坐標，并保存在E_{pixel_position}；提取E_{pixel_position}中保存的所有整數(shù)坐標在X和Y方向上的最值E_x-min、E_y-min、E_x-max、E_y-max，將這4個最值對應到原始圖像中，框定一個矩形區(qū)域，將這個矩形區(qū)域標記為包含原始圖像中有效像素點的區(qū)域；

S202：利用遺傳算法將原始圖像分割成大小相同的塊；具體包括S2021、S2022、S2023S2024：

S2021：在S201步標記的區(qū)域中，隨機初始化M個初始個體即M個可行性解，每個個體中包含了N個分割塊，每個塊用box表示，box里面存儲了這個塊的起始坐標點(box_x，box_y)以及這個塊的精準度Index；可行性解的表示方法如下：

Cordination＝{(box_x1,box_y1)，(box_x2，box_y2)，......，(box_xN,box_yN)}

Available＝{Index₁Index₂，......，Index_N}

S2022：建立適度值評估函數(shù)即目標優(yōu)化函數(shù)對可行性解進行評估，并記錄下每個可行性解的適應度值，目標優(yōu)化函數(shù)如下所示：

其中：

F(.)函數(shù)表示計算每個box中有效像素坐標的集合，(box_x+x，box_y+y)表示每個box中以(box_x，box_y)為起始坐，標偏移量為(x，y)的坐標值，bsize表示每個塊的大?。?/p>

S2023：根據(jù)每個可行性解的適應度值，淘汰掉適應度值較小的20％個個體，并用適應度高的前20％個個體代替那些淘汰的個體；按照輪盤賭算法從所有可行性解中選擇其中的2個可行性解作為交配對象，利用k-opt交叉運算，采用K點交換規(guī)則，對這2個可行性解進行交叉互換，得出2個交配結(jié)果，對兩個新的交配結(jié)果新生兒按照變異規(guī)則進行變異運算；

S2024：循環(huán)執(zhí)行S2023，直至新生兒總數(shù)達到設定的上限，然后轉(zhuǎn)至S2022進行優(yōu)化，當目標函數(shù)值小于設定的閾值時停止迭代，得到全局最優(yōu)解；

S203：對每個塊中的非整數(shù)坐標進行雙立方差值運算，得到整數(shù)像素值；

雙立方插值算法的計算公式如下：

其中，(i′，j′)表示待計算像素點在4×4的采樣區(qū)域中包含小數(shù)部分的像素坐標，P(i′，j′)表示4×4的采樣區(qū)域中的16個像素值與各自的權重做卷積和之后形成的新像素值，dx表示X方向的小數(shù)坐標，dy表示Y方向的小數(shù)坐標，m表示4×4的采樣區(qū)域中X方向上的坐標，n表示4×4的采樣區(qū)域中Y方向上的坐標，P(m，n)表示4×4的采樣區(qū)域中的坐標為(m，n)的像素值，R(.)表示插值表達式；

S3：對分塊插值后的原始圖像，將每個小塊中像素點的像素值進行投影映射，并根據(jù)映射結(jié)果得到最后的全景圖像；首先判斷所述目標像素點是否位于重疊區(qū)域；如是，則獲取所述源像素點的像素值進行投射，以獲得所述全景圖片；如否，獲取所述源像素點的混合像素值進行投射，以獲得所述全景圖片；混合像素值計算方法如下:

I_dst(x，y)＝α×I_src1(x，y)+(1-α)×I_src2(x，y)

其中，I_dst(x，y)表示目標圖像中坐標(x，y)處的像素值，I_src1(x，y)表示原始圖像1中坐標(x，y)處的像素值，I_src2(x，y)表示原始圖像2中坐標(x，y)處的像素值，α表示加權系數(shù)。

進一步的，所述S2021中M的取值范圍為1000～10000。

進一步的，所述S2021中每個塊的大小是(128×128)，塊數(shù)的取值范圍為300～500。

進一步的，所述S301中的重疊區(qū)域的取值范圍為32～128。

進一步的，所述S203中插值表達式采用B樣條曲線表達式進行插值，數(shù)學公式如下：

本發(fā)明以原始圖像中分割好的每個塊為單位，找到塊中源像素點與目標像素點的一一對應關系，依據(jù)預設的坐標映射表，將源像素點的像素值投影到目標像素點中，就得到了與待處理圖片對應的全景圖片，這種按塊的方式進行投影映射，大大的降低了全景拍攝過程中的計算量，可有效降低處理過程消耗的資源；進一步地，采用標記原始圖像中有效像素的區(qū)域?qū)υ紙D像進行分塊，可以減少分塊算法的冗余；進一步地，利用遺傳算法的選擇、雜交變異等機制以及優(yōu)化函數(shù)在原始圖像有效像素區(qū)域進行分割，可以得到近似的全局最優(yōu)分塊方式?；谶z傳算法的分塊運算降低了分塊的冗余率，使基于分塊運算的全景圖像拼接方法在FPGA上處理速度大幅度提高。

本發(fā)明的附加方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術中的技術方案，下面將對實施例或現(xiàn)有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是本發(fā)明實施例全景圖像實時拼接方法的系統(tǒng)流程圖；

圖2是本發(fā)明實施例中分塊運算的流程圖；

圖3是本發(fā)明實施例中雙立方插值算法的示意圖；

圖4是本發(fā)明實施例中像素點投射的流程圖。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領域普通技術人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

本發(fā)明提供了一種利用分塊運算的全景圖像實時拼接方法，圖1是本發(fā)明實施例全景圖像實時拼接方法的系統(tǒng)流程圖。如圖1所示，本發(fā)明一種利用分塊運算的全景圖像實時拼接方法包括以下步驟：

S1：獲取多路攝像頭拍攝的原始圖像以及預設坐標映射表。

首先獲得多個攝像頭拍攝的原始圖像以及預先設計好的坐標映射表，所述多個攝像頭拍攝的原始圖像由至少兩張圖片水平連接而成，預先設計好的所述坐標映射表保存了多個原始圖像與經(jīng)過圖像拼接方法形成的全景圖像中像素點坐標之間的一對多的對應關系，即目標全景圖像中的多個像素點坐標通過預設坐標映射表映射到原始圖像中的同一個像素坐標。需要說明的是，全景拍攝需要滿足視域在水平360度和垂直180度的全景覆蓋，因此，各個原始圖片中相鄰兩張圖片之間存在一定的重疊區(qū)域。對于重疊區(qū)域，預設坐標映射表為其保存了兩組對應關系。預設坐標映射表的數(shù)值與每個鏡頭的校正參數(shù)(例如：鏡頭偏心、相機三維姿態(tài)、鏡頭畸變、拍攝深度等)有關，為了盡可能地減小圖片處理過程中的計算量，本發(fā)明實施例中預設坐標映射表在全景拍攝之前就設計完備。在全景圖像拼接過程中，在線實時查找預設坐標映射表進行映射拼接獲得全景圖片。

S2：基于預設坐標映射表，確定全景圖像與原始圖像像素點坐標之間的對應關系，利用分塊運算將原始圖像分割成大小一致的許多小塊。本發(fā)明實施例中分塊運算的流程圖如圖2所示，具體包括如下S201、S202、S203步驟：

S201：標記原始圖像中有效像素點所在的區(qū)域及像素集。

將所述全景圖像中的像素點作為目標像素點，利用所述預設坐標映射表，確定所述目標像素點與所述待處理原始圖像上的源像素點的對應關系。在原始圖像中查找與目標像素點相對應的源像素點的計算方法如下：

Dst(x，y)＝Src(Lut_x(x，y)，Lut_y(x，y))

其中，Dst(x，y)表示坐標為(x，y)的目標像素點，Lut_x(x，y)表示目標像素點坐標(x，y)經(jīng)過預設坐標映射表映射到源圖像中X方向上的坐標值，Lut_y(x，y)表示目標像素點坐標(x，y)經(jīng)過預設坐標映射表映射到源圖像中Y方向上的坐標值，Src(Lut_x(x，y)，Lut_y(x，y))表示目標像素點坐標(x，y)經(jīng)過預設坐標映射表映射到源圖像中的位置。

如上所述，將目標像素點映射到原始圖像中的坐標不一定是整數(shù)，在對原始圖像進行分塊前需要將所有目標像素點映射到原始圖像中的小數(shù)坐標轉(zhuǎn)換成整數(shù)坐標。對于一個目標像素點，計算與小數(shù)坐標相對應的整數(shù)坐標區(qū)域的端點值X_min、Y_min、X_max、Y_max，原則就是將小數(shù)坐標的X和Y值分別向下取整減一以及向上取整加一，用公式表示如下：

X_min＝floor(Lut_x(x，y))-1,Y_min＝floor(Lut_y(x，y))-1

X_max＝ceil(Lut_x(x，y))+1,Y_max＝ceil(Lut_y(x，y))+1

其中，floor(.)函數(shù)表示小數(shù)值向下取整數(shù)，ceil(.)函數(shù)表示小數(shù)值向上取整數(shù)。所述四個端點值組成了16種整數(shù)坐標，將這些整數(shù)坐標值存儲在原像素坐標集E_{pixel_position}中。依次計算與所有目標像素點相對應的源像素點的整數(shù)坐標，并保存在E_{pixel_position}。接下來提取E_{pixel_position}中保存的所有整數(shù)坐標在X和Y方向上的最值E_x-min、E_y-min、E_x-max、E_y-max，將這4個最值對應到原始圖像中框定一個矩形區(qū)域，將這個矩形區(qū)域標記為包含原始圖像中有效像素點的區(qū)域。

在步驟S201中，利用預設的坐標映射表，將目標像素點映射到原始圖像中。因為坐標不一定是整數(shù)，在對原始圖像進行分塊前，需要將所有目標像素點映射到原始圖像中的小數(shù)坐標轉(zhuǎn)換成整數(shù)坐標。以確保對原始圖像進行分塊時每個塊的形狀固定不變。采用標記原始圖像中有效像素點的區(qū)域可以減少了分塊算法冗余，同時使接下來對原始圖像的分塊的步驟更加簡單。

S202：利用遺傳算法將原始圖像分割成大小相同的塊。具體包括S2021、S2022、S2023S2024。

對原始圖像進行分塊的原則就是使分塊的數(shù)量以及每個塊之間的重疊像素點個數(shù)盡可能少，這實際上是全局優(yōu)化問題。本實施例中采用遺傳算法對原始圖像進行分塊，遺傳算法模擬一個人工種群的進化過程，并且通過選擇，雜交以及變異等機制，種群經(jīng)過若干代以后，總是達到最優(yōu)或近似最優(yōu)的狀態(tài)。

S2021：在S201步標記的包含原始圖像有效像素點的區(qū)域中，隨機初始化M個初始個體即M個可行性解，M的取值依據(jù)所要解決的問題規(guī)模有所不同，在本實施例中M的取值范圍為1000～10000。同時，每個個體中包含了N個分割塊，每個塊用box表示，box里面存儲了這個塊的起始坐標點(box_x，box_y)以及這個塊的精準度Index，每個塊的大小是固定的，本實施例中采用的大小是(128×128)，每個個體中包含的塊數(shù)也是固定的，取值范圍為300～500。將這N個box中的起始坐標依次連接在一起構(gòu)成一個二維數(shù)組Cordination，長度為N×2；將這N個box中的Index依次連接在一起構(gòu)成一個一維數(shù)組Available，大小為N。Cordination和Available一起描述了遺傳算法的一個可行性解，可行性解的表示方法如下：

Cordination＝{(box_x1，box_y1)(box_x2，box_y2)，......，(box_xN，box_yN)}

Available＝(Index₁，Index₂，......，Index_N}

S2022：建立適度值評估函數(shù)即目標優(yōu)化函數(shù)對可行性解進行評估，并記錄下每個可行性解的適應度值，目標優(yōu)化函數(shù)如下所示：

其中：

F(.)函數(shù)表示計算每個box中有效像素坐標的集合，(box_x+x，box_y+y)表示每個box中以(box_x，box_y)為起始坐，標偏移量為(x，y)的坐標值，bsize表示每個塊的大小。

S2023：根據(jù)每個可行性解的適應度值，淘汰掉適應度值較小的20％個個體，并用適應度高的前20％個個體代替那些淘汰的個體，從而使個體的總數(shù)不變。按照輪盤賭算法從所有可行性解中選擇其中的2個可行性解作為交配對象，利用k-opt交叉運算，采用K點交換規(guī)則，對這2個可行性解進行交叉互換，得出2個交配結(jié)果，對兩個新的交配結(jié)果新生兒按照變異規(guī)則進行變異運算。

S2024：循環(huán)執(zhí)行S2023，直至新生兒總數(shù)達到設定的上限，然后轉(zhuǎn)至S2022進行優(yōu)化，當目標函數(shù)值小于設定的閾值時停止迭代，得到全局最優(yōu)解。

在步驟S202中，利用遺傳算法的基本思想分割原始圖像，首先選定原始圖像中有效像素點所在的矩形區(qū)域，接著對該矩形塊進行隨機分割，利用選擇、雜交變異等機制以及優(yōu)化函數(shù)進行優(yōu)化達到全局最優(yōu)。基于遺傳算法的分塊運算降低了分塊的冗余率，是基于分塊運算的全景圖像拼接方法在FPGA上處理速度大幅度提高，此外，分塊算法只與預設的坐標映射表有關，與原始圖像的內(nèi)容沒有關系，因此也可以在全景拍攝之前設計好。

S203：對每個塊中的非整數(shù)坐標進行雙立方差值運算，得到整數(shù)像素值。

對S202步將原始圖像分割好的每個塊，由于目標像素點坐標映射到源圖像中得到的坐標值不一定是整數(shù)，非整數(shù)坐標下對應的像素值就表現(xiàn)為小數(shù)，考慮到圖像的像素值是用整數(shù)值表示的，因此需要對得到的非整數(shù)坐標進行差值運行，生成非整數(shù)坐標下的整數(shù)像素值，本實施例中采用雙立方插值算法生成整數(shù)像素值，雙立方插值算法的示意圖如圖3所示。雙立方插值算法的計算公式如下：

其中，(i′，j′)表示待計算像素點在4×4的采樣區(qū)域中包含小數(shù)部分的像素坐標，P(i′，j′)表示4×4的采樣區(qū)域中的16個像素值與各自的權重做卷積和之后形成的新像素值，dx表示X方向的小數(shù)坐標，dy表示Y方向的小數(shù)坐標，m表示4×4的采樣區(qū)域中X方向上的坐標，n表示4×4的采樣區(qū)域中Y方向上的坐標，P(m，n)表示4×4的采樣區(qū)域中的坐標為(m，n)的像素值。R(.)表示插值表達式，可以基于三角取值、Bell分布表達式、B樣條曲線表達式，本實施例中采用B樣條曲線表達式進行插值，數(shù)學公式如下：

利用雙立方插值對全景圖像中每一個目標像素點進行投影映射后，保存目標像素點與原始圖像中有效像素的對應關系，目標像素點與源像素點的對應關系在全景圖像中的重疊區(qū)域是一種一對二的關系，在其他區(qū)域是一對一的關系。

在步驟S203中，由于映射到源圖像中的坐標不一定是整數(shù)坐標，這時候?qū)南袼刂挡灰欢ㄊ钦麛?shù)，因此需要進行插值運算，本實施例中采用雙立方插值算法可以在插值過程保留更多的圖像細節(jié)，讓插值后的圖像和源圖像相比效果更加真實。

S3：對分塊插值后的原始圖像，將每個小塊中像素點的像素值進行投影映射，并根據(jù)映射結(jié)果得到最后的全景圖像。

如上文所述，對原始圖像分好塊后，以每個塊為單位進行處理，每個塊中保存了目標像素點對應的源像素點，將每個塊的像素值投影到目標圖像對應坐標中，進而生成全景圖片。本發(fā)明實施例中像素點投射的流程圖如圖4所示，具體包括如下步驟：

S301：判斷所述目標像素點是否位于重疊區(qū)域。

為了確保全景拍攝實現(xiàn)水平360度和垂直180度的全景覆蓋，相鄰相機所拍原始圖片之間會存在一定的重疊區(qū)域，在本實施例中，重疊區(qū)域的取值范圍為32～128。在生成全景圖片時，根據(jù)目標像素點所在位置的不同，存在不同的映射方式。本發(fā)明實施例判斷目標像素點是否位于重疊區(qū)域的方式可簡述為：判斷利用所述目標像素點確定出的所述源像素點的數(shù)目是否為一；如果所述數(shù)目為一，則判定所述目標像素點未位于所述重疊區(qū)域；否則判定所述目標像素點位于所述重疊區(qū)域。如果目標像素點沒有位于所述重疊區(qū)域，則執(zhí)行S302；如果目標像素點位于所述重疊區(qū)域，則執(zhí)行S303。

S302：獲取所述源像素點的像素值進行投射，以獲得所述全景圖片。

目標像素點沒有位于重疊區(qū)域，也就是說，經(jīng)S302僅為該目標像素點查找到一個對應的源像素點，對應于此，可獲取該源像素點的像素值，并將該像素值投射到目標像素點。

S303：獲取所述源像素點的混合像素值進行投射，以獲得所述全景圖片。

目標像素點位于重疊區(qū)域，也就是說，經(jīng)S302為該目標像素點查找到兩個對應的源像素點，對應于此，可獲取這兩個源像素點的像素值，并得到二者的混合像素值，將該混合像素值投射到目標像素點。在本發(fā)明實施例中，采用線性加權的方法對兩個源像素點的像素值做α混合得到混合像素值，計算方法如下:

I_dst(x，y)＝α×I_src1(x，y)+(1-α)×I_src2(x，y)

其中，I_dst(x，y)表示目標圖像中坐標(x，y)處的像素值，I_src1(x，y)表示原始圖像1中坐標(x，y)處的像素值，I_src2(x，y)表示原始圖像2中坐標(x，y)處的像素值，α表示加權系數(shù)。

在步驟S3中，對分割好的源圖像塊進行操作，以每個塊為單位，找到塊中源圖像像素點與目標圖像像素點的一一對應關系，依據(jù)目標像素點所在的位置將源像素點的像素值投影到目標像素點中，就得到了待處理圖片對應的全景圖片。這種按塊的方式進行投影映射，大大的降低了全景拍攝過程中的計算量，可有效降低處理過程消耗的資源。

綜上所述，本發(fā)明以原始圖像中分割好的每個塊為單位，找到塊中源像素點與目標像素點的一一對應關系，依據(jù)預設的坐標映射表，將源像素點的像素值投影到目標像素點中，就得到了與待處理圖片對應的全景圖片，這種按塊的方式進行投影映射，大大的降低了全景拍攝過程中的計算量，可有效降低處理過程消耗的資源；進一步地，采用標記原始圖像中有效像素的區(qū)域?qū)υ紙D像進行分塊，可以減少分塊算法的冗余；進一步地，利用遺傳算法的選擇、雜交變異等機制以及優(yōu)化函數(shù)在原始圖像有效像素區(qū)域進行分割，可以得到近似的全局最優(yōu)分塊方式?；谶z傳算法的分塊運算降低了分塊的冗余率，使基于分塊運算的全景圖像拼接方法在FPGA上處理速度大幅度提高。

以上所揭露的僅為本發(fā)明一種較佳實施例而已，當然不能以此來限定本發(fā)明之權利范圍，因此依本發(fā)明權利要求所作的等同變化，仍屬本發(fā)明所涵蓋的范圍。