無人機(jī)多源異類偵察圖像壓縮接口適配方法
【專利摘要】本發(fā)明公開了一種無人機(jī)多源異類偵察圖像壓縮接口適配方法，屬于數(shù)字視頻圖像處理【技術(shù)領(lǐng)域】，可以適配多源異類無人機(jī)偵察圖像，包括靜態(tài)圖像如數(shù)碼照片、SAR圖像、高光譜圖像等和動態(tài)圖像如可見光視頻、紅外視頻等，然后對圖像進(jìn)行格式轉(zhuǎn)換，轉(zhuǎn)換成壓縮設(shè)備的輸入格式，對無人機(jī)平臺參數(shù)進(jìn)行讀取，接收地面?zhèn)鬏數(shù)目刂浦噶睿鶕?jù)指令選取壓縮方法。本發(fā)明可以用于多源異類無人機(jī)偵察圖像的接口適配，能夠兼容多種數(shù)據(jù)格式，大大減少了接口數(shù)目，增加了擴(kuò)展性和可靠性。
【專利說明】無人機(jī)多源異類偵察圖像壓縮接口適配方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于數(shù)字圖像處理【技術(shù)領(lǐng)域】，具體涉及一種無人機(jī)多源異類偵察圖像壓縮接口適配方法。
【背景技術(shù)】
[0002]隨著無人機(jī)技術(shù)的不斷發(fā)展和成熟，無人機(jī)承擔(dān)的使命和任務(wù)也越來越復(fù)雜。無人機(jī)偵察任務(wù)設(shè)備向全天候、高分辨率、遠(yuǎn)距離、小型化和低成本方向發(fā)展，數(shù)碼相機(jī)、前視紅外儀、高光譜圖像成像儀以及合成孔徑雷達(dá)(SAR)等載荷設(shè)備都在無人機(jī)平臺上得到應(yīng)用。因此無人機(jī)圖像數(shù)據(jù)包括單幀的靜止圖像和多幀的視頻圖像，即多源異類圖像。
[0003]由于無人機(jī)可攜帶多種任務(wù)載荷、在多種模式下工作，保證豐富的圖像數(shù)據(jù)源的同時，也帶來了復(fù)雜性，所獲取的不同種類圖像具有各自的時空分布特征，有著不同的處理技術(shù)要求，在壓縮方法上尤為明顯。對于多源異類的無人機(jī)偵察圖像，其圖像壓縮模塊在數(shù)據(jù)接口、算法等方面無法兼容，而無人機(jī)機(jī)載資源有限，為避免攜帶不同壓縮模塊的不便，提出了無人機(jī)機(jī)載圖像的通用壓縮方法，為了自適應(yīng)的對任何格式的圖像數(shù)據(jù)進(jìn)行壓縮，需要為其提供一個接口適配模塊。
[0004]根據(jù)載荷需求和應(yīng)用條件實現(xiàn)了三種多源異類無人機(jī)偵察圖像的通用壓縮方法，分別是基于H.264的無人機(jī)偵察圖像通用壓縮方法、基于H.264塊選擇性變換的無人機(jī)偵察圖像通用壓縮方法、基于JPEG2000和幀間補(bǔ)償?shù)臒o人機(jī)偵察圖像通用壓縮方法。根據(jù)地面?zhèn)鬏數(shù)目刂浦噶睿瑥膲嚎s方法中選取一種進(jìn)行壓縮。因此，接口適配中也要能夠接收地面?zhèn)鬏數(shù)目刂浦噶?，并完成指令的處理等?br> [0005]目前國內(nèi)外對多源異類無人機(jī)偵察圖像通用壓縮研究的很少，對接口適配的研究也很少。為了能夠在無人機(jī)上進(jìn)行三種通用壓縮方法的選擇應(yīng)用，以及完成地面?zhèn)鬏數(shù)目刂浦噶畹炔僮?，需要提供一個接口適配模塊。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的是為了解決上述問題，提出一種無人機(jī)多源異類偵察圖像壓縮接口適配方法，具有如下步驟:
[0007]第一步，讀取圖像，判斷圖像為靜態(tài)幀或者動態(tài)幀。
[0008]第二步，圖像格式轉(zhuǎn)換。
[0009]第三步，無人機(jī)平臺參數(shù)讀取。
[0010]第四步，選取壓縮方法。
[0011]本發(fā)明的優(yōu)點在于:
[0012](I)兼容多種數(shù)據(jù)格式；
[0013](2)大大的減少了接口數(shù)目；
[0014](3)多模式，根據(jù)需求選擇最優(yōu)壓縮方法。【專利附圖】

【附圖說明】
[0015]圖1為本發(fā)明提供的無人機(jī)多源異類偵察圖像壓縮接口適配方法流程圖；
[0016]圖2為格式轉(zhuǎn)換流程圖；
[0017]圖3為控制指令處理流程圖。
【具體實施方式】
[0018]下面結(jié)合附圖，對本發(fā)明的【具體實施方式】進(jìn)行詳細(xì)說明。
[0019]本發(fā)明的無人機(jī)多源異類偵察圖像壓縮接口適配方法，流程如圖1所示，包括以下幾個步驟:
[0020]第一步，讀取圖像，判斷圖像為靜態(tài)幀或者動態(tài)幀。
[0021]讀入要進(jìn)行壓縮的圖像，包括無人機(jī)靜態(tài)圖像和動態(tài)視頻。靜態(tài)圖像包括數(shù)碼照片、聞光譜圖像、SAR圖像等單巾貞圖像；動態(tài)視頻包括可見光視頻、紅外視頻等多巾貞圖像。根據(jù)圖像格式和幀數(shù)判斷讀取的圖像是靜態(tài)幀還是動態(tài)幀，如果是靜態(tài)幀，對單幀圖像進(jìn)行格式轉(zhuǎn)換，如果是動態(tài)幀，對每幀進(jìn)行格式轉(zhuǎn)換。
[0022]第二步，圖像格式轉(zhuǎn)換。
[0023]靜態(tài)幀以及動態(tài)幀的每幀圖像，均采用BMP格式，選取方法一或方法二壓縮，則需要進(jìn)行BMP格式向YUV4:2:0格式的轉(zhuǎn)換。轉(zhuǎn)換后的圖像進(jìn)行壓縮并解壓后，再進(jìn)行YUV4:2:0格式向BMP格式的轉(zhuǎn)換，恢復(fù)原始圖像。
[0024]BMP圖像一般是以RGB三個顏色分量表示的圖像，YUV4:2:0格式實際上是YCbCr顏色空間。
[0025]BMP格式向YUV4:2:0格式轉(zhuǎn)換方法如圖2所示，具體為:
[0026](I)讀取一幀圖像，進(jìn)行BMP文件的讀取和存儲；
[0027]YCbCr顏色空間中Y表示亮度，也就是灰階值，是通過RGB輸入信號來建立的，方法是將RGB信號的特定部分疊加到一起。
[0028]圖像60%?70%的亮度在綠色中。藍(lán)色和紅色中亮度信息可以忽略，從而得到色度Cb和Cr。Cb表示藍(lán)色度，反映的是RGB輸入信號藍(lán)色部分與RGB信號亮度值之間的差異(B-Y)。Cr表示紅色度，反映的是RGB輸入信號紅色部分與RGB信號亮度值之間的差異(R-Y) ο
[0029]BMP文件由文件頭、位圖信息頭、顏色信息和圖像數(shù)據(jù)四部分組成。BMP圖像的寬度和高度的數(shù)值分別存于文件頭信息的第18和22字節(jié)。BMP圖像54字節(jié)之后是圖像像素數(shù)據(jù)。所以從第54字節(jié)處開始讀取，存放到新建數(shù)組中。在BMP圖像中，圖像數(shù)據(jù)是以倒序存放的。亦即實際圖像第一行數(shù)據(jù)存放在BMP圖像數(shù)據(jù)矩陣的最后一行，依次類推，所以取數(shù)據(jù)的時候要把BMP圖像數(shù)據(jù)矩陣的從54字節(jié)之后的第一行，存放在新建數(shù)組的最后一行，第二行存放到新建數(shù)組的倒數(shù)第二行，以此類推，一直取完。另外，BMP文件的RGB像素值是以B、G、R的順序存放的，為了計算時取值方便，將B和R的值交換，使新建數(shù)組按R、G、B的順序存放每個像素值。
[0030](2 ) RGB至YCbCr顏色空間的轉(zhuǎn)換。
[0031]根據(jù)下面公式，將新建矩陣中的RGB數(shù)據(jù)依次轉(zhuǎn)換為YCbCr。
[0032]RGB至YCbCr的轉(zhuǎn)換公式如下:[0033]Y = 0.2990R+0.5870G+0.1140B
[0034]Cb = -0.1687R-0.3313G+0.5000B+128
[0035]Cr = 0.5000R-0.4187G-0.0813B+128
[0036](3 )進(jìn)行 YCbCr2:1:1 采樣；
[0037]顏色轉(zhuǎn)換過程中，保留每一點的亮度值Y，色度值CbCr則是每兩點保留一點，在圖像的行和列方向上都執(zhí)行顏色采樣，采用的采樣比是行列方向都是2:1:1，在行方向，每兩點保留一點，列方向也是每兩點保留一點。
[0038]這樣就完成了一幀圖像RGB至YCbCr顏色空間的轉(zhuǎn)換，存儲為YUV格式的文件，以進(jìn)行后續(xù)的壓縮編碼。
[0039]判斷是否讀取完每幀圖像，如果是，則得到Y(jié)UV4:2:0格式圖像，進(jìn)入第三步，否貝U，返回步驟(I);
[0040]第三步，無人機(jī)平臺參數(shù)讀取，獲取帶寬閾值和幀間重疊率閾值。
[0041]從空速表、高度表、陀螺儀、攝像頭云臺控制系統(tǒng)等機(jī)載設(shè)備上提取無人機(jī)飛行參數(shù)，包括無人機(jī)飛行高度、飛行速度、飛機(jī)的方位角與俯仰角、攝像機(jī)的轉(zhuǎn)動角與俯仰角、攝像機(jī)的視場角以及傳輸帶寬參數(shù)，根據(jù)上述參數(shù)計算幀間重疊率，并設(shè)定帶寬閾值和幀間
重疊率閾值。
[0042]第四步，選取壓縮方法。
[0043]根據(jù)地面的一些控制指令和選取壓縮方法的指令進(jìn)行相應(yīng)的處理操作。如圖3所示，具體為:
[0044]判斷地面是否傳輸了控制指令，若是，則根據(jù)指令選取壓縮方法一、方法二或方法三。否則，根據(jù)無人機(jī)平臺參數(shù)，判斷帶寬是否小于帶寬閾值，若是，則選取方法二一基于
H.264塊選擇性變換的無人機(jī)偵察圖像通用壓縮方法；否則，判斷幀間重疊率是否大于幀間重疊率閾值，若是，則選取方法三——基于JPEG2000和幀間補(bǔ)償?shù)臒o人機(jī)偵察圖像通用壓縮方法；否則選取方法一一基于H.264的無人機(jī)偵察圖像通用壓縮方法。
[0045]經(jīng)過上述四步，就可以根據(jù)需求和應(yīng)用條件選出一種較優(yōu)的壓縮方法進(jìn)行無人機(jī)偵察圖像的通用壓縮。
[0046]本發(fā)明提供的是無人機(jī)多源異類偵察圖像壓縮接口適配方法，可兼容多種圖像數(shù)據(jù)格式，大大減少了接口數(shù)目，提高了擴(kuò)展性和可靠性。
[0047]其中:基于JPEG2000和幀間補(bǔ)償?shù)臒o人機(jī)偵察圖像通用壓縮方法，包括以下幾個步驟:
[0048]第一步，判斷圖像幀的類型，選擇靜態(tài)圖像壓縮或動態(tài)圖像壓縮；
[0049]將圖像幀分成I幀和P幀，靜態(tài)圖像是I幀，動態(tài)圖像序列的第一幀為I幀，其余幀為P幀；如果是I幀圖像，進(jìn)入第五步；如果是P幀，進(jìn)入第二步；
[0050]第二步，獲取飛行參數(shù)和攝像機(jī)參數(shù)；
[0051]獲取飛行參數(shù)多元集P: {Vuav，Huav, α 賄，β _ Vcam, Y cam, λ cam, φ,，I (w, h)，fr}，其中Vuav，Huav為飛機(jī)的飛行速度與高度；auav，為飛機(jī)的方位角與俯仰角；V.為云臺相對于飛機(jī)運(yùn)動的速度；Y _ λ cam為攝像機(jī)的轉(zhuǎn)動角與俯仰角；f為攝像機(jī)視場角；I (w, h)為所獲視頻流的每巾貞圖像的寬和聞;fr為視頻流的巾貞率；
[0052]第三步，判斷偵察模式，獲取幀間運(yùn)動矢量；[0053]將無人機(jī)偵察模式分為四類:跟蹤詳查模式、水平掃描模式、普查模式、搜索模式；
[0054]對偵察模式進(jìn)行判斷，如果偵察模式為跟蹤詳查模式或搜索模式，則跳到第五步進(jìn)行變換熵編碼；若偵察模式為水平掃描模式或普查模式，則進(jìn)行幀間運(yùn)動矢量的計算；
[0055]幀間運(yùn)動矢量的計算，具體為:
[0056]在無人機(jī)水平掃描模式下，根據(jù)P集參數(shù)，獲取幀間運(yùn)動矢量為:
[0057]攝像機(jī)所拍攝地面范圍的長度:
【權(quán)利要求】
1.無人機(jī)多源異類偵察圖像壓縮接口適配方法，包括以下幾個步驟: 第一步，讀取圖像，判斷圖像為靜態(tài)幀或者動態(tài)幀； 讀入要進(jìn)行壓縮的圖像，根據(jù)圖像格式和幀數(shù)判斷圖像是靜態(tài)幀還是動態(tài)幀，如果是靜態(tài)幀，對單幀圖像進(jìn)行圖像格式轉(zhuǎn)換，如果是動態(tài)幀，對每幀進(jìn)行圖像格式轉(zhuǎn)換； 第二步，圖像格式轉(zhuǎn)換； 靜態(tài)幀以及動態(tài)幀的每幀圖像，均采用BMP格式，BMP格式向YUV4:2:0格式轉(zhuǎn)換方法具體為: (1)讀取一幀圖像，進(jìn)行BMP文件的讀取和存儲； 建立矩陣，從BMP文件第54字節(jié)處開始讀取BMP圖像數(shù)據(jù)，將第54字節(jié)處BMP圖像數(shù)據(jù)存放在矩陣最后一行，第55字節(jié)處BMP圖像數(shù)據(jù)存放在矩陣倒數(shù)第二行，依次類推，BMP圖像數(shù)據(jù)中每個像素值按照R、G、B順序存放； (2)RGB至YCbCr顏色空間的轉(zhuǎn)換； 根據(jù)下面公式，將新建矩陣中的RGB數(shù)據(jù)依次轉(zhuǎn)換為YCbCr ； RGB至YCbCr的轉(zhuǎn)換公式如下:
Y = 0.2990R+0.5870G +0.1140B
Cb = -0.1687R-0.3313G+0.5000B+128
Cr = 0.5000R-0.4187G-0.0813B+128 (3)進(jìn)行YCbCr2:l:l 采樣； 顏色轉(zhuǎn)換過程中，保留每一點的亮度值Y，色度值CbCr則是每兩點保留一點，在圖像的行和列方向上都進(jìn)行顏色采樣，采樣比是行列方向均為2:1:1，在行方向，每兩點保留一點，列方向也是每兩點保留一點； 通過上述步驟完成一幀圖像RGB至YCbCr顏色空間的轉(zhuǎn)換，存儲為YUV格式的文件；判斷是否讀取完每幀圖像，如果是，則得到Y(jié)UV4:2:0格式圖像，進(jìn)入第三步，否則，返回步驟(I); 第三步，無人機(jī)平臺參數(shù)讀取，獲取帶寬閾值和幀間重疊率閾值； 通過無人機(jī)平臺讀取無人機(jī)飛行參數(shù)，包括無人機(jī)飛行高度、飛行速度、飛機(jī)的方位角與俯仰角、攝像機(jī)的轉(zhuǎn)動角與俯仰角、攝像機(jī)的視場角以及傳輸帶寬參數(shù)，根據(jù)上述參數(shù)設(shè)定帶寬閾值和幀間重疊率閾值； 第四步，選取壓縮方法； 首先，判斷地面是否傳輸了控制指令，若是，則根據(jù)指令選取壓縮方法；否則，判斷帶寬是否小于帶寬閾值，若是，則選取基于H.264塊選擇性變換的無人機(jī)偵察圖像通用壓縮方法進(jìn)行壓縮；否則，判斷幀間重疊率是否大于幀間重疊率閾值，若是，則選取基于JPEG2000和幀間補(bǔ)償?shù)臒o人機(jī)偵察圖像通用壓縮方法進(jìn)行壓縮；否則選取基于H.264的無人機(jī)偵察圖像通用壓縮方法進(jìn)行壓縮。
【文檔編號】H04N19/513GK103796012SQ201410025509
【公開日】2014年5月14日 申請日期:2014年1月20日 優(yōu)先權(quán)日:2014年1月20日
【發(fā)明者】丁文銳, 李紅光, 康傳波, 向錦武, 魯愛英 申請人:北京航空航天大學(xué)