本發(fā)明涉及視景增強(qiáng)技術(shù)領(lǐng)域，具體為一種增強(qiáng)視景系統(tǒng)及增強(qiáng)顯示中跑道的增強(qiáng)顯示方法。

背景技術(shù)：

目前增強(qiáng)視景系統(tǒng)(下文中，“EVS”)在飛機(jī)上的使用已較為普遍。且主要被用于飛機(jī)進(jìn)近、著陸和滑跑階段，便于飛行員觀察機(jī)場周圍情況，尤其是幫助飛行員更加清晰的觀察到目標(biāo)著陸跑道。典型的EVS系統(tǒng)包括成像設(shè)備，包含但不限于，可見低光電視攝像機(jī)、紅外攝像機(jī)、或者能夠檢測處于可見光譜內(nèi)或外的光或電磁輻射的任何其他合適的光檢測系統(tǒng)。EVS接收外部視景的光并形成EVS圖像，然后顯示在駕駛員用顯示器上，用于增強(qiáng)飛行員態(tài)勢感知能力，提高飛行安全性。且EVS比人眼對光的敏感性要強(qiáng)，在低能見度條件下便于飛行員觀察到人眼不可見的地形、機(jī)場、障礙物等元素。EVS一個(gè)優(yōu)勢是顯示實(shí)際存在的圖像，然而目前EVS分辨率較低，且易受大霧、霾的影響，導(dǎo)致跑道在EVS圖像中并不顯著，飛行員很難從圖像中識(shí)別出跑道位置。據(jù)統(tǒng)計(jì)目前在低能見度條件下飛行員從EVS中觀察到跑道的概率不足60％。為了提高EVS圖像清晰度，羅克韋爾柯林斯公司和霍尼韋爾公司都開發(fā)了組合視景系統(tǒng)(CVS)使用合成視景系統(tǒng)(SVS)的畫面與增強(qiáng)視景畫面疊加或融合以提高增強(qiáng)視景畫面的清晰度便于飛行員看到跑道。但合成視景圖像中跑道信息來源于跑道數(shù)據(jù)庫數(shù)據(jù)存在誤差，EVS和SVS圖像不能完全重合，容易使飛行員誤解。

因此，提供EVS圖像中跑道的增強(qiáng)顯示方法已成為現(xiàn)實(shí)需求。通過利用相關(guān)數(shù)據(jù)識(shí)別出EVS圖像中跑道位置，并使其在視覺上突顯，以提高飛行員對跑道的感知，提高飛機(jī)著陸的精確性和安全性。

技術(shù)實(shí)現(xiàn)要素：

為解決現(xiàn)有技術(shù)存在的問題，本發(fā)明提出一種增強(qiáng)視景系統(tǒng)及增強(qiáng)顯示中跑道的增強(qiáng)顯示方法。系統(tǒng)包括被配置成用于生成表示增強(qiáng)視景圖像的視景增強(qiáng)系統(tǒng)、生成向處理器提供飛機(jī)位置、姿態(tài)和航向信息的航空電子傳感器、用于存儲(chǔ)數(shù)據(jù)庫并提供跑道位置信息的數(shù)據(jù)存儲(chǔ)設(shè)備、和對數(shù)據(jù)進(jìn)行處理并得到跑道增強(qiáng)顯示圖像的處理器。利用增強(qiáng)視景圖像、飛機(jī)位置、姿態(tài)和航向信息和跑道位置數(shù)據(jù)，計(jì)算出視景增強(qiáng)圖像中跑道的顯示位置，并對跑道進(jìn)行增強(qiáng)顯示，使其在視覺上突顯。

本發(fā)明的技術(shù)方案為：

所述一種增強(qiáng)視景系統(tǒng)，其特征在于：包括視景增強(qiáng)系統(tǒng)、數(shù)據(jù)存儲(chǔ)設(shè)備、航空電子傳感器和處理器；所述視景增強(qiáng)系統(tǒng)能夠生成表示增強(qiáng)視景圖像的第一信號(hào)；所述數(shù)據(jù)存儲(chǔ)設(shè)備用于存儲(chǔ)表示跑道位置信息的數(shù)據(jù)，同時(shí)生成表示跑道位置信息的第三信號(hào)；所述航空電子傳感器能夠生成表示飛機(jī)位置、姿態(tài)和航向信息的第二信號(hào)；所述處理器利用第一、第二和第三信號(hào)并經(jīng)過處理得到跑道增強(qiáng)顯示圖像。

進(jìn)一步的優(yōu)選方案，所述一種增強(qiáng)視景系統(tǒng)，其特征在于：所述視景增強(qiáng)系統(tǒng)包括適于安裝到飛機(jī)并能夠檢測飛機(jī)外部光信號(hào)的一個(gè)或多個(gè)傳感器；所述傳感器包括可見低光電視攝像機(jī)、紅外攝像機(jī)、毫米波攝像機(jī)、或者能夠檢測處于可見光譜內(nèi)或外的光的任何其它光感測設(shè)備。

進(jìn)一步的優(yōu)選方案，所述一種增強(qiáng)視景系統(tǒng)，其特征在于：所述第一信號(hào)是根據(jù)外部光信號(hào)生成的光信息圖像，還包含視景增強(qiáng)系統(tǒng)的安裝和性能信息；所述視景增強(qiáng)系統(tǒng)的安裝和性能信息包括視景增強(qiáng)系統(tǒng)視場角度和視景增強(qiáng)系統(tǒng)與飛機(jī)位置誤差。

進(jìn)一步的優(yōu)選方案，所述一種增強(qiáng)視景系統(tǒng)，其特征在于：所述第二信號(hào)包括機(jī)載真實(shí)的傳感器數(shù)據(jù)，或者是機(jī)載系統(tǒng)經(jīng)過計(jì)算和校準(zhǔn)的飛機(jī)位置、姿態(tài)和航向信息；還包括飛機(jī)位置誤差信息。

所述一種增強(qiáng)視景系統(tǒng)圖像中跑道增強(qiáng)顯示的方法，其特征在于：包括以下步驟：

步驟1：根據(jù)第一信號(hào)中視景增強(qiáng)系統(tǒng)視場角度，確定攝像機(jī)的顯示角度，包括水平角度Δh和垂直角度Δv；根據(jù)第二信號(hào)中飛機(jī)的位置、姿態(tài)和航向信息，確定攝像機(jī)在三維空間坐標(biāo)系中的位置為(fx1,fy1,fz1)，攝像機(jī)旋轉(zhuǎn)角為r，俯仰角為p，方向?yàn)閔；根據(jù)第三信號(hào)中的跑道空間位置信息

(Δx1,Δy1,Δz1),(Δx2,Δy2,Δz2),(Δx3,Δy3,Δz3),(Δx4,Δy4,Δz4)

以及第一信號(hào)中的視景增強(qiáng)系統(tǒng)安裝誤差δ，第二信號(hào)中的飛機(jī)位置誤差ε和第三信號(hào)中的跑道位置誤差σ；確定跑道在空間坐標(biāo)系的位置范圍為

(Δx1+ξ,Δy1+ξ,Δz1+ξ),(Δx2+ξ,Δy2+ξ,Δz2+ξ),(Δx3+ξ,Δy3+ξ,Δz3+ξ),(Δx4+ξ,Δy4+ξ,Δz4+ξ)，其中ξ＝ε+σ+δ；

步驟2：根據(jù)攝像機(jī)位置、姿態(tài)和方向，在空間坐標(biāo)系中依次連接

(Δx1+ξ,Δy1+ξ,Δz1+ξ),(Δx2+ξ,Δy2+ξ,Δz2+ξ),(Δx3+ξ,Δy3+ξ,Δz3+ξ),(Δx4+ξ,Δy4+ξ,Δz4+ξ)，實(shí)現(xiàn)在空間中繪制一個(gè)與背景色區(qū)分的四邊形，并生成與增強(qiáng)視景圖像顯示范圍一致的跑道位置范圍圖像；

步驟3：遍歷步驟2生成的跑道位置范圍圖像中各個(gè)像素，找出四邊形4個(gè)頂點(diǎn)位置為跑道在增強(qiáng)視景圖像中的位置范圍

(Δx1^/,Δy1^/),(Δx2^/,Δy2^/),(Δx3^/,Δy3^/),(Δx4^/,Δy4^/)；

步驟4：在步驟3得到的跑道在增強(qiáng)視景圖像中的位置范圍內(nèi)，采用圖像處理方法查找跑道邊界；并根據(jù)邊界位置對跑道進(jìn)行增強(qiáng)繪制。

進(jìn)一步的優(yōu)選方案，所述一種增強(qiáng)視景系統(tǒng)圖像中跑道增強(qiáng)顯示的方法，其特征在于：步驟4中采用的圖像處理方法包括但不限于Hough變換或者Canny邊緣檢測算法。

進(jìn)一步的優(yōu)選方案，所述一種增強(qiáng)視景系統(tǒng)圖像中跑道增強(qiáng)顯示的方法，其特征在于：步驟4中的增強(qiáng)繪制包括增加強(qiáng)度、色彩、形狀或其組合處理，使得跑道在增強(qiáng)視景圖像中突顯。

有益效果

采用本發(fā)明，能夠根據(jù)跑道數(shù)據(jù)在二維圖像上的投影，計(jì)算出跑道在EVS圖像中的顯示范圍，然后在顯示范圍內(nèi)找出EVS圖像中跑道邊界，并對跑道進(jìn)行增強(qiáng)顯示使其在圖像上突顯，使飛行員能夠較容易的觀察到跑道，且不會(huì)產(chǎn)生誤解；提高飛行員發(fā)現(xiàn)跑道的概率，降低低能見度對飛行影響，增強(qiáng)飛行員態(tài)勢感知能力，提高飛行安全性。

本發(fā)明的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到。

附圖說明

本發(fā)明的上述和/或附加的方面和優(yōu)點(diǎn)從結(jié)合下面附圖對實(shí)施例的描述中將變得明顯和容易理解，其中：

圖1增強(qiáng)視景系統(tǒng)組成圖。

圖2跑道增強(qiáng)顯示數(shù)據(jù)處理圖。

圖3 EVS原始圖像示例圖。

圖4跑道位置范圍示例圖。

圖5 EVS圖像中跑道位置范圍示例圖。

圖6根據(jù)增強(qiáng)視景圖像中跑道位置范圍計(jì)算得出的跑道精確位置示例圖。

圖7原始圖與跑道增強(qiáng)顯示圖對比圖。

具體實(shí)施方式

下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例是示例性的，旨在用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。

下面結(jié)合附圖給出本發(fā)明的實(shí)施例，以詳細(xì)說明本發(fā)明的技術(shù)方案。

圖1是根據(jù)示例性實(shí)施例的增強(qiáng)視景系統(tǒng)簡化功能框圖。系統(tǒng)包括多個(gè)組件，其每個(gè)可以被配置用于安裝到飛機(jī)。在一些實(shí)施例中，系統(tǒng)可以是自給式系統(tǒng)以使得以下所描述的每個(gè)組件被包含在單個(gè)外殼中并且排他地專用于提供系統(tǒng)的功能。在其它實(shí)施例中，以下所描述的各種組件可以是獨(dú)立的組件，或者它們可以是用作其它系統(tǒng)的部分的組件，并且其被配置成用作此類其它系統(tǒng)與系統(tǒng)之間的共享資源。

在圖1中所圖示的實(shí)施例中，系統(tǒng)包括視景增強(qiáng)系統(tǒng)1(“EVS1”)、航空電子傳感器2(諸如全球定位系統(tǒng)(GPS)、慣性導(dǎo)航系統(tǒng)等)、數(shù)據(jù)存儲(chǔ)設(shè)備3、處理器4。在其它實(shí)現(xiàn)案例中，系統(tǒng)可以包括附加的組件。

所述視景增強(qiáng)系統(tǒng)能夠生成表示增強(qiáng)視景圖像的第一信號(hào)；所述數(shù)據(jù)存儲(chǔ)設(shè)備用于存儲(chǔ)表示跑道位置信息的數(shù)據(jù)，同時(shí)生成表示跑道位置信息的第三信號(hào)；所述航空電子傳感器能夠生成表示飛機(jī)位置、姿態(tài)和航向信息的第二信號(hào)；所述處理器利用第一、第二和第三信號(hào)并經(jīng)過處理得到跑道增強(qiáng)顯示圖像。

EVS1包括適于安裝到飛機(jī)并配置成檢測飛機(jī)外部的光信號(hào)的一個(gè)或多個(gè)傳感器。所述傳感器可以包括可見低光電視攝像機(jī)、紅外攝像機(jī)、毫米波(MMW)攝像機(jī)或者能夠檢測處于可見光譜內(nèi)或外的光的任何其它光感測設(shè)備。

EVS1能夠生成第一信號(hào)并將第一信號(hào)提供給處理器4，第一信號(hào)是根據(jù)外部光信號(hào)生成的光信息圖像(增強(qiáng)視景圖像)，同時(shí)包含EVS1的安裝和性能信息，包括EVS視場角度和EVS系統(tǒng)與飛機(jī)位置誤差(誤差為δ)，安裝和性能信息可能存儲(chǔ)在其它機(jī)載設(shè)備或組件中。由于EVS容易受外部天氣影響，圖像中跑道信息模糊不清，飛行員不能從圖像中發(fā)現(xiàn)跑道將導(dǎo)致飛機(jī)復(fù)飛或不能安全降落，如圖3所示。

航電傳感器2可以是機(jī)載真實(shí)的傳感器數(shù)據(jù)，也可以是其它系統(tǒng)經(jīng)過計(jì)算和校準(zhǔn)的飛機(jī)位置、姿態(tài)和航向信息。

處理器4可以是任何類型的計(jì)算機(jī)、計(jì)算機(jī)系統(tǒng)、微處理器、邏輯設(shè)備集合、或者被配置成計(jì)算、和/或執(zhí)行算法、和/或運(yùn)行軟件應(yīng)用、和/或運(yùn)行子程序、和/或加載并運(yùn)行任何類型的計(jì)算機(jī)程序的任何其它模擬或數(shù)字電路。處理器4可以包括單個(gè)處理器或一致動(dòng)作的多個(gè)處理器。或者處理器4可以排它地專供本系統(tǒng)使用，而在其它實(shí)施例中，可以將處理器4與飛機(jī)上的其他系統(tǒng)共享。在其它實(shí)施例中，處理器4可以被集成到系統(tǒng)的任何其它組件中。

在進(jìn)行數(shù)據(jù)處理階段，根據(jù)攝像機(jī)成像原理計(jì)算跑道在EVS畫面中的顯示范圍，具體步驟如下：

步驟1：根據(jù)第一信號(hào)中視景增強(qiáng)系統(tǒng)視場角度，確定攝像機(jī)的顯示角度，包括水平角度Δh和垂直角度Δv；根據(jù)第二信號(hào)中飛機(jī)的位置、姿態(tài)和航向信息，確定攝像機(jī)在三維空間坐標(biāo)系中的位置為(fx1,fy1,fz1)，攝像機(jī)旋轉(zhuǎn)角為r，俯仰角為p，方向?yàn)閔；根據(jù)第三信號(hào)中的跑道空間位置信息

(Δx1,Δy1,Δz1),(Δx2,Δy2,Δz2),(Δx3,Δy3,Δz3),(Δx4,Δy4,Δz4)

以及第一信號(hào)中的視景增強(qiáng)系統(tǒng)安裝誤差δ，第二信號(hào)中的飛機(jī)位置誤差ε和第三信號(hào)中的跑道位置誤差σ；確定跑道在空間坐標(biāo)系的位置范圍為

(Δx1+ξ,Δy1+ξ,Δz1+ξ),(Δx2+ξ,Δy2+ξ,Δz2+ξ),(Δx3+ξ,Δy3+ξ,Δz3+ξ),(Δx4+ξ,Δy4+ξ,Δz4+ξ)，其中ξ＝ε+σ+δ；

步驟2：如圖4所示，利用opengl等第三方繪制軟件設(shè)置攝像機(jī)位置、姿態(tài)和方向，在空間坐標(biāo)系中依次連接

(Δx1+ξ,Δy1+ξ,Δz1+ξ),(Δx2+ξ,Δy2+ξ,Δz2+ξ),(Δx3+ξ,Δy3+ξ,Δz3+ξ),(Δx4+ξ,Δy4+ξ,Δz4+ξ)，實(shí)現(xiàn)在空間中繪制一個(gè)與背景色區(qū)分的四邊形，并生成與增強(qiáng)視景圖像顯示范圍一致的跑道位置范圍圖像；

步驟3：如圖5所示，生成的跑道位置圖像與EVS圖像顯示范圍一致，遍歷步驟2生成的跑道位置范圍圖像中各個(gè)像素，找出四邊形4個(gè)頂點(diǎn)位置為跑道在增強(qiáng)視景圖像中的位置范圍

(Δx1^/,Δy1^/),(Δx2^/,Δy2^/),(Δx3^/,Δy3^/),(Δx4^/,Δy4^/)；

該范圍可確保EVS圖像中跑道的圖像在該范圍中，接下來只需在該范圍中找出跑道線即可；

步驟4：如圖6所示，在步驟3得到的跑道在增強(qiáng)視景圖像中的位置范圍內(nèi)，因跑道有跑道燈在范圍內(nèi)亮度比其它區(qū)域的亮度大，且跑道附近無其它發(fā)光線條的干擾，所以采用圖像處理方法查找跑道邊界；并根據(jù)邊界位置對跑道進(jìn)行增強(qiáng)繪制。

圖像處理方法包括但不限于Hough變換或者Canny邊緣檢測算法。

增強(qiáng)繪制包括增加強(qiáng)度、色彩、形狀或其組合處理，使得跑道在增強(qiáng)視景圖像中突顯。如圖7所示源圖與增強(qiáng)顯示后圖像對比。

盡管上面已經(jīng)示出和描述了本發(fā)明的實(shí)施例，可以理解的是，上述實(shí)施例是示例性的，不能理解為對本發(fā)明的限制，本領(lǐng)域的普通技術(shù)人員在不脫離本發(fā)明的原理和宗旨的情況下在本發(fā)明的范圍內(nèi)可以對上述實(shí)施例進(jìn)行變化、修改、替換和變型。