專利名稱：用于全景圖像處理的系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像數(shù)據(jù)處理，更具體而言涉及用于適合于需要硬實(shí)時(shí)成像能力的嚴(yán)酷(rugged)軍事應(yīng)用的全景成像的系統(tǒng)。
背景技術(shù)：
美國(guó)海軍的大多數(shù)潛水艇仍然依賴于古老潛望鏡的使用。在潛望深度處，仍然需要潛望鏡、甚至最新一代的非穿透光電桅桿(photonicsmast)兩者旋轉(zhuǎn)以觀察特定的接觸(contact)，所述非穿透光電桅桿安裝在例如弗吉尼亞級(jí)潛水艇中。當(dāng)在接觸密集環(huán)境中被動(dòng)地工作時(shí)，此類手動(dòng)接觸識(shí)別可能耗費(fèi)時(shí)間，而且在某些情況下將潛水艇置于潛在的危險(xiǎn)境地。 當(dāng)前的全景系統(tǒng)主要使用兩種方法之一。第一種方法使用將地平線上的360度成像到成像焦平面的圓圈上的專用光學(xué)鏡。使用圖像處理來將該圓圈映射成直線以進(jìn)行顯示。然而，這種方法存在若干缺陷。即，系統(tǒng)的最高可實(shí)現(xiàn)分辨率受限于能夠物理地應(yīng)用在光學(xué)裝置中的焦平面的尺寸。另外，在視場(chǎng)范圍內(nèi)，光學(xué)分辨率不均勻。通常，與使用許多單獨(dú)攝像機(jī)能夠?qū)崿F(xiàn)的相比，這是遠(yuǎn)遠(yuǎn)更少的像素。由于需要還必須提供結(jié)構(gòu)剛度措施的連續(xù)透明圓筒，這種方法還遇到機(jī)械挑戰(zhàn)。 第二種方法使用排列在圓周上的若干更標(biāo)準(zhǔn)視頻攝像機(jī)來形成整個(gè)圓圈的圖像。通常，將使用在通用處理器上運(yùn)行的圖像處理軟件來將單獨(dú)圖像重組或拼接成單個(gè)連續(xù)體，或者可替代地是若干個(gè)長(zhǎng)的圖像片斷。這種方法是計(jì)算密集型的，效率低，繁瑣且可能導(dǎo)致相當(dāng)多的延遲(latency)和處理開銷。因此，在本領(lǐng)域中需要一種改進(jìn)的高分辨率實(shí)時(shí)全景成像系統(tǒng)。

發(fā)明內(nèi)容
本文所公開和要求保護(hù)的是用于低延遲、高分辨率、連續(xù)運(yùn)動(dòng)全景視頻成像的系
統(tǒng)。在一個(gè)實(shí)施例中，該系統(tǒng)包括生成近實(shí)時(shí)視頻攝像機(jī)圖像信號(hào)的多個(gè)高分辨率視頻攝
像機(jī)。提供有用于將所述多個(gè)攝像機(jī)定位于預(yù)定的角度位置處以生成涵蓋完整的360度視
場(chǎng)的視頻攝像機(jī)圖像信號(hào)的支撐體。該系統(tǒng)包括經(jīng)由通信鏈路耦合到所述多個(gè)攝像機(jī)并被
配置為從所述多個(gè)視頻攝像機(jī)接收視頻攝像機(jī)圖像信號(hào)、并行地一起處理該視頻攝像機(jī)圖
像信號(hào)并生成全景圖像信號(hào)的圖像處理器。該圖像處理器可以經(jīng)由第二通信鏈路耦合到顯
示器，該顯示器能夠近實(shí)時(shí)地顯示所述多個(gè)攝像機(jī)周圍的視場(chǎng)中的全景圖像。 根據(jù)本發(fā)明的以下詳細(xì)說明，本發(fā)明的其它方面、特征、和技術(shù)將變得對(duì)本領(lǐng)域的
技術(shù)人員來說顯而易見。


通過結(jié)合附圖進(jìn)行的下文所闡述的詳細(xì)說明，本發(fā)明的特征、目的、和優(yōu)點(diǎn)將變得更加顯而易見，在附圖中，相同的參考標(biāo)記自始至終相對(duì)應(yīng)地視為等同，并且在附圖中
圖1是360度成像系統(tǒng)的一個(gè)實(shí)施例的框圖； 圖2是根據(jù)本發(fā)明的一個(gè)或多個(gè)實(shí)施例的成像系統(tǒng)的簡(jiǎn)化框圖； 圖3是示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的成像裝置的布局的傳感器盒(pod)的平面
圖； 圖4是描繪依照本發(fā)明的一個(gè)或多個(gè)實(shí)施例的圖像處理算法的邏輯流程的框圖；以及 圖5是描繪依照本發(fā)明的一個(gè)或多個(gè)實(shí)施例的圖像處理算法的框圖。
具體實(shí)施方式
公開概述 本發(fā)明的一方面涉及全景成像裝置。在一個(gè)實(shí)施例中，可以將成像裝置提供為包括多個(gè)高分辨率視頻攝像機(jī)。所述多個(gè)高分辨率攝像機(jī)可以安裝在被配置為以牢固和可調(diào)節(jié)的方式之一布置視頻攝像機(jī)的外殼或盒中。此外，通常，所述視頻攝像機(jī)可以被配置為提供靜止圖像、運(yùn)動(dòng)圖像、一系列圖像和/或任何類型的成像數(shù)據(jù)。 如下文將更詳細(xì)地描述的那樣，所述多個(gè)高分辨率視頻攝像機(jī)可以每個(gè)攝像機(jī)至少生成500kilopixel的近實(shí)時(shí)視頻攝像機(jī)圖像信號(hào)，該圖像信號(hào)表示各個(gè)攝像機(jī)的視場(chǎng)中的圖像。還應(yīng)認(rèn)識(shí)到可以使用其它像素值。例如，在一個(gè)實(shí)施例中，每個(gè)攝像機(jī)可以被配置為提供lmegapixel的圖像信號(hào)。可以使用用于將所述多個(gè)攝像機(jī)定位于預(yù)定角度位置處的支撐體來使得所述多個(gè)攝像機(jī)能夠協(xié)調(diào)工作以生成涵蓋攝像機(jī)周圍的完整360度視場(chǎng)的視頻攝像機(jī)圖像信號(hào)。 本發(fā)明的另一方面是將來自所述多個(gè)視頻攝像機(jī)的視頻攝像機(jī)圖像信號(hào)提供給圖像處理器。在一個(gè)實(shí)施例中，所述圖像處理器可以被配置為并行地處理視頻攝像機(jī)圖像信號(hào)以生成表示無縫全景圖像的無縫視頻信號(hào)。然后，可以通過通信鏈路將該視頻信號(hào)提供給顯示裝置，其又可以近實(shí)時(shí)地顯示所述多個(gè)攝像機(jī)周圍的視場(chǎng)中的無縫全景圖像。如本文所使用的，無縫全景圖像可以涉及沒有視場(chǎng)中斷或畸變的連續(xù)360度全景圖像。根據(jù)另一實(shí)施例，可以將視頻信號(hào)顯示為一般無縫的圖像，使得以近似連續(xù)的方式顯示圖像數(shù)據(jù)。 全景成像系統(tǒng)的特征可能在潛水艇應(yīng)用的情況下有用。在某些實(shí)施例中，本發(fā)明
可以以視頻速率提供地平線的360度連續(xù)圖像。在某些實(shí)施例中，本發(fā)明可以使得潛水艇
能夠在不旋轉(zhuǎn)潛望鏡或桅桿的情況下即時(shí)地觀察所有接觸。還應(yīng)認(rèn)識(shí)到所述全景成像系統(tǒng)
通?？捎糜谥T如基于陸地成像、空間成像和任何類型的成像等其它應(yīng)用。 在某些實(shí)施例中，全景成像可以改善潛水艇的態(tài)勢(shì)感知能力和沖突避免能力。作
為系統(tǒng)的用戶，預(yù)期船長(zhǎng)和船員能夠以最少的操作員干預(yù)快速評(píng)估船的安全和外部環(huán)境。
為此，在單個(gè)高分辨率視頻監(jiān)控器上需要無縫全景視場(chǎng)的顯示。 基于本發(fā)明的講授內(nèi)容，可以通過添加用于單顯示器實(shí)施方式以及多顯示器實(shí)施方式兩者的攝像機(jī)和處理資源來實(shí)現(xiàn)分辨率提高。在其它實(shí)施例中，還可以使用使用投影護(hù)目鏡(goggle)或類似系統(tǒng)的虛擬顯示器，其中可以基于所顯示的圖像來檢測(cè)操作員取向。下面將進(jìn)一步詳細(xì)描述本發(fā)明的附加實(shí)施例、方面、特征、和技術(shù)。 如本文所使用的，術(shù)語"一"或"一個(gè)"應(yīng)意指一個(gè)或多于一個(gè)。術(shù)語"多個(gè)"應(yīng)意
5指兩個(gè)或多于兩個(gè)。術(shù)語"另一個(gè)"被定義為第二個(gè)或更多。術(shù)語"包括"和/或"具有"是開放式的(例如包含)。本文所使用的術(shù)語"或"應(yīng)解釋為包括性的或意指任何一個(gè)或任何組合。因此，"A、 B或C"意指以下各種中的任何一個(gè):A ;B ;C ;A和B ;A和C ;B和C ;A、 B和
c。此定義的例外情況只有在元件、功能、步驟或動(dòng)作的組合以某種方式內(nèi)在地互相排斥時(shí)
才會(huì)發(fā)生。 在本文件中自始至終對(duì)" 一個(gè)實(shí)施例"、"某些實(shí)施例"、"實(shí)施例"或類似術(shù)語的引用意指結(jié)合實(shí)施例所描述的特定特征、結(jié)構(gòu)、或特性包括在本發(fā)明的至少一個(gè)實(shí)施例中。因此，此類短語或此類短語在本說明書中的不同位置的出現(xiàn)不一定全部指示同一實(shí)施例。此外，可以在一個(gè)或多個(gè)實(shí)施例上非限制性地以任何適當(dāng)方式將特定的特征、結(jié)構(gòu)、或特性組合。
當(dāng)以固件來實(shí)現(xiàn)時(shí)，本發(fā)明的元素本質(zhì)上是執(zhí)行必要任務(wù)的代碼段?？梢詫⒊绦?br> 或代碼段存儲(chǔ)在任何處理器可讀介質(zhì)上。
輛日月転纖輔你l 現(xiàn)在參照附圖，圖1描繪成像系統(tǒng)100的頂層框圖，成像系統(tǒng)100在一個(gè)實(shí)施例中對(duì)應(yīng)于低延遲、高分辨率、連續(xù)運(yùn)動(dòng)全景視頻成像系統(tǒng)。如圖1所描繪的，系統(tǒng)100包括傳感器盒110，其在圖3的平面圖中被進(jìn)一步示為傳感器300。在一個(gè)實(shí)施例中，傳感器盒110可以包括耐壓殼體或外殼。依照另一實(shí)施例，傳感器盒110包括可以被復(fù)用器120復(fù)用到纖維(或RF)信道125上并在被解復(fù)用器130解復(fù)用之后發(fā)送到圖像處理器150的多個(gè)成像輸出，所述圖像處理器150可以由兩個(gè)或更多適當(dāng)?shù)臄?shù)字信號(hào)處理器(諸如專用集成電路(ASIC)或現(xiàn)場(chǎng)可編程門陣列(FPGA)電路或板160卜n)組成。在某些實(shí)施例中，傳感器盒110可以包括多個(gè)高分辨率視頻攝像機(jī)。此類高分辨率視頻攝像機(jī)可以被配置為每個(gè)攝像機(jī)至少生成500kilopixel的近實(shí)時(shí)視頻攝像機(jī)圖像信號(hào)，該圖像信號(hào)表示各個(gè)攝像機(jī)的視場(chǎng)中的圖像。還應(yīng)認(rèn)識(shí)到高分辨率攝像機(jī)可以生成可以由其它像素值來表征的高分辨率成像數(shù)據(jù)。例如，在一個(gè)實(shí)施例中，高分辨率可以涉及至少500kilopixel的圖像信號(hào)數(shù)據(jù)。如本文所使用的，近實(shí)時(shí)可以涉及不超過60至100msec的延遲。然而，應(yīng)認(rèn)識(shí)到可以使用其它延遲值。 雖然圖像處理器150位于最接近傳感器盒110的位置，但在另一個(gè)實(shí)施例中，可以將系統(tǒng)中心用于與一個(gè)或多個(gè)視頻成像系統(tǒng)(例如系統(tǒng)IOO)通信。同樣地，如將參照?qǐng)D2更詳細(xì)地描述的那樣，可以將系統(tǒng)中心用于遠(yuǎn)程地控制所述一個(gè)或多個(gè)視頻成像系統(tǒng)的操作。 雖然在圖1中未示出，但應(yīng)認(rèn)識(shí)到傳感器盒110可以被耦合到用于將傳感器(例如多個(gè)攝像機(jī))定位于預(yù)定角度位置處的支撐體或與之集成以便使得所述多個(gè)攝像機(jī)能夠共同生成涵蓋所述多個(gè)攝像機(jī)周圍的完整360度視場(chǎng)的視頻攝像機(jī)圖像信號(hào)。
在一個(gè)實(shí)施例中，如圖1所示，可以將FPGA板16(Vn集成到高速圖像處理器150中。此外，可以將處理器150電連接到用于顯示所得圖像數(shù)據(jù)的顯示器175。舉例來說，圖像處理器150并行地一起處理從傳感器盒110接收到的視頻攝像機(jī)圖像信號(hào)以生成表示視頻攝像機(jī)所捕捉的無縫全景圖像的視頻信號(hào)。根據(jù)另一實(shí)施例，可以串行地(serially)處理從傳感器盒110接收到的圖像數(shù)據(jù)。這些信號(hào)隨后可以被發(fā)送到用于近實(shí)時(shí)地顯示所述多個(gè)攝像機(jī)周圍的視場(chǎng)中的無縫全景圖像的顯示器175。在一個(gè)實(shí)施例中，可以將CPU 165配置為接收并處理將提供給圖形卡170的成像數(shù)據(jù)。還可以將CPU 165配置為從操作員接
口 145接收控制信息。在其它實(shí)施例中，傳感器盒110所收集的成像數(shù)據(jù)可以涉及可見成
像數(shù)據(jù)、非可見成像數(shù)據(jù)、紅外數(shù)據(jù)、熱成像數(shù)據(jù)、微波成像數(shù)據(jù)、磁成像數(shù)據(jù)等中的至少一個(gè)。 可以認(rèn)識(shí)到可以使用解復(fù)用器130、接口板140和/或輸入/輸出(I/O)卡155從纖維信道125收集由傳感器盒110內(nèi)的傳感器收集的數(shù)據(jù)。根據(jù)另一實(shí)施例，可以使用1/0卡155來接收和/或輸出包括成像和非成像數(shù)據(jù)的一個(gè)或多個(gè)信號(hào)。以這種方式，可以使用1/0卡155來接收傳感器盒110未提供的其它數(shù)據(jù)，包括但不限于雷達(dá)數(shù)據(jù)、平臺(tái)數(shù)據(jù)等。在又一實(shí)施例中，可以將I/O卡155配置為通過任何有線或無線鏈路從遠(yuǎn)程位置接收命令。根據(jù)另一實(shí)施例，I/O卡155可以接收涉及可能與傳感器盒110相關(guān)聯(lián)的全球定位系統(tǒng)(GPS)數(shù)據(jù)、時(shí)間戳數(shù)據(jù)、航向、速度和工作坐標(biāo)(operating coordinate)中的一個(gè)或多個(gè)的元數(shù)據(jù)。此外，1/0卡155可以用來通過IP輸出諸如壓縮視頻等視頻。
另外，系統(tǒng)IOO還可以包括用于使圖像數(shù)據(jù)穩(wěn)定的運(yùn)動(dòng)補(bǔ)償算法。該運(yùn)動(dòng)補(bǔ)償算法可以被配置為修改視頻信號(hào)以便針對(duì)移動(dòng)而進(jìn)行調(diào)整。在一個(gè)實(shí)施例中，可以將慣性測(cè)量單元(IMU)115配置為向接口板140提供表征傳感器盒110的運(yùn)動(dòng)的一個(gè)或多個(gè)輸出信號(hào)。為此，可以使用MU 115的輸出來修改視頻信號(hào)以便針對(duì)移動(dòng)而進(jìn)行調(diào)整。
在一個(gè)實(shí)施例中，所述運(yùn)動(dòng)補(bǔ)償算法可以利用視頻攝像機(jī)之一的視場(chǎng)中的一般固定的對(duì)象來調(diào)整從附加視頻攝像機(jī)生成的視頻攝像機(jī)圖像信號(hào)。基本上，可以使用視頻數(shù)據(jù)減法過程來使用從視頻攝像機(jī)中的至少一個(gè)的視場(chǎng)中的固定對(duì)象得到的視頻信號(hào)相對(duì)于來自其它視頻攝像機(jī)的視頻攝像機(jī)圖像信號(hào)建立基線。根據(jù)另一實(shí)施例，系統(tǒng)100可以包括被配置為執(zhí)行視頻數(shù)據(jù)減法的電路。 舉例來說，IMU 15可以是水平傳感器的形式，包括但不限于機(jī)械陀螺儀和光纖陀
螺儀之一，其可以位于傳感器盒100內(nèi)部或接近于傳感器盒110且被配置為感測(cè)傳感器盒
110的取向和運(yùn)動(dòng)。在一個(gè)實(shí)施例中，傳感器盒110可以感測(cè)慣性空間中的取向和運(yùn)動(dòng)并將
相應(yīng)的數(shù)據(jù)發(fā)送到高速圖像處理器150。在某些實(shí)施例中，圖像處理器150(和/或其上面
的FPGA 160卜n)可以處理輸入視頻并執(zhí)行以下各項(xiàng)中的一個(gè)或多個(gè) 使圖像穩(wěn)定以修正取向并補(bǔ)償平臺(tái)運(yùn)動(dòng)， 平移并對(duì)準(zhǔn)圖像以產(chǎn)生連續(xù)(拼接)顯示，以及，在方位面中修正圖像位置以補(bǔ)償關(guān)于方位軸的旋轉(zhuǎn)，以便在真實(shí)方向(bearing)坐標(biāo)上顯示圖像。 繼續(xù)參照?qǐng)Dl，系統(tǒng)IOO可以包括用于將圖像處理器150的輸出格式化的圖形卡170。以這種方式，可以將成像數(shù)據(jù)提供給顯示器175。 在一個(gè)實(shí)施例中，可以在經(jīng)受移動(dòng)的移動(dòng)式平臺(tái)(例如潛水艇、海軍水面艦艇、坦克、戰(zhàn)斗用運(yùn)載工具等)上承載支撐體并可以使用運(yùn)動(dòng)補(bǔ)償算法來修改視頻信號(hào)以便針對(duì)此類移動(dòng)進(jìn)行調(diào)整。 根據(jù)另一實(shí)施例，傳感器盒110可以包括一個(gè)或多個(gè)非可見傳感器。例如，在一個(gè)實(shí)施例中，可以提供傳感器105以搜集傳感器盒110的視場(chǎng)中的非可見數(shù)據(jù)，該非可見數(shù)據(jù)隨后可以與傳感器盒110的輸出集成。此輸出隨后可以用來將非可見數(shù)據(jù)傳送到圖像處理器150，其中，圖像處理器150可以使非可見數(shù)據(jù)與由與該非可見數(shù)據(jù)同時(shí)收集的視頻攝像機(jī)圖像信號(hào)生成的圖像數(shù)據(jù)(例如無縫全景圖像)相關(guān)聯(lián)?？梢越?jīng)由接口板140將傳感器105所檢測(cè)的非可見數(shù)據(jù)提供給圖像處理器150。 在另一實(shí)施例中，傳感器盒110還可以包括向圖像處理器150提供全球定位數(shù)據(jù)的全球定位傳感器。圖像處理器150隨后可以使全球定位數(shù)據(jù)與由與非可見數(shù)據(jù)和/或元數(shù)據(jù)同時(shí)收集的視頻攝像機(jī)圖像信號(hào)生成的圖像數(shù)據(jù)(例如無縫全景圖像)相關(guān)聯(lián)。作為非限制性示例，此類非可見數(shù)據(jù)可以涉及真北指示符、方向、航向、維度、經(jīng)度、時(shí)亥lj、地圖坐標(biāo)、圖表坐標(biāo)(chart coordinate)和/或諸如速度、深度和傾斜度等平臺(tái)工作參數(shù)。
在另一實(shí)施例中，可以將系統(tǒng)(例如傳感器盒110)的攝像機(jī)和光學(xué)裝置設(shè)計(jì)為滿足A級(jí)(關(guān)鍵任務(wù))或B級(jí)(非關(guān)鍵任務(wù))沖擊荷載。另外，可以使用熱分析來規(guī)定所需要的冷卻手段。當(dāng)應(yīng)用于海洋應(yīng)用時(shí)，可以使用被動(dòng)冷卻法來向桅桿并最終向水中傳導(dǎo)熱。對(duì)于某些應(yīng)用，主動(dòng)冷卻法可能不太合乎需要。雖然已將傳感器盒iio描述為包括攝像機(jī)和/或光學(xué)組件，但同樣應(yīng)認(rèn)識(shí)到通?？梢酝瑯邮褂冒娮映上裱b置和成像裝置的電子式成像裝置。 繼續(xù)參照?qǐng)Dl，可以將FPGA 16(Vn集成在其它電路卡上。在一個(gè)實(shí)施例中，F(xiàn)PGA16(Vn可以涉及Nallatech公司生產(chǎn)的Xilinx Vertex4或5，且可以集成到電路卡上。還可以認(rèn)識(shí)到視頻接口電路或板150可以被配置為接受大量的數(shù)字視頻接口選項(xiàng)，通常包括但當(dāng)然不限于SDI、GigE、攝像機(jī)鏈路和數(shù)字視頻。在一個(gè)實(shí)施例中，可以使用定制接口板140來使高速、高帶寬數(shù)字視頻數(shù)據(jù)直接與FPGA 16(Vn對(duì)接，同時(shí)不使總線180(例如PCI/PCIX總線)承受負(fù)擔(dān)。以這種方式，系統(tǒng)100和相關(guān)成像方法的用戶能夠以快速的方式評(píng)估船或位置的附近地區(qū)?？梢酝ㄟ^由傳感器盒110生成的處理圖像信號(hào)并行地和/或以流水線式或串行的方式提供由FPGA 160卜n進(jìn)行的近實(shí)時(shí)成像。如本文所使用的，流水線式處理中的處理可以涉及至少部分地基于接收成像數(shù)據(jù)的順序來處理成像數(shù)據(jù)。在時(shí)間至關(guān)重要的情況下以此類方式來提供360度圖像將是有利的。此外，F(xiàn)PGA 16(Vn進(jìn)行的并行處理可以有利于全景圖像的運(yùn)動(dòng)補(bǔ)償和/或穩(wěn)定。當(dāng)將傳感器盒110安裝于經(jīng)受移動(dòng)的平臺(tái)時(shí)，運(yùn)動(dòng)補(bǔ)償電路可以修改視頻信號(hào)以便適應(yīng)此類移動(dòng)。 雖然圖1未示出，但應(yīng)認(rèn)識(shí)到所述系統(tǒng)還可以包括自動(dòng)檢測(cè)算法，該自動(dòng)檢測(cè)算法用于檢測(cè)所述多個(gè)攝像機(jī)中的至少一個(gè)的視場(chǎng)中的對(duì)象的移動(dòng)。在一個(gè)實(shí)施例中，可以使用操作員控制裝置來識(shí)別無縫全景圖像中的感興趣區(qū)域并控制圖像處理器提供附加圖像信號(hào)信息以顯示感興趣區(qū)域的放大視圖。可以將操作員接口 145配置為輸出用于控制所顯示的信息的一個(gè)或多個(gè)信號(hào)。在一個(gè)實(shí)施例中，操作員接口 145可以包括諸如鼠標(biāo)等輸入裝置。系統(tǒng)10還可以通過將參考圖像幀與隨后的幀相比較來檢測(cè)移動(dòng)。隨后圖像中的明顯變化可以用來指示可能的運(yùn)動(dòng)。 現(xiàn)在參照?qǐng)D2，示出了根據(jù)本發(fā)明的一個(gè)或多個(gè)實(shí)施例的成像系統(tǒng)的簡(jiǎn)化框圖。如圖2所示，可以將一個(gè)或多個(gè)傳感器盒205卜n(例如傳感器盒110)配置為經(jīng)由數(shù)據(jù)通信網(wǎng)絡(luò)215與一個(gè)或多個(gè)處理器225a 225b通信。根據(jù)一個(gè)實(shí)施例，傳感器盒205卜n中的每一個(gè)可以被配置為由單個(gè)工作站從遠(yuǎn)程位置控制。每個(gè)工作站可以包括圖形用戶界面(GUI) 220a和處理邏輯225a(例如圖像處理器150)。以這種方式，可以遠(yuǎn)程地處理由傳感器盒205卜n感測(cè)的成像數(shù)據(jù)和/或非成像數(shù)據(jù)并將其呈現(xiàn)給用戶。根據(jù)另一實(shí)施例，每個(gè)傳感器盒250卜n可以包括處理邏輯210卜n以便在通過數(shù)據(jù)通信網(wǎng)絡(luò)215發(fā)送成像數(shù)據(jù)之前
8處理成像數(shù)據(jù)。數(shù)據(jù)通信網(wǎng)絡(luò)215可以是有線和無線通信網(wǎng)絡(luò)之一。 現(xiàn)在參照?qǐng)D3，示出根據(jù)本發(fā)明的另一實(shí)施例的傳感器外殼(例如傳感器盒110)的平面圖。特別地，示出了包括殼體材料305、多個(gè)成像裝置310h、和底座/支撐體(mount/su卯ort)315的傳感器盒300。雖然在一個(gè)實(shí)施例中，成像裝置31(^—。可以由能夠生成至少500kilopixel的近實(shí)時(shí)視頻攝像機(jī)圖像信號(hào)的多個(gè)高分辨率視頻攝像機(jī)構(gòu)成，但同樣應(yīng)認(rèn)識(shí)到依照本發(fā)明的原理可以同樣地使用許多其它類型的成像裝置。例如，成像裝置可以涉及紅外線(IR)、短波紅外線(SWIR)、電子倍增電荷耦合顯示器(EMCCD)等中的至少一個(gè)。
在某些實(shí)施例中，攝像機(jī)殼體材料305可以是不銹鋼圓筒。另外，圓筒的壁厚度可以是約72英寸(inch)以便能夠經(jīng)受住深潛，雖然同樣可以使用其它適當(dāng)?shù)牟牧虾穸?。此外，可以認(rèn)識(shí)到，殼體材料305可以由通常包括合金、其它金屬、無縫高強(qiáng)度材料等的其它類型的材料組成。用于成像裝置310卜n的光學(xué)孔徑可以由石英或藍(lán)寶石構(gòu)成，且可以使用例如冗余環(huán)形密封圈將其密封到殼體中。如圖3所示，成像裝置31(Vn的光學(xué)路徑可以穿過殼體材料305，且可以被密封并受到保護(hù)以免受外部環(huán)境影響。然而，還應(yīng)認(rèn)識(shí)到可以以活動(dòng)的方式將成像裝置310卜n耦合到支撐體。 功率和信號(hào)可以使用諸如由辦事處在Rhode島Westerly的SEACON⑧Phoenix公司制造的那些耐壓密封連接器來通過殼體(例如殼體材料305)。在某些實(shí)施例中，可以用螺紋連接(threadedcoupling)將傳感器盒300安裝于桅桿(諸如潛艇潛望鏡)。如傳感器殼體的外徑一樣，桅桿或潛望鏡的外徑可以包括螺紋。連接環(huán)在其內(nèi)徑上具有螺紋。在一個(gè)實(shí)施例中。底座315可以充當(dāng)支撐體，該支撐體用于將成像裝置31(Vn定位于預(yù)定角度位置處以便使成像裝置310卜n能夠一起生成涵蓋傳感器盒300周圍的完整360度視場(chǎng)的視頻攝像機(jī)圖像信號(hào)。 雖然已將圖3描述為向圖像裝置310卜n提供殼體，但還應(yīng)認(rèn)識(shí)到可以分別地安裝成像裝置中的每一個(gè)。例如，在一個(gè)實(shí)施例中，可以將成像裝置310卜n安裝在運(yùn)載工具的四個(gè)象限(quadrant)處或在其周圍。以這種方式，可以將成像裝置310^n中的每一個(gè)容納在單獨(dú)的殼體中。同樣地，雖然已關(guān)于潛水艇應(yīng)用描述了圖3，但應(yīng)認(rèn)識(shí)到通?？梢詫鞲衅骱?00安裝于水面艦船、戰(zhàn)斗用運(yùn)載工具和任何運(yùn)載工具之一。當(dāng)在陸上運(yùn)載工具上采用時(shí)，可以將成像裝置310卜n作為可以包括彈道保護(hù)的整體組件安裝于運(yùn)載工具上的高點(diǎn)?；蛘撸?dāng)在水面船上采用時(shí)，可以將成像裝置31(Vn安裝在上部結(jié)構(gòu)上的高點(diǎn)處，固定于桅桿和/或可展開結(jié)構(gòu)。 舉例來說，提供以下兩種工作方案是為了說明根據(jù)本發(fā)明的一個(gè)或多個(gè)實(shí)施例可
以如何使本發(fā)明適合于變化的工作條件。
示例性工作方案 方案1 (識(shí)別5英里(mile)處的油輪) 油輪的長(zhǎng)度可能是300米。5mi是8km且目標(biāo)弦對(duì)角(subtense)是37. 5毫弧度(mRadian)。識(shí)別要求跨目標(biāo)尺度的至少4個(gè)周期(cycle)或8個(gè)像素。因此，像素IF0V必須小于4. 7mRad。 lmRadIFOV將輕易地滿足此要求。
方案2 (識(shí)別1英里處的漁船) 漁船的長(zhǎng)度是10米。1英里是1. 6km且目標(biāo)弦對(duì)角是6. 25毫弧度。識(shí)別要求跨目標(biāo)尺度的至少4個(gè)周期或8個(gè)像素。因此，像素IF0V必須小于0. 78mRad，其大約是lmRad。因此，lmRad系統(tǒng)應(yīng)近似滿足此要求。 lmRad IF0V產(chǎn)生360度地平線周圍的6282mRad。如果分配給4個(gè)攝像機(jī)，則這給
出了每個(gè)攝像機(jī)(例如傳感器200的成像裝置21(Vn)所需的大約1570個(gè)像素。可以使用
以水平格式具有1600個(gè)像素的攝像機(jī)。假設(shè)3至5度的水平重疊將提供良好的圖像配準(zhǔn)，
可以使用以下值 攝像機(jī)水平視場(chǎng)95度 水平像素計(jì)數(shù)最小1600 IFOV :1. 036mRad 攝像機(jī)垂直視場(chǎng)71. 2度 現(xiàn)在參照?qǐng)D4，所描繪的是根據(jù)本發(fā)明的一個(gè)實(shí)施例的由圖像處理器(例如圖像處理器150)的FPGA(例如FPGA 160卜n)執(zhí)行的圖像處理序列400的框圖。如圖4所示，可以首先旋轉(zhuǎn)來自四個(gè)攝像機(jī)410a-410d的圖像數(shù)據(jù)來使用來自MU傳感器420(例如MU傳感器115)的輸入在兩個(gè)維度上修正傳感器(例如傳感器盒IIO)的傾斜。應(yīng)認(rèn)識(shí)到可以將四個(gè)攝像機(jī)410a-410d集成到依照本發(fā)明的原理配置的耐壓傳感器(例如傳感器盒110和/或傳感器盒200)中。根據(jù)另一實(shí)施例，如下文將參照?qǐng)D5更詳細(xì)地描述的那樣，可以在框415a-415c中修正由攝像機(jī)410a 410d提供的成像數(shù)據(jù)。 —旦針對(duì)傾斜進(jìn)行調(diào)整，則可以使用4個(gè)攝像機(jī)的已知相對(duì)位置在框430a-430b處平移(translate)接收到的數(shù)據(jù)。接下來，可以在框440處將圖像數(shù)據(jù)融合以便產(chǎn)生基本上連續(xù)的全景。在融合之后，可以將像素組合在倉(cāng)(bi皿er)450中，因?yàn)樵S多顯示器可能不具有足以顯示全分辨率的分辨率。在框420處接收到的用戶輸入可以指示包括接收?qǐng)D像數(shù)據(jù)的放大和/或操作的期望視圖。然后，可以在將圖像日期分裂成兩個(gè)或更多部分之前執(zhí)行框460處的圖像裁剪至所選垂直尺寸，從而可以顯示數(shù)據(jù)。 繼續(xù)參照?qǐng)D4，許多顯示器將具有比本發(fā)明的成像系統(tǒng)(例如系統(tǒng)100)將成像的像素少的像素。因此，如上所述，在顯示完整全景時(shí)，可能需要將像素組合(或裝倉(cāng)(bin))。然而，如果在全景圖像中檢測(cè)到感興趣的特定區(qū)域/項(xiàng)目，在某些實(shí)施例中，可以使用圖3的圖像處理來使用框480處的變焦特征將感興趣的區(qū)域/項(xiàng)目放大。根據(jù)一個(gè)實(shí)施例，該放大特征可以以全像素分辨率在單獨(dú)的窗口中顯示感興趣的區(qū)域和/或項(xiàng)目周圍的那部分圖像(也就是說，在不裝倉(cāng)的情況下可以顯示每個(gè)像素)。 在其它實(shí)施例中，F(xiàn)PGA(例如FPGA 160卜n)可以執(zhí)行圖像數(shù)據(jù)的處理以便實(shí)現(xiàn)自動(dòng)目標(biāo)檢測(cè)。 一般而言，檢測(cè)算法尋找已經(jīng)檢測(cè)到某些圖像特征的區(qū)域，諸如局部對(duì)比、運(yùn)動(dòng)等。為此，可以同樣地執(zhí)行目標(biāo)識(shí)別，由此自動(dòng)地基于所識(shí)別的圖像性質(zhì)來表征對(duì)象。根據(jù)一個(gè)實(shí)施例，目標(biāo)識(shí)別可以基于由傳感器(例如傳感器盒110)所檢測(cè)的對(duì)象。替換地，或組合地，可以通過用戶輸入來識(shí)別目標(biāo)。用戶還可以提供用于對(duì)變焦特征480所生成的顯示窗口進(jìn)行放大或操作的地理坐標(biāo)。 還應(yīng)認(rèn)識(shí)到本文所公開的所有各種特征、特性和實(shí)施例可以同樣適用于紅外波段中的全景成像。然而，由于紅外攝像機(jī)通常具有比市售可見光譜攝像機(jī)低的像素計(jì)數(shù)，所以在此類情況下整個(gè)系統(tǒng)分辨率可能較低。 最后，應(yīng)認(rèn)識(shí)到可以將目標(biāo)跟蹤算法編程輸入FPGA (例如FPGA160卜n)中。示例性目標(biāo)跟蹤算法可以包括質(zhì)心、相關(guān)性、邊緣等等。以這種方式，可以在360度全景顯示器上表示被跟蹤的項(xiàng)目。 現(xiàn)在參照?qǐng)D5，描繪了可以在圖4的圖像修正期間執(zhí)行的圖像處理序列500的框圖 (例如圖像修正框415a-415d)?？梢孕拚龔某上裱b置(例如成像裝置31(Vn)接收到的成 像數(shù)據(jù)505，使得在框510處重新對(duì)齊(realign)像素。在框515處，可以對(duì)圖像數(shù)據(jù)執(zhí)行 bayer內(nèi)插過程以過濾成像數(shù)據(jù)的RGB顏色。在框520處，可以將RGB顏色數(shù)據(jù)轉(zhuǎn)換成YUV 顏色數(shù)據(jù)以便在亮度(luma)和色度分量方面定義成像數(shù)據(jù)。然后可以在框525處自動(dòng)地 均衡成像數(shù)據(jù)。在框530處，可以將成像數(shù)據(jù)從YUV轉(zhuǎn)換成RGB顏色數(shù)據(jù)。根據(jù)另一實(shí)施 例，過程500可以包括用于修正成像數(shù)據(jù)的框535處的桶形畸變修正。經(jīng)修正的成像數(shù)據(jù) 540可以被提供用于平移(translation)和/或融合。已將過程500描述為執(zhí)行用于修正 圖像數(shù)據(jù)的特定步驟，然而，應(yīng)認(rèn)識(shí)到可以由過程500來執(zhí)行附加和/或不同動(dòng)作。
雖然已描述并在附圖中示出某些示例性實(shí)施例，但應(yīng)理解的是此類實(shí)施例對(duì)于廣 泛的發(fā)明而言僅僅是說明性而非限制性的，并且本發(fā)明不限于所示和所描述的特定構(gòu)造和 布置，因?yàn)楸绢I(lǐng)域的普通技術(shù)人員可以想到各種其它修改。本文所引用的商標(biāo)和版權(quán)歸其 各自的所有者所用。
1權(quán)利要求
一種低延遲、高分辨率、連續(xù)運(yùn)動(dòng)全景視頻成像系統(tǒng)，包括多個(gè)高分辨率視頻攝像機(jī)，每個(gè)視頻攝像機(jī)生成至少500kilopixel的近實(shí)時(shí)視頻攝像機(jī)圖像信號(hào)，該圖像信號(hào)表示各個(gè)攝像機(jī)的視場(chǎng)中的圖像；支撐體，用于將所述多個(gè)攝像機(jī)定位于該支撐體周圍的預(yù)定角度位置處以使得所述多個(gè)攝像機(jī)能夠一起生成涵蓋所述多個(gè)攝像機(jī)周圍的完整360度視場(chǎng)的視頻攝像機(jī)圖像信號(hào)；所述多個(gè)攝像機(jī)與圖像處理器之間的通信鏈路，用于將所述視頻攝像機(jī)圖像信號(hào)從所述多個(gè)攝像機(jī)引導(dǎo)到所述圖像處理器；所述圖像處理器，從所述多個(gè)視頻攝像機(jī)接收視頻攝像機(jī)圖像信號(hào)并并行地一起處理所述視頻攝像機(jī)圖像信號(hào)以生成表示所述多個(gè)攝像機(jī)周圍的全景圖像的視頻信號(hào)；以及所述圖像處理器與顯示器之間的通信鏈路，用于將視頻信號(hào)傳送到所述顯示器，所述顯示器近實(shí)時(shí)地顯示所述多個(gè)攝像機(jī)周圍的視場(chǎng)中的全景圖像。
2. 如權(quán)利要求1所述的視頻成像系統(tǒng)，其中，所述圖像處理器包括用于并行處理視頻 攝像機(jī)圖像信號(hào)的現(xiàn)場(chǎng)可編程門陣列。
3. 如權(quán)利要求1所述的視頻成像系統(tǒng)，還包括可在非可見光譜中用于收集所述多個(gè)攝 像機(jī)的視場(chǎng)中的非可見數(shù)據(jù)的至少一個(gè)傳感器，和用于將所述非可見數(shù)據(jù)從所述至少一個(gè) 傳感器傳送到圖像處理器的通信鏈路，所述圖像處理器使所述非可見數(shù)據(jù)與由與所述非可 見數(shù)據(jù)同時(shí)收集的視頻攝像機(jī)圖像信號(hào)生成的全景圖像相關(guān)聯(lián)。
4. 如權(quán)利要求3所述的視頻成像系統(tǒng)，其中，所述至少一個(gè)傳感器是紅外傳感器。
5. 如權(quán)利要求3所述的視頻成像系統(tǒng)，還包括向所述圖像處理器提供全球定位數(shù)據(jù)的 全球定位傳感器，并且所述圖像處理器使全球定位數(shù)據(jù)與由與所述非可見數(shù)據(jù)同時(shí)收集的 視頻攝像機(jī)圖像信號(hào)生成的全景圖像相關(guān)聯(lián)。
6. 如權(quán)利要求1所述的視頻成像系統(tǒng)，其中，所述圖像處理器提供用于使全景圖像穩(wěn) 定的運(yùn)動(dòng)補(bǔ)償算法。
7. 如權(quán)利要求6所述的視頻成像系統(tǒng)，其中，所述支撐體被承載在經(jīng)受移動(dòng)的移動(dòng)式 平臺(tái)上且所述運(yùn)動(dòng)補(bǔ)償算法修改所述視頻信號(hào)以適應(yīng)此類移動(dòng)。
8. 如權(quán)利要求7所述的視頻成像系統(tǒng)，其中，所述運(yùn)動(dòng)補(bǔ)償電路還包括穩(wěn)定電路。
9. 如權(quán)利要求7所述的視頻成像系統(tǒng)，還包括所述支撐體上的運(yùn)動(dòng)傳感器和傳感器與 運(yùn)動(dòng)補(bǔ)償電路之間的通信鏈路，其中，所述傳感器生成表示所述支撐體的相對(duì)移動(dòng)的信號(hào)。
10. 如權(quán)利要求7所述的視頻成像系統(tǒng)，其中，所述運(yùn)動(dòng)補(bǔ)償利用所述多個(gè)視頻攝像機(jī) 之一的視場(chǎng)中的預(yù)定的一般固定的對(duì)象來相對(duì)于來自所述多個(gè)攝像機(jī)之一的視頻攝像機(jī) 圖像信號(hào)調(diào)整來自所述多個(gè)視頻攝像機(jī)中的其它視頻攝像機(jī)的視頻攝像機(jī)圖像信號(hào)。
11. 如權(quán)利要求1所述的視頻成像系統(tǒng)，還包括檢測(cè)電路，該檢測(cè)電路用于檢測(cè)所述多 個(gè)攝像機(jī)中的至少一個(gè)的視場(chǎng)中的對(duì)象的移動(dòng)。
12. 如權(quán)利要求1所述的視頻成像系統(tǒng)，還包括操作員控制裝置，該操作員控制裝置用 于識(shí)別全景圖像中的感興趣區(qū)域并控制所述圖像處理器以提供附加圖像信號(hào)信息以顯示 所述感興趣區(qū)域的放大視圖。
13. 如權(quán)利要求1所述的視頻成像系統(tǒng)，其中，所述圖像處理器位于最接近所述多個(gè)視 頻攝像機(jī)的位置。
14. 如權(quán)利要求13所述的視頻成像系統(tǒng)，還包括系統(tǒng)中心，該系統(tǒng)中心用于與多個(gè)視 頻成像系統(tǒng)的圖像處理器通信并用于從遠(yuǎn)離所述視頻成像系統(tǒng)的位置控制所述多個(gè)視頻 成像系統(tǒng)的操作。
15. 如權(quán)利要求1所述的成像系統(tǒng)，其中，表示由所述圖像處理器生成的全景圖像的視 頻信號(hào)涉及無縫全景圖像。
16. 如權(quán)利要求1所述的成像系統(tǒng)，其中，所述多個(gè)高分辨率視頻攝像機(jī)被安裝在外殼 中，該外殼被配置為將高分辨率視頻攝像機(jī)布置為提供360度視場(chǎng)并保護(hù)攝像機(jī)免受環(huán)境 影響。
17. 如權(quán)利要求1所述的成像系統(tǒng)，其中，所述多個(gè)高分辨率視頻攝像機(jī)被安裝于移動(dòng) 式平臺(tái)的象限。
18. 如權(quán)利要求1所述的成像系統(tǒng)，其中，所述多個(gè)高分辨率視頻攝像機(jī)在單獨(dú)外殼中 被分別地安裝在所述支撐體周圍的隔開的位置處，每個(gè)攝像機(jī)一個(gè)外殼，以便保護(hù)攝像機(jī) 免受環(huán)境影響。
全文摘要
一種用于低延遲、高分辨率、連續(xù)運(yùn)動(dòng)全景視頻成像的系統(tǒng)包括多個(gè)高分辨率視頻攝像機(jī)，每個(gè)視頻攝像機(jī)生成約至少500kilopixel的近實(shí)時(shí)視頻。攝像機(jī)可以受到支撐以便將所述多個(gè)攝像機(jī)定位于預(yù)定角度位置處以生成完整360度視場(chǎng)。該系統(tǒng)還可以包括用于并行地處理視頻圖像信號(hào)并提供全景圖像的圖像處理器。在一個(gè)實(shí)施例中，該系統(tǒng)可以包括顯示器以提供無縫全景圖像。
文檔編號(hào)G02B13/06GK101702939SQ200880015634
公開日2010年5月5日 申請(qǐng)日期2008年3月14日 優(yōu)先權(quán)日2007年3月16日
發(fā)明者D·L·拉瓦利, J·D·張伯倫, M·羅斯, T·J·斯切姆普科 申請(qǐng)人:科爾摩根公司