可見光相機(jī)與紅外相機(jī)的參數(shù)聯(lián)合標(biāo)定方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明實(shí)施例設(shè)及相機(jī)參數(shù)標(biāo)定技術(shù)，尤其設(shè)及一種可見光相機(jī)與紅外相機(jī)的參 數(shù)聯(lián)合標(biāo)定方法及裝置。
【背景技術(shù)】
[0002] 在多光譜攝影測(cè)量、遙感W及目標(biāo)監(jiān)視等應(yīng)用中，由于可見光相機(jī)可W獲得豐富 的紋理信息，紅外熱像儀可W獲得溫度信息，因此使可見光相機(jī)與紅外相機(jī)的聯(lián)合測(cè)量獲 得了廣泛應(yīng)用。
[0003] 現(xiàn)有技術(shù)中，首先設(shè)計(jì)和制作一張帶有發(fā)熱裝置的平面標(biāo)定板，然后通過該標(biāo)定 板采集可見光圖像和紅外圖像對(duì)應(yīng)信息，最后利用傳統(tǒng)的標(biāo)定方法獲得相機(jī)參數(shù)。
[0004] 然而，為了獲取相機(jī)參數(shù)需要?？谠O(shè)計(jì)并制作標(biāo)定板，將增加獲取相機(jī)參數(shù)的人 力及物料成本。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明提供一種可見光相機(jī)與紅外相機(jī)的參數(shù)聯(lián)合標(biāo)定方法及裝置，W實(shí)現(xiàn)無需 標(biāo)定板即可實(shí)現(xiàn)相機(jī)參數(shù)的標(biāo)定，降低相機(jī)參數(shù)標(biāo)定的人力及物料成本。
[0006] 第一方面，本發(fā)明實(shí)施例提供了一種可見光相機(jī)與紅外相機(jī)的參數(shù)聯(lián)合標(biāo)定方 法，包括：
[0007] 對(duì)可見光圖像和紅外圖像進(jìn)行邊緣檢測(cè)，得到可見光邊緣圖像W及紅外邊緣圖 像；
[000引利用尺度不變特征轉(zhuǎn)換算法SIFT獲取所述可見光邊緣圖像和紅外邊緣圖像的至 少四組匹配點(diǎn)對(duì)；
[0009] 根據(jù)所述至少四組匹配點(diǎn)對(duì)、所述可見光相機(jī)的內(nèi)參矩陣W及所述紅外相機(jī)的內(nèi) 參矩陣確定外參矩陣。
[0010] 第二方面，本發(fā)明實(shí)施例還提供了一種可見光相機(jī)與紅外相機(jī)的參數(shù)聯(lián)合標(biāo)定裝 置，包括：
[0011] 邊緣檢測(cè)單元，用于對(duì)可見光圖像和紅外圖像進(jìn)行邊緣檢測(cè)，得到可見光邊緣圖 像W及紅外邊緣圖像；
[0012] 匹配點(diǎn)對(duì)獲取單元，用于利用尺度不變特征轉(zhuǎn)換算法SIFT獲取所述邊緣檢測(cè)單元 得到的所述可見光邊緣圖像和紅外邊緣圖像的至少四組匹配點(diǎn)對(duì)；
[0013] 外參矩陣確定單元，用于根據(jù)所述匹配點(diǎn)對(duì)獲取單元獲取的所述至少四組匹配點(diǎn) 對(duì)、所述可見光相機(jī)的內(nèi)參矩陣W及所述紅外相機(jī)的內(nèi)參矩陣確定外參矩陣。
[0014] 本發(fā)明通過對(duì)可見光圖像和紅外圖像進(jìn)行邊緣檢測(cè)，并利用尺度不變特征轉(zhuǎn)換算 法SIFT,獲取邊緣檢測(cè)得到的可見光邊緣圖像和紅外邊緣圖像的至少四組匹配點(diǎn)對(duì)，進(jìn)而 無需通過標(biāo)定板即可得到可見光邊緣圖像與紅外邊緣圖像中的匹配點(diǎn)對(duì)，最后根據(jù)所述至 少四組匹配點(diǎn)對(duì)、所述可見光相機(jī)的內(nèi)參矩陣W及所述紅外相機(jī)的內(nèi)參矩陣確定外參矩 陣，實(shí)現(xiàn)在不使用標(biāo)定板的前提下，確定外參矩陣，進(jìn)而降低相機(jī)參數(shù)的標(biāo)定成本。此外，現(xiàn) 有技術(shù)中由于標(biāo)定板的位置需要與相機(jī)焦距相適應(yīng)，因此當(dāng)相機(jī)焦距發(fā)生變化時(shí)，需要調(diào) 整標(biāo)定板W及相機(jī)的位置，操作繁瑣。本發(fā)明中當(dāng)相機(jī)(可見光相機(jī)或紅外相機(jī)）的焦距發(fā) 生變化時(shí)，無需調(diào)整相機(jī)位置即可確定外參矩陣，提高參數(shù)標(biāo)定的效率。
【附圖說明】
[0015] 圖1為本發(fā)明實(shí)施例一中的可見光相機(jī)與紅外相機(jī)的參數(shù)聯(lián)合標(biāo)定方法的流程 圖；
[0016] 圖2是本發(fā)明實(shí)施例二中的可見光相機(jī)與紅外相機(jī)的參數(shù)聯(lián)合標(biāo)定方法的流程 圖；
[0017] 圖3是本發(fā)明實(shí)施例=中的可見光相機(jī)與紅外相機(jī)的參數(shù)聯(lián)合標(biāo)定方法的流程 圖；
[0018] 圖4是本發(fā)明實(shí)施例四中的可見光相機(jī)與紅外相機(jī)的參數(shù)聯(lián)合標(biāo)定方法的流程 圖；
[0019] 圖5是本發(fā)明實(shí)施例五中的可見光相機(jī)與紅外相機(jī)的參數(shù)聯(lián)合標(biāo)定裝置的結(jié)構(gòu)示 意圖。
【具體實(shí)施方式】
[0020] 下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說明?？蒞理解的是，此處所描 述的具體實(shí)施例僅僅用于解釋本發(fā)明，而非對(duì)本發(fā)明的限定。另外還需要說明的是，為了便 于描述，附圖中僅示出了與本發(fā)明相關(guān)的部分而非全部結(jié)構(gòu)。
[0021 ]實(shí)施例一
[0022] 圖1為本發(fā)明實(shí)施例一提供的一種可見光相機(jī)與紅外相機(jī)的參數(shù)聯(lián)合標(biāo)定方法的 流程圖，本實(shí)施例可適用于對(duì)可見光相機(jī)及紅外相機(jī)的參數(shù)進(jìn)行標(biāo)定的情況，該方法可W 由具有數(shù)據(jù)處理能力的終端來執(zhí)行，終端如個(gè)人電腦(Personal Computer,PC)、筆記本電 腦、平板電腦等，該方法具體包括如下步驟：
[0023] Sl 10、對(duì)可見光圖像和紅外圖像進(jìn)行邊緣檢測(cè)，得到可見光邊緣圖像W及紅外邊 緣圖像。
[0024] 對(duì)可見光圖像進(jìn)行邊緣檢測(cè)時(shí)，可采用基于查找的邊緣檢測(cè)或者基于零穿越的邊 緣檢測(cè)?；诓檎业倪吘墮z測(cè)方法通過尋找圖像一階導(dǎo)數(shù)中的最大和最小值來檢測(cè)邊界， 通常是將邊界定位在梯度最大的方向?；诹愦┰降倪吘墮z測(cè)方法通過尋找圖像二階導(dǎo)數(shù) 零穿越來尋找邊界，通常將拉普拉斯化aplacian)過零點(diǎn)或者非線性差分表示的過零點(diǎn)確 定為邊界。
[0025] 可通過基于多尺度形態(tài)學(xué)的紅外圖像邊緣檢測(cè)方法等方法在對(duì)紅外圖像進(jìn)行邊 緣檢測(cè)。通過邊緣檢測(cè)得到的圖像用于表示原圖像的邊緣輪廓，輪廓線由輪廓線上的像素 點(diǎn)組成。
[0026] S120、利用尺度不變特征轉(zhuǎn)換算法SIFT獲取可見光邊緣圖像與紅外邊緣圖像重合 部分的至少四組匹配點(diǎn)對(duì)。
[0027] 尺度不變特征轉(zhuǎn)換（Scale-invariant feature transform,SIFT)是一種計(jì)算機(jī) 視覺的算法，用于偵測(cè)與描述影像中的局部性特征，例如在空間尺度中尋找極值點(diǎn)，并提取 出極值點(diǎn)的位置、尺度W及旋轉(zhuǎn)不變量。具體可通過下述操作進(jìn)行實(shí)施：
[0028] (1)尺度空間極值檢測(cè):捜索所有尺度上的圖像位置。通過高斯微分函數(shù)來識(shí)別潛 在的對(duì)于尺度和旋轉(zhuǎn)不變的興趣點(diǎn)。
[0029] (2)特征點(diǎn)定位:在每個(gè)候選的位置上，通過一個(gè)擬合精細(xì)的模型來確定位置和尺 度。特征點(diǎn)的選擇依據(jù)于它們的穩(wěn)定程度。
[0030] (3)方向確定：基于圖像局部的梯度方向，分配給每個(gè)特征點(diǎn)位置一個(gè)或多個(gè)方 向。所有后面的對(duì)圖像數(shù)據(jù)的操作都相對(duì)于特征點(diǎn)的方向、尺度和位置進(jìn)行變換，從而提供 對(duì)于運(yùn)些變換的不變性。
[0031] (4)特征點(diǎn)描述:在每個(gè)特征點(diǎn)周圍的鄰域內(nèi)，在選定的尺度上測(cè)量圖像局部的梯 度。運(yùn)些梯度被變換成一種表示，運(yùn)種表示允許比較大的局部形狀的變形和光照變化。
[0032] 首先獲取可見光邊緣圖像和紅外邊緣圖像重合的部分，然后分別根據(jù)尺度不變特 征轉(zhuǎn)換算法對(duì)可見光邊緣圖像與紅外邊緣圖像重合的部分進(jìn)行尺度不變特征轉(zhuǎn)換，得到可 見光邊緣圖像對(duì)應(yīng)的特征點(diǎn)描述信息W及紅外邊緣圖像對(duì)應(yīng)的特征點(diǎn)描述信息。根據(jù)轉(zhuǎn)換 后得到的可見光邊緣圖像對(duì)應(yīng)的特征點(diǎn)描述信息W及紅外邊緣圖像對(duì)應(yīng)的特征點(diǎn)描述信 息確定匹配點(diǎn)對(duì)。每組匹配點(diǎn)對(duì)由可見光邊緣圖像中的一個(gè)點(diǎn)和紅外邊緣圖像中的一個(gè)點(diǎn) 組成，運(yùn)兩個(gè)點(diǎn)具有共同的方向、尺度和位置。
[0033] S130、根據(jù)至少四組匹配點(diǎn)對(duì)、可見光相機(jī)的內(nèi)參矩陣W及紅外相機(jī)的內(nèi)參矩陣 確定外參矩陣。
[0034] 為了方便描述設(shè)定紅外相機(jī)為Cl和可見光相機(jī)為C2，C2相對(duì)于Cl的旋轉(zhuǎn)矩陣為R， 平移向量t，被攝物體上的某一點(diǎn)P的世界坐標(biāo)為(Xw，Yw，Zw)，點(diǎn)P在兩個(gè)相機(jī)的像平面中所 成的像點(diǎn)分別為Pl，P2，Pl的像素坐標(biāo)為(山，Vl )，P2的像素坐標(biāo)為(U2，V2 )。
[0035] 假設(shè)Cl的攝像機(jī)坐標(biāo)系與世界坐標(biāo)系重合，貝化2的攝像機(jī)坐標(biāo)系與世界坐標(biāo)系的 關(guān)系可用C2相對(duì)于Cl的旋轉(zhuǎn)矩陣R和平移向量t來表示（即公式一），公式一給出了從不同視 角獲取包含同一場(chǎng)景的兩幅圖像之間的幾何變換關(guān)系，亦可稱為基于攝像機(jī)運(yùn)動(dòng)參數(shù)的圖 像變換模型：
[0037]其中，K功紅外相機(jī)Cl的內(nèi)參矩陣，K2為可見光相機(jī)C2的內(nèi)參矩陣，R表示攝像機(jī)C2 相對(duì)于攝像機(jī)Cl旋轉(zhuǎn)矩陣;t表示攝像機(jī)C2相對(duì)于攝像機(jī)Cl的位移向量，[R t]為外參矩陣，R 為3 X 3矩陣，t為1 X 3矩陣，Zci，Zc2分別表示點(diǎn)P到攝像機(jī)Cl，C2像平面的距離，該距離為焦距 與物距之和，其中物距可通過使用測(cè)量工具（如皮尺等）測(cè)量得到，也可通過超聲波傳感器 等用于測(cè)量距離的傳感器獲取。
[003引假設(shè)S120得到的四組匹配特征點(diǎn)對(duì)的特征點(diǎn)坐標(biāo)分別為(xi，yi)，（x/，y/ )，（X2， 72)，（X2' ,y2' )，（X3,y3)，（X' 3,y3')，（X4,y4)，（X' 4,y4')，且Xi辛X2辛X3辛X4，yi辛y2辛y3辛y4, ^豐義}!豐1^ 3豐乂 豐3"^豐33'豐3^。
[0039]已知紅外相機(jī)的內(nèi)參矩陣Ki和可見光相機(jī)的內(nèi)參矩陣K2，分別為：
[0041] 其中，fcxi為紅外相機(jī)像平面中U軸方向的尺度因子，fcyl為紅外相機(jī)像平面中V軸 方向的尺度因子，（Cxl，Cyl)表示紅外相機(jī)的像平面的中屯、點(diǎn)坐標(biāo)。
[0042] fcx2為可見光相機(jī)像平面中U軸方向的尺度因子，fcy2為可見光相機(jī)像平面中V軸方 向的尺度因子，（Cx2，Cy2 )表示可見光相機(jī)的像平面的中屯、點(diǎn)坐標(biāo)。
[00創(chuàng)將Ki和拉代入公式一中，得到公式一的展開式為：
[0045] (i = l，2,3，...，N)(公式二）
[0046] N為大于等于4的整數(shù)。由于R為3 X 3矩陣，t為1 X 3矩陣，因此共有12個(gè)未知量。每