本發(fā)明屬于圖像配準領域，涉及一種面向場景和光照變化下對高值圖像高精度配準方法。這個方法將相機的快速重定位技術應用到場景與光照都發(fā)生變化的圖像高精度配準問題中，以相機重定位過程中與上次觀測圖像出現(xiàn)的1個主方向圖像與6個輔方向圖像對當前圖像高精度配準為目標。

背景技術：

本發(fā)明中涉及到的背景技術有：

(1)變化探測(Change Detection)：變化探測是高層視覺應用的重要預處理步驟。在變化探測中的探測步驟和決策規(guī)則中，CDNet提供了一個現(xiàn)實的大規(guī)?；鶞室曨l數(shù)據(jù)集，并且在變化探測算法中保持很好的排名?；谧罱绿岢龅脑S多算法，例如SOBS、SC_SOBS，Sub SENSE等，CDNet中的背景建模是最成功的策略之一。其他值得一提的發(fā)展包括基于變化探測的三維體素(3Dvoxel)和使用多個全景圖與三維深度數(shù)據(jù)的城市規(guī)模結構變化探測。為了解決光照變化與相機運動的影響，目前最優(yōu)秀的方法著眼于探測空間與光度上顯著的變化，并且含蓄得處理像噪音一樣的微妙變化。然而，在一些發(fā)生在空間與光度變化不重要的小尺度上，這種基礎的假設很大程度上限制了其對于微妙的紋理變化探測的能力。我們的發(fā)明表明低秩分析(low-rank analysis)可以用來分解多幅圖片中的稀疏變化。

(2)色彩連續(xù)性(Color Constancy)：在變化探測中，快速的色彩連續(xù)性被廣泛應用到校正光照變化。由于實時速度的要求，大多數(shù)變化探測方法只能用簡單的靜態(tài)色彩連續(xù)性處理辦法，這樣就限制了其容忍頻繁且劇烈的光照變化的能力。除此之外，本征圖像可以用來校正同一場景下不同光照的差別。近來，本征圖像的分解已經(jīng)被進一步擴展到多種組成部分，包括從一張或者多張圖片中分解的形狀、光照、反射率等。但是，最近的這些發(fā)展或者需要復雜的優(yōu)化函數(shù)，或者需要在密集的照明條件下捕獲多張圖片，這使得它們并不能直接適用于低成本、端對端、紋理細密的變化探測。

(3)幾何校正(Geometry Correction)：幾何校正是另一個在具有魯棒性的變化探測中不可或缺的組成部分。針對剛性場景的傳統(tǒng)方法包括相似性、仿射或投影變換。對于非剛性的動態(tài)場景，光流可以用來校正有錯位的相機幾何體的偏差。我們的發(fā)明考慮到多照明約束的條件，采用了擴展的SIFT流來進行幾何校正。

技術實現(xiàn)要素：

本發(fā)明針對現(xiàn)有技術在高值場景中精確探測到有細密紋理的圖像變化的不足，將相機重定位應用到精細的變化探測中，通過獲取場景、光照變化下的圖像，提供一種端對端由粗到細保證變化探測健壯性與精確性的新技術，有利于進一步提高對有微妙細密紋理變化探測能力。

為此，本發(fā)明采用如下的技術方案，主要包括下列步驟：

1.相機重定位：

收集不同時間的場景觀測樣本。在一個場景中采集7張圖片：1個環(huán)境照明和6個定向側照明。這些圖片被存儲為列向量。

給定X作為上述7個照明所組成的矩陣如下：

其中，1≤k≤K，K為側照明定向的個數(shù)(這里取K＝6)。

將當前的相機重定位到與上次觀測相近的角度和位置，通過與上次觀測的多張DSL比對后粗略調整，獲取當前的觀測矩陣Y：

相機重定位步驟：

(a)初始化當前相機到合理的位置，使得這個位置足夠大以至于包含真正的目標區(qū)域。I_c代表當前圖片對應照相機的姿勢和位置；

(b)保持一個藍色的矩形框R_b在I_c的中心，一個紅色的導航矩形框R_r代表當前相機姿勢與目標區(qū)域的相對幾何差。動態(tài)調整相機的姿勢及位置直至有如下等式成立：

R_r＝HR_b

其中H是由I_c和X_EL計算出的單位矩陣。

2.L(光照差)與F(相機幾何校正流)的初始化：

L代表光照差，F(xiàn)代表相機的幾何校正流。

由(1)中給出的X、Y，假設有圖像x_i和y_i：其中，i＝0時代表EL圖像，1≤i≤K時代表DSL圖像。得到了全局線性光度校正矩陣和一個偏移向量的公式：

其中，和分別代表圖像x_i和y_i的匹配SIFT特征點的RGB顏色。(*)為準規(guī)范光照模型，在封閉的形式下可解。

3.正常感知照明校正：

基于朗伯反射模型(Lambertian Reflectance Model)：

I_p＝∫＜n_p,w＞ρ_pL(w)dw

其中，I_p、n_p和ρ_p分別代表像素p的顏色、常態(tài)和反照率，L(w)為照明函數(shù)。

通過給X_F中加入虛擬光L^v(.)來校正其與當前觀測Y的光照偏差，得到如下公式：

其中，是像素p校正后的顏色，是加入虛擬光度后產(chǎn)生的顏色增量。

因此，用下面的函數(shù)平衡X與Y的光度差，即將下面的函數(shù)最小化：

其中，Lⁱ是第i個光照下X與Y的空間變化正常感知照明差。公式的前半部分鼓勵了與yⁱ的光度一致性。是可變的，其中0≤C_p≤1是像素p變化的可能性。公式的后半部分鼓勵虛擬光空間的連續(xù)性，w_pq代表p和q的相似性、p～q表示p與q相鄰。

4.相機幾何位置校正：

根據(jù)正常感知照明差Lⁱ，可以得到一個新的被校正過的光度X_L。通過擴展SIFT框架，修正其能量函數(shù)如下：

其中，與(3)中相同。

至此，通過對上述步驟可以得到與上次拍攝的圖片位置、光照幾乎完全的相同的圖片，可進行探測發(fā)現(xiàn)其細密的紋理變化。

本發(fā)明所提出的通過低秩多尺度超像素融合來進行顯著性和協(xié)同顯著性檢測的技術主要包括以下步驟：

1)單尺度的顯著性的檢測；

2)多尺度顯著性的融合；

3)顯著性的細化；

本發(fā)明取得了更可靠的顯著性檢測結果，有助于進一步提高現(xiàn)有技術對顯著性檢測的處理能力。

本發(fā)明的優(yōu)點和積極效果：

本發(fā)明提出了多尺度低秩顯著性檢測方法，并通過運用基于GMM的協(xié)同顯著性先驗，將多尺度低秩顯著性檢測推廣到多幅圖像協(xié)同顯著性檢測中，以檢測多幅圖像中出現(xiàn)的相同或相似的區(qū)域。與傳統(tǒng)的顯著性檢測方法相比，本發(fā)明所提出的低秩多尺度超像素融合算法解決了尺度選擇困難的問題，并取得了更可靠的顯著性檢測結果。

附圖說明

圖1：圖像高精度配準流程圖

圖2：頤和園佛像細微變化探測圖

圖3：相機重定位圖

具體實施方式

下面結合附圖并通過具體實施例對本發(fā)明作進一步詳述，以下實施例只是描述性的，不是限定性的，不能以此限定本發(fā)明的保護范圍。

一種場景和光照變化條件下的圖像高精度配準方法，步驟如下：

1.相機重定位：

收集不同時間的場景觀測樣本。在一個場景中采集7張圖片：1個環(huán)境照明和6個定向側照明。這些圖片被存儲為列向量。

給定X作為上述7個照明所組成的矩陣如下：

其中，1≤k≤K，K為側照明定向的個數(shù)(這里取K＝6)。

將當前的相機重定位到與上次觀測相近的角度和位置，通過與上次觀測的多張DSL比對后粗略調整，獲取當前的觀測矩陣Y：

相機重定位步驟：

(a)初始化當前相機到合理的位置，使得這個位置足夠大以至于包含真正的目標區(qū)域。I_c代表當前圖片對應照相機的姿勢和位置；

(b)保持一個藍色的矩形框R_b在I_c的中心，一個紅色的導航矩形框R_r代表當前相機姿勢與目標區(qū)域的相對幾何差。動態(tài)調整相機的姿勢及位置直至有如下等式成立：

R_r＝HR_b

其中H是由I_c和X_EL計算出的單位矩陣。

2.L(光照差)與F(相機幾何校正流)的初始化：

L代表光照差，F(xiàn)代表相機的幾何校正流。

由(1)中給出的X、Y，假設有圖像x_i和y_i：其中，i＝0時代表EL圖像，1≤i≤K時代表DSL圖像。得到了全局線性光度校正矩陣和一個偏移向量的公式：

其中，和分別代表圖像x_i和y_i的匹配SIFT特征點的RGB顏色。(*)為準規(guī)范光照模型，在封閉的形式下可解。

3.正常感知照明校正：

基于朗伯反射模型(Lambertian Reflectance Model)：

I_p＝∫＜n_p,w＞ρ_pL(w)dw

其中，I_p、n_p和ρ_p分別代表像素p的顏色、常態(tài)和反照率，L(w)為照明函數(shù)。

通過給X_F中加入虛擬光L^v(.)來校正其與當前觀測Y的光照偏差，得到如下公式：

其中，是像素p校正后的顏色，是加入虛擬光度后產(chǎn)生的顏色增量。

因此，用下面的函數(shù)平衡X與Y的光度差，即將下面的函數(shù)最小化：

其中，Lⁱ是第i個光照下X與Y的空間變化正常感知照明差。公式的前半部分鼓勵了與yⁱ的光度一致性。是可變的，其中0≤C_p≤1是像素p變化的可能性。公式的后半部分鼓勵虛擬光空間的連續(xù)性，w_pq代表p和q的相似性、p～q表示p與q相鄰。

4.相機幾何位置校正：

根據(jù)正常感知照明差Lⁱ，可以得到一個新的被校正過的光度X_L。通過擴展SIFT框架，修正其能量函數(shù)如下：

其中，與(3)中相同。

低秩多尺度融合的圖像顯著性檢測方法是基于低秩多尺度融合方法，將已經(jīng)配準好的兩張圖像，通過該方法，從而為不同區(qū)域的顯著性檢測。

其操作步驟如下：

步驟S1：準備參考圖像和當前圖像兩張圖像，并載入到該方法中。

步驟S2：將當前圖像進行光照、光流的初始化，通過對當前圖像和參考圖像處理，將當前狀態(tài)下圖像處理成上次狀態(tài)下圖像相同光照下的圖像，初步消除前后兩次圖像光照的影響。

步驟S3：將當前狀態(tài)圖像進行光照校正，計算出上次狀態(tài)下圖像到當前狀態(tài)下圖像的變換矩陣，將當前圖像加上變化量矩陣，最終達到正常光照校正的效果。

步驟S4：將當前圖像進行幾何校正，計算出兩張圖像的偏移量，并將偏移量作用到當前圖像中，最終實現(xiàn)相機幾何校正的效果。