本發(fā)明屬于圖像識別，具體涉及一種基于視角對齊的圖像變化分割方法。

背景技術(shù)：

1、在計算機視覺中，無論是在3d場景或者2d場景下，都能夠精確地檢測和定位變化仍然是一項具有挑戰(zhàn)性的任務(wù)。想象一下，如果能夠識別在不同時刻從不同視點拍攝的同一場景的兩幅圖像之間的變化，這是在這項工作中要解決的挑戰(zhàn)。隨著機器人、設(shè)施監(jiān)控、取證和增強現(xiàn)實等領(lǐng)域的應(yīng)用，我們的工作有可能為理解和與動態(tài)世界互動提供新的可能性。我們將研究的問題表述如下:給定一對任何場景（3d或者2d）的rgb圖像，在相機位置和不同時間的顯著變化下捕獲，我們希望定位它們之間的變化。特別是，我們希望捕捉到在兩幅圖像中可見的區(qū)域中物理上不同的一切，同時忽略由于相機姿勢或遮擋的變化而從視圖中出現(xiàn)或消失的區(qū)域。這包括可能已經(jīng)從場景中添加或刪除的對象，以及可能已經(jīng)添加到對象上的文本或裝飾，與此同時忽略光度差異，例如照明變化。此外，為了不考慮相機參數(shù)和相機姿勢等額外的信息情況下，只對rgb圖像進行操作，不管是什么場景下的圖像對都能檢測出它們之間的變化。因此，如何在無視各種場景以及環(huán)境的影響下，提供可靠地精準地檢測變動是一個具有挑戰(zhàn)性地問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明為了克服以上技術(shù)的不足，提供了一種基于視角對齊的圖像變化分割方法。

2、本發(fā)明為實現(xiàn)上述目的，通過以下技術(shù)方案實現(xiàn)：

3、第一方面，本發(fā)明提供一種基于視角對齊的圖像變化分割方法，包括以下步驟：

4、s1.獲取原始圖像對，并對圖像對進行預(yù)處理，得到預(yù)處理后的兩幅圖像；

5、s2.所述預(yù)處理后的兩幅圖像經(jīng)過2d場景對齊模塊得到兩幅圖像對應(yīng)的對齊圖像；

6、s3.構(gòu)建特征提取模塊，將預(yù)處理后的兩幅圖像以及兩幅圖像對應(yīng)的對齊圖像輸入到特征提取模塊進行特征提取，得到兩幅圖像對應(yīng)的特征信息；

7、s4.構(gòu)建初步變動檢測網(wǎng)絡(luò)，所述初步變動檢測網(wǎng)絡(luò)包括3d場景圖像配準模塊和差異模塊，兩幅對齊圖像對應(yīng)的特征信息輸入到初步變動檢測網(wǎng)絡(luò)中，得到兩幅圖像對應(yīng)的差異信息；

8、s5.構(gòu)建特征融合模塊，將所述兩幅圖像對應(yīng)的差異信息輸入到特征融合模塊進行特征融合，得到兩幅圖像對應(yīng)的變動信息；

9、s6.構(gòu)建邊框檢測的定位網(wǎng)絡(luò)，將兩幅圖像對應(yīng)的變動信息輸入到邊框檢測的定位網(wǎng)絡(luò)，得到兩幅圖像各自的變動區(qū)域的邊界框。

10、進一步地，步驟s1具體為：

11、對兩幅原始圖像進行幾何變換操作，得到預(yù)處理后的尺寸為的左圖像和右圖像，，表示矩陣元素的數(shù)據(jù)類型為實數(shù)，為圖像的高，為圖像的寬，3為圖像的通道數(shù)，表示圖像是由一個形狀大小為的實數(shù)矩陣構(gòu)成，同理。

12、進一步地，步驟s2所述2d場景對齊模塊由圖像特征點匹配單元和單應(yīng)性配準單元構(gòu)成，具體為：

13、s21.預(yù)處理后的左圖像和右圖像經(jīng)過圖像特征點匹配單元利用特征匹配提取器進行特征點提取，得到左圖像匹配的特征點集和右圖像匹配的特征點集，同時預(yù)處理后的左圖像和右圖像利用單目深度估計器分別得到對應(yīng)的深度圖；

14、s22.所述特征點集和經(jīng)過單應(yīng)性配準單元計算單應(yīng)性變換矩陣，得到的變換矩陣，和的變換矩陣，所述變換矩陣和應(yīng)用到對應(yīng)圖像中實現(xiàn)圖像對齊，得到左圖像基于右圖像r的2d場景下的對齊圖像和右圖像基于左圖像l的2d場景下的對齊圖像，。

15、進一步地，步驟s3所述特征提取模塊包括基準特征提取模型和u-net編碼器，具體為：

16、s31.將預(yù)處理后的左圖像、預(yù)處理后的右圖像、左圖像的對齊圖像和右圖像的對齊圖像輸入到基準特征提取模型進行特征提取，得到對應(yīng)的初步的特征信息，將預(yù)處理后的左圖像對應(yīng)的初步的特征信息與右圖像的對齊圖像對應(yīng)的初步的特征信息以合并通道數(shù)的方式進行合并得到左圖像l的合并特征信息，將預(yù)處理后的右圖像對應(yīng)的初步的特征信息與左圖像的對齊圖像對應(yīng)的初步的特征信息以合并通道數(shù)的方式進行合并得到右圖像r的合并特征信息；

17、s32.將和分別輸入到各自的u-net編譯器中，分別輸出得到和對應(yīng)的五個不同尺度的中間特征圖和，，當s=1時，特征圖的尺度大小為64×64，當s=2時，特征圖的尺度大小為32×32，當s=3時，特征圖的尺度大小為16×16，當s=4時，特征圖的尺度大小為8×8，當s=5時，特征圖的尺度大小為4×4。

18、進一步地，步驟s4所述初步變動檢測網(wǎng)絡(luò)包括3d場景圖像配準模塊和差異模塊，所述差異模塊由減操作構(gòu)成，具體為：

19、s41.將對應(yīng)的中間特征圖和對應(yīng)的中間特征圖分別進行通道對半劃分操作，得到左圖像對應(yīng)的特征圖、圖像對應(yīng)的特征圖、右圖像對應(yīng)的特征圖和圖像對應(yīng)的特征圖，其中，；

20、s42.在3d場景圖像配準模塊中，根據(jù)步驟s21獲得預(yù)處理后的左圖像對應(yīng)的特征點集、右圖像的對應(yīng)的特征點集和預(yù)處理后的左圖像對應(yīng)的深度圖以及右圖像的對應(yīng)的深度圖，首先對特征點集中的每個點進行反投影得到投影向量，進而得到齊次坐標下的特征點集分別對應(yīng)的稀疏三維點云，根據(jù)稀疏三維點云通過計算公式，估計出向?qū)R的3d線性變換矩陣，同時根據(jù)稀疏三維點云通過計算公式，估計出向?qū)R的3d線性變換矩陣，公式表示如下：

21、，

22、，

23、，

24、其中，表示的深度值，表示的矩陣廣義逆，表示的矩陣廣義逆；

25、s43.將左圖像對應(yīng)的特征圖的圖像坐標利用步驟s42獲得3d線性變換矩陣將其變換成三維坐標系下的圖像坐標，利用點云工具將轉(zhuǎn)換后的圖像坐標和特征圖封裝成點云對象，最后通過可微分渲染器將點云對象渲染成特征圖基于3d場景對應(yīng)的對齊圖像特征，；同理，得到特征圖基于3d場景對應(yīng)的對齊圖像特征，；

26、s44.將左圖像對應(yīng)的特征圖、圖像對應(yīng)的特征圖以及特征圖基于3d場景對應(yīng)的對齊圖像特征輸入到差異模塊中，通過減操作，得到左圖像基于2d場景下差異信息和左圖像基于3d場景下差異的信息，公式表示如下：

27、

28、，

29、同理，得到右圖像r基于2d場景下差異信息和右圖像r基于3d場景下差異信息。

30、進一步地，步驟s5所述特征融合模塊具體為：

31、將差異信息和進行拼接，得到拼接特征，將拼接特征輸入線性層得到中間特征，然后進行卷積操作，得到權(quán)重，將權(quán)重與左圖像對應(yīng)的特征圖逐元素相乘，最終得到左圖像的變動信息，公式表示如下：

32、，

33、，

34、，

35、其中，表示兩個特征進行通道合并，表示非線性激活函數(shù)，表示第一卷積層，表示第二卷積層，表示sigmoid激活函數(shù)，表示逐元素相乘操作；同理，得到右圖像的變動信息。

36、進一步地，步驟s6具體為：

37、所述變動信息和經(jīng)過u-net解碼器進行上采樣和解碼，得到左圖像對應(yīng)的特征映射和右圖像對應(yīng)的特征映射，然后將特征映射和輸入到centernet網(wǎng)絡(luò)頭部進行邊框檢測和定位，得到兩幅圖像各自變動區(qū)域的邊界框。

38、第二方面，一種基于視角對齊的圖像變化分割裝置，包括：

39、數(shù)據(jù)獲取單元：用于獲取原始圖像對，并對圖像對進行預(yù)處理，得到預(yù)處理后的兩幅圖像；

40、2d場景對齊單元：用于將所述預(yù)處理后的兩幅圖像經(jīng)過2d場景對齊模塊得到兩幅圖像對應(yīng)的對齊圖像；

41、特征提取單元：用于將預(yù)處理后的兩幅圖像以及兩幅圖像對應(yīng)的對齊圖像輸入到特征提取模塊進行特征提取，得到兩幅圖像對應(yīng)的特征信息；

42、第一構(gòu)建單元：用于構(gòu)建初步變動檢測網(wǎng)絡(luò)，所述初步變動檢測網(wǎng)絡(luò)包括3d場景圖像配準模塊和差異模塊，兩幅對齊圖像對應(yīng)的特征信息輸入到初步變動檢測網(wǎng)絡(luò)中，得到兩幅圖像對應(yīng)的差異信息；

43、第二構(gòu)建單元：用于構(gòu)建特征融合模塊，并將所述兩幅圖像對應(yīng)的差異信息輸入到特征融合模塊進行特征融合，得到兩幅圖像對應(yīng)的變動信息；

44、第三構(gòu)建單元：用于構(gòu)建邊框檢測的定位網(wǎng)絡(luò)，并將兩幅圖像對應(yīng)的變動信息輸入到邊框檢測的定位網(wǎng)絡(luò)，得到兩幅圖像各自的變動區(qū)域的邊界框。

45、第三方面，一種電子設(shè)備，包括：處理器、存儲器和總線，所述存儲器存儲有所述處理器可執(zhí)行的機器可讀指令，當電子設(shè)備運行時，所述處理器與所述存儲器之間通過總線通信，所述機器可讀指令被所述處理器執(zhí)行時執(zhí)行如第一方面所述的基于視角對齊的圖像變化分割方法的步驟。

46、第四方面，一種計算機可讀存儲介質(zhì)，其特征在于，該計算機可讀存儲介質(zhì)上存儲有計算機程序，該計算機程序被處理器運行時執(zhí)行如第一方面所述的基于視角對齊的圖像變化分割方法的步驟。

47、本發(fā)明的優(yōu)點在于：

48、本發(fā)明采用圖像配準差異結(jié)構(gòu)和融合結(jié)構(gòu)結(jié)合組成的網(wǎng)絡(luò)。通過兩種圖像配準的方式分別對rgb圖像對進行對齊，以此獲得兩種差異信息，一種傾向于2d場景的差異信息，一種是傾向于3d場景的差異信息。然后通過融合結(jié)構(gòu)將兩種差異信息進行有效的融合，彌補了變動差異信息不足的問題。同時，該網(wǎng)絡(luò)采用的是siamese神經(jīng)網(wǎng)絡(luò)架構(gòu)，以此可以同時對兩幅圖像進行操作，更好地完成變動區(qū)域的識別。