本發(fā)明屬于圖像配準(zhǔn)，具體涉及一種人臉圖像配準(zhǔn)方法及系統(tǒng)。

背景技術(shù)：

1、由于多光譜相機或高光譜相機的空間分辨率沒有rgb圖像傳感器高，為了提供最后效果圖像的清晰度，一般會采用雙攝像頭的方案。因此需要將光譜相機的圖像與高清rgb圖像進行對準(zhǔn)融合。圖像配準(zhǔn)是將多個圖像對齊以實現(xiàn)它們之間的空間對應(yīng)關(guān)系的過程。以下是幾種常見的圖像配準(zhǔn)方法：

2、基于特征的配準(zhǔn)：是一種較為傳統(tǒng)的圖像配準(zhǔn)方法，它的基本思想是在兩幅圖像中檢測出一些具有顯著區(qū)域的特征點，例如角點、邊緣點或紋理點及特征點周圍的描述子。這些描述子包含了特征點周圍的局部結(jié)構(gòu)信息，可以更準(zhǔn)確地描述圖像的特征。通過提取并匹配這些特征的描述子，可以計算出更精確的圖像變換關(guān)系，實現(xiàn)圖像的配準(zhǔn)。常用的特征提取和匹配算法包括harris角點檢測、sift、surf(加速穩(wěn)健特征)和orb(方位校正fast特征)等。基于特征的配準(zhǔn)方法在處理圖像中的旋轉(zhuǎn)、尺度、亮度變化以及視角變化方面具有較好的魯棒性和準(zhǔn)確性。

3、基于區(qū)域的配準(zhǔn)：該方法將圖像分割為多個區(qū)域，并將每個區(qū)域進行對齊。可以使用分割算法(如分水嶺算法、閾值分割等)將圖像分割為區(qū)域，然后對每個區(qū)域進行獨立的配準(zhǔn)，無法實現(xiàn)非剛性配準(zhǔn)。

4、相位相關(guān)法：該方法利用圖像中的頻率信息進行配準(zhǔn)。它通過計算圖像的傅里葉變換，并在頻域中進行相關(guān)計算，找到最大相關(guān)峰值的位置，從而確定圖像之間的空間變換，無法實現(xiàn)非剛性配準(zhǔn)。

5、灰度互信息：該方法通過計算圖像的灰度直方圖及其互信息來進行配準(zhǔn)。互信息度量了兩個圖像之間的統(tǒng)計相關(guān)性，通過最大化互信息來確定最佳的圖像變換，無法實現(xiàn)非剛性配準(zhǔn)。

6、形態(tài)學(xué)配準(zhǔn)：該方法利用形態(tài)學(xué)操作(如腐蝕、膨脹、開閉運算等)來對圖像進行配準(zhǔn)。通過對圖像進行形態(tài)學(xué)變換，使得兩幅圖像的結(jié)構(gòu)對齊，從而實現(xiàn)配準(zhǔn)，無法實現(xiàn)非剛性配準(zhǔn)。

7、因此簡單的剛性配準(zhǔn)的配準(zhǔn)精度不夠或配準(zhǔn)速度慢。有鑒于此，提出一種人臉圖像配準(zhǔn)方法及系統(tǒng)是非常具有意義的。

技術(shù)實現(xiàn)思路

1、為了解決現(xiàn)有在rgb相機和光譜相機的圖像進行配準(zhǔn)時，無法實現(xiàn)拍照時刻的硬同步，且兩個相機視場不同，也存在畸變，因此簡單的剛性配準(zhǔn)的配準(zhǔn)精度不夠或配準(zhǔn)速度慢的問題，本發(fā)明提供一種人臉圖像配準(zhǔn)方法及系統(tǒng)，根據(jù)人臉的特點，提供了一個快速且精準(zhǔn)的配準(zhǔn)方法，以解決上述存在的技術(shù)缺陷問題。

2、第一方面，本發(fā)明提出了一種人臉圖像配準(zhǔn)方法，該方法包括如下步驟：

3、對高清rgb圖像進行預(yù)處理，獲得與光譜圖像像素和尺寸一致的含人臉的高清rgb圖；

4、從所述光譜圖像中選取第一待配準(zhǔn)圖像，在所述第一待配準(zhǔn)圖像和高清rgb圖中分別采用人臉識別算法進行人臉關(guān)鍵點的識別和標(biāo)記，利用獲取的所述人臉關(guān)鍵點完成對人臉的粗對齊，并輸出第一對齊矩陣；

5、進一步識別匹配點，包括通過圖像特征點配準(zhǔn)方法識別所述匹配點和通過區(qū)域配準(zhǔn)方法識別所述匹配點，對獲取的所述匹配點進行精細(xì)對齊，并輸出第二對齊矩陣。

6、優(yōu)選的，所述通過圖像特征點配準(zhǔn)方法識別所述匹配點具體包括：

7、根據(jù)所述第一對齊矩陣將所述第一待配準(zhǔn)圖像進行空間變換，輸出第二待配準(zhǔn)圖像；

8、將輸出的所述第二待配準(zhǔn)圖像和高清rgb圖通過特征算法，分別識別特征點，并分別組成各自的特征點集合；

9、進一步構(gòu)建兩個所述特征點集合之間的特征點對集合，根據(jù)各特征點對中的兩個特征點之間的斜率及歐式距離對所述特征點對集合進行篩選，得到第一候選匹配點對集合。

10、進一步優(yōu)選的，所述通過區(qū)域配準(zhǔn)方法識別所述匹配點具體包括：

11、將所述第一待配準(zhǔn)圖像和高清rgb圖分隔成若干個區(qū)域，將每個區(qū)域分別對齊，形成第三對齊矩陣；

12、將所述第一待配準(zhǔn)圖像中的所述人臉關(guān)鍵點按照所述第三對齊矩陣進行空間變化，構(gòu)建所述第一待配準(zhǔn)圖像和高清rgb圖兩個圖之間的關(guān)鍵點對集合；

13、根據(jù)各所述關(guān)鍵點對中的兩個關(guān)鍵點之間的歐式距離對所述關(guān)鍵點對集合進行篩選，得到第二候選匹配點對集合。

14、進一步優(yōu)選的，還包括：

15、采用所述人臉關(guān)鍵點對人臉進行劃分，劃分成包括人臉五官、額頭、臉頰、下巴的不同區(qū)域；

16、其中，區(qū)域劃分和區(qū)域大小根據(jù)具體的對齊效果進行優(yōu)化調(diào)整；在同一水平面上進行區(qū)域劃分，且每一個區(qū)域面積控制在預(yù)設(shè)范圍；對齊方法包括相位對齊和圖像相似性對齊。

17、優(yōu)選的，所述對獲取的所述匹配點進行精細(xì)對齊，并輸出第二對齊矩陣，包括：

18、將得到的所述第一候選匹配點對集合和第二候選匹配點對集合合并成最終的匹配點對集合，通過非剛性對齊方式計算幾何變換關(guān)系，并輸出第二對齊矩陣。

19、進一步優(yōu)選的，所述通過非剛性對齊方式計算幾何變換關(guān)系的方法包括tps變換、pde和demons算法。

20、優(yōu)選的，還包括：將從光譜圖像中分析得到的第一光譜效果圖通過輸出的所述第一對齊矩陣和第二對齊矩陣進行空間變換后獲得第二光譜效果圖，再將變換后的所述第二光譜效果圖與高清rgb圖進行融合，形成結(jié)果圖。

21、優(yōu)選的，還包括：提取所述高清rgb圖的紋理特征，形成紋理特征圖；將變換后的所述第二光譜效果圖放大到所述高清rgb圖的圖像大?。粚⑺黾y理特征圖疊加到所述第二光譜效果圖的圖像中，形成結(jié)果圖。

22、優(yōu)選的，所述第一光譜效果圖包括皮膚檢測分析的紅圖、棕圖、黑圖和綠圖。

23、優(yōu)選的，所述從所述光譜圖像中選取第一待配準(zhǔn)圖像包括：選取某一波段的所述光譜圖像作為第一待配準(zhǔn)圖像或?qū)⑺龉庾V圖像劃分為r、g、b三個波段，然后疊加形成三色圖像，通過所述三色圖像計算形成所述第一待配準(zhǔn)圖像。

24、進一步優(yōu)選的，還包括：通過所述第一待配準(zhǔn)圖像和高清rgb圖中的所述人臉關(guān)鍵點進行剛性配準(zhǔn)，形成幾何變換關(guān)系即第二對齊矩陣。

25、第二方面，本發(fā)明實施例提供了一種人臉圖像配準(zhǔn)系統(tǒng)，包括：

26、圖像預(yù)處理模塊，配置用于對高清rgb圖像進行預(yù)處理，獲得與光譜圖像像素和尺寸一致的含人臉的高清rgb圖；

27、第一對齊矩陣模塊，配置用于從所述光譜圖像中選取第一待配準(zhǔn)圖像，在所述第一待配準(zhǔn)圖像和高清rgb圖中分別采用人臉識別算法進行人臉關(guān)鍵點的識別和標(biāo)記，利用獲取的所述人臉關(guān)鍵點完成對人臉的粗對齊，并輸出第一對齊矩陣；

28、第二對齊矩陣模塊，配置用于進一步識別匹配點，包括通過圖像特征點配準(zhǔn)方法識別并獲得第一候選匹配點對集合和通過區(qū)域配準(zhǔn)方法識別并獲得第二候選匹配點對集合，對獲取的所述匹配點進行精細(xì)對齊，并輸出第二對齊矩陣。

29、優(yōu)選的，還包括：融合模塊，配置用于將從光譜圖像中分析得到的第一光譜效果圖通過輸出的所述第一對齊矩陣和第二對齊矩陣進行空間變換后獲得第二光譜效果圖，再將變換后的所述第二光譜效果圖與高清rgb圖進行融合，形成結(jié)果圖。

30、進一步優(yōu)選的，在所述第二對齊矩陣模塊中，所述通過圖像特征點配準(zhǔn)方法識別并獲得第一候選匹配點對集合具體包括：

31、根據(jù)所述第一對齊矩陣將所述第一待配準(zhǔn)圖像進行空間變換，輸出第二待配準(zhǔn)圖像；將輸出的所述第二待配準(zhǔn)圖像和高清rgb圖通過特征算法，分別識別特征點，并分別組成各自的特征點集合；進一步構(gòu)建兩個所述特征點集合之間的特征點對集合，根據(jù)各特征點對中的兩個特征點之間的斜率以及歐式距離對所述特征點對集合進行篩選，得到第一候選匹配點對集合。

32、進一步優(yōu)選的，在所述第二對齊矩陣模塊中，所述通過區(qū)域配準(zhǔn)配準(zhǔn)方法識別并獲得第二候選匹配點對集合具體包括：

33、將所述第一待配準(zhǔn)圖像和高清rgb圖分隔成若干個區(qū)域，將每個區(qū)域分別對齊，形成第三對齊矩陣；將所述第一待配準(zhǔn)圖像中的所述人臉關(guān)鍵點按照所述第三對齊矩陣進行空間變化，構(gòu)建所述第一待配準(zhǔn)圖像和高清rgb圖兩個圖之間的關(guān)鍵點對集合；根據(jù)各所述關(guān)鍵點對中的兩個關(guān)鍵點之間的歐式距離對所述關(guān)鍵點對集合進行篩選，得到第二候選匹配點對集合。

34、進一步優(yōu)選的，在所述第二對齊矩陣模塊中，所述對獲取的所述匹配點進行精細(xì)對齊，并輸出第二對齊矩陣，包括：

35、將得到的所述第一候選匹配點對集合和第二候選匹配點對集合合并成最終的匹配點對集合，通過非剛性對齊方式計算幾何變換關(guān)系，并輸出第二對齊矩陣。

36、與現(xiàn)有技術(shù)相比，本發(fā)明的有益成果在于：

37、(1)根據(jù)人臉特性，采用人臉的關(guān)鍵點進行剛性的粗配準(zhǔn)，能快速的實現(xiàn)粗配準(zhǔn)。

38、(2)通過特征提取選取匹配點實現(xiàn)非剛性配準(zhǔn)，與剛性配準(zhǔn)配合，提高了配準(zhǔn)的準(zhǔn)確性。

39、(3)由于人臉特征點分布不均勻，采用區(qū)域配準(zhǔn)的方式選取匹配點，對特征提取的匹配點進行補充，實現(xiàn)更精準(zhǔn)的細(xì)節(jié)匹配。