專利名稱：一種人臉圖像重光照的方法及裝置的制作方法
技術領域：
本發(fā)明涉及數(shù)字圖像處理領域，特別涉及一種人臉圖像重光照的方法，以 及一種人臉圖像重光照的裝置。
背景技術：
隨著數(shù)字圖像處理技術的發(fā)展，對各種不同圖像的處理中，得出圖像光照 條件的變化在圖像成像過程中起著越來越重要的作用。尤其是在人臉圖像領 域，光照條件是影響人臉圖像成像效果的最重要因素，為實現(xiàn)在復雜背景下光 照條件的變化，需要在各種場景中對人臉圖像進行重光照操作。
人臉圖像重光照操作，就是根據(jù)光照或外部環(huán)境的變化情況，對目標人物 的人臉圖像進行調(diào)整，并生成與指定的目標光照環(huán)境相一致的人臉圖像。人臉 圖像重光照操作在人臉識別，基于圖像的渲染以及電影后期制作的領域都有著 非常廣泛的應用。
現(xiàn)有的進行人臉圖像重光照的方法為采集人臉反射特性場和對人物亮度 信息進行編輯。其中，采集人臉反射特性場的方法是通過采集目標人物在多種 已知光源照射下的人臉圖像作為光照空間的基函數(shù)圖像，對基函數(shù)圖像選取合 適的光照方向和亮度值，再進行線性插值處理，得到以光照方向和亮度為變量
的重光照函數(shù)，從而實現(xiàn)人臉重光照圖像；在利用釆集人臉反射特性場的方法 進行重光照操作的過程中，為了得到基函數(shù)圖像，需要對目標人物進行基本光 照下的大量圖像采集，再利用這些基函數(shù)圖像組合得到目標人物在任意給定參 數(shù)的光源下的人臉圖像，該采集人臉反射特性場的方法主要缺點是重光照效果 較差，且該方法不易操作。
另夕卜，在采集人臉反射特性場基礎上發(fā)展的一種人臉圖像重光照方法，也 需要目標人物在多種已知光源照射下的人臉圖像采集步驟，從而建立人臉反射 特性場，該改進的人臉圖像重光照方法還需要對目標光照環(huán)境的光照亮度值， 色彩等情況有準確地了解，才可進行重光照操作，在實際實施過程中的復雜度 都比較高，且重光照效果容易失真?，F(xiàn)有技術中，通過人物亮度信息進行編輯進行重光照操作的方法，主要是
將人臉圖像直接轉(zhuǎn)化為向量進行分析；然而向量轉(zhuǎn)換過程中，混雜了較多的所
述人臉圖像的個體信息，另外，在進行光照分析時，重光照圖像容易受人臉皮
膚材質(zhì)等個體因素的影響；具體表現(xiàn)在進行光照分析和處理時，人臉的皮膚顏
色及毛發(fā)、斑點等情況都被包含在人臉圖像中，使得光照分析的結果中包含有 較多的噪聲和干擾，進而造成重光照效果失真。
總之，目前需要本領域技術人員迫切解決的一個技術問題就是，如何提供 一種簡單易行，且重光照效果逼真的圖像重光照方法。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術問題是提供一種重光照效果逼真，且操作步驟筒單 易行的人臉圖像重光照方法及一種人臉圖像重光照的裝置。
為了解決上述問題，本發(fā)明公開了一種人臉圖像重光照的方法，該方法可
以包括
建立人臉光照圖像數(shù)據(jù)庫，所述人臉光照圖像數(shù)據(jù)庫包括多個光源信息及 相應的人臉光照圖像；
獲取目標人物人臉圖像的均勻光照圖像和初始商對所述初始商圖中的各像素點分別設定相應的光照區(qū)域，并提取所述光照 區(qū)域中的第一特征像素點；用所述第一特征像素點替換所述被處理的像素點， 所述替換后的像素點構成低頻分量，所述初始商圖與所述低頻分量之差，構成 高頻分量；
在所述人臉光照圖像數(shù)據(jù)庫中查找匹配所述目標人物人臉圖像的預設光 源位置的人臉光照圖像；
將所述查找得到的匹配人臉光照圖像，與所述目標人物初始商圖的高頻分 量組合，構成所述目標人物的重光照商依據(jù)所述目標人物的重光照商圖與均勻光照圖像生成所述目標人物的重 光照圖像。
具體的，提取所述光照區(qū)域中的第一特征像素點的步驟包括對所述光照 區(qū)域中的像素點進行排序，提取中間像素點作為第一特征像素點；或者，計算所述光照區(qū)域中像素點的像素平均值，將平均值像素點作為第 一特征像素點。
進一步，所述建立人臉光照圖像數(shù)據(jù)庫的步驟包括獲取不同光照下人臉 的源圖像及其光源信息；提取所述人臉源圖像的均勻光照圖像，計算所述人臉 源圖像中的像素點，與所述均勻光照圖像中對應位置像素點的比值，獲得所述 人臉源圖像的商圖；對所述商圖中的各像素點分別設定相應的光照區(qū)域，并提 取所述光照區(qū)域中的第二特征像素點；用所述第二特征像素點替換所述被處理 的像素點，所述替換后的像素點構成所述人臉源圖像的人臉光照圖像；保存所 述人臉源圖像的光源信息及相應的人臉光照圖像，生成人臉光照圖像數(shù)據(jù)庫。
進一步，所述獲取目標人物人臉圖像的均勻光照圖像和初始商圖的步驟包 括選取反映所述目標人物人臉圖像均勻光照的樣本區(qū)域；依據(jù)所述樣本區(qū)域 的像素點調(diào)整所述目標人物人臉圖像的像素點，所述調(diào)整后的目標人物人臉圖 像的像素點構成所述目標人物人臉圖像的均勻光照圖像；計算所述目標人物人 臉圖像的像素點，與所述均勻光照圖像中對應位置的像素點的比值，獲得所述 目標人物的初始商圖。
優(yōu)選的，若當前圖像為彩色圖像，則所述圖像重光照的操作空間為亮度空 間，所述方法還包括將當前圖像的RGB格式轉(zhuǎn)換為YUV格式。
進一步，若當前圖像為彩色圖像，所述生成目標人物的重光照圖像的步驟 包括依據(jù)所述目標人物的亮度空間及重光照亮度空間，調(diào)整所述目標人物的 色度空間UV，得到重光照圖像的色度空間U，V，，獲得YUV格式的重光照圖 像；將所述YUV格式的重光照圖像轉(zhuǎn)換為RGB格式的重光照圖像。
具體的，所述在所述人臉光照圖像數(shù)據(jù)庫中查找匹配預設光源位置的人臉 光照圖像的步驟包括在所述人臉圖像光照數(shù)據(jù)庫中選取與所述目標人物在預 設光源位置接近的至少三個光源信息，并獲得所述光源信息對應的人臉光照圖 像；依據(jù)所述預設光源位置與所選擇的光源信息確定所述預設光源位置的權重 系數(shù)；根據(jù)所述權重系數(shù)選取與所述光源信息對應的人臉光照圖像，獲得在預 設光源對應的人臉光照圖像。
為了解決上述問題，本發(fā)明還公開了一種人臉圖像重光照的裝置，該裝置 包括人臉光照圖像數(shù)據(jù)庫建立單元，用于建立人臉光照圖像數(shù)據(jù)庫，所述人臉
光照圖像數(shù)據(jù)庫包括多個光源信息及相應的人臉光照圖像；
目標人物操作單元，用于獲取目標人物人臉圖像的均勻光照圖像和初始商
濾波操作單元，用于對所述初始商圖中的各像素點分別設定相應的光照區(qū) 域，并提取所述光照區(qū)域中的第一特征像素點；用所述第一特征像素點替換所 述被處理的像素點，所述替換后的像素點構成低頻分量，所述初始商圖與所述 低頻分量之差，構成高頻分量；
預設光源的人臉光照圖像獲取單元，用于在所述人臉光照圖像數(shù)據(jù)庫中查 找匹配所述目標人物的預設光源位置的人臉光照圖像；
重光照商圖操作單元，將所述查找得到的匹配人臉光照圖像，與所述目標 人物初始商圖的高頻分量組合，構成所述目標人物的重光照商目標人物的重光照生成單元，用于依據(jù)所述目標人物的重光照商圖與均勻 光照圖像生成所述目標人物的重光照圖像。
具體的，所述光照圖像數(shù)據(jù)庫建立單元進一步包括
人臉圖像獲取單元，用于獲取不同光照下人臉的源圖像及其光源信息；
人臉源圖像的商圖操作單元，用于提取所述人臉源圖像的均勻光照圖像， 計算所述人臉源圖像中的像素點，與所述均勻光照圖像中對應位置的像素點的
比值，獲得所述人臉源圖像的商人臉光照圖像濾波單元，用于對所述商圖中的各像素點分別設定相應的光 照區(qū)域，并提取所述光照區(qū)域中的第二特征像素點；用所述第二特征像素點替 換所述被處理的像素點，所述替換后的像素點構成所述源圖像的人臉光照圖 像；
光照圖像數(shù)據(jù)庫生成單元，用于保存所述人臉源圖像的光源信息及相應的 人臉光照圖像，生成人臉光照圖像數(shù)據(jù)庫。
進一步，若當前圖像為彩色圖像，則所述圖像重光照的操作空間為亮度空 間，所述裝置還包括亮度空間轉(zhuǎn)換單元，用于將當前圖像的RGB格式轉(zhuǎn)換 為YUV才各式。進一步，若當前圖像為彩色圖像，所述目標人物的重光照獲取單元進一步
包括
重光照圖像調(diào)整單元，用于依據(jù)所述目標人物的亮度空間及重光照亮度空 間，調(diào)整所述目標人物的色度空間UV,得到重光照圖像的色度空間U，V，，獲 得YUV格式的重光照圖像；
重光照圖像轉(zhuǎn)換單元，用于將所述YUV格式的重光照圖像轉(zhuǎn)換為RGB 格式的重光照圖像。
與現(xiàn)有技術相比，本發(fā)明具有以下優(yōu)點
首先，本發(fā)明對變化光照人臉圖像數(shù)據(jù)庫中含有的亮度信息進行提取，利 用濾波操作對人臉圖像數(shù)據(jù)庫中包含人臉圖像的個體信息進行去除，建立通用 的人臉光照圖像數(shù)據(jù)庫；然后，對任意輸入的目標人物進行分析，保留目標人 物的個體信息及表面性質(zhì)，并結合通用的人臉光照圖像數(shù)據(jù)庫將亮度空間的光 照分布替換為與所需光照環(huán)境相 一致的情況，通過該重光照方法較好的去除了 個體信息，使光照分析的對象中包含較少的噪聲和干擾。
再者，本發(fā)明在重光照過程中首先將輸入的人臉圖像轉(zhuǎn)化至一亮度/色度 信息較為獨立的色彩空間，然后針對亮度空間進行重光照操作，是一種對彩色 /灰度圖像均適用的重光照方法。即本發(fā)明的方法通用性強；并且，本發(fā)明的 方法采用的是一組通用人臉圖像的變化光照人臉圖像作為參考數(shù)據(jù)，進行光照 分析，減少了變換光源采集圖像的復雜度，在較少工作的前提下得到目標人物 在所需光照下準確逼真的重光照效果。


圖l為本發(fā)明的一種人臉圖像重光照方法實施例1的流程示意圖； 圖2為本發(fā)明的一種人臉圖像重光照方法實施例2的流程示意圖； 圖3為本發(fā)明的一種人臉圖像重光照方法獲取的人臉源圖像的示意圖； 圖4為本發(fā)明的 一種人臉圖像重光照方法中獲取人臉源圖像的光照圖像示 意圖5為本發(fā)明的 一種人臉圖像重光照方法實施例3的流程示意圖； 圖6為本發(fā)明的 一種人臉圖像重光照裝置實施例的結構示意圖。
具體實施例方式
為使本發(fā)明的上述目的、特征和優(yōu)點能夠更加明顯易懂，下面結合附圖和具體實施方式
對本發(fā)明作進一步詳細的說明。
本發(fā)明的核心構思在于，本發(fā)明采用目標人物的商圖作為重光照分析的操 作對象，進而對所述商圖進行濾波操作，較好的去除了人臉源圖像和目標人物 的個體信息，結合調(diào)整后的目標人物的均勻光照圖像，獲得逼真的重光照效果
圖；且對于彩色目標人物輸入圖像，在進行重光照操作之前，將目標人物轉(zhuǎn)化 至亮度、色度信息較為獨立的色彩空間，在亮度空間中進行重光照操作，光照 分析的對象中包含較少的噪聲和干擾，并在獲得重光照亮度圖像后，結合重光 照亮度圖像對輸入圖像色度空間進行調(diào)整，進而獲得目標人物在所需光照下準 確逼真的重光照圖像。
參照圖1,示出了本發(fā)明的一種圖像重光照方法實施例1的流程示意圖； 其主要步驟包括
步驟101:建立人臉光照圖像數(shù)據(jù)庫，所述人臉光照圖像數(shù)據(jù)庫包括多個 光源信息及相應的人臉光照圖像。
優(yōu)選的，本步驟可以通過以下子步驟實現(xiàn)
子步驟A1:獲取不同光照下人臉的源圖像及其光源信息，其中，所述人 臉源圖像可以包含一個人臉圖像或多個人臉圖像；所述人臉源圖像數(shù)據(jù)庫可以 選擇現(xiàn)有的包含多個光源及人臉光照圖像的數(shù)據(jù)庫，如YaleB數(shù)據(jù)庫、CMU CIE數(shù)據(jù)庫或可以通過普通相機拍攝的一組變換光照條件的人臉源圖像，本發(fā) 明無需對此作出限制；
若所述人臉源圖像為RGB(red, green， blue)格式的圖像，將所述人臉源圖 像由RGB格式轉(zhuǎn)換為YUV格式，并選擇YUV格式中的亮度空間即Y分量作 為重光照操作空間；若所述人臉源圖像為灰度圖像，直接將灰度圖像空間作為 亮度空間，所述建立人臉光照圖像數(shù)據(jù)庫的操作均在亮度空間中進行。其中， YUV是一種顏色編碼方法，Y代表亮度，UV代表色度。
子步驟A2:在人臉源圖像的亮度空間中，對各個不同光源照射下的人臉 圖像進行光照分析，選擇一張近似均勻光照、且正面角度拍攝的人臉圖像，并使所述人臉源圖像中每一個人臉圖像的像素點，與所述均勻光照圖像中對應位 置的像素點進行逐像素相除，即提取所述人臉源圖像中一張均勻光照圖像，計 算所述人臉源圖像中的像素點，與所述均勻光照圖像中對應位置的像素點的比 值，從而獲得所述人臉源圖像中每一個人臉圖像對應的商圖。
子步驟A3:對所述商圖中的各像素點分別設定相應的光照區(qū)域，并提取 所述光照區(qū)域中的第二特征像素點；用所述第二特征像素點替換所述被處理的 像素點，所述替換后的像素點構成所述源圖像的人臉光照圖像；例如對所述 商圖中的像素點(x,y)設定一個光照區(qū)域，并提取所述光照區(qū)域中的第二特 征像素點，然后用所述第二特征像素點替換所述被處理的像素點(x，y)。也就 是說，對所述商圖中的各像素點進行濾波操作；用所述濾波后的各像素點構成 所述源圖像的人臉光照圖像。
其中，提取所述第二特征像素點的操作可以是，通過對光照區(qū)域內(nèi)的像素 點進行排序，并提取排序后位于中間位置或某一特定位置的像素點，設定為所 述被處理的像素點的光照區(qū)域的第二特征像素點；還可以是，對選取的每一個 人臉光照區(qū)域的像素點求平均，得到像素平均值，設定像素平均值為第二特征 像素點等。
所述被處理像素點的相應光照區(qū)域可以為 一個以被處理像素點為中心的 N承N的方形區(qū)域，也可以是N承N的圓形區(qū)域或是M承N的矩形區(qū)域；此外， 被處理像素點不一定是區(qū)域的中心點，如在方形區(qū)域中也可以是一個頂角點 等。也就是說，本發(fā)明并不限定區(qū)域的選取方式。在實際操作過程中，區(qū)域的 劃分越多，得到的反映源圖像的光照圖像越真實，另外，所述濾波操作的窗口 越大，低頻分量中包含的人物個體信息越少，且人臉光照圖像中的陰影邊界等 可能會被模糊；選擇小窗口進行濾波操作，可較好的保持人臉上的光照分布， 個體人物信息會被保留在結果中。
子步驟A4:保存所述人臉源圖像的光源信息及相應的人臉光照圖像，生 成人臉光照圖像數(shù)據(jù)庫。
步驟102:獲取目標人物人臉圖像的均勻光照圖像和初始商圖。
優(yōu)選的，本步驟可以通過以下子步驟實現(xiàn)子步驟B1:獲取需要進行重光照操作的目標人物的人臉圖像，本發(fā)明中 簡稱目標人物；該目標人物可以是普通相機拍攝的一張正面姿態(tài)人臉圖像、或 利用攝像機采集的視頻中的一幀，對該目標人物的人臉圖像不加以限定；
子步驟B2:選取反映所述目標人物人臉圖像的均勻光照的樣本區(qū)域；
子步驟B3:依據(jù)所述樣本區(qū)域的像素點調(diào)整所述目標人物人臉圖像的像 素點，所述調(diào)整后的目標人物人臉圖像的像素點構成所述目標人物人臉圖像的 均勻光照圖像；通過該優(yōu)選的步驟，可以節(jié)省對目標人物在多種變化光照下以 及在可控均勻光照下的圖像的采集過程。
當然也可以選擇可控的均勻光照對目標人物的人臉進行拍攝，來獲取目標 人物人臉圖像均勻光照圖像，則子步驟B2-B3可跳過。
子步驟B4:將所述目標人物人臉圖像的像素點與所述目標人物均勻光照 圖像的像素點對應相除，即計算所述目標人物人臉圖像的像素點與所述均勻光 照圖像中對應位置的像素點的比值，獲得所述目標人物人臉圖像的初始商圖。
步驟103:對所述初始商圖的各^^素點分別設定相應的光照區(qū)域，并提取 所述光照區(qū)域中的第 一特征像素點；用所述第 一特征像素點替換所述被處理的 像素點，所述替換后的像素點構成低頻分量，所述初始商圖與所述低頻分量之 差，構成高頻分量。例如對所述初始商圖中的像素點(a,b)設定一個光照 區(qū)域，并提取所述光照區(qū)域中的第一特征像素點，然后用所述第一特征像素點 替換所述被處理的像素點(a,b)。
也就是說，對所述初始商圖中的各像素點進行濾波操作；用所述濾波后的 各像素點構成低頻分量圖像，輸出商圖與所述低頻分量之差作為高頻分量；
其中，提取所述光照區(qū)域中的第 一特征像素點的步驟包括
對所述光照區(qū)域中的像素點進行排序，提取中間像素點作為第一特征像素 點；或者是，計算所述光照區(qū)域中像素點的像素平均值，將平均值像素點作為 第一特征像素點等。
步驟104:在所述人臉光照圖像數(shù)據(jù)庫中查找匹配所述目標人物的預設光 源位置的人臉光照圖像。
其中，所述預設光源位置的人臉光照圖像可以為在所述人臉光照圖像數(shù)據(jù)庫中查找的最接近的人臉光照圖像，也可以通過求加權平均的方式得到預設光
源的人臉光照圖像；
優(yōu)選的，可以通過以下子步驟得到預設光源對應的人臉光照圖像的方法
子步驟Cl:在所述人臉圖像光照數(shù)據(jù)庫中選取與所述目標人物在預設光 源位置接近的至少三個光源信息，得到光源位置坐標，并獲得所述光源信息對 應的人臉光照圖像；
子步驟C2:連接在所選擇的光源位置坐標對應的坐標點，形成一個平面 或立體圖，將預設光源投影到平面或立體圖商，并計算投影位置相對所選擇的 光源位置的重心坐標作為權重系數(shù)，即依據(jù)所述預設光源位置與所選擇的光源 信息確定所述預設光源位置的權重系數(shù)；
子步驟C3:通過權重系數(shù)和所選取的光源信息對應的人臉光照圖像組合， 即根據(jù)所述重心坐標選取與所述光源信息對應的人臉光照圖像，獲得在預設光 源對應的人臉光照圖像。
步驟105:將所述人臉光照圖像數(shù)據(jù)庫中查找得到的與目標人物預設光源 相匹配的光照圖像，與所述目標人物初始商圖的高頻分量組合，構成所述目標 人物的重光照商圖；也就是說，將查找得到的與所述預設光源位置的人臉光照 數(shù)據(jù)庫中的人臉光照圖像作為新的低頻分量，與所述高頻分量像素點進行組 合，構成所述目標人物人臉圖像的重光照商圖。
步驟106:依據(jù)所述目標人物人臉圖像的重光照商圖與均勻光照圖像生成 所述目標人物人臉圖像的重光照圖像。
若當前進行重光照處理的目標人物人臉圖像為灰度圖像，則本發(fā)明的重光 照操作完成，獲得目標人物人臉圖像的重光照圖像；
若當前進行重光照處理的所述目標人物人臉圖像為RGB格式圖像，步驟 106還需要進行以下子步驟的揚:作
子步驟D1:用于依據(jù)所述目標人物人臉圖像的亮度空間Y及重光照亮度 空間Y，調(diào)整所述目標人物人臉圖像的色度空間UV，得到重光照圖像的色度 空間U'V'，獲得YUV格式的重光照圖像；
子步驟D2:將所述YUV格式的重光照圖像轉(zhuǎn)換為RGB格式的重光照圖像。
通過增加子步驟Dl和子步驟D2即可獲得目標人物人臉圖像為RGB格式 的重光照圖^^,
本實施例的重光照方法中借由建立人臉光照圖像數(shù)據(jù)庫的步驟較好的去 除了人臉光照圖像數(shù)據(jù)庫中圖像所包含的個體信息，進而使得光照分析的目標 人物人臉圖像中包含較少的噪聲和干擾;另夕卜，本發(fā)明的方法還采用一組人臉 圖像的變化光照人臉圖像作為參考數(shù)據(jù)，進行光照分析，減少了光照分析的復 雜度。
參照圖2,示出了本發(fā)明的一種人臉圖像重光照方法實施例2的流程示意 圖；本實施例的源圖像、目標人物均為彩色圖像，該方法的步驟操作如下
步驟201:對變化光照的人臉數(shù)據(jù)庫進行色彩空間轉(zhuǎn)換，在亮度空間中進 行操作，建立人臉光照數(shù)據(jù)庫。
優(yōu)選的，本步驟通過以下步驟實現(xiàn)
子步驟Sl:通過照相機拍攝獲取一組可進行數(shù)據(jù)轉(zhuǎn)換的人臉圖像，該一 組人臉圖像中包含同一人物在多種變化光照下的正面姿態(tài)；
子步驟S2:將所述一組人臉圖像進行亮度空間轉(zhuǎn)換，，即由RGB格式轉(zhuǎn) 換為YUV格式， 一般的，所述RGB轉(zhuǎn)換為YUV的公式都可以通用，選擇r
通道作為亮度空間一，在第/種光照條件下的亮度空間人臉圖像記為A;以下 操作均在亮度空間中進行；
本發(fā)明使用的所述YUV轉(zhuǎn)換為RGB的公式可以表示為公式(1):
y = 0.299J + 0.587G + 0.1148
t/ = -0.147i -0.289G +0.4365 (1) 「 = 0.615及_0.515( _0.1005
子步驟S3:從所述一組人臉的圖像中，選擇一張近似均勻光照條件下， 正面角度拍攝的人臉圖像，作為反映人臉皮膚特性及自身屬性的均勻光照圖像
A;
子步驟S4:對亮度空間中的其他iV張點光源變化光照條件下的采集得到的亮度圖像A,其中/"l,2,…,iV),與均勻光照圖像^進行逐像素相除，去除由 皮膚材質(zhì)差異引起的亮度差異，得到反映臉部亮暗區(qū)域分布的商圖，即光照對
人臉的作用的商圖= V & ，其中/ = (i, 2,…,iv);
子步驟S5:對所述商圖進行濾波操作，去除由于皮膚表面細微的幾何結 構變化引起的亮度差異，濾波后的商圖即組成人臉光照數(shù)據(jù)庫{0}, /"l,2,…,iV)。
本實施例使用中值濾波來進行濾波操作，具體為對所述商圖中的各個像 素(x，y)，將以(x,y)為中心，大小W^W的窗口設定為所屬被處理像素點(x,y)的 光照區(qū)域，對所屬光照區(qū)域內(nèi)的共N=W*W個像素按照像素值進行排序，可 以為降序排序，也可以為升序排序；定義其中位于排序后第0.5氣1+N)個位置 的像素值作為特征像素點，以及，用所述特征像素點替換所述被處理像素點 (x,y)，所述替換后的像素點構成所述一組人臉圖像的光照圖像。
當然在本發(fā)明的方法中，使用排序濾波、平均濾波、高斯濾波或雙邊率波 等其他多種濾波方法來進行濾波4喿作都是可以的。
步驟202:輸入需要進行重光照操作的目標人物的單幅人臉圖像，以下統(tǒng) 稱為目標人物圖像，利用人臉光照數(shù)據(jù)庫得到反映目標人物皮膚性質(zhì)的均勻光 照圖像《和初始商圖込。；
優(yōu)選的，本步驟通過以下步驟實現(xiàn)
子步驟M1:獲取目標人物圖像/"對目標人物圖像沒有限制，并按照所 述RGB轉(zhuǎn)換為YUV的公式(1 )進行圖像格式的轉(zhuǎn)換，選擇Y通道作為亮度 空間得到亮度空間分量丄,；
子步驟M2:選取一塊用以反映目標人物均勻亮度水平的皮膚樣本/L一及
對應的亮度空間分量《—；
子步驟M3:計算皮膚樣本/:一的亮度均值4^;對所述亮度空間圖像^
進行逐像素檢測，對于亮度空間的像素位于正常浮動范圍[ML", S《，]的區(qū)
域進行標定，得到待糾正區(qū)域A;
其中，K-1，K2M,具體取值可結合實際操作要求進行調(diào)整； 子步驟M4:對待糾正區(qū)域^內(nèi)的各像素，選擇馬爾可夫隨機場作為約束，進行亮度糾正，得到目標人物的均勻光照效果《。
其中，該均勻光照圖像是一張包含目標人物的五官特征及毛發(fā)或斑點等特
征，能夠?qū)δ繕巳宋锏娜四樚匦赃M行反應；同時去除了輸入目標人物圖像中存 在的陰影及亮暗分布不均的像素點，且該均勻光照圖像各處的人臉皮膚具有近 似相同的亮度值的人臉圖像；
子步驟M5:對目標人物亮度空間的圖像，與均勻光照效果進行逐像素相 除的操作，得到測試人物的初始商圖込。。
步驟203:對初始商圖g中各像素點進行中值濾波，即濾波后的像素點構
成低頻分量"，以及，初始商圖與濾波后的低頻分量之差為高頻分量"；所 述高頻分量"反映目標人物皮膚性質(zhì)，以及所述低頻分量"反映光照分布情 況。當然在該步驟中，對所述初始商圖中的各像素點使用排序濾波、平均濾波、 高斯濾波或雙邊率波等其他多種濾波方法來進行濾波操作都是可以的。
步驟204:調(diào)節(jié)目標光源位置，給出目標人物重光照操作需要的預設光源， 在步驟201建立的人臉光照數(shù)據(jù)庫中查找匹配所述目標人物的預設光源位置 的光照圖像
優(yōu)選的，本步驟通過以下步驟實現(xiàn)
子步驟N1:調(diào)節(jié)目標光源位置p，并在所述人臉光照數(shù)據(jù)庫{2,}中尋找與
光源； 角度最相近的三個光源(A,A,W;
子步驟N2:計算光源^，A,/^張成的平面i^，并將目標光源p投影至該
平面，得到投影位置//,計算;/相對光源位置^,P2，/^的重心坐標h，w2,M^作
為權重系數(shù)；
子步驟N3:對所述光源位置",P2,;^對應的光照圖像(Q，込,込)與權重系 數(shù){^ }進行組合，得到光源位置; 對應的光照圖像2-w必+w必+w必； 步驟205:將目標人物輸入圖像的原有低頻分量"替換為e,并將重光照
后的低頻分量e與所述高頻分量"組合，得到重光照商圖"=e+";
步驟206:將重光照商圖"=^+"與所述均勻光照圖像《進行逐像素相 乘,得到目標人物重光照亮度空間^=《*"。
步驟207:根據(jù)重光照亮度空間，確定目標人物重光照色度空間，得到目標人物彩色重光照效果；
該步驟包括以下子步驟
子步驟W1:利用重光照亮度空間Y作為指導，對輸入圖像色度空間UV
進行糾正，并結合糾正后的色度空間中《^和所述重光照亮度通道z;,,根據(jù)
輸入圖像色度信息對重光照效果對應的色度空間進行初始設定， '7, o,力=f/r o，力,r v (x,力=(x, j);
子步驟W2:對4中的像素(x,力進行^r測，若重光照前后該像素的亮度值 之差大于某一設定閾值T，即l4(x,"-^(x，力卜:r，則對該像素處的色度空間 如下所述的糾正操作，否則對下一像素進行檢測；
所述糾正操作包括設置4中以像素(x,力為中心，窗口大小設定為7V的 區(qū)域，在^中尋找與之最匹配的大小為A^7V的窗口 獲得『'中心的坐標
;令《="r(' ，_/) ， ^(jc,力=^(/,_/)，完成對該像素處的色度通道";.k;的糾正。
子步驟W3:按照如下公式(2)進行YUV格式到RGB格式的變換，得 到重光照效果7;':
及<formula>formula see original document page 18</formula>
本實施例通過具體的公式運算對彩色圖像的重光照方法進行說明，其與現(xiàn) 有技術的主要區(qū)別點為，本發(fā)明的彩色圖像重光照方法主要采用目標人臉商圖 作為重光照分析的對象，即在目標人臉初始商圖操作上進行重光照操作步驟， 并且通過選取目標人臉的一塊皮膚樣本對目標人臉的皮膚情況進行表示，避免
了采集目標人臉圖像在可控均勻光照下的人臉圖像這一過程；減少了采集不同 光照下目標人物人臉圖像的復雜度；
另外，本發(fā)明在重光照過程中首先將輸入人臉圖像轉(zhuǎn)化至亮度/色度信息 較為獨立的色彩空間，針對亮度空間進行重光照操作，是一種對彩色/灰度圖 像均適用的重光照方法。一種更優(yōu)選的實施例如圖5所示，本發(fā)明的一種人臉圖像重光照方法實施 例的步驟流程圖，以灰度圖像的重光照操作方法為例說明，本實施例中的變化 光照人臉數(shù)據(jù)庫為現(xiàn)有的通用圖像數(shù)據(jù)庫，如公知的Yale B數(shù)據(jù)庫，其中， 該數(shù)據(jù)庫包含10組人物65種光照的人臉圖像，如圖3所示，選用的一組人臉 圖像作為源圖像進行重光照，即為Yale B數(shù)據(jù)庫中的(07)號人物作為參考 人物。具體操:作步驟如下
步驟501:獲取光照人臉數(shù)據(jù)庫，選取07號人物圖像作為源圖像，圖4 顯示的是本實施例使用的光照人臉圖像；其中，Yale B數(shù)據(jù)庫中的為灰度圖像， 直接將該數(shù)據(jù)中各圖像作為亮度空間進行分析；
優(yōu)選的，本步驟通過以下步驟實現(xiàn)
子步驟5011:選擇光源在正面水平及垂直方向均為0。時，(07)號人物的 正面角度采集圖像，作為反映人臉皮膚特性及自身屬性的均勻光照圖像z";
子步驟5012:對亮度空間中的其他64張點光源變化光照條件下的采集得 到的亮度圖像丄,(/ = 1,2,...，64)，與均勻光照圖像丄"進行逐像素相除的操作，去 除由皮膚材質(zhì)差異引起的亮度差異，得到反映臉部亮暗區(qū)域分布，即光照對人
臉的作用的商圖e"，具體計算方法為
(/ = 1，2廣.，64)， (x = l，2,..,640)，(少=1,2廣、480);
子步驟5013:對各光照條件對應的初始商圖在7x7大小的窗口內(nèi)進^f亍中值 濾波操作，去除由于皮膚表面毛發(fā)、斑點等現(xiàn)象所引起的亮度差異，濾波后的 商圖{0} (hi,2,…,64)，即組成通用人臉光照數(shù)據(jù)庫；
所述通用人臉圖像，就是只一張不包含皮膚材質(zhì)信息，且沒有明顯的毛發(fā)、 斑點等個體特征，可以在不同目標人物之間進行變形、遷移，并且均適用的人 臉圖像。
步驟502:對于輸入灰度人目標人物圖像，利用光照數(shù)據(jù)庫得到反映目標 人物皮膚性質(zhì)的均勻光照圖像和初始商子步驟5021:選取目標人物的一塊皮膚樣本/二一，用以反映目標人物中 的均勻亮度水平；子步驟5022:計算皮膚樣本/1^的亮度均值(。 ;對所述亮度空間圖像Z, 進行逐像素檢測，對于亮度值位于正常浮動范圍
的區(qū)域進行 標定，得到待糾正區(qū)域A;對待糾正區(qū)域A內(nèi)的各像素，選擇馬爾可夫隨機場 作為約束，進行亮度糾正，得到目標人物的均勻光照效果《；
子步驟5023:對目標人物的亮度圖像，與均勻光照效果進行逐像素相除 的操作，得到測試人物的初始商圖g,込。(x,少卜A,(x,力/《(x,力。
步驟503:對初始商圖込。在7x7大小的窗口內(nèi)進行中值濾波，得到所述反 映目標人物皮膚性質(zhì)的高頻分量"，以及反應光照分布情況的低頻分量"。
步驟504:調(diào)節(jié)光源位置，給出目標人物在光源情況下的情況，在亮度空 間進行重光照操作；
優(yōu)選的，本步驟通過以下步驟實現(xiàn)
子步驟5041:調(diào)節(jié)目標光源位置戶，并在所述人臉光照數(shù)據(jù)庫
{0}(/ = 1,2, — ,64)中尋找與光源/7距離最相近的三個光源{/7,,/72，/73};
子步驟5042:計算光源h,A,/^張成的平面4。，并將目標光源p投影至
該平面，得到投影位置p',計算i/相對光源位置^，P2,i^的重心坐標h,^,H^
作為權重系數(shù)；
子步驟5043:對所述光源位置",^,;^對應的光照圖像(Q,込,込)與權重 系數(shù){Wl,w2,w3}進行組合，得到光源位置p對應的光照圖像2 = w,Q + w必+ w必； 步驟505:獲取目標人物的重光照商圖，具體為將目標人物輸入圖像的原
有低頻分量"替換為e,將重光照后的低頻分量e與所述高頻分量"組合，得 到重光照商圖"=。+";
步驟506:獲取目標人物的重光照圖像，具體為將重光照商圖與所述均勻 光照圖像《進行組合，得到目標人物重光照亮度空間4=《。
對于該目標人物的灰度圖像斗，重光照效果4=4。
在具體實現(xiàn)過程中，本發(fā)明可以使用在圖像編輯、圖像動畫操作、以及人 臉識別等多個不同的領域，采用上述可以實現(xiàn)重光照的步驟都是可行的，本發(fā) 明并不需要對其加以限定。
以上對本發(fā)明實施例中的圖像重光照的方法進行了詳細描述；但是本領域技術人員應該知悉，本發(fā)明并不受所描述的動作順序的限制，因為依據(jù)本發(fā)明， 某些步驟可以采用其他順序或者同時進行。其次，本領域技術人員也應該知悉， 說明書中所描述的實施例均屬于優(yōu)選實施例，所涉及的動作和模塊并不一定是 本發(fā)明所必須的。
以下面對本發(fā)明的圖像重光照的裝置進行詳細介紹。
圖6為本發(fā)明的一種人臉圖像重光照裝置實施例的結構示意圖，該裝置包
括
人臉光照圖像數(shù)據(jù)庫建立單元601,用于建立人臉光照圖像數(shù)據(jù)庫，所述 人臉光照圖像數(shù)據(jù)庫包括多個光源信息及相應的人臉光照圖像； 優(yōu)選地，所述人臉光照圖像數(shù)據(jù)庫建立單元601進一步包括， 人臉源圖像獲取單元6011,用于獲取不同光照下人臉的源圖像及其光源
4呂息;
人臉源圖像的商圖操作單元6012,用于提取所述人臉源圖像的均勻光照 圖像，計算所述人臉源圖像中的像素點，與所述均勻光照圖像中對應位置的像 素點的比值，獲得所述人臉源圖像的商人臉光照圖像濾波單元6013，用于對所述商圖中的各像素點分別設定相 應的光照區(qū)域，并提取所述光照區(qū)域中的第二特征像素點；用所述第二特征像 素點替換所述被處理的像素點，所述替換后的像素點構成所述源圖像的人臉光 照圖像；
光照圖像數(shù)據(jù)庫生成單元6014，用于保存所述人臉源圖像的光源信息及 相應的人臉光照圖像，生成人臉光照圖像數(shù)據(jù)庫。
目標人物操作單元602,用于獲取目標人物人臉圖像的均勻光照圖像和初 始商圖。
濾波操作單元603，用于對所述初始商圖中的各像素點分別設定相應的光 照區(qū)域，并提取所述光照區(qū)域中的第一特征像素點；用所述第一特征像素點替 換所述被處理的像素點，所述替換后的像素點構成低頻分量，所述初始商圖與 所述低頻分量之差，構成高頻分量。預設光源的人臉光照圖像獲取單元604,用于在所述人臉光照圖像數(shù)據(jù)庫 中查找匹配所述目標人物的預設光源位置的人臉光照圖像；
重光照商圖操作單元605，用于將所述查找得到的匹配人臉光照圖像，與 所述目標人物初始商圖的高頻分量組合，構成所述目標人物的重光照商圖。
目標人物的重光照生成單元606,用于依據(jù)所述目標人物人臉圖像的重光 照商圖與均勻光照圖像生成所述目標人物人臉圖像的重光照圖像。
上述裝置的操作，都是在亮度空間中進行；當所述人臉源圖像、目標人物 人臉圖像為灰度圖像時，可以將灰度空間直接作為亮度空間，進行重光照操作。
當所述人臉源圖像為彩色圖像，目標人物為灰度圖像時，則所述人臉光照 圖像數(shù)據(jù)庫建立單元還包括，
亮度空間轉(zhuǎn)換單元，用于將當前人臉圖像的RGB格式轉(zhuǎn)換為YUV格式。 則所述人臉圖像重光照的操作空間為亮度空間。
當所述目標人物人臉圖像為彩色圖像，人臉源圖像為灰度圖像時，所述目 標人物人臉圖像的重光照生成單元進一 步包括，
重光照圖像調(diào)整單元，用于依據(jù)所述目標人物人臉圖像的亮度空間Y及 重光照亮度空間Y,調(diào)整所述目標人物人臉圖像的色度空間UV，得到重光照 圖像的色度空間U'V',獲得YUV格式的重光照圖像；
重光照圖像轉(zhuǎn)換單元，用于將所述YUV格式的重光照圖像轉(zhuǎn)換為RGB 格式的重光照圖像。
當所述目標人物人臉圖像和人臉源圖像都為彩色圖像時，所述人臉光照圖 像數(shù)據(jù)庫建立單元還包括，
亮度空間轉(zhuǎn)換單元，用于將當前人臉圖像的RGB格式轉(zhuǎn)換為YUV格式。 則所述人臉圖像重光照的操作空間為亮度空間；
所述目標人物人臉圖像的重光照生成單元還包括，
重光照圖像調(diào)整單元，用于依據(jù)所述目標人物人臉圖像的亮度空間Y及 重光照亮度空間Y,調(diào)整所述目標人物人臉圖像的色度空間UV,得到重光照 圖像的色度空間U，V，，獲得YUV格式的重光照圖像；
重光照圖像轉(zhuǎn)換單元，用于將所述YUV格式的重光照圖像轉(zhuǎn)換為RGB格式的重光照圖像。
本說明書中的各個實施例均采用遞進的方式描述，每個實施例重點說明的 都是與其他實施例的不同之處，各個實施例之間相同相似的部分互相參見即
可。對于系統(tǒng)實施例而言，由于其與方法實施例基本相似，所以描述的比較簡 單，相關之處參見方法實施例的部分說明即可。
以上對本發(fā)明所提供的 一種人臉圖像重光照的方法及裝置，進行了詳細介
例的說明只是用于幫助理解本發(fā)明的方法及其核心思想；同時，對于本領域的 一般技術人員，依據(jù)本發(fā)明的思想，在具體實施方式
及應用范圍上均會有改變 之處，綜上所述，本說明書內(nèi)容不應理解為對本發(fā)明的限制。
權利要求
1、一種人臉圖像重光照的方法，其特征在于，包括建立人臉光照圖像數(shù)據(jù)庫，所述人臉光照圖像數(shù)據(jù)庫包括多個光源信息及相應的人臉光照圖像；獲取目標人物人臉圖像的均勻光照圖像和初始商圖；對所述初始商圖中的各像素點分別設定相應的光照區(qū)域，并提取所述光照區(qū)域中的第一特征像素點；用所述第一特征像素點替換所述被處理的像素點，所述替換后的像素點構成低頻分量，所述初始商圖與所述低頻分量之差，構成高頻分量；在所述人臉光照圖像數(shù)據(jù)庫中查找匹配所述目標人物人臉圖像的預設光源位置的人臉光照圖像；將所述查找得到的匹配人臉光照圖像與所述目標人物初始商圖的高頻分量組合，構成所述目標人物的重光照商圖；依據(jù)所述目標人物的重光照商圖與均勻光照圖像生成所述目標人物的重光照圖像。
2、 如權利要求l所述的方法，其特征在于，提取所述光照區(qū)域中的第一 特征像素點的步驟包括對所述光照區(qū)域中的像素點進行排序，提取中間像素點作為第一特征像素點；或者，計算所述光照區(qū)域中像素點的像素平均值，將平均值像素點作為第 一特征像素點。
3、 如權利要求1或2所述的方法，其特征在于，所述建立人臉光照圖像 數(shù)據(jù)庫的步驟包括獲取不同光照下人臉的源圖像及其光源信息；提取所述人臉源圖像的均勻光照圖像，計算所述人臉源圖像中的像素點， 與所述均勻光照圖像中對應位置像素點的比值，獲得所述人臉源圖像的商圖；對所述商圖中的各像素點分別設定相應的光照區(qū)域，并提取所述光照區(qū)域 中的第二特征像素點；用所述第二特征像素點替換所述被處理的像素點，所述 替換后的像素點構成所述人臉源圖像的人臉光照圖像；保存所述人臉源圖像的光源信息及相應的人臉光照圖像，生成人臉光照圖 像數(shù)據(jù)庫。
4、 如權利要求l所述的方法，其特征在于，所述獲取目標人物人臉圖像 的均勻光照圖像和初始商圖的步驟包括選取反映所述目標人物人臉圖像均勻光照的樣本區(qū)域； 依據(jù)所述樣本區(qū)域的像素點調(diào)整所述目標人物人臉圖像的像素點，所述調(diào)整后的目標人物人臉圖像的像素點構成所述目標人物人臉圖像的均勻光照圖像；計算所述目標人物人臉圖像的像素點，與所述均勻光照圖像中對應位置的 像素點的比值，獲得所述目標人物的初始商圖。
5、 如權利要求l所述的方法，其特征在于，若當前圖像為彩色圖像，則 所述圖像重光照的操作空間為亮度空間，所述方法還包括將當前圖像的RGB格式轉(zhuǎn)換為YUV格式。
6、 如權利要求5所述的方法，其特征在于，所述生成目標人物的重光照 圖像的步驟包括依據(jù)所述目標人物的亮度空間及重光照亮度空間，調(diào)整所述目標人物的色 度空間UV，得到重光照圖像的色度空間U，V，，獲得YUV格式的重光照圖像； 將所述YUV格式的重光照圖像轉(zhuǎn)換為RGB格式的重光照圖像。
7、 如權利要求l所述方法，其特征在于，所述在所述人臉光照圖像數(shù)據(jù) 庫中查找匹配預設光源位置的人臉光照圖像的步驟包括在所述人臉圖像光照數(shù)據(jù)庫中選取與所述目標人物在預設光源位置接近 的至少三個光源信息，并獲得所述光源信息對應的人臉光照圖像；依據(jù)所述預設光源位置與所選擇的光源信息確定所述預設光源位置的權 重系數(shù)；根據(jù)所述權重系數(shù)選取與所述光源信息對應的人臉光照圖像，獲得在預設 光源對應的人臉光照圖像。
8、 一種人臉圖像重光照的裝置，其特征在于，包括 人臉光照圖像數(shù)據(jù)庫建立單元，用于建立人臉光照圖像數(shù)辨庫，所述人臉光照圖像數(shù)據(jù)庫包括多個光源信息及相應的人臉光照圖像；目標人物操作單元，用于獲取目標人物人臉圖像的均勻光照圖像和初始商圖;濾波操作單元，用于對所述初始商圖中的各像素點分別設定相應的光照區(qū) 域，并提取所述光照區(qū)域中的第一特征像素點；用所述第一特征像素點替換所 述被處理的像素點，所述替換后的像素點構成低頻分量，所述初始商圖與所述 低頻分量之差，構成高頻分量；預設光源的人臉光照圖像獲取單元，用于在所述人臉光照圖像數(shù)據(jù)庫中查 找匹配所述目標人物的預設光源位置的人臉光照圖像；重光照商圖操作單元，用于將所述查找得到的匹配人臉光照圖像，與所述 目標人物初始商圖的高頻分量組合，構成所述目標人物的重光照商圖；目標人物的重光照生成單元，用于依據(jù)所述目標人物的重光照商圖與均勻 光照圖像生成所述目標人物的重光照圖像。
9、 如權利要求8所述的裝置，其特征在于，所述光照圖像數(shù)據(jù)庫建立單 元進一步包括人臉圖像獲取單元，用于獲取不同光照下人臉的源圖像及其光源信息； 人臉源圖像的商圖操作單元，用于提取所述人臉源圖像的均勻光照圖像，計算所述人臉源圖像中的像素點，與所述均勻光照圖像中對應位置的像素點的比值，獲得所述人臉源圖像的商圖；人臉光照圖像濾波單元，用于對所述商圖中的各像素點分別設定相應的光照區(qū)域，并提取所述光照區(qū)域中的第二特征像素點；用所述第二特征像素點替換所述被處理的像素點，所述替換后的像素點構成所述源圖像的人臉光照圖像；光照圖像數(shù)據(jù)庫生成單元，用于保存所述人臉源圖像的光源信息及相應的 人臉光照圖像，生成人臉光照圖像數(shù)據(jù)庫。
10、 如權利要求8所述的裝置，其特征在于，若當前圖像為彩色圖像，則 所述圖像重光照的操作空間為亮度空間，所述裝置還包括亮度空間轉(zhuǎn)換單元，用于將當前圖像的RGB格式轉(zhuǎn)換為YUV格式。
11、如權利要求10所述的裝置，其特征在于，所述目標人物的重光照獲 取單元進一步包括重光照圖像調(diào)整單元，用于依據(jù)所述目標人物的亮度空間及重光照亮度空 間，調(diào)整所述目標人物的色度空間UV,得到重光照圖像的色度空間U，V，，獲 得YUV格式的重光照圖像；重光照圖像轉(zhuǎn)換單元，用于將所述YUV格式的重光照圖像轉(zhuǎn)換為RGB 格式的重光照圖像。
全文摘要
本發(fā)明提供了一種人臉圖像重光照的方法及裝置，該方法包括建立人臉光照圖像數(shù)據(jù)庫；獲取目標人臉圖像的均勻光照圖像和初始商圖；對初始商圖進行濾波操作得到低頻分量，所述初始商圖與低頻分量之差，構成高頻分量；在人臉光照圖像數(shù)據(jù)庫中查找匹配預設光源位置的人臉光照圖像；將所述查找得到的匹配人臉光照圖像，與目標人物初始商圖的高頻分量組合，構成目標人物的重光照商圖；依據(jù)目標人物的重光照商圖與均勻光照圖像生成目標人物的重光照圖像。本發(fā)明對目標人物的商圖進行重光照分析，進而對所述商圖進行濾波操作，較好的去除了人臉源圖像和目標人物的個體信息，結合調(diào)整后的均勻光照圖像，獲得逼真的重光照效果圖。
文檔編號G06T15/50GK101425179SQ20081022700
公開日2009年5月6日 申請日期2008年11月18日 優(yōu)先權日2008年11月18日
發(fā)明者戴瓊海, 李冠楠, 謝旭東 申請人:清華大學