一種基于人臉色彩特征的自動(dòng)白平衡方法及電子媒體裝置的制造方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及影像技術(shù)和電子設(shè)備領(lǐng)域，特別的是攝像頭圖像處理系統(tǒng)中的色彩控 制、處理和增強(qiáng)。
【背景技術(shù)】
[0002] 自動(dòng)白平衡通常包括照明色彩及色溫估計(jì)，色彩通道的增益調(diào)節(jié)和色彩矯正和增 強(qiáng)。膚色物體表面通常是白平衡照明色彩及色溫估計(jì)的比較棘手的場(chǎng)景。其一是種族和個(gè) 體的膚色差，以及個(gè)人化妝等帶來(lái)的隨機(jī)變異。其二是白色或其它物體表面在一定的色溫 光照下和膚色難以分辨，從而使目前流行的一些白平衡算法如A.灰色世界、B.完全反射、 C.多表面相關(guān)等在膚色充盈的場(chǎng)景下對(duì)環(huán)境色溫發(fā)生誤判。即便在主流品牌的攝像產(chǎn)品 中，膚色引起的白平衡誤差和膚色色彩還原誤差也頗為多見(jiàn)。因此，美國(guó)專利申請(qǐng)公開(kāi)號(hào) US2008037975A1中主張將人臉膚色從環(huán)境色溫的估計(jì)中剔除。自動(dòng)白平衡的一個(gè)主要難點(diǎn) 是在估計(jì)環(huán)境色溫時(shí)，攝像頭看到的是未知光源的光照在未知色彩表面物體上的混疊。如 果場(chǎng)景中有已知色彩的表面，比如像專業(yè)攝像常用的現(xiàn)場(chǎng)白平衡的灰板，計(jì)算則很簡(jiǎn)單。但 這對(duì)普通照相用戶是不方便的。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明的其中一個(gè)目的在于提供一種基于人臉色彩特征的自動(dòng)白平衡方法。
[0004] 解決本發(fā)明的其中一個(gè)目的所采取的方案是：提供一種基于人臉色彩特征的自動(dòng) 白平衡方法，其特征在于，該方法適用于電子媒體裝置的圖像及視頻媒體的自動(dòng)白平衡，包 括如下步驟：
[0005] 步驟一：獲取在自動(dòng)白平衡適用的光源照明下含有清晰明亮用戶人臉的圖像；對(duì) 人臉進(jìn)行檢測(cè)、分割、識(shí)別和色彩特征提取，獲取包括用戶人臉膚色、眼白及牙齒的本征值 和目標(biāo)值的人臉色彩特征集；
[0006]步驟二：根據(jù)所述人臉色彩特征集對(duì)圖像背景和人臉?lè)謩e進(jìn)行環(huán)境照明色溫及色 彩估計(jì)，得到對(duì)應(yīng)色溫及色彩估計(jì)值Q、C2，綜合Q、C2得到全圖像的估計(jì)值C 3;
[0007] 步驟三：根據(jù)所述人臉色彩特征集、色溫及色彩估計(jì)值對(duì)圖像進(jìn)行白平衡矯正和 色彩增強(qiáng)。
[0008] 本發(fā)明的又一目的在于提供一種電子媒體裝置。
[0009] 解決本發(fā)明的又一目的所采取的方案是：提供一種電子媒體裝置，包括至少一個(gè) 前置工作模式的攝像頭，所述攝像頭的前置工作模式的拍攝視場(chǎng)中通常含有該電子媒體裝 置的用戶；
[0010] 一個(gè)或多個(gè)控制器，其中一個(gè)控制器用于控制該電子媒體裝置的系統(tǒng)；
[0011] 固態(tài)或非暫時(shí)性存儲(chǔ)器，用于存有可供控制器讀取的指令集；
[0012] 動(dòng)態(tài)存儲(chǔ)器，用于供攝像頭緩存幀圖像和其它數(shù)據(jù)，以及控制器用來(lái)執(zhí)行指令；
[0013]可通過(guò)網(wǎng)絡(luò)或其它媒介接收和傳送圖像、視頻或其它數(shù)據(jù)的裝置；
[0014]可顯示圖像和圖形的顯示屏；
[0015]用戶可控的人機(jī)交互界面；
[0016]其中，所述攝像頭包括鏡頭、圖像傳感器、存儲(chǔ)器、攝像頭控制器、及圖像處理器等 模塊；該圖像處理器將圖像傳感器傳過(guò)來(lái)的信號(hào)處理成符合應(yīng)用格式化的圖像或視頻；
[0017]其中，所述攝像頭的上述部分或全部模塊是資源獨(dú)立的，或者是和宿主電子媒體 裝置資源共享的；
[0018]該圖像處理器包括自動(dòng)白平衡模塊，該自動(dòng)白平衡模塊通過(guò)其包括的電子邏輯和 控制處理電路硬件模塊及控制處理軟件模塊以及該電子媒體裝置的其它資源來(lái)實(shí)現(xiàn)下述 自動(dòng)白平衡方法和步驟：
[0019] 步驟一：獲取在自動(dòng)白平衡適用的光源照明下含有清晰明亮用戶人臉的圖像，對(duì) 人臉進(jìn)行檢測(cè)、分割、識(shí)別和色彩特征提取，獲取包括用戶人臉膚色、眼白及牙齒的本征值 和目標(biāo)值的人臉色彩特征集；
[0020] 步驟二：運(yùn)用所述人臉色彩特征集對(duì)圖像背景和人臉?lè)謩e進(jìn)行環(huán)境照明色溫及色 彩估計(jì)，得到對(duì)應(yīng)色溫及色彩估計(jì)值Ci、C2，綜合Ci、C2得到全圖像的估計(jì)值C 3;
[0021] 步驟三：根據(jù)人臉色彩特征集、色溫及色彩估計(jì)對(duì)圖像進(jìn)行白平衡矯正和色彩增 強(qiáng)。
[0022] 在本發(fā)明中，該圖像處理器包括自動(dòng)白平衡模塊，該自動(dòng)白平衡模塊包括電子邏 輯和控制處理電路及控制處理軟件，通過(guò)該電子邏輯和控制處理電路及控制處理軟件在視 頻預(yù)覽、錄像或抓拍過(guò)程中將該圖像處理器流水線上的幀圖像緩存于獨(dú)立的或共享的存儲(chǔ) 器中，進(jìn)行人臉檢測(cè)、分割和識(shí)別，提取用戶人臉的色彩特征作為自動(dòng)白平衡的參考表面， 利用該表面色彩特征進(jìn)行更為準(zhǔn)確的白平衡的照明色溫及色彩估計(jì)，并可對(duì)人臉及人體裸 露的膚色、圖像的其它部分進(jìn)行有區(qū)別的白平衡的調(diào)節(jié)和色彩增強(qiáng)。此外，通過(guò)人機(jī)交互界 面可獲取用戶對(duì)自己人臉色彩的喜好作為AWB調(diào)節(jié)的參考目標(biāo)值，以達(dá)到一對(duì)一的用戶人 臉色彩表達(dá)的體驗(yàn)效果。
[0023] 本發(fā)明的第三個(gè)目的在于提供一種可由多裝置架構(gòu)實(shí)現(xiàn)的更靈活應(yīng)用上述自動(dòng) 白平衡的方法的電子媒體裝置。
[0024] 解決本發(fā)明的第三個(gè)目的所采取的方案是：提供一種電子媒體裝置，包括一個(gè)或 多個(gè)處理器，其中一個(gè)用于控制該電子媒體裝置的系統(tǒng)；
[0025]固態(tài)或非暫時(shí)性存儲(chǔ)器，用于存有可供控制器讀取的指令集；
[0026] 動(dòng)態(tài)存儲(chǔ)器，用于供攝像頭緩存幀圖像和其它數(shù)據(jù)，以及控制器用來(lái)執(zhí)行指令；
[0027]可通過(guò)網(wǎng)絡(luò)或其它媒介接收和傳送圖像、視頻或其它數(shù)據(jù)的裝置；
[0028]可顯示圖像和圖形的顯示屏；
[0029]用戶可控的人機(jī)交互界面；
[0030]一個(gè)基于人臉色彩特征的自動(dòng)白平衡裝置，為該裝置所含或與該裝置相連的攝像 頭的一個(gè)自動(dòng)白平衡模塊，或是該裝置其它應(yīng)用中的一個(gè)自動(dòng)白平衡模塊，該自動(dòng)白平衡 模塊的實(shí)現(xiàn)包括：
[0031]步驟一：獲取在自動(dòng)白平衡適用的光源照明下含有清晰明亮用戶人臉的圖像，對(duì) 人臉進(jìn)行檢測(cè)、分割、識(shí)別和色彩特征提取，獲取包括用戶人臉膚色、眼白及牙齒的本征值 和目標(biāo)值的人臉色彩特征集；
[0032] 步驟二：獲取需要進(jìn)行自動(dòng)白平衡矯正的圖像，對(duì)該圖像進(jìn)行人臉檢測(cè)、分割、和 識(shí)別，確認(rèn)該圖像含有用戶人臉；運(yùn)用所述人臉色彩特征集對(duì)圖像背景和人臉?lè)謩e進(jìn)行環(huán) 境照明色溫及色彩估計(jì)，得到對(duì)應(yīng)色溫及色彩估計(jì)值Q、C2，綜合Q、C2得到全圖像的估計(jì)值 C3；
[0033] 步驟三：根據(jù)所述人臉色彩特征集、色溫及色彩估計(jì)值對(duì)圖像進(jìn)行自動(dòng)白平衡矯 正和色彩增強(qiáng)；
[0034] 所述步驟一及步驟二中獲取圖像的方法是通過(guò)攝像頭實(shí)時(shí)采集的，或者是在攝像 頭采集后非實(shí)時(shí)獲取的；所述步驟一、步驟二及步驟三可以在一個(gè)或多個(gè)電子媒體裝置上 實(shí)現(xiàn)；在多個(gè)媒體裝置上實(shí)現(xiàn)時(shí)，包括在第一電子媒體裝置上實(shí)現(xiàn)獲取圖像，在第二電子媒 體裝置上實(shí)現(xiàn)人臉色彩特征集的獲取，在第三電子媒體裝置上實(shí)現(xiàn)步驟二、或步驟二及步 驟三，或其他步驟與裝置的組合。
【附圖說(shuō)明】
[0035]圖1為前攝平臺(tái)的示意圖；
[0036] 圖2為自動(dòng)白平衡（AWB)模塊的ISP示意流程圖；
[0037] 圖3為自動(dòng)白平衡（AWB)模塊的另一 ISP示意流程圖；
[0038] 圖4為后處理模式的流程圖示意圖；
[0039]圖5為人臉色彩特征獲取模式的流程圖；
[0040] 圖6為AWB調(diào)節(jié)模式的流程圖；
[0041] 圖7為AWB機(jī)器學(xué)習(xí)模式的不意圖；
[0042] 圖8為將人臉?lè)指畛赡w色區(qū)、眼白、牙齒的示意圖；
[0043] 圖9為白點(diǎn)軌跡和膚色軌跡在一個(gè)色坐標(biāo)系中的示意圖；
[0044] 圖10為一種AWB調(diào)節(jié)的方法，使用同一個(gè)C3對(duì)整幅圖像進(jìn)行同一處理；
[0045] 圖11為另一種AWB調(diào)節(jié)的方法：使用(：3有區(qū)別的對(duì)人臉和背景圖像進(jìn)行處理，以 白平衡標(biāo)準(zhǔn)參考光源照明下的白點(diǎn)位置為目標(biāo)；
[0046] 圖12為另一種AWB調(diào)節(jié)的方法：使用(：3有區(qū)別的對(duì)人臉和背景圖像進(jìn)行處理，并 以用戶喜好的色彩表達(dá)為目標(biāo)；
[0047]圖13為一種檢測(cè)人臉以外其他裸露皮膚的方法；
[0048] 圖14為用戶人機(jī)界面的實(shí)現(xiàn)方法示意圖；
[0049] 圖15為AWB反饋學(xué)習(xí)示意圖；
[0050] 圖16為人臉色彩特征用于人臉識(shí)別的輔助矢量的示意圖。
【具體實(shí)施方式】
[0051] 為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合實(shí)施例，對(duì)本發(fā)明 進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于 限定本發(fā)明。
[0052] 為了便于理解，對(duì)涉及到專用符號(hào)或名詞進(jìn)行如下解釋：
[0053] Cn C3：
[0054]將圖像分割成人臉部分和背景部分，Q，C2, C3指自動(dòng)白平衡（Automatic White Balance :AWB)的照明色溫及色彩估計(jì)基于人臉、背景和全圖的計(jì)算過(guò)程和結(jié)果。該結(jié)果通 常由某一色空間或色坐標(biāo)系中的坐標(biāo)點(diǎn)位置來(lái)表示。用來(lái)計(jì)算色溫的方法可以用上述背景 技術(shù)中提到的A、B、C或其它方法。
[0055]人臉色彩特征：在本發(fā)明中指人臉?lè)指詈?，人臉膚色，眼白以及牙齒部位的統(tǒng)計(jì) 色彩特征，包括其本征值及目標(biāo)值，對(duì)應(yīng)于AWB常用的光照色溫區(qū)間的照明色溫及色彩。
[0056]人臉色彩特征集：在本發(fā)明中指包括所有用戶的對(duì)應(yīng)于AWB常用的光照色溫區(qū)間 的照明色溫及色彩的人臉色彩特征的數(shù)據(jù)集合和結(jié)構(gòu)。
[0057]前攝平臺(tái)：指攝像頭或其它含有攝像頭電子媒體裝置，在操作中至少有一個(gè)模式， 其中一個(gè)攝像頭的視場(chǎng)通常含有該裝置的使用者。
[0058] 機(jī)主：前攝平臺(tái)的機(jī)主或管理員，有權(quán)使用并授權(quán)平臺(tái)使用者用戶權(quán)，使其有使用 本發(fā)明的體驗(yàn)的權(quán)利。
[0059] 用戶：前攝平臺(tái)具有用戶權(quán)的使用者，用戶權(quán)也有可以有前攝平臺(tái)的服務(wù)程序直 接開(kāi)放授權(quán)，直至用戶群達(dá)到系統(tǒng)支持的最大限度。
[0060] ISP (Image Signal Processor :圖像信號(hào)處理裝置或圖像信號(hào)處理器）：攝像頭的 圖像信號(hào)處理系統(tǒng)，包括圖像傳感器的接口、與宿主設(shè)備的控制和信號(hào)通訊接口、圖像信號(hào) 處理的電子電路的計(jì)算和邏輯硬件引擎、數(shù)據(jù)和程序使用的存儲(chǔ)器，可編程的控制器及控 制和處理軟件等。
[0061]鑒于觀測(cè)到用戶人臉常常是前攝平臺(tái)的主要攝像目標(biāo)并占據(jù)了拍攝圖像的較大 的畫面，而手機(jī)后置攝像頭和其它攝像裝置也經(jīng)常拍攝人臉肖像；并由于智能手機(jī)及其它 前攝平臺(tái)的日益擴(kuò)展和普及應(yīng)用，使得利用現(xiàn)場(chǎng)拍攝到的圖像中用戶人臉的色彩特征作為 AWB的參考表面成為一個(gè)實(shí)用可行的技術(shù)。
[0062]本發(fā)明自動(dòng)白平衡（AWB)裝置作為攝像頭ISP的一個(gè)模塊適用于前攝平臺(tái)，也可 應(yīng)用于其它攝像平臺(tái)的自動(dòng)白平衡的方法和裝置，包括電子邏輯和控制處理電路，和控制 處理軟件。其主要工作過(guò)程為首先獲取人臉色彩特征集，其次在實(shí)時(shí)工作中將ISP流水線 上的幀圖像緩存于存儲(chǔ)器中，進(jìn)行人臉檢測(cè)、分割和識(shí)別，