本發(fā)明涉及影像技術(shù)和電子設(shè)備領(lǐng)域，特別的是攝像頭圖像處理系統(tǒng)中的色彩控制、處理和增強(qiáng)。

背景技術(shù)：

自動(dòng)白平衡通常包括照明色彩及色溫估計(jì)，色彩通道的增益調(diào)節(jié)和色彩矯正和增強(qiáng)。膚色物體表面通常是白平衡照明色彩及色溫估計(jì)的比較棘手的場(chǎng)景。其一是種族和個(gè)體的膚色差，以及個(gè)人化妝等帶來的隨機(jī)變異。其二是白色或其它物體表面在一定的色溫光照下和膚色難以分辨，從而使目前流行的一些白平衡算法如a.灰色世界、b.完全反射、c.多表面相關(guān)等在膚色充盈的場(chǎng)景下對(duì)環(huán)境色溫發(fā)生誤判。即便在主流品牌的攝像產(chǎn)品中，膚色引起的白平衡誤差和膚色色彩還原誤差也頗為多見。因此，美國專利申請(qǐng)公開號(hào)us2008037975a1中主張將人臉膚色從環(huán)境色溫的估計(jì)中剔除。自動(dòng)白平衡的一個(gè)主要難點(diǎn)是在估計(jì)環(huán)境色溫時(shí)，攝像頭看到的是未知光源的光照在未知色彩表面物體上的混疊。如果場(chǎng)景中有已知色彩的表面，比如像專業(yè)攝像常用的現(xiàn)場(chǎng)白平衡的灰板，計(jì)算則很簡(jiǎn)單。但這對(duì)普通照相用戶是不方便的。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種適用于電子媒體裝置的自動(dòng)白平衡裝置。

解決本發(fā)明的目的所采取的方案是：采用一種電子媒體裝置，包括至少一個(gè)前置工作模式的攝像頭，所述攝像頭的前置工作模式的拍攝視場(chǎng)中通常含有該電子媒體裝置的用戶；

一個(gè)或多個(gè)處理器，其中一個(gè)處理器用于控制該電子媒體裝置的系統(tǒng)；

存儲(chǔ)器，用于存有可供處理器讀取的指令集及；

緩存幀圖像和其它數(shù)據(jù)，以及處理器用來執(zhí)行指令；

可通過網(wǎng)絡(luò)或其它媒介接收和傳送圖像、視頻或其它數(shù)據(jù)的裝置；

可顯示圖像和圖形的顯示屏；

用戶可控的人機(jī)交互界面；

其中，所述攝像頭包括鏡頭、圖像傳感器、存儲(chǔ)器、攝像頭控制器、及圖像處理器等模塊；該圖像處理器將圖像傳感器傳過來的信號(hào)處理成符合應(yīng)用格式化的圖像或視頻；

其中，所述攝像頭的上述部分或全部模塊是資源獨(dú)立的，或者是和宿主電子媒體裝置資源共享的；

在本發(fā)明中，該圖像處理器包括自動(dòng)白平衡模塊，該自動(dòng)白平衡模塊包括電子邏輯和控制處理電路及控制處理軟件，通過該電子邏輯和控制處理電路及控制處理軟件在視頻預(yù)覽、錄像或抓拍過程中將該圖像處理器流水線上的幀圖像緩存于獨(dú)立的或共享的存儲(chǔ)器中，進(jìn)行人臉檢測(cè)、分割和識(shí)別，提取用戶人臉的色彩特征作為自動(dòng)白平衡的參考表面，利用該表面色彩特征進(jìn)行更為準(zhǔn)確的白平衡的照明色溫及色彩估計(jì)，并可對(duì)人臉及人體裸露的膚色、圖像的其它部分進(jìn)行有區(qū)別的白平衡的調(diào)節(jié)和色彩增強(qiáng)。此外，通過人機(jī)交互界面可獲取用戶對(duì)自己人臉色彩的喜好作為awb調(diào)節(jié)的參考目標(biāo)值，以達(dá)到一對(duì)一的用戶人臉色彩表達(dá)的體驗(yàn)效果。

本發(fā)明的另一個(gè)目的在于提供一種更靈活的可由多個(gè)電子媒體裝置架構(gòu)實(shí)現(xiàn)的上述自動(dòng)白平衡裝置。

在第一電子媒體裝置上實(shí)現(xiàn)所述獲取人臉色彩特征集的步驟，在第二電子媒體裝置上實(shí)現(xiàn)所述獲取圖像的步驟，在第一、或第二、或第三電子媒體裝置上實(shí)現(xiàn)所述確認(rèn)、提取以及自動(dòng)白平衡的色溫及色彩估計(jì)以及色彩調(diào)節(jié)的步驟，或其它不同的步驟與裝置的組合；其中：實(shí)現(xiàn)所述自動(dòng)白平衡的色溫及色彩估計(jì)以及色彩調(diào)節(jié)的步驟的電子媒體裝置包括接收由拍照獲得的所述數(shù)字圖像和/或已提取的所述用戶人臉色彩特征和/或人臉色彩特征集。

綜合上述兩種不同架構(gòu)實(shí)現(xiàn)的自動(dòng)白平衡裝置及下述的具體實(shí)現(xiàn)步驟，本發(fā)明提供了一種參照人臉色彩特征的自動(dòng)白平衡方法，該方法適用于在一個(gè)或多個(gè)電子媒體置上實(shí)現(xiàn)圖像及視頻媒體的自動(dòng)白平衡裝置，包括以下步驟：

獲取包括用戶人臉膚色、眼白和牙齒部位中至少一個(gè)部位的色彩特征至人臉色彩特征集；

獲取一幅數(shù)字圖像；

確認(rèn)該圖像中至少含有一個(gè)用戶人臉，且人臉色彩特征集中已獲取該用戶上述至少一個(gè)部位的色彩特征，則提取該圖像中該用戶人臉的所述人臉相應(yīng)部位的色彩特征，參照該圖像中該用戶人臉的所述人臉相應(yīng)部位的色彩特征及該用戶在人臉色彩特征集中的數(shù)據(jù)對(duì)該圖像進(jìn)行自動(dòng)白平衡的色溫及色彩估計(jì)以及色彩調(diào)節(jié)。

附圖說明

圖1為前攝平臺(tái)的示意圖；

圖2為自動(dòng)白平衡(awb)模塊的isp示意流程圖；

圖3為自動(dòng)白平衡(awb)模塊的另一isp示意流程圖；

圖4為后處理模式的流程圖示意圖；

圖5為人臉色彩特征獲取模式的流程圖；

圖6為awb調(diào)節(jié)模式的流程圖；

圖7為awb機(jī)器學(xué)習(xí)模式的示意圖；

圖8為將人臉分割成膚色區(qū)、眼白、牙齒的示意圖；

圖9為白點(diǎn)軌跡和膚色軌跡在一個(gè)色坐標(biāo)系中的示意圖；

圖10為一種awb調(diào)節(jié)的方法，使用同一個(gè)c3對(duì)整幅圖像進(jìn)行同一處理；

圖11為另一種awb調(diào)節(jié)的方法：使用c3有區(qū)別的對(duì)人臉和背景圖像進(jìn)行處理，以白平衡標(biāo)準(zhǔn)參考光源照明下的白點(diǎn)位置為目標(biāo)；

圖12為另一種awb調(diào)節(jié)的方法：使用c3有區(qū)別的對(duì)人臉和背景圖像進(jìn)行處理，并以用戶喜好的色彩表達(dá)為目標(biāo)；

圖13為一種檢測(cè)人臉以外其他裸露皮膚的方法；

圖14為用戶人機(jī)界面的實(shí)現(xiàn)方法示意圖；

圖15為awb反饋學(xué)習(xí)示意圖；

圖16為人臉色彩特征用于人臉識(shí)別的輔助矢量的示意圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

為了便于理解，對(duì)涉及到專用符號(hào)或名詞進(jìn)行如下解釋：

c1、c2、c3：

將圖像分割成人臉部分和背景部分，c1，c2，c3指自動(dòng)白平衡(automaticwhitebalance：awb)的照明色溫及色彩估計(jì)基于背景、人臉和全圖的計(jì)算過程和結(jié)果。該結(jié)果通常由某一色空間或色坐標(biāo)系中的坐標(biāo)點(diǎn)位置來表示。用來計(jì)算色溫的方法可以用上述背景技術(shù)中提到的a、b、c或其它方法。

人臉色彩特征：在本發(fā)明中指人臉分割后，包括人臉膚色，眼白以及牙齒部位中至少一個(gè)部位的統(tǒng)計(jì)色彩特征，包括其本征值及目標(biāo)值，對(duì)應(yīng)于awb常用的光照色溫區(qū)間的照明色溫及色彩。

人臉色彩特征集：在本發(fā)明中指包括所有用戶的對(duì)應(yīng)于awb常用的光照色溫區(qū)間的照明色溫及色彩的人臉色彩特征的數(shù)據(jù)集合和結(jié)構(gòu)。

前攝平臺(tái)：指攝像頭或其它含有攝像頭電子媒體裝置，在操作中至少有一個(gè)模式，其中一個(gè)攝像頭的視場(chǎng)通常含有該裝置的使用者。

機(jī)主：前攝平臺(tái)的機(jī)主或管理員，有權(quán)使用并授權(quán)平臺(tái)使用者用戶權(quán)，使其有使用本發(fā)明的體驗(yàn)的權(quán)利。

用戶：前攝平臺(tái)具有用戶權(quán)的使用者，用戶權(quán)也有可以有前攝平臺(tái)的服務(wù)程序直接開放授權(quán)，直至用戶群達(dá)到系統(tǒng)支持的最大限度。

isp(imagesignalprocessor：圖像信號(hào)處理裝置或圖像信號(hào)處理器)：攝像頭的圖像信號(hào)處理系統(tǒng)，包括圖像傳感器的接口、與宿主設(shè)備的控制和信號(hào)通訊接口、圖像信號(hào)處理的電子電路的計(jì)算和邏輯硬件引擎、數(shù)據(jù)和程序使用的存儲(chǔ)器，可編程的處理器及控制和處理軟件等。

鑒于觀測(cè)到用戶人臉常常是前攝平臺(tái)的主要攝像目標(biāo)并占據(jù)了拍攝圖像的較大的畫面，而手機(jī)后置攝像頭和其它攝像裝置也經(jīng)常拍攝人臉肖像；并由于智能手機(jī)及其它前攝平臺(tái)的日益擴(kuò)展和普及應(yīng)用，使得利用現(xiàn)場(chǎng)拍攝到的圖像中用戶人臉的色彩特征作為awb的參考表面成為一個(gè)實(shí)用可行的技術(shù)。

本發(fā)明自動(dòng)白平衡(awb)裝置作為攝像頭isp的一個(gè)模塊適用于前攝平臺(tái)，也可應(yīng)用于其它攝像平臺(tái)的自動(dòng)白平衡的方法和裝置，包括電子邏輯和控制處理電路，和控制處理軟件。其主要工作過程為首先獲取人臉色彩特征集，其次在實(shí)時(shí)工作中將isp流水線上的幀圖像緩存于存儲(chǔ)器中，進(jìn)行人臉檢測(cè)、分割和識(shí)別，提取用戶人臉的色彩特征作為自動(dòng)白平衡的參考表面，利用該表面色彩特征以及人臉色彩特征集中的數(shù)據(jù)進(jìn)行更為準(zhǔn)確的白平衡的照明色溫及色彩估計(jì)，并可對(duì)人臉及人體裸露的膚色、圖像的其它部分進(jìn)行有區(qū)別的白平衡的調(diào)節(jié)和色彩增強(qiáng)。此外，通過人機(jī)交互界面可獲取用戶對(duì)自己人臉色彩的喜好作為awb調(diào)節(jié)的參考目標(biāo)值，以達(dá)到一對(duì)一的用戶人臉色彩表達(dá)的體驗(yàn)效果。

本發(fā)明所述的電子媒體裝置包括：一個(gè)或多個(gè)攝像頭，其中至少一個(gè)攝像頭的一個(gè)工作模式中攝像頭的視場(chǎng)通?？梢娫撗b置的使用者。

一個(gè)或多個(gè)可編程處理器，其中一個(gè)為系統(tǒng)控制器；存儲(chǔ)器，可存有可供系統(tǒng)處理器讀取的指令集和緩存數(shù)據(jù)，以及控制器用來執(zhí)行指令；可通過網(wǎng)絡(luò)或其它媒介接收和傳送圖像、視頻或其它數(shù)據(jù)的裝置。

前攝平臺(tái)的攝像頭包括鏡頭和圖像傳感器；isp系統(tǒng)；圖像傳感器與isp系統(tǒng)的接口；專用的或與宿主平臺(tái)控制器兼用的可編程攝像頭控制器；自帶的或與宿主平臺(tái)共享的顯示屏；自帶的或與宿主平臺(tái)共享的圖像或視頻的抓拍存儲(chǔ)傳輸裝置；自帶的或與宿主平臺(tái)共享的存儲(chǔ)器，可存儲(chǔ)可供攝像頭控制器讀取的指令集及緩存幀圖像和其它數(shù)據(jù)，以及攝像頭控制器用來執(zhí)行指令；可通過網(wǎng)絡(luò)或其它媒介接收和傳送圖像、視頻或其它數(shù)據(jù)的裝置；攝像頭具有關(guān)機(jī)、開機(jī)、待機(jī)、預(yù)覽、視頻抓拍和圖像抓拍等工作狀態(tài)，由攝像頭專用控制器或平臺(tái)系統(tǒng)控制器根據(jù)用戶的需求來切換。在預(yù)覽或抓拍工作模式下，幀圖像經(jīng)圖像傳感器的接口，再經(jīng)過isp的前級(jí)處理后儲(chǔ)存于緩存中。然后一個(gè)或多個(gè)控制器或其它專用邏輯計(jì)算電路對(duì)圖像進(jìn)行人臉檢測(cè)，分割和識(shí)別以及人臉色彩特征的提取以及基于人臉色彩特征的awb增益調(diào)節(jié)和色彩增強(qiáng)，并將圖像傳輸?shù)今詈系膇sp下游模塊做進(jìn)一步處理并產(chǎn)生格式化的輸出或顯示，存儲(chǔ)在本機(jī)的固態(tài)存儲(chǔ)單元中，或經(jīng)由網(wǎng)絡(luò)輸出。圖2和圖3是簡(jiǎn)化的攝像頭及isp的工作示意圖。人臉色彩特征的獲取也可以把抓拍的圖像輸出儲(chǔ)存為通用的圖像文件，由其它具有計(jì)算功能的平臺(tái)來分析處理。

本發(fā)明的awb裝置作為isp的一個(gè)模塊，其功能包括對(duì)照明色溫及色彩進(jìn)行估計(jì)，再根據(jù)估計(jì)的結(jié)果將圖像從當(dāng)前照明矯正到在白平衡標(biāo)準(zhǔn)參考光源照明如d50照明下的狀態(tài)，或?qū)D像矯正到一個(gè)非標(biāo)準(zhǔn)但更與人眼感覺更吻合的照明下的狀態(tài)，或?qū)D像矯正到本機(jī)用戶偏愛的目標(biāo)狀態(tài)。特別的色彩增強(qiáng)可以與awb的增益調(diào)節(jié)同時(shí)進(jìn)行，或在awb增益調(diào)節(jié)后進(jìn)行。awb模塊可以用如圖2或圖3的方法實(shí)現(xiàn)，也可以在isp內(nèi)不同的位置實(shí)現(xiàn)，如bayer域中，或如圖4所示的后處理模塊，或在其它平臺(tái)上作為一個(gè)脫機(jī)模塊來實(shí)現(xiàn)。如圖2所示的實(shí)施例的實(shí)現(xiàn)中，抓拍的圖像或視頻的幀圖像在經(jīng)過前處理里后被存于緩存260中?？刂破?30通過對(duì)緩存260的讀寫和運(yùn)算進(jìn)行人臉檢測(cè)和識(shí)別，人臉特征獲取，照明色溫及色彩估計(jì)，白平衡增益調(diào)節(jié)，色彩矯正和增強(qiáng)。如有專門設(shè)計(jì)的硬件加速運(yùn)算電路，高速控制器和充足的和動(dòng)態(tài)緩存空間會(huì)大大提高運(yùn)算速度和圖像處理的質(zhì)量和效果。

本發(fā)明披露的awb裝置有3種工作模式：

awb人臉色彩特征獲取模式如圖5所示；

awb色彩調(diào)節(jié)模式如圖6所示；

awb的機(jī)器學(xué)習(xí)模式如圖7所示。

在awb人臉色彩特征獲取模式下，模塊53對(duì)經(jīng)過前處理的緩存51中的圖像進(jìn)行人臉檢測(cè)，分割和識(shí)別；模塊52獲取被識(shí)別認(rèn)可的用戶的人臉色彩特征的本征值，并通過人機(jī)交互模塊55提取人臉色彩特征的目標(biāo)值，并將結(jié)果存在模塊54人臉色彩特征集中。其中，緩存51中的圖像也可以經(jīng)過進(jìn)一步處理輸出為格式化的圖像文件，提取人臉色彩特征可以在本裝置或其它裝置上進(jìn)行。

在awb調(diào)節(jié)模式下，模塊63進(jìn)行人臉檢測(cè)，分割和識(shí)別和人臉色彩特征提取，64根據(jù)上述的結(jié)果以及人臉色彩特征集62中的人臉色彩特征數(shù)據(jù)進(jìn)行照明色溫及色彩估計(jì)并獲取c1，c2，c3，根據(jù)c1，c2，c3和人臉色彩特征集中的數(shù)據(jù)進(jìn)行白平衡的增益調(diào)節(jié)和色彩增強(qiáng)。

在awb的機(jī)器學(xué)習(xí)模式中，awb控制起初完全基于c1的計(jì)算，人臉色彩特征的獲取和學(xué)習(xí)過程在后臺(tái)運(yùn)行。當(dāng)學(xué)習(xí)過程收斂之后，如上述基于c1，c2，c3的awb調(diào)節(jié)模式在前臺(tái)運(yùn)行。

以下對(duì)上述三種模式進(jìn)行詳細(xì)描述。

awb人臉色彩特征獲取模式：

人臉檢測(cè)、分割和識(shí)別的實(shí)時(shí)算法實(shí)現(xiàn)，已在智能手機(jī)和其它視頻系統(tǒng)中大量使用。前攝平臺(tái)可以利用用戶群有限和多種用戶的輔助身份信息如密碼、指紋等，以及利用下述的人臉色彩特征集作為人臉識(shí)別的輔助特征矢量，使人臉識(shí)別的計(jì)算量進(jìn)一步簡(jiǎn)化。因此，人臉檢測(cè)、分割和識(shí)別的實(shí)時(shí)算法實(shí)現(xiàn)在本發(fā)明中作為現(xiàn)有技術(shù)而不作詳細(xì)敘述。

awb人臉色彩特征獲取模式包括：標(biāo)準(zhǔn)光源多點(diǎn)標(biāo)測(cè)模式、標(biāo)準(zhǔn)色板多點(diǎn)標(biāo)測(cè)模式、單點(diǎn)插值標(biāo)測(cè)模式，和機(jī)器學(xué)習(xí)自動(dòng)測(cè)試模式。

標(biāo)準(zhǔn)光源多點(diǎn)標(biāo)測(cè)模式：

在awb適用的參考光源照明下，拍攝含有人臉的圖像，對(duì)人臉進(jìn)行檢測(cè)，和分割和識(shí)別，并提取包括膚色，眼白和牙齒部位的色彩特征。具體地，可以在d50或其他標(biāo)準(zhǔn)光源和合適的亮度照明下，在攝像平臺(tái)的自動(dòng)曝光和對(duì)焦穩(wěn)定后，先用灰卡做手動(dòng)白平衡，然后關(guān)閉白平衡的功能：拍攝用戶臉部正面圖像，并在顯示屏幕顯示上述所拍的圖像，使其臉部輪廓的尺度足夠大，眼白、牙齒清晰可見；測(cè)試軟件對(duì)人臉進(jìn)行檢查和定位，并提取各部位的統(tǒng)計(jì)色彩特征，輸入到人臉色彩特征集對(duì)應(yīng)于該用戶該照明光源的本征值表項(xiàng)中；測(cè)試軟件再調(diào)節(jié)人臉膚色在某一色空間的位置，將效果和調(diào)節(jié)方法在顯示屏上顯示如圖14，并由用戶通過人機(jī)交互界面來調(diào)節(jié)選擇最佳效果，測(cè)試軟件再根據(jù)用戶的選擇將人臉膚色在色空間中選定的位置坐標(biāo)作為目標(biāo)值輸入至人臉色彩特征集對(duì)應(yīng)于該用戶該照明光源的目標(biāo)值表項(xiàng)中；保持自動(dòng)白平衡關(guān)閉，改變照明光源，逐一重復(fù)上述步驟，但在本征值測(cè)量時(shí)不再做手動(dòng)白平衡，在目標(biāo)值測(cè)量時(shí)做手動(dòng)白平衡，即可獲得對(duì)應(yīng)于新的光源點(diǎn)的人臉色彩特征值。使測(cè)量的光源以一定的間隔(1000k-2000k)覆蓋白平衡需要覆蓋的色溫區(qū)間(如2500k-12000k)，則測(cè)試完成。以下以膚色區(qū)為例，更為詳細(xì)的表述本征值的獲取過程。如圖8所示，首先將膚色區(qū)880的像素點(diǎn)從rgb空間轉(zhuǎn)化到hsl空間，并采用一個(gè)數(shù)據(jù)結(jié)構(gòu)使每一個(gè)像素點(diǎn)在rgb空間圖像矩陣中的位置不被丟失。其次用大小可調(diào)的亮度閾值來去除過亮和過暗的像素點(diǎn)。再次對(duì)通過濾波的像素點(diǎn)做一個(gè)對(duì)應(yīng)于h和s的二維直方圖，保留近直方圖峰值中心區(qū)域約80％的像素點(diǎn)作為膚色特征統(tǒng)計(jì)的優(yōu)選點(diǎn)，并在rgb空間原矩陣中計(jì)算這些優(yōu)選點(diǎn)各個(gè)坐標(biāo)分量的平均值，其結(jié)果就作為用戶的膚色特征本征值r110，g110，b110輸入到人臉色彩特征集中對(duì)應(yīng)于該用戶表項(xiàng)在該色溫下的本征值的位置。提取眼白和牙齒的本征值的過程與之相似，但人眼區(qū)830以及嘴巴區(qū)820在上述提取前需經(jīng)進(jìn)一步分割以得到準(zhǔn)確的眼球和牙齒的輪廓邊緣。

標(biāo)準(zhǔn)灰板多點(diǎn)標(biāo)測(cè)模式：

由于標(biāo)準(zhǔn)光源設(shè)備的昂貴和上述操作的不方便，可以做如下簡(jiǎn)易的標(biāo)測(cè)：用含有標(biāo)準(zhǔn)灰板或白色表面的背景在室內(nèi)外常用環(huán)境下拍攝含有上述參考表面的用戶臉部圖像，可選擇例如“日光燈”、“白熾燈”、“陽光下”、“樹蔭下”等場(chǎng)景，以包含awb所需覆蓋的色溫和色譜區(qū)間；用戶通過上述人機(jī)交互界面做色彩調(diào)整，選擇喜愛的最佳膚色效果；測(cè)試程序會(huì)根據(jù)標(biāo)準(zhǔn)灰板或白色表面來計(jì)算環(huán)境色溫，和與之對(duì)應(yīng)的人臉色彩特征本征值和目標(biāo)值。

單點(diǎn)插值標(biāo)測(cè)模式：

如圖9所示，人類膚色在某一色坐標(biāo)系中的在自然光照明下的色彩分布可以通過大量經(jīng)驗(yàn)數(shù)據(jù)來獲取，可以通過上述兩種方法之一獲取一個(gè)色溫點(diǎn)的人臉色彩本征值點(diǎn)的坐標(biāo)p，再根據(jù)人類膚色的在色坐標(biāo)系中的統(tǒng)計(jì)分布及其與攝像頭標(biāo)測(cè)的白點(diǎn)分布在該色坐標(biāo)系中的位置的相關(guān)性進(jìn)行外插，即可獲取足夠多的色溫點(diǎn)的本征值。

上述三種人臉色彩特征提取過程是由測(cè)試程序?qū)彺嬷械膱D像進(jìn)行的，也可以將圖像抓拍或視頻錄像，輸入到其它平臺(tái)或裝置上進(jìn)行人臉檢測(cè)、分割、識(shí)別、特征提取以及白平衡的照明估計(jì)、矯正和增強(qiáng)。

上述的人臉色彩特征獲取過程可以在用戶的啟動(dòng)下隨時(shí)進(jìn)行或由系統(tǒng)服務(wù)程序啟動(dòng)，人臉色彩特征集的數(shù)據(jù)也隨之更新。如果人臉識(shí)別不能確認(rèn)畫面中的人臉為用戶，可將檢測(cè)到的人臉部分從c1白平衡色溫估計(jì)中剔除。c2不做計(jì)算

以下表一為人臉色彩特征集對(duì)應(yīng)于自然光照明在rgb色空間的坐標(biāo)示例。

表一：人臉色彩特征集表項(xiàng)結(jié)構(gòu)示意

awb色彩調(diào)節(jié)模式

如圖6所示，首先模塊63對(duì)緩存中的圖像進(jìn)行人臉檢測(cè)、分割和識(shí)別，確認(rèn)為用戶后，模塊64進(jìn)行自動(dòng)白平衡的環(huán)境色溫估計(jì)。以一種基于黑體輻射的光源特性的照明估計(jì)方法為例：

c1計(jì)算方式如下：

如圖9所示，設(shè)背景中任一像素點(diǎn)為ib，其r、g、b分量為rib，gib，bib。背景像素點(diǎn)總和為t1，平均色溫的估計(jì)為

αib為加權(quán)因子，與該點(diǎn)的色彩特征及亮度相關(guān)。

將垂直投影到最近的白點(diǎn)軌跡曲線，即可得到色溫估計(jì)值c1。

c2的計(jì)算，其基本原理與c1計(jì)算相似。每個(gè)人臉部位都可以看成是一個(gè)獨(dú)立的參考表面，根據(jù)其實(shí)測(cè)的統(tǒng)計(jì)平均值在該表面的色溫曲線中的投影位置，以及與色溫估計(jì)的置信度相關(guān)的權(quán)重，可算出其對(duì)c2的貢獻(xiàn)。設(shè)人臉圖像上任一點(diǎn)ifj，j對(duì)應(yīng)于各個(gè)不同的分割部位，與人臉色彩特征集表中的行列序號(hào)相對(duì)應(yīng)，各部位的色溫估計(jì)先分別進(jìn)行計(jì)算，然后再加以綜合，以膚色為例：

膚色區(qū)的圖像像素點(diǎn)坐標(biāo)值乘以一個(gè)系數(shù)為該點(diǎn)對(duì)平均色溫估計(jì)的貢獻(xiàn)，可與該點(diǎn)的色彩特征及亮度相關(guān)。

其中代表人臉膚色像素點(diǎn)總數(shù)。

如圖10所示，圖中為某一用戶人臉膚色的平均估計(jì)在色坐標(biāo)系中的位置，對(duì)應(yīng)該用戶膚色本征值色溫曲線上的投影pfm即為上述膚色的色溫估計(jì)

人臉其余部位的色溫估計(jì)，與膚色相似，令眼白的色溫估計(jì)為牙齒為在計(jì)算c2，時(shí)，還需要再次通過查找人臉色彩特征值將和映射到白點(diǎn)軌跡上得到相應(yīng)的和

其中θj為估計(jì)的置信度加權(quán)因子。

把c1，c2的坐標(biāo)看成一個(gè)矢量，則全圖的色溫估計(jì)

c3＝(c1*k1+c2*k2)/(k1+k2)；【4】

其中(0＜k1＜1，0＜k2＜1；0＜w1＜1，0＜w2＜1)，k1，k2是加權(quán)系數(shù)，可以是置信度w1，w2的一個(gè)函數(shù)。

對(duì)于色彩與黑體輻射的光源特性的照明有一定差異的、需要做白平衡矯正的人工光源的照明色溫和色彩估計(jì)和白平衡矯正，c1即為即統(tǒng)計(jì)估計(jì)總體平均值不向白點(diǎn)色溫曲線作投影，c2的人臉各部位計(jì)算與之類似。

自動(dòng)白平衡矯正與色彩增強(qiáng)：

本發(fā)明可根據(jù)色溫及色彩估計(jì)c1或c2或c3或c1、c2、c3的任意組合對(duì)圖像進(jìn)行白平衡矯正和色彩增強(qiáng)，以下是一些可行的實(shí)例：

(1)用c3對(duì)背景和人臉進(jìn)行同一白平衡的矯正和人臉的色彩增強(qiáng)(參見圖10)在標(biāo)準(zhǔn)色溫照明下，白點(diǎn)的這通常是在isp系統(tǒng)調(diào)試過程中各個(gè)色彩通道的增益作了對(duì)應(yīng)于傳感器像素光譜以及其它模塊作了相應(yīng)的預(yù)處理調(diào)節(jié)。如果當(dāng)前的照明色溫估計(jì)c3在(b/g，r/g)色坐標(biāo)系中的坐標(biāo)是則，對(duì)應(yīng)于r通道和b通道的附加的白平衡增益調(diào)節(jié)為g/r1和g/b1，g通道增益通常不變，以保證自動(dòng)曝光不受白平衡的影響。白平衡調(diào)節(jié)之后，還要進(jìn)行一個(gè)3*3ccm色彩矯正矩陣[r′，g′，b′]＝a*[r，g，b]^t?！?】

(2)用c3對(duì)背景和人臉分別進(jìn)行白平衡的矯正和人臉的色彩增強(qiáng)(參見圖11)。人臉的各個(gè)部位和背景被從各自當(dāng)前的c3位置調(diào)節(jié)到各自的d50本征值位置。這種方法會(huì)使各個(gè)部位的色彩還原最佳，但計(jì)算量較大，還要處理好邊界的平滑，以避免噪聲和不自然的圖像失真。

(3)另一種實(shí)施的方法是用c2和c1來分別處理人臉及人體的膚色與其它背景圖像，這對(duì)人臉和背景照明色譜差異較大時(shí)特別有效，并基于用戶優(yōu)選的目標(biāo)值的白平衡矯正(如圖12所示)。人臉各個(gè)部位的色彩從對(duì)應(yīng)于當(dāng)前估計(jì)的c2的本征值位置調(diào)節(jié)到對(duì)應(yīng)于c2的目標(biāo)值位置。每一個(gè)用戶都有一組本征值和目標(biāo)值。在某一用戶沒有目標(biāo)值選項(xiàng)的情況下，就只能糾正到該用戶的標(biāo)準(zhǔn)參考光源下的本征值。如圖10和圖11所示。

先來考慮人臉的膚色，假設(shè)rref，bref和gref膚色的目標(biāo)值，并且rcurrent，bcurrent和gcurrent是對(duì)應(yīng)于c3的當(dāng)前估計(jì)值，膚色的矯正可以由以下公式來計(jì)算：

雖然上式滿足了用戶喜好的色彩表達(dá)，但由于在自動(dòng)曝光的過程中，gref可能不等于gcurrent，從而引起人臉亮度的變化。解決這個(gè)問題的一種方法可以把膚色像素點(diǎn)從rgb空間轉(zhuǎn)換到比如hsl空間，再將色彩和飽和度矯正到用戶優(yōu)選的目標(biāo)值，保持亮度不變，再將矯正后的像素點(diǎn)轉(zhuǎn)換回rgb空間。色彩和飽和度的調(diào)節(jié)具體實(shí)現(xiàn)，首先在hsl空間里，計(jì)算當(dāng)前估計(jì)值作為一個(gè)總體平均值以及目標(biāo)值在hsl空間里的坐標(biāo)，(hcurrent，scurrent，lcurrent)以及href，sref，lref)，然后計(jì)算h和s分量的差值δh＝href-hcurrent；δs＝sref-scurrent。對(duì)與膚色區(qū)某一像素點(diǎn)(hcurrent，scurrent，lcurrent)的調(diào)節(jié)可以采用以下公式；

hcurrent1＝hcurrent0+γ×δh；【7】

scurrent1＝scurrent0+θ×δs；【8】

其中，γ和θ是一個(gè)與亮度相關(guān)的加權(quán)因子。

為了使人臉區(qū)的膚色與人體其他裸露部位的膚色的表達(dá)一致性，可以采取如下的處理(參見圖13)：

首先，進(jìn)行人體膚色裸露部位的檢測(cè)和定位，如圖8所示，根據(jù)人臉的大小和方向性，預(yù)測(cè)一個(gè)人體區(qū)間矩形(或用其它現(xiàn)有技術(shù)更精準(zhǔn)的方法，獲取人體的輪廓)，將矩形的像素從rgb空間轉(zhuǎn)變到y(tǒng)cbcr空間，在cbcr坐標(biāo)系里以當(dāng)前色溫參考膚色的位置，f為核心的一個(gè)鄰域，為運(yùn)算和說明方便起見，如半徑為l(大小可調(diào))的圓為膚色濾波器，對(duì)上述人體矩形區(qū)進(jìn)行濾波，對(duì)位于圓內(nèi)的像素，再計(jì)算其與人體形態(tài)各部位的位置相關(guān)性等特征以及人體膚色區(qū)部位的連通性特征，若被判斷為裸露的膚色部位，則采用與上述人臉膚色相同的增益調(diào)節(jié)方法。人臉的其他部位如牙齒和眼白可以按照各自的本征值和目標(biāo)值進(jìn)行類似膚色的矯正和增強(qiáng)，或和背景同樣處理。

awb的機(jī)器學(xué)習(xí)特征獲取和色彩矯正模式：

首先，通過機(jī)器學(xué)習(xí)來獲取用戶人臉色彩特征的本征值，具體的：

獲取需要進(jìn)行白平衡矯正的圖像，對(duì)該圖像進(jìn)行人臉檢測(cè)、分割、和識(shí)別，確認(rèn)該圖像含有用戶人臉；

用c1作為照明的色溫及色彩估計(jì)來進(jìn)行白平衡調(diào)整，在無監(jiān)督學(xué)習(xí)模式下，在某個(gè)估計(jì)的光照色溫下，當(dāng)估計(jì)的置信度w1高于某個(gè)閾值wt，進(jìn)行人臉色彩特征本征值數(shù)據(jù)提取采集，緩存于一個(gè)候選數(shù)組中，當(dāng)在同一個(gè)估計(jì)的光照色溫下采集的候選數(shù)組中人臉色彩特征本征值數(shù)據(jù)對(duì)應(yīng)于均值的均方差小于某個(gè)閾值的概率p1大于某個(gè)閾值p1t時(shí)，則認(rèn)為c1的檢測(cè)準(zhǔn)確，將候選數(shù)組中的人臉色彩特征集本征值的均值進(jìn)行采集，并錄入人臉色彩特征集該用戶該色溫的表項(xiàng)，或者：

在用戶監(jiān)督學(xué)習(xí)模式下，通過人機(jī)界面隨機(jī)的顯示含有用戶人臉且基于c1的照明色溫及色彩估計(jì)置信度較高的圖像，通過人機(jī)界面征詢用戶對(duì)色彩還原的滿意度；如果用戶滿意，就說明該圖基于c1的照明估計(jì)和白平衡和色彩矯正正確，對(duì)該用戶進(jìn)行人臉色彩特征集本征值數(shù)據(jù)提取采集，錄入人臉色彩特征集中該用戶對(duì)應(yīng)于當(dāng)前估計(jì)的照明的本征值的表項(xiàng)；

或者：

在用戶監(jiān)督學(xué)習(xí)模式下，通過人機(jī)界面顯示含有用戶人臉且基于c1的照明色溫及色彩估計(jì)并通過無監(jiān)督學(xué)習(xí)合格的圖像，進(jìn)一步通過人機(jī)界面征詢用戶對(duì)色彩還原的滿意度；如果用戶滿意，就說明該圖基于c1的照明估計(jì)和白平衡和色彩矯正正確，對(duì)該用戶進(jìn)行人臉色彩特征集本征值數(shù)據(jù)提取采集，錄入人臉色彩特征集中該用戶對(duì)應(yīng)于當(dāng)前估計(jì)的照明的本征值的表項(xiàng)；

目標(biāo)值的獲取方法是，通過人機(jī)界面顯示一幅或多幅經(jīng)過色彩增強(qiáng)的圖像，或提供由用戶自行調(diào)節(jié)人臉色彩和飽和度的界面，或并用上述兩種方法，提示并獲取用戶的輸入，根據(jù)用戶的輸入確定提取目標(biāo)值，同時(shí)獲取對(duì)應(yīng)于從原始圖像變換到用戶確認(rèn)圖像的變換函數(shù)；將所獲取的目標(biāo)值及變換函數(shù)輸入至人臉色彩特征集中對(duì)應(yīng)于該用戶該色溫估計(jì)的表項(xiàng)；

當(dāng)用上述方法采集的人臉色彩特征集的數(shù)據(jù)充分覆蓋了awb所需覆蓋的照明色溫及色彩區(qū)時(shí)，學(xué)習(xí)過程完成，之后的白平衡的色溫及色彩估計(jì)和矯正就可以使用上述數(shù)據(jù)來實(shí)現(xiàn)步驟二和步驟三；

上述的機(jī)器學(xué)習(xí)還具有更新的模式，在該模式下，用戶隨時(shí)啟動(dòng)學(xué)習(xí)過程，更新本征值或目標(biāo)值。

本發(fā)明所披露的方法與裝置也適用不同于前攝平臺(tái)的其它影像裝置，例如，后置攝像頭和數(shù)碼相機(jī)在自拍的模式時(shí)，可以拍到用戶人臉。此外，前置攝像頭獲取的照明估計(jì)對(duì)后置攝像頭的白平衡也是有用的信息，尤其在一些場(chǎng)景，當(dāng)后置攝像頭自動(dòng)白平衡的照明估計(jì)置信度較低時(shí)，后置攝像頭向系統(tǒng)控制器發(fā)出請(qǐng)求前置攝像頭獲取照明估計(jì)信息，系統(tǒng)控制器在系統(tǒng)資源許可時(shí)，批準(zhǔn)該請(qǐng)求，并在用戶不在使用前置攝像頭時(shí)啟動(dòng)前置攝像頭獲取照明估計(jì)的工作；后置攝像頭采用或參考前置攝像頭的照明估計(jì)相關(guān)的判定條件和方法是：前、后置攝像頭同時(shí)工作且視場(chǎng)的照明相同或相關(guān)時(shí)；該照明相同或相關(guān)的判定條件和方法是：可通過自動(dòng)曝光和其它場(chǎng)景分析算法判定兩攝像頭的視場(chǎng)同為室內(nèi)或室外；通過自動(dòng)對(duì)焦或其它測(cè)距算法判定前、后置攝像頭的場(chǎng)景與攝像頭的距離遠(yuǎn)近；在前置攝像頭的場(chǎng)景中檢測(cè)到的照明光源與后置攝像頭的白平衡模塊估計(jì)的環(huán)境照明光源相同或相近；前置攝像頭的白平衡模塊估計(jì)的環(huán)境照明光源與后置攝像頭的白平衡模塊估計(jì)的環(huán)境照明光源相同或相近；

后置攝像頭的白平衡模塊與前置攝像頭的白平衡模塊的同時(shí)工作可以是常態(tài)的，也可以是間隙的；當(dāng)用戶在使用后置攝像頭而不在使用前置攝像頭時(shí)，后置攝像頭的白平衡模塊有權(quán)實(shí)時(shí)通過系統(tǒng)控制程序來啟動(dòng)或關(guān)閉前置攝像頭及其白平衡模塊以獲取場(chǎng)景分析和照明色溫及色彩估計(jì)性息，且前置攝像頭在后臺(tái)工作，不做白平衡矯正及isp的下游處理，以降低功耗。

本發(fā)明的awb模塊的實(shí)施結(jié)構(gòu)可以有多種選擇。在圖2中，幀圖像緩存是設(shè)在rgb的處理域中；自動(dòng)白平衡模塊可設(shè)在圖像處理器內(nèi)的bayer域中、或rgb域中、或后處理模塊，或以分布式的處理架構(gòu)涉及所述電子媒體裝置多項(xiàng)資源，或在其它平臺(tái)裝置上作為一個(gè)脫機(jī)模塊來實(shí)現(xiàn)，包括在第一電子媒體裝置上實(shí)現(xiàn)步驟一的獲取圖像部分，在第二電子媒體裝置上實(shí)現(xiàn)步驟一的人臉色彩特征提取部分，在第三電子媒體裝置上上實(shí)現(xiàn)步驟二、或步驟二及步驟三，或其它步驟與媒體裝置的組合；其中，第二或第三電子媒體裝置帶或不帶攝像頭，包括電視機(jī)、顯示屏、游戲機(jī)、電腦、視頻或圖像壓縮編碼器、或網(wǎng)絡(luò)傳輸裝置。

攝像頭上的isp系統(tǒng)中的自動(dòng)白平衡裝置包括基于電子電路的逐點(diǎn)處理(硬件)，比如統(tǒng)計(jì)數(shù)據(jù)采集模塊，增益調(diào)節(jié)模塊，色彩矯正(ccm)模塊或?qū)I(yè)asic的處理模塊；基于可編程控制器或dsp、gpu的軟件模塊，如照明色溫估計(jì)，增益調(diào)節(jié)值等計(jì)算，以及整個(gè)過程的控制。要完成上述的人臉檢測(cè)，分割和識(shí)別，以及基于人臉色彩特征的自動(dòng)白平衡任務(wù)需要合理配置計(jì)算資源。專用的硬件加速單元越多，控制器的速度越快，圖像質(zhì)量就越好，延遲也越小，但功耗和成本會(huì)越高。比如，當(dāng)圖像中檢測(cè)出多個(gè)用戶的人臉時(shí)候，計(jì)算量會(huì)顯著增加，在這種情況下，可以事先賦予人臉色彩特征集中不同用戶不同的優(yōu)先權(quán)，首先滿足優(yōu)先權(quán)級(jí)別最高的用戶的需求，保證其色彩還原的效果最佳，并優(yōu)先采用該用戶的人臉色彩特征作為c2計(jì)算的參考，另一個(gè)方法是同時(shí)參照多個(gè)用戶的人臉色彩特征來計(jì)算c2，在綜合時(shí)考慮到優(yōu)先權(quán)以及個(gè)體估計(jì)的置信度等作為權(quán)重的影響因素。在作白平衡矯正和色彩增強(qiáng)時(shí)，是否用多用戶模式可以有機(jī)主設(shè)定。如果機(jī)主希望自己在圖像中色彩還原最好，可以只采用單用戶。反之比如是一個(gè)家庭合影，人人都希望表現(xiàn)出色，就可以設(shè)成多用戶模式，顯然多用戶模式會(huì)占用較多的系統(tǒng)資源和較多的處理時(shí)間。如前所述，小樣本集的實(shí)時(shí)人臉檢測(cè)和識(shí)別在智能手機(jī)上已經(jīng)可以實(shí)時(shí)實(shí)現(xiàn)，因此，本發(fā)明提出的方法在計(jì)算資源上是現(xiàn)實(shí)可行的，尤其是像對(duì)于用c3對(duì)全圖進(jìn)行統(tǒng)一增益調(diào)節(jié)的實(shí)施方法。

如圖16所示，人臉色彩特征集可以作為一個(gè)輔助的或獨(dú)立的特征向量集應(yīng)用于本發(fā)明中的人臉識(shí)別的模塊，也可以用于其它人臉識(shí)別的場(chǎng)合如視頻監(jiān)控或網(wǎng)絡(luò)視頻和圖像檢索。