本發(fā)明涉及用于圖像處理的方法及裝置，尤其涉及例如用于面部表情識別和面部識別的方法及裝置。

背景技術(shù)：

近年來，在圖像處理、計算機視覺與模式識別的領(lǐng)域中，普遍應(yīng)用了面部表情識別。一般而言，在存儲設(shè)備的大小不受限制的面部表情識別系統(tǒng)中，通常會從輸入圖像中提取具有高維數(shù)的面部表情特征，而后用于面部表情識別中，這是因為，識別精度總是依賴于使用的面部表情特征的維數(shù)(即，使用的面部表情特征具有的維數(shù)越高，則能夠?qū)崿F(xiàn)的識別精度越高)。然而，對于存儲設(shè)備的大小受限制的面部表情識別系統(tǒng)，諸如照相機、數(shù)字照相機、電視攝像機、視頻攝像機、移動電話、個人數(shù)據(jù)助理(PDA)或其他適合的電子設(shè)備，存在如下的需要，即，使用具有較低維數(shù)的面部表情特征，同時識別精度不會變差。

在“A Half Face Recognition Scheme”(Shidu Dong,Bo He,Qun Jiang,Huaqiu Wang,Tongyuan Huang,SNPD,2007,2010 11th ACIS International Conference on Software Engineering,Artificial Intelligence,Networking and Parallel/Distributed Computing,2010 11th ACIS International Conference on Software Engineering,Artificial Intelligence,Networking and Parallel/Distributed Computing 2007,pp.355-358,doi:10.1109/SNPD.2007.415)中，公開了一種通過使用具有低維數(shù)的面部表情特征來識別面部表情的示例性技術(shù)。上述技術(shù)主要公開了以下操作：第一，在包含面部的輸入圖像中定位顯著區(qū)域，其中這些顯著區(qū)域能夠代表輸入圖像中的面部的屬性，諸如眼部區(qū)域、鼻部區(qū)域、嘴部區(qū)域等；第二，在輸入圖像中確定具有較高光照的半邊臉，諸如，圖1A中所示的矩形框代表具有較高光照的左半邊臉，并且圖1B中所示的矩形框代表具有較高光照的右半邊臉；第三，選擇在確定的半邊臉上的顯著區(qū)域；而后，從選擇的顯著區(qū)域中提取面部表情特征，用于面部表情識別。

在上述技術(shù)中，僅從確定的半邊臉中提取面部表情特征，因此，能夠減少用于面部表情識別的面部表情特征的維數(shù)。然而，通過比較輸入的面部的兩個半邊臉的光照，來確定用于提取面部表情特征的半邊臉，因此，兩個半邊臉的光照差異越明顯，則能夠確定的用于提取面部表情特征的半邊臉越具有辨別力，進而，能夠?qū)崿F(xiàn)的識別精度越高。

換言之，如果兩個半邊臉的光照差異不明顯(即，輸入圖像具有正常的光照)，則對于上述技術(shù)而言，將難以確定最具有辨別力的半邊臉。并且，由于上述技術(shù)在識別面部表情時僅使用面部的一半的面部表情信息，因此，識別精度相比于通過在識別面部表情時使用整個面部的面部表情信息而實現(xiàn)的識別精度將變差。也即，對于具有正常光照的圖像而言，雖然用于面部表情識別的面部表情特征的維數(shù)能夠被減少，但是上述技術(shù)將實現(xiàn)較差的識別精度。

技術(shù)實現(xiàn)要素：

因此，鑒于上面背景技術(shù)中的敘述，本公開旨在解決如上所述的問題。

根據(jù)本發(fā)明的一個方面，提供了一種圖像處理裝置，該圖像處理裝置包括：圖像獲取單元，其被構(gòu)造為獲取包含面部的圖像；區(qū)域定位單元，其被構(gòu)造為在獲取到的圖像中，定位代表所述面部的屬性的至少一個區(qū)域；特征提取單元，其被構(gòu)造為從定位的區(qū)域中提取特征；以及特征整合單元，其被構(gòu)造為對基于所述面部的對稱性而彼此對稱的、定位的區(qū)域的特征，進行整合。

利用本發(fā)明，能夠減少用于圖像處理的特征的維數(shù)，并且能夠保持圖像處理精度。

通過以下參照附圖的描述，本發(fā)明的進一步的特征及優(yōu)點將變得清楚。

附圖說明

被并入說明書并構(gòu)成說明書的一部分的附圖例示了本發(fā)明的實施例，并且與文字描述一起用來說明本發(fā)明的原理。

圖1A及圖1B示意性地示出了根據(jù)現(xiàn)有技術(shù)的具有光照差異的人臉圖像。

圖2A至圖2C示意性地示出了各自包括不同面部表情的人臉圖像。

圖3是示意性地示出根據(jù)本發(fā)明的實施例的圖像處理裝置的硬件配置的框圖。

圖4是例示根據(jù)本發(fā)明的第一實施例的圖像處理裝置的配置的框圖。

圖5A至圖5C示意性地示出了被檢測特征點和相應(yīng)的定位的顯著區(qū)域的示例。

圖6A及圖6B示意性地示出了被檢測特征點和相應(yīng)的定位的顯著區(qū)域的另一示例。

圖7A及圖7B示意性地示出了與眼睛相關(guān)的一個定位的顯著區(qū)域的劃分塊、以及從劃分塊中提取的特征的示例。

圖8是例示本發(fā)明的圖4中所示的特征整合單元440的詳細配置的框圖。

圖9是示意性地示出圖8中所示的特征整合單元440的處理的詳細過程的流程圖。

圖10是示意性地示出圖9中所示的步驟S910的處理的詳細過程的流程圖。

圖11示意性地示出了部分的人臉被頭發(fā)遮擋的人臉。

圖12A及圖12B是示意性地示出關(guān)于左、右眼區(qū)域是否被遮擋的判斷的圖。

圖13A至圖13D是示意性地示出基于面部的對稱性而彼此對稱的兩個定位的顯著區(qū)域、以及從這兩個定位的顯著區(qū)域中提取的相應(yīng)特征的圖。

圖14A至圖14D是示意性地示出按面部的對稱性而被劃分為兩個部分的定位的顯著區(qū)域、以及從這兩個部分中提取的相應(yīng)特征的圖。

圖15示意性地示出了定位的顯著區(qū)域的一些塊被面部的對稱線劃分為兩個部分的情況。

圖16是示意性地示出根據(jù)第一實施例的總體處理的過程的流程圖。

圖17是例示根據(jù)本發(fā)明的第二實施例的圖像處理裝置的配置的框圖。

圖18是示意性地示出根據(jù)第二實施例的總體處理的過程的流程圖。

圖19是示出根據(jù)第二實施例的、應(yīng)用面部表情識別的在線教育評價系統(tǒng)的整體構(gòu)造的框圖。

圖20是例示根據(jù)本發(fā)明的第三實施例的圖像處理裝置的配置的框圖。

圖21是示意性地示出根據(jù)第三實施例的總體處理的過程的流程圖。

具體實施方式

下面，將參照附圖來詳細描述本發(fā)明的示例性實施例。應(yīng)當指出，以下的描述實質(zhì)上僅是說明性和示例性的，并且決不意在限制本發(fā)明及其應(yīng)用或用途。在實施例中提出的構(gòu)成要素及步驟的相對布置、數(shù)值表達式以及數(shù)值并不限制本發(fā)明的范圍，除非另外特別說明。此外，本領(lǐng)域技術(shù)人員已知的技術(shù)、方法及設(shè)備可能不作詳細討論，但在適當?shù)那闆r下應(yīng)當作為本說明書的一部分。

請注意，類似的附圖標記及字母指代圖中的類似項目，因而，一旦項目在一個圖中被定義，則對于之后的圖不需要再討論該項目。

統(tǒng)計數(shù)據(jù)表明，人臉具有對稱性。換言之，不僅對于具有中性表情(如圖2A所示)的面部，而且對于具有諸如微笑表情(如圖2B所示)、悲傷表情(如圖2C所示)等其他表情的面部，人臉都幾乎是左右對稱的，其中，圖2中所示的虛線是面部的對稱線。因此，本發(fā)明人發(fā)現(xiàn)，能夠利用面部的對稱性，來減少在識別面部表情時的面部表情特征的維數(shù)。同時，能夠盡可能地保持圖像處理精度。

(圖像處理裝置的硬件配置)

首先，將參照圖3，來描述能夠?qū)崿F(xiàn)下文所述的技術(shù)的圖像處理裝置的硬件配置。圖3是示意性地示出根據(jù)本發(fā)明的實施例的圖像處理裝置的硬件配置300的框圖。通過諸如個人計算機(PC)、照相機、數(shù)字照相機、電視攝像機、視頻攝像機、移動電話、個人數(shù)據(jù)助理(PDA)或其他適合的電子設(shè)備，來實施根據(jù)本發(fā)明的實施例的圖像處理裝置。

圖像處理裝置的硬件配置300可以包括中央處理單元(CPU)310、隨機存取存儲器(RAM)320、只讀存儲器(ROM)330、硬盤340、輸入設(shè)備350、輸出設(shè)備360、網(wǎng)絡(luò)接口370及系統(tǒng)總線380。

CPU 310可以是任何適合的可編程控制設(shè)備，并且能夠通過執(zhí)行存儲在ROM 330或硬盤340中的各種應(yīng)用程序，來執(zhí)行下文所述的各種功能。RAM 320用來臨時存儲從ROM 330或硬盤340中加載的程序或數(shù)據(jù)，并且還用作如下的空間，在該空間中，CPU 310執(zhí)行各種程序，諸如實施下文將參照圖4至圖21詳細描述的技術(shù)以及由圖像處理裝置執(zhí)行的其他功能。硬盤340能夠存儲許多種類的信息，諸如操作系統(tǒng)(OS)、各種應(yīng)用、控制程序，以及由制造商預(yù)生成或設(shè)置的數(shù)據(jù)，其中，所述數(shù)據(jù)例如可以是下文所述的閾值(TH)、面部表情模型、面部模型。

在一種實施方式中，輸入設(shè)備350可以是輸入接口，并且能夠接收從圖像獲取設(shè)備輸出的圖像，所述圖像獲取設(shè)備是諸如下文將參照圖19描述的圖像獲取設(shè)備1910。并且，輸出設(shè)備360可以是輸出接口，并且能夠?qū)⑻幚斫Y(jié)果輸出至后續(xù)操作，諸如識別面部表情、識別面部、評價在線教育的質(zhì)量，或者基于識別的面部將捕獲圖像存儲在數(shù)字照相機中，并且所有這些操作均將在下文中進行描述。

在另一實施方式中，輸入設(shè)備350能夠允許用戶與圖像處理裝置交互，諸如用戶能夠通過輸入設(shè)備350來輸入圖像。并且，輸入設(shè)備350可以采用諸如按鈕、小鍵盤、轉(zhuǎn)盤、觸控輪或觸摸屏等的各種形式。輸出設(shè)備360可以包括陰極射線管(CRT)或液晶顯示器，并且能夠向用戶顯示處理結(jié)果。此外，如果圖像處理裝置是所謂的諸如智能移動電話、PDA、平板計算機或其他適合的個人設(shè)備等的設(shè)備，則輸入設(shè)備350和輸出設(shè)備360可以被合并為一體。此外，如果圖像處理裝置是所謂的諸如傳統(tǒng)移動電話、筆記本電腦、臺式電腦或其他適合的個人設(shè)備等的設(shè)備，則輸入設(shè)備350和輸出設(shè)備360可以分開地被合并。

網(wǎng)絡(luò)接口370提供用于將圖像處理裝置連接到網(wǎng)絡(luò)(未示出)的接口。例如，圖像處理裝置能夠經(jīng)由網(wǎng)絡(luò)接口370，與經(jīng)由網(wǎng)絡(luò)連接的其他電子設(shè)備(諸如圖19中所示的圖像獲取設(shè)備1910和/或監(jiān)視設(shè)備1920)進行數(shù)據(jù)通信。作為另一選擇，可以為圖像處理裝置配設(shè)無線接口，以進行無線數(shù)據(jù)通信。系統(tǒng)總線380可以提供如下的數(shù)據(jù)傳送路徑，該數(shù)據(jù)傳送路徑用于在CPU 310、RAM 320、ROM 330、硬盤340、輸入設(shè)備350、輸出設(shè)備360及網(wǎng)絡(luò)接口370等之間相互傳送數(shù)據(jù)。雖然被稱為總線，但是，系統(tǒng)總線380并不局限于任何特定的數(shù)據(jù)傳送技術(shù)。

作為替代，可以使用實現(xiàn)與上述硬件設(shè)備相同的功能的軟件。

在諸如圖像處理等的本發(fā)明的一個實施例的示例中，稍后將參照圖9至圖10及圖16描述的本實施例的程序可以被預(yù)先安裝在硬盤340中，并且在CPU 310需要執(zhí)行本實施例的程序時，被從硬盤340中加載到RAM 320。在其他示例中，本實施例的程序可以被記錄在ROM 330中，并且直接由CPU 310執(zhí)行。此外，也可以通過相同的方式，來存儲和執(zhí)行諸如稍后將參照圖18及圖21描述的面部表情識別及面部識別等的其他實施例的程序。

圖3中所示的圖像處理裝置的上述硬件配置300僅是說明性的，并且決不意在限制本發(fā)明及其應(yīng)用或用途。并且，為了簡單起見，圖3中僅示出了一種硬件配置。然而，也可以根據(jù)需要使用多個硬件配置。

(圖像處理裝置的配置)

接下來，將參照圖4，來描述用于上述圖像處理裝置的圖像處理的配置。圖4是例示根據(jù)本發(fā)明的第一實施例的圖像處理裝置400的配置的框圖。

圖4中所示的模塊被實現(xiàn)為上面參照圖3所述的圖像處理裝置的CPU 310，并且用于執(zhí)行被加載到RAM 320的程序，以及用于與圖3中所示的各硬件協(xié)作?？梢杂蓪Ｓ玫挠布韺崿F(xiàn)部分或全部的模塊。

如圖4所示，根據(jù)本發(fā)明的第一實施例的圖像處理裝置400包括：圖像獲取單元410、區(qū)域定位單元420、特征提取單元430及特征整合單元440。并且，圖像處理裝置400可以進一步包括面部特征獲得單元450。

如上所述，首先，圖3中所示的輸入設(shè)備350將接收包含面部的一個圖像(諸如圖2A中所示的人臉圖像)，該圖像是從圖像獲取設(shè)備輸出的，或者是由用戶輸入的。其次，輸入設(shè)備350將經(jīng)由系統(tǒng)總線380，將獲取到的圖像傳送到圖像獲取單元410。

而后，如圖4所示，首先，圖像獲取單元410將通過系統(tǒng)總線380，從輸入設(shè)備350來獲取包含面部的圖像。

其次，區(qū)域定位單元420將在獲取到的圖像中，定位代表面部的屬性的至少一個區(qū)域。在一種實施方式中，屬性可以是關(guān)于面部表情識別的面部的表情屬性。在另一實施方式中，屬性也可以是關(guān)于面部識別的面部的紋理屬性。此外，代表面部的屬性的區(qū)域在本發(fā)明中可以被視為顯著區(qū)域，并且，面部中的眼部區(qū)域、鼻部區(qū)域、嘴部區(qū)域及其他區(qū)域可以被視為上述的顯著區(qū)域。在下文中，顯著區(qū)域?qū)⒂脕泶碛糜诖砻娌康膶傩缘膮^(qū)域。

區(qū)域定位單元420可以僅定位一個顯著區(qū)域，所述一個顯著區(qū)域同時包含兩個眼部區(qū)域、一個鼻部區(qū)域和一個嘴部區(qū)域。此外，區(qū)域定位單元420也可以定位多于一個的顯著區(qū)域。在一個實例中，區(qū)域定位單元420能夠定位兩個顯著區(qū)域，諸如一個顯著區(qū)域包含兩個眼部區(qū)域，并且另一個包含鼻部區(qū)域和嘴部區(qū)域。在另一實例中，區(qū)域定位單元420能夠定位3個顯著區(qū)域，諸如第一個顯著區(qū)域包含兩個眼部區(qū)域，第二個顯著區(qū)域包含鼻部區(qū)域，并且第三個顯著區(qū)域包含嘴部區(qū)域。

為了獲得更準確的顯著區(qū)域，以使下文所述的特征提取單元430及特征整合單元440能夠獲得更準確的特征，作為優(yōu)選方案，區(qū)域定位單元420可以包括特征點檢測單元421及區(qū)域確定單元422，如圖4所示。

首先，特征點檢測單元421能夠在獲取的圖像中檢測特征點。許多現(xiàn)有方法能夠用于檢測特征點，諸如常用的主動外觀模型(Active Appearance Model,AAM)法。在一種實施方式中，可以在特征點檢測單元421中，使用在“Supervised descent method and its application to face alignment”(Xuehan Xiong,Fernando De la Torre,CVPR,2013,2013 IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2013 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)2013,pp.532-539,doi:10.1109/CVPR.2013.75)中公開的方法，來檢測特征點。

在本發(fā)明中，被檢測特征點的數(shù)量不是固定的。一般而言，眼部區(qū)域、鼻部區(qū)域及嘴部區(qū)域能夠包含面部的更多的屬性，因此，經(jīng)常從這種區(qū)域中檢測特征點。在一種實施方式中，可以在獲取的圖像中檢測7個特征點，其中所述7個特征點包括各眼部區(qū)域上的兩個特征點、鼻部區(qū)域上的一個特征點，以及嘴部區(qū)域上的兩個特征點。并且，圖5A中所示的黑點是示例性的被檢測特征點。在另一實施方式中，為了獲得用于后續(xù)操作的面部的更多屬性，可以在獲取的圖像中檢測15個特征點，其中所述15個特征點包括各眼部區(qū)域上的4個特征點、鼻部區(qū)域上的3個特征點，以及嘴部區(qū)域上的4個特征點。并且，圖6A中所示的黑點是示例性的被檢測特征點。

在特征點檢測單元421在獲取的圖像中檢測了特征點之后，區(qū)域確定單元422將基于被檢測特征點，來確定顯著區(qū)域。依據(jù)制造商的設(shè)置，顯著區(qū)域可以是諸如矩形、正方形等的任何形狀，并且可以是任何大小。此外，顯著區(qū)域的數(shù)量不是固定的，并且也可以基于制造商的設(shè)置來決定。

針對圖5A中所示的被檢測特征點，在一個實例中，區(qū)域確定單元422能夠定位4個顯著區(qū)域，其中所述4個顯著區(qū)域包括兩個眼部區(qū)域、一個鼻部區(qū)域和一個嘴部區(qū)域，如圖5B所示。在另一實例中，為了獲得用于后續(xù)操作的面部的更多屬性，區(qū)域確定單元422也可以定位7個顯著區(qū)域，如圖5C所示。在該實例中，例如，圖5C中所示的各定位的顯著區(qū)域能夠以一個被檢測特征點為中心。并且，如果定位的顯著區(qū)域是正方形，則可以把各定位的顯著區(qū)域的寬度和長度，均設(shè)置為獲取的圖像的長度的20％～45％?；蛘?，如果定位的顯著區(qū)域是矩形，則可以把各定位的顯著區(qū)域的寬度和長度，分別設(shè)置為獲取的圖像的寬度和長度的20％～45％。

針對圖6A中所示的被檢測特征點，在一個實例中，區(qū)域確定單元422能夠定位15個顯著區(qū)域，如圖6B所示。并且，用于定位圖6B中所示的各顯著區(qū)域的方法，與用于定位圖5C中所示的各顯著區(qū)域的上述方法相同。以具有200*200像素的大小的獲取圖像為例，各定位的顯著區(qū)域能夠以一個被檢測特征點為中心，并且可以具有60*60像素的大小。

現(xiàn)在，返回到圖4，在區(qū)域定位單元420在獲取的圖像中定位了上述的顯著區(qū)域之后，特征提取單元430將從定位的顯著區(qū)域中提取特征。例如，如上所述，對于面部表情識別，與面部的屬性相對應(yīng)的提取的特征可以是表情特征；并且對于面部識別，與面部的屬性相對應(yīng)的提取的特征可以是紋理特征。

為了獲得更準確的特征，以使下文所述的特征整合單元440能夠獲得更準確的整合特征，作為優(yōu)選方案，針對各定位的顯著區(qū)域，特征提取單元430首先將定位的顯著區(qū)域劃分為具有相同面積大小的多個塊，其中根據(jù)定位的顯著區(qū)域的大小，塊的面積大小以及塊的數(shù)量可以是不同的。為了方便下文所述的特征整合單元440的整合操作，塊的數(shù)量可以是偶數(shù)。如上所述，以具有60*60像素的大小的定位的顯著區(qū)域為例，定位的顯著區(qū)域的劃分模式可以是4乘4模式，換言之，各塊的寬度和高度均為15像素，這意味著，各顯著區(qū)域被劃分為具有相同面積大小的16個塊。

其次，特征提取單元430將從各劃分的塊中提取特征。在特征提取單元430中可以使用許多圖像特征描述符，以從劃分的塊中提取特征，諸如尺度不變特征變換(Scale-invariant Feature Transform,SIFT)、快速魯棒特征(Speeded Up Robust Features,SURF)、局部二進制模式(Local Binary Pattern,LBP)等。圖7A示意性地示出了與眼睛相關(guān)的一個定位的顯著區(qū)域的劃分塊、以及從劃分塊中提取的特征的示例，其中圖7A中所示的‘子向量n’代表從第N個塊中提取的特征。

此外，特征提取單元430還能夠?qū)膭澐值膲K中提取的特征鏈接在一起，以構(gòu)造顯著區(qū)域的一個鏈接特征。特征的鏈接順序不受限制，只要各顯著區(qū)域具有相同的特征鏈接順序即可。在一個實例中，一個顯著區(qū)域中的特征的鏈接順序可以是將從上部塊中提取的特征鏈接到底部塊，并且從左部塊到右部塊，諸如圖7B中所示的鏈接特征。

現(xiàn)在，返回到圖4，特征提取單元430從定位的顯著區(qū)域中提取了特征之后，其中對于一個定位的顯著區(qū)域，特征可以是上述的顯著區(qū)域的鏈接特征、上述的從各劃分的塊中提取的特征，或者直接從顯著區(qū)域中提取的特征，為了減少特征的維數(shù)，特征整合單元440將對基于面部的對稱性而彼此對稱的定位的顯著區(qū)域的特征進行整合，其中如果兩個定位的顯著區(qū)域基于面部的對稱性而彼此對稱，則意味著，這兩個定位的顯著區(qū)域的中心基于面部的對稱性而彼此對稱。在下文中，將參照圖9至圖15來描述詳細的處理。

此外，在特征整合單元440基于面部的對稱性來對定位的顯著區(qū)域的特征進行整合之后，面部特征獲得單元450可以進一步將整合特征鏈接在一起，以獲得整個面部的鏈接特征；并且，鏈接順序不受限制，只要各面部圖像的鏈接順序相同即可。

最后，面部特征獲得單元450將經(jīng)由系統(tǒng)總線380，將整個面部的鏈接特征傳送到圖3中所示的輸出設(shè)備360，以用于向用戶顯示處理結(jié)果，或者用于下文所述的后續(xù)操作，諸如識別面部表情、識別面部等。

(特征整合的詳細配置及處理)

圖8示出了例示圖4中所示的特征整合單元440的詳細配置的框圖。如圖8所示，首先，特征整合單元440包括特征組合單元443。針對一個定位的顯著區(qū)域，特征組合單元443首先將進行如下的判斷，即定位的顯著區(qū)域的中心(如果如上所述，定位的顯著區(qū)域以被檢測特征點為中心，則為被檢測特征點)是否在面部的對稱線上。而后，如果定位的顯著區(qū)域的中心被判斷為不在面部的對稱線上，則特征組合單元443將把定位的顯著區(qū)域的特征，與該定位的顯著區(qū)域的對稱區(qū)域的特征進行組合。并且，如果定位的顯著區(qū)域的中心被判斷為在面部的對稱線上，則特征組合單元443將把定位的顯著區(qū)域的第一子區(qū)域(諸如左子區(qū)域)的特征，與定位的顯著區(qū)域的第二子區(qū)域(諸如右子區(qū)域)的特征進行組合，其中定位的區(qū)域被面部的對稱線劃分為第一子區(qū)域和第二子區(qū)域。在下文中，將參照圖9來描述詳細的處理。

在日常生活中，人臉經(jīng)常被其他物體遮擋，諸如前額的一部分經(jīng)常被頭發(fā)遮擋，眼睛的一部分經(jīng)常被眼鏡遮擋，等等。由于從被其他物體遮擋的區(qū)域中提取的特征將引起一定的噪聲，而該噪聲將影響提取的特征的精度，因此，為了減少在對特征進行整合時由遮擋造成的影響，并且為了獲得更準確的整合特征，特征整合單元440可以進一步包括遮擋區(qū)域確定單元441及特征重新確定單元442，如圖8所示。首先，針對一個定位的顯著區(qū)域，遮擋區(qū)域確定單元441將確定定位的顯著區(qū)域是否為遮擋區(qū)域，其中所述遮擋區(qū)域例如可以是被頭發(fā)遮擋的顯著區(qū)域，或者被眼鏡遮擋的顯著區(qū)域。其次，針對一個遮擋區(qū)域，特征重新確定單元442將根據(jù)基于面部的對稱性而與遮擋區(qū)域?qū)ΨQ的、相應(yīng)的定位的顯著區(qū)域的特征，來重新確定遮擋區(qū)域的特征。在下文中，將參照圖9來描述詳細的整合處理。

圖9是示意性地示出圖8中所示的特征整合單元440的處理的詳細過程的流程圖900。針對一個定位的顯著區(qū)域，如圖9所示，在步驟S910中，圖8中所示的遮擋區(qū)域確定單元441將確定定位的顯著區(qū)域是否為遮擋區(qū)域。作為優(yōu)選方案，遮擋區(qū)域確定單元441可以基于定位的顯著區(qū)域的黑色像素密度，來確定定位的顯著區(qū)域是否為遮擋區(qū)域，并且在下文中，將參照圖10、圖11以及圖12A及圖12B來描述詳細的處理。此外，除了基于黑色像素密度之外，遮擋區(qū)域確定單元441還可以使用其他現(xiàn)有方法來判斷定位的顯著區(qū)域是否為遮擋區(qū)域，諸如基于模糊主成分分析(fuzzy principal component analysis)的方法、基于B樣條主動輪廓和皮膚顏色信息(B-spline active contour and skin color information)的方法，或者基于GraphCut的檢測方法。

圖10是示意性地示出圖9中所示的步驟S910的處理的詳細過程的流程圖。如圖10所示，在步驟S911中，遮擋區(qū)域確定單元441將通過使用諸如OSTU算法、自適應(yīng)閾值化算法、閾值化算法等現(xiàn)有的二值算法，對與定位的顯著區(qū)域(諸如圖11中所示的定位的顯著區(qū)域中的一個，其中圖11中所示的人臉的一部分被頭發(fā)遮擋)相對應(yīng)的圖像進行二值化。在步驟S912中，遮擋區(qū)域確定單元441將通過使用下面的函數(shù)，來計算定位的顯著區(qū)域的黑色像素密度：

其中，α代表黑色像素密度。

而后，在步驟S913中，遮擋區(qū)域確定單元441將進行如下的判斷，即定位的顯著區(qū)域的黑色像素密度是否大于預(yù)定閾值(TH)，其中TH可以由制造商來設(shè)置。如果黑色像素密度大于TH，則定位的顯著區(qū)域?qū)⒈慌袛酁檎趽鯀^(qū)域；否則，定位的顯著區(qū)域不是遮擋區(qū)域。

如上所述，遮擋區(qū)域確定單元441需要計算各定位的顯著區(qū)域的黑色像素密度。然而，一般而言，僅眼部區(qū)域更經(jīng)常被頭發(fā)遮擋，諸如圖11中所示的人臉，而人臉的其他部分很少被其他物體遮擋。因此，為了簡化計算，作為優(yōu)選方案，遮擋區(qū)域確定單元441可以僅判斷眼部區(qū)域(諸如圖12A中所示的左眼區(qū)域及右眼區(qū)域)是否被遮擋。并且，如果眼部區(qū)域中的一個(諸如圖12A中所示的左眼區(qū)域)被判斷為遮擋區(qū)域，則圖8中所示的特征重新確定單元442可以把提取的與右眼區(qū)域相關(guān)的特征，直接確定為與左眼區(qū)域相關(guān)的特征。并且，如果兩眼部區(qū)域均被判斷為遮擋區(qū)域，則圖8中所示的特征重新確定單元442可以基于左眼區(qū)域和右眼區(qū)域的遮擋面積大小，重新確定與左眼區(qū)域相關(guān)的特征或者與右眼區(qū)域相關(guān)的特征。換言之，特征重新確定單元442在左眼區(qū)域的遮擋面積大小大于右眼區(qū)域的遮擋面積大小的情況下，將把與右眼區(qū)域相關(guān)的特征確定為與左眼區(qū)域相關(guān)的特征；否則，將把與左眼區(qū)域相關(guān)的特征確定為與右眼區(qū)域相關(guān)的特征。

作為實例，在圖12A及圖12B中，示出了示意性地示出關(guān)于左、右眼區(qū)域是否被遮擋的判斷的圖。如圖12A所示，首先，遮擋區(qū)域確定單元441將確定覆蓋左眼區(qū)域及左眉毛的區(qū)域1，以及覆蓋右眼區(qū)域及右眉毛的區(qū)域2。只要確定的區(qū)域能夠覆蓋眼部區(qū)域和眉毛，確定的區(qū)域可以是諸如矩形、正方形等的任何形狀，并且可以是任何大小。以區(qū)域1為例，作為優(yōu)選方案，首先，根據(jù)由特征點檢測單元421檢測的左眼的4個特征點，遮擋區(qū)域確定單元441能夠計算出左眼的高度和左眼的寬度。其次，遮擋區(qū)域確定單元441可以根據(jù)計算出的左眼的高度以及特征點A的位置，來估計左眉毛的位置。一般而言，從特征點A到眉毛的距離等于眼睛的高度。而后，遮擋區(qū)域確定單元441可以基于左眼的寬度和左眉毛的位置，來確定區(qū)域1。

然后，如圖12B所示，區(qū)域1可以在眉毛的位置被劃分為兩個部分，即A1和A2，并且區(qū)域2也可以被劃分為兩個部分，即B1和B2。如上所述，遮擋區(qū)域確定單元441將對與各部分相對應(yīng)的圖像進行二值化，并且通過使用下面的函數(shù)來計算各部分的黑色像素密度：

其中，αA1、αA2、αB1、αB2分別代表A1的黑色像素密度、A2的黑色像素密度、B1的黑色像素密度和B2的黑色像素密度。

最后，遮擋區(qū)域確定單元441將判斷各部分的黑色像素密度是否大于相應(yīng)的預(yù)定閾值(TH1及TH2)，其中TH1及TH2可以由制造商來設(shè)置，并且TH1及TH2例如可以在0.65～0.8的范圍內(nèi)。對于一個眼部區(qū)域，如果兩部分的黑色像素密度均大于相應(yīng)的TH，則眼部區(qū)域?qū)⒈慌袛酁檎趽鯀^(qū)域；否則，眼部區(qū)域不是遮擋區(qū)域。如圖12B所示，由于遮擋區(qū)域確定單元441判斷A1的黑色像素密度大于TH1，并且A2的黑色像素密度大于TH2，因此，左眼區(qū)域?qū)⒈慌袛酁檎趽鯀^(qū)域。此外，由于遮擋區(qū)域確定單元441判斷出B1的黑色像素密度小于TH1，并且B2的黑色像素密度小于TH2，因此，右眼區(qū)域不是遮擋區(qū)域。

現(xiàn)在，返回到圖9，在步驟S910中，如果遮擋區(qū)域確定單元441確定定位的顯著區(qū)域是遮擋區(qū)域，則過程將進入到步驟S920；否則，過程將進入到步驟S9120。

在步驟S920中，特征重新確定單元442將判斷遮擋區(qū)域的中心是否在面部的對稱線上。如果遮擋區(qū)域的中心被判斷為不在面部的對稱線上，則過程將轉(zhuǎn)入到步驟S930；否則，過程將轉(zhuǎn)入到步驟S970。

在步驟S930中，特征重新確定單元442將判斷遮擋區(qū)域的對稱區(qū)域是否為遮擋區(qū)域，并且，相應(yīng)的判斷類似于如上所述的步驟S910的判斷。如果遮擋區(qū)域的對稱區(qū)域被判斷為遮擋區(qū)域，則過程將進入到步驟S950；否則，過程將進入到步驟S940。

在步驟S940中，特征重新確定單元442將把對稱區(qū)域的特征確定為遮擋區(qū)域的特征。

在步驟S950中，特征重新確定單元442將進行如下的判斷，即對稱區(qū)域的遮擋面積大小是否小于遮擋區(qū)域的遮擋面積大小。并且，如果對稱區(qū)域的遮擋面積大小小于遮擋區(qū)域的遮擋面積大小，則特征重新確定單元442將把對稱區(qū)域的特征確定為遮擋區(qū)域的特征，如在步驟S940中所述。否則，在步驟S960中，特征重新確定單元442將把遮擋區(qū)域的特征確定為對稱區(qū)域的特征。此外，如果對稱區(qū)域的遮擋面積大小等于遮擋區(qū)域的遮擋面積大小，則特征重新確定單元442也可以不重新確定遮擋區(qū)域的特征和對稱區(qū)域的特征。

如上面在步驟S920中所述，如果遮擋區(qū)域的中心被判斷為在面部的對稱線上，則在步驟S970中，特征重新確定單元442將進行如下的判斷，即遮擋區(qū)域的第一子區(qū)域(諸如左子區(qū)域)的遮擋面積大小是否大于遮擋區(qū)域的第二子區(qū)域(諸如右子區(qū)域)的遮擋面積大小。并且，如果第一子區(qū)域的遮擋面積大小大于第二子區(qū)域的遮擋面積大小，則在步驟S980中，特征重新確定單元442將把第二子區(qū)域的特征確定為第一子區(qū)域的特征；否則，在步驟S990中，特征重新確定單元442將把第一子區(qū)域的特征確定為第二子區(qū)域的特征。此外，如果第一子區(qū)域的遮擋面積大小等于第二子區(qū)域的遮擋面積大小，則特征重新確定單元442也可以不重新確定第一子區(qū)域的特征和第二子區(qū)域的特征。

如上所述，步驟S920～S990的主要操作如下：如果遮擋區(qū)域的中心不在面部的對稱線上，則特征重新確定單元442將基于遮擋區(qū)域的遮擋面積大小和遮擋區(qū)域的對稱區(qū)域的遮擋面積的大小，重新確定遮擋區(qū)域的特征或者對稱區(qū)域的特征；并且如果遮擋區(qū)域的中心在面部的對稱線上，則特征重新確定單元442將基于遮擋區(qū)域的第一子區(qū)域的遮擋面積大小和遮擋區(qū)域的第二子區(qū)域的遮擋面積大小，重新確定第一子區(qū)域或第二子區(qū)域的特征。

現(xiàn)在，返回到圖9，在特征重新確定單元442根據(jù)上述的步驟S930～S960重新確定遮擋區(qū)域的特征之后，在步驟S9100中，圖8中所示的特征組合單元443將把定位的顯著區(qū)域的特征，與該定位的顯著區(qū)域的對稱區(qū)域的特征進行組合。并且，在特征重新確定單元442根據(jù)上述的步驟S970～S990重新確定遮擋區(qū)域的特征之后，在步驟S9110中，特征組合單元443將把定位的顯著區(qū)域的第一子區(qū)域的特征，與定位的顯著區(qū)域的第二子區(qū)域的特征進行組合。

如在步驟S910中所述，如果遮擋區(qū)域確定單元441確定定位的顯著區(qū)域不是遮擋區(qū)域，則過程將進入到步驟S9120。在步驟S9120中，特征組合單元443將判斷定位的顯著區(qū)域的中心是否在面部的對稱線上。如果定位的顯著區(qū)域的中心被判斷為不在面部的對稱線上，則過程將進入到上述的步驟S9100；否則，過程將進入到上述的步驟S9110。

在步驟S9100中，由于面部的對稱性，定位的顯著區(qū)域中的劃分塊和定位的顯著區(qū)域的對稱區(qū)域中的劃分塊將具有不同的位置。因此，特征組合單元443首先將基于面部的對稱性，使定位的顯著區(qū)域中的劃分塊和定位的顯著區(qū)域的對稱區(qū)域中的劃分塊具有相同的位置，而后將融合定位的顯著區(qū)域的特征和定位的顯著區(qū)域的對稱區(qū)域的特征，其中所述融合操作可以是某類算術(shù)運算，諸如加法運算、乘法運算、求平均算子等。在下文中，將參照圖13A至圖13D來描述示例性的處理。

圖13A至圖13D是示意性地示出基于面部的對稱性而彼此對稱的兩個定位的顯著區(qū)域、以及從這兩個定位的顯著區(qū)域中提取的相應(yīng)特征的圖。在圖13A中，示出了一個定位的顯著區(qū)域(即，顯著區(qū)域A)和另一定位的顯著區(qū)域(即，顯著區(qū)域B)，其中這兩個顯著區(qū)域基于面部的對稱性(即，圖13A中所示的虛線)而彼此對稱。作為示例，兩個顯著區(qū)域均被劃分為相同數(shù)量的塊(諸如圖13A中所示的m*n)，并且各塊具有相同的面積大小。在顯著區(qū)域A的左上角的一個塊是S1，并且在顯著區(qū)域B的右上角的另一個塊是S2。顯然，塊S1與塊S2對稱。

如上所述，圖4中所示的特征提取單元430能夠?qū)膭澐謮K中提取的特征鏈接在一起，以構(gòu)造顯著區(qū)域的鏈接特征，并且各顯著區(qū)域的特征的鏈接順序是相同的。假設(shè)特征的鏈接順序是將從上部塊中提取的特征鏈接到底部塊，并且從左部塊到右部塊，由此，塊S1的特征首先被鏈接，以構(gòu)造顯著區(qū)域A的鏈接特征(諸如圖13B中所示的鏈接特征V1)，而當構(gòu)造顯著區(qū)域B的鏈接特征(諸如圖13C中所示的鏈接特征V2)時，塊S2的特征不首先被鏈接。這意味著，塊S1的位置與塊S2的位置不同。

因此，應(yīng)當進行一些調(diào)整。以顯著區(qū)域A作為基準(即，顯著區(qū)域A中的各塊的位置是不變的)，顯著區(qū)域B中的各塊的位置需要被變換。如圖13D所示，通過基于面部的對稱性來調(diào)整各塊的索引，鏈接特征V2將被變換為鏈接特征V2’(諸如特征的鏈接順序是將從上部塊中提取的特征鏈接到底部塊，并且從右部塊到左部塊)，使得顯著區(qū)域A中的劃分塊和顯著區(qū)域B中的劃分塊能夠具有相同的位置。

現(xiàn)在，返回到圖9，在步驟S9110中，由于面部的對稱性，第一子區(qū)域中的劃分塊和第二子區(qū)域中的劃分塊將具有不同的位置。因此，特征組合單元443首先將基于面部的對稱性，使第一子區(qū)域中的劃分塊和第二子區(qū)域中的劃分塊具有相同的位置，而后將融合第一子區(qū)域的特征和第二子區(qū)域的特征，其中所述融合操作可以是上述的算術(shù)運算，諸如加法運算、乘法運算、求平均算子等。在下文中，將參照圖14A至圖14D來描述示例性的處理。

圖14A至圖14D是示意性地示出按面部的對稱性而被劃分為兩個部分的定位的顯著區(qū)域、以及從這兩個部分中提取的相應(yīng)特征的圖。在圖14A中，示出了按面部的對稱性(即，虛線)而劃分的一個定位的顯著區(qū)域，其中該定位的顯著區(qū)域的左子區(qū)域是第一子區(qū)域，并且該定位的顯著區(qū)域的右子區(qū)域是第二子區(qū)域。

與圖13A至圖13D中的描述相同，塊S3與塊S4對稱，并且塊S3的位置與塊S4的位置不同。因此，以第一子區(qū)域作為基準，第二子區(qū)域中的各塊的位置需要被變換。如圖14B至圖14D所示，在圖14B中示出了第一子區(qū)域的鏈接特征V3，在圖14C中示出了第二子區(qū)域的鏈接特征V4，并且在圖14D中示出了第二子區(qū)域的變換的鏈接特征V4’。由此，第一子區(qū)域中的劃分塊和第二子區(qū)域中的劃分塊能夠具有相同的位置。

此外，對于顯著區(qū)域，如上所述，塊的數(shù)量一般是偶數(shù)，因此，一般不存在面部的對稱線將一些塊劃分為兩個部分的情況。然而，如果塊的數(shù)量是奇數(shù)，則面部的對稱線將把一些塊劃分為兩個部分，諸如圖15中所示的情況。在這樣的情況下，針對被面部的對稱線劃分為兩個部分的各塊(諸如圖15中所示的第一子塊和第二子塊)，首先，圖4中所示的特征提取單元430將從各子塊中重新提取特征，而后，圖8中所示的特征組合單元443將執(zhí)行在步驟S9110中所述的相應(yīng)處理。

如上所述，由于本發(fā)明利用面部的對稱性來確定彼此對稱的顯著區(qū)域?qū)?，并且將各對顯著區(qū)域的提取的特征整合為一個特征，因此，能夠減少用于圖像處理的特征的維數(shù)。

以圖6A及圖6B中所示的人臉為例，如上所述，圖4中所示的區(qū)域確定單元422定位15個顯著區(qū)域，并且，所述15個顯著區(qū)域分別是各眼部區(qū)域上的4個顯著區(qū)域、鼻部區(qū)域上的3個顯著區(qū)域，以及嘴部區(qū)域上的4個顯著區(qū)域。而后，特征提取單元430將構(gòu)造各定位的顯著區(qū)域的一個鏈接特征，換言之，特征提取單元430將構(gòu)造15個鏈接特征。根據(jù)本發(fā)明，特征整合單元440將找到彼此對稱的6對顯著區(qū)域，以及在面部的對稱線上的3個顯著區(qū)域。因此，特征整合單元440將把15個鏈接特征整合為9個整合特征，并且所述9個整合特征分別是兩個眼部區(qū)域的4個整合特征、鼻部區(qū)域的2個整合特征，以及嘴部區(qū)域的3個整合特征。因此，能夠減少用于圖像處理的圖6A及圖6B中所示的人臉的特征的維數(shù)。

另外，由于本發(fā)明從輸入圖像中包含的整個面部來提取特征，并且考慮到遮擋，因此，能夠保持圖像處理精度。

(總體處理)

下面，將參照圖16，來描述由第一實施例的配置執(zhí)行的總體處理。圖16是示意性地示出根據(jù)第一實施例的總體處理的過程的流程圖1600。

如上所述，首先，圖3中所示的輸入設(shè)備350將接收包含面部的一個圖像，所述圖像是從圖像獲取設(shè)備輸出的，或者是由用戶輸入的。其次，輸入設(shè)備350將經(jīng)由系統(tǒng)總線380，將獲取到的圖像傳送到圖4中所示的圖像獲取單元410。

而后，如圖16所示，在圖像獲取步驟S1610中，圖像獲取單元410將通過系統(tǒng)總線380，從輸入設(shè)備350來獲取包含面部的圖像。

在特征點檢測步驟S1620中，區(qū)域定位單元420將通過使用現(xiàn)有方法，在獲取到的圖像中檢測特征點。

在區(qū)域定位步驟S1630中，區(qū)域定位單元420將在獲取到的圖像中，定位代表面部的屬性的至少一個區(qū)域。在本發(fā)明中，代表面部的屬性的區(qū)域可以被視為顯著區(qū)域，并且面部中的眼部區(qū)域、鼻部區(qū)域、嘴部區(qū)域及其他區(qū)域可以被視為上述的顯著區(qū)域。

在塊劃分步驟S1640中，特征提取單元430將把定位的顯著區(qū)域，劃分為具有相同面積大小的多個塊。為了方便特征整合單元440的整合操作，塊的數(shù)量可以是偶數(shù)。

在特征提取步驟S1650中，特征提取單元430將從各劃分塊中提取特征。

在遮擋區(qū)域確定步驟S1660中，針對各定位的顯著區(qū)域，特征整合單元440將確定定位的顯著區(qū)域是否為遮擋區(qū)域，其中所述遮擋區(qū)域例如可以是被頭發(fā)遮擋的顯著區(qū)域，或者被眼鏡遮擋的顯著區(qū)域。如果定位的顯著區(qū)域被判斷為遮擋區(qū)域，則過程將進入到步驟S1670；否則，過程將進入到步驟S1680。

在特征重新確定步驟S1670中，針對一個遮擋區(qū)域，特征整合單元440將根據(jù)基于面部的對稱性而與遮擋區(qū)域?qū)ΨQ的、相應(yīng)的定位的顯著區(qū)域的特征，來重新確定遮擋區(qū)域的特征。

在特征整合步驟S1680中，特征整合單元440將整合基于面部的對稱性而彼此對稱的定位的顯著區(qū)域的特征，其中，如果兩個定位的顯著區(qū)域基于面部的對稱性而彼此對稱，則意味著，這兩個定位的顯著區(qū)域的中心基于面部的對稱性而彼此對稱。

在面部特征獲得步驟S1690中，面部特征獲得單元450可以進一步將整合特征鏈接在一起，以獲得整個面部的鏈接特征，其中鏈接順序不受限制，只要各面部圖像的鏈接順序相同即可。

最后，面部特征獲得單元450將經(jīng)由系統(tǒng)總線380，將整個面部的鏈接特征傳送到圖3中所示的輸出設(shè)備360，以用于向用戶顯示處理結(jié)果，或者用于下文所述的后續(xù)操作，諸如識別面部表情、識別面部等。

(面部表情識別系統(tǒng)的配置)

如在第一實施例中所述，從圖4中所示的圖像處理裝置400輸出的處理結(jié)果(即，整個面部的鏈接特征)能夠用于識別面部表情。接下來，在第二實施例中，將參照圖17，來描述用于上面參照圖3所述的圖像處理裝置的圖像處理(即，面部表情識別)的配置。也可以被視為圖像處理裝置的本實施例的面部表情識別系統(tǒng)具有與圖3中所述相同的硬件配置。

圖17是例示根據(jù)本發(fā)明的第二實施例的圖像處理裝置(即，面部表情識別系統(tǒng)1700)的配置的框圖。

圖17中所示的模塊被實現(xiàn)為上面參照圖3所述的圖像處理裝置的CPU 310，并且用于執(zhí)行被加載到RAM 320的程序，以及用于與圖3中所示的各硬件協(xié)作?？梢杂蓪Ｓ糜布韺崿F(xiàn)部分或全部的模塊。

如圖17所示，根據(jù)本發(fā)明的第二實施例的面部表情識別系統(tǒng)1700包括：上述的圖像處理裝置400、面部表情識別單元1710，以及預(yù)生成的面部表情模型1720。

針對包含面部的輸入圖像，首先，圖像處理裝置400將根據(jù)上面參照圖4至圖16的描述，來獲得整個面部的鏈接特征。

而后，面部表情識別單元1710將基于獲得的整個面部的鏈接特征以及預(yù)生成的面部表情模型1720，識別輸入圖像中的面部的面部表情類別，其中一個面部表情類別對應(yīng)于一個預(yù)生成的面部表情模型，預(yù)生成的面部表情模型1720可以由制造商預(yù)先基于具有各種不同表情(諸如憤怒表情、微笑表情、中性表情、悲傷表情等)的多個圖像樣本而生成或訓(xùn)練，并且可以被存儲在圖3中所示的ROM 330或硬盤340中。作為示例，預(yù)生成的面部表情模型1720可以基于支持向量機(Support Vector Machine,SVM)算法而生成，其中用于生成面部表情模型的特征可以是根據(jù)本發(fā)明而獲得的特征。

最后，面部表情識別單元1710將經(jīng)由系統(tǒng)總線380，把識別出的面部的面部表情類別傳送到圖3中所示的輸出設(shè)備360，以用于向用戶顯示處理結(jié)果，或者用于下文所述的后續(xù)操作，諸如評價在線教育的質(zhì)量等。

此外，面部表情識別單元1710可以通過各種方式來實現(xiàn)識別。例如，在一種實施方式中，面部表情識別單元1710可以通過所謂的“一對所有(one-against-all)”方式來實現(xiàn)識別。以這種方式，面部表情識別單元1710將計算整個面部的鏈接特征與生成的面部表情模型1720之間的置信分數(shù)，而后將直接基于計算出的置信分數(shù)來識別面部的面部表情類別，諸如可以把與最高置信分數(shù)相對應(yīng)的面部表情類別，識別為面部的面部表情類別。

在另一實施方式中，面部表情識別單元1710可以通過所謂的“一對一(one-against-one)”方式來實現(xiàn)識別。以這種方式，面部表情識別單元1710將計算整個面部的鏈接特征與生成的面部表情模型1720之間的置信分數(shù)，并且將在每兩個預(yù)生成的面部表情模型之間進行投票，其中所述投票需要被循環(huán)操作次，并且n是預(yù)生成的面部表情模型的總數(shù)。而后，面部表情識別單元1710將進行如下的識別，即把與具有最高投票分數(shù)的預(yù)生成的面部表情模型相對應(yīng)的面部表情類別，識別為面部的面部表情類別。

如在第一實施例中所述，能夠減少在圖像處理裝置400中使用的特征的維數(shù)，并且圖像處理裝置400能夠保持圖像處理精度(即，能夠保持將用于面部表情識別的特征的精度)，因此，也能夠減少在面部表情識別系統(tǒng)1700中使用的特征的維數(shù)，并且也能夠保持面部表情識別的精度。

(總體處理)

下面，將參照圖18，來描述由第二實施例的配置執(zhí)行的總體處理。圖18是示意性地示出根據(jù)第二實施例的總體處理的過程的流程圖1800。

首先，在圖像處理步驟S1810中，針對包含面部的輸入圖像，圖像處理裝置400將根據(jù)上面參照圖4至圖16的描述，來獲得整個面部的鏈接特征。

而后，在面部表情識別步驟S1820中，面部表情識別單元1710將基于獲得的整個面部的鏈接特征以及預(yù)生成的面部表情模型1720，識別輸入圖像中的面部的面部表情類別，諸如微笑表情或悲傷表情或者其他面部表情。

最后，面部表情識別單元1710將經(jīng)由系統(tǒng)總線380，把識別出的面部的面部表情類別傳送到圖3中所示的輸出設(shè)備360，以用于向用戶顯示處理結(jié)果，或者用于下文所述的后續(xù)操作，諸如評價在線教育的質(zhì)量等。

(在線教育評價系統(tǒng))

如上所述，可以把從圖17中所示的面部表情識別系統(tǒng)1700輸出的識別結(jié)果(即，識別出的面部的面部表情類別)用于評價在線教育的質(zhì)量。因此，作為上述面部表情識別的示例性應(yīng)用，接下來將參照圖19，來描述在線教育評價系統(tǒng)的整體配置。圖19是示出根據(jù)第二實施例的、應(yīng)用面部表情識別的在線教育評價系統(tǒng)1900的整體配置的框圖。

如圖19所示，根據(jù)本發(fā)明的在線教育評價系統(tǒng)1900包括圖像獲取設(shè)備1910、上述的面部表情識別系統(tǒng)1700，以及監(jiān)視設(shè)備1920。

在一個在線教育課堂中，圖像獲取設(shè)備1910能夠?qū)崟r地跟蹤并捕獲每個學生的面部圖像。如上面在圖3中所述，圖像獲取設(shè)備1910例如能夠經(jīng)由網(wǎng)絡(luò)，與面部表情識別系統(tǒng)1700連接。并且，圖像獲取設(shè)備1910可以是任何種類的電子設(shè)備，只要能夠跟蹤并捕獲圖像即可，諸如可以是網(wǎng)絡(luò)攝像頭、數(shù)字照相機、電視攝像機、視頻攝像機、移動電話、個人數(shù)據(jù)助理(PDA)、筆記本電腦，或者其他適合的電子設(shè)備。

并且，可以把由圖像獲取設(shè)備1910捕獲的每個學生的面部圖像，發(fā)送到面部表情識別系統(tǒng)1700的輸入設(shè)備350。面部表情識別系統(tǒng)1700將根據(jù)上面參照圖17至圖18的描述，識別每個獲取到的面部圖像中的面部的面部表情類別。

而后，面部表情識別系統(tǒng)1700的輸出設(shè)備360將把面部表情識別結(jié)果輸出到監(jiān)視設(shè)備1920。如上面在圖3中所述，監(jiān)視設(shè)備1920例如也能夠經(jīng)由網(wǎng)絡(luò)，與面部表情識別系統(tǒng)1700連接。并且，監(jiān)視設(shè)備1920可以是任何種類的電子設(shè)備，只要能夠向用戶顯示面部表情識別結(jié)果即可，諸如可以是液晶顯示器。

在整個課堂中，如果識別出的關(guān)于大多數(shù)學生的面部表情類別是微笑表情，則可能意味著，大多數(shù)學生喜愛該在線課程。因此，在線教育評價系統(tǒng)1900能夠通過利用學生的面部表情，來評價和提高在線教育的質(zhì)量。

(面部識別系統(tǒng)的配置)

如在第一實施例中所述，從圖4中所示的圖像處理裝置400輸出的處理結(jié)果(即，整個面部的鏈接特征)能夠用于識別面部。接下來，在第三實施例中，將參照圖20，來描述用于上面參照圖3所述的圖像處理裝置的圖像處理(即，面部識別)的配置。也可以被視為圖像處理裝置的本實施例的面部識別系統(tǒng)具有與圖3中所述相同的硬件配置。

圖20是例示根據(jù)本發(fā)明的第三實施例的圖像處理裝置(即，面部識別系統(tǒng)2000)的結(jié)構(gòu)的框圖。

圖20中所示的模塊被實現(xiàn)為上面參照圖3所述的圖像處理裝置的CPU 310，并且用于執(zhí)行被加載到RAM 320的程序，以及用于與圖3中所示的各硬件協(xié)作?？梢杂蓪Ｓ糜布韺崿F(xiàn)部分或全部的模塊。

如圖20所示，根據(jù)本發(fā)明的第三實施例的面部識別系統(tǒng)2000包括：上述的圖像處理裝置400、面部識別單元2010，以及預(yù)生成的面部模型2020。

針對包含面部的輸入圖像，首先，圖像處理裝置400將根據(jù)上面參照圖4至圖16的描述，來獲得整個面部的鏈接特征。

而后，面部識別單元2010將基于獲得的整個面部的鏈接特征以及預(yù)生成的面部模型2020，識別輸入圖像中的面部，其中一個面部對應(yīng)于一個預(yù)生成的面部模型，預(yù)生成的面部模型2020可以由制造商預(yù)先基于關(guān)于不同人的多個圖像樣本而生成或訓(xùn)練，并且可以被存儲在圖3中所示的ROM 330或硬盤340中。作為示例，預(yù)生成的面部模型2020也可以基于SVM算法而生成，其中用于生成面部模型的特征可以是根據(jù)本發(fā)明而獲得的特征。

最后，面部識別單元2010將經(jīng)由系統(tǒng)總線380，把識別出的面部傳送到圖3中所示的輸出設(shè)備360，以用于向用戶顯示處理結(jié)果，或者用于下文所述的后續(xù)操作，諸如基于識別出的面部將捕獲圖像存儲在數(shù)字照相機中，等等。

此外，面部識別單元2010也可以通過各種方式來實現(xiàn)識別，諸如通過第二實施例中描述的“一對所有”方式及“一對一”方式。

如在第一實施例中所述，能夠減少在圖像處理裝置400中使用的特征的維數(shù)，并且圖像處理裝置400能夠保持圖像處理精度(即，能夠保持將用于面部識別的特征的精度)，因此，也能夠減少在面部識別系統(tǒng)2000中使用的特征的維數(shù)，并且也能夠保持面部識別的精度。

(總體處理)

下面，將參照圖21，來描述由第三實施例的配置執(zhí)行的總體處理。圖21是示意性地示出根據(jù)第三實施例的總體處理的過程的流程圖2100。

首先，在圖像處理步驟S2110中，針對包含面部的輸入圖像，圖像處理裝置400將根據(jù)上面參照圖4至圖16的描述，來獲得整個面部的鏈接特征。

而后，在面部識別步驟S2120中，面部識別單元2010將基于獲得的整個面部的鏈接特征以及預(yù)生成的面部模型2020，識別輸入圖像中的面部，諸如人A的面部或人B的面部或者其他人的面部。

最后，面部識別單元2010將經(jīng)由系統(tǒng)總線380，把識別出的面部傳送到圖3中所示的輸出設(shè)備360，以用于向用戶顯示處理結(jié)果，或者用于下文所述的后續(xù)操作，諸如基于識別出的面部將捕獲圖像存儲在數(shù)字照相機中，等等。

以由數(shù)字照相機捕獲的、并且包含人A的面部的圖像為例，其中在所述數(shù)字照相機中應(yīng)用了參照圖20所述的面部識別系統(tǒng)2000，在面部識別系統(tǒng)2000識別出該捕獲圖像中的面部是人A的面部之后，該數(shù)字照相機能夠?qū)⒃摬东@圖像，存儲到專門用來存儲人A的圖像的文件夾中。此外，面部識別系統(tǒng)2000可以由數(shù)字照相機中的硬件和/或軟件來實現(xiàn)。在一種實施方式中，可以向數(shù)字照相機中并入能夠?qū)嵤┟娌孔R別的模塊或裝置，因而，數(shù)字照相機將具有相應(yīng)的面部識別功能。在另一實現(xiàn)方式中，可以在數(shù)字照相機的存儲設(shè)備中，存儲能夠?qū)嵤┟娌孔R別的軟件程序，因而，數(shù)字照相機也將具有相應(yīng)的面部識別功能。

上述所有的單元均是用于實現(xiàn)本公開中描述的處理的示例性和/或優(yōu)選的模塊。這些單元可以是硬件單元(諸如現(xiàn)場可編程門陣列(FPGA)、數(shù)字信號處理器、專用集成電路等)和/或軟件模塊(諸如計算機可讀程序)。上面未詳盡地描述用于實現(xiàn)各種步驟的單元。然而，在存在進行某一處理的步驟的情況下，可以存在用于實現(xiàn)相同處理的相應(yīng)模塊或單元(由硬件和/或軟件實現(xiàn))。在本申請的公開中，包括基于描述的步驟以及與這些步驟相對應(yīng)的單元的全部組合的技術(shù)方案，只要所構(gòu)成的這些技術(shù)方案是完整的且適用的即可。

此外，如果部分地或全部地通過軟件，來構(gòu)造由各種單元構(gòu)成的、圖4中所示的圖像處理裝置400或者圖17中所示的面部表情識別系統(tǒng)1700或者面部識別系統(tǒng)2000，則所述軟件可以被存儲在圖3中所示的硬盤340中。在另一方面，如果部分地或全部地通過硬件或固件，來構(gòu)造圖4中所示的圖像處理裝置400或者圖17中所示的面部表情識別系統(tǒng)1700或者面部識別系統(tǒng)2000，則只要有在諸如數(shù)字照相機等的電子設(shè)備中處理圖像的需求，所述硬件或固件也可以作為模塊被并入到所述電子設(shè)備中。

可以通過多種方式來實施本發(fā)明的方法及裝置。例如，可以通過軟件、硬件、固件或這三者的任意組合，來實施本發(fā)明的方法及裝置。上面描述的方法的步驟的順序僅旨在說明性的，并且，本發(fā)明的方法的步驟并不局限于上面具體描述的順序，除非另外特別說明。此外，在一些實施方式中，本發(fā)明還可以體現(xiàn)為記錄在記錄介質(zhì)中的程序，包括用于實施根據(jù)本發(fā)明的方法的機器可讀指令。因此，本發(fā)明還涵蓋存儲有用于實現(xiàn)根據(jù)本發(fā)明的方法的程序的記錄介質(zhì)。

雖然利用示例詳細說明了本發(fā)明的一些具體實施例，但是，本領(lǐng)域的技術(shù)人員應(yīng)當理解，上述的示例僅旨在說明性的，而不是限制本發(fā)明的范圍。本領(lǐng)域的技術(shù)人員應(yīng)當理解，可以在不偏離本發(fā)明的范圍和精神的情況下，對上述實施例進行修改。本發(fā)明的范圍是由所附的權(quán)利要求來定義的。