本發(fā)明涉及計(jì)算機(jī)視覺的圖像分析處理領(lǐng)域，具體是一種用于精神狀態(tài)分析的計(jì)算機(jī)視覺方法。

背景技術(shù)：

對病人精神狀態(tài)診斷作用和目的是診斷出病人在心理即精神行為狀態(tài)以及是否發(fā)生改變，針對不同的精神狀態(tài)來改善病人精神行為狀態(tài)是在治療過程中十分重要的一環(huán)。病人在治療的過程中會(huì)受一些應(yīng)激源如手術(shù)、對自己病情的了解等的影響，產(chǎn)生比較劇烈的心理與生理應(yīng)激反應(yīng)，這些應(yīng)激反應(yīng)如果十分強(qiáng)烈，可能會(huì)對內(nèi)分泌系統(tǒng)、神經(jīng)系統(tǒng)產(chǎn)生影響，產(chǎn)生焦慮、抑郁等心理，甚者會(huì)干擾診斷、手術(shù)、治療等的實(shí)施和效果。因此，對于病人的精神狀態(tài)特點(diǎn)和變化，及時(shí)發(fā)現(xiàn)并給予相應(yīng)的心理治療是十分重要的?，F(xiàn)在對病人精神狀態(tài)評估多數(shù)為問卷調(diào)查和自我評估，缺少一些客觀的輔助判斷來幫助醫(yī)生診斷病人的精神狀態(tài)，易造成評估不準(zhǔn)，導(dǎo)致診斷出現(xiàn)誤差。

而病人的微表情可以輔助醫(yī)生進(jìn)行精神狀態(tài)的判斷，微表情是一種持續(xù)時(shí)間僅為1/25～1/5s非?？焖俚谋砬?，它是人們試圖壓抑或隱藏自己真實(shí)情感時(shí)表現(xiàn)出短暫的、不能自主控制的面部表情。在臨床上，醫(yī)生如果能發(fā)現(xiàn)病人的微表情，則可以更好的判斷病人的精神狀態(tài)及其變化，從而針對性地進(jìn)行治療，縮短治療時(shí)間，提高治療效果。未經(jīng)過系統(tǒng)訓(xùn)練的人對微表情識別能力不高，而用計(jì)算機(jī)來自動(dòng)檢測微表情是很好的檢測方法，微表情的自動(dòng)檢測可以在不被病人察覺的情況下進(jìn)行，從而加強(qiáng)了判斷的真實(shí)性和有效性。將計(jì)算機(jī)自動(dòng)檢測結(jié)合到臨床診斷里，會(huì)幫助醫(yī)生更好的對病人精神狀態(tài)進(jìn)行診斷。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種用于精神狀態(tài)分析的計(jì)算機(jī)視覺方法，以解決現(xiàn)有技術(shù)對于病人精神狀態(tài)評估方法單一、缺少客觀評估的的問題，自動(dòng)地檢測出病人是否有微表情的出現(xiàn)，有效地對病人精神狀況進(jìn)行判斷，從而顯著改善醫(yī)生診斷的效果。

為了達(dá)到上述目的，本發(fā)明所采用的技術(shù)方案為：

一種用于精神狀態(tài)分析的計(jì)算機(jī)視覺方法，其特征在于：提取面部表情視頻LBP-TOP特征得到描述視頻整體的特征向量，然后用已知微表情視頻特征進(jìn)行SVM訓(xùn)練得到訓(xùn)練模型，再將待檢測視頻用訓(xùn)練模型分類，得到檢測結(jié)果，其步驟包括：

(1)、選取10個(gè)對象的226個(gè)面部表情視頻序列作為訓(xùn)練數(shù)據(jù)庫，其中包括無表情視頻和微表情視頻；

(2)、將每個(gè)面部表情視頻每幀圖像取出并灰度化，再將每幀圖像進(jìn)行等大小的分塊，先作為訓(xùn)練樣本；

(3)、進(jìn)行LBP特征提取，視頻序列被分為寬度X、高度Y、時(shí)間T三個(gè)軸，可得到描述視頻的XY、XT、YT三個(gè)正交平面，使用LBP算子提取每個(gè)視頻序列的XY平面特征，在一個(gè)像素為中心的3×3紋理單元中，以中心像素灰度值為閾值與相鄰的8個(gè)像素點(diǎn)灰度值進(jìn)行比較，若周圍像素灰度值大于中心值則該像素位置記為1，反之為0；接著以順時(shí)針方向連接8個(gè)值得到一個(gè)8位的二進(jìn)制數(shù)，然后轉(zhuǎn)化為十進(jìn)制作為該中心點(diǎn)的LBP值，即LBP_gc,表示如公式(1)所示：

公式(1)中i＝1，2，...，8，g_c為中心像素灰度值，g_i為8個(gè)周圍像素灰度值，i代表分別與中心像素相鄰的8個(gè)像素，S(x)是一個(gè)二值化函數(shù)，其表示如公式(2)所示：

公式(2)中x代表g_c-g_i即中心像素與相鄰像素灰度值的差值，

將LBP_gc統(tǒng)計(jì)為LBP特征直方圖作為XY平面的特征；

(4)、重復(fù)步驟(3)計(jì)算XT、YT平面的LBP特征直方圖；

(5)、根據(jù)步驟(3)、(4)得到的LBP-TOP特征，將XY、XT、YT平面的特征直方圖級聯(lián)起來形成最終的LBP-TOP特征直方圖，其表示如公式(3)所示：

H_LBP-TOP＝H_LBP,π(π＝XY,XT,YT) (3)，

公式(3)中，π代表XY、XT、YT平面，H_LBP,π代表將3個(gè)平面的LBP的特征直方圖級聯(lián)起來的直方圖，H_LBP-TOP代表三個(gè)平面的特征直方圖級聯(lián)后得到最終的LBP-TOP特征直方圖；

(6)、將視頻特征使用SVM訓(xùn)練，得到訓(xùn)練模型；

(7)、使用相同的方法提取待檢測視頻的LBP-TOP特征，作為測試樣本；

(8)、將測試樣本放入訓(xùn)練模型中分類，檢測是否出現(xiàn)微表情，將結(jié)果作為醫(yī)生做出診斷的參考。

所述的一種用于精神狀態(tài)分析的計(jì)算機(jī)視覺方法，其特征在于：提取視頻的LBP-TOP特征來描述視頻整體特征，來進(jìn)行微表情檢測。

本發(fā)明通過從已知的微表情視頻數(shù)據(jù)中進(jìn)行訓(xùn)練的基礎(chǔ)上，檢測病人的面部是否出現(xiàn)微表情，依據(jù)結(jié)果輔助醫(yī)生對病人精神狀態(tài)進(jìn)行診斷，從而達(dá)到提高對病人精神狀態(tài)診斷準(zhǔn)確率和診斷效率以及減輕醫(yī)生工作量的目標(biāo)。該技術(shù)可應(yīng)用于對病人精神狀態(tài)診斷的輔助檢查。

本發(fā)明將LBP-TOP算子對于視頻信息的特征提取用于臨床微表情檢測，從而輔助醫(yī)生對病人的精神狀態(tài)進(jìn)行診斷，實(shí)現(xiàn)了將微表情的自動(dòng)檢測運(yùn)用到臨床診斷中去，提高了對病人精神狀態(tài)診斷準(zhǔn)確率和效率。

附圖說明

圖1是本發(fā)明的實(shí)現(xiàn)流程框架圖。

圖2是本發(fā)明的實(shí)驗(yàn)中檢測出的結(jié)果。

具體實(shí)施方式

如圖1所示，一種用于精神狀態(tài)分析的計(jì)算機(jī)視覺方法，提取面部表情視頻LBP-TOP特征得到描述視頻整體的特征向量，然后用已知微表情視頻特征進(jìn)行SVM訓(xùn)練得到訓(xùn)練模型，再將待檢測視頻用訓(xùn)練模型分類，得到檢測結(jié)果，其步驟包括：

(1)、選取10個(gè)對象的226個(gè)面部表情視頻序列作為訓(xùn)練數(shù)據(jù)庫，其中包括無表情視頻和微表情視頻；

(2)、將每個(gè)面部表情視頻每幀圖像取出并灰度化，再將每幀圖像進(jìn)行等大小的分塊，先作為訓(xùn)練樣本；

(3)、進(jìn)行LBP特征提取，視頻序列被分為寬度X、高度Y、時(shí)間T三個(gè)軸，可得到描述視頻的XY、XT、YT三個(gè)正交平面，使用LBP算子提取每個(gè)視頻序列的XY平面特征，在一個(gè)像素為中心的3×3紋理單元中，以中心像素灰度值為閾值與相鄰的8個(gè)像素點(diǎn)灰度值進(jìn)行比較，若周圍像素灰度值大于中心值則該像素位置記為1，反之為0；接著以順時(shí)針方向連接8個(gè)值得到一個(gè)8位的二進(jìn)制數(shù)，然后轉(zhuǎn)化為十進(jìn)制作為該中心點(diǎn)的LBP值，即LBP_gc,表示如公式(1)所示：

公式(1)中i＝1，2，...，8，g_c為中心像素灰度值，g_i為8個(gè)周圍像素灰度值，i代表分別與中心像素相鄰的8個(gè)像素，S(x)是一個(gè)二值化函數(shù)，其表示如公式(2)所示：

公式(2)中x代表g_c-g_i即中心像素與相鄰像素灰度值的差值。

將LBP_gc統(tǒng)計(jì)為LBP特征直方圖作為XY平面的特征；

(4)、重復(fù)步驟(3)計(jì)算XT、YT平面的LBP特征直方圖；

(5)、根據(jù)步驟(3)、(4)得到的LBP-TOP特征，將XY、XT、YT平面的特征直方圖級聯(lián)起來形成最終的LBP-TOP特征直方圖，其表示如公式(3)所示：

H_LBP-TOP＝H_LBP,π(π＝XY,XT,YT) (3)，

公式(3)中，π代表XY、XT、YT平面，H_LBP,π代表將3個(gè)平面的LBP的特征直方圖級聯(lián)起來的直方圖，H_LBP-TOP代表三個(gè)平面的特征直方圖級聯(lián)后得到最終的LBP-TOP特征直方圖；

(6)、將視頻特征使用SVM訓(xùn)練，得到訓(xùn)練模型；

(7)、使用相同的方法提取待檢測視頻的LBP-TOP特征，作為測試樣本；

(8)、將測試樣本放入訓(xùn)練模型中分類，檢測是否出現(xiàn)微表情，將結(jié)果作為醫(yī)生做出診斷的參考。

本發(fā)明選取一系列已知微表情視頻的每幀圖像構(gòu)成數(shù)據(jù)庫，對數(shù)據(jù)庫中每幅圖像進(jìn)行灰度化后分割成等大小的方塊，對每一方塊使用Local Binary Pattern(LBP)擴(kuò)展算子LBP-Three Orthogonal Planes(TOP)算子提取時(shí)間和空間特征構(gòu)成直方圖統(tǒng)計(jì)特征，將一幅圖中所有分塊的直方圖統(tǒng)計(jì)特征結(jié)合成一個(gè)直方圖統(tǒng)計(jì)特征作為這幅圖像的特征。然后使用SVM進(jìn)行訓(xùn)練得出訓(xùn)練模型，將待檢測的圖像特征使用訓(xùn)練好的模型進(jìn)行分類，得出待檢測圖像中是否出現(xiàn)有微表情，為醫(yī)生診斷病人精神狀態(tài)提供參考。

本發(fā)明中，LBP-TOP是在LBP基礎(chǔ)上的改進(jìn)被用于描述動(dòng)態(tài)視頻紋理。一個(gè)視頻序列被分為X(寬度)、Y(高度)、T(時(shí)間)三個(gè)軸，可得到描述視頻的XY、XT、YT三個(gè)正交平面，沿T軸時(shí)各個(gè)幀平面為XY平面，沿X、Y軸時(shí)所有幀排列分別形成YT、XT平面，并且YT、XT平面總數(shù)對應(yīng)著總寬度和總高度。然后分別在這三個(gè)正交平面中求出該平面的LBP值，統(tǒng)計(jì)并得出三個(gè)LBP直方圖，將這三個(gè)LBP直方圖連接起來形成最終的LBP-TOP特征直方圖表示如上述公式(3)所示。

本發(fā)明中，SVM是一個(gè)有監(jiān)督的學(xué)習(xí)模型，通常用來進(jìn)行模式識別、分類、以及回歸分析，其學(xué)習(xí)策略便是間隔最大化。本發(fā)明使用LBP-TOP的方法提取時(shí)空特征。該方法在保留了時(shí)空特征，計(jì)算簡單，具有光照不變性，灰度級不變性等特點(diǎn)，提高了計(jì)算的效率和準(zhǔn)確率。

如圖2所示，采用本發(fā)明方法，從圖2中幾幅圖中，檢測出第三幅圖含有微表情，其他四幅沒有被檢測出微表情。圖2中圖片來自SMIC數(shù)據(jù)庫。