本發(fā)明涉及中醫(yī)診斷數(shù)字化、醫(yī)學(xué)紅外熱像技術(shù)、計(jì)算機(jī)醫(yī)學(xué)圖像處理技術(shù)領(lǐng)域，具體涉及一種基于人臉區(qū)域分割的中醫(yī)面診系統(tǒng)。

背景技術(shù)：

中醫(yī)面診是中醫(yī)診斷中經(jīng)常使用的診斷方法，中醫(yī)認(rèn)為面部能夠比較全面地反映身體的健康情況，面部又可以分為若干個(gè)部分，與臟腑屬于分屬關(guān)系，每個(gè)反射區(qū)均能夠不同程度地反映身體整體狀況。傳統(tǒng)的面診主要是醫(yī)生直接目測診察，結(jié)果與醫(yī)生的臨床經(jīng)驗(yàn)有著密切的關(guān)系，主觀依賴性強(qiáng)，同時(shí)容易受到光照條件等外界環(huán)境干擾因素的影響，缺乏一定的客觀量化標(biāo)準(zhǔn)。這些可能出現(xiàn)的誤差嚴(yán)重影響中醫(yī)面診的規(guī)范性與客觀性，因此迫切地需要一種新的方法，實(shí)現(xiàn)中醫(yī)面診的自動(dòng)化與客觀化，促進(jìn)中醫(yī)面診的應(yīng)用和進(jìn)一步發(fā)展。

隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，醫(yī)學(xué)圖像處理、模式識(shí)別、人工智能等技術(shù)已經(jīng)應(yīng)用到中醫(yī)面診數(shù)字化之中，實(shí)現(xiàn)了中醫(yī)面診的標(biāo)準(zhǔn)化與客觀化，并取得了一定的成果。所謂“相由心生”，內(nèi)在五臟六腑的病理變化或是心理變化，終會(huì)表現(xiàn)在臉上的相關(guān)區(qū)域，所以面部望診最能洞察病機(jī)、掌握病情。通過查閱大量的資料，目前的中醫(yī)面診系統(tǒng)主要是通過對(duì)面部顏色、光澤、潤燥和口唇等進(jìn)行定性的特征分析，雖然已經(jīng)取得了一定的成果，但是缺乏診斷針對(duì)性，同時(shí)在電磁頻譜中，自然可見光的范圍極其窄，嚴(yán)重影響面診結(jié)果的準(zhǔn)確性，限制了中醫(yī)面診數(shù)字化的發(fā)展。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明為了克服現(xiàn)有技術(shù)中存在的上述缺陷，提供了一種基于人臉區(qū)域分割的中醫(yī)面診系統(tǒng)及面診方法。

為解決上述問題，本發(fā)明提出的基于人臉區(qū)域分割的中醫(yī)面診系統(tǒng)，包括：圖像采集模塊、圖像處理分析模塊、檢索匹配模塊以及面診系統(tǒng)主界面四大模塊，其中圖像處理分析模塊由人臉檢測分割子模塊、關(guān)鍵點(diǎn)定位與子區(qū)域分割子模塊、特征提取子模塊和面部紅外熱像分析子模塊組成；所述圖像采集模塊與所述圖像處理分析模塊通過計(jì)算機(jī)無線網(wǎng)絡(luò)相連，所述圖像處理分析模塊與所述檢索匹配模塊通信相連，所述檢索匹配模塊與所述面診系統(tǒng)主界面通信相連；

所述圖像采集模塊通過面診采集裝置在標(biāo)準(zhǔn)光源環(huán)境照明條件下直接獲取受診者的自然光面診圖像，同時(shí)通過面診采集裝置的紅外模式功能獲取面部紅外熱像，并將采集的自然光面診圖像和面部紅外熱像傳輸?shù)剿鰣D像處理分析模塊以及面診系統(tǒng)主界面；

所述人臉檢測分割子模塊采用基于haar特征的adaboost算法對(duì)所述圖像處理分析模塊接收的面診圖像進(jìn)行人臉檢測，該算法具有檢測速度快，檢測準(zhǔn)確率高的特點(diǎn)；

所述關(guān)鍵點(diǎn)定位與子區(qū)域分割子模塊對(duì)位于人眼、嘴巴、鼻子和眉毛四個(gè)關(guān)鍵部位的關(guān)鍵點(diǎn)進(jìn)行定位并根據(jù)這些關(guān)鍵點(diǎn)以及先驗(yàn)位置關(guān)系將面部區(qū)域分割為前額區(qū)域、左眼區(qū)域、右眼區(qū)域、鼻子區(qū)域、左臉頰區(qū)域、右臉頰區(qū)域、上唇區(qū)域、下唇區(qū)域共八個(gè)子區(qū)域；

所述特征提取子模塊通過支持向量機(jī)(svm)對(duì)面診圖像整體進(jìn)行面部顏色分析、面部光澤分析以及唇色分析，獲取rgb、his、lab多顏色空間下的面部顏色特征、面部光澤特征以及口唇的顏色和紋理，為數(shù)字化面診提供客觀的診斷依據(jù)；對(duì)每個(gè)子區(qū)域進(jìn)行單獨(dú)的特征分析，提取每個(gè)子區(qū)域的關(guān)于顏色、光澤、潤燥的特征信息；

所述面部紅外熱像分析子模塊通過對(duì)面診采集裝置獲取的面部紅外熱像進(jìn)行定量分析，根據(jù)各種疾病所產(chǎn)生的局部新陳代謝的異?；钴S或減低與面部溫差的關(guān)系，獲取面部連續(xù)的、動(dòng)態(tài)的紅外信息，同時(shí)獲取面部子區(qū)域的熱態(tài)溫度數(shù)據(jù)特征信息，為自動(dòng)化中醫(yī)面診提供重要的診斷依據(jù)；

所述檢索與匹配模塊首先將獲取的面診信息進(jìn)行綜合分析，得到面部全局與子區(qū)域的綜合特征信息，然后將獲取的綜合特征信息以及面部紅外熱像特征信息與標(biāo)準(zhǔn)化樣本特征信息數(shù)據(jù)庫進(jìn)行特征匹配與加權(quán)相似度計(jì)算，最后準(zhǔn)確地將綜合特征信息、以及計(jì)算機(jī)輔助診斷結(jié)果反饋給面診系統(tǒng)主界面模塊；

所述的面診系統(tǒng)主界面為醫(yī)生呈現(xiàn)原始面診圖像、面診綜合特征信息以及計(jì)算機(jī)輔助診斷結(jié)果，醫(yī)生結(jié)合自己的臨床經(jīng)驗(yàn)，最后進(jìn)行綜合的診斷，并給出具體的診斷結(jié)果，最終實(shí)現(xiàn)數(shù)字化中醫(yī)面診。

上述方案中，人眼定位的具體步驟如下：

步驟一、對(duì)人臉檢測與分割之后獲取的面部圖像進(jìn)行圖像預(yù)處理，完成直方圖歸一化處理；

步驟二、對(duì)步驟一所得的直方圖歸一化圖像進(jìn)行g(shù)abor小波變換；

步驟三、對(duì)人臉的上半部分進(jìn)行灰度投影，確定人眼的位置。

上述方案中，嘴角定位的具體步驟如下：

步驟一、對(duì)面部圖像進(jìn)行光線補(bǔ)償，改善彩色偏差；

步驟二、根據(jù)先驗(yàn)經(jīng)驗(yàn)，嘴角位于人臉的偏下部分，因此限定搜索的范圍，然后采用基于hear特征的adaboost分類器對(duì)嘴部進(jìn)行目標(biāo)檢測與粗略的定位；

步驟三、采用利用yiq唇色模型進(jìn)行嘴唇分割，通過形態(tài)學(xué)處理后，獲得嘴角的位置。

上述方案中，鼻子和眉毛的具體定位方法為：將人臉圖像進(jìn)行灰度化處理，然后在做水平方向積分投影，得到積分曲線，再次進(jìn)行局部的積分投影，然后根據(jù)相關(guān)波峰與波谷的位置，結(jié)合眼睛與嘴角的位置以及各區(qū)域劃分關(guān)鍵點(diǎn)的先驗(yàn)比例關(guān)系，判定鼻翼和眉峰的具體位置。

一種基于人臉區(qū)域分割的中醫(yī)面診系統(tǒng)的面診方法，包括以下步驟：

步驟一、系統(tǒng)通過所述圖像采集模塊和計(jì)算機(jī)網(wǎng)絡(luò)無線傳輸技術(shù)獲取人臉圖像以及面部紅外熱像；

步驟二、圖像處理分析模塊對(duì)得到的人臉圖像進(jìn)行人臉檢測與分割，對(duì)分割后得到的面部圖像進(jìn)行關(guān)鍵劃分點(diǎn)定位，并結(jié)合先驗(yàn)知識(shí)，對(duì)面部圖像進(jìn)行子區(qū)域劃分，然后獲取面診綜合特征以及面部熱態(tài)溫度數(shù)據(jù)；

步驟三、所述檢索匹配模塊對(duì)面部整體區(qū)域和子區(qū)域的面診綜合特征和面部熱態(tài)溫度數(shù)據(jù)進(jìn)行特征提取后與系統(tǒng)特征數(shù)據(jù)庫中的標(biāo)準(zhǔn)化樣本特征信息進(jìn)行局部和全局的特征匹配以及相似度計(jì)算，并將具體的自動(dòng)化診斷信息返回到所述面診系統(tǒng)主界面上；

步驟四、醫(yī)生根據(jù)所述面診系統(tǒng)主界面上呈現(xiàn)的原始面診圖像、自動(dòng)化診斷信息、具體情況，結(jié)合臨床經(jīng)驗(yàn)進(jìn)行綜合判斷，得到最終的面部診斷報(bào)告。

本發(fā)明與現(xiàn)有技術(shù)方案相比具有以下有益效果和優(yōu)點(diǎn)：

相對(duì)于現(xiàn)有的中醫(yī)面部診斷系統(tǒng)，本發(fā)明通過與中醫(yī)面診采集裝置相連接，能夠通過計(jì)算機(jī)網(wǎng)絡(luò)無線傳輸獲取面部圖像，對(duì)面部圖像進(jìn)行子區(qū)域劃分，實(shí)現(xiàn)人臉整體顏色、光澤以及口唇顏色特征信息與子區(qū)域相關(guān)特征信息的綜合分析，同時(shí)增加了面部紅外熱像熱態(tài)溫度數(shù)據(jù)分析，最后根據(jù)中醫(yī)綜合診斷，得到更加準(zhǔn)確的定性診斷結(jié)果，實(shí)現(xiàn)中醫(yī)面診的標(biāo)準(zhǔn)化與客觀化。

本發(fā)明主要依據(jù)在中醫(yī)面診理論中，不同的面部區(qū)域映射不同的內(nèi)臟器官，對(duì)采集的人臉進(jìn)行面部區(qū)域分割，同步分析結(jié)合面部整體與各子區(qū)域的顏色、光澤、潤燥和口唇特征，實(shí)現(xiàn)局部與整體并行診斷，同時(shí)增加了面部紅外熱像的分析，獲取面部熱態(tài)溫度數(shù)據(jù)，極大的提高了中醫(yī)面診的規(guī)范化與客觀化。該系統(tǒng)可以為中醫(yī)大夫提供客觀的局部與全局面部區(qū)域定量分析數(shù)據(jù)，輔助中醫(yī)臨床診斷，對(duì)醫(yī)學(xué)臨床、科研教學(xué)等方面有著重大的意義，將會(huì)極大地推動(dòng)醫(yī)療診斷客觀化與標(biāo)準(zhǔn)化的發(fā)展，有著廣泛的發(fā)展前景。

附圖說明

圖1是本發(fā)明提出的基于人臉區(qū)域分割的中醫(yī)面診系統(tǒng)結(jié)構(gòu)示意圖。

圖2為本發(fā)明面部區(qū)域分割的具體流程圖。

圖3位本發(fā)明嘴角定位具體流程圖。

圖4為本發(fā)明劃分點(diǎn)定位與子區(qū)域劃分的具體結(jié)果示例圖。

圖5為本發(fā)明人眼定位與嘴角定位的具體結(jié)果示例圖。

具體實(shí)施方式

以下結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步的詳細(xì)描述：

如圖1、圖2、圖3、圖4和圖5所示，本實(shí)施例中的基于人臉區(qū)域分割的中醫(yī)面診系統(tǒng)，包括：圖像采集模塊、圖像處理分析模塊、檢索匹配模塊以及面診系統(tǒng)主界面四大模塊，其中圖像處理分析模塊由人臉檢測分割子模塊、關(guān)鍵點(diǎn)定位與子區(qū)域分割子模塊、特征提取子模塊和面部紅外熱像分析子模塊組成；圖像采集模塊與圖像處理分析模塊通過計(jì)算機(jī)無線網(wǎng)絡(luò)相連，圖像處理分析模塊與檢索匹配模塊通信相連，檢索匹配模塊與面診系統(tǒng)主界面通信相連；

圖像采集模塊通過面診采集裝置在標(biāo)準(zhǔn)光源環(huán)境照明條件下直接獲取受診者的自然光面診圖像，同時(shí)通過面診采集裝置的紅外模式功能獲取面部紅外熱像，并將采集的自然光面診圖像和面部紅外熱像傳輸?shù)剿鰣D像處理分析模塊以及面診系統(tǒng)主界面；

人臉檢測分割子模塊采用基于haar特征的adaboost算法對(duì)圖像處理分析模塊接收的面診圖像進(jìn)行人臉檢測，該算法具有檢測速度快，檢測準(zhǔn)確率高的特點(diǎn)；

關(guān)鍵點(diǎn)定位與子區(qū)域分割子模塊對(duì)位于人眼、嘴巴、鼻子和眉毛四個(gè)關(guān)鍵部位的關(guān)鍵點(diǎn)進(jìn)行定位并根據(jù)這些關(guān)鍵點(diǎn)以及先驗(yàn)位置關(guān)系將面部區(qū)域分割為前額區(qū)域、左眼區(qū)域、右眼區(qū)域、鼻子區(qū)域、左臉頰區(qū)域、右臉頰區(qū)域、上唇區(qū)域、下唇區(qū)域共八個(gè)子區(qū)域；

特征提取子模塊通過支持向量機(jī)(svm)對(duì)面診圖像整體進(jìn)行面部顏色分析、面部光澤分析以及唇色分析，獲取rgb、his、lab多顏色空間下的面部顏色特征、面部光澤特征以及口唇的顏色和紋理，為數(shù)字化面診提供客觀的診斷依據(jù)；對(duì)每個(gè)子區(qū)域進(jìn)行單獨(dú)的特征分析，提取每個(gè)子區(qū)域的關(guān)于顏色、光澤、潤燥的特征信息；

面部紅外熱像分析子模塊通過對(duì)面診采集裝置獲取的面部紅外熱像進(jìn)行定量分析，根據(jù)各種疾病所產(chǎn)生的局部新陳代謝的異?；钴S或減低與面部溫差的關(guān)系，獲取面部連續(xù)的、動(dòng)態(tài)的紅外信息，同時(shí)獲取面部子區(qū)域的熱態(tài)溫度數(shù)據(jù)特征信息，為自動(dòng)化中醫(yī)面診提供重要的診斷依據(jù)；

檢索與匹配模塊首先將獲取的面診信息進(jìn)行綜合分析，得到面部全局與子區(qū)域的綜合特征信息，然后將獲取的綜合特征信息以及面部紅外熱像特征信息與標(biāo)準(zhǔn)化樣本特征信息數(shù)據(jù)庫進(jìn)行特征匹配與加權(quán)相似度計(jì)算，最后準(zhǔn)確地將綜合特征信息、以及計(jì)算機(jī)輔助診斷結(jié)果反饋給面診系統(tǒng)主界面模塊；

面診系統(tǒng)主界面為醫(yī)生呈現(xiàn)原始面診圖像、面診綜合特征信息以及計(jì)算機(jī)輔助診斷結(jié)果，醫(yī)生結(jié)合自己的臨床經(jīng)驗(yàn)，最后進(jìn)行綜合的診斷，并給出具體的診斷結(jié)果，最終實(shí)現(xiàn)數(shù)字化中醫(yī)面診。

人眼定位的具體步驟如下：

步驟一、對(duì)人臉檢測與分割之后獲取的面部圖像進(jìn)行圖像預(yù)處理，完成直方圖歸一化處理；

步驟二、對(duì)步驟一得到的直方圖歸一化圖像進(jìn)行g(shù)abor小波變換；

步驟三、對(duì)人臉的上半部分進(jìn)行灰度投影，確定人眼的位置。

嘴角定位的具體步驟如下：

步驟一、對(duì)面部圖像進(jìn)行光線補(bǔ)償，改善彩色偏差；

步驟二、根據(jù)先驗(yàn)經(jīng)驗(yàn)，嘴角位于人臉的偏下部分，因此限定搜索的范圍，然后采用基于haar特征的adaboost分類器對(duì)嘴部進(jìn)行目標(biāo)檢測與粗略的定位；

步驟三、采用利用yiq唇色模型進(jìn)行嘴唇分割，通過形態(tài)學(xué)處理后，獲得左右嘴角的位置。

鼻子和眉毛的具體定位方法為：將人臉圖像進(jìn)行灰度化處理，然后在做水平方向積分投影，得到積分曲線，再次進(jìn)行局部的積分投影，然后根據(jù)相關(guān)波峰與波谷的位置，結(jié)合眼睛與嘴角的位置以及各區(qū)域劃分關(guān)鍵點(diǎn)的先驗(yàn)比例關(guān)系，判定左鼻翼、右鼻翼、左眉峰和右眉峰的具體位置。

一種基于人臉區(qū)域分割的中醫(yī)面診系統(tǒng)的面診方法，包括以下步驟：

步驟一、系統(tǒng)通過圖像采集模塊和計(jì)算機(jī)網(wǎng)絡(luò)無線傳輸技術(shù)獲取人臉圖像以及面部紅外圖像；

步驟二、圖像處理分析模塊對(duì)得到的人臉圖像進(jìn)行人臉檢測與分割，對(duì)分割后得到的面部圖像進(jìn)行關(guān)鍵劃分點(diǎn)定位，并結(jié)合先驗(yàn)知識(shí)，將面部圖像劃分成八個(gè)子區(qū)域；

步驟三、檢索匹配模塊對(duì)面部整體區(qū)域和子區(qū)域的面診綜合特征和面部熱態(tài)溫度數(shù)據(jù)進(jìn)行特征提取后與系統(tǒng)特征數(shù)據(jù)庫中的標(biāo)準(zhǔn)化樣本特征信息進(jìn)行局部和全局的特征匹配以及相似度計(jì)算，并將具體的自動(dòng)化診斷信息返回到所述面診系統(tǒng)主界面上；

步驟四、醫(yī)生根據(jù)所述面診系統(tǒng)主界面上呈現(xiàn)的原始面診圖像、自動(dòng)化診斷信息、具體情況，結(jié)合臨床經(jīng)驗(yàn)進(jìn)行綜合判斷，得到最終的面部診斷報(bào)告。

最后說明的是，以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案而非限制，盡管參照較佳實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解，可以對(duì)本發(fā)明的技術(shù)方案進(jìn)行修改或者等同替換，而不脫離本發(fā)明技術(shù)方案的宗旨和范圍，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍中。