專利名稱：：利用視覺特性偵測新聞片段中播報員畫面的方法
技術(shù)領(lǐng)域：
：本發(fā)明有關(guān)一種偵測新聞片段中播報員畫面的方法，尤指一種利用視覺特性偵測播報員出現(xiàn)的片段，以作為新聞切割成不同分類的依據(jù)。
背景技術(shù)：
：目前在一影像中，為了找出人臉?biāo)谖恢茫畛Ｊ褂玫姆椒ㄊ且跃植刻卣?localfeatures)來進(jìn)行辨識，而人臉?biāo)捎玫木植刻卣鞑煌夂鯙檠劬Α⒈羌?、嘴唇或臉頰、額頭等部位，可將這些局部特征與影像中所偵測到的畫面進(jìn)行比對，以確定辨識結(jié)果。因此上述部位位置的確定便成為人臉辨識過程中的關(guān)鍵步驟。習(xí)用技術(shù)對于從人臉影像中找出眼、鼻、唇等臉部特征的方法大致可分為兩類。一類為使用影像處理法(imageprocessing)，例如過濾(filtering)、影l(fā)象型態(tài)運(yùn)算(morphologicaloperation)、或臨界值運(yùn)算(thresholdingoperation)等方法，來找出可能是臉部特征的候選部位，再進(jìn)一步從這些候選部位中確認(rèn)出特征部位；另一類系使用圖像比對法(graphmatching),亦即將人臉模型以特征的關(guān)聯(lián)圖(graph)表示，特征位置為節(jié)點(diǎn)(nodes)，節(jié)點(diǎn)間的聯(lián)機(jī)(edges)表示特征間的相對位置，其中每一節(jié)點(diǎn)是由影像處理方法算出附屬的特征值，再將模型在影像中的游走透過圖像比對方式以定出人臉特征位置。在影像處理法中，例如美國專利USP5,805,475號案，首先必須確定臨界(threshold)值，確定臨界值得方法可以用經(jīng)驗(yàn)值或藉由累積經(jīng)驗(yàn)值用統(tǒng)計(jì)的方法計(jì)算出一較佳值，而臨界值往往是造成辨識效果的關(guān)鍵。在此美國專利案中，影像型態(tài)運(yùn)算以及臨界值運(yùn)算均涉及好幾個臨界值的決定。這種采用經(jīng)驗(yàn)觀察(heuristic)法以決定臨界值的方法，必須常常隨著所觀察影像的表現(xiàn)而有所修正，大大增加了實(shí)際施行的困難度，無法迅速有效的辨別出影像中人臉特征。在圖像比對法中，例如美國專利USP6,222，939號案，每一個節(jié)點(diǎn)均附屬有一組特征值，為了與一圖像模型(graphmodel)作比對，則必須要在待測影像中計(jì)算這些特征值，縱使不用計(jì)算每個像素點(diǎn)，也必須擷取相當(dāng)密集的點(diǎn)位置計(jì)算。此美國專利案的重點(diǎn)在于直接在影像的二維空間上作搜尋，且用來描述參考人臉影像所用的特征值較為繁復(fù)(如需計(jì)算二為頻語等)，因此每當(dāng)要比對一待測影像的人臉特征時，都必須再經(jīng)過多次繁復(fù)的計(jì)算與比對后，才可辨識出影像中的人臉特征，將對系統(tǒng)造成龐大負(fù)荷，無法提高使用效率。因此，前述在影像中將人臉特征定位的方法，仍存在有諸多缺失，而有予以改進(jìn)的必要。
發(fā)明內(nèi)容本發(fā)明利用視覺特性偵測新聞片段中播報員畫面的方法，是利用視覺特性來偵測新聞片段中播報員畫面，將新聞作不同分類的切割，其包含有下列步驟先提供新聞影像，利用色彩空間(YUV、NCC、HSL)對原始影像作膚色分析偵測，并配合膚色偵測影像中的物體是否移動，再利用影像型態(tài)學(xué)(Morphology)中的斷開運(yùn)算包含(Dilation、Erosion),把人臉影像周圍的噪聲去除，以及運(yùn)用連接元區(qū)域標(biāo)定程序(ComponentConnectedLabeling),才巴IH象中屬于同一只十象的相連影像找出，以便獲得物體面積、高度和寬度等信息，進(jìn)而獲得播報員人臉范，再偵測播報員可能出現(xiàn)片段，最后再作一次播報員偵測，以正確得知播報員出現(xiàn)的片段。圖1為本發(fā)明中整體架構(gòu)的流程示意圖；圖2為本發(fā)明中位置像素P于矩陣排列的示意圖；圖3為本發(fā)明中標(biāo)定出影像對象的流程示意圖；圖4為本發(fā)明中連接元區(qū)域標(biāo)定的示意圖；圖5為本發(fā)明中偵測播報員是否移動的流程示意圖；圖6為本發(fā)明中偵測播報員可能出現(xiàn)片段的流程示意；圖7為本發(fā)明中在非膚色區(qū)域之中計(jì)算直方圖的差距(Histogramdifferencebasedonnon-Skincolorregion)的流程示意圖；圖8為本發(fā)明中從主播片段中找出主播的特性(FindAnchorpersonfeaturesfromAnchorpersonsegment)的流程示意圖。具體實(shí)施例方式為能使貴審查員清楚本發(fā)明的組成，以及實(shí)施方式，茲配合圖式說明如下本發(fā)明利用視覺特性偵測新聞片段中播報員畫面的方法，如圖l所示為本發(fā)明的流程示意圖，其包含下列步驟a、提供新聞影像；b、進(jìn)行膚色分析(Skincolordetection);c、酉己合月夫色的秀多動物體偵觀寸(Shotchangedetectionbasedonskincolor);d、偵測#番才艮員可能出現(xiàn)片段(Probableanchorpersonsegmentdetection);e、最后再由播報員可能出現(xiàn)的片段再作一次播報員偵測(Anchorpersondetection),最后可正確得知4番才艮員出現(xiàn)的片段，進(jìn)而依據(jù)播報員出現(xiàn)的片段可將新聞作不同分類的切割，以達(dá)到新聞分類的目的。今針對每一步驟說明如下其中，步驟b:膚色分析(Skincolordetection)要找出膚色的區(qū)域就必須定義膚色的顏色為何，由于膚色與一般環(huán)境的色彩有顯著的差異，但在RGBspace里定義的影像顏色會因光源強(qiáng)弱的關(guān)系而有深淺的變化，所以直接在RGBspace上作顏色的分割會有很大的誤差，因此可采用對光線強(qiáng)弱較不敏感的色彩空間(colorspace),例如YUV、NCC、HSL等，以下為針對各色彩空間與R、G、B之間的關(guān)系以及其臨界值說明如下。1、YUV其與R、G、B屬于線性關(guān)系，公式如下、、r0.2990.5870.114—Ru-0.147-0.2890.437G、vj、0.615-0.515-0.100B、乂而其膚色的臨界值為60<Y<255-25<U<010<V<452、NCC其與R、G、B的關(guān)系，公式如下r=R/(R+G+B)g=G/(R+G+B)而其膚色的臨界值為Upperbound:(-1.376)x(rxr)+1.0743xr+0.1452Lowerbound:(畫0.766)x(rxr)+0.5601xr+0.1766w=(r-0.33)x(r-0.33)+(g-0.33)x(g-0.33)3、HSL其與R、G、B的關(guān)系，公式如下<formula>formulaseeoriginaldocumentpage8</formula>而其膚色的臨界值為0.028^0.724步驟c:酉己合膚色的移動物體偵測(Shotchangedetectionbasedonskincolor)包含有膚色調(diào)整步驟(StableSkincolorSegmentDetection)以及連接元區(qū)域標(biāo)定步驟(ComponentConnectedLabeling),可標(biāo)定出影像中各個獨(dú)立的對象，進(jìn)而獲得播報員人臉范圍，并利用該播報員人臉范圍中的膚色分析形成一膚色臨界值，再于固定時間間距擷取復(fù)數(shù)影像，將各影像的膚色與膚色臨界值相比較，若大于該臨界值則判定出播報員有移動。其中，膚色調(diào)整步驟(StableSkincolorSegmentDetection)系利用影像型態(tài)學(xué)(Morphology)中的斷開運(yùn)算(openingoperation)包含膨脹(Dilation)以及侵蝕(Erosion)，其膨脹(Dilation)系對影像作膨脹來擴(kuò)張區(qū)域，而侵蝕(Erosion)則對影像作侵蝕來縮小區(qū)域，可依據(jù)影像而選擇先進(jìn)行膨脹(Dilation)再侵蝕(Erosion)(即Closing)，或先進(jìn)行侵蝕(Erosion)再膨脹(Dilation)(即Opening)。經(jīng)過上述程序之后可將人臉影像周圍的噪聲去除，而不論膨脹或是侵蝕，都是用屏蔽(Mask，及一個NxN的矩陣，在本系統(tǒng)中使用的大小為3x3)，并對膚色分析后的二值影像作屏蔽運(yùn)算，并將運(yùn)算結(jié)果標(biāo)示于新的影像上。其中，膨脹(Dilation)判斷所在位置像素P在新影像中是否為l,若符合的話，判斷其周圍8點(diǎn)是否有值為1，若有則P為1反之為0，如圖2所示，亦即P=Pl門P2門P3門P4門P5門P6門P7門P8n:代表AND運(yùn)算而侵蝕(Erosion)與膨脹類似，判斷所在位置像素P在新影像中是否為l，若符合的話，判斷其周圍8點(diǎn)是否所有值皆為1，若有則P為1反之為0，亦即P=PIUP2UP3UP4UP5UP6UP7UP8U:代表OR運(yùn)算當(dāng)完成上述斷開運(yùn)算處理后，再運(yùn)用連接元區(qū)域標(biāo)定程序(ComponentConnectedLabeling)把影像中屬于同一對象的相連影像找出，如圖3所示，以便獲得物體面積、高度和寬度等信息，并藉此標(biāo)定出影像中各個獨(dú)立的對象。其作法為從上方其中一角落處開始掃描待標(biāo)記的二值影像，當(dāng)遇到像素值為l時，則依次檢查其上、下、左、右是否有同樣為l的點(diǎn)，若有則將其坐標(biāo)紀(jì)錄下來，并把其值設(shè)為l,之后依序遞歸的去檢查剛剛所紀(jì)錄點(diǎn)的下、左、右、上是否也有l(wèi)的點(diǎn)存在，若有也將其坐標(biāo)紀(jì)錄下來，并把其值設(shè)為l，如圖4所示；持續(xù)整個遞歸的檢查，直到所有紀(jì)錄點(diǎn)的周圍都不再有l(wèi)的點(diǎn)出現(xiàn)為止，即可停止遞歸檢查的動作，如此一來便可以找出第一個群組的對象。依此類推，當(dāng)整張影像都掃描遞歸完，即可統(tǒng)計(jì)出在影像中所有對象的面積、高度和寬度等信息。故先利用色彩空間(YUV、NCC、HSL)對原始影像作膚色分析偵測，并將偵測出來的膚色結(jié)果轉(zhuǎn)成二值影像(BinaryImage),再利用影^象型態(tài)學(xué)(Morphology)中的斷開運(yùn)算包含膨脹(Dilation)、侵蝕(Erosion)，把人臉影像周圍的噪聲去除，以及運(yùn)用連元區(qū)域標(biāo)定程序(ComponentConnectedLabeling),把影像中屬于同一對象的相連影像找出，以便獲得物體面積、高度和寬度等信息，進(jìn)而獲得播報員人臉范圍，并利用該播報員人臉范圍中的膚色分析形成一膚色臨界值，如圖5所示，再于固定時間間距擷取復(fù)數(shù)影像，將各影像的膚色與膚色臨界值相比較，若大于該臨界值則判定出播報員有移動。步驟d:偵測播報員可能出現(xiàn)片段(Probableanchorpersonsegmentdetection)若要區(qū)別播報員以及非播報員的影像，則利用上述找出播報員以及非播報員的人臉范圍后，并分析于各個人臉范圍中屬于膚色以及非膚色區(qū)域(通常為衣服的顏色)，并將兩種區(qū)域作成長條圖(histogram)。若所得人臉范圍的寬度大于高度時(因通常人臉范圍寬度小于高度)，則再利用修改程序(Modification)方式對該人臉范圍再作一次定位后，取得正確的人臉范圍再取膚色以及非膚色區(qū)域作成長條圖，如圖6所示。經(jīng)由播報員以及非播報員的人臉范圍非膚色區(qū)域的長條圖(non-Skincolorregionhistogram),比4交其差異(因?yàn)樵路蛏珔^(qū)域的差異可能不大，故取非膚色區(qū)域?yàn)閮烧咭路牟町愖鞅容^)，即可找出播報員可能出現(xiàn)的片段。步驟e:才番才艮員偵測(Anchorpersondetection)包含有在非膚色區(qū)域之中計(jì)算直方圖的差距(Histogramdifferencebasedonnon-Skincolorregion)以及穩(wěn)態(tài)物體處理(找出穩(wěn)定片段中的特性)[Staticobjectprocess(Findfeaturesofstablesegment)]，其中，在非膚色區(qū)域之中計(jì)算直方圖的差距的方式同上所述，于新聞畫面中取得連續(xù)影像，再由各影像中的人臉范圍中取得非膚色區(qū)域的長條圖，再比較各長條圖的差異，如圖7所示，若大于臨界值則判定是為播報員出現(xiàn)的片段，反之，則判定是為新聞報導(dǎo)的片段。而穩(wěn)、態(tài)物體處理包含類似于標(biāo)志偵觀'J(SimilartoLogodetection)以及從主播片段中找出主播的特性(FindAnchorpersonfeaturesfromAnchorpersonsegment)，其似于標(biāo)志偵測就是將一段影片中一直存在的物體找出來。在電視節(jié)目或電^f見新聞中該臺的Logo通常都會一直存在于畫面中，我們可以利用一直存在這個特性來偵測Logo的位置，只要使用連續(xù)影像相減法，就可以完成。兩張影像相減之后，只將顏色相近的位置保留下來，處理一段時間后即可將Logo的位置偵測出來。而從主播片段中找出主播的特性是先于播報員出現(xiàn)的片段中取得連續(xù)影像，并利用機(jī)率的方式計(jì)算相連性(Correlation)及照度值(luminance)的平均值(mean)以及標(biāo)準(zhǔn)差(standarddeviation)以做為臨界值，如圖8所示，若影片的相連性(Correlation)及照度值(luminance)大于臨界值則判定視為播報員出現(xiàn)的片段，反之，則判定是為新聞報導(dǎo)的片段。經(jīng)由上述各步驟后，最后可正確得知播報員出現(xiàn)的片段，進(jìn)而將新聞作不同分類的切割，而達(dá)到將新聞分類的目的。如上所述，本發(fā)明提供一利用視覺特性偵測新聞片段中播報員畫面的方法，于是依法提呈發(fā)明專利的申請；然而，以上的實(shí)施說明及圖式所示，是本發(fā)明較佳實(shí)施例者，并非以此局限本發(fā)明，是以，舉凡與本發(fā)明的構(gòu)造、裝置、特征等近似、雷同的，均應(yīng)屬本發(fā)明的創(chuàng)設(shè)目的及申請專利范圍之內(nèi)。權(quán)利要求1、一種利用視覺特性偵測新聞片段中播報員畫面的方法，包含下列步驟a、提供新聞影像；b、進(jìn)行膚色分析；c、配合膚色的移動物體偵測；d、偵測播報員可能出現(xiàn)片段；e、最后再由播報員可能出現(xiàn)的片段再作一次播報員偵測，最后可正確得知播報員出現(xiàn)的片段。2、如權(quán)利要求1所述利用視覺特性偵測新聞片段中播報員畫面的方法，其中該膚色分析是利用一般所使用的色彩空間對顏色作分割。3、如權(quán)利要求1所述利用視覺特性偵測新聞片段中播報員畫面的方法，其中移動物體偵測系配合膚色作判斷，先將播報員的膚色分析形成一膚色臨界值，再于固定位置于固定時間間距擷取復(fù)數(shù)影像，將各影像的膚色與膚色臨界值相比較，若大于該臨界值則判定出播報員有移動。4、如權(quán)利要求1所述利用視覺特性偵測新聞片段中播報員畫面的方法，其中配合膚色的移動物體偵測可包含有膚色調(diào)整步驟以及連接元區(qū)域標(biāo)定步驟。5、如權(quán)利要求4所述利用視覺特性偵測新聞片段中播報員畫面的方法，其中該膚色調(diào)整步驟系利用影像型態(tài)學(xué)中的斷開運(yùn)算。6、如權(quán)利要求5所述利用視覺特性偵測新聞片段中播報員畫面的方法，其中斷開運(yùn)算包含膨脹以及侵蝕。7、如權(quán)利要求6所述利用視覺特性偵測新聞片段中播報員畫面的方法，其中膚色調(diào)整步驟完成后，可再運(yùn)用連接元區(qū)域標(biāo)定步驟把影像中屬于同一對象的相連影像找出，以便獲得物體面積、高度和寬度等信息，并藉此標(biāo)定出影像中各個獨(dú)立的對象。8、如權(quán)利要求1所述利用視覺特性偵測新聞片段中播報員畫面的方法，其中該偵測播報員可能出現(xiàn)片段的步驟，系針對新聞片段中播報員以及非播報員的人臉范圍非膚色區(qū)域，形成復(fù)數(shù)個長條圖，比較其差異，即可找出播報員可能出現(xiàn)的片段。9、如權(quán)利要求1所述利用視覺特性偵測新聞片段中播報員畫面的方法，其中該播報員偵測可包含有在非膚色區(qū)域之中計(jì)算直方圖的差距以及穩(wěn)態(tài)物體處理。10、如權(quán)利要求9所述利用視覺特性偵測新聞片段中播報員畫面的方法，其中該在非膚色區(qū)域之中計(jì)算直方圖的差距是于新聞畫面中取得連續(xù)影像，再由各影像中的人臉范圍中取得非膚色區(qū)域的長條圖，再比較各長條圖的差異，若大于臨界值則判定視為播報員出現(xiàn)的片段。11、如權(quán)利要求9所述利用視覺特性偵測新聞片段中播報員畫面的方法，其中穩(wěn)態(tài)物體處理包含類似于標(biāo)志偵測以及從主播片段中找出主播的特性。12、如權(quán)利要求11所述利用視覺特性偵測新聞片段中播報員畫面的方法，其中類似于標(biāo)志偵測是將一段影片中一直存在的物體找出來，藉由連續(xù)影像相減法，將兩張影像相減之后，只將顏色相近的位置保留下來，處理一段時間后即可將Logo的位置偵測出來。13、如權(quán)利要求11所述利用視覺特性偵測新聞片段中播報員畫面的方法，其從主播片段中找出主播的特性是于播報員出現(xiàn)的片段中取得連續(xù)影像，并利用機(jī)率的方式計(jì)算相連性及照度值的平均值以及標(biāo)準(zhǔn)差，以當(dāng)做一臨界值，若影片的相連性及照度值大于臨界值則判定視為播報員出現(xiàn)的片段。全文摘要本發(fā)明利用視覺特性來偵測新聞片段中播報員畫面，將新聞作不同分類的切割，其包含有下列步驟先提供新聞影像，并利用色彩空間對影像作膚色分析偵測，并配合膚色偵測影像中的物體是否移動，再利用影像型態(tài)學(xué)，把人臉影像周圍的噪聲去除，并獲得播報員人臉范圍，再偵測播報員可能出現(xiàn)片段，最后再作一次播報員偵測。文檔編號G06K9/00GK101114334SQ20061009926公開日2008年1月30日申請日期2006年7月25日優(yōu)先權(quán)日2006年7月25日發(fā)明者葉家宏,呂科諺,張敏寬,施宣輝申請人:智輝研發(fā)股份有限公司