專利名稱：基于圖像分割和語(yǔ)義提取實(shí)現(xiàn)人員行為識(shí)別的系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像信息處理技術(shù)領(lǐng)域，特別涉及圖像信息智能識(shí)別技術(shù)領(lǐng)域，具體是指一種基于圖像分割和語(yǔ)義提取實(shí)現(xiàn)人員行為識(shí)別的系統(tǒng)及方法。
背景技術(shù)：
隨著計(jì)算機(jī)技術(shù)和多媒體技術(shù)的快速發(fā) 展，圖像的數(shù)量也極大地增長(zhǎng)，如何從海量的圖像庫(kù)中快速、準(zhǔn)確的檢測(cè)到所需求的圖像成為了當(dāng)今多媒體技術(shù)中研究的熱點(diǎn)問題。傳統(tǒng)的基于文本的圖像檢索技術(shù)需要管理員手工對(duì)圖像進(jìn)行標(biāo)注，不僅消耗了大量的人力，而且人工標(biāo)注圖像的主觀性很大，對(duì)于不同的管理員，標(biāo)注的結(jié)果可能不同。基于內(nèi)容的圖像檢索方法(Content-Based Image Retrieval,CBIR)應(yīng)運(yùn)而生，特別是基于圖像內(nèi)容的圖像語(yǔ)義特征成為新的研究熱點(diǎn)。圖像語(yǔ)義按照復(fù)雜程度分為三個(gè)層次第一層是特征語(yǔ)義層。通過圖像的底層視覺特征如顏色、紋理及形狀等及其組合來提取相關(guān)語(yǔ)義描述；第二層是對(duì)象語(yǔ)義層。通過識(shí)別和推理找出圖像中的具體目標(biāo)對(duì)象及其相互之間的關(guān)系，然后給出語(yǔ)義表達(dá)；第三層是抽象語(yǔ)義層。通過圖像包含的對(duì)象、場(chǎng)景的含義和目標(biāo)進(jìn)行高層推理，得到相關(guān)的語(yǔ)義描述。這個(gè)層次的語(yǔ)義主要涉及圖像的場(chǎng)景語(yǔ)義、行為語(yǔ)義和情感語(yǔ)義?；趦?nèi)容的圖像檢索技術(shù)是依靠圖像的低層視覺特征(顏色、紋理、形狀等)來進(jìn)行檢索的，但是人對(duì)圖像的認(rèn)識(shí)是一個(gè)利用自己的先驗(yàn)知識(shí)推理圖像語(yǔ)義的過程，這樣導(dǎo)致了圖像的底層視覺特征和圖像語(yǔ)義之間的“語(yǔ)義鴻溝”，由此造成圖像語(yǔ)義與圖像實(shí)際表達(dá)含義之間存在距離，識(shí)別準(zhǔn)確率低，進(jìn)而造成基于內(nèi)容的圖像檢索方法效率較低。

發(fā)明內(nèi)容
本發(fā)明的目的是克服了上述現(xiàn)有技術(shù)中的缺點(diǎn)，提供一種將圖像的高層語(yǔ)義和底層視覺特征相結(jié)合，通過支持向量機(jī)(SVM)將圖像的底層特征映射為高層語(yǔ)義，在圖像及圖像描述之間建立映射關(guān)系，從而使計(jì)算機(jī)能夠通過數(shù)字圖像處理和分析來理解畫面中的內(nèi)容，在不需要人為干預(yù)的情況下，實(shí)現(xiàn)對(duì)場(chǎng)景中人員行為的智能檢測(cè)，減小“語(yǔ)義鴻溝”，從而利用視頻監(jiān)控圖像處理技術(shù)從大量的視頻數(shù)據(jù)中提取用戶需要少量視頻信息，大幅提高圖像中人員行為識(shí)別的準(zhǔn)確性，且實(shí)現(xiàn)方式簡(jiǎn)便，應(yīng)用成本低廉，應(yīng)用范圍也較為廣泛的基于圖像分割和語(yǔ)義特征提取實(shí)現(xiàn)人員行為識(shí)別檢測(cè)的系統(tǒng)及方法。為了實(shí)現(xiàn)上述的目的，本發(fā)明的基于圖像分割和語(yǔ)義特征提取實(shí)現(xiàn)人員行為識(shí)別檢測(cè)的系統(tǒng)具有如下構(gòu)成該系統(tǒng)包括圖像采集單元、人員行為檢測(cè)上位機(jī)、用戶查詢單元和輸出接口單元。其中，圖像采集單元用以采集圖像數(shù)據(jù)；人員行為檢測(cè)上位機(jī)連接于所述的圖像采集單元，用以對(duì)于所述的圖像數(shù)據(jù)中的人員行為進(jìn)行識(shí)別，并通過圖像分割和圖像語(yǔ)義特征提取產(chǎn)生對(duì)應(yīng)的人員行為表述信息；用戶查詢單元連接于所述的人員行為檢測(cè)上位機(jī)，用以提供用戶進(jìn)行對(duì)于所述的人員行為表述信息的查詢；輸出接口單元用以向外部連接設(shè)備或網(wǎng)絡(luò)提供所述的人員行為表述信息。該基于圖像分割和語(yǔ)義特征提取實(shí)現(xiàn)人員行為識(shí)別檢測(cè)的系統(tǒng)中，所述的人員行為檢測(cè)上位機(jī)包括圖像分割單元和語(yǔ)義特征提取單元。其中圖像分割單元連接于所述的圖像采集單元，用以將所述的圖像數(shù)據(jù)分割為子圖像數(shù)據(jù)；語(yǔ)義特征提取單元分別連接于所述的圖像分割單元、用戶查詢單元和輸出接口單元，用以對(duì)所述的子圖像數(shù)據(jù)中的人員行為進(jìn)行識(shí)別和描述，產(chǎn)生所述的人員行為表述信息。該基于圖像分割和語(yǔ)義特征提取實(shí)現(xiàn)人員行為識(shí)別檢測(cè)的系統(tǒng)中，所述的圖像分割單元包括數(shù)據(jù)幀采樣子單元、平滑處理子單元、小波變換子單元和閾值分割子單元。其中，數(shù)據(jù)幀采樣子單元連接所述的圖像采集單元，對(duì)所采集的圖像數(shù)據(jù)進(jìn)行數(shù)據(jù)幀采樣；平滑處理子單元連接所述的數(shù)據(jù)幀采樣子單元，對(duì)采樣獲得的數(shù)據(jù)幀圖像進(jìn)行平滑處理；小波變換子單元連接所述的平滑處理子單元，對(duì)經(jīng)過平滑處理的圖像進(jìn)行小波變換處理；閾值分割子單元連接所述的小波變換子單元和所述的語(yǔ)義特征提取單元，對(duì)經(jīng)過小波變換處
理的圖像進(jìn)行閾值分割，產(chǎn)生所述的子圖像數(shù)據(jù)。該基于圖像分割和語(yǔ)義特征提取實(shí)現(xiàn)人員行為識(shí)別檢測(cè)的系統(tǒng)中，所述的圖像分割單元還包括底層視覺特征提取子單元，該底層視覺特征提取子單元連接于所述的閾值分割子單元與所述的語(yǔ)義特征提取單元之間，用以提取所述子圖像的底層視覺特征，所述的底層視覺特征包括顏色特征、紋理特征、形狀特征和空間位置特征。該基于圖像分割和語(yǔ)義特征提取實(shí)現(xiàn)人員行為識(shí)別檢測(cè)的系統(tǒng)中，所述的語(yǔ)義特征提取單元包括標(biāo)準(zhǔn)圖像語(yǔ)義知識(shí)庫(kù)、高層語(yǔ)義特征映射子單元和行為描述子單元。其中標(biāo)準(zhǔn)圖像語(yǔ)義知識(shí)庫(kù)用以存儲(chǔ)行為模板圖像與對(duì)應(yīng)的語(yǔ)義信息；高層語(yǔ)義特征映射子單元連接于所述的圖像分割單元，用以根據(jù)所述的子圖像數(shù)據(jù)映射產(chǎn)生支持向量機(jī)的高層語(yǔ)義特征；行為描述子單元分別連接所述的高層語(yǔ)義特征映射子單元和所述的標(biāo)準(zhǔn)圖像語(yǔ)義知識(shí)庫(kù)，根據(jù)所述的高層語(yǔ)義特征與所述的標(biāo)準(zhǔn)圖像語(yǔ)義知識(shí)庫(kù)內(nèi)的行為模板圖像進(jìn)行匹配，獲取對(duì)應(yīng)的語(yǔ)義信息，產(chǎn)生所述的人員行為表述信息。該基于圖像分割和語(yǔ)義特征提取實(shí)現(xiàn)人員行為識(shí)別檢測(cè)的系統(tǒng)中，所述的標(biāo)準(zhǔn)圖像語(yǔ)義知識(shí)庫(kù)包括行為模板庫(kù)和語(yǔ)義知識(shí)庫(kù)；其中，行為模板庫(kù)用以存儲(chǔ)行為模板信息；語(yǔ)義知識(shí)庫(kù)用以存儲(chǔ)與所述的行為模板信息對(duì)應(yīng)的語(yǔ)義知識(shí)信息；所述的行為描述子單元包括行為識(shí)別功能單元和行為語(yǔ)義提取功能單元，其中行為識(shí)別功能單元，分別連接所述的高層語(yǔ)義特征映射子單元和所述的行為模板庫(kù)，用以根據(jù)所述的高層語(yǔ)義特征與所述的行為模板庫(kù)內(nèi)的行為模板信息匹配，產(chǎn)生基于樹形向量機(jī)分類的圖像語(yǔ)義特征；行為語(yǔ)義提取功能單元?jiǎng)t分別連接所述的行為識(shí)別功能單元和所述的語(yǔ)義知識(shí)庫(kù)，用以根據(jù)所述的基于樹形向量機(jī)分類的圖像語(yǔ)義特征，從所述的語(yǔ)義知識(shí)庫(kù)獲取對(duì)應(yīng)的語(yǔ)義知識(shí)信息，產(chǎn)生基于Web本體語(yǔ)言結(jié)構(gòu)化的圖像描述高級(jí)語(yǔ)義數(shù)據(jù)作為所述的人員行為表述信息。該基于圖像分割和語(yǔ)義特征提取實(shí)現(xiàn)人員行為識(shí)別檢測(cè)的系統(tǒng)中，所述的輸出接口單元為USB接口。本發(fā)明還提供一種利用所述的系統(tǒng)實(shí)現(xiàn)基于圖像分割和語(yǔ)義特征提取進(jìn)行人員行為識(shí)別檢測(cè)的方法，該方法包括以下步驟(I)所述的圖像采集單元采集圖像數(shù)據(jù)；(2)所述的人員行為檢測(cè)上位機(jī)通過圖像分割和圖像語(yǔ)義特征提取對(duì)所述的圖像數(shù)據(jù)中的人員行為進(jìn)行識(shí)別，并產(chǎn)生對(duì)應(yīng)的人員行為表述信息；(3)用戶通過所述的用戶查詢單元對(duì)于所述的人員行為表述信息進(jìn)行查詢；(4)系統(tǒng)通過所述的輸出接口單元向外部連接設(shè)備或網(wǎng)絡(luò)提供所述的人員行為表述信息。該基于圖像分割和語(yǔ)義特征提取進(jìn)行人員行為識(shí)別檢測(cè)的方法中，所述的人員行為檢測(cè)上位機(jī)包括圖像分割單元和語(yǔ)義特征提取單元；所述的圖像分割單元連接于所述的圖像采集單元；所述的語(yǔ)義特征提取單元分別連接于所述的圖像分割單元、用戶查詢單元和輸出接口單元；所述的步驟(2)具體包括以下步驟(21)所述的圖像分割單元將所述的圖像數(shù)據(jù)分割為子圖像數(shù)據(jù)；(22)所述的語(yǔ)義特征提取單元對(duì)所述的子圖像數(shù)據(jù)中的人員行為進(jìn)行識(shí)別和描
述，產(chǎn)生所述的人員行為表述信息。該基于圖像分割和語(yǔ)義特征提取進(jìn)行人員行為識(shí)別檢測(cè)的方法中，所述的圖像分割單元包括數(shù)據(jù)幀采樣子單元、平滑處理子單元、小波變換子單元和閾值分割子單元，所述的步驟(21)具體包括以下步驟(21-1)所述的數(shù)據(jù)幀采樣子單元對(duì)所采集的圖像數(shù)據(jù)進(jìn)行數(shù)據(jù)幀采樣；(21-2)所述的平滑處理子單元對(duì)采樣獲得的數(shù)據(jù)幀圖像進(jìn)行平滑處理；(21-3)所述的小波變換子單元對(duì)經(jīng)過平滑處理的圖像進(jìn)行小波變換處理；(21-4)所述的閾值分割子單元對(duì)經(jīng)過小波變換處理的圖像進(jìn)行閾值分割，產(chǎn)生所述的子圖像數(shù)據(jù)。該基于圖像分割和語(yǔ)義特征提取進(jìn)行人員行為識(shí)別檢測(cè)的方法中，所述的圖像分割單元還包括連接于所述的閾值分割子單元與所述的語(yǔ)義特征提取單元之間的底層視覺特征提取子單元，所述的步驟(21)在所述的步驟(21-4)之后還包括以下步驟(21-5)所述的底層視覺特征提取子單元提取所述子圖像的底層視覺特征，所述的底層視覺特征包括顏色特征、紋理特征、形狀特征和空間位置特征。該基于圖像分割和語(yǔ)義特征提取進(jìn)行人員行為識(shí)別檢測(cè)的方法中，所述的語(yǔ)義特征提取單元包括標(biāo)準(zhǔn)圖像語(yǔ)義知識(shí)庫(kù)、高層語(yǔ)義特征映射子單元和行為描述子單元，所述的步驟(22)具體包括以下步驟(22-1)所述的高層語(yǔ)義特征映射子單元根據(jù)所述的子圖像數(shù)據(jù)映射產(chǎn)生支持向量機(jī)的高層語(yǔ)義特征；(22-2)所述的行為描述子單元根據(jù)所述的高層語(yǔ)義特征與所述的標(biāo)準(zhǔn)圖像語(yǔ)義知識(shí)庫(kù)內(nèi)的行為模板圖像進(jìn)行匹配，獲取對(duì)應(yīng)的語(yǔ)義信息，產(chǎn)生所述的人員行為表述信息。該基于圖像分割和語(yǔ)義特征提取進(jìn)行人員行為識(shí)別檢測(cè)的方法中，所述的標(biāo)準(zhǔn)圖像語(yǔ)義知識(shí)庫(kù)包括行為模板庫(kù)和語(yǔ)義知識(shí)庫(kù)；所述的行為描述子單元包括行為識(shí)別功能單元和行為語(yǔ)義提取功能單元；所述的步驟(22-2)具體包括以下步驟(22_2a)所述的行為識(shí)別功能單元將所述的高層語(yǔ)義特征與所述的行為模板庫(kù)內(nèi)的行為模板信息匹配，產(chǎn)生基于樹形向量機(jī)分類的圖像語(yǔ)義特征；(22_2b)所述的行為語(yǔ)義提取功能單元從所述的語(yǔ)義知識(shí)庫(kù)獲取與所述的基于樹形向量機(jī)分類的圖像語(yǔ)義特征對(duì)應(yīng)的語(yǔ)義知識(shí)信息，產(chǎn)生基于Web本體語(yǔ)言結(jié)構(gòu)化的圖像描述高級(jí)語(yǔ)義數(shù)據(jù)，并將該圖像描述高級(jí)語(yǔ)義數(shù)據(jù)作為所述的人員行為表述信息。
采用了該發(fā)明的基于圖像分割和語(yǔ)義特征提取實(shí)現(xiàn)人員行為識(shí)別檢測(cè)的系統(tǒng)及方法，其系統(tǒng)包括圖像采集單元、人員行為檢測(cè)上位機(jī)、用戶查詢單元和輸出接口單元。該方法中人員行為檢測(cè)上位機(jī)通過圖像分割和圖像語(yǔ)義特征提取對(duì)圖像采集單元采集的圖像數(shù)據(jù)中的人員行為進(jìn)行識(shí)別，并產(chǎn)生對(duì)應(yīng)的人員行為表述信息，提供給用戶通過用戶查詢單元進(jìn)行查詢或通過輸出接口單元向外部設(shè)備或網(wǎng)絡(luò)輸出。人員行為檢測(cè)上位機(jī)通過支持向量機(jī)(SVM)將圖像的底層特征映射為高層語(yǔ)義，在圖像及圖像描述之間建立映射關(guān)系，使計(jì)算機(jī)能夠通過數(shù)字圖像處理和分析來理解畫面中的內(nèi)容，從而在不需要人為干預(yù)的情況下，實(shí)現(xiàn)對(duì)場(chǎng)景中人員行為的智能檢測(cè)，減小“語(yǔ)義鴻溝”，大幅提高圖像中人員行為識(shí)別的準(zhǔn)確性，且本發(fā)明的基于圖像分割和語(yǔ)義特征提取實(shí)現(xiàn)人員行為識(shí)別檢測(cè)的系統(tǒng)及方法，其系統(tǒng)結(jié)構(gòu)簡(jiǎn)單，方法實(shí)現(xiàn)方式簡(jiǎn)便，應(yīng)用成本低廉，應(yīng)用范圍也較為廣泛。


圖I為本發(fā)明的基于圖像分割和語(yǔ)義特征提取實(shí)現(xiàn)人員行為識(shí)別檢測(cè)的系統(tǒng)的框圖。

圖2為本發(fā)明的基于圖像分割和語(yǔ)義特征提取實(shí)現(xiàn)人員行為識(shí)別檢測(cè)的方法的圖像分割流程示意圖。圖3為本發(fā)明的基于圖像分割和語(yǔ)義特征提取實(shí)現(xiàn)人員行為識(shí)別檢測(cè)的方法中的人員行為智能檢測(cè)示意圖。圖4為本發(fā)明的基于圖像分割和語(yǔ)義特征提取實(shí)現(xiàn)人員行為識(shí)別檢測(cè)的方法中的基于樹形SVM分類的圖像語(yǔ)義特征判別圖。圖5為利用本發(fā)明的基于圖像分割和語(yǔ)義特征提取實(shí)現(xiàn)人員行為識(shí)別檢測(cè)的系統(tǒng)及方法實(shí)現(xiàn)人員行為智能檢測(cè)的實(shí)例示意圖。
具體實(shí)施例方式為了能夠更清楚地理解本發(fā)明的技術(shù)內(nèi)容，特舉以下實(shí)施例詳細(xì)說明。請(qǐng)參閱圖I所示，為本發(fā)明的基于圖像分割和語(yǔ)義特征提取實(shí)現(xiàn)人員行為識(shí)別檢測(cè)的系統(tǒng)的框圖。在一種實(shí)施方式中，該系統(tǒng)包括圖像采集單元I、人員行為檢測(cè)上位機(jī)2、用戶查詢單元5和輸出接口單元6。其中，人員行為檢測(cè)上位機(jī)2連接于所述的圖像采集單元1，用戶查詢單元5和輸出接口單元6連接于所述的人員行為檢測(cè)上位機(jī)2。所述的輸出接口單元6可以為USB接口。利用該實(shí)施方式的系統(tǒng)實(shí)現(xiàn)基于圖像分割和語(yǔ)義特征提取進(jìn)行人員行為識(shí)別檢測(cè)的方法包括以下步驟(I)所述的圖像采集單元采集圖像數(shù)據(jù)；(2)所述的人員行為檢測(cè)上位機(jī)通過圖像分割和圖像語(yǔ)義特征提取對(duì)所述的圖像數(shù)據(jù)中的人員行為進(jìn)行識(shí)別，并產(chǎn)生對(duì)應(yīng)的人員行為表述信息；(3)用戶通過所述的用戶查詢單元對(duì)于所述的人員行為表述信息進(jìn)行查詢；(4)系統(tǒng)通過所述的輸出接口單元向外部連接設(shè)備或網(wǎng)絡(luò)提供所述的人員行為表述信息。
在一種較優(yōu)選的實(shí)施方式中，所述的人員行為檢測(cè)上位機(jī)2包括圖像分割單元3和語(yǔ)義特征提取單元4。其中圖像分割單元3連接于所述的圖像采集單元I ;語(yǔ)義特征提取單元4分別連接于所述的圖像分割單元3、用戶查詢單元5和輸出接口單元6。利用該較優(yōu)選的實(shí)施方式的系統(tǒng)實(shí)現(xiàn)基于圖像分割和語(yǔ)義特征提取進(jìn)行人員行為識(shí)別檢測(cè)的方法中，所述的步驟(2)具體包括以下步驟(21)所述的圖像分割單元將所述的圖像數(shù)據(jù)分割為子圖像數(shù)據(jù)；(22)所述的語(yǔ)義特征提取單元對(duì)所述的子圖像數(shù)據(jù)中的人員行為進(jìn)行識(shí)別和描述，產(chǎn)生所述的人員行為表述信息。在一種進(jìn)一步優(yōu)選的實(shí)施方式中，所述的圖像分割單元包括數(shù)據(jù)幀采樣子單元、平滑處理子單元、小波變換子單元和閾值分割子單元。其中，數(shù)據(jù)幀采樣子單元連接所述的圖像采集單元；平滑處理子單元連接所述的數(shù)據(jù)幀采樣子單元；小波變換子單元連接所述
的平滑處理子單元；閾值分割子單元連接所述的小波變換子單元和所述的語(yǔ)義特征提取單
J Li ο利用該進(jìn)一步優(yōu)選的實(shí)施方式的系統(tǒng)實(shí)現(xiàn)基于圖像分割和語(yǔ)義特征提取進(jìn)行人員行為識(shí)別檢測(cè)的方法中，所述的步驟(21)具體包括以下步驟(21-1)所述的數(shù)據(jù)幀采樣子單元對(duì)所采集的圖像數(shù)據(jù)進(jìn)行數(shù)據(jù)幀采樣；(21-2)所述的平滑處理子單元對(duì)采樣獲得的數(shù)據(jù)幀圖像進(jìn)行平滑處理；(21-3)所述的小波變換子單元對(duì)經(jīng)過平滑處理的圖像進(jìn)行小波變換處理；(21-4)所述的閾值分割子單元對(duì)經(jīng)過小波變換處理的圖像進(jìn)行閾值分割，產(chǎn)生所述的子圖像數(shù)據(jù)。在更進(jìn)一步優(yōu)選的實(shí)施方式中，所述的圖像分割單元還包括底層視覺特征提取子單元，該底層視覺特征提取子單元連接于所述的閾值分割子單元與所述的語(yǔ)義特征提取單元之間。利用該更進(jìn)一步優(yōu)選的實(shí)施方式的系統(tǒng)實(shí)現(xiàn)基于圖像分割和語(yǔ)義特征提取進(jìn)行人員行為識(shí)別檢測(cè)的方法中，所述的步驟(21)在所述的步驟(21-4)之后還包括以下步驟(21-5)所述的底層視覺特征提取子單元提取所述子圖像的底層視覺特征，所述的底層視覺特征包括顏色特征、紋理特征、形狀特征和空間位置特征。在另一種進(jìn)一步優(yōu)選的實(shí)施方式中，所述的語(yǔ)義特征提取單元包括標(biāo)準(zhǔn)圖像語(yǔ)義知識(shí)庫(kù)、高層語(yǔ)義特征映射子單元和行為描述子單元。其中標(biāo)準(zhǔn)圖像語(yǔ)義知識(shí)庫(kù)用以存儲(chǔ)行為模板圖像與對(duì)應(yīng)的語(yǔ)義信息；高層語(yǔ)義特征映射子單元連接于所述的圖像分割單元；行為描述子單元分別連接所述的高層語(yǔ)義特征映射子單元和所述的標(biāo)準(zhǔn)圖像語(yǔ)義知識(shí)庫(kù)。利用該另一種進(jìn)一步優(yōu)選的實(shí)施方式的系統(tǒng)實(shí)現(xiàn)基于圖像分割和語(yǔ)義特征提取進(jìn)行人員行為識(shí)別檢測(cè)的方法中，所述的步驟(22)具體包括以下步驟(22-1)所述的高層語(yǔ)義特征映射子單元根據(jù)所述的子圖像數(shù)據(jù)映射產(chǎn)生支持向量機(jī)的高層語(yǔ)義特征；(22-2)所述的行為描述子單元根據(jù)所述的高層語(yǔ)義特征與所述的標(biāo)準(zhǔn)圖像語(yǔ)義知識(shí)庫(kù)內(nèi)的行為模板圖像進(jìn)行匹配，獲取對(duì)應(yīng)的語(yǔ)義信息，產(chǎn)生所述的人員行為表述信息。在一種更優(yōu)選的實(shí)施方式中，所述的標(biāo)準(zhǔn)圖像語(yǔ)義知識(shí)庫(kù)包括行為模板庫(kù)和語(yǔ)義知識(shí)庫(kù)；其中，行為模板庫(kù)用以存儲(chǔ)行為模板信息；語(yǔ)義知識(shí)庫(kù)用以存儲(chǔ)與所述的行為模板信息對(duì)應(yīng)的語(yǔ)義知識(shí)信息；所述的行為描述子單元包括行為識(shí)別功能單元和行為語(yǔ)義提取功能單元，其中行為識(shí)別功能單元分別連接所述的高層語(yǔ)義特征映射子單元和所述的行為模板庫(kù)；行為語(yǔ)義提取功能單元?jiǎng)t分別連接所述的行為識(shí)別功能單元和所述的語(yǔ)義知識(shí)庫(kù)。利用該更優(yōu)選的實(shí)施方式的系統(tǒng)實(shí)現(xiàn)基于圖像分割和語(yǔ)義特征提取進(jìn)行人員行為識(shí)別檢測(cè)的方法中，所述的步驟(22-2)具體包括以下步驟(22_2a)所述的行為識(shí)別功能單元將所述的高層語(yǔ)義特征與所述的行為模板庫(kù)內(nèi)的行為模板信息匹配，產(chǎn)生基于樹形向量機(jī)分類的圖像語(yǔ)義特征；(22_2b)所述的行為語(yǔ)義提取功能單元從所述的語(yǔ)義知識(shí)庫(kù)獲取與所述的基于樹形向量機(jī)分類的圖像語(yǔ)義特征對(duì)應(yīng)的語(yǔ)義知識(shí)信息，產(chǎn)生基于Web本體語(yǔ)言結(jié)構(gòu)化的圖像描述高級(jí)語(yǔ)義數(shù)據(jù)，并將該圖像描述高級(jí)語(yǔ)義數(shù)據(jù)作為所述的人員行為表述信息。在本發(fā)明的應(yīng)用中，如圖I所示，本發(fā)明的系統(tǒng)包括由人員行為智能檢測(cè)上位機(jī)軟件(固化于2內(nèi))、圖像采集單元I、圖像分割單元3、圖像語(yǔ)義特征提取單元4、用戶查詢單元5及USB設(shè)備6組成。其中圖像采集單元I通過PCI總線接口與圖像分割單元3、圖像語(yǔ)義特征提取單元4相連，USB設(shè)備6連接。實(shí)際應(yīng)用中，圖像采集單元可以選擇微軟HD-300高清攝相頭，具有CMOS感光元件，USB接口及16 9的寬屏顯示；AD采樣采用Analog Device公司的AD9849實(shí)現(xiàn)；人員行為智能檢測(cè)上位機(jī)可以選擇普通的PC機(jī)。如圖2所示，圖像分割單元3由以下四個(gè)子程序構(gòu)成A、對(duì)采集的圖像進(jìn)行數(shù)據(jù)幀A\D采樣子程序；B、對(duì)圖像進(jìn)行平滑處理子程序；C、小波變換子程序；D、閾值分割處理子程序。其中，圖像平滑處理的目的是為了減少圖像噪聲，從而改善圖像質(zhì)量。圖像分割方法通?？梢苑譃殚撝捣指罘椒ā⑦吘墮z測(cè)方法、區(qū)域提取方法和結(jié)合特定理論工具的分割方法四類。本發(fā)明中將基于分形理論和小波變換理論等最新研究成果運(yùn)用到圖像分割中。小波變換具有良好局部特性，當(dāng)濾波函數(shù)尺度較大時(shí)，搞噪聲的能力強(qiáng)，當(dāng)小波變換尺度較小時(shí)，提取圖像細(xì)節(jié)的能力強(qiáng)，這樣就可以很好地解決抑制噪聲和提取圖像邊緣細(xì)節(jié)之間的矛盾。圖像分割的具體工作過程是I)人員行為智能檢測(cè)上位機(jī)軟件打開后，HD-300高清攝相頭自動(dòng)進(jìn)入取景模式；2)將采集到的圖像通過PCI數(shù)據(jù)總線傳輸?shù)紸D9849進(jìn)行數(shù)據(jù)幀AD轉(zhuǎn)換；3)圖像經(jīng)過中值濾波等平滑濾波處理后，改善圖像質(zhì)量；4)最后經(jīng)過閾值判定，可以將圖像分割成若干個(gè)子圖像。同時(shí)還要提取有關(guān)各個(gè)子圖像的底層視覺特征(包括顏色特征、紋理特征、形狀特征、空間位置特征等)，作為度量圖像語(yǔ)義特征匹配判別的依據(jù)。對(duì)于離散情況，定義離散小波函數(shù)ffJ；k = 2_J/2ff(2_Jt-k)，其中 j, k e Z，
則信號(hào)f(t)的離散小波變換就定義為D[Wf (j, k) ] = 2_J/2 Σ f(t)ff (2_Jt-k) Δ t對(duì)于閾值分割處理，可以定義閾值估計(jì)方法
權(quán)利要求
1.一種基于圖像分割和語(yǔ)義特征提取實(shí)現(xiàn)人員行為識(shí)別檢測(cè)的系統(tǒng)，其特征在于，所述的系統(tǒng)包括 圖像采集單元，用以采集圖像數(shù)據(jù)； 人員行為檢測(cè)上位機(jī)，連接于所述的圖像采集單元，用以對(duì)于所述的圖像數(shù)據(jù)中的人員行為進(jìn)行識(shí)別，并通過圖像分割和圖像語(yǔ)義特征提取產(chǎn)生對(duì)應(yīng)的人員行為表述信息；用戶查詢單元，連接于所述的人員行為檢測(cè)上位機(jī)，用以提供用戶進(jìn)行對(duì)于所述的人員行為表述信息的查詢； 輸出接口單元，用以向外部連接設(shè)備或網(wǎng)絡(luò)提供所述的人員行為表述信息。
2.根據(jù)權(quán)利要求I所述的基于圖像分割和語(yǔ)義特征提取實(shí)現(xiàn)人員行為識(shí)別檢測(cè)的系統(tǒng)，其特征在于，所述的人員行為檢測(cè)上位機(jī)包括 圖像分割單元，連接于所述的圖像采集單元，用以將所述的圖像數(shù)據(jù)分割為子圖像數(shù)據(jù)； 語(yǔ)義特征提取單元，分別連接于所述的圖像分割單元、用戶查詢單元和輸出接口單元，用以對(duì)所述的子圖像數(shù)據(jù)中的人員行為進(jìn)行識(shí)別和描述，產(chǎn)生所述的人員行為表述信息。
3.根據(jù)權(quán)利要求2所述的基于圖像分割和語(yǔ)義特征提取實(shí)現(xiàn)人員行為識(shí)別檢測(cè)的系統(tǒng)，其特征在于，所述的圖像分割單元包括 數(shù)據(jù)幀采樣子單元，連接所述的圖像采集單元，對(duì)所采集的圖像數(shù)據(jù)進(jìn)行數(shù)據(jù)幀采樣； 平滑處理子單元，連接所述的數(shù)據(jù)幀采樣子單元，對(duì)采樣獲得的數(shù)據(jù)幀圖像進(jìn)行平滑處理； 小波變換子單元，連接所述的平滑處理子單元，對(duì)經(jīng)過平滑處理的圖像進(jìn)行小波變換處理； 閾值分割子單元，連接所述的小波變換子單元和所述的語(yǔ)義特征提取單元，對(duì)經(jīng)過小波變換處理的圖像進(jìn)行閾值分割，產(chǎn)生所述的子圖像數(shù)據(jù)。
4.根據(jù)權(quán)利要求3所述的基于圖像分割和語(yǔ)義特征提取實(shí)現(xiàn)人員行為識(shí)別檢測(cè)的系統(tǒng)，其特征在于，所述的圖像分割單元還包括 底層視覺特征提取子單元，連接于所述的閾值分割子單元與所述的語(yǔ)義特征提取單元之間，用以提取所述子圖像的底層視覺特征，所述的底層視覺特征包括顏色特征、紋理特征、形狀特征和空間位置特征。
5.根據(jù)權(quán)利要求2所述的基于圖像分割和語(yǔ)義特征提取實(shí)現(xiàn)人員行為識(shí)別檢測(cè)的系統(tǒng)，其特征在于，所述的語(yǔ)義特征提取單元包括 標(biāo)準(zhǔn)圖像語(yǔ)義知識(shí)庫(kù)，用以存儲(chǔ)行為模板圖像與對(duì)應(yīng)的語(yǔ)義信息； 高層語(yǔ)義特征映射子單元，連接于所述的圖像分割單元，用以根據(jù)所述的子圖像數(shù)據(jù)映射產(chǎn)生支持向量機(jī)的高層語(yǔ)義特征； 行為描述子單元，分別連接所述的高層語(yǔ)義特征映射子單元和所述的標(biāo)準(zhǔn)圖像語(yǔ)義知識(shí)庫(kù)，根據(jù)所述的高層語(yǔ)義特征與所述的標(biāo)準(zhǔn)圖像語(yǔ)義知識(shí)庫(kù)內(nèi)的行為模板圖像進(jìn)行匹配，獲取對(duì)應(yīng)的語(yǔ)義信息，產(chǎn)生所述的人員行為表述信息。
6.根據(jù)權(quán)利要求5所述的基于圖像分割和語(yǔ)義特征提取實(shí)現(xiàn)人員行為識(shí)別檢測(cè)的系統(tǒng)，其特征在于，所述的標(biāo)準(zhǔn)圖像語(yǔ)義知識(shí)庫(kù)包括行為模板庫(kù)，用以存儲(chǔ)行為模板信息； 語(yǔ)義知識(shí)庫(kù)，用以存儲(chǔ)與所述的行為模板信息對(duì)應(yīng)的語(yǔ)義知識(shí)信息； 所述的行為描述子單元包括 行為識(shí)別功能單元，分別連接所述的高層語(yǔ)義特征映射子單元和所述的行為模板庫(kù)，用以根據(jù)所述的高層語(yǔ)義特征與所述的行為模板庫(kù)內(nèi)的行為模板信息匹配，產(chǎn)生基于樹形向量機(jī)分類的圖像語(yǔ)義特征； 行為語(yǔ)義提取功能單元，分別連接所述的行為識(shí)別功能單元和所述的語(yǔ)義知識(shí)庫(kù)，用以根據(jù)所述的基于樹形向量機(jī)分類的圖像語(yǔ)義特征，從所述的語(yǔ)義知識(shí)庫(kù)獲取對(duì)應(yīng)的語(yǔ)義知識(shí)信息，產(chǎn)生基于Web本體語(yǔ)言結(jié)構(gòu)化的圖像描述高級(jí)語(yǔ)義數(shù)據(jù)作為所述的人員行為表述信息。
7.根據(jù)權(quán)利要求I所述的基于圖像分割和語(yǔ)義特征提取實(shí)現(xiàn)人員行為識(shí)別檢測(cè)的系統(tǒng)，其特征在于，所述的輸出接口單元為USB接口。
8.一種利用權(quán)利要求I所述的系統(tǒng)實(shí)現(xiàn)基于圖像分割和語(yǔ)義特征提取進(jìn)行人員行為識(shí)別檢測(cè)的方法，其特征在于，所述的方法包括以下步驟 (1)所述的圖像采集單元采集圖像數(shù)據(jù)； (2)所述的人員行為檢測(cè)上位機(jī)通過圖像分割和圖像語(yǔ)義特征提取對(duì)所述的圖像數(shù)據(jù)中的人員行為進(jìn)行識(shí)別，并產(chǎn)生對(duì)應(yīng)的人員行為表述信息； (3)用戶通過所述的用戶查詢單元對(duì)于所述的人員行為表述信息進(jìn)行查詢； (4)系統(tǒng)通過所述的輸出接口單元向外部連接設(shè)備或網(wǎng)絡(luò)提供所述的人員行為表述信肩、O
9.根據(jù)權(quán)利要求8所述的基于圖像分割和語(yǔ)義特征提取進(jìn)行人員行為識(shí)別檢測(cè)的方法，其特征在于，所述的人員行為檢測(cè)上位機(jī)包括圖像分割單元和語(yǔ)義特征提取單元；所述的圖像分割單元連接于所述的圖像采集單元；所述的語(yǔ)義特征提取單元分別連接于所述的圖像分割單元、用戶查詢單元和輸出接口單元；所述的步驟(2)具體包括以下步驟 (21)所述的圖像分割單元將所述的圖像數(shù)據(jù)分割為子圖像數(shù)據(jù)； (22)所述的語(yǔ)義特征提取單元對(duì)所述的子圖像數(shù)據(jù)中的人員行為進(jìn)行識(shí)別和描述，產(chǎn)生所述的人員行為表述信息。
10.根據(jù)權(quán)利要求9所述的基于圖像分割和語(yǔ)義特征提取進(jìn)行人員行為識(shí)別檢測(cè)的方法，其特征在于，所述的圖像分割單元包括數(shù)據(jù)幀采樣子單元、平滑處理子單元、小波變換子單元和閾值分割子單元，所述的步驟(21)具體包括以下步驟 (21-1)所述的數(shù)據(jù)幀采樣子單元對(duì)所采集的圖像數(shù)據(jù)進(jìn)行數(shù)據(jù)幀采樣； (21-2)所述的平滑處理子單元對(duì)采樣獲得的數(shù)據(jù)幀圖像進(jìn)行平滑處理； (21-3)所述的小波變換子單元對(duì)經(jīng)過平滑處理的圖像進(jìn)行小波變換處理； (21-4)所述的閾值分割子單元對(duì)經(jīng)過小波變換處理的圖像進(jìn)行閾值分割，產(chǎn)生所述的子圖像數(shù)據(jù)。
11.根據(jù)權(quán)利要求10所述的基于圖像分割和語(yǔ)義特征提取進(jìn)行人員行為識(shí)別檢測(cè)的方法，其特征在于，所述的圖像分割單元還包括連接于所述的閾值分割子單元與所述的語(yǔ)義特征提取單元之間的底層視覺特征提取子單元，所述的步驟(21)在所述的步驟(21-4)之后還包括以下步驟(21-5)所述的底層視覺特征提取子單元提取所述子圖像的底層視覺特征，所述的底層視覺特征包括顏色特征、紋理特征、形狀特征和空間位置特征。
12.根據(jù)權(quán)利要求9所述的基于圖像分割和語(yǔ)義特征提取進(jìn)行人員行為識(shí)別檢測(cè)的方法，其特征在于，所述的語(yǔ)義特征提取單元包括標(biāo)準(zhǔn)圖像語(yǔ)義知識(shí)庫(kù)、高層語(yǔ)義特征映射子單元和行為描述子單元，所述的步驟(22)具體包括以下步驟 (22-1)所述的高層語(yǔ)義特征映射子單元根據(jù)所述的子圖像數(shù)據(jù)映射產(chǎn)生支持向量機(jī)的高層語(yǔ)義特征； (22-2)所述的行為描述子單元根據(jù)所述的高層語(yǔ)義特征與所述的標(biāo)準(zhǔn)圖像語(yǔ)義知識(shí)庫(kù)內(nèi)的行為模板圖像進(jìn)行匹配，獲取對(duì)應(yīng)的語(yǔ)義信息，產(chǎn)生所述的人員行為表述信息。
13.根據(jù)權(quán)利要求12所述的基于圖像分割和語(yǔ)義特征提取進(jìn)行人員行為識(shí)別檢測(cè)的方法，其特征在于，所述的標(biāo)準(zhǔn)圖像語(yǔ)義知識(shí)庫(kù)包括行為模板庫(kù)和語(yǔ)義知識(shí)庫(kù)；所述的行為描述子單元包括行為識(shí)別功能單元和行為語(yǔ)義提取功能單元；所述的步驟(22-2)具體包括以下步驟 (22-2a)所述的行為識(shí)別功能單元將所述的高層語(yǔ)義特征與所述的行為模板庫(kù)內(nèi)的行為模板信息匹配，產(chǎn)生基于樹形向量機(jī)分類的圖像語(yǔ)義特征； (22-2b)所述的行為語(yǔ)義提取功能單元從所述的語(yǔ)義知識(shí)庫(kù)獲取與所述的基于樹形向量機(jī)分類的圖像語(yǔ)義特征對(duì)應(yīng)的語(yǔ)義知識(shí)信息，產(chǎn)生基于Web本體語(yǔ)言結(jié)構(gòu)化的圖像描述高級(jí)語(yǔ)義數(shù)據(jù)，并將該圖像描述高級(jí)語(yǔ)義數(shù)據(jù)作為所述的人員行為表述信息。
全文摘要
本發(fā)明涉及一種基于圖像分割和語(yǔ)義特征提取實(shí)現(xiàn)人員行為識(shí)別檢測(cè)的系統(tǒng)及方法。該系統(tǒng)包括圖像采集單元、人員行為檢測(cè)上位機(jī)、用戶查詢單元和輸出接口單元，該方法中人員行為檢測(cè)上位機(jī)通過圖像分割和圖像語(yǔ)義特征提取對(duì)圖像采集單元采集的圖像數(shù)據(jù)中的人員行為進(jìn)行識(shí)別，產(chǎn)生人員行為表述信息。該方法中，人員行為檢測(cè)上位機(jī)通過支持向量機(jī)將圖像的底層特征映射為高層語(yǔ)義，在圖像及圖像描述之間建立映射關(guān)系，從而能夠通過數(shù)字圖像處理和分析來理解畫面中的內(nèi)容，實(shí)現(xiàn)對(duì)場(chǎng)景中人員行為的智能檢測(cè)，大幅提高圖像中人員行為識(shí)別的準(zhǔn)確性，且本發(fā)明的系統(tǒng)結(jié)構(gòu)簡(jiǎn)單，方法實(shí)現(xiàn)方式簡(jiǎn)便，應(yīng)用成本低廉，應(yīng)用范圍也較為廣泛。
文檔編號(hào)G06K9/46GK102880873SQ20121031723
公開日2013年1月16日 申請(qǐng)日期2012年8月31日 優(yōu)先權(quán)日2012年8月31日
發(fā)明者湯志偉, 齊力, 梅林 , 劉云淮, 朱學(xué)梅, 李震宇, 陳龍虎, 江洪, 王波 申請(qǐng)人:公安部第三研究所