技術(shù)領(lǐng)域
本發(fā)明屬于視頻處理的技術(shù)領(lǐng)域，尤其涉及一種基于描述符的視頻特征提取方法及裝置。
背景技術(shù)：
隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的發(fā)展廣泛應(yīng)用，視頻技術(shù)也得到廣泛應(yīng)用，當(dāng)人們?cè)趯?duì)視頻檢索過程中，通常會(huì)將視頻的內(nèi)容檢索居于首位，而目前的視頻內(nèi)容檢索通常都是基于視頻內(nèi)容開發(fā)商給預(yù)先出的關(guān)鍵詞等特征，這已經(jīng)完全不能滿足視頻用戶對(duì)于視頻內(nèi)容的多樣化、廣泛性的需求，而目前后期的視頻內(nèi)容中的特征提取主要是人工提取，其效率低下，海量視頻的內(nèi)容特征提取成為不可能實(shí)現(xiàn)的任務(wù)。雖然已經(jīng)出現(xiàn)了少量的視頻特征提取算法，但其準(zhǔn)確性及穩(wěn)定性有不盡如人意。因此，有待提出一種新型的視頻內(nèi)容特征提取算法，來(lái)克服現(xiàn)有技術(shù)中的上述諸多問題。
技術(shù)實(shí)現(xiàn)要素：
本發(fā)明的目的在于解決現(xiàn)有技術(shù)的問題，提出一種基于描述符的視頻特征提取方法和裝置。具體如下：
一種基于描述符的視頻特征提取方法，包括如下步驟：
S1，視頻特征預(yù)處理，用于加載視頻內(nèi)容，并以幀為單位分割視頻，由內(nèi)容分析器提取所述視頻內(nèi)容中的關(guān)鍵特征，建立與所述關(guān)鍵特征相對(duì)應(yīng)的第一描述符；
S2，視頻特征檢索，將所述第一描述符與預(yù)先存儲(chǔ)的多個(gè)第二描述符進(jìn)行匹配，并分析匹配的擬合度，得到與所述第一描述符擬合度最高的所述第二描述符，并建立第一描述符、第二描述符和擬合度之間的對(duì)應(yīng)關(guān)系鏈表；
S3，檢索結(jié)果處理，將所述擬合度大于預(yù)先設(shè)定的擬合度閾值的鏈表項(xiàng)目進(jìn)行存儲(chǔ)，以供用戶決策或檢索。
優(yōu)選的，所述步驟S1還包括：提取視頻幀里的關(guān)鍵特征，所述關(guān)鍵特征根據(jù)特征類別分為人體特征和物體特征，所述人體特征和物體特征可以在人機(jī)交互界面供用戶選擇；所述關(guān)鍵特征具體為語(yǔ)義特征，并根據(jù)所述語(yǔ)義特征建立語(yǔ)義模型，并為每一個(gè)視頻幀對(duì)應(yīng)的語(yǔ)義特征建立描述符。
優(yōu)選的，所述步驟S2還包括：所述第二描述符為預(yù)先構(gòu)建的與人體特征和物體特征相關(guān)聯(lián)的描述符，并由多個(gè)第二描述符共同構(gòu)成特征數(shù)據(jù)庫(kù)；所述特征數(shù)據(jù)庫(kù)存儲(chǔ)在遠(yuǎn)程服務(wù)器，以減少本地的數(shù)據(jù)存儲(chǔ)負(fù)擔(dān)。
優(yōu)選的，所述步驟S2還包括：所述視頻檢索過程基于遠(yuǎn)程服務(wù)器，或者，基于用戶本地客戶端。
優(yōu)選的，所述步驟S3還包括：所述擬合度閾值有多個(gè)，每個(gè)擬合度區(qū)間的鏈表項(xiàng)目作為一項(xiàng)進(jìn)行存儲(chǔ)，共同構(gòu)成分級(jí)存儲(chǔ)單元。
一種基于描述符的視頻特征提取裝置，包括如下模塊：
視頻特征預(yù)處理模塊，用于加載視頻內(nèi)容，并以幀為單位分割視頻，由內(nèi)容分析器提取所述視頻內(nèi)容中的關(guān)鍵特征，建立與所述關(guān)鍵特征相對(duì)應(yīng)的第一描述符；
視頻特征檢索模塊，用于將所述第一描述符與預(yù)先存儲(chǔ)的多個(gè)第二描述符進(jìn)行匹配，并分析匹配的擬合度，得到與所述第一描述符擬合度最高的所述第二描述符，并建立第一描述符、第二描述符和擬合度之間的對(duì)應(yīng)關(guān)系鏈表；
檢索結(jié)果處理模塊，用于將所述擬合度大于預(yù)先設(shè)定的擬合度閾值的鏈表項(xiàng)目進(jìn)行存儲(chǔ)，以供用戶決策或檢索。
優(yōu)選的，所述視頻特征預(yù)處理模塊還包括：提取視頻幀里的關(guān)鍵特征，所述關(guān)鍵特征根據(jù)特征類別分為人體特征和物體特征，所述人體特征和物體特征可以在人機(jī)交互界面供用戶選擇；所述關(guān)鍵特征具體為語(yǔ)義特征，并根據(jù)所述語(yǔ)義特征建立語(yǔ)義模型，并為每一個(gè)視頻幀對(duì)應(yīng)的語(yǔ)義特征建立描述符。
優(yōu)選的，所述視頻特征檢索模塊還包括：所述第二描述符為預(yù)先構(gòu)建的與人體特征和物體特征相關(guān)聯(lián)的描述符，并由多個(gè)第二描述符共同構(gòu)成特征數(shù)據(jù)庫(kù)；所述特征數(shù)據(jù)庫(kù)存儲(chǔ)在遠(yuǎn)程服務(wù)器，以減少本地的數(shù)據(jù)存儲(chǔ)負(fù)擔(dān)。
優(yōu)選的，所述視頻特征檢索模塊還包括：所述視頻檢索過程基于遠(yuǎn)程服務(wù)器，或者，基于用戶本地客戶端。
優(yōu)選的，所述檢索結(jié)果處理模塊還包括：所述擬合度閾值有多個(gè)，每個(gè)擬合度區(qū)間的鏈表項(xiàng)目作為一項(xiàng)進(jìn)行存儲(chǔ)，共同構(gòu)成分級(jí)存儲(chǔ)單元。
本發(fā)明的視頻特征提取方法及裝置有如下優(yōu)點(diǎn)：1.為每一幀視頻建立描述符，最大可能的節(jié)約了存儲(chǔ)空間。2.建立了分級(jí)的擬合度存儲(chǔ)方法，綜合考慮了你和算法和人工干預(yù)，從而提高了視頻內(nèi)容特征提取的準(zhǔn)確性。3.視頻內(nèi)容的特征檢索過程在遠(yuǎn)程服務(wù)器端可以節(jié)約用戶本地運(yùn)算負(fù)擔(dān)，也可以設(shè)置在用戶本地，具有很高的靈活性。
附圖說(shuō)明
圖1為本發(fā)明實(shí)施例的方法流程圖。
具體實(shí)施方式
為了使本發(fā)明所要解決的技術(shù)問題、技術(shù)方案及有益效果更加清楚、明白，以下結(jié)合附圖和實(shí)施例，對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
一種基于描述符的視頻特征提取方法，包括如下步驟：
S1，視頻特征預(yù)處理，用于加載視頻內(nèi)容，并以幀為單位分割視頻，由內(nèi)容分析器提取所述視頻內(nèi)容中的關(guān)鍵特征，建立與所述關(guān)鍵特征相對(duì)應(yīng)的第一描述符。
其中在視頻預(yù)處理中，以視頻幀為最小單位，把視頻分割成多個(gè)分析單元并獲取其有代表性的語(yǔ)義特征，進(jìn)而得到其語(yǔ)義信息，通過得到的語(yǔ)義信息建立語(yǔ)義模型，其中對(duì)視頻事件的描述，主要包括了事件發(fā)生對(duì)象及事件發(fā)展過程兩方面。本申請(qǐng)所述方法研究3個(gè)方面：事件動(dòng)態(tài)信息的描述與特征提取，建立運(yùn)動(dòng)詞典和解決事件間相互作用對(duì)事件的影響。對(duì)于事件動(dòng)態(tài)信息的描述與特征提取，即采取噪聲最少的靜態(tài)信息的描述方法，分析物體運(yùn)動(dòng)軌跡，探索合適的特征和方法，來(lái)描述運(yùn)動(dòng)軌跡。通過定義不同軌跡間相似度的計(jì)算方法，在此基礎(chǔ)上對(duì)軌跡進(jìn)行聚類，實(shí)現(xiàn)對(duì)動(dòng)態(tài)特征的編碼，以有效地描述事件中物體運(yùn)動(dòng)信息。對(duì)于運(yùn)動(dòng)詞典，是把動(dòng)態(tài)與靜態(tài)信息統(tǒng)一在單一特征中。而解決事件間的相互作用對(duì)事件的影響，是為了更好的描述事件以及消除攝像機(jī)運(yùn)動(dòng)的影響的問題。
S2，視頻特征檢索，將所述第一描述符與預(yù)先存儲(chǔ)的多個(gè)第二描述符進(jìn)行匹配，并分析匹配的擬合度，得到與所述第一描述符擬合度最高的所述第二描述符，并建立第一描述符、第二描述符和擬合度之間的對(duì)應(yīng)關(guān)系鏈表。
在視頻事件檢索中，著重考慮事件的過程性屬性和時(shí)間維度上的關(guān)聯(lián)，研究特征的時(shí)序化處理和表示方法；同時(shí)對(duì)現(xiàn)有的SVM(支持向量機(jī))分類器進(jìn)行相應(yīng)改進(jìn)，并研究其他適用于序列特征的分類器，從特征提取和機(jī)器學(xué)習(xí)兩方面提高事件檢索的準(zhǔn)確率。對(duì)事件描述，通過融合概念檢測(cè)、語(yǔ)義知識(shí)網(wǎng)、概念對(duì)事件檢測(cè)的貢獻(xiàn)度等信息，提取與事件相關(guān)的各種概念和要素。
也可以采用如下方式，首先構(gòu)建從捕獲自周圍環(huán)境的關(guān)鍵幀圖像的集合提取的SURF特征的圖。在提取第一視頻幀的SURF特征并將它們與該圖匹配之后，該算法在后續(xù)幀中局部地跟蹤這些特征。與當(dāng)前視頻幀具有最大重疊區(qū)域的關(guān)鍵幀被稱為關(guān)鍵節(jié)點(diǎn)。附近關(guān)鍵幀的重疊區(qū)域基于它們的幀間單應(yīng)性在每幀中更新，并且因此，關(guān)鍵節(jié)點(diǎn)不斷地切換到數(shù)據(jù)庫(kù)中最相似的圖像，允許不斷地跟蹤并發(fā)現(xiàn)視頻序列中的新區(qū)域。
S3，檢索結(jié)果處理，將所述擬合度大于預(yù)先設(shè)定的擬合度閾值的鏈表項(xiàng)目進(jìn)行存儲(chǔ)，以供用戶決策或檢索。
優(yōu)選的，所述步驟S1還包括：提取視頻幀里的關(guān)鍵特征，所述關(guān)鍵特征根據(jù)特征類別分為人體特征和物體特征，所述人體特征和物體特征可以在人機(jī)交互界面供用戶選擇；所述關(guān)鍵特征具體為語(yǔ)義特征，并根據(jù)所述語(yǔ)義特征建立語(yǔ)義模型，并為每一個(gè)視頻幀對(duì)應(yīng)的語(yǔ)義特征建立描述符。
也可以采用另一種提取方法，首先對(duì)第一幀的運(yùn)動(dòng)向量的角度做直方圖。幀的直方圖表示總的運(yùn)動(dòng)趨勢(shì)，可認(rèn)為與直方圖中的少的角度對(duì)應(yīng)的運(yùn)動(dòng)產(chǎn)生為添加到實(shí)際運(yùn)動(dòng)中的包括隨機(jī)誤差的運(yùn)動(dòng)。因此，可從表示幀的總的運(yùn)動(dòng)趨勢(shì)中排除與直方圖中的少的角度對(duì)應(yīng)的運(yùn)動(dòng)。因此，可按做成直方圖的角度的幅度的順序選擇預(yù)定數(shù)量的運(yùn)動(dòng)向量，選擇的運(yùn)動(dòng)向量可被定義為第一幀的第一幀特征。對(duì)于包括在第一場(chǎng)景中的每個(gè)第一幀，從每個(gè)第一幀中提取被選為第 一幀特征的預(yù)定數(shù)量的數(shù)據(jù)，對(duì)所有第一幀的數(shù)據(jù)進(jìn)行分組，從而限定第一場(chǎng)景的選擇因素，也就是第一場(chǎng)景特征。
優(yōu)選的，所述步驟S2還包括：所述第二描述符為預(yù)先構(gòu)建的與人體特征和物體特征相關(guān)聯(lián)的描述符，并由多個(gè)第二描述符共同構(gòu)成特征數(shù)據(jù)庫(kù)；所述特征數(shù)據(jù)庫(kù)存儲(chǔ)在遠(yuǎn)程服務(wù)器，以減少本地的數(shù)據(jù)存儲(chǔ)負(fù)擔(dān)。
優(yōu)選的，所述步驟S2還包括：所述視頻檢索過程基于遠(yuǎn)程服務(wù)器，或者，基于用戶本地客戶端。
優(yōu)選的，所述步驟S3還包括：所述擬合度閾值有多個(gè)，每個(gè)擬合度區(qū)間的鏈表項(xiàng)目作為一項(xiàng)進(jìn)行存儲(chǔ)，共同構(gòu)成分級(jí)存儲(chǔ)單元。分級(jí)存儲(chǔ)單元將接收到的視頻內(nèi)容數(shù)據(jù)存儲(chǔ)到后端存儲(chǔ)數(shù)據(jù)中心，并將視頻內(nèi)容數(shù)據(jù)的存儲(chǔ)節(jié)點(diǎn)信息存儲(chǔ)到本地?cái)?shù)據(jù)庫(kù)中；再通過P2P架構(gòu)并采用DHT技術(shù)和分級(jí)存儲(chǔ)技術(shù)的存儲(chǔ)模塊形成存儲(chǔ)不同特征的數(shù)據(jù)庫(kù)群，將數(shù)據(jù)按信息內(nèi)容分級(jí)存儲(chǔ)，使存儲(chǔ)更便于管理和歸檔，降低存儲(chǔ)成本；并保存既有的版本式滾動(dòng)存儲(chǔ)，又有遠(yuǎn)程存儲(chǔ)備份；同時(shí)，存儲(chǔ)的數(shù)據(jù)具有很高的可靠性、可擴(kuò)展性和可用性；與此同時(shí)，分級(jí)存儲(chǔ)后端模塊3還提供一定緩存，緩存必要信息，作為以后用戶訪問的接口。
一種基于描述符的視頻特征提取裝置，包括如下模塊：
視頻特征預(yù)處理模塊，用于加載視頻內(nèi)容，并以幀為單位分割視頻，由內(nèi)容分析器提取所述視頻內(nèi)容中的關(guān)鍵特征，建立與所述關(guān)鍵特征相對(duì)應(yīng)的第一描述符。
其中在視頻預(yù)處理中，以視頻幀為最小單位，把視頻分割成多個(gè)分析單元并獲取其有代表性的語(yǔ)義特征，進(jìn)而得到其語(yǔ)義信息，通過得到的語(yǔ)義信息建立語(yǔ)義模型，其中對(duì)視頻事件的描述，主要包括了事件發(fā)生對(duì)象及事件發(fā)展過程兩方面。本申請(qǐng)所述方法研究3個(gè)方面：事件動(dòng)態(tài)信息的描述與特征提取，建立運(yùn)動(dòng)詞典和解決事件間相互作用對(duì)事件的影響。對(duì)于事件動(dòng)態(tài)信息的描述與特征提取，即采取噪聲最少的靜態(tài)信息的描述方法，分析物體運(yùn)動(dòng)軌跡，探索合適的特征和方法，來(lái)描述運(yùn)動(dòng)軌跡。通過定義不同軌跡間相似度的計(jì)算方法，在此基礎(chǔ)上對(duì)軌跡進(jìn)行聚類，實(shí)現(xiàn)對(duì)動(dòng)態(tài)特征的編碼，以有效地描述事件中物體運(yùn)動(dòng)信息。對(duì)于運(yùn)動(dòng)詞典，是把動(dòng)態(tài)與靜態(tài)信息統(tǒng)一在單一特征中。而解決事件間的相互作用對(duì)事件的影響，是為了更好的描述事件以及消除攝像機(jī)運(yùn)動(dòng)的影響的問題。
視頻特征檢索模塊，用于將所述第一描述符與預(yù)先存儲(chǔ)的多個(gè)第二描述符進(jìn)行匹配，并分析匹配的擬合度，得到與所述第一描述符擬合度最高的所述第二描述符，并建立第一描述符、第二描述符和擬合度之間的對(duì)應(yīng)關(guān)系鏈表。
在視頻事件檢索中，著重考慮事件的過程性屬性和時(shí)間維度上的關(guān)聯(lián)，研究特征的時(shí)序化處理和表示方法；同時(shí)對(duì)現(xiàn)有的SVM(支持向量機(jī))分類器進(jìn)行相應(yīng)改進(jìn)，并研究其他適用于序列特征的分類器，從特征提取和機(jī)器學(xué)習(xí)兩方面提高事件檢索的準(zhǔn)確率。對(duì)事件描述，通過融合概念檢測(cè)、語(yǔ)義知識(shí)網(wǎng)、概念對(duì)事件檢測(cè)的貢獻(xiàn)度等信息，提取與事件相關(guān)的各種概念和要素。
也可以采用如下方式，首先構(gòu)建從捕獲自周圍環(huán)境的關(guān)鍵幀圖像的集合提取的SURF特征的圖。在提取第一視頻幀的SURF特征并將它們與該圖匹配之后，該算法在后續(xù)幀中局部地跟蹤這些特征。與當(dāng)前視頻幀具有最大重疊區(qū)域的關(guān)鍵幀被稱為關(guān)鍵節(jié)點(diǎn)。附近關(guān)鍵幀的重疊區(qū)域基于它們的幀間單應(yīng)性在每幀中更新，并且因此，關(guān)鍵節(jié)點(diǎn)不斷地切換到數(shù)據(jù)庫(kù)中最相似的圖像，允許不斷地跟蹤并發(fā)現(xiàn)視頻序列中的新區(qū)域。
檢索結(jié)果處理模塊，用于將所述擬合度大于預(yù)先設(shè)定的擬合度閾值的鏈表項(xiàng)目進(jìn)行存儲(chǔ)，以供用戶決策或檢索。
優(yōu)選的，所述視頻特征預(yù)處理模塊還包括：提取視頻幀里的關(guān)鍵特征，所述關(guān)鍵特征根據(jù)特征類別分為人體特征和物體特征，所述人體特征和物體特征可以在人機(jī)交互界面供用戶選擇；所述關(guān)鍵特征具體為語(yǔ)義特征，并根據(jù)所述語(yǔ)義特征建立語(yǔ)義模型，并為每一個(gè)視頻幀對(duì)應(yīng)的語(yǔ)義特征建立描述符。
也可以采用另一種提取方法，首先對(duì)第一幀的運(yùn)動(dòng)向量的角度做直方圖。幀的直方圖表示總的運(yùn)動(dòng)趨勢(shì)，可認(rèn)為與直方圖中的少的角度對(duì)應(yīng)的運(yùn)動(dòng)產(chǎn)生為添加到實(shí)際運(yùn)動(dòng)中的包括隨機(jī)誤差的運(yùn)動(dòng)。因此，可從表示幀的總的運(yùn)動(dòng)趨勢(shì)中排除與直方圖中的少的角度對(duì)應(yīng)的運(yùn)動(dòng)。因此，可按做成直方圖的角度的幅度的順序選擇預(yù)定數(shù)量的運(yùn)動(dòng)向量，選擇的運(yùn)動(dòng)向量可被定義為第一幀的第一幀特征。對(duì)于包括在第一場(chǎng)景中的每個(gè)第一幀，從每個(gè)第一幀中提取被選為第 一幀特征的預(yù)定數(shù)量的數(shù)據(jù)，對(duì)所有第一幀的數(shù)據(jù)進(jìn)行分組，從而限定第一場(chǎng)景的選擇因素，也就是第一場(chǎng)景特征。
優(yōu)選的，所述視頻特征檢索模塊還包括：所述第二描述符為預(yù)先構(gòu)建的與人體特征和物體特征相關(guān)聯(lián)的描述符，并由多個(gè)第二描述符共同構(gòu)成特征數(shù)據(jù)庫(kù)；所述特征數(shù)據(jù)庫(kù)存儲(chǔ)在遠(yuǎn)程服務(wù)器，以減少本地的數(shù)據(jù)存儲(chǔ)負(fù)擔(dān)。
優(yōu)選的，所述視頻特征檢索模塊還包括：所述視頻檢索過程基于遠(yuǎn)程服務(wù)器，或者，基于用戶本地客戶端。
優(yōu)選的，所述檢索結(jié)果處理模塊還包括：所述擬合度閾值有多個(gè)，每個(gè)擬合度區(qū)間的鏈表項(xiàng)目作為一項(xiàng)進(jìn)行存儲(chǔ)，共同構(gòu)成分級(jí)存儲(chǔ)單元。分級(jí)存儲(chǔ)單元將接收到的視頻內(nèi)容數(shù)據(jù)存儲(chǔ)到后端存儲(chǔ)數(shù)據(jù)中心，并將視頻內(nèi)容數(shù)據(jù)的存儲(chǔ)節(jié)點(diǎn)信息存儲(chǔ)到本地?cái)?shù)據(jù)庫(kù)中；再通過P2P架構(gòu)并采用DHT技術(shù)和分級(jí)存儲(chǔ)技術(shù)的存儲(chǔ)模塊形成存儲(chǔ)不同特征的數(shù)據(jù)庫(kù)群，將數(shù)據(jù)按信息內(nèi)容分級(jí)存儲(chǔ)，使存儲(chǔ)更便于管理和歸檔，降低存儲(chǔ)成本；并保存既有的版本式滾動(dòng)存儲(chǔ)，又有遠(yuǎn)程存儲(chǔ)備份；同時(shí)，存儲(chǔ)的數(shù)據(jù)具有很高的可靠性、可擴(kuò)展性和可用性；與此同時(shí)，分級(jí)存儲(chǔ)后端模塊3還提供一定緩存，緩存必要信息，作為以后用戶訪問的接口。
本發(fā)明的視頻特征提取方法及裝置有如下優(yōu)點(diǎn)：1.為每一幀視頻建立描述符，最大可能的節(jié)約了存儲(chǔ)空間。2.建立了分級(jí)的擬合度存儲(chǔ)方法，綜合考慮了你和算法和人工干預(yù)，從而提高了視頻內(nèi)容特征提取的準(zhǔn)確性。3.視頻內(nèi)容的特征檢索過程在遠(yuǎn)程服務(wù)器端可以節(jié)約用戶本地運(yùn)算負(fù)擔(dān)，也可以設(shè)置在用戶本地，具有很高的靈活性。
上述說(shuō)明示出并描述了發(fā)明的優(yōu)選實(shí)施例，如前所述，應(yīng)當(dāng)理解本發(fā)明并非局限于本文所披露的形式，不應(yīng)看作是對(duì)其他實(shí)施例的排除，而可用于各種其他組合、修改和環(huán)境，并能夠在本文所述發(fā)明構(gòu)想范圍內(nèi)，通過上述教導(dǎo)或相關(guān)領(lǐng)域的技術(shù)或知識(shí)進(jìn)行改動(dòng)。而本領(lǐng)域人員所進(jìn)行的改動(dòng)和變化不脫離本發(fā)明的精神和范圍，則都應(yīng)在本發(fā)明所附權(quán)利要求的保護(hù)范圍內(nèi)。