一種基于機器人視覺平臺的視頻檢索方法
【專利摘要】本發(fā)明公開了一種基于機器人視覺平臺的視頻檢索方法。該方法包括：雙目攝像頭采集視頻片段，并將所述視頻片段傳送給視頻處理系統(tǒng)；視頻處理系統(tǒng)提取所述視頻片段中每一個視頻幀的視頻指紋，具體的，將所述每一個視頻幀的分辨率調(diào)整為320，檢測視頻幀中的特征點，圍繞所述特征點檢測局部圖像，獲取所述局部圖像中所有可使用的最強特征點，將所述最強特征點用64維灰度和16維彩色來描述，并建立灰度和色彩視覺詞庫；依據(jù)灰度和色彩視覺詞庫，對所述視頻指紋進行檢索。本發(fā)明中，利用雙目攝像頭采集視頻片段，提高了視頻檢索的準確性和靈活性，方便了用戶進行視頻自動獲取與檢索，通過建立視覺詞庫節(jié)省了每次檢索的時間，提高了檢索效率。
【專利說明】-種基于機器人視覺平臺的視頻檢索方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及視頻識別領(lǐng)域，尤其設(shè)及一種基于機器人視覺平臺的視頻檢索方法。

【背景技術(shù)】
[0002] 機器人視覺平臺，簡稱Robo巧ye，是一款機器人視覺檢索系統(tǒng)，采集機器人或智能 設(shè)備采集視覺數(shù)據(jù)并反饋給機器人或智能設(shè)備有價值的知識信息。上個世紀90年代W來， 出現(xiàn)了基于內(nèi)容的視頻分析和檢索研究，其目的就是通過對視頻內(nèi)容進行計算機處理、分 析和理解，建立結(jié)構(gòu)和索引，W實現(xiàn)方便有效的視頻信息獲取。因此，基于內(nèi)容的視頻分析 與檢索研究從一開始就得到了廣泛的重視，并取得了豐碩的研究成果。
[0003] 基于內(nèi)容的視頻分析從提出到現(xiàn)在，大致經(jīng)歷過3個階段。第一階段的研究主要 集中在視頻結(jié)構(gòu)的分析和瀏覽上，其中設(shè)及的關(guān)鍵技術(shù)有鏡頭邊界檢測、關(guān)鍵帖提取和場 景的合并。第二階段的研究主要圍繞相似性檢索展開，核屯、問題是特征的提取和特征空間 距離的量度。前兩個階段的研究在一定程度上解決了視頻檢索和瀏覽的問題.并對視頻管 理和獲取技術(shù)進行了有價值的探索。第=階段的工作提出了面向語義的信息提取，該也是 目前基于內(nèi)容視頻分析研究的熱點。該階段工作的根本目標是構(gòu)建從底層特征到高層語義 之間的橋梁，最終形成符合人類思維形式的信息索引和檢索方式。
[0004] 視頻鏡頭的檢測
[0005] 鏡頭檢測的關(guān)鍵是確定從鏡頭到鏡頭的轉(zhuǎn)換處，并利用鏡頭之間的轉(zhuǎn)換方式找到 鏡頭圖像之間的差別，鏡頭之間的轉(zhuǎn)變包括切變、漸變和數(shù)字特技，針對不同的情況往往需 要使用不同的算法。其中切變檢測的算法最為成熟，漸變和數(shù)字特技的檢測算法往往依賴 一定的先驗假設(shè)，技術(shù)還有待進一步完善。常用的自動鏡頭檢測方法主要有W下幾種：
[0006] (1)基于像素的鏡頭檢測方法，利用視頻兩帖對應(yīng)像素之間的差別來檢測鏡頭邊 界，該種方法的缺點在于容易受到噪聲的影響；
[0007] (2)基于像素平均值，方差等統(tǒng)計特征的鏡頭檢測方法；
[000引 （3)基于視頻特征的鏡頭檢測方法，包括基于邊緣特征的比較方法（提取視頻 每帖圖像的邊緣特征，通過檢測邊緣的突然變化來確定邊界），采用顏色比率特征（Color RatioFea化re)的方法、基于光流特征的方法等，該些方法的計算復(fù)雜性都比較大；
[0009] (4)基于直方圖的鏡頭檢測方法，此方法利用視頻帖圖像的灰度直方圖或者顏色 直方圖的比較來檢測邊界，在鏡頭檢測的精度和速度之間達到了較好的平衡，因此使用最 為普遍。
[0010] 關(guān)鍵帖提取
[OCm] 在鏡頭分割W后，為提供給用戶瀏覽.一般要進行鏡頭關(guān)鍵帖化ey化ame)的提 取工作。一個鏡頭的關(guān)鍵帖就是反映該鏡頭主要內(nèi)容的一帖圖像或若干帖圖像。關(guān)鍵帖的 選取一方面必須能夠反映鏡頭中的主要事件，因而描述應(yīng)盡可能完全律確；另一方面，為便 于管理，數(shù)據(jù)量應(yīng)盡量小，且計算不宜太復(fù)雜。關(guān)鍵帖提取方法主要包括W下幾種：
[0012] (1)最簡單的關(guān)鍵帖提取方法是提取鏡頭固定位置上的帖作為關(guān)鍵帖。例如第一 帖、中間帖或最后一帖，或者相隔固定帖數(shù)采樣一帖，該種方法操作簡單，但不夠靈活，因此 不能有效地反映鏡頭內(nèi)容；
[0013] (2)較為復(fù)雜的方法包括基于內(nèi)容復(fù)雜性、鏡頭活動性等特征來提取關(guān)鍵帖，該些 方法能較為準確地反映鏡頭內(nèi)容；
[0014] (3)較理想的方法是通過分析視頻視覺內(nèi)容（顏色直方網(wǎng)、運動信息）隨時間的變 化情況，確定所需關(guān)鍵帖的數(shù)日，并按照一定的規(guī)則為鏡頭抽取關(guān)鍵帖；
[0015] (4)還有一種常用的關(guān)鍵帖提取方法是采用圖像拼接（Mosaic)技術(shù)，也稱全景圖 生成技術(shù)，即對分割得到的鏡頭各帖進行拼接，融合鏡頭中多帖的背景信息，生成一個全景 的拼接圖像束代表視頻片斷的內(nèi)容，雖然全景圖能較為全面地反映鏡頭內(nèi)容，但由于算法 對前景運動的敏感，該種技術(shù)的應(yīng)用受到一定的限制，還有其他方法，例如用無監(jiān)督聚類技 術(shù)來選擇關(guān)鍵帖等。
[0016] 基于內(nèi)容的相似性檢索
[0017] 目前的視頻檢索主要依賴視頻內(nèi)容的相似性，稱相似性檢索。相似性檢索要求用 戶提交感興趣的視頻片斷，檢索過程將樣本片斷與視頻庫中的其它片斷作相似性比較，并 按相似性大小返回檢索結(jié)果。視頻相似性檢索的研究主要解決兩個問題：如何提取反映視 頻內(nèi)容的特征；如何度量特征之間的相似性。
[001引在特征提取方面，目前的視頻檢索技術(shù)主要是從傳統(tǒng)的圖像檢索技術(shù)直接或問接 地繼承過來的，顏色、紋理和形狀是圖像檢索中廣泛使用的底層特征，相應(yīng)地，它們也是視 頻檢索中十分重要的特征。但是，視頻并不是簡單的同像序列，相鄰視頻帖之間表現(xiàn)出非常 強的相關(guān)性。在近期研究中，越來越多的工作開始利用視頻的運動信息為視頻檢索提供時 序線索，視頻檢索中使用的運動信息主要有物體運動軌跡、塊運動矢量的主分量、時序紋理 和攝像機運動幾種在相似性量度方面。相似性量度一般可W分為局部匹配和全局匹配兩 種，局部相似性量度方法利用了視頻片斷間的時序關(guān)系，但僅局限在簡單的線性關(guān)系上，更 有計算復(fù)雜的缺點；相反全局相似性量度方法具有索引信息少、檢索速度快等優(yōu)點。但卻對 視頻的時序關(guān)系缺乏描述，因此，更復(fù)雜的相似性量度方法被提出，例如運動物體軌跡、基 于流形假設(shè)的最短特征線等。
[0019] 基于內(nèi)容的視頻檢索一直是計算機科學(xué)研究的熱點和難點問題。目前該技術(shù)仍然 只是對底層特征的檢索，與人們思維中的高層語義概念相去甚遠，如何跨越語義鴻溝還需 要做更多的研究。


【發(fā)明內(nèi)容】

[0020] 本發(fā)明提供了一種基于機器人視覺平臺的視頻檢索方法，提高了視頻檢索的準確 性和靈活性，方便了用戶進行視頻自動獲取與檢索，提高了檢索的效率。
[0021] 本發(fā)明的目的是通過W下技術(shù)方案實現(xiàn)的：
[0022] 一種基于機器人視覺平臺的視頻檢索方法，其特征在于，該方法包括：
[0023] 雙目攝像頭采集視頻片段，并將所述視頻片段傳送給視頻處理系統(tǒng)；
[0024] 視頻處理系統(tǒng)提取所述視頻片段中每一個視頻帖的視頻指紋，具體的，將所述每 一個視頻帖的分辨率調(diào)整為320,檢測視頻帖中的特征點，圍繞所述特征點檢測局部圖像， 獲取所述局部圖像中所有可使用的最強特征點，將所述最強特征點用64維灰度和16維彩 色來描述，并建立灰度和色彩視覺詞庫；
[0025] 依據(jù)灰度和色彩視覺詞庫，對所述視頻指紋進行檢索。
[0026] 所述視頻指紋為一組灰度值有差別的非連續(xù)的關(guān)鍵帖。
[0027] 所述對視頻指紋進行檢索，包括；對視頻中的關(guān)鍵帖、前后連續(xù)帖和指紋關(guān)鍵帖圖 片進行檢索。
[002引所述對視頻中的關(guān)鍵帖、前后連續(xù)帖的檢索包括，提取視頻中的關(guān)鍵帖和前后連 續(xù)帖，比較圖像碎片的位移向量，出現(xiàn)差別的位移向量即為運動中的物體。
[0029] 與現(xiàn)有技術(shù)相比，本發(fā)明實施例至少具有W下優(yōu)點：
[0030] 本發(fā)明實施例中，利用雙目攝像頭的靈活、精確的特點采集視頻片段，提高了視頻 檢索的準確性和靈活性，用戶不需要復(fù)雜的操作也可W進行視頻自動獲取與檢索，通過建 立視覺詞庫，極大節(jié)約了用戶每次檢索的時間，提高了檢索的效率，通過利用本方法進行視 頻的采集與檢索，檢索準確度高、靈活性大、操作方便。

【專利附圖】

【附圖說明】
[0031] 圖1為本發(fā)明實施例提出的一種基于機器人視覺平臺的視頻檢索方法的流程框 圖。

【具體實施方式】
[0032] 如圖1所示，為本發(fā)明實施例提出的一種基于機器人視覺平臺的視頻檢索方法的 結(jié)構(gòu)框圖，包括：
[0033] 雙目攝像頭采集視頻片段，并將視頻片段傳送給視頻處理系統(tǒng)；視頻處理系統(tǒng)提 取視頻片段中每一個視頻帖的視頻指紋，具體的，將每一個視頻帖的分辨率調(diào)整為320,檢 測視頻帖中的特征點，圍繞特征點檢測局部圖像，獲取局部圖像中所有可使用的最強特征 點，將最強特征點用64維灰度和16維彩色來描述，并建立灰度和色彩視覺詞庫；依據(jù)灰度 和色彩視覺詞庫，對視頻指紋進行檢索。
[0034] 視頻指紋為一組灰度值有差別的非連續(xù)的關(guān)鍵帖。視頻指紋提取的過程如下：
[0035] 第一步，輸入視頻W-個固定的帖速率（每秒S帖）被重新采樣，W應(yīng)對帖速率的 變化。
[0036] 第二步中，每個重采樣帖被轉(zhuǎn)換為灰度，W使擬議的指紋識別方法足W抵抗色彩 的變化，該種方法不僅適用于彩色視頻的剪輯，也適用于經(jīng)典的黑白電影。
[0037] 第=步中，每個灰度帖的大小被調(diào)整，W使它的寬度和高度分別規(guī)范化為兩個固 定的值；X，Y。該一步驟使擬議的指紋識別方法能抵抗任何一個因素引起的大小變化。
[003引第四步中，每個調(diào)整后的帖被分成了 N行和M列，形成了 N*M的矩陣。最后，矩陣 中的每一塊都被計算出它的質(zhì)屯、梯度方向，進而每一帖都得到了一個=維的指紋向量。
[0039] 上述的質(zhì)屯、梯度方向為：在第k帖的坐標（X，y)位置處，用函數(shù)f (X，y，k)表示該 點的亮度值，坐標（x，y)的梯度定義為；^/ 二[GxGy] =[當當] 坐標（X，y) 的f函數(shù)變化最快的方向就是梯度方向。
[0040] G^= f [x+1, y, k]-f [x-1, y, k]
[0041] Gy= f [X，y+1，k]-f [X，廠1，k]
[0042] 梯度矢量f也可用幅度函數(shù)r[x，y，k]和相位函數(shù)0 [x，y，k]來代替。
[0043] 進一步的，對視頻指紋進行檢索，包括；檢索視頻中的關(guān)鍵帖、前后連續(xù)帖和指紋 關(guān)鍵帖圖片。視頻指紋進行檢索過程包括：
[0044] (1)指紋?；?br> [0045] 在把擬議的指紋序列看作是一個平穩(wěn)遍歷過程的一次實現(xiàn)的前提下，指紋匹配有 可能出現(xiàn)問題。我們注意到，相似的分析已用于水印檢巧U，音頻和視頻指紋檢測中。首先， 一個指紋序列的所有質(zhì)屯、（c[n，m，k]，InN，ImM，IkK}是由它們的均值和標準差進一步規(guī)范 的，規(guī)范后的指紋序列P是一個平均值為0,方差為1的隨機過程。在滿足各態(tài)歷經(jīng)的前提 下，自相關(guān)函數(shù)R和Q可W由實際的指紋序列的時間平均自相關(guān)函數(shù)估計出，并且它們也用 于在給定一個固定闊值時獲得錯誤警報的概率。
[0046] (2)闊值T的確定
[0047] 快速而易計算的指紋匹配可W用歐式距離平方獲得，用UD和oD分別表示距離 D的均值和標準差。在一般的假設(shè)下，距離D服從正態(tài)分布N( y D，0 '2D)。
[0048] 檢索視頻中的關(guān)鍵帖、前后連續(xù)帖包括，提取視頻中的關(guān)鍵帖和前后連續(xù)帖，比較 圖像碎片的位移向量，出現(xiàn)差別的位移向量即為運動中的物體，具體可參考化enCV運動捕 捉。
[0049] W上所述，僅為本發(fā)明較佳的【具體實施方式】，但本發(fā)明的保護范圍并不局限于此， 任何熟悉本【技術(shù)領(lǐng)域】的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換， 都應(yīng)涵蓋在本發(fā)明的保護范圍之內(nèi)。因此，本發(fā)明的保護范圍應(yīng)該W權(quán)利要求書的保護范 圍為準。
【權(quán)利要求】
1. 一種基于機器人視覺平臺的視頻檢索方法，其特征在于，該方法包括： 雙目攝像頭采集視頻片段，并將所述視頻片段傳送給視頻處理系統(tǒng)； 視頻處理系統(tǒng)提取所述視頻片段中每一個視頻幀的視頻指紋，具體的，將所述每一個 視頻幀的分辨率調(diào)整為320,檢測視頻幀中的特征點，圍繞所述特征點檢測局部圖像，獲取 所述局部圖像中所有可使用的最強特征點，將所述最強特征點用64維灰度和16維彩色來 描述，并建立灰度和色彩視覺詞庫； 依據(jù)灰度和色彩視覺詞庫，對所述視頻指紋進行檢索。
2. 如權(quán)利要求1所述的視頻檢索方法，其特征在于，所述視頻指紋為一組灰度值有差 別的非連續(xù)的關(guān)鍵幀。
3. 如權(quán)利要求1所述的視頻檢索方法，其特征在于，所述對視頻指紋進行檢索，包括： 檢索視頻中的關(guān)鍵幀、前后連續(xù)幀和指紋關(guān)鍵幀圖片。
4. 如權(quán)利要求3所述的視頻檢索方法，其特征在于，所述檢索視頻中的關(guān)鍵幀、前后連 續(xù)幀包括，提取視頻中的關(guān)鍵幀和前后連續(xù)幀，比較圖像碎片的位移向量，出現(xiàn)差別的位移 向量即為運動中的物體。
【文檔編號】G06T7/20GK104504162SQ201510028271
【公開日】2015年4月8日 申請日期:2015年1月21日 優(yōu)先權(quán)日:2015年1月21日
【發(fā)明者】邵可佳 申請人:北京智富者機器人科技有限公司