專利名稱：一種視頻摘要生成方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其是涉及一種視頻摘要生成方法和裝置。
背景技術(shù)：
在社會(huì)公共安全領(lǐng)域，視頻監(jiān)控系統(tǒng)成為維護(hù)社會(huì)治安、加強(qiáng)社會(huì)管理的一個(gè)重要組成部分。然而視頻錄像存在存儲(chǔ)數(shù)據(jù)量大、存儲(chǔ)時(shí)間長(zhǎng)等特點(diǎn)，通過(guò)錄像尋找線索，獲取證據(jù)，依照傳統(tǒng)的做法逐一瀏覽相關(guān)視頻，是要耗費(fèi)大量人力、物力以及時(shí)間的，效率極其低下，以至于錯(cuò)過(guò)最佳破案時(shí)機(jī)。因此在視頻監(jiān)控系統(tǒng)中，對(duì)原始視頻進(jìn)行濃縮，可以快速瀏覽，鎖定檢索對(duì)象，對(duì)于公安加快破案速度，提高大案、要案的破案效率具有重要指導(dǎo)意義。而現(xiàn)有技術(shù)中，對(duì)視頻濃縮所采用的方式為以自動(dòng)或半自動(dòng)的方式，先通過(guò)運(yùn)動(dòng)目標(biāo)分析，提取運(yùn)動(dòng)目標(biāo)，然后對(duì)各個(gè)目標(biāo)的運(yùn)動(dòng)軌跡進(jìn)行分析，將不同的目標(biāo)拼接到一個(gè)共同的背景場(chǎng)景中，并將它們以某種方式進(jìn)行組合形成視頻摘要。而很多情況下，公安機(jī)關(guān)所關(guān)注的僅為提取出的多個(gè)目標(biāo)中的一個(gè)，其他目標(biāo)的出現(xiàn)則會(huì)分散公安機(jī)關(guān)工作人員的注意力，造成干擾。綜上所述，現(xiàn)有技術(shù)中的視頻濃縮技術(shù)，存在無(wú)關(guān)目標(biāo)干擾視頻瀏覽的技術(shù)問(wèn)題。

發(fā)明內(nèi)容
本發(fā)明提出了一種視頻摘要生成方法和裝置，防止了無(wú)關(guān)目標(biāo)對(duì)視頻瀏覽的干擾。為了達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的:一種視頻摘要生成方法，其特征在于，包括步驟:步驟A，對(duì)每幀圖像進(jìn)行前景檢測(cè)，檢測(cè)出前景中的目標(biāo)；步驟B，對(duì)檢測(cè)到的目標(biāo)進(jìn)行跟蹤，提取目標(biāo)的運(yùn)動(dòng)軌跡；步驟C，將目標(biāo)按照該目標(biāo)的顏色信息劃分為不同類；步驟D，分別對(duì)每一類目標(biāo)進(jìn)行軌跡排列，分別疊加到對(duì)應(yīng)的背景上，生成視頻摘要。其中，所述步驟C包括步驟:將每一像素點(diǎn)的RGB顏色空間轉(zhuǎn)換到HSV空間；根據(jù)每一像素點(diǎn)轉(zhuǎn)換后的HSV空間的h分量、V分量和s分量的具體數(shù)值，確定該像素點(diǎn)的顏色；統(tǒng)計(jì)每一目標(biāo)的像素點(diǎn)顏色，將眾數(shù)的顏色作為該目標(biāo)的顏色；將h分量劃分為多個(gè)區(qū)間，根據(jù)目標(biāo)的顏色的h分量所屬的區(qū)間，將目標(biāo)劃分為不同類。其中，所述步驟將每一像素點(diǎn)的RGB顏色空間轉(zhuǎn)換到HSV空間包括步驟:按照如下公式，根據(jù)每一像素點(diǎn)的r分量、g分量和b分量的值，計(jì)算該像素點(diǎn)的h分量、S分量和V分量的值:
權(quán)利要求
1.種視頻摘要生成方法，其特征在于，包括步驟: 步驟A，對(duì)每幀圖像進(jìn)行前景檢測(cè)，檢測(cè)出前景中的目標(biāo)； 步驟B，對(duì)檢測(cè)到的目標(biāo)進(jìn)行跟蹤，提取目標(biāo)的運(yùn)動(dòng)軌跡； 步驟C，將目標(biāo)按照該目標(biāo)的顏色信息劃分為不同類； 步驟D，分別對(duì)每一類目標(biāo)進(jìn)行軌跡排列，分別疊加到對(duì)應(yīng)的背景上，生成視頻摘要。
2.據(jù)權(quán)利要求1所述的視頻摘要生成方法，其特征在于，所述步驟C包括步驟: 將每一像素點(diǎn)的RGB顏色空間轉(zhuǎn)換到HSV空間； 根據(jù)每一像素點(diǎn)轉(zhuǎn)換后的HSV空間的h分量、V分量和s分量的具體數(shù)值，確定該像素點(diǎn)的顏色； 統(tǒng)計(jì)每一目標(biāo)的像素點(diǎn)顏色，將眾數(shù)的顏色作為該目標(biāo)的顏色； 將h分量劃分為多個(gè)區(qū)間，根據(jù)目標(biāo)的顏色的h分量所屬的區(qū)間，將目標(biāo)劃分為不同類。
3.據(jù)權(quán)利要求2所述的視頻摘要生成方法，其特征在于，所述步驟將每一像素點(diǎn)的RGB顏色空間轉(zhuǎn)換到HSV空間包括步驟: 按照如下公式，根據(jù)每一像素點(diǎn)的r分量、g分量和b分量的值，計(jì)算該像素點(diǎn)的h分量、s分量和V分量的值:
4.據(jù)權(quán)利要求2所述的方法，其特征在于，所述步驟根據(jù)每一像素點(diǎn)轉(zhuǎn)換后的HSV空間的h分量、V分量和s分量的具體數(shù)值，確定該像素點(diǎn)的顏色包括步驟: 將V分量小于第一閾值的像素點(diǎn)確定為黑色； 將V分量大于第二閾值并且s分量小于第三閾值的像素點(diǎn)確定為白色； 將V分量在第一閾值和第二閾值之間且V分量小于第三閾值的像素點(diǎn)確定為灰色，其他顏色為彩色；對(duì)于彩色，將h分量的值從O到360均勻劃分為6個(gè)區(qū)間，即[0，60)、[60，120)、[120，180)、[180，240)、[240，300)和[300，360)，根據(jù)彩色像素點(diǎn)h分量的值所落入的區(qū)間，確定該像素點(diǎn)的顏色。
5.據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟A還包括步驟: 當(dāng)拍攝環(huán)境中的單位時(shí)間內(nèi)光照變化幅度超過(guò)預(yù)設(shè)閾值時(shí)，將判定為背景點(diǎn)的像素的取值范圍縮小為原來(lái)的0.4-0.6倍； 用大于陰影區(qū)域的像素的閾值將圖像二值化，去除陰影。
6.據(jù)權(quán)利要求1所述的視頻摘要生成方法，其特征在于，所述步驟B中對(duì)檢測(cè)到的目標(biāo)進(jìn)行跟蹤包括步驟: 遍歷當(dāng)前幀 檢測(cè)到的所有目標(biāo)，和上一幀圖像所檢測(cè)到的目標(biāo)進(jìn)行比較，若滿足如下條件: Scross〉min (Spre，Stemp) X R Scross=W i dthcross X He i ghtcross ffidthcross=min (rightpre, righttemp) -max (Ieftpre, Iefttemp) Heightcross=min (Bottompre, Bottomtemp) -max (Toppre, Toptemp) 其中，Scross為前后兩幀的交叉面積，Widthcross為投影到水平方向上的交叉部分的長(zhǎng)度^eighteross為投影到垂直方向上的交叉部分的長(zhǎng)度；rightpM為前一幀輪廓的右邊界的值；righttemp為當(dāng)前幀輪廓的右邊界的值；leftp,e為前一幀輪廓的左邊界的值；lefttemp為當(dāng)前幀輪廓的左邊界的值；Bottoive為前一幀輪廓的下邊界的值；Bottomtenip為當(dāng)前幀輪廓的下邊界的值；ΤορρΜ為前一幀輪廓的上邊界的值Joptenip為當(dāng)前幀輪廓的上邊界的值；所述R為交叉比例； 則判定當(dāng)前幀的目標(biāo)與上一幀關(guān)聯(lián)，更新軌跡；若不滿足該條件，則判定不關(guān)聯(lián)，產(chǎn)生新的軌跡，若上一幀圖像存在沒有和當(dāng)前幀檢測(cè)的目標(biāo)關(guān)聯(lián)上的軌跡，則終止該軌跡的跟蹤，并將該軌跡存儲(chǔ)。
7.據(jù)權(quán)利要求1所述的視頻摘要生成方法，其特征在于，所述步驟B還包括步驟: 更新背景； 根據(jù)提取到的目標(biāo)的數(shù)目，按照目標(biāo)數(shù)目越多則前景檢測(cè)的頻率越高、背景更新頻率越低的原則，調(diào)整前景檢測(cè)的頻率和背景更新的頻率。
8.據(jù)權(quán)利要求7所述的視頻摘要生成方法，其特征在于，所述步驟調(diào)整前景檢測(cè)的頻率和背景更新的頻率包括步驟: 當(dāng)提取到的目標(biāo)數(shù)目為零時(shí)，隔3-6幀進(jìn)行一次前景檢測(cè)，背景每一幀更新一次； 當(dāng)提取到的目標(biāo)數(shù)目為1-3個(gè)時(shí)，隔2幀進(jìn)行一次前景檢測(cè)，背景每?jī)蓭乱淮危? 當(dāng)提取到的目標(biāo)數(shù)目為3個(gè)以上時(shí)，每幀都進(jìn)行前景檢測(cè)，背景每三幀更新一次。
9.種視頻摘要生成裝置，其特征在于，包括前景檢測(cè)模塊、跟蹤模塊、分類模塊和生成模塊； 所述前景檢測(cè)模塊，用于對(duì)每幀圖像進(jìn)行前景檢測(cè)，檢測(cè)出前景中的目標(biāo)； 所述跟蹤模塊，用于對(duì)檢測(cè)到的目標(biāo)進(jìn)行跟蹤，提取目標(biāo)的運(yùn)動(dòng)軌跡； 所述分類模塊，將目標(biāo)按照該目標(biāo)的顏色信息劃分為不同類； 所述生成模塊，用于分別對(duì)每一類目標(biāo)進(jìn)行軌跡排列，分別疊加到對(duì)應(yīng)的背景上，生成視頻摘要。
10.據(jù)權(quán)利要求9所述的視頻摘要生成裝置，其特征在于，所述分類模塊，用于將每一像素點(diǎn)的RGB顏色空間轉(zhuǎn)換到HSV空間，并根據(jù)每一像素點(diǎn)轉(zhuǎn)換后的HSV空間的h分量、V分量和s分量的具體數(shù)值，確定該像素點(diǎn)的顏色；統(tǒng)計(jì)每一目標(biāo)的像素點(diǎn)顏色，將眾數(shù)的顏色作為該目標(biāo)的顏色 ；將h分量劃分為多個(gè)區(qū)間，根據(jù)目標(biāo)的顏色的h分量所屬的區(qū)間，將目標(biāo)劃分為不同類。
全文摘要
本發(fā)明提出了一種視頻摘要生成方法，包括步驟對(duì)每幀圖像進(jìn)行前景檢測(cè)，檢測(cè)出前景中的目標(biāo)；對(duì)檢測(cè)到的目標(biāo)進(jìn)行跟蹤，提取目標(biāo)的運(yùn)動(dòng)軌跡；將目標(biāo)按照該目標(biāo)的顏色信息劃分為不同類；分別對(duì)每一類目標(biāo)進(jìn)行軌跡排列，分別疊加到對(duì)應(yīng)的背景上，生成視頻摘要。本發(fā)明還提供一種視頻摘要生成裝置，包括前景檢測(cè)模塊、跟蹤模塊、分類模塊和生成模塊；前景檢測(cè)模塊，用于對(duì)每幀圖像進(jìn)行前景檢測(cè)，檢測(cè)出前景中的目標(biāo)；跟蹤模塊，用于對(duì)目標(biāo)進(jìn)行跟蹤，提取運(yùn)動(dòng)軌跡；分類模塊，將目標(biāo)按照顏色信息劃分為不同類；生成模塊，用于分別對(duì)每一類目標(biāo)進(jìn)行軌跡排列，分別疊加到對(duì)應(yīng)的背景上，生成視頻摘要。該方法和裝置，能夠有效地防止無(wú)關(guān)目標(biāo)的干擾。
文檔編號(hào)G06T7/20GK103092963SQ201310022108
公開日2013年5月8日 申請(qǐng)日期2013年1月21日 優(yōu)先權(quán)日2013年1月21日
發(fā)明者王海峰, 王曉萌, 何小波, 董博, 楊宇, 張凱歌 申請(qǐng)人:信幀電子技術(shù)(北京)有限公司