城市交通監(jiān)控視頻全局編碼方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種城市交通監(jiān)控視頻全局編碼方法及系統(tǒng)，包括步驟：步驟1，將原始監(jiān)控視頻分割成車輛視頻和去除車輛的視頻；步驟2，采用可選差分編碼方式對(duì)去除車輛的視頻進(jìn)行編碼；步驟3，提取車輛視頻中全局運(yùn)動(dòng)車輛的全局特征參數(shù)集；步驟4，基于全局特征參數(shù)對(duì)車輛視頻進(jìn)行全局編碼。本發(fā)明在去除場(chǎng)景冗余的基礎(chǔ)上進(jìn)一步去除了監(jiān)控視頻中的全局冗余，有效提高了城市交通監(jiān)控視頻編碼壓縮效率。
【專利說明】城市交通監(jiān)控視頻全局編碼方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于城市交通監(jiān)控視頻編碼【技術(shù)領(lǐng)域】，尤其涉及一種城市交通監(jiān)控視頻全 局編碼方法及系統(tǒng)。

【背景技術(shù)】
[0002] 視頻信號(hào)壓縮編碼技術(shù)的目標(biāo)是在保證一定重構(gòu)質(zhì)量的前提下，以盡量少的比特 數(shù)來(lái)表征視頻信息。傳統(tǒng)基于香農(nóng)信息論的視頻編碼方法從信號(hào)處理層面入手，以像素、塊 為表示基礎(chǔ)，采用變換、預(yù)測(cè)、熵編碼融合的混合編碼框架，通過挖掘圖像視頻信號(hào)自身的 時(shí)空冗余來(lái)提高壓縮性能。然而目前大多數(shù)視頻壓縮技術(shù)都面向非特定的應(yīng)用，近年來(lái)，針 對(duì)專門應(yīng)用（例如監(jiān)控視頻）的特點(diǎn)和需求而開發(fā)的視頻壓縮技術(shù)成為備受關(guān)注的研究方 向，例如城市交通環(huán)境下的監(jiān)控視頻編碼和傳輸技術(shù)。AVS-S2針對(duì)監(jiān)控視頻場(chǎng)景長(zhǎng)期不變 的特點(diǎn)，通過對(duì)監(jiān)控背景和前景進(jìn)行建模，選擇性地使用原始模式和差分模式對(duì)各塊進(jìn)行 編碼，去除了大量存在的"場(chǎng)景冗余"，編碼效率是H. 264/AVC的兩倍，是首個(gè)面向視頻監(jiān)控 的國(guó)際標(biāo)準(zhǔn)。然而AVS-S2無(wú)法去除因全局對(duì)象運(yùn)動(dòng)產(chǎn)生的"全局冗余"，壓縮效率提升有 限，數(shù)據(jù)量和存儲(chǔ)容量之間的矛盾依然十分突出
[0003] 監(jiān)控視頻中不同款型的車輛具有視頻紋理特性的相似性，同一款型的車輛具有3D 對(duì)象的同一性，同一臺(tái)車則具有外觀特征的長(zhǎng)時(shí)穩(wěn)定性。具有相似、同一、長(zhǎng)時(shí)穩(wěn)定性的各 類城市運(yùn)行車輛被遍布城市各地的監(jiān)控?cái)z像鏡頭反復(fù)捕獲，從而產(chǎn)生了大量的城市監(jiān)控?cái)?shù) 據(jù)冗余。城市監(jiān)控點(diǎn)設(shè)置大多處于欠覆蓋狀態(tài)，車輛和人員移動(dòng)產(chǎn)生的數(shù)據(jù)構(gòu)成了城市監(jiān) 控?cái)?shù)據(jù)的主要來(lái)源。同一臺(tái)運(yùn)動(dòng)車輛在城域海量監(jiān)控?cái)z像頭下被反復(fù)攝錄產(chǎn)生的視頻監(jiān)控 數(shù)據(jù)冗余稱為全局冗余。不同運(yùn)動(dòng)對(duì)象間存在紋理相似性、同一類語(yǔ)義對(duì)象間存在形體一 致性、特定對(duì)象間存在長(zhǎng)時(shí)相似性，產(chǎn)生了大量的運(yùn)動(dòng)對(duì)象全局冗余。傳統(tǒng)的視頻編碼和場(chǎng) 景冗余去除技術(shù)去除的是局部時(shí)空冗余，而監(jiān)控視頻中由于車輛被攝像頭重復(fù)長(zhǎng)時(shí)攝錄產(chǎn) 生的全局冗余為視頻壓縮效率的進(jìn)一步提升提供了巨大空間。


【發(fā)明內(nèi)容】

[0004] 針對(duì)現(xiàn)有技術(shù)存在的不足，本發(fā)明提供了一種考慮了全局冗余的城市交通監(jiān)控視 頻全局編碼方法及系統(tǒng)，該方法可進(jìn)一步提高城市交通監(jiān)控視頻的編碼效率。
[0005] 為解決上述技術(shù)問題，本發(fā)明采用如下的技術(shù)方案：
[0006] (一）一種城市交通監(jiān)控視頻全局編碼方法，包括步驟：
[0007] 步驟1，將原始監(jiān)控視頻分割成車輛視頻和去除車輛的視頻；
[0008] 步驟2,采用可選差分編碼方式對(duì)去除車輛的視頻進(jìn)行編碼；
[0009] 步驟3,提取車輛視頻中全局運(yùn)動(dòng)車輛的全局特征參數(shù)集，進(jìn)一步包括：
[0010] S31提取全局運(yùn)動(dòng)車輛的2D外觀特征；
[0011] S32構(gòu)建車輛3D模型數(shù)據(jù)庫(kù)，車輛3D模型數(shù)據(jù)庫(kù)包括各類車輛的通用3D模型、精 細(xì)3D模型及模型關(guān)鍵描述參數(shù)集，模型關(guān)鍵描述參數(shù)由模型描述參數(shù)集降維獲得；
[0012] S33采用稀疏編碼方式構(gòu)建全局運(yùn)動(dòng)車輛的全局車輛紋理字典，進(jìn)一步包括：
[0013]

【權(quán)利要求】
1. 一種城市交通監(jiān)控視頻全局編碼方法，其特征在于，包括步驟： 步驟1，將原始監(jiān)控視頻分割成車輛視頻和去除車輛的視頻； 步驟2,采用可選差分編碼方式對(duì)去除車輛的視頻進(jìn)行編碼； 步驟3,提取車輛視頻中全局運(yùn)動(dòng)車輛的全局特征參數(shù)集，進(jìn)一步包括： S31提取全局運(yùn)動(dòng)車輛的2D外觀特征； S32構(gòu)建車輛3D模型數(shù)據(jù)庫(kù)，車輛3D模型數(shù)據(jù)庫(kù)包括各類車輛的通用3D模型、精細(xì) 3D模型及模型關(guān)鍵描述參數(shù)集，模型關(guān)鍵描述參數(shù)由模型描述參數(shù)集降維獲得； S33采用稀疏編碼方式構(gòu)建全局運(yùn)動(dòng)車輛的全局車輛紋理字典，進(jìn)一步包括：

以largmh II? + --_ 1為代價(jià)函數(shù)，基于全局運(yùn)動(dòng)車輛的紋理信息，獲 ￡>] .g1 得第一層知識(shí)字典，即所有類全局運(yùn)動(dòng)車輛的共性視覺紋理信息知識(shí)字典； 獲得各類全局運(yùn)動(dòng)車輛經(jīng)第一層知識(shí)字典重建后與原始全局運(yùn)算車輛的差異信息r。， 以(1?，氣J = argmi丨
||< -￡)?. ||〗+
< II,為代價(jià)函數(shù)，基于差異信息r。，獲得第二層知識(shí) 字典，即各類全局運(yùn)動(dòng)車輛的三維結(jié)構(gòu)及紋理個(gè)性信息知識(shí)字典； 獲得各類全局運(yùn)動(dòng)車輛下各個(gè)體全局運(yùn)動(dòng)車輛經(jīng)第二層知識(shí)字典重建后與原始全局 運(yùn)動(dòng)車輛的差異信息r。m，以，?.》，) = atE mil
I - °2?3,c,m II" +
Kx.? Ili為代價(jià)函數(shù)，基 于差異信息，獲得第三層知識(shí)字典，即個(gè)體全局運(yùn)動(dòng)車輛的個(gè)性長(zhǎng)時(shí)更新信息知識(shí)字 血. 上述，Di表示第一層知識(shí)字典；C表示全局運(yùn)動(dòng)車輛的類型數(shù)，c表示全局運(yùn)動(dòng)車輛類 型編號(hào)；y。表示所有類型全局運(yùn)動(dòng)車輛紋理信息；ai表示編碼系數(shù)；τ為平衡因子，根據(jù)實(shí) 際情況和經(jīng)驗(yàn)設(shè)定，τ越大編碼系數(shù)越稀疏；1?表示第二層知識(shí)字典，Μ表示某類全局運(yùn) 動(dòng)車輛下個(gè)體車輛數(shù)量，m表示某類全局運(yùn)動(dòng)車輛下個(gè)體車輛編號(hào)，a2,。表示編碼系數(shù)；1>廠 表示第三層知識(shí)字典，N表示該類型全局運(yùn)動(dòng)車輛下的個(gè)體車輛數(shù)量，i表示該類型全局運(yùn) 動(dòng)車輛下的個(gè)體車輛編號(hào)毋^^表示編碼系數(shù)； S34將全局運(yùn)動(dòng)車輛的2D外觀特征與車輛3D模型數(shù)據(jù)庫(kù)中模型進(jìn)行特征匹配，獲得全 局運(yùn)動(dòng)車輛的紋理及模型關(guān)鍵描述參數(shù)信息； S35根據(jù)全局運(yùn)動(dòng)車輛的2D外觀特征提取全局運(yùn)動(dòng)車輛位置信息，并結(jié)合對(duì)應(yīng)的模型 關(guān)鍵描述參數(shù)信息中的姿態(tài)信息構(gòu)成全局運(yùn)動(dòng)車輛的位置及姿態(tài)參數(shù)； S36對(duì)全局特征參數(shù)集和三級(jí)知識(shí)字典對(duì)應(yīng)的編碼系數(shù)進(jìn)行無(wú)損壓縮，所述的全局特 征參數(shù)集由步驟S34獲得的紋理及模型關(guān)鍵描述參數(shù)信息和步驟S35獲得的位置及姿態(tài)參 數(shù)構(gòu)成； 步驟4,基于全局特征參數(shù)對(duì)車輛視頻進(jìn)行全局編碼。
2. 如權(quán)利要求1所述的城市交通監(jiān)控視頻全局編碼方法，其特征在于： 步驟1中采用背景建模和車輛檢測(cè)技術(shù)將原始監(jiān)控視頻分割成車輛視頻和去除車輛 的視頻，具體包括： S11將原始監(jiān)控視頻圖像轉(zhuǎn)換至YUV空間，基于背景差分法建立自動(dòng)更新的背景模型； S12利用車輛檢測(cè)法檢測(cè)原始監(jiān)控視頻圖像中車輛，獲得車輛視頻圖像； S13將原始監(jiān)控視頻圖像減去車輛視頻圖像，獲得包含背景空洞的去除車輛的視頻圖 像； S14采用背景模型對(duì)S13獲得的視頻圖像中背景空洞進(jìn)行疊加填補(bǔ)，獲得去除車輛的 視頻圖像。
3. 如權(quán)利要求1所述的城市交通監(jiān)控視頻全局編碼方法，其特征在于： 步驟2進(jìn)一步包括子步驟： S21根據(jù)去除車輛的視頻圖像生成背景圖像，經(jīng)編碼后重構(gòu)背景圖像； S22對(duì)去除車輛的視頻圖像進(jìn)行全局運(yùn)動(dòng)估計(jì)，獲得全局運(yùn)動(dòng)矢量； S23基于重構(gòu)背景圖像和全局運(yùn)動(dòng)矢量，選擇性地使用原始編碼模式或差分編碼模式 對(duì)各視頻塊進(jìn)行編碼。
4. 如權(quán)利要求1所述的城市交通監(jiān)控視頻全局編碼方法，其特征在于： 子步驟S32進(jìn)一步包括： (1) 構(gòu)建基于網(wǎng)格結(jié)構(gòu)的車輛通用3D模型； (2) 獲得車輛精細(xì)3D模型； (3) 根據(jù)車輛通用3D模型獲得3D模型描述參數(shù)集； (4) 對(duì)3D模型描述參數(shù)集中參數(shù)進(jìn)行降維，獲得關(guān)鍵描述參數(shù)。
5. 如權(quán)利要求1所述的城市交通監(jiān)控視頻全局編碼方法，其特征在于： 子步驟S35進(jìn)一步包括： (1) 確定全局運(yùn)動(dòng)車輛的位置與角度參數(shù)P = [x，y，θ]τ，x、y為全局運(yùn)動(dòng)車輛中心 在世界坐標(biāo)系的垂直投影坐標(biāo)，Θ為全局運(yùn)動(dòng)車輛主運(yùn)動(dòng)方向與〇χ軸的夾角； (2) 通過背景建模提取車輛視頻中的運(yùn)動(dòng)區(qū)域； (3) 利用稀疏光流法獲得全局運(yùn)動(dòng)車輛的二維運(yùn)動(dòng)矢量； (4) 獲得全局運(yùn)動(dòng)車輛在世界坐標(biāo)系的主運(yùn)動(dòng)方向Θ與速度v; (5) 將全局運(yùn)動(dòng)車輛匹配的通用3D模型的二維投影與運(yùn)動(dòng)區(qū)域的大小與形狀迭代匹 配，得到全局運(yùn)動(dòng)車輛在世界坐標(biāo)系下的位置參數(shù)（X，y)。
6. 如權(quán)利要求1所述的城市交通監(jiān)控視頻全局編碼方法，其特征在于： 步驟4進(jìn)一步包括子步驟： S41基于全局車輛特征參數(shù)對(duì)全局運(yùn)動(dòng)車輛進(jìn)行運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償，得到殘差參數(shù) 信息； S42獲取全局運(yùn)動(dòng)車輛的光照補(bǔ)償參數(shù)； S43融合殘差參數(shù)信息和光照補(bǔ)償參數(shù)，并對(duì)殘參數(shù)信息和光照補(bǔ)償參數(shù)進(jìn)行無(wú)損編 碼。
7. -種城市交通監(jiān)控視頻全局編碼系統(tǒng)，其特征在于，包括： (1) 視頻分割模塊，用來(lái)將原始監(jiān)控視頻分割成車輛視頻和去除車輛的視頻； (2) 可選差分編碼模塊，用來(lái)采用可選差分編碼方式對(duì)去除車輛的視頻進(jìn)行編碼； (3) 全局特征參數(shù)提取模塊，用來(lái)提取車輛視頻中全局運(yùn)動(dòng)車輛的全局特征參數(shù)集，本 模塊進(jìn)一步包括子模塊： 2D外觀特征提取模塊，用來(lái)提取全局運(yùn)動(dòng)車輛的2D外觀特征； 車輛3D模型數(shù)據(jù)庫(kù)構(gòu)建模塊，用來(lái)構(gòu)建車輛3D模型數(shù)據(jù)庫(kù)，車輛3D模型數(shù)據(jù)庫(kù)包括 各類車輛的通用3D模型、精細(xì)3D模型及模型關(guān)鍵描述參數(shù)集，模型關(guān)鍵描述參數(shù)由模型描 述參數(shù)集降維獲得； 全局車輛紋理字典構(gòu)建模塊，用來(lái)米用稀疏編碼方式構(gòu)建全局運(yùn)動(dòng)車輛的全局車輛紋 理字典，進(jìn)一步包括： 以(1),4) = argml·

I ?ΠΙ,為代價(jià)函數(shù)，基于全局運(yùn)動(dòng)車輛的紋理信息，獲 得第一層知識(shí)字典，即所有類全局運(yùn)動(dòng)車輛的共性視覺紋理信息知識(shí)字典； 獲得各類全局運(yùn)動(dòng)車輛經(jīng)第一層知識(shí)字典重建后與原始全局運(yùn)算車輛的差異信息r。， 以(盡，心)=argmir
r：-Dl〇；lt+
為代價(jià)函數(shù)，基于差異信息r。，獲得第二層知識(shí) 字典，即各類全局運(yùn)動(dòng)車輛的三維結(jié)構(gòu)及紋理個(gè)性信息知識(shí)字典； 獲得各類全局運(yùn)動(dòng)車輛下各個(gè)體全局運(yùn)動(dòng)車輛經(jīng)第二層知識(shí)字典重建后與原始全局 運(yùn)動(dòng)車輛的差異信息r。m，以網(wǎng)'U irgmh

丨丨:為代價(jià)函數(shù)，基 于差異信息&m，獲得第三層知識(shí)字典，即個(gè)體全局運(yùn)動(dòng)車輛的個(gè)性長(zhǎng)時(shí)更新信息知識(shí)字 血. 上述，Di表示第一層知識(shí)字典；C表示全局運(yùn)動(dòng)車輛的類型數(shù)，c表示全局運(yùn)動(dòng)車輛類 型編號(hào)；y。表示所有類型全局運(yùn)動(dòng)車輛紋理信息；ai表示編碼系數(shù)；τ為平衡因子，根據(jù)實(shí) 際情況和經(jīng)驗(yàn)設(shè)定，τ越大編碼系數(shù)越稀疏；R表示第二層知識(shí)字典，Μ表示某類全局運(yùn)動(dòng) 車輛下個(gè)體車輛數(shù)量，m表示某類全局運(yùn)動(dòng)車輛下個(gè)體車輛編號(hào)，a2,。表示編碼系數(shù)；D; 表 示第三層知識(shí)字典，Ν表示該類型全局運(yùn)動(dòng)車輛下的個(gè)體車輛數(shù)量，i表示該類型全局運(yùn)動(dòng) 車輛下的個(gè)體車輛編號(hào)；a^m表示編碼系數(shù)； 紋理及模型關(guān)鍵描述參數(shù)信息獲取模塊，用來(lái)將全局運(yùn)動(dòng)車輛的2D外觀特征與車輛 3D模型數(shù)據(jù)庫(kù)中模型進(jìn)行特征匹配，獲得全局運(yùn)動(dòng)車輛的紋理及模型關(guān)鍵描述參數(shù)信息； 位置及姿態(tài)參數(shù)獲取模塊，用來(lái)根據(jù)全局運(yùn)動(dòng)車輛的2D外觀特征提取全局運(yùn)動(dòng)車輛 位置信息，并結(jié)合對(duì)應(yīng)的模型關(guān)鍵描述參數(shù)信息中的姿態(tài)信息構(gòu)成全局運(yùn)動(dòng)車輛的位置及 姿態(tài)參數(shù)； 無(wú)損壓縮模塊，用來(lái)對(duì)全局特征參數(shù)集和三級(jí)知識(shí)字典對(duì)應(yīng)的編碼系數(shù)進(jìn)行無(wú)損壓 縮，所述的全局特征參數(shù)集由步驟S34獲得的紋理及模型關(guān)鍵描述參數(shù)信息和步驟S35獲 得的位置及姿態(tài)參數(shù)構(gòu)成； (4)全局編碼模塊，用來(lái)基于全局特征參數(shù)對(duì)車輛視頻進(jìn)行全局編碼。
8.如權(quán)利要求7所述的城市交通監(jiān)控視頻全局編碼系統(tǒng)，其特征在于： 所述的位置及姿態(tài)參數(shù)獲取模塊進(jìn)一步包括： 位置與角度參數(shù)確定模塊，用來(lái)確定全局運(yùn)動(dòng)車輛的位置與角度參數(shù)P =[x，y，Θ]Τ， x、y為全局運(yùn)動(dòng)車輛中心在世界坐標(biāo)系的垂直投影坐標(biāo)，Θ為全局運(yùn)動(dòng)車輛主運(yùn)動(dòng)方向與 0Χ軸的夾角； 運(yùn)動(dòng)區(qū)域提取模塊，用來(lái)通過背景建模提取車輛視頻中的運(yùn)動(dòng)區(qū)域； 二維運(yùn)動(dòng)矢量獲得模塊，用來(lái)利用稀疏光流法獲得全局運(yùn)動(dòng)車輛的二維運(yùn)動(dòng)矢量； 主運(yùn)動(dòng)方向與速度獲得模塊，用來(lái)獲得全局運(yùn)動(dòng)車輛在世界坐標(biāo)系的主運(yùn)動(dòng)方向Θ 與速度V ; 位置參數(shù)獲得模塊，用來(lái)將全局運(yùn)動(dòng)車輛匹配的通用3D模型的二維投影與運(yùn)動(dòng)區(qū)域 的大小與形狀迭代匹配，得到全局運(yùn)動(dòng)車輛在世界坐標(biāo)系下的位置參數(shù)（X，y)。
9.如權(quán)利要求7所述的城市交通監(jiān)控視頻全局編碼系統(tǒng)，其特征在于： 全局編碼模塊進(jìn)一步包括： 殘差參數(shù)信息獲得模塊，用來(lái)基于全局車輛特征參數(shù)對(duì)全局運(yùn)動(dòng)車輛進(jìn)行運(yùn)動(dòng)估計(jì)和 運(yùn)動(dòng)補(bǔ)償，得到殘差參數(shù)信息； 光照補(bǔ)償參數(shù)獲取模塊，用來(lái)獲取全局運(yùn)動(dòng)車輛的光照補(bǔ)償參數(shù)； 無(wú)損編碼模塊，用來(lái)融合殘差參數(shù)信息和光照補(bǔ)償參數(shù)，并對(duì)殘參數(shù)信息和光照補(bǔ)償 參數(shù)進(jìn)行無(wú)損編碼。
【文檔編號(hào)】H04N7/18GK104301735SQ201410616965
【公開日】2015年1月21日 申請(qǐng)日期:2014年10月31日 優(yōu)先權(quán)日:2014年10月31日
【發(fā)明者】胡瑞敏, 馬民生, 肖晶, 胡金暉, 尹黎明 申請(qǐng)人:武漢大學(xué)