視頻處理方法和設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001 ]本發(fā)明涉及視頻處理領(lǐng)域，具體涉及一種視頻處理方法和設(shè)備。
【背景技術(shù)】
[0002]隨著監(jiān)控視頻的普及和對(duì)安全問題的日益關(guān)注，對(duì)于監(jiān)控視頻數(shù)據(jù)的智能分析，特別是視頻場景中的行人和車輛分析，有著緊迫的需求。但是隨著視頻攝像頭數(shù)量的增加以及高清攝像頭的普及，監(jiān)控視頻的數(shù)據(jù)量呈現(xiàn)爆發(fā)式的增長。對(duì)監(jiān)控視頻數(shù)據(jù)的處理需要花費(fèi)很多人力和時(shí)間。因此自動(dòng)化的視頻處理就非常重要。
[0003]因此，需要一種快速準(zhǔn)確地對(duì)視頻數(shù)據(jù)進(jìn)行處理的方法。

【發(fā)明內(nèi)容】

[0004]鑒于上述問題，提出了本發(fā)明以便提供一種至少部分地解決上述問題的視頻處理方法和設(shè)備。
[0005]根據(jù)本發(fā)明一個(gè)方面，提供了一種視頻處理方法。該視頻處理方法包括以下步驟:獲取待處理視頻;對(duì)于待處理視頻中的每幀原始圖像，進(jìn)行前景提取，以獲得前景圖像;對(duì)前景圖像進(jìn)行分塊，以獲得前景塊;對(duì)待處理視頻中的同一前景塊在時(shí)空域上進(jìn)行關(guān)聯(lián)，以獲得塊管道;以及基于塊管道進(jìn)行視頻分析。
[0006]根據(jù)本發(fā)明另一方面，還提供了一種視頻處理設(shè)備，包括獲取裝置、前景提取裝置、分塊裝置、關(guān)聯(lián)裝置和視頻分析裝置。獲取裝置用于獲取待處理視頻。前景提取裝置用于對(duì)于待處理視頻中的每幀原始圖像，進(jìn)行前景提取，以獲得前景圖像。分塊裝置用于對(duì)于待處理視頻中的每幀原始圖像，對(duì)前景圖像進(jìn)行分塊，以獲得前景塊。關(guān)聯(lián)裝置用于對(duì)待處理視頻中的同一前景塊在時(shí)空域上進(jìn)行關(guān)聯(lián)，以獲得塊管道。視頻分析裝置用于基于塊管道進(jìn)行視頻分析。
[0007]根據(jù)本發(fā)明提供的視頻處理方法和設(shè)備，基于分塊和前景塊關(guān)聯(lián)跟蹤的方式來處理視頻，可以有效快速地對(duì)視頻數(shù)據(jù)進(jìn)行諸如濃縮的分析處理。
[0008]上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說明書的內(nèi)容予以實(shí)施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)能夠更明顯易懂，以下特舉本發(fā)明的【具體實(shí)施方式】。
【附圖說明】
[0009]通過閱讀下文優(yōu)選實(shí)施方式的詳細(xì)描述，各種其他的優(yōu)點(diǎn)和益處對(duì)于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實(shí)施方式的目的，而并不認(rèn)為是對(duì)本發(fā)明的限制。而且在整個(gè)附圖中，用相同的參考符號(hào)表示相同的部件。在附圖中:
[0010]圖1示出根據(jù)本發(fā)明一個(gè)實(shí)施例的視頻處理方法的流程圖；
[0011]圖2示出根據(jù)本發(fā)明一個(gè)實(shí)施例的對(duì)原始圖像進(jìn)行前景提取和分塊的示意圖；
[0012]圖3示出根據(jù)本發(fā)明一個(gè)實(shí)施例的對(duì)前景塊進(jìn)行關(guān)聯(lián)的示意圖；以及
[0013]圖4示出根據(jù)本發(fā)明一個(gè)實(shí)施例的視頻處理設(shè)備的示意性框圖。
【具體實(shí)施方式】
[0014]下面將參照附圖更詳細(xì)地描述本公開的示例性實(shí)施例。雖然附圖中顯示了本公開的示例性實(shí)施例，然而應(yīng)當(dāng)理解，可以以各種形式實(shí)現(xiàn)本公開而不應(yīng)被這里闡述的實(shí)施例所限制。相反，提供這些實(shí)施例是為了能夠更透徹地理解本公開，并且能夠?qū)⒈竟_的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。
[0015]根據(jù)本發(fā)明一個(gè)方面，提供了一種視頻處理方法。圖1示出根據(jù)本發(fā)明一個(gè)實(shí)施例的視頻處理方法100的流程圖。如圖1所示，該視頻處理方法100包括以下步驟。
[0016]在步驟SI 10，獲取待處理視頻。
[0017]待處理視頻可以是來自任何合適的設(shè)備的視頻，本文不對(duì)此進(jìn)行限制。例如，待處理視頻可以是來自監(jiān)控?cái)z像頭的視頻。監(jiān)控?cái)z像頭所處的位置和場景不受限制。監(jiān)控?cái)z像頭可以有線或無線地與本文所述的視頻處理設(shè)備相連。例如，監(jiān)控?cái)z像頭可以通過網(wǎng)線與視頻處理設(shè)備相連。視頻處理設(shè)備可以是后端云端服務(wù)器或本地錄像服務(wù)器。假設(shè)存在多路攝像頭，可以給予每路攝像頭唯一的標(biāo)號(hào)，然后將每路攝像頭的視頻數(shù)據(jù)導(dǎo)出到視頻處理設(shè)備中用于進(jìn)一步處理。此外，可以理解的是，可以將來自監(jiān)控?cái)z像頭的視頻數(shù)據(jù)存儲(chǔ)在視頻庫中，以在需要時(shí)使用。
[0018]在步驟S120，對(duì)于待處理視頻中的每幀原始圖像，進(jìn)行前景提取，以獲得前景圖像。
[0019]可以針對(duì)每路視頻數(shù)據(jù)(即待處理視頻)進(jìn)行單獨(dú)的前景提取操作和后續(xù)分塊操作。在進(jìn)行前景提取之前，可以首先提取待處理視頻的靜態(tài)的背景信息。提取背景信息的方法有很多，下面舉例說明。例如，可以在待處理視頻前面的視頻中選取一段干凈的沒有任何前景內(nèi)容的視頻，然后對(duì)該段視頻中的每個(gè)像素的顏色進(jìn)行概率建模，得到一個(gè)近似的概率分布(即高斯分布)模型。該概率分布模型可以稱為背景模型?？梢岳斫獾氖牵梢曰诒尘澳Ｐ蜕杀尘皥D像?？梢允褂帽尘澳Ｐ蛠韺?duì)待處理視頻中的每幀原始圖像進(jìn)行前景或者背景的判別。也就是說，可以利用背景模型對(duì)待處理視頻中的每幀原始圖像進(jìn)行前景提取。
[0020]如果待處理視頻來自攝像頭并且攝像頭是運(yùn)動(dòng)的，則在進(jìn)行前景提取之前，可以對(duì)待處理視頻進(jìn)行運(yùn)動(dòng)補(bǔ)償。通過運(yùn)動(dòng)補(bǔ)償，可以使得補(bǔ)償后的每幀原始圖像上的每個(gè)像素的物理位置與背景圖像上面的同一像素的物理位置相對(duì)應(yīng)。具體地，可以對(duì)攝像頭的運(yùn)動(dòng)方向進(jìn)行估計(jì)，然后反向?qū)Ξ?dāng)前獲取的原始圖像進(jìn)行平移。對(duì)于幀率大于20幀每秒的攝像頭，簡單的運(yùn)動(dòng)補(bǔ)償足以將每幀圖像配準(zhǔn)到其正確位置。
[0021]如果是靜態(tài)的攝像頭，也就是攝像頭是靜止不動(dòng)的，則不需要做任何運(yùn)動(dòng)補(bǔ)償。
[0022]可以將補(bǔ)償后的原始圖像與背景模型進(jìn)行對(duì)比，以獲得前景圖像。例如但不限于如下方法:利用背景模型估計(jì)原始圖像中的每個(gè)像素屬于背景的概率，如果概率小于一定閾值，則認(rèn)為其屬于前景，否則其屬于背景。隨后可以對(duì)獲得的前景圖像進(jìn)行平滑操作，例如進(jìn)行中值濾波，以得到最終的前景圖像。如果前景圖像中存在陰影，則可以通過陰影檢測算法去除前景圖像中的陰影部分。陰影檢測算法主要根據(jù)兩個(gè)物理原理。首先陰影部分的光線亮度比非陰影部分更暗。另外陰影部分會(huì)保存地面本身的紋理信息。通過陰影檢測算法可以找到陰影區(qū)域，然后可以從前景圖像中去除該陰影區(qū)域。隨后可以對(duì)剩余的前景圖像進(jìn)行下一步的分塊操作。
[0023]圖2示出根據(jù)本發(fā)明一個(gè)實(shí)施例的對(duì)原始圖像進(jìn)行前景提取和分塊的示意圖。如圖2所示，原始圖像210中包括建筑物、行人和汽車等信息。行人和汽車是能夠運(yùn)動(dòng)、能夠變化的，它們屬于前景，而建筑物是恒定不變的，屬于背景。前景提取可以將背景與前景分離。經(jīng)過前景提取之后所獲得的前景圖像如圖像220所示。
[0024]在步驟S130，對(duì)于待處理視頻中的每幀原始圖像，對(duì)前景圖像進(jìn)行分塊，以獲得前景塊。
[0025]塊(Blob)，也可以稱為連通區(qū)域，一般是指前景圖像中具有相同像素值并且位置相鄰的像素點(diǎn)所組成的圖像區(qū)域。分塊是將前景圖像中的每個(gè)獨(dú)立的、不與其它塊連通的塊分割出來。對(duì)前景圖像進(jìn)行分塊的方法可以包括但不限于兩邊掃描(Two-Pass)法、種子填充(Seed-Fi 11 ing)法等，本文不對(duì)此進(jìn)行贅述。
[0026]繼續(xù)參考圖2，對(duì)前景圖像220進(jìn)行分塊之后，可以獲得圖像230。在圖像230中，分出了三個(gè)前景塊，一個(gè)前景塊包括汽車，另外兩個(gè)前景塊均包括行人。
[0027]可選地，在對(duì)前景圖像進(jìn)行分塊之后，還可以對(duì)每個(gè)前景塊中的信息進(jìn)行估計(jì)，以獲知每個(gè)前景塊中包括多少前景物體。前景物體可以包括行人、汽車等物體。如圖2所示，可以估計(jì)出圖像240中的三個(gè)前景塊分別包括三個(gè)人、一輛汽車和一個(gè)人。將這些信息匯總起來，可知圖像240中共有四個(gè)行人和一輛車。
[0028]可選地，對(duì)于每個(gè)前景塊，還可以根據(jù)需要進(jìn)行進(jìn)一步細(xì)分，得到子前景塊。具體來講，就是可以定位出前景塊中的每個(gè)行人和車輛等前景物體的具體位置。細(xì)分的方法可以采用但不限于行人檢測和車輛檢測算法。將前景塊細(xì)分為子前景塊之后，可以將子前景塊作為最終的前景塊進(jìn)行后續(xù)的關(guān)聯(lián)和視頻分析操作。
[0029]在步驟S140，對(duì)待處理視頻中的同一前景塊在時(shí)空域上進(jìn)行關(guān)聯(lián)，以獲得塊管道。
[0030]具體來講，就是針對(duì)每一前景塊，將其在包括其的兩個(gè)相鄰原始圖像之中的時(shí)間信息和空間信息進(jìn)行關(guān)聯(lián)。圖3示出根據(jù)本發(fā)明一個(gè)實(shí)施例的對(duì)前景塊進(jìn)行關(guān)聯(lián)的示意圖。如圖3所示，在第t幀原始圖像中檢測到三個(gè)前景塊，每個(gè)前景塊被給予一個(gè)唯一的標(biāo)識(shí)符(ID)，分別為I，2和3。因此，這三個(gè)前景塊可以描述為前景塊I，前景塊2和前景塊3。隨后在第t+Ι幀原始圖像中，同樣檢測到了這三個(gè)前景塊。因此，可以將這兩幀原始圖像中的對(duì)應(yīng)前景塊關(guān)聯(lián)起來。以此類推，可以將第t+2幀原始圖像中的三個(gè)前景塊分別與第t+Ι幀原始圖像中的三個(gè)前景塊進(jìn)行關(guān)聯(lián)。對(duì)某一前景塊，例如前景塊I來說，假設(shè)其一共在十幀之中出現(xiàn)，則可以在這十幀或十幀中的一部分連續(xù)的幀中進(jìn)行兩兩關(guān)聯(lián)。
[0031]前景塊的關(guān)聯(lián)可以使用匈牙利算法來實(shí)現(xiàn)，本文不對(duì)此進(jìn)行贅述。最后得到的是每個(gè)前景塊的一個(gè)跟蹤結(jié)果，其在形式上是一個(gè)時(shí)空域上的三維管道(tube)，即本文所述的塊管道?？梢岳斫獾氖牵粋€(gè)塊管道與一個(gè)前景塊相對(duì)應(yīng)，該塊管道包括與其對(duì)應(yīng)的前景塊的時(shí)間信息和空間信息