專利名稱：用于安全的視頻分析系統(tǒng)和方法
用于安全的視頻分析系統(tǒng)和方法相關(guān)申請的交叉參照本申請涉及同時(shí)提交的題為“Video Classification Systems and Methods (視頻分類系統(tǒng)和方法)”、“Rho_Domain Metrics”(Rho 域度量)以及 “Systems And Methodsfor Video Content Analysis (用于視頻內(nèi)容分析的系統(tǒng)和方法)”的申請，以上申請通過引用明確地結(jié)合于此。附圖
簡述圖I示出了根據(jù)本發(fā)明的某些方面的視頻安全監(jiān)控分析架構(gòu)的簡化示例的示意性框圖。
圖2示出了根據(jù)本發(fā)明的某些方面的視頻分析引擎的示例的示意性框圖。圖3示出H. 264標(biāo)準(zhǔn)定義的比特流語法的示例。圖4A是包括前景和背景對象的圖像。圖4B是圖4A的圖像，已利用根據(jù)本發(fā)明的某些方面的技術(shù)將前景對象從該圖像中提取出。圖5A和5B示出了根據(jù)本發(fā)明某些方面的虛擬線路計(jì)數(shù)的圖像。圖6示出了本發(fā)明的某些實(shí)施例中所使用的處理系統(tǒng)的簡化示意框圖。
具體實(shí)施例方式現(xiàn)將參考附圖具體描述本發(fā)明的實(shí)施例，所提供的實(shí)施例是作為示例性示例以使得本領(lǐng)域的普通技術(shù)人員能夠?qū)崿F(xiàn)本發(fā)明。尤其，以下附圖和示例不旨在將本發(fā)明的范圍限制在單個(gè)實(shí)施例，而通過交換一些或所有所描述的或示出的要素，其他實(shí)施例也是可能的。在方便時(shí)，將在所有附圖中使用相同的附圖標(biāo)記來指示相同或類似的部件。當(dāng)可以使用已知部件部分地或全部地實(shí)現(xiàn)這些實(shí)施例的某些要素時(shí)，僅描述對于本發(fā)明的理解所必須的此類已知部件的那些部分，并且省略此類已知部件的其他部分的詳細(xì)描述以免混淆本發(fā)明。在本發(fā)明的說明書中，示出單一部件的實(shí)施例不應(yīng)認(rèn)為是限制性的；相反，本發(fā)明旨在涵蓋包括多個(gè)相同部件的其它實(shí)施例，反之亦然，除非本文中另有明確說明。此外，申請人不希望說明書或權(quán)利要求中的任何術(shù)語被認(rèn)為具有不尋常的或特殊的意義，除非另有明確說明。而且，本發(fā)明涵蓋本文通過圖示說明所涉及的部件的現(xiàn)在和未來的公知等同物。本發(fā)明的某些實(shí)施例包括具有與本發(fā)明某些方面一致的架構(gòu)的系統(tǒng)，所述系統(tǒng)可操作用于執(zhí)行用于安全應(yīng)用的視頻分析。圖I中示出了視頻安全監(jiān)控分析架構(gòu)的簡化示例。在該示例中，系統(tǒng)被劃分為服務(wù)器10和客戶機(jī)12組件。此處所使用的術(shù)語服務(wù)器和客戶機(jī)包括執(zhí)行可歸屬于服務(wù)器側(cè)和客戶機(jī)側(cè)操作的功能類型的硬件和軟件系統(tǒng)、裝置和其他部件。應(yīng)當(dāng)理解，某些組件可設(shè)置在服務(wù)器10和客戶機(jī)12的其中一側(cè)或兩側(cè)上，而且至少一些客戶機(jī)和服務(wù)器功能可按照需要被委托給諸如專用集成電路、序列發(fā)生器、定制邏輯設(shè)備之類的硬件部件，通常用于提高效率、可靠性、處理速度和安全性中的一個(gè)或多個(gè)。在服務(wù)器側(cè)10，視頻傳感器100可被配置為捕獲表示包括視頻數(shù)據(jù)的圖像序列的信息，并將該信息傳遞給適合用于本發(fā)明實(shí)施例中的視頻編碼器模塊102。此類視頻編碼器模塊102的一個(gè)示例是來自Intersil Techwell公司的TW5864，該TW5864可適合于和/或被配置為產(chǎn)生視頻分析元數(shù)據(jù)(“VAMD”)103。在某些實(shí)施例中，視頻編碼器102可通常被配置為產(chǎn)生壓縮的視頻比特流，這些比特流可符合工業(yè)標(biāo)準(zhǔn)和/或可根據(jù)專有的規(guī)范而生成。視頻編碼器102通?？膳渲脼楫a(chǎn)生視頻分析元數(shù)據(jù)。VAMD 103可包括像素域視頻分析信息，諸如在編碼引擎執(zhí)行壓縮時(shí)從模擬一數(shù)字(“A/D”)前端和/或從該引擎直接獲得的信息。VAMD 103可包括塊基本視頻分析信息、級別信息，等等，塊基本視頻分析信息諸如宏塊(“MB”)、16x16像素塊，級別信息諸如運(yùn)動(dòng)向量、MB類型和/或非零系數(shù)的數(shù)量。視頻分析引擎(“VAE”)104可被配置為接收VAMD 103并且基于應(yīng)用需求而使用一個(gè)或多個(gè)視頻分析算法來處理VAMD 103。VAE 104能夠生成有用的視頻分析結(jié)果，諸如背景模型、運(yùn)動(dòng)警報(bào)、虛擬線路檢測、電子影像穩(wěn)定參數(shù)，等等。圖2中示出了 VAE 104的更具體的示例。視頻分析結(jié)果可包括視頻分析消息(“VAM”)，該視頻分析消息可被分類為全局VAM類和局部VAM類。全局VAM包括可適用于一圖片組的視頻分析消息，諸如背景巾貞、前景對象分割描述符、攝像機(jī)參數(shù)、預(yù)定義的運(yùn)動(dòng)警報(bào)區(qū)域配位和索引、虛擬線路，等等。局部VAM可被定義為應(yīng)用于特定單個(gè)視頻幀的局部VAM，并且可包括當(dāng)前幀的全局運(yùn)動(dòng)向量、當(dāng)前幀的運(yùn)動(dòng)警報(bào)區(qū)域警報(bào)狀態(tài)、虛擬線路的計(jì)數(shù)結(jié)果、對象跟蹤參數(shù)、攝像機(jī)移動(dòng)參數(shù)，等等。在某些實(shí)施例中，編碼器所生成的視頻比特流、VAMD 103和VAE所生成的VAM —起作為分層結(jié)構(gòu)被打包到預(yù)定義包格式之后的網(wǎng)絡(luò)比特流中。網(wǎng)絡(luò)比特流可通過網(wǎng)絡(luò)被發(fā)送到系統(tǒng)的客戶端。網(wǎng)絡(luò)比特流可被儲存在本地和/或被儲存在服務(wù)器上或遠(yuǎn)程存儲設(shè)備中，以用于將來的回放和/或傳播。圖3描述了 H. 264標(biāo)準(zhǔn)定義的比特流語法的示例，其中VAM和VAMD103可被打包到補(bǔ)充增強(qiáng)信息(“SEI”)網(wǎng)絡(luò)抽象層(“NAL”)包單元中。在SPS、PPS和IDR NAL之后，全局VA (“GVA”)SEI NAL可被插入到網(wǎng)絡(luò)比特流中。GVA NAL可包括用于相應(yīng)圖片組的全局視頻分析消息、指向圖片組中的第一局部VA SEI NAL位置的指針、以及指向下一個(gè)GVA NAL的指針，且可包括GVA可適用的幀的持續(xù)時(shí)間的指示。在與VAM或VAMD 103相關(guān)聯(lián)的每個(gè)單個(gè)幀之后，在剛好該幀的有效載荷NAL之后插入局部VA (“LVA”)SEI NAL0該LVA可包括局部VAM、VAMD103信息和指向具有LVA SEI NAL的下一幀的位置的指針。被打包到LVANAL中的VAMD 103的量取決于網(wǎng)絡(luò)帶寬條件和用戶VA要求的復(fù)雜程度。例如，如果足夠的網(wǎng)絡(luò)帶寬可用，則可打包附加的VAMD 103。VAMD103可由客戶機(jī)側(cè)的視頻分析系統(tǒng)所使用，且可簡化和/或最優(yōu)化某些功能的性能。當(dāng)網(wǎng)絡(luò)帶寬有限時(shí)，可發(fā)送較少的VAMD 103以滿足網(wǎng)絡(luò)帶寬限制。附圖示出了用于H. 264標(biāo)準(zhǔn)的比特流格式，但將理解的是，所涉及的原理可應(yīng)用于其它視頻標(biāo)準(zhǔn)實(shí)現(xiàn)方式。根據(jù)本發(fā)明的某些方面，分層視頻分析系統(tǒng)架構(gòu)的諸多優(yōu)點(diǎn)可包括便于和/或?qū)崿F(xiàn)在多層上的視頻分析的平衡劃分。這些層可包括服務(wù)器和客戶機(jī)層、像素域?qū)右约斑\(yùn)動(dòng)域?qū)?。例如，諸如背景幀、分割對象描述符以及照相機(jī)參數(shù)之類的全局VA消息能在接收機(jī)側(cè)實(shí)現(xiàn)針對許多高級視頻智能應(yīng)用的成本高效且復(fù)雜的視頻分析。否則，就計(jì)算復(fù)雜度和分析準(zhǔn)確度而言，VAM所實(shí)現(xiàn)的視頻分析效率水平是困難的或不可能的。在本發(fā)明的某些實(shí)施例中，客戶機(jī)側(cè)接收從服務(wù)器側(cè)發(fā)送的網(wǎng)絡(luò)比特流，并從該網(wǎng)絡(luò)比特流中分離出視頻壓縮比特流、VAMD 103以及VAM。然后可針對手邊的應(yīng)用酌情應(yīng)用視頻分析技術(shù)。例如，分析可包括背景提取、運(yùn)動(dòng)跟蹤、對象檢測等等，且該分析可基于速、度需求、效率目標(biāo)且基于VAM和VAMD 103來選擇。在某些實(shí)施例中，VAMD 103可包括任何視頻編碼中間數(shù)據(jù)，諸如MB類型、運(yùn)動(dòng)向量、非零系數(shù)(如遵照札264標(biāo)準(zhǔn))、量化參數(shù)、DC或AC信息、絕對值的運(yùn)動(dòng)估計(jì)度量和(“SAD”)等等。VAMD 103可包括任何有用的信息，諸如在模擬至數(shù)字前端模塊中產(chǎn)生的運(yùn)動(dòng)標(biāo)記信息，此類模塊例如可在以上所提及的TW58634設(shè)備中存在。VAMD通常在VAE 104中處理，以產(chǎn)生更高級的視頻智能信息，該更高級的視頻智能信息可包括例如運(yùn)動(dòng)索引、背景提取、對象分割、運(yùn)動(dòng)檢測、虛擬線檢測、對象計(jì)數(shù)、運(yùn)動(dòng)跟蹤以及速度估計(jì)。根據(jù)本發(fā)明的某些方面，可從視頻分析系統(tǒng)架構(gòu)和嵌入于網(wǎng)絡(luò)比特流中的分層視頻分析信息中產(chǎn)生某些優(yōu)點(diǎn)。某些實(shí)施例在客戶機(jī)側(cè)提供顯著提高的視頻分析效率。在根據(jù)本發(fā)明的某些方面的視頻分析系統(tǒng)的一個(gè)示例中，VAE 104處理編碼器反饋VAMD 103，產(chǎn)生可嵌入網(wǎng)絡(luò)比特流中的各種各樣的有用視頻分析信息。該嵌入式分層VAM給用戶提供對感興趣的視頻分析消息的直接訪問權(quán)，以及在有限的附加處理或無需附加處理的情況下使用VAM。在一個(gè)示 例中，訪問運(yùn)動(dòng)幀、通過虛擬線的對象數(shù)量、對象移動(dòng)速度以及分類等等將不需要附加的處理。與對象跟蹤有關(guān)的信息可通過與所標(biāo)識對象的運(yùn)動(dòng)有關(guān)的附加有限處理來獲得，而與電子圖像穩(wěn)定有關(guān)的信息可基于VAM的全局運(yùn)動(dòng)信息通過有關(guān)的附加有限處理來獲得。相應(yīng)地，客戶機(jī)側(cè)VA效率可被最優(yōu)化，且性能可顯著提高，從而能處理增多數(shù)量的通道。某些實(shí)施例在客戶機(jī)側(cè)上實(shí)現(xiàn)高準(zhǔn)確度的視頻分析應(yīng)用的操作。根據(jù)本發(fā)明的某些方面，客戶機(jī)側(cè)視頻分析可利用服務(wù)器側(cè)上產(chǎn)生的信息來執(zhí)行。在比特流中未嵌入VAM的情況下，客戶機(jī)側(cè)視頻分析處理將不得不依賴于從所解碼的比特流中重構(gòu)的視頻。所解碼的比特流典型地缺少原始視頻內(nèi)容的一些詳細(xì)信息，這些詳細(xì)信息可能在視頻壓縮過程中被丟棄或丟失。由此，僅在客戶機(jī)側(cè)上執(zhí)行的視頻分析不能維持在服務(wù)器側(cè)可獲得的準(zhǔn)確度，其中VAMD是在服務(wù)器側(cè)中從原始視頻內(nèi)容產(chǎn)生的。受限于客戶機(jī)側(cè)的分析準(zhǔn)確度損失會(huì)呈現(xiàn)在對象的幾何中心、對象分割，等等中。因此，從整個(gè)系統(tǒng)的角度看，嵌入的VAM實(shí)現(xiàn)高準(zhǔn)確度的視頻分析。本發(fā)明的某些實(shí)施例實(shí)現(xiàn)快速視頻索引、搜索和其它應(yīng)用。具體而言，網(wǎng)絡(luò)比特流中的嵌入的分層VAM在客戶機(jī)側(cè)實(shí)現(xiàn)快速視頻索引、視頻搜索、視頻分類應(yīng)用以及其它應(yīng)用。例如，VAM的運(yùn)動(dòng)檢測信息、對象索引、前景和背景劃分、人類檢測、人類行為分類信息能簡化客戶機(jī)側(cè)和/或下游任務(wù)，這些任務(wù)例如包括客戶機(jī)中的視頻索引、分類和快速搜索。在沒有VAM的情況下，客戶機(jī)一般需要巨大的計(jì)算能力以處理視頻數(shù)據(jù)并重構(gòu)對包括以上列出的應(yīng)用之類的各種應(yīng)用所需的視頻分析信息。將理解到，并未所有VAM都能從視頻比特流中準(zhǔn)確地重構(gòu)，且某些應(yīng)用在VAM不可用時(shí)無法執(zhí)行，其示例包括人類行為分析應(yīng)用。本發(fā)明的某些實(shí)施例實(shí)現(xiàn)增強(qiáng)的服務(wù)器/客戶機(jī)算法復(fù)雜度、計(jì)算能力的劃分以及網(wǎng)絡(luò)帶寬的平衡。在某些實(shí)施例中，提供了一種視頻分析系統(tǒng)架構(gòu)，其中能基于網(wǎng)絡(luò)帶寬可用性、服務(wù)器和客戶機(jī)計(jì)算能力以及視頻分析的復(fù)雜度而在服務(wù)器與客戶機(jī)側(cè)之間劃分視頻分析。在一個(gè)示例中，響應(yīng)于低網(wǎng)絡(luò)帶寬條件，系統(tǒng)能在由VAE處理之后在網(wǎng)絡(luò)比特流中嵌入更為壓縮的VAM。VAM可包括運(yùn)動(dòng)幀索引、對象索引等等。在從比特流提取VAM之后，客戶機(jī)可利用VAM來輔助進(jìn)一步的視頻分析處理。當(dāng)服務(wù)器側(cè)上的計(jì)算能力有限時(shí)，VAMD可在由VAE的有限處理或在無需其處理的情況下被嵌入網(wǎng)絡(luò)比特流中。例如，當(dāng)服務(wù)器側(cè)系統(tǒng)被具體化在數(shù)字視頻記錄器(“DVR”)或網(wǎng)絡(luò)視頻記錄器(“NVR”)中時(shí)，服務(wù)器側(cè)上的能力有限。某些實(shí)施例可使用客戶機(jī)側(cè)系統(tǒng)來處理嵌入的VAMD，并完成所需的視頻分析功能系統(tǒng)。在一些實(shí)施例中，例如，當(dāng)客戶機(jī)側(cè)需要同時(shí)監(jiān)控/處理多個(gè)通道時(shí)，可將更多的視頻分析功能劃分和/或分配給服務(wù)器側(cè)。因此，將理解的是，可針對各種各樣的系統(tǒng)配置來實(shí)現(xiàn)平衡的視頻分析系統(tǒng)。示例某些實(shí)施例提供電子圖像穩(wěn)定(“EIS”) 能力220。EIS 220廣泛用于視頻安全應(yīng)用。參考之前所重構(gòu)的參考幀或多個(gè)幀來處理當(dāng)前所捕捉 的視頻幀，并產(chǎn)生用于當(dāng)前幀的全局運(yùn)動(dòng)向量202，利用該全局運(yùn)動(dòng)向量來補(bǔ)償客戶機(jī)側(cè)中重構(gòu)的圖像，以減少或消除圖像不穩(wěn)定或抖動(dòng)。在常規(guī)的像素域EIS算法中，獲取當(dāng)前和之前的參考幀，應(yīng)用基于塊或基于灰度直方圖的匹配算法來獲得局部運(yùn)動(dòng)向量，并處理這些局部運(yùn)動(dòng)向量以產(chǎn)生像素域全局運(yùn)動(dòng)向量。常規(guī)方法的缺點(diǎn)包括與用于產(chǎn)生局部運(yùn)動(dòng)向量的匹配算法相關(guān)聯(lián)的高計(jì)算成本，以及獲取當(dāng)前所重構(gòu)的幀和之前的參考幀二者所需的非常高的存儲器帶寬。在本發(fā)明的某些實(shí)施例中，視頻編碼引擎可產(chǎn)生VAMD 103，包括基于塊的運(yùn)動(dòng)向量、MB類型等等，作為視頻壓縮處理的副產(chǎn)品。將VAMD 103饋入VAE 104中，VAE 104可簡單地處理VAMD 103信息以產(chǎn)生全局運(yùn)動(dòng)向量202作為VAM。然后將VAM嵌入到網(wǎng)絡(luò)比特流中，以通常在網(wǎng)絡(luò)上發(fā)送至客戶機(jī)側(cè)?？蛻魴C(jī)處理器可解析網(wǎng)絡(luò)比特流、提取每一幀的全局運(yùn)動(dòng)信息、并應(yīng)用全局運(yùn)動(dòng)補(bǔ)償以完成EIS 220。視頻背景建模本發(fā)明的某些實(shí)施例包括視頻背景建模特征，該視頻背景建模特征可構(gòu)造或重構(gòu)背景圖像222，該背景圖像222可提供用于各種各樣的視頻監(jiān)控應(yīng)用(包括運(yùn)動(dòng)檢測、對象分割、冗余對象檢測等等)的高度需要的信息。常規(guī)的像素域背景提取算法基于多幀共存像素值的統(tǒng)計(jì)模型而操作。例如，使用高斯模型來對N個(gè)連續(xù)幀的共存像素進(jìn)行建模，并選擇在數(shù)學(xué)上最有可能的像素值作為背景像素。如果將視頻幀的高度表示為H、寬度為W且有連續(xù)N個(gè)幀來滿足統(tǒng)計(jì)模型要求，則總共需要處理W*H*N個(gè)像素來產(chǎn)生背景幀。在某些實(shí)施例中，使用基于MB的VAMD 103來產(chǎn)生背景信息而非基于像素的背景信息。根據(jù)本發(fā)明的某些方面，從VAMD產(chǎn)生的信息容量通常僅僅是基于像素的信息的容量的1/256。在一個(gè)示例中，基于MB的運(yùn)動(dòng)向量和非零計(jì)數(shù)信息可被用于從前景移動(dòng)對象中檢測背景。圖4A示出具有背景和前景對象的原始圖像，且圖4B示出通過處理VAMD 103而提取的典型背景。本發(fā)明的某些實(shí)施例提供用于運(yùn)動(dòng)檢測200和虛擬線計(jì)數(shù)201的系統(tǒng)和方法。運(yùn)動(dòng)檢測器200可用于自動(dòng)檢測進(jìn)入感興趣的預(yù)定義區(qū)域的包括人類、動(dòng)物和/或車輛之類的對象的運(yùn)動(dòng)。虛擬線檢測和計(jì)數(shù)模塊201可檢測跨越由用戶配置所定義的不可見線的移動(dòng)對象，并對跨越該線的對象數(shù)量進(jìn)行計(jì)數(shù)，如圖5所示。該虛擬線可基于圖像中的實(shí)際線，且可以是由多邊形、圓形、橢圓形或不規(guī)則的區(qū)域所限定的區(qū)域的輪廓。在一些實(shí)施例中，可將跨越一條或多條線的對象的數(shù)量記錄為絕對數(shù)字和/或作為統(tǒng)計(jì)頻率，且可產(chǎn)生警報(bào)以指示任何線跨越、跨越的閾值頻率或絕對次數(shù)、和/或在預(yù)定時(shí)間內(nèi)無跨越。在某些實(shí)施例中，可通過處理一個(gè)或多個(gè)基于MB的VAMD來實(shí)現(xiàn)運(yùn)動(dòng)檢測200以及虛擬線和計(jì)數(shù)201。在VAM正被發(fā)送至客戶機(jī)側(cè)時(shí)，可將諸如運(yùn)動(dòng)警報(bào)和跨越虛擬線的對象計(jì)數(shù)之類的信息打包。通過利用簡單的處理來提取VAM，能容易地實(shí)現(xiàn)運(yùn)動(dòng)索引、對象計(jì)數(shù)或類似的定制應(yīng)用。將理解的是，可將配置信息以反饋的形式從客戶機(jī)側(cè)提供給服務(wù)器側(cè)，利用打包的信息作為重置線、感興趣的區(qū)域等等的基礎(chǔ)。本發(fā)明的某些實(shí)施例提供利用VAMD 103在視頻幀序列內(nèi)的改進(jìn)的對象跟蹤。某些實(shí)施例可便于客戶機(jī)側(cè)對對象運(yùn)動(dòng)速度的測量，且可輔助確定移動(dòng)方向。此外，VAMD 103可提供與視頻拼接221有關(guān)的有用信息。系統(tǒng)描述現(xiàn)在參考圖6，本發(fā)明的某些實(shí)施例采用一種處理系統(tǒng)，該處理系統(tǒng)包括被部署成執(zhí)行前述某些步驟的至少一個(gè)計(jì)算系統(tǒng)60。計(jì)算系統(tǒng)60可以是市面上可購得的系統(tǒng)，該系統(tǒng)執(zhí)行例如Microsoft Windows 、UNIX或其變體、Linux、實(shí)時(shí)操作系統(tǒng)的市面上可購得的操作系統(tǒng)和/或?qū)Ｓ胁僮飨到y(tǒng)?？烧{(diào)整、配置和/或設(shè)計(jì)計(jì)算系統(tǒng)的架構(gòu)以將其整合入處理系統(tǒng)中、嵌入到圖象捕捉系統(tǒng)、通信設(shè)備和/或圖形處理系統(tǒng)中的一個(gè)或多個(gè)中。在一 個(gè)示例中，計(jì)算系統(tǒng)60包括總線602和/或用來在處理器之間通信的其他機(jī)制，不管這些處理器是與計(jì)算系統(tǒng)60集成的處理器(例如604、605)還是位于不同的、可能是物理上分離的計(jì)算系統(tǒng)60中的處理器。一般來說，處理器604和/或605包括CISC或RISC計(jì)算處理器和/或一個(gè)或多個(gè)數(shù)字信號處理器。在一些實(shí)施例中，處理器604和/或605可實(shí)現(xiàn)在定制設(shè)備中和/或作為可配置的定序器而被執(zhí)行。設(shè)備驅(qū)動(dòng)603可提供輸出信號，該輸出信號用來控制內(nèi)部和外部部件并在處理器604、605之間通信。計(jì)算系統(tǒng)60 —般還包括存儲器606，該存儲器606可包括隨機(jī)存取存儲器(RAM)、靜態(tài)存儲器、高速緩沖存儲器、閃存和能耦合至總線602的任何其他類型的存儲設(shè)備中的一種或多種。存儲器606可用來存儲指令和數(shù)據(jù)，該指令和數(shù)據(jù)能使一個(gè)或多個(gè)處理器604、605執(zhí)行所想要的過程。主存儲器606可用于存儲瞬態(tài)數(shù)據(jù)和/或臨時(shí)數(shù)據(jù)，例如在由處理器604或605執(zhí)行指令期間產(chǎn)生和/或使用的變量和中間信息。計(jì)算系統(tǒng)60 —般還包括非易失性存儲器，例如只讀存儲器(“ROM”) 608、閃存、存儲卡等；非易失性存儲可連接至總線602，但也可等同地使用高速通用串行總線(USB)、火線或其它耦合至總線602的這類總線進(jìn)行連接。非易失性存儲器可用于存儲配置以及其它信息，所述其它信息包括由處理器604和/或605執(zhí)行的指令。非易失性存儲器也可包括大容量存儲設(shè)備610，例如磁盤、光盤、閃存盤，該大容量存儲設(shè)備610可直接或間接地耦合至總線602并用來存儲擬由處理器604和/或605執(zhí)行的指令，以及其它信息。在一些實(shí)施例中，計(jì)算系統(tǒng)60可通信地耦合至諸如IXD平板顯示器之類的顯示系統(tǒng)612，包括觸摸平板顯示器、場致發(fā)光顯示器、等離子體顯示器、陰極射線管或其他能夠配置和適配成接收信息并將信息顯示給計(jì)算系統(tǒng)60的使用者的顯示設(shè)備。一般來說，設(shè)備驅(qū)動(dòng)603可包括顯示驅(qū)動(dòng)、圖形適配器和/或維持顯示的數(shù)字表示并將該數(shù)字表示轉(zhuǎn)換成用于驅(qū)動(dòng)顯示系統(tǒng)612的信號的其它模塊。顯示系統(tǒng)612也可包括從由系統(tǒng)600提供的信號中生成顯示的邏輯或軟件。在此方面，顯示器612可被提供作為遠(yuǎn)程終端或被提供在不同的計(jì)算系統(tǒng)60上的會(huì)話中。輸入設(shè)備614 —般在本地提供或通過遠(yuǎn)程系統(tǒng)提供，并一般提供用于字母數(shù)字輸入以及光標(biāo)控制616輸入(例如鼠標(biāo)、軌跡球等)。應(yīng)當(dāng)理解，可將輸入和輸出提供給諸如PDA、平板計(jì)算機(jī)之類的無線設(shè)備或具有適當(dāng)配置以顯示圖像并提供用戶輸入的其它系統(tǒng)。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，所描述的本發(fā)明的諸部分可通過計(jì)算系統(tǒng)60來實(shí)現(xiàn)。處理器604執(zhí)行一個(gè)或多個(gè)序列的指令。例如，在已從諸如存儲設(shè)備610之類的計(jì)算機(jī)可讀介質(zhì)接收指令之后，這些指令可存儲在主存儲器606內(nèi)。包含在主存儲器606中的指令序列的執(zhí)行使處理器604執(zhí)行根據(jù)本發(fā)明某些方面的處理步驟。在某些實(shí)施例中，可由嵌入式計(jì)算系統(tǒng)提供功能，這些嵌入式計(jì)算系統(tǒng)執(zhí)行專用功能，其中這些嵌入式系統(tǒng)采用硬件和軟件的定制組合來執(zhí)行一組預(yù)定義的任務(wù)。因此，本發(fā)明的實(shí)施例不限于硬件電路和軟件的任何具體組合。術(shù)語“計(jì)算機(jī)可讀介質(zhì)”用來定義能夠存儲指令和其它數(shù)據(jù)、并尤其在所述指令由處理器604和/或605和/或處理系統(tǒng)的其它外圍設(shè)備執(zhí)行的情形下將這些指令和其他數(shù)據(jù)提供至處理器604和/或605的任何介質(zhì)。這種介質(zhì)可包括非易失性存儲器、易失性存儲器以及傳輸介質(zhì)。非易失性存儲器可具體化在諸如光盤或磁盤(包括DVD、CD-ROM和藍(lán)光盤)之類的介質(zhì)上。存儲器可在本地提供并在實(shí)體上靠近處理器604、605，或通常通過使用網(wǎng)絡(luò)連接來遠(yuǎn)程地提供。非易失性存儲器可從計(jì)算系統(tǒng)604移除，如同那些能方便地使用包括USB等標(biāo)準(zhǔn)接口以連接于計(jì)算機(jī)或從計(jì)算機(jī)斷開的藍(lán)光、DVD或⑶存儲或存儲卡·或者記憶棒那樣。因此，計(jì)算機(jī)可讀介質(zhì)可包括軟盤、柔性盤、硬盤、磁帶、任何其它磁性介質(zhì)、CD-ROM、DVD、藍(lán)光、任何其它光學(xué)介質(zhì)、穿孔卡片、紙帶、具有孔圖案的任何其它物理介質(zhì)、RAM、PROM、EPROM、FLASH/EEPR0M、任何其它存儲器芯片或磁帶盒、或者計(jì)算機(jī)可從中讀取內(nèi)容的任何其它介質(zhì)。傳輸介質(zhì)可用來連接處理系統(tǒng)的組件和/或計(jì)算系統(tǒng)60的部件。此類介質(zhì)可包括雙絞線、同軸電纜、銅線和光纖。傳輸介質(zhì)也可包括無線介質(zhì)，諸如無線電、聲波和光波。在特定無線電頻率(RF)下，可使用光纖和紅外(IR)數(shù)據(jù)通信。各種形式的計(jì)算機(jī)可讀介質(zhì)可參與提供指令和數(shù)據(jù)以供處理器604和/或605執(zhí)行。例如，最開始可從遠(yuǎn)端計(jì)算機(jī)的磁盤取回指令并在網(wǎng)絡(luò)或調(diào)制解調(diào)器上將指令傳輸至計(jì)算系統(tǒng)60。這些指令可選地在執(zhí)行前或執(zhí)行期間存儲在不同的存儲或存儲的不同部分中。計(jì)算系統(tǒng)60可包括通信接口 618，該通信接口 618提供在網(wǎng)絡(luò)720上的雙向數(shù)據(jù)通信，該網(wǎng)絡(luò)720可包括本地網(wǎng)絡(luò)622、廣域網(wǎng)或兩者的某些組合。例如，綜合業(yè)務(wù)數(shù)字網(wǎng)(ISDN)可與局域網(wǎng)(LAN)結(jié)合使用。在另一示例中，LAN可包括無線鏈路。網(wǎng)絡(luò)鏈路620典型地通過一個(gè)或多個(gè)網(wǎng)絡(luò)將數(shù)據(jù)通信提供至其它數(shù)據(jù)設(shè)備。例如，網(wǎng)絡(luò)鏈路620可提供通過本地網(wǎng)絡(luò)622至主計(jì)算機(jī)624或至例如因特網(wǎng)628之類的廣域網(wǎng)的連接。本地網(wǎng)絡(luò)622和因特網(wǎng)628兩者均可使用攜帶數(shù)字?jǐn)?shù)據(jù)流的電信號、電磁信號或光信號。計(jì)算系統(tǒng)60可使用一個(gè)或多個(gè)網(wǎng)絡(luò)來發(fā)送消息和數(shù)據(jù)，包括程序碼和其它信息。在因特網(wǎng)示例中，服務(wù)器630可通過因特網(wǎng)628發(fā)送對應(yīng)用程序的請求碼，并可作為響應(yīng)接收下載的應(yīng)用，該下載的應(yīng)用提供或增添如以上示例中描述的那些功能性模塊。接收的代碼可由處理器604和/或605來執(zhí)行。本發(fā)明某些方面的附加描述對本發(fā)明的前述描述是說明性而非限定性的。例如，本領(lǐng)域內(nèi)技術(shù)人員應(yīng)當(dāng)理解，本發(fā)明可通過上述功能和能力的各種組合來實(shí)現(xiàn)，并可包括比前述更少或更多的部件。下面闡述本發(fā)明的某些附加方面和特征，并且這些附加方面和特征可使用前面更詳細(xì)描述的功能和部件來獲得，如本領(lǐng)域內(nèi)技術(shù)人員在受到本公開教導(dǎo)后所能理解的那樣。本發(fā)明的某些實(shí)施例提供視頻處理系統(tǒng)和方法。這些實(shí)施例中的一些實(shí)施例包括配置成接收表示由視頻傳感器所捕捉的圖像序列的視頻幀。這些實(shí)施例中的一些實(shí)施例包括視頻編碼器，該視頻編碼器可操作用于根據(jù)所需的視頻編碼標(biāo)準(zhǔn)對視頻幀進(jìn)行編碼。這些實(shí)施例中的一些實(shí)施例包括視頻分析處理器，該視頻分析處理器接收由視頻編碼器從圖像序列所產(chǎn)生的視頻分析元數(shù)據(jù)。在這些實(shí)施例中的一些實(shí)施例中，視頻分析處理器可配置成產(chǎn)生視頻分析消息以發(fā)送至客戶機(jī)設(shè)備。在這些實(shí)施例中的一些實(shí)施例中，視頻分析消息被用于客戶機(jī)側(cè)的視頻分析處理。在這些實(shí)施例中的一些實(shí)施例中，視頻分析元數(shù)據(jù)包括像素域視頻分析信息。在這些實(shí)施例中的一些實(shí)施例中，像素域視頻分析信息包括直接從模擬至數(shù)字前端接收的信息。在這些實(shí)施例中的一些實(shí)施例中，像素域視頻分析信息包括當(dāng)編碼引擎正在執(zhí)行壓縮時(shí)直接從該編碼引擎所接收的信息。在這些實(shí)施例中的一些實(shí)施例中，視頻分析消息包括與背景模型、運(yùn)動(dòng)警報(bào)、虛擬線檢測和電子圖像穩(wěn)定參數(shù)中的一個(gè)或多個(gè)有關(guān)的信息。在這些實(shí)施例中的一些實(shí)施例中，視頻分析消息包括與一組圖像有關(guān)的視頻分析消息，包括與 背景幀、前景對象分割描述符、照相機(jī)參數(shù)、虛擬線以及預(yù)定義運(yùn)動(dòng)警報(bào)區(qū)域中的一個(gè)或多個(gè)有關(guān)的消息。在這些實(shí)施例中的一些實(shí)施例中，視頻分析消息包括與單個(gè)視頻幀有關(guān)的視頻分析消息，包括與全局運(yùn)動(dòng)向量、運(yùn)動(dòng)警報(bào)區(qū)域警報(bào)狀態(tài)、虛擬線計(jì)數(shù)、對象跟蹤參數(shù)以及照相機(jī)運(yùn)動(dòng)參數(shù)中的一個(gè)或多個(gè)有關(guān)的消息。在這些實(shí)施例中的一些實(shí)施例中，視頻分析消息以分層結(jié)構(gòu)網(wǎng)絡(luò)比特流的形式被發(fā)送至客戶機(jī)設(shè)備，該分層結(jié)構(gòu)網(wǎng)絡(luò)比特流包括編碼器所產(chǎn)生的視頻比特流、視頻分析元數(shù)據(jù)的一部分。在這些實(shí)施例中的一些實(shí)施例中，視頻分析消息和視頻分析元數(shù)據(jù)的一部分以札264比特流的補(bǔ)充增強(qiáng)信息網(wǎng)絡(luò)抽象層包單元的形式而被發(fā)送。本發(fā)明的某些實(shí)施例提供視頻解碼系統(tǒng)和方法。這些實(shí)施例中的一些實(shí)施例包括解碼器，該解碼器配置成從網(wǎng)絡(luò)比特流中提取視頻幀和一個(gè)或多個(gè)視頻分析消息。在這些實(shí)施例中的一些實(shí)施例中，視頻分析消息提供與視頻幀的特性有關(guān)的信息。這些實(shí)施例中的一些實(shí)施例包括一個(gè)或多個(gè)視頻處理器，該一個(gè)或多個(gè)視頻處理器配置成基于視頻幀的內(nèi)容和視頻分析消息來產(chǎn)生與該視頻幀有關(guān)的視頻分析元數(shù)據(jù)。在這些實(shí)施例中的一些實(shí)施例中，視頻分析元數(shù)據(jù)包括直接從模擬至數(shù)字前端所接收的像素域視頻分析信息。在這些實(shí)施例中的一些實(shí)施例中，視頻分析元數(shù)據(jù)包括當(dāng)編碼引擎正在執(zhí)行壓縮時(shí)直接從該編碼引擎所接收的像素域視頻分析信息。在這些實(shí)施例中的一些實(shí)施例中，視頻分析消息包括與多個(gè)視頻幀有關(guān)的視頻分析消息，包括與背景幀、前景對象分割描述符、照相機(jī)參數(shù)、虛擬線以及預(yù)定義運(yùn)動(dòng)警報(bào)區(qū)域中的一個(gè)或多個(gè)有關(guān)的消息。在這些實(shí)施例中的一些實(shí)施例中，視頻分析消息包括與單個(gè)視頻幀有關(guān)的視頻分析消息，包括與全局運(yùn)動(dòng)向量、運(yùn)動(dòng)警報(bào)區(qū)域警報(bào)狀態(tài)、虛擬線計(jì)數(shù)、對象跟蹤參數(shù)以及照相機(jī)運(yùn)動(dòng)參數(shù)中的一個(gè)或多個(gè)有關(guān)的消息。在這些實(shí)施例中的一些實(shí)施例中，以H. 264比特流的補(bǔ)充增強(qiáng)信息網(wǎng)絡(luò)抽象層包單元的形式接收視頻分析消息。在這些實(shí)施例中的一些實(shí)施例中，以H. 264比特流的補(bǔ)充增強(qiáng)信息網(wǎng)絡(luò)抽象層包單元的形式接收視頻分析消息以及像素域視頻分析信息的一部分。在這些實(shí)施例中的一些實(shí)施例中，一個(gè)或多個(gè)視頻處理器被配置成產(chǎn)生全局運(yùn)動(dòng)向量。在這些實(shí)施例中的一些實(shí)施例中，一個(gè)或多個(gè)視頻處理器基于視頻分析消息提供電子圖像穩(wěn)定。在這些實(shí)施例中的一些實(shí)施例中，一個(gè)或多個(gè)視頻處理器基于視頻分析消息來提取多個(gè)視頻幀的背景圖像。在這些實(shí)施例中的一些實(shí)施例中，一個(gè)或多個(gè)視頻處理器使用視頻分析消息來監(jiān)測多個(gè)視頻幀中跨越虛擬線的對象。
盡管已參照特定示例性實(shí)施例對本發(fā)明進(jìn)行了描述，然而本領(lǐng)域普通技術(shù)人員當(dāng)然知道可對這些實(shí)施例作出各種修改和變化，而不被離本發(fā)明較寬的精神和范圍。因此，說明書和附圖應(yīng)被認(rèn)為是說明性而非限制性意義。
權(quán)利要求
1.一種視頻處理系統(tǒng)，包括 處理器，配置成接收表示由視頻傳感器所捕捉的圖像序列的視頻幀； 視頻編碼器，用于根據(jù)所需的視頻編碼標(biāo)準(zhǔn)對所述視頻幀進(jìn)行編碼； 視頻分析處理器，接收由所述視頻編碼器從所述圖像序列中產(chǎn)生的視頻分析元數(shù)據(jù)，其中所述視頻分析處理器能經(jīng)配置以產(chǎn)生視頻分析消息以傳輸至客戶機(jī)設(shè)備，其中所述視頻分析消息被用于客戶機(jī)側(cè)視頻分析處理。
2.如權(quán)利要求I所述的視頻處理系統(tǒng)，其特征在于，所述視頻分析元數(shù)據(jù)包括像素域視頻分析信息。
3.如權(quán)利要求2所述的視頻處理系統(tǒng)，其特征在于，所述像素域視頻分析信息包括直接從模擬至數(shù)字前端所接收的信息。
4.如權(quán)利要求2所述的視頻處理系統(tǒng)，其特征在于，所述像素域視頻分析信息包括當(dāng)編碼引擎正在執(zhí)行壓縮時(shí)直接從所述編碼引擎所接收的信息。
5.如權(quán)利要求1-4中的任一項(xiàng)所述的視頻處理系統(tǒng)，其特征在于，所述視頻分析消息包括與背景模型、運(yùn)動(dòng)警報(bào)、虛擬線檢測和電子圖像穩(wěn)定參數(shù)中的一個(gè)或多個(gè)有關(guān)的信息。
6.如權(quán)利要求1-4中的任一項(xiàng)所述的視頻處理系統(tǒng)，其特征在于，所述視頻分析消息包括與一組圖像有關(guān)的視頻分析消息，包括與背景幀、前景對象分割描述符、照相機(jī)參數(shù)、虛擬線以及預(yù)定義運(yùn)動(dòng)警報(bào)區(qū)域中的一個(gè)或多個(gè)有關(guān)的消息。
7.如權(quán)利要求1-4中的任一項(xiàng)所述的視頻處理系統(tǒng)，其特征在于，所述視頻分析消息包括與單個(gè)視頻幀有關(guān)的視頻分析消息，包括與全局運(yùn)動(dòng)向量、運(yùn)動(dòng)警報(bào)區(qū)域警報(bào)狀態(tài)、虛擬線計(jì)數(shù)、對象跟蹤參數(shù)以及照相機(jī)運(yùn)動(dòng)參數(shù)中的一個(gè)或多個(gè)有關(guān)的消息。
8.如權(quán)利要求1-7中的任一項(xiàng)所述的視頻處理系統(tǒng)，其特征在于，所述視頻分析消息以分層結(jié)構(gòu)網(wǎng)絡(luò)比特流的形式被發(fā)送至客戶機(jī)設(shè)備，所述分層結(jié)構(gòu)網(wǎng)絡(luò)比特流包括編碼器所產(chǎn)生的視頻比特流、視頻分析元數(shù)據(jù)的一部分。
9.如權(quán)利要求8所述的視頻處理系統(tǒng)，其特征在于，所述視頻分析消息和視頻分析元數(shù)據(jù)的所述部分以a 264比特流的補(bǔ)充增強(qiáng)信息網(wǎng)絡(luò)抽象層包單元的形式被發(fā)送。
10.一種視頻解碼系統(tǒng),包括 解碼器，配置成從網(wǎng)絡(luò)比特流中提取視頻幀和一個(gè)或多個(gè)視頻分析消息，其中所述視頻分析消息提供與所述視頻幀的特性有關(guān)的信息； 一個(gè)或多個(gè)視頻處理器，配置成基于所述視頻幀的內(nèi)容和所述視頻分析消息來產(chǎn)生與所述視頻幀有關(guān)的視頻分析元數(shù)據(jù)。
11.如權(quán)利要求10所述的視頻解碼系統(tǒng)，其特征在于，所述視頻分析元數(shù)據(jù)包括直接從模擬至數(shù)字前端所接收的像素域視頻分析信息。
12.如權(quán)利要求10所述的視頻解碼系統(tǒng)，其特征在于，所述視頻分析元數(shù)據(jù)包括當(dāng)編碼引擎正在執(zhí)行壓縮時(shí)直接從所述編碼引擎所接收的像素域視頻分析信息。
13.如權(quán)利要求10-12中的任一項(xiàng)所述的視頻解碼系統(tǒng)，其特征在于，所述視頻分析消息包括與多個(gè)視頻幀有關(guān)的視頻分析消息，包括與背景幀、前景對象分割描述符、照相機(jī)參數(shù)、虛擬線以及預(yù)定義運(yùn)動(dòng)警報(bào)區(qū)域中的一個(gè)或多個(gè)有關(guān)的消息。
14.如權(quán)利要求10-12中的任一項(xiàng)所述的視頻解碼系統(tǒng)，其特征在于，所述視頻分析消息包括與單個(gè)視頻幀有關(guān)的視頻分析消息，包括與全局運(yùn)動(dòng)向量、運(yùn)動(dòng)警報(bào)區(qū)域警報(bào)狀態(tài)、虛擬線計(jì)數(shù)、對象跟蹤參數(shù)以及照相機(jī)運(yùn)動(dòng)參數(shù)中的一個(gè)或多個(gè)有關(guān)的消息。
15.如權(quán)利要求10-14中的任一項(xiàng)所述的視頻解碼系統(tǒng)，其特征在于，所述視頻分析消息是按照札264比特流的補(bǔ)充增強(qiáng)信息網(wǎng)絡(luò)抽象層包單元的形式所接收的。
16.如權(quán)利要求11或12所述的視頻解碼系統(tǒng)，其特征在于，所述視頻分析消息是按照H. 264比特流的補(bǔ)充增強(qiáng)信息網(wǎng)絡(luò)抽象層包單元的形式并且與所述像素域視頻分析信息的一部分一起接收的。
17.如權(quán)利要求10-16中任一項(xiàng)所述的視頻解碼系統(tǒng)，其特征在于，所述一個(gè)或多個(gè)視頻處理器被配置成產(chǎn)生全局運(yùn)動(dòng)向量。
18.如權(quán)利要求10-17中的任一項(xiàng)所述的視頻解碼系統(tǒng)，其特征在于，所述一個(gè)或多個(gè)視頻處理器基于所述視頻分析消息來提供電子圖像穩(wěn)定。
19.如權(quán)利要求10-18中的任一項(xiàng)所述的視頻解碼系統(tǒng)，其特征在于，所述一個(gè)或多個(gè)視頻處理器基于所述視頻分析消息來提取多個(gè)視頻幀的背景圖像。
20.如權(quán)利要求10-19中的任一項(xiàng)所述的視頻解碼系統(tǒng)，其特征在于，一個(gè)或多個(gè)視頻處理器使用所述視頻分析消息來監(jiān)測多個(gè)視頻幀中的跨越虛擬線的對象。
全文摘要
描述了視頻處理、編碼以及解碼系統(tǒng)。處理器接收表示由視頻傳感器所捕捉的圖像序列的視頻幀，且這些視頻幀根據(jù)所需的視頻編碼標(biāo)準(zhǔn)來編碼。視頻分析處理器接收由視頻編碼器從圖像序列中產(chǎn)生的視頻分析元數(shù)據(jù)，并產(chǎn)生視頻分析消息以發(fā)送至客戶機(jī)設(shè)備，該客戶機(jī)設(shè)備執(zhí)行客戶機(jī)側(cè)視頻分析處理。該視頻分析元數(shù)據(jù)可包括直接來自模擬至數(shù)字前端的像素域視頻分析信息，或當(dāng)編碼引擎正在執(zhí)行壓縮時(shí)直接來自該引擎的像素域視頻分析信息。
文檔編號H04N7/18GK102726042SQ201080061991
公開日2012年10月10日 申請日期2010年9月2日 優(yōu)先權(quán)日2010年9月2日
發(fā)明者F·施, 代可強(qiáng), 漆長松, 金明 申請人:英特賽爾美國股份有限公司