專(zhuān)利名稱：智能視頻監(jiān)控中的路面圖像提取方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及智能視頻監(jiān)控領(lǐng)域，尤其涉及一種路面圖像提取技術(shù)。
技術(shù)背景智能視頻監(jiān)控(Intelligent Video Surveillance, IVS )是基于計(jì)算機(jī)視覺(jué)技 術(shù)對(duì)監(jiān)控場(chǎng)景的視頻圖像進(jìn)行分析，提取監(jiān)控場(chǎng)景中的關(guān)鍵信息，并形成相應(yīng) 事件和告警的監(jiān)控方式。智能視頻監(jiān)控技術(shù)借助計(jì)算機(jī)強(qiáng)大的數(shù)據(jù)處理功能， 對(duì)視頻圖像中的海量數(shù)據(jù)進(jìn)行高速分析，過(guò)濾掉監(jiān)控者不關(guān)心的信息，而為監(jiān) 控者提供有用的關(guān)鍵信息。智能視頻監(jiān)控以數(shù)字化、網(wǎng)絡(luò)化視頻監(jiān)控為基礎(chǔ)，是一種高端的視頻監(jiān)控 應(yīng)用。監(jiān)控場(chǎng)景中的背景圖像是指靜止背景組成的圖像，例如，從攝像頭捕獲 的視頻流中提取出的一幀圖像包括在公路上行駛的汽車(chē)，公路、以及公路兩旁 的樹(shù)木、房屋等，如果對(duì)該幀圖像進(jìn)行背景圖像的提取，則提取出的背景圖像 由去除汽車(chē)之后的公路、房屋、樹(shù)木等組成。也可以采取二值化圖像的方式區(qū) 分靜止背景和運(yùn)動(dòng)目標(biāo)，例如可以用白色的像素點(diǎn)(像素值為l)表示汽車(chē)等 運(yùn)動(dòng)目標(biāo)，黑色的像素點(diǎn)(像素值為0)表示公路、房屋、樹(shù)木等靜止背景。以智能視頻監(jiān)控的一個(gè)重要分支智能交通監(jiān)控為例，說(shuō)明智能視頻監(jiān)控中 提取背景圖像的作用。智能交通監(jiān)控在路面交通管理、汽車(chē)輔助駕駛系統(tǒng)和自 動(dòng)導(dǎo)航系統(tǒng)等諸多方面發(fā)揮著極其重要的作用。在智能交通監(jiān)控中提取出背景 圖像， 一方面，可以作為進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)的基礎(chǔ)，提取出監(jiān)控路面上運(yùn)動(dòng)的 車(chē)輛；另一方面，可以通過(guò)對(duì)背景圖像的分析，確定車(chē)輛的運(yùn)動(dòng)范圍、確定車(chē) 道線的位置，對(duì)于交通監(jiān)控、車(chē)輛速度統(tǒng)計(jì)、智能駕駛、車(chē)輛數(shù)目統(tǒng)計(jì)等有著 重要的意義?，F(xiàn)有技術(shù)中主要使用時(shí)間差分法和背景差分法提取背景圖像。時(shí)間差分法(Temporal Difference ),又稱為幀間差分法，利用背景圖像中 像素點(diǎn)的像素值和位置都不變的基本假設(shè)提取背景圖像。時(shí)間差分法有多種實(shí) 現(xiàn)方法，其中一種是在連續(xù)的視頻圖像，也稱為視頻流，或者圖像序列的各幀 圖像之間進(jìn)行絕對(duì)差分運(yùn)算，算法流程如圖l所示， 一個(gè)視頻流或者圖像序列 中的兩幀圖像A和&進(jìn)行絕對(duì)差分運(yùn)算得到差分圖像A,再對(duì)差分圖像進(jìn)行 閾值化處理得到二值化圖像，然后使用數(shù)學(xué)形態(tài)學(xué)方法對(duì)二值化圖像進(jìn)行濾波 處理得到A,然后進(jìn)行連通性分析，例如填充前景區(qū)域中的空洞，同時(shí)去除面 積較小的孤立區(qū)域、非連通區(qū)域等，最后進(jìn)行判別，只保留連通區(qū)域中面積大 于給定面積閾值的連通部分，從而提取出背景圖像。背景差分法(Background Subtraction)利用當(dāng)前幀圖像力與平均背景圖像 6w進(jìn)行差分運(yùn)算，從而提取出背景圖像。背景差分法的算法流程如圖2所示， 與時(shí)間差分法的算法流程基本一致，不再一一贅述?，F(xiàn)有技術(shù)中，主要是通過(guò)對(duì)輸入的一系列圖像進(jìn)行簡(jiǎn)單的差分運(yùn)算提取背 景圖像，提取效率低，提取出的背景圖像精確度差，無(wú)法準(zhǔn)確區(qū)分運(yùn)動(dòng)目標(biāo)的 運(yùn)動(dòng)區(qū)域和非運(yùn)動(dòng)區(qū)域，甚至在背景環(huán)境較復(fù)雜的情況下可能會(huì)發(fā)生錯(cuò)誤。例 如對(duì)于智能交通監(jiān)控來(lái)說(shuō)，現(xiàn)有技術(shù)主要是通過(guò)常用的各種運(yùn)動(dòng)檢測(cè)的方法估 計(jì)背景圖像再檢測(cè)出路面上的車(chē)輛，然后再進(jìn)行車(chē)道線檢測(cè)、車(chē)輛速度估計(jì)、 車(chē)輛大小估計(jì)等后續(xù)操作，這些方法對(duì)于監(jiān)控視野中只有一條車(chē)道的情況比較 有效，但是如果視野中有多條車(chē)道，這些方法的效率就會(huì)比較低，甚至出現(xiàn)錯(cuò) 誤。發(fā)明內(nèi)容本發(fā)明提供了 一種智能視頻監(jiān)控中的路面圖像提取方法及裝置，用以準(zhǔn)確 確定監(jiān)控場(chǎng)景中運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)區(qū)域。本發(fā)明提供了一種智能視頻監(jiān)控中的路面圖像提取方法，包括獲取視頻流中的輸入圖像，根據(jù)獲取的輸入圖像生成背景圖像；根據(jù)所述背景圖像檢測(cè)從所述視頻流中獲取的輸入圖像中的運(yùn)動(dòng)像素點(diǎn)， 生成運(yùn)動(dòng)目標(biāo)圖^f象；統(tǒng)計(jì)所生成的運(yùn)動(dòng)目標(biāo)圖像幀數(shù)，并根據(jù)每一幀運(yùn)動(dòng)目標(biāo)圖像中的運(yùn)動(dòng)像 素點(diǎn)，分別統(tǒng)計(jì)各像素點(diǎn)屬于運(yùn)動(dòng)像素點(diǎn)的次數(shù)；當(dāng)所生成的運(yùn)動(dòng)目標(biāo)圖像幀數(shù)達(dá)到設(shè)定幀數(shù)時(shí)，確定統(tǒng)計(jì)次數(shù)大于第一閾 值的像素點(diǎn)組成運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)區(qū)域，并根據(jù)背景圖像和確定出的運(yùn)動(dòng)區(qū)域生 成路面圖像。該路面圖像提取方法中，所述根據(jù)獲取的輸入圖像生成背景圖像，包括 建立初始化背景圖像，初始化背景圖像中各像素點(diǎn)的像素值均為0; 對(duì)當(dāng)前幀輸入圖像與其前一幀輸入圖像進(jìn)行絕對(duì)差分運(yùn)算，得到第一差分 圖像；對(duì)所述第一差分圖像進(jìn)行閾值化處理和濾波處理，得到二值前景圖像； 根據(jù)每一幀二值前景圖像確定靜止像素點(diǎn)，分別統(tǒng)計(jì)各像素點(diǎn)屬于靜止像素點(diǎn)的次數(shù)，并當(dāng)像素點(diǎn)的統(tǒng)計(jì)次數(shù)大于第二閾值時(shí)，在初始化背景圖像中更新對(duì)應(yīng)像素點(diǎn)的像素值；當(dāng)初始化背景圖像中各像素點(diǎn)的像素值均被更新后，將初始化背景圖像中各像素點(diǎn)的像素值除以更新次數(shù)，生成背景圖像。所述像素點(diǎn)更新后的像素值為該像素點(diǎn)更新前的像素值與當(dāng)前幀輸入圖像中該像素點(diǎn)的像素值之和。該路面圖像提取方法，還包括根據(jù)所述運(yùn)動(dòng)目標(biāo)圖像和輸入圖像更新背景圖像。其中，所述根據(jù)運(yùn)動(dòng)目標(biāo)圖像和輸入圖像更新背景圖像，具體包括根據(jù)每一幀輸入圖像對(duì)應(yīng)的運(yùn)動(dòng)目標(biāo)圖像確定靜止像素點(diǎn)；更新背景圖像中各靜止像素點(diǎn)的像素值。所述背景圖像中各靜止像素點(diǎn)更新后的像素值為該像素點(diǎn)在當(dāng)前幀輸入圖像中的像素值乘以第一權(quán)重與在前一幀輸入圖像中的像素值乘以第二權(quán)重 之和，所述第一權(quán)重和第二權(quán)重之和為1。該路面圖像提取方法中，所述根據(jù)背景圖像檢測(cè)從所述視頻流中獲取的輸入圖像中的運(yùn)動(dòng)像素點(diǎn)，生成運(yùn)動(dòng)目標(biāo)圖像，包括將獲取的輸入圖像與背景圖像進(jìn)行絕對(duì)差分運(yùn)算，得到第二差分圖像； 對(duì)所述第二差分圖像進(jìn)行閾值化處理和濾波處理，檢測(cè)出運(yùn)動(dòng)像素點(diǎn)，生成運(yùn)動(dòng)目標(biāo)圖像。本發(fā)明提供了 一種智能視頻監(jiān)控中的路面圖像提取裝置，包括 圖像獲取模塊用于獲取視頻流中的輸入圖像； 背景建模模塊用于根據(jù)獲取的輸入圖像生成背景圖像； 運(yùn)動(dòng)檢測(cè)模塊用于根據(jù)所述背景圖像檢測(cè)從所述視頻流中獲取的輸入圖像中的運(yùn)動(dòng)像素點(diǎn)，生成運(yùn)動(dòng)目標(biāo)圖像；路面圖像合成模塊用于統(tǒng)計(jì)所生成的運(yùn)動(dòng)目標(biāo)圖像幀數(shù)，并根據(jù)每一幀運(yùn)動(dòng)目標(biāo)圖像中的運(yùn)動(dòng)像素點(diǎn)，分別統(tǒng)計(jì)各像素點(diǎn)屬于運(yùn)動(dòng)像素點(diǎn)的次數(shù)，當(dāng)所生成的運(yùn)動(dòng)目標(biāo)圖像幀數(shù)達(dá)到設(shè)定幀數(shù)時(shí)，確定統(tǒng)計(jì)次數(shù)大于第一閾值的像素點(diǎn)組成運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)區(qū)域，并根據(jù)背景圖像和確定出的運(yùn)動(dòng)區(qū)域生成路面圖像。該路面圖像提取裝置，還包括背景更新模塊用于根據(jù)運(yùn)動(dòng)目標(biāo)圖像和輸入圖像更新背景建模模塊中的 背景圖像。本發(fā)明提供的智能視頻監(jiān)控中的路面圖像提取方法及裝置，首先根據(jù)輸入 圖像確定背景圖像，再根據(jù)確定出的背景圖^^:測(cè)輸入圖像中的運(yùn)動(dòng)像素點(diǎn)， 利用運(yùn)動(dòng)檢測(cè)得到的運(yùn)動(dòng)目標(biāo)圖像確定運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)區(qū)域，從而根據(jù)運(yùn)動(dòng)區(qū) 域和背景圖像生成路面圖像，可以準(zhǔn)確確定出監(jiān)控場(chǎng)景中運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)區(qū) 域，有效應(yīng)對(duì)運(yùn)動(dòng)區(qū)域比較復(fù)雜的情況，提高確定出的路面圖像的精確度。


圖1為現(xiàn)有技術(shù)中時(shí)間差分法處理流程示意圖；圖2為現(xiàn)有技術(shù)中背景差分法處理流程示意圖；圖3為本發(fā)明實(shí)施例中路面圖像提取方法流程圖；圖4為本發(fā)明實(shí)施例中另一種路面圖像提取方法流程圖；'圖5為本發(fā)明實(shí)施例中路面圖像提取裝置框圖；圖6為本發(fā)明實(shí)施例中路面圖像提取裝置另 一種結(jié)構(gòu)框圖；圖7a為本發(fā)明實(shí)施例中從視頻流中獲取的一幀輸入圖像示意圖；圖7b為本發(fā)明實(shí)施例中根據(jù)輸入圖像生成的背景圖像示意圖；圖7c為本發(fā)明實(shí)施例中提取出的路面圖像示意圖。
具體實(shí)施方式
本發(fā)明實(shí)施例提供了一種智能視頻監(jiān)控中的路面圖像提取方法及裝置，用 以準(zhǔn)確確定監(jiān)控場(chǎng)景中運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)區(qū)域。頭從監(jiān)控場(chǎng)景中提取出的連續(xù)視頻圖像，視頻流可以看作由時(shí)間上連續(xù)的若干 幀圖像組成；輸入圖像，是指從視頻流中獲取的圖像；背景圖像是指輸入圖像 中靜止背景組成的圖像，例如智能交通監(jiān)控中的公路、公路兩旁的房屋、樹(shù)木 等，背景圖像中包括運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)區(qū)域和非運(yùn)動(dòng)區(qū)域；路面圖像，是指監(jiān)控 場(chǎng)景中運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)區(qū)域組成的圖像，此處"路面"是一個(gè)相對(duì)廣義的概念， 在具體應(yīng)用場(chǎng)景中有具體含義，例如智能交通監(jiān)控中是指車(chē)輛行駛的公路。準(zhǔn) 確提取出監(jiān)控場(chǎng)景中的路面圖像，才能區(qū)分運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)區(qū)域和非運(yùn)動(dòng)區(qū) 域，從而為運(yùn)動(dòng)目標(biāo)檢測(cè)、統(tǒng)計(jì)、監(jiān)控等提供基礎(chǔ)。本發(fā)明實(shí)施例提供了一種智能視頻監(jiān)控中的路面圖像提取方法，如圖3所 示，包括S301、獲取視頻流中的輸入圖像，根據(jù)獲取的輸入圖像生成背景圖像；85302、 根據(jù)背景圖像檢測(cè)從視頻流中獲取的輸入圖像中的運(yùn)動(dòng)像素點(diǎn)，生 成運(yùn)動(dòng)目標(biāo)圖像；5303、 統(tǒng)計(jì)所生成的運(yùn)動(dòng)目標(biāo)圖像幀數(shù)，并4艮據(jù)每一幀運(yùn)動(dòng)目標(biāo)圖像中的 運(yùn)動(dòng)像素點(diǎn)，分別統(tǒng)計(jì)各像素點(diǎn)屬于運(yùn)動(dòng)像素點(diǎn)的次數(shù)；5304、 當(dāng)所生成的運(yùn)動(dòng)目標(biāo)圖像幀數(shù)達(dá)到設(shè)定幀數(shù)時(shí)，確定統(tǒng)計(jì)次數(shù)大于 第一閾值的像素點(diǎn)組成運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)區(qū)域，并根據(jù)背景圖像和確定出的運(yùn)動(dòng) 區(qū)域生成路面圖像。本發(fā)明實(shí)施例提供的智能視頻監(jiān)控中的路面圖像提取方法，根據(jù)背景圖像 檢測(cè)輸入圖像中的運(yùn)動(dòng)像素點(diǎn)，也即檢測(cè)運(yùn)動(dòng)目標(biāo)，利用運(yùn)動(dòng)檢測(cè)得到的運(yùn)動(dòng) 目標(biāo)圖像提取運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)區(qū)域，從而進(jìn)一步確定出路面圖像，可以準(zhǔn)確確 定出監(jiān)控場(chǎng)景中運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)區(qū)域，有效應(yīng)對(duì)運(yùn)動(dòng)區(qū)域比較復(fù)雜的情況，提 高確定出的路面圖像的精確度。下面以具體實(shí)施例詳細(xì)說(shuō)明該路面圖像提取方法，首先根據(jù)從視頻流獲取 的輸入圖像生成背景圖像；生成背景圖像后，根據(jù)背景圖像對(duì)視頻流中獲取的 輸入圖像進(jìn)行運(yùn)動(dòng)檢測(cè)，檢測(cè)出輸入圖像中的運(yùn)動(dòng)像素點(diǎn)，即運(yùn)動(dòng)目標(biāo)，生成 運(yùn)動(dòng)目標(biāo)圖像；再根據(jù)運(yùn)動(dòng)目標(biāo)圖像確定運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)區(qū)域，從而根據(jù)運(yùn)動(dòng) 區(qū)域和背景圖像生成路面圖像。較優(yōu)的，根據(jù)運(yùn)動(dòng)目標(biāo)圖像和輸入圖像更新背景圖像，以適應(yīng)監(jiān)控場(chǎng)景中背景環(huán)境的變化，使提取出的路面圖像更加精確。 如圖4所示，處理流程包括5401、 從攝像頭捕獲的視頻流中獲取輸入圖像，根據(jù)獲取的輸入圖像生成 背景圖像；5402、 確定一個(gè)設(shè)定幀數(shù)N，參數(shù)i初始化為l;例如設(shè)定幀數(shù)為IOO幀，則后續(xù)依次從第1幀輸入圖像開(kāi)始進(jìn)行循環(huán)處理， 到處理完第100幀輸入圖像時(shí)結(jié)束循環(huán)；5403、 獲取輸入圖像，根據(jù)背景圖像檢測(cè)該輸入圖像的運(yùn)動(dòng)像素點(diǎn)，即運(yùn) 動(dòng)目標(biāo)，生成運(yùn)動(dòng)目標(biāo)圖像；5404、 根據(jù)該運(yùn)動(dòng)目標(biāo)圖像和輸入圖像更新背景圖像，對(duì)背景圖像的更新 是為了適應(yīng)監(jiān)控場(chǎng)景中背景環(huán)境的變化；5405、 統(tǒng)計(jì)各像素點(diǎn)的次數(shù)，根據(jù)運(yùn)動(dòng)目標(biāo)圖像中的運(yùn)動(dòng)像素點(diǎn)，將對(duì)應(yīng) 像素點(diǎn)的統(tǒng)計(jì)次數(shù)加1，各像素點(diǎn)的統(tǒng)計(jì)次數(shù)初始化為0;5406、 統(tǒng)計(jì)所生成的運(yùn)動(dòng)目標(biāo)圖像幀數(shù)，具體統(tǒng)計(jì)方法為參數(shù)1+1，并判 斷i是否大于N,如果否，則說(shuō)明所生成的運(yùn)動(dòng)目標(biāo)圖像幀數(shù)沒(méi)有達(dá)到設(shè)定幀 數(shù)，則返回執(zhí)行S403，如果是，則說(shuō)明所生成的運(yùn)動(dòng)目標(biāo)圖像幀數(shù)達(dá)到了設(shè)定 幀數(shù)，則執(zhí)行S407;5407、 確定統(tǒng)計(jì)次數(shù)大于第一閾值的像素點(diǎn)組成運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)區(qū)域，并 根據(jù)確定出的運(yùn)動(dòng)區(qū)域和背景圖像生成路面圖像，第一閾值為根據(jù)設(shè)定幀數(shù)確 定的數(shù)值，第一閾值小于設(shè)定幀數(shù)；因?yàn)榇_定出的運(yùn)動(dòng)區(qū)域采用二值化的表示方式，即像素值為l表示為運(yùn)動(dòng) 區(qū)域，像素值為O表示為非運(yùn)動(dòng)區(qū)域，即運(yùn)動(dòng)區(qū)域只是表明路面圖像的范圍， 而并未表明該范圍內(nèi)各像素點(diǎn)的具體像素值，所以需要根據(jù)確定出的運(yùn)動(dòng)區(qū)域 與背景圖像才能準(zhǔn)確確定路面圖像。在上述流程中，對(duì)背景圖像的更新可以在統(tǒng)計(jì)J象素點(diǎn)的次數(shù)之后執(zhí)行，即 S404在S405之后執(zhí)行；或者，對(duì)背景圖像的更新與統(tǒng)計(jì)像素點(diǎn)的次數(shù)同時(shí)執(zhí) 行，即S404與S405同時(shí)執(zhí)行。本發(fā)明實(shí)施例提供的智能視頻監(jiān)控中的路面圖像提取方法，以幀間差分法 為基礎(chǔ)，估計(jì)出背景圖像，然后再檢測(cè)運(yùn)動(dòng)目標(biāo)，提高了圖像提取的精確度； 利用運(yùn)動(dòng)檢測(cè)得到的運(yùn)動(dòng)目標(biāo)圖像估計(jì)運(yùn)動(dòng)區(qū)域，可以有效應(yīng)對(duì)運(yùn)動(dòng)區(qū)域復(fù)雜 的情況，例如交通監(jiān)控中的多車(chē)道情況；利用提取出的路面圖像，可以簡(jiǎn)單有 效的進(jìn)行運(yùn)動(dòng)目標(biāo)速度統(tǒng)計(jì)、智能控制、運(yùn)動(dòng)目標(biāo)數(shù)目統(tǒng)計(jì)等后續(xù)操作，應(yīng)用 廣泛。本發(fā)明實(shí)施例同時(shí)提供了一種路面圖像提取裝置，如圖5所示，包括 圖像獲取模塊501:用于獲取視頻流中的輸入圖像；背景建模模塊502:用于根據(jù)獲取的輸入圖像生成背景圖像； 運(yùn)動(dòng)檢測(cè)模塊503:用于根據(jù)背景圖像檢測(cè)從^L頻流中獲取的輸入圖像中 的運(yùn)動(dòng)像素點(diǎn)，生成運(yùn)動(dòng)目標(biāo)圖像；路面圖像合成模塊504:用于統(tǒng)計(jì)所生成的運(yùn)動(dòng)目標(biāo)圖像幀數(shù)，并根據(jù)每 一幀運(yùn)動(dòng)目標(biāo)圖像中的運(yùn)動(dòng)像素點(diǎn)，分別統(tǒng)計(jì)各像素點(diǎn)屬于運(yùn)動(dòng)像素點(diǎn)的次 數(shù)，當(dāng)所生成的運(yùn)動(dòng)目標(biāo)圖像幀數(shù)達(dá)到設(shè)定幀數(shù)時(shí)，確定統(tǒng)計(jì)次數(shù)大于第一閾 值的像素點(diǎn)組成運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)區(qū)域，并根據(jù)確定出的運(yùn)動(dòng)區(qū)域和背景圖像生 成路面圖像。較優(yōu)的，如圖6所示，該裝置還包括背景更新模塊505,其中 背景更新模塊505:用于根據(jù)運(yùn)動(dòng)目標(biāo)圖像和輸入圖像更新背景建模模塊 502中的背景圖^象。下面對(duì)本發(fā)明實(shí)施例中各模塊的實(shí)現(xiàn)原理和具體處理方法進(jìn)行詳細(xì)介紹。 首先介紹背景建才莫模塊的實(shí)現(xiàn)原理。智能視頻監(jiān)控中的運(yùn)動(dòng)目標(biāo)一般都是運(yùn)動(dòng)的，在一段時(shí)間比較長(zhǎng)的視頻流 中，對(duì)于每個(gè)像素點(diǎn)，總會(huì)在某幾幀輸入圖像中屬于非運(yùn)動(dòng)點(diǎn)，此時(shí)該像素點(diǎn) 的像素值就是背景圖像中對(duì)應(yīng)位置的像素值。本發(fā)明實(shí)施例根據(jù)該基本思想， 利用背景建才莫模塊4是取監(jiān)控場(chǎng)景的背景圖像。首先建立一幅初始化背景圖像，表示為[/,(x,力]一，其中w和A分別表示該 初始化背景圖像的寬度和高度，各像素點(diǎn)的像素值初始化均為0;構(gòu)造矩陣 [^"力]v^和[C(x，力]m ，其中iV(;c，力表示像素點(diǎn)(;c,力屬于靜止像素點(diǎn)的次數(shù)， C(x,力表示像素點(diǎn)(x,力的更新次數(shù)，并且均初始化為全0矩陣。對(duì)從一段視頻流中依次提取的若干幀輸入圖像，重復(fù)進(jìn)行如下操作對(duì)于每一幀輸入圖像A，與其前一幀輸入圖像；,進(jìn)行絕對(duì)差分運(yùn)算，即計(jì)算兩幀輸入圖像中每個(gè)像素點(diǎn)對(duì)應(yīng)的像素值之差的絕對(duì)值，得到該相鄰兩幀的差分圖像，為了與后續(xù)出現(xiàn)的差分圖像進(jìn)行區(qū)分，此處稱為第一差分圖像；再 對(duì)每個(gè)第一差分圖像進(jìn)行閾值化處理得到二值化圖{象，二值化圖像是指圖像中每個(gè)像素點(diǎn)的像素值為0或者1，其中運(yùn)動(dòng)像素點(diǎn)為1,靜止像素點(diǎn)為0,閾值 化處理可以將每個(gè)第 一差分圖像分割成互不包含的兩類(lèi)；采用形態(tài)學(xué)方法對(duì)二值化圖像進(jìn)行濾波處理，得到二值前景圖像 [5(u)]w，其中靜止像素點(diǎn)的像素值為0,運(yùn)動(dòng)像素點(diǎn)的像素值為1;該二值前景圖4象上，如果5(乂，力=0，則A^c，力力口 1,如果S(jc，力-1，則W(x，力不變。設(shè)定閾值為r,為了與上文中的第一閾值區(qū)分，此處閾值r稱為第二閾值；當(dāng)iv(x，力> r時(shí)，則寺丸行才乘作"o,力加/, o，力，co，力力口 1;經(jīng)過(guò)對(duì)若干幀輸入圖像的處理后，當(dāng)所有的C(x,力均大于0時(shí)，對(duì)初始化 背景圖像中任意像素點(diǎn)Oc，力的像素值執(zhí)行如公式[l]所示的操作，即得到背景圖/:"力-/辦,力/0"力 [1]公式[l]是指背景圖像中各像素點(diǎn)的像素值等于更新后的初始化背景圖像 中各像素點(diǎn)的像素值除以更新次數(shù)。對(duì)本發(fā)明實(shí)施例中采用形態(tài)學(xué)方法對(duì)二值化圖像進(jìn)行濾波處理，進(jìn)行簡(jiǎn)單 介紹，形態(tài)學(xué)方法包括膨脹運(yùn)算、腐蝕運(yùn)算、開(kāi)運(yùn)算、關(guān)運(yùn)算等，對(duì)二值化圖 像進(jìn)行濾波處理，主要是填充前景區(qū)域中的空洞，同時(shí)去除面積較小的孤立區(qū) 域、非連通區(qū)域，只保留連通區(qū)域的面積大于給定閾值的連通部分，此處閾值 可以稱為第三闊值，具體包括如下步驟a、 對(duì)二值化圖像進(jìn)行中值濾波，以去除孤立的噪聲點(diǎn)，例如進(jìn)行3x3的中值濾波；b、 對(duì)步驟a得到的圖像進(jìn)行形態(tài)學(xué)膨脹操作，例如進(jìn)行5x5的形態(tài)學(xué)膨脹 操作；c、 對(duì)步驟b得到的圖像進(jìn)行邊界跟蹤(Bound Tracking),或者邊緣點(diǎn)連 接(Edge Point Linking),得到圖像中每個(gè)連通區(qū)域的邊界，從而獲得每個(gè)連 通區(qū)域的相關(guān)信息，如大小、面積等，然后去除面積小于設(shè)定的第三閾值或者 形狀不規(guī)則的連通區(qū)域，可以根據(jù)需要靈活設(shè)定；d、將步驟C中獲取的輪廓內(nèi)部的像素點(diǎn)設(shè)置為前景點(diǎn)，以填充其中可能 存在的空洞。接著介紹運(yùn)動(dòng)4企測(cè)模塊的實(shí)現(xiàn)原理。目前常用的運(yùn)動(dòng)檢測(cè)算法，包括光流法、幀間差分法、背景差分法等等。 本發(fā)明實(shí)施例采用背景差分法，即在每個(gè)像素點(diǎn)Oc,力，計(jì)算輸入圖像與背景圖 像的對(duì)應(yīng)像素值的差的絕對(duì)值，得到差分圖像[A(;c,力]^，為了便于區(qū)分，此處 稱為第二差分圖像；再對(duì)第二差分圖像進(jìn)行閾值化處理，區(qū)分運(yùn)動(dòng)像素點(diǎn)和靜止像素點(diǎn)，得到二值化圖像，運(yùn)動(dòng)像素點(diǎn)即為組成運(yùn)動(dòng)目標(biāo)的像素點(diǎn)；然后使 用數(shù)學(xué)形態(tài)學(xué)方法對(duì)二值化圖像進(jìn)行濾波處理，填充前景區(qū)域中的空洞，同時(shí) 去除面積較小的孤立區(qū)域、非連通區(qū)域，只保留連通區(qū)域的面積大于給定闊值 的連通部分，得到運(yùn)動(dòng)目標(biāo)圖像。運(yùn)動(dòng)目標(biāo)圖像也為二值化圖像，其中靜止像 素點(diǎn)的像素值為0,運(yùn)動(dòng)像素點(diǎn)的像素值為1; 接著介紹背景更新模塊的實(shí)現(xiàn)原理。對(duì)背景圖像進(jìn)行更新，可以釆用多種方法實(shí)現(xiàn)，本發(fā)明實(shí)施例介紹其中一 種的實(shí)現(xiàn)方法，如^^式[2]所示設(shè)f時(shí)刻，輸入圖像為/,，經(jīng)運(yùn)動(dòng)檢測(cè)模塊處理之后得到的運(yùn)動(dòng)目標(biāo)圖像 為《，則更新背景圖像中每個(gè)像素點(diǎn)(x,力處的像素值/^,;c,力，如公式[3]所示<formula>formula see original document page 13</formula>其中，條件巧(;c，力-O是指運(yùn)動(dòng)目標(biāo)圖像中像素值為0的像素點(diǎn)，對(duì)應(yīng)靜止 像素點(diǎn)，"為第一權(quán)重，是大于0小于1的常數(shù)，l-"為第二權(quán)重，a可以根 據(jù)需要靈活設(shè)定。最后介紹路面圖像合成模塊的實(shí)現(xiàn)原理。圖像合成主要是區(qū)分運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)區(qū)域和非運(yùn)動(dòng)區(qū)域，以智能交通監(jiān)控 為例，主要是確定各種交通工具運(yùn)行的公路所在的位置，以區(qū)分出非路面，例<formula>formula see original document page 13</formula>如路兩旁的房屋、樹(shù)木等。具體實(shí)現(xiàn)流程如下構(gòu)造矩陣[i 0c,力U，其中任意元素i (x，力表示(;c,力處 的像素點(diǎn)屬于運(yùn)動(dòng)目標(biāo)圖像中運(yùn)動(dòng)像素點(diǎn)的統(tǒng)計(jì)次數(shù)，初始化為全0矩陣；對(duì) 從一段視頻流中提取的輸入圖像，對(duì)每 一 幀重復(fù)進(jìn)行如下操作對(duì)每個(gè)像素點(diǎn)，如果在運(yùn)動(dòng)檢測(cè)模塊檢測(cè)到的運(yùn)動(dòng)目標(biāo)圖像上該像素 點(diǎn)的像素值為1,也即確定為運(yùn)動(dòng)像素點(diǎn)，則將/ (;c,力的值加1,否則i (x，力的 值保持不變。當(dāng)檢測(cè)了設(shè)定幀數(shù)的輸入圖像，也即生成了設(shè)定幀數(shù)的運(yùn)動(dòng)目標(biāo)圖像之 后，使用閾值化處理的方法將矩陣i 中所有像素點(diǎn)分成兩類(lèi)，即運(yùn)動(dòng)目標(biāo)的運(yùn) 動(dòng)區(qū)域和非運(yùn)動(dòng)區(qū)域，生成二值化圖像，如果像素點(diǎn)對(duì)應(yīng)的統(tǒng)計(jì)次數(shù)大于設(shè)定 的第一閾值，則判定該像素點(diǎn)屬于運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)區(qū)域，運(yùn)動(dòng)區(qū)域中像素點(diǎn)對(duì) 應(yīng)的像素值為1,反之屬于非運(yùn)動(dòng)區(qū)域，非運(yùn)動(dòng)區(qū)域中像素點(diǎn)對(duì)應(yīng)的像素值為 0。較優(yōu)的，還可以使用數(shù)學(xué)形態(tài)學(xué)方法對(duì)得到的二值化圖像進(jìn)行濾波處理， 以去除誤檢區(qū)域，進(jìn)一步提高提取的精確性。例如對(duì)于智能交通監(jiān)控中的路面 提取來(lái)說(shuō)， 一般情況下，每條道路至少會(huì)經(jīng)過(guò)圖像的兩條邊，可以利用這個(gè)假 設(shè)去除大部分的誤^r區(qū)域；當(dāng)然對(duì)于不同的實(shí)際場(chǎng)景還有不同的判別原則，可 以根據(jù)實(shí)際情況確定。最后，根據(jù)背景圖像和確定出的運(yùn)動(dòng)區(qū)域即可生成路面圖像，因?yàn)檫\(yùn)動(dòng)區(qū) 域中各像素點(diǎn)對(duì)應(yīng)的像素值為i，非運(yùn)動(dòng)區(qū)域中各^f象素點(diǎn)對(duì)應(yīng)的像素值為0， 所以路面圖像的范圍便可由運(yùn)動(dòng)區(qū)域劃定。路面圖^f象的范圍劃定之后，該范圍 內(nèi)各像素點(diǎn)的像素值可以根據(jù)背景圖像確定，從而生成路面圖像。為了便于理解，以幾副圖像為例進(jìn)行介紹。請(qǐng)參見(jiàn)圖7a，是從一段視頻流中獲取的一幀輸入圖像，該幀輸入圖像中的 運(yùn)動(dòng)目標(biāo)為汽車(chē)；靜止背景為高速公路，以及高速公路兩旁的植被、土地等。 請(qǐng)參見(jiàn)圖7b，是根據(jù)從該段視頻流中獲取的若千幀輸入圖像所生成的背景14圖像，可以看出，運(yùn)動(dòng)目標(biāo)汽車(chē)在背景圖像中已被去除，僅保留了靜止背景。 該背景圖像中運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)區(qū)域?yàn)楦咚俟?，非運(yùn)動(dòng)區(qū)域?yàn)楦咚俟穬膳缘?植被、土地等。本發(fā)明的目的正是要準(zhǔn)確提取運(yùn)動(dòng)區(qū)域高速公路組成的圖像。請(qǐng)參見(jiàn)圖7c，采用本發(fā)明實(shí)施例提供的路面圖像提取方法，通過(guò)運(yùn)動(dòng)檢測(cè)準(zhǔn)確確定出了運(yùn)動(dòng)區(qū)域和非運(yùn)動(dòng)區(qū)域，其中非運(yùn)動(dòng)區(qū)域?yàn)殇忼X線內(nèi)用"X"標(biāo)示的區(qū)域。從背景圖像中去除該部分非運(yùn)動(dòng)區(qū)域后即可得到路面圖像。明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及 其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。
權(quán)利要求
1、一種智能視頻監(jiān)控中的路面圖像提取方法，其特征在于，包括獲取視頻流中的輸入圖像，根據(jù)獲取的輸入圖像生成背景圖像；根據(jù)所述背景圖像檢測(cè)從所述視頻流中獲取的輸入圖像中的運(yùn)動(dòng)像素點(diǎn)，生成運(yùn)動(dòng)目標(biāo)圖像；統(tǒng)計(jì)所生成的運(yùn)動(dòng)目標(biāo)圖像幀數(shù)，并根據(jù)每一幀運(yùn)動(dòng)目標(biāo)圖像中的運(yùn)動(dòng)像素點(diǎn)，分別統(tǒng)計(jì)各像素點(diǎn)屬于運(yùn)動(dòng)像素點(diǎn)的次數(shù)；當(dāng)所生成的運(yùn)動(dòng)目標(biāo)圖像幀數(shù)達(dá)到設(shè)定幀數(shù)時(shí)，確定統(tǒng)計(jì)次數(shù)大于第一閾值的像素點(diǎn)組成運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)區(qū)域，并根據(jù)背景圖像和確定出的運(yùn)動(dòng)區(qū)域生成路面圖像。
2、 如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)獲取的輸入圖像生 成背景圖像，包括建立初始化背景圖像，初始化背景圖像中各像素點(diǎn)的像素值均為0; 對(duì)當(dāng)前幀輸入圖像與其前一幀輸入圖像進(jìn)行絕對(duì)差分運(yùn)算，得到第一差分 圖像；對(duì)所述第一差分圖像進(jìn)行閾值化處理和濾波處理，得到二值前景圖像； 根據(jù)每一幀二值前景圖像確定靜止像素點(diǎn)，分別統(tǒng)計(jì)各像素點(diǎn)屬于靜止像素點(diǎn)的次數(shù)，并當(dāng)像素點(diǎn)的統(tǒng)計(jì)次數(shù)大于第二閾值時(shí)，在初始化背景圖像中更新對(duì)應(yīng)像素點(diǎn)的像素值；當(dāng)初始化背景圖像中各像素點(diǎn)的像素值均被更新后，將初始化背景圖像中各像素點(diǎn)的像素值除以更新次數(shù)，生成背景圖像。
3、 如權(quán)利要求2所述的方法，其特征在于，所述像素點(diǎn)更新后的像素值 為該像素點(diǎn)更新前的像素值與當(dāng)前幀輸入圖像中該像素點(diǎn)的像素值之和。
4、 如權(quán)利要求l所述的方法，其特征在于，還包括 根據(jù)所述運(yùn)動(dòng)目標(biāo)圖像和輸入圖像更新背景圖像。
5、 如權(quán)利要求4所述的方法，其特征在于，所述根據(jù)運(yùn)動(dòng)目標(biāo)圖像和輸入圖像更新背景圖像，包括根據(jù)每一幀輸入圖像對(duì)應(yīng)的運(yùn)動(dòng)目標(biāo)圖像確定靜止像素點(diǎn)； 更新背景圖像中各靜止像素點(diǎn)的像素值。
6、 如權(quán)利要求5所述的方法，其特征在于，所述背景圖像中各靜止像素 點(diǎn)更新后的像素值為該像素點(diǎn)在當(dāng)前幀輸入圖像中的像素值乘以第一權(quán)重與 在前一幀輸入圖像中的像素值乘以第二權(quán)重之和，所述第一權(quán)重和第二權(quán)重之 和為1。
7、 如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)背景圖像檢測(cè)從所 述視頻流中獲取的輸入圖像中的運(yùn)動(dòng)像素點(diǎn)，生成運(yùn)動(dòng)目標(biāo)圖像，包括將獲取的輸入圖像與背景圖像進(jìn)行絕對(duì)差分運(yùn)算，得到第二差分圖像； 對(duì)所述第二差分圖像進(jìn)行閾值化處理和濾波處理，檢測(cè)出運(yùn)動(dòng)像素點(diǎn)，生 成運(yùn)動(dòng)目標(biāo)圖像。
8、 一種智能視頻監(jiān)控中的路面圖像提取裝置，其特征在于，包括 圖像獲取模塊用于獲取視頻流中的輸入圖像； 背景建模模塊用于根據(jù)獲取的輸入圖像生成背景圖像； 運(yùn)動(dòng)檢測(cè)模塊用于根據(jù)所述背景圖像檢測(cè)從所述視頻流中獲取的輸入圖像中的運(yùn)動(dòng)像素點(diǎn)，生成運(yùn)動(dòng)目標(biāo)圖像；路面圖像合成模塊用于統(tǒng)計(jì)所生成的運(yùn)動(dòng)目標(biāo)圖像幀數(shù)，并根據(jù)每一幀 運(yùn)動(dòng)目標(biāo)圖像中的運(yùn)動(dòng)像素點(diǎn)，分別統(tǒng)計(jì)各像素點(diǎn)屬于運(yùn)動(dòng)像素點(diǎn)的次數(shù)，當(dāng) 所生成的運(yùn)動(dòng)目標(biāo)圖像幀數(shù)達(dá)到設(shè)定幀數(shù)時(shí)，確定統(tǒng)計(jì)次數(shù)大于第一閾值的像 素點(diǎn)組成運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)區(qū)域，并根據(jù)背景圖像和確定出的運(yùn)動(dòng)區(qū)域生成路面 圖像。
9、 如權(quán)利要求8所述的裝置，其特征在于，還包括 背景更新模塊用于根據(jù)運(yùn)動(dòng)目標(biāo)圖像和輸入圖像更新背景建模模塊中的背景圖像。
全文摘要
本發(fā)明涉及智能視頻監(jiān)控領(lǐng)域，尤其涉及一種路面圖像提取技術(shù)。本發(fā)明提供了一種智能視頻監(jiān)控中的路面圖像提取方法及裝置，用以準(zhǔn)確確定監(jiān)控場(chǎng)景中運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)區(qū)域。路面圖像提取方法包括獲取視頻流中的輸入圖像，根據(jù)獲取的輸入圖像生成背景圖像；根據(jù)背景圖像檢測(cè)從視頻流中獲取的輸入圖像中的運(yùn)動(dòng)像素點(diǎn)，生成運(yùn)動(dòng)目標(biāo)圖像；統(tǒng)計(jì)所生成的運(yùn)動(dòng)目標(biāo)圖像幀數(shù)，并根據(jù)每一幀運(yùn)動(dòng)目標(biāo)圖像中的運(yùn)動(dòng)像素點(diǎn)，分別統(tǒng)計(jì)各像素點(diǎn)屬于運(yùn)動(dòng)像素點(diǎn)的次數(shù)；當(dāng)所生成的運(yùn)動(dòng)目標(biāo)圖像幀數(shù)達(dá)到設(shè)定幀數(shù)時(shí)，確定統(tǒng)計(jì)次數(shù)大于第一閾值的像素點(diǎn)組成運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)區(qū)域，并根據(jù)背景圖像和確定出的運(yùn)動(dòng)區(qū)域生成路面圖像。其中，可以根據(jù)運(yùn)動(dòng)目標(biāo)圖像和輸入圖像更新背景圖像。
文檔編號(hào)G08G1/00GK101261681SQ200810103150
公開(kāi)日2008年9月10日 申請(qǐng)日期2008年3月31日 優(yōu)先權(quán)日2008年3月31日
發(fā)明者磊 王, 鄧亞峰, 英 黃 申請(qǐng)人:北京中星微電子有限公司