在場景中追蹤移動(dòng)物體的方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種在場景中追蹤移動(dòng)物體的方法及系統(tǒng)，該方法包括以下步驟：獲取與該場景相對(duì)應(yīng)的數(shù)字視頻信號(hào)；在場景的數(shù)字視頻信號(hào)中識(shí)別至少一個(gè)移動(dòng)物體；繼識(shí)別至少一個(gè)移動(dòng)物體之后，在數(shù)字視頻信號(hào)中找出該移動(dòng)物體；移動(dòng)物體被識(shí)別后的一段預(yù)定時(shí)間，繼續(xù)定位于數(shù)字視頻信號(hào)；按照被追蹤的移動(dòng)物體通過預(yù)定時(shí)間后能夠繼續(xù)位于數(shù)字視頻信號(hào)的時(shí)間，給每一個(gè)被追蹤移動(dòng)物體分配一個(gè)分?jǐn)?shù)；通過被追蹤移動(dòng)物體各自的分?jǐn)?shù)來獲取場景的整體得分用以顯示用戶總分是否滿足預(yù)定的標(biāo)準(zhǔn)。該方法利用兩幀圖像亮度差的絕對(duì)值，判斷它是否大于閥值來分析視頻或圖像序列的運(yùn)動(dòng)特性，確定圖像中有無移動(dòng)物體；能夠排出大部分干擾。
【專利說明】在場景中追蹤移動(dòng)物體的方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)字圖像處理技術(shù)，尤其涉及一種在場景中追蹤移動(dòng)物體的方法和系統(tǒng)。
【背景技術(shù)】
[0002]目前有些電力公司在電廠、變電站安裝了視頻監(jiān)視系統(tǒng)，可實(shí)現(xiàn)監(jiān)視現(xiàn)場設(shè)備，控制遠(yuǎn)程攝像機(jī)動(dòng)作等功能。但這些視頻監(jiān)視系統(tǒng)只有視頻監(jiān)視功能，沒有視頻圖像識(shí)別功能，為了充分發(fā)乎視頻監(jiān)控系統(tǒng)的功能，更準(zhǔn)確的判斷現(xiàn)場發(fā)生事故告警的原因，應(yīng)采用遠(yuǎn)程數(shù)字視頻監(jiān)控和數(shù)字圖像識(shí)別系統(tǒng)，以實(shí)現(xiàn)設(shè)備告警的圖像識(shí)別，為事故檢測提供新的手段，為事故分析提供可靠的依據(jù)。
[0003]在場景中追蹤移動(dòng)的物體是出現(xiàn)在數(shù)字圖像處理領(lǐng)域的一個(gè)問題。在一些應(yīng)用中，需要追蹤的對(duì)象通過場景相對(duì)較快。而在另外一些應(yīng)用中，需要追蹤相對(duì)緩慢移動(dòng)的物體，即它們會(huì)在場景中逗留較長的時(shí)間。
[0004]首先，一些小的異物遠(yuǎn)距離觀察比較困難，并且只能占用幾個(gè)像素?cái)?shù)字視頻幀捕獲。其次電力系統(tǒng)輸電線路中通常會(huì)有沙沙作響的植被或者短暫閃爍陽光的噪聲。當(dāng)然，在用于捕獲場景的任何數(shù)字成像設(shè)備還有一些低級(jí)的固有噪聲。最后，場景有時(shí)還包括我們不感興趣的移動(dòng)物體(如小鳥或飛機(jī))相當(dāng)快速的通過場景。
[0005]
【發(fā)明內(nèi)容】

[0006]針對(duì)上述技術(shù)中存在的不足之處，本發(fā)明提供一在多個(gè)被檢測物體同時(shí)存的情況下，可以有效地減少運(yùn)算量的和同一運(yùn)動(dòng)目標(biāo)的檢測頻率的在場景中追蹤移動(dòng)物體的方法及系統(tǒng)。
[0007]為實(shí)現(xiàn)上述目的，本發(fā)明提供一種在場景中追蹤移動(dòng)物體的方法，包括以下幾個(gè)步驟:
步驟一，獲取與該場景相對(duì)應(yīng)的數(shù)字視頻信號(hào)；
步驟二，在場景的數(shù)字視頻信號(hào)中識(shí)別至少一個(gè)移動(dòng)物體；
步驟三，繼識(shí)別至少一個(gè)移動(dòng)物體之后，在數(shù)字視頻信號(hào)中找出該移動(dòng)物體；
步驟四，移動(dòng)物體被識(shí)別后的一段預(yù)定時(shí)間，繼續(xù)定位于數(shù)字視頻信號(hào)；
步驟五，按照被追蹤的移動(dòng)物體通過預(yù)定時(shí)間后能夠繼續(xù)位于數(shù)字視頻信號(hào)的時(shí)間，給每一個(gè)被追蹤移動(dòng)物體分配一個(gè)分?jǐn)?shù)，時(shí)間越長分?jǐn)?shù)越高；
步驟六，通過被追蹤移動(dòng)物體各自的分?jǐn)?shù)來獲取場景的整體得分用以顯示用戶總分是否滿足預(yù)定的標(biāo)準(zhǔn)；被追蹤的移動(dòng)物體是電力系統(tǒng)輸電線中的一種異物，滿足預(yù)定標(biāo)準(zhǔn)的整體得分表明在場景中至少存在一個(gè)異物。
[0008]其中，所述步驟二具體包括以下步驟:
第一步，從第二個(gè)數(shù)字視頻信號(hào)的視頻幀減去第一個(gè)數(shù)字視頻信號(hào)的視頻幀得到差分中貞;
第二步，確定差分幀的非零區(qū)域?yàn)橐苿?dòng)物體。
[0009]其中，所述步驟二具體包括以下兩步:
第一步，從數(shù)字視頻信號(hào)的一個(gè)視頻幀減去數(shù)字視頻信號(hào)的多個(gè)的其他視頻幀的加權(quán)平均值得到差分幀；
第二步，確定為差分幀的非零區(qū)域的移動(dòng)物體。
[0010]其中，在所述步驟四中，在數(shù)字視頻信號(hào)中定位該移動(dòng)物體，檢查按以下步驟進(jìn)行:
第一步，繼存在移動(dòng)物體的第一個(gè)差分幀之后的第二差分幀；
第二步，第二個(gè)差分幀預(yù)定的領(lǐng)域周圍的位置；
第三步，相應(yīng)于至少存在一個(gè)移動(dòng)物體的第一個(gè)差分幀位置的第二個(gè)差分幀的位置。
[0011]其中，按照被追蹤的移動(dòng)物體通過預(yù)定時(shí)間后能夠繼續(xù)位于數(shù)字視頻信號(hào)的時(shí)間，給每一個(gè)被追蹤移動(dòng)物體體分配一個(gè)分?jǐn)?shù)，包括當(dāng)被追蹤的移動(dòng)物體繼續(xù)存在于數(shù)字視頻信號(hào)中時(shí)，該被追蹤移動(dòng)物體的分?jǐn)?shù)非線性的增加。
[0012]其中，預(yù)定的標(biāo)準(zhǔn)是整體得分超過預(yù)定的閥值，向用戶顯示整體得分是否滿足預(yù)定的標(biāo)準(zhǔn)的方法包括啟動(dòng)至少一個(gè)視覺和音響指示器。
[0013]其中，在所述步驟一中，是從數(shù)字成像設(shè)備實(shí)時(shí)獲取數(shù)字視頻信號(hào)的。
[0014]其中，在所述步驟二中，會(huì)實(shí)時(shí)顯示差分視頻信號(hào)，該信號(hào)包含從數(shù)字視頻信號(hào)獲得，用于幫助用戶瞄準(zhǔn)數(shù)字成像設(shè)備的差分幀。
[0015]其中，場景和差分視頻信號(hào)在一個(gè)視圖中相結(jié)合。
[0016]其中，在所述步驟一中，是從預(yù)先錄制的數(shù)字視頻文件中獲取數(shù)字視頻信號(hào)的。
[0017]其中，在所述步驟六中，還包括:繪制數(shù)字視頻信號(hào)幀數(shù)函數(shù)整體得分的曲線圖。
[0018]本發(fā)明提供一種在場景中追蹤移動(dòng)物體的系統(tǒng)，該系統(tǒng)包括至少一個(gè)包含多個(gè)程序指令的內(nèi)存的處理器，所述程序指令用于使處理器實(shí)現(xiàn)以下步驟:
步驟一，獲取與該場景相對(duì)應(yīng)的數(shù)字視頻信號(hào)；
步驟二，在場景的數(shù)字視頻信號(hào)中識(shí)別至少一個(gè)移動(dòng)物體；
步驟三，繼識(shí)別至少一個(gè)移動(dòng)物體之后，在數(shù)字視頻信號(hào)中找出該移動(dòng)物體；
步驟四，移動(dòng)物體被識(shí)別后的一段預(yù)定時(shí)間，繼續(xù)定位于數(shù)字視頻信號(hào)；
步驟五，按照被追蹤的移動(dòng)物體通過預(yù)定時(shí)間后能夠繼續(xù)位于數(shù)字視頻信號(hào)的時(shí)間，給每一個(gè)被追蹤移動(dòng)物體分配一個(gè)分?jǐn)?shù)，時(shí)間越長分?jǐn)?shù)越高；
步驟六，通過被追蹤移動(dòng)物體各自的分?jǐn)?shù)來獲取場景的整體得分用以顯示用戶總分是否滿足預(yù)定的標(biāo)準(zhǔn)；被追蹤的移動(dòng)物體是電力系統(tǒng)輸電線中的一種異物，滿足預(yù)定標(biāo)準(zhǔn)的整體得分表明在場景中至少存在一個(gè)異物。
[0019]其中，該系統(tǒng)還包括產(chǎn)生數(shù)字視頻信號(hào)的數(shù)字成像設(shè)備，所述處理器從數(shù)字成像設(shè)備實(shí)時(shí)獲取數(shù)字視頻信號(hào)。
[0020]其中，該系統(tǒng)還包括顯示器，處理器控制顯示器實(shí)時(shí)顯示用于識(shí)別和追蹤的差分幀視頻信號(hào)。
[0021]其中，處理器在視圖顯示器上合并場景和差分視頻信號(hào)。
[0022]其中，所述程序指令用于使處理器實(shí)現(xiàn)以下步驟二時(shí)，分兩步完成: 第一步，從數(shù)字視頻信號(hào)的一個(gè)視頻幀減去數(shù)字視頻信號(hào)的多個(gè)的其他視頻幀的加權(quán)平均值得到差分幀；
第二步，確定為差分幀的非零區(qū)域的移動(dòng)物體。
[0023]其中，所述程序指令用于使處理器實(shí)現(xiàn)以下步驟二時(shí)，分兩步完成:
第一步，從數(shù)字視頻信號(hào)的一個(gè)視頻幀減去數(shù)字視頻信號(hào)的多個(gè)的其他視頻幀的加權(quán)平均值得到差分幀；
第二步，確定為差分幀的非零區(qū)域的移動(dòng)物體。
[0024]其中，所述程序指令給每一個(gè)追蹤移動(dòng)物體按照追蹤移動(dòng)物體在預(yù)定的時(shí)間之后多長時(shí)間能夠繼續(xù)定位于數(shù)字視頻信號(hào)分配一個(gè)分?jǐn)?shù)；當(dāng)被追蹤的移動(dòng)物體繼續(xù)存在于數(shù)字視頻信號(hào)時(shí)，被追蹤的移動(dòng)物體的得分非線性的增加。
[0025]本發(fā)明還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，包含處理器可執(zhí)行的多個(gè)程序指令，多個(gè)程序指令包括:配置為使對(duì)應(yīng)于場景獲取數(shù)字視頻信號(hào)的處理器的第一個(gè)指令段；配置為使在場景中識(shí)別數(shù)字視頻信號(hào)中的一個(gè)或多個(gè)移動(dòng)物體的處理器的第二個(gè)指令段；配置為使繼識(shí)別至少一個(gè)移動(dòng)物體之后，在數(shù)字視頻信號(hào)中定位至少一個(gè)移動(dòng)物體的處理器的第三個(gè)指令段；配置為使在被追蹤的移動(dòng)物體被識(shí)別的一段時(shí)間后繼續(xù)存在于數(shù)字視頻信號(hào)中，追蹤移動(dòng)物體的處理器的第四個(gè)指令段；配置為使給每一個(gè)追蹤移動(dòng)物體按照追蹤移動(dòng)物體在預(yù)定的時(shí)間之后多長時(shí)間能夠繼續(xù)定位于數(shù)字視頻信號(hào)分配一個(gè)分?jǐn)?shù)的處理器的第五個(gè)指令段；配置為使結(jié)合追蹤移動(dòng)物體各自的分?jǐn)?shù)來獲取場景的整體得分的處理器的第六個(gè)指令段；配置為使并且顯示用戶總分是否滿足預(yù)定的標(biāo)準(zhǔn)的處理器的第七個(gè)指令段。
[0026]相較于現(xiàn)有技術(shù)，本發(fā)明提供的在場景中追蹤移動(dòng)物體的方法及系統(tǒng)，該方法是通過對(duì)視頻圖像序列中相鄰兩幀做差分幀運(yùn)算來獲取運(yùn)動(dòng)目標(biāo)輪廓，它可以很好的適用于存在多個(gè)運(yùn)動(dòng)目標(biāo)和攝像機(jī)移動(dòng)的情況，當(dāng)監(jiān)控場景中出現(xiàn)異常物體運(yùn)動(dòng)時(shí)，幀與幀之間會(huì)出現(xiàn)較為明顯的差別，兩幀相減，得到兩幀圖像亮度差的絕對(duì)值，判斷它是否大于閥值來分析視頻或圖像序列的運(yùn)動(dòng)特性，確定圖像中有無移動(dòng)物體；能夠排出沙沙作響的植被或者短暫閃爍陽光的噪聲，以及數(shù)字成像設(shè)備的一些低級(jí)的固有噪聲，還有我們不感興趣的移動(dòng)物體的干擾。
[0027]【專利附圖】

【附圖說明】
[0028]圖1是本發(fā)明實(shí)施例在場景中追蹤移動(dòng)物體的系統(tǒng)框圖；
圖2是本發(fā)明實(shí)施例配置有用于分析相應(yīng)場景中數(shù)字視頻信號(hào)移動(dòng)物體追蹤軟件的計(jì)算設(shè)備的功能塊圖；
圖3-6是本發(fā)明幾個(gè)實(shí)施例從數(shù)字視頻信號(hào)計(jì)算不同幀的多種方法的示意圖；
圖7和8是本發(fā)明實(shí)施例應(yīng)用鄰近過濾器的差分幀的示意圖；
圖9是本發(fā)明實(shí)施例在場景中追蹤移動(dòng)物體的方法的流程圖；
圖10是本發(fā)明實(shí)施例在數(shù)字視頻信號(hào)中識(shí)別一個(gè)或多個(gè)移動(dòng)物體方法的流程圖；
圖11是本發(fā)明另外一個(gè)實(shí)施例在數(shù)字視頻信號(hào)中識(shí)別一個(gè)或多個(gè)移動(dòng)物體方法的流程圖；【具體實(shí)施方式】
[0029]為了更清楚地表述本發(fā)明，下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步地描述。
[0030]本發(fā)明提供了一種在場景中追蹤移動(dòng)物體的方法，該方法包括應(yīng)用獲取場景中的數(shù)字視頻信號(hào)來識(shí)別一個(gè)或多個(gè)移動(dòng)物體。在其被識(shí)別以后，需要在數(shù)字視頻信號(hào)中定位至少一個(gè)移動(dòng)物體。最后追蹤移動(dòng)物體，移動(dòng)物體被識(shí)別后的一段預(yù)定時(shí)間，繼續(xù)定位于數(shù)字視頻信號(hào)。按照被追蹤的移動(dòng)物體通過預(yù)定時(shí)間后能夠繼續(xù)位于數(shù)字視頻信號(hào)的時(shí)間，給每一個(gè)被追蹤移動(dòng)物體體分配一個(gè)分?jǐn)?shù)。通過被追蹤移動(dòng)物體各自的分?jǐn)?shù)來獲取場景的整體得分用以顯示用戶總分是否滿足預(yù)定的標(biāo)準(zhǔn)。
[0031]在數(shù)字視頻信號(hào)中識(shí)別和追蹤移動(dòng)物體對(duì)從主要的靜止背景中分離出移動(dòng)的前景對(duì)象是很有幫助的。實(shí)現(xiàn)這種分離的一項(xiàng)技術(shù)是通過計(jì)算數(shù)字視頻信號(hào)幀之間的區(qū)別生成有差異的視頻信號(hào)。這項(xiàng)技術(shù)被稱為“幀相減”，并且一個(gè)幀產(chǎn)生的有差異的視頻信號(hào)可以被稱為“幀差異”。黑色的不同幀的領(lǐng)域(強(qiáng)度為零或者接近零)顯示從幀到幀不改變的背景區(qū)域。在不同幀明亮的區(qū)域顯示的可能是移動(dòng)物體或噪聲(如，陽光短暫的閃爍或者沙沙的植被)。
[0032]在滿足預(yù)定標(biāo)準(zhǔn)超過閥值的實(shí)施例中，閥值可以按照特定的應(yīng)用層和環(huán)境選擇，并且用戶可以調(diào)節(jié)。例如，在一個(gè)給定的時(shí)間，閥值可以在系統(tǒng)使用的特定位置相對(duì)于現(xiàn)場的測量背景分?jǐn)?shù)做出調(diào)整。相應(yīng)于被追蹤的移動(dòng)物體404或者現(xiàn)場中感興趣的其他移動(dòng)物體，將會(huì)通過超過適當(dāng)?shù)倪x擇閥值以上的“基地”背景分?jǐn)?shù)得分，從確立的背景分?jǐn)?shù)中“區(qū)分出來”。
[0033]相較于現(xiàn)有技術(shù)，本發(fā)明提供了的在場景中追蹤移動(dòng)物體的方法，通過對(duì)視頻圖像序列中相鄰兩幀做差分幀運(yùn)算來獲取運(yùn)動(dòng)目標(biāo)輪廓，它可以很好的適用于存在多個(gè)運(yùn)動(dòng)目標(biāo)和攝像機(jī)移動(dòng)的情況，當(dāng)監(jiān)控場景中出現(xiàn)異常物體運(yùn)動(dòng)時(shí)，幀與幀之間會(huì)出現(xiàn)較為明顯的差別，兩幀相減，得到兩幀圖像亮度差的絕對(duì)值，判斷它是否大于閥值來分析視頻或圖像序列的運(yùn)動(dòng)特性，確定圖像中有無移動(dòng)物體；能夠排出沙沙作響的植被或者短暫閃爍陽光的噪聲，以及數(shù)字成像設(shè)備的一些低級(jí)的固有噪聲，還有我們不感興趣的移動(dòng)物體的干擾。
[0034]本發(fā)明還提供一種在場景中追蹤移動(dòng)物體的系統(tǒng)，該系統(tǒng)包含至少一個(gè)處理器和一個(gè)包含多個(gè)程序指令的內(nèi)存，程序指令可以使處理器獲取場景中的數(shù)字視頻信號(hào)來識(shí)別一個(gè)或多個(gè)移動(dòng)物體。在其被識(shí)別以后，需要在數(shù)字視頻信號(hào)中定位至少一個(gè)移動(dòng)物體。最后追蹤移動(dòng)物體，移動(dòng)物體被識(shí)別后的一段預(yù)定時(shí)間，繼續(xù)定位于數(shù)字視頻信號(hào)。按照被追蹤的移動(dòng)物體通過預(yù)定時(shí)間后能夠繼續(xù)位于數(shù)字視頻信號(hào)的時(shí)間，給每一個(gè)被追蹤移動(dòng)物體體分配一個(gè)分?jǐn)?shù)。通過被追蹤移動(dòng)物體各自的分?jǐn)?shù)來獲取場景的整體得分用以顯示用戶總分是否滿足預(yù)定的標(biāo)準(zhǔn)。
[0035]在一個(gè)具體的實(shí)施例中，場景中追蹤移動(dòng)物體的系統(tǒng)在數(shù)字視頻信號(hào)中識(shí)別了一個(gè)或多個(gè)移動(dòng)物體。為了從噪聲中分離出感興趣的對(duì)象，系統(tǒng)需要一個(gè)移動(dòng)物體，一旦識(shí)別了該移動(dòng)物體，繼續(xù)觀察數(shù)字視頻信號(hào)至少一個(gè)最小的周期(例如，一個(gè)預(yù)定的幀數(shù))。對(duì)于每個(gè)移動(dòng)物體在數(shù)字視頻信號(hào)中至少觀察一個(gè)最小的周期，系統(tǒng)跟隨移動(dòng)物體并按照在通過最小周期后，它能在數(shù)字視頻信號(hào)中繼續(xù)被觀察多長時(shí)間分配一個(gè)分?jǐn)?shù)給它。[0036]在這個(gè)具體實(shí)施例中，系統(tǒng)結(jié)合了被追蹤移動(dòng)物體各自的分?jǐn)?shù)來獲取場景的整體得分。系統(tǒng)給用戶顯示整體得分是否滿足預(yù)定的標(biāo)準(zhǔn)。在一些實(shí)施例中，實(shí)時(shí)分析的數(shù)字視頻信號(hào)為總分是否滿足標(biāo)準(zhǔn)提供了一個(gè)實(shí)時(shí)的指標(biāo)。
[0037]圖1是本發(fā)明實(shí)施例在場景中追蹤移動(dòng)物體的系統(tǒng)100的框圖，在圖1所示的具體實(shí)施例中，系統(tǒng)100包括通過輸入/輸出通道106與計(jì)算設(shè)備110相連的數(shù)字成像設(shè)備102。在I/O通道106使用的通信協(xié)議可以是任何能夠處理高速數(shù)字視頻數(shù)據(jù)的協(xié)議。例子包括，但不僅限于，IEEE 1394 (被稱為“火線”的蘋果電腦版)和通用串行總線(USB) 2.0。
[0038]在其他的實(shí)施例中，系統(tǒng)100不包括像圖1顯示的專有的數(shù)字成像設(shè)備102。相反，計(jì)算設(shè)備104處理錄制好的數(shù)字視頻信號(hào)，這些信號(hào)從一個(gè)單獨(dú)的數(shù)字成像設(shè)備獲得，并且加載到存儲(chǔ)設(shè)備中，無論是內(nèi)部還是外部，計(jì)算設(shè)備104都可以訪問。數(shù)字視頻捕獲的數(shù)據(jù)可能被加載到存儲(chǔ)設(shè)備通過數(shù)字成像設(shè)備和存儲(chǔ)設(shè)備之間的一個(gè)本地連接，一個(gè)可移動(dòng)的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。
[0039]圖1所示具體實(shí)施例的一個(gè)優(yōu)點(diǎn)是計(jì)算設(shè)備104可以分析數(shù)字視頻信號(hào)，從數(shù)字成像設(shè)備102實(shí)時(shí)獲得，及對(duì)感興趣的對(duì)象是否已經(jīng)成功地在現(xiàn)場追蹤提供一個(gè)實(shí)時(shí)顯示。如下進(jìn)一步解釋，圖1所示的具體實(shí)施例，可以提供實(shí)時(shí)視覺監(jiān)視追蹤對(duì)象，以幫助用戶定位或改變數(shù)字成像設(shè)備102。
[0040]盡管數(shù)字成像設(shè)備102和計(jì)算設(shè)備104在圖1中顯示為分離的設(shè)備，但是在其他的實(shí)施例中，如果需要的話系統(tǒng)100的這些組件可能是集成在一個(gè)獨(dú)立的設(shè)備。
[0041]圖2是本發(fā)明實(shí)施例相應(yīng)于現(xiàn)場用于分析數(shù)字視頻信號(hào)，配置有移動(dòng)物體追蹤軟件的計(jì)算設(shè)備104的功能框圖。例如，計(jì)算設(shè)備104可能是一個(gè)臺(tái)式電腦，掌上電腦，筆記本電腦，一個(gè)嵌入獨(dú)立的移動(dòng)一物體一追蹤系統(tǒng)的電腦，或其他合適的計(jì)算設(shè)備。
[0042]在圖2所示的具體實(shí)施例中，處理器202通過數(shù)據(jù)總線204與輸入設(shè)備206，顯示器208，內(nèi)存210，I/O接口 212，存儲(chǔ)設(shè)備214進(jìn)行通信。輸入設(shè)備206可能包括鍵盤，鼠標(biāo)或者其他尖端設(shè)備，或者控制計(jì)算設(shè)備104操作的其他輸入設(shè)備。I/O接口 212可能包括硬盤驅(qū)動(dòng)器(HDD)、光學(xué)存儲(chǔ)設(shè)備，flash-memory-based驅(qū)動(dòng)器，或其他存儲(chǔ)設(shè)備。內(nèi)存210可能包括隨機(jī)存取存儲(chǔ)器(RAM)，只讀存儲(chǔ)器(R0M)，閃存。在圖2所示的具體實(shí)施例中，內(nèi)存210包括應(yīng)用層216和一個(gè)相關(guān)的視頻幀緩沖器224，應(yīng)用層216被配置成在相應(yīng)現(xiàn)場的數(shù)字視頻信號(hào)中應(yīng)用數(shù)字圖像處理技術(shù)追蹤移動(dòng)物體。數(shù)字視頻幀緩沖區(qū)224緩沖應(yīng)用層216分析的數(shù)字視頻框架。
[0043]為了使詳細(xì)描述更方便，應(yīng)用層216被分成了一組功能模塊:(I)數(shù)據(jù)輸入/輸出模塊218，(2)分析引擎220，(3)用戶界面222。
[0044]數(shù)據(jù)輸入/輸出模塊218可以配置成處理輸入和輸出數(shù)據(jù)。例如，數(shù)據(jù)輸入/輸出模塊218可以管理來自數(shù)字影像設(shè)備102或者來自包含預(yù)先錄制的數(shù)字視頻文件的存儲(chǔ)設(shè)備的數(shù)字-圖像數(shù)據(jù)。
[0045]分析引擎220配置成分析，在場景中識(shí)別和追蹤移動(dòng)物體感興趣的相應(yīng)現(xiàn)場的數(shù)字視頻信號(hào)。在這一過程中，分析引擎220使用了下面描述的多種數(shù)字圖像處理技術(shù)。
[0046]用戶界面255管理與用戶交互的計(jì)算設(shè)備104。用戶界面222結(jié)合數(shù)據(jù)輸入/輸出模塊218，接收來自用戶的輸入命令(例如，通過鍵盤和鼠標(biāo))，傳播適當(dāng)?shù)奶崾竞陀脩粼谟?jì)算設(shè)備104操作過程中的其他指導(dǎo)。[0047]在其他具體實(shí)施例中，上述應(yīng)用層216的功能模塊可以細(xì)分或者結(jié)合除了在圖2中顯示的方式。同時(shí)，計(jì)算設(shè)備上運(yùn)行的應(yīng)用層的功能可以實(shí)現(xiàn)在軟件固件，自定義硬件或任何組合或它們的子組合。在圖2所示的具體實(shí)施例中，應(yīng)用層216的功能被用于處理器202的一組程序指令可執(zhí)行文件，之前被加載到內(nèi)存210中執(zhí)行，存在于計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)如磁盤，光盤或者閃存等等。例如，應(yīng)用層216的程序指令可能存儲(chǔ)在存儲(chǔ)設(shè)備214中。形成應(yīng)用層216的程序指令可以分成多個(gè)指令段或者其他功能單元。
[0048]在數(shù)字視頻信號(hào)中識(shí)別和追蹤移動(dòng)物體對(duì)從主要的靜止背景中分離出移動(dòng)的前景對(duì)象是很有幫助的。實(shí)現(xiàn)這種分離的一項(xiàng)技術(shù)是通過計(jì)算數(shù)字視頻信號(hào)幀之間的區(qū)別生成有差異的視頻信號(hào)。這項(xiàng)技術(shù)被稱為“幀相減”，并且一個(gè)幀產(chǎn)生的有差異的視頻信號(hào)可以被稱為“幀差異”。黑色的不同幀的領(lǐng)域(強(qiáng)度為零或者接近零)顯示從幀到幀不改變的背景區(qū)域。在不同幀明亮的區(qū)域顯示的可能是移動(dòng)物體或噪聲(如，陽光短暫的閃爍或者沙沙的植被)。
[0049]圖3-6是顯示本發(fā)明的幾個(gè)具體實(shí)施例從產(chǎn)生一個(gè)有差異視頻信號(hào)的數(shù)字視頻信號(hào)中計(jì)算不同幀的多種方法的圖解。
[0050]在圖3顯示的具體實(shí)施例中，對(duì)應(yīng)于更早時(shí)間被標(biāo)記Fl的視頻幀302減去對(duì)應(yīng)于晚點(diǎn)時(shí)間標(biāo)記F2的視頻幀302獲得一個(gè)差分幀(在圖3中沒有顯示)。這個(gè)領(lǐng)域的技術(shù)人員將會(huì)意識(shí)到F1-F2 (后來的視頻幀減去前面的視頻幀)得到差分幀是可能的。在一些實(shí)施例中，視頻幀302的Fl和F2是連續(xù)的視頻幀。在其他的一些實(shí)施例中，在視頻幀302的Fl和F2可能會(huì)有干預(yù)的視頻幀。
[0051]在圖4所示的具體實(shí)施例中，兩個(gè)早期視頻幀302的Fl和F2的平均減去后來的視頻幀302的F3得到一個(gè)差分幀(沒有顯示在圖4中)。再次，視頻幀之間的關(guān)系可能會(huì)逆轉(zhuǎn)。也就是，如果需要的話，后面兩個(gè)視頻幀302的平均替代減去早期的視頻幀。正如圖3所討論的具體實(shí)施例，圖4中的視頻幀302F1，F(xiàn)2和F3可能是連續(xù)的視頻幀302，或者它們之間有些干預(yù)視頻幀。
[0052]在圖9所示的具體實(shí)施例中，圍繞一個(gè)視頻幀302F3的四個(gè)視頻幀302 (Fl，F(xiàn)2，F(xiàn)4和F5)的平均減去F3得到一個(gè)差異幀(沒有在圖9中顯示)。這個(gè)實(shí)施例就在差分幀中降低散斑和噪聲的觀點(diǎn)是特別可取的。
[0053]在圖6所示的實(shí)施例中，上面圖9討論的方法是廣義的。在一些實(shí)施例中，加權(quán)因子304應(yīng)用于周圍的視頻幀302F1，F(xiàn)2，F(xiàn)4和F5產(chǎn)生加權(quán)平均。
[0054]這個(gè)領(lǐng)域的技術(shù)人員將會(huì)意識(shí)到上述圖3-6各種實(shí)施例設(shè)計(jì)緩沖不同數(shù)量的視頻幀302在一個(gè)幀緩沖器中，例如視頻幀緩沖器224。
[0055]一旦分析引擎220通過數(shù)據(jù)輸入/輸出模塊245獲得的數(shù)字視頻信號(hào)產(chǎn)生了一個(gè)差分視頻信號(hào)。分析引擎220在數(shù)字視頻信號(hào)中識(shí)別和追蹤移動(dòng)物體。如下一步的詳細(xì)討論，這可能由應(yīng)用被稱作“鄰近濾波器”的差異視頻信號(hào)完成。
[0056]圖7和圖8是本發(fā)明實(shí)施例應(yīng)用鄰近濾波器的差分幀402的圖。在圖7中，差分幀402 (標(biāo)記為差分幀A)包含由幾個(gè)像素點(diǎn)組成的移動(dòng)物體404。注意，在圖7和8中，黑色(零或接近零)背景區(qū)域被顯示為白色和相對(duì)明亮的像素組成的移動(dòng)物體404。當(dāng)分析引擎220在差分幀402 “A”中第一次遇見一組相對(duì)明亮的像素時(shí)，它將識(shí)別這一組像素作為移動(dòng)物體404。[0057]圖8是在圖7中比差分幀402 “A”產(chǎn)生晚的差分幀402 “B”的說明圖。在這個(gè)實(shí)施例中分析引擎220檢查圍繞位置408 (圖8所示的輪廓)的鄰域406的周圍，在這里移動(dòng)物體404位于先前差分幀402 “A”。
[0058]在圖8的例子中，分析引擎220已經(jīng)位于移動(dòng)物體404在其新的位置鄰域406的范圍之內(nèi)。圖8中鄰域406的圓形邊界只是說明性的。鄰域406的任意合適邊界(正方形，六邊形等)均可以使用，取決于特定的應(yīng)用層。對(duì)這個(gè)領(lǐng)域的技術(shù)人員將會(huì)意識(shí)到鄰域406的大小可以被調(diào)整，以優(yōu)化用于特定程序的鄰近濾波器的性能。
[0059]圖8中的技術(shù)可以叫做“鄰近濾波器”，因?yàn)榉治鲆?20搜索，在隨后的差分幀402，對(duì)于先前識(shí)別的移動(dòng)物體404內(nèi)的部分后來差分幀是在較靠近該移動(dòng)物體404在先前差分幀402最后一次被觀察到的位置。
[0060]當(dāng)分析引擎250已經(jīng)成功的定位于一個(gè)特定的移動(dòng)物體404足夠長的時(shí)間，來證明一個(gè)結(jié)論，這不是誤判(如，散斑或噪聲)，分析引擎220將追蹤和評(píng)估移動(dòng)物體404。例如，在一個(gè)具體實(shí)施例中，分析引擎220將追蹤和評(píng)估移動(dòng)物體404，在它位于10幀連續(xù)的差分幀402之后。對(duì)于每個(gè)差分幀402之后都觀察一個(gè)特定的移動(dòng)物體404，與移動(dòng)物體404相關(guān)的數(shù)值得分是遞增的。因此，一個(gè)給定的移動(dòng)物體404在數(shù)字視屏信號(hào)中觀察的時(shí)間越長，它的分?jǐn)?shù)越高。這樣的一個(gè)評(píng)分系統(tǒng)支持存在于在現(xiàn)場相對(duì)較長時(shí)間移動(dòng)移動(dòng)緩慢的物體(如覓食異物)。
[0061]上述特征可以強(qiáng)調(diào)被追蹤的移動(dòng)物體404分?jǐn)?shù)不是隨時(shí)間線性增加，比分遞增的特定值和時(shí)間周期劃分包括上面提到的十個(gè)差分幀402僅僅是說明性的。通常在這樣的實(shí)施例中，當(dāng)移動(dòng)物體404仍然存在于差分視頻信號(hào)中時(shí)，被追蹤的移動(dòng)物體404的分?jǐn)?shù)的增加速率是隨時(shí)間增長的。
[0062]如上所述，被追蹤的移動(dòng)物體404的單獨(dú)得分可以組合成場景的整體得分。分析引擎220可以配置成依據(jù)預(yù)定的標(biāo)準(zhǔn)測試整體得分。在一個(gè)說明性的實(shí)施例中，分析引擎220用于比較整體得分與預(yù)定的閥值。預(yù)先確定的閥值被超過說明在場景中至少有一個(gè)異物。用戶界面222報(bào)告用戶是否滿足預(yù)定的標(biāo)準(zhǔn)(如是否超過了預(yù)定的閥值)。在向用戶的狀態(tài)報(bào)告中，用戶界面222可以使用視覺指示器，如顯示器208上的文本或圖像，或者是燈光；聽覺指示器如嗶嗶聲，語氣，或口語錄音；或者兩者兼而有之。
[0063]在滿足預(yù)定標(biāo)準(zhǔn)超過閥值的實(shí)施例中，閥值可以按照特定的應(yīng)用層和環(huán)境選擇，并且用戶可以調(diào)節(jié)。例如，在一個(gè)給定的時(shí)間，閥值可以在系統(tǒng)使用的特定位置相對(duì)于現(xiàn)場的測量背景分?jǐn)?shù)做出調(diào)整。相應(yīng)于被追蹤的移動(dòng)物體404或者現(xiàn)場中感興趣的其他移動(dòng)物體，將會(huì)通過超過適當(dāng)?shù)倪x擇閥值以上的“基地”背景分?jǐn)?shù)得分，從確立的背景分?jǐn)?shù)中“突ψ ”
f I I ο
[0064]圖9是本發(fā)明實(shí)施例在場景中追蹤移動(dòng)物體方法的流程圖。在502，數(shù)據(jù)輸入/輸出模塊218獲取對(duì)應(yīng)于該場景的數(shù)字視頻信號(hào)。如上所述，數(shù)據(jù)輸入/輸出模塊218可能從相連接的數(shù)字成像設(shè)備102獲取一個(gè)實(shí)時(shí)的數(shù)字視頻信號(hào)，它也可以從駐留在存儲(chǔ)設(shè)備214預(yù)先錄制的數(shù)字視頻文件或者其他來源獲取數(shù)字視頻信號(hào)。在504，分析引擎220在數(shù)字視頻信號(hào)中識(shí)別一個(gè)或多個(gè)移動(dòng)物體404。如上所述，分析引擎220可以通過在由差分幀402組成的差分視頻信號(hào)中應(yīng)用鄰近濾波器來這么做。
[0065]在506，分析引擎220在504中首次識(shí)別以后坐落于在數(shù)字視頻信號(hào)中至少有一個(gè)移動(dòng)物體404。在508，分析引擎220追蹤任意一個(gè)移動(dòng)物體404，至少在它們最初識(shí)別之后的一個(gè)預(yù)定時(shí)間，繼續(xù)在數(shù)字視頻信號(hào)中觀察。在510，分析引擎220按照被追蹤的移動(dòng)物體404超出預(yù)定的時(shí)間能繼續(xù)存在于數(shù)字視頻信號(hào)多久，給每一個(gè)被追蹤的移動(dòng)物體404分配一個(gè)分?jǐn)?shù)。
[0066]在512，分析引擎220結(jié)合各個(gè)移動(dòng)物體404的分?jǐn)?shù)來獲取場景的整體得分。在514，用戶界面222向用戶顯示整體得分是否滿足預(yù)定的標(biāo)準(zhǔn)。該過程在516終止。
[0067]圖10是本發(fā)明實(shí)施例在數(shù)字視頻信號(hào)中識(shí)別一個(gè)或多個(gè)移動(dòng)物體的方法的流程圖。在圖10中，過程的輸入在圖9的504之后。在602，分析引擎220從第二個(gè)視頻信號(hào)302減去第一個(gè)視頻信號(hào)302得到一個(gè)差分幀402。在604，分析引擎220識(shí)別為移動(dòng)物體404中的差分幀402的非零區(qū)域，然后該過程進(jìn)行到圖9的506。
[0068]圖11是另一個(gè)發(fā)明實(shí)施例在數(shù)字視頻信號(hào)中識(shí)別一個(gè)或多個(gè)移動(dòng)物體404方法的流程圖。這個(gè)過程在圖9的504之后開始，在608，分析引擎220從第一個(gè)視頻幀302減去其他多個(gè)視頻幀302的加權(quán)平均產(chǎn)生一個(gè)差分幀402。在這里，這個(gè)術(shù)語“加權(quán)平均”是指一般和涵蓋平均多個(gè)視頻幀302的權(quán)重是相等的特殊情況。此外，在604，分析引擎220識(shí)別為移動(dòng)物體404中的差分幀402的非零區(qū)域，然后這個(gè)過程進(jìn)行到圖9的506。
[0069]在一個(gè)實(shí)施例中，計(jì)算設(shè)備104大約實(shí)時(shí)輸出由分析引擎220產(chǎn)生的差分視頻信號(hào)到顯示器208 (取決于有多少視頻幀302需要每個(gè)差分幀402的計(jì)算，由于視頻幀302的緩沖與數(shù)字視頻信號(hào)相關(guān)的差分視頻信號(hào)有一些延遲)。顯示所述的差分視頻信號(hào)可以給用戶在瞄準(zhǔn)或重新定位數(shù)字成像設(shè)備102提供幫助。為了進(jìn)一步幫助用戶瞄準(zhǔn)或重新定位數(shù)字成像設(shè)備102，在一個(gè)視圖中，整個(gè)場景低強(qiáng)度的版本可以與差分視頻信號(hào)相結(jié)合。例如，相應(yīng)場景的數(shù)字視頻信號(hào)的每個(gè)像素可以被預(yù)先確定的大于個(gè)體的非零值劃分，并且這種降低了強(qiáng)度的場景的視圖和差分視頻信號(hào)可以在顯示器208上被疊加。
[0070]以上公開的僅為本發(fā)明的幾個(gè)具體實(shí)施例，但是本發(fā)明并非局限于此，任何本領(lǐng)域的技術(shù)人員能思之的變化都應(yīng)落入本發(fā)明的保護(hù)范圍。
【權(quán)利要求】
1.一種在場景中追蹤移動(dòng)物體的方法，其特征在于，包括以下幾個(gè)步驟: 步驟一，獲取與該場景相對(duì)應(yīng)的數(shù)字視頻信號(hào)； 步驟二，在場景的數(shù)字視頻信號(hào)中識(shí)別至少一個(gè)移動(dòng)物體； 步驟三，繼識(shí)別至少一個(gè)移動(dòng)物體之后，在數(shù)字視頻信號(hào)中找出該移動(dòng)物體； 步驟四，移動(dòng)物體被識(shí)別后的一段預(yù)定時(shí)間，繼續(xù)定位于數(shù)字視頻信號(hào)； 步驟五，按照被追蹤的移動(dòng)物體通過預(yù)定時(shí)間后能夠繼續(xù)位于數(shù)字視頻信號(hào)的時(shí)間，給每一個(gè)被追蹤移動(dòng)物體分配一個(gè)分?jǐn)?shù)，時(shí)間越長分?jǐn)?shù)越高； 步驟六，通過被追蹤移動(dòng)物體各自的分?jǐn)?shù)來獲取場景的整體得分用以顯示用戶總分是否滿足預(yù)定的標(biāo)準(zhǔn)；被追蹤的移動(dòng)物體是電力系統(tǒng)輸電線中的一種異物，滿足預(yù)定標(biāo)準(zhǔn)的整體得分表明在場景中至少存在一個(gè)異物。
2.根據(jù)權(quán)利要求1所述的在場景中追蹤移動(dòng)物體的方法，其特征在于，所述步驟二具體包括以下步驟: 第一步，從第二個(gè)數(shù)字視頻信號(hào)的視頻幀減去第一個(gè)數(shù)字視頻信號(hào)的視頻幀得到差分中貞; 第二步，確定差分 幀的非零區(qū)域?yàn)橐苿?dòng)物體。
3.根據(jù)權(quán)利要求1所述的在場景中追蹤移動(dòng)物體的方法，其特征在于，所述步驟二具體包括以下兩步: 第一步，從數(shù)字視頻信號(hào)的一個(gè)視頻幀減去數(shù)字視頻信號(hào)的多個(gè)的其他視頻幀的加權(quán)平均值得到差分幀； 第二步，確定為差分幀的非零區(qū)域的移動(dòng)物體。
4.根據(jù)權(quán)利要求2或3所述的在場景中追蹤移動(dòng)物體的方法，其特征在于，在所述步驟四中，在數(shù)字視頻信號(hào)中定位該移動(dòng)物體，檢查按以下步驟進(jìn)行: 第一步，繼存在移動(dòng)物體的第一個(gè)差分幀之后的第二差分幀； 第二步，第二個(gè)差分幀預(yù)定的領(lǐng)域周圍的位置； 第三步，相應(yīng)于至少存在一個(gè)移動(dòng)物體的第一個(gè)差分幀位置的第二個(gè)差分幀的位置。
5.根據(jù)權(quán)利要求1所述的在場景中追蹤移動(dòng)物體的方法，其特征在于，按照被追蹤的移動(dòng)物體通過預(yù)定時(shí)間后能夠繼續(xù)位于數(shù)字視頻信號(hào)的時(shí)間，給每一個(gè)被追蹤移動(dòng)物體體分配一個(gè)分?jǐn)?shù)，包括當(dāng)被追蹤的移動(dòng)物體繼續(xù)存在于數(shù)字視頻信號(hào)中時(shí)，該被追蹤移動(dòng)物體的分?jǐn)?shù)非線性的增加。
6.根據(jù)權(quán)利要求2所述的在場景中追蹤移動(dòng)物體的方法，其特征在于，在所述步驟一中，是從數(shù)字成像設(shè)備實(shí)時(shí)獲取數(shù)字視頻信號(hào)的；在所述步驟二中，會(huì)實(shí)時(shí)顯示差分視頻信號(hào)，該信號(hào)包含從數(shù)字視頻信號(hào)獲得，用于幫助用戶瞄準(zhǔn)數(shù)字成像設(shè)備的差分幀。
7.本發(fā)明提供一種在場景中追蹤移動(dòng)物體的系統(tǒng)，其特征在于，該系統(tǒng)包括至少一個(gè)包含多個(gè)程序指令的內(nèi)存的處理器，所述程序指令用于使處理器實(shí)現(xiàn)以下步驟: 步驟一，獲取與該場景相對(duì)應(yīng)的數(shù)字視頻信號(hào)； 步驟二，在場景的數(shù)字視頻信號(hào)中識(shí)別至少一個(gè)移動(dòng)物體； 步驟三，繼識(shí)別至少一個(gè)移動(dòng)物體之后，在數(shù)字視頻信號(hào)中找出該移動(dòng)物體； 步驟四，移動(dòng)物體被識(shí)別后的一段預(yù)定時(shí)間，繼續(xù)定位于數(shù)字視頻信號(hào)； 步驟五，按照被追蹤的移動(dòng)物體通過預(yù)定時(shí)間后能夠繼續(xù)位于數(shù)字視頻信號(hào)的時(shí)間，給每一個(gè)被追蹤移動(dòng)物體分配一個(gè)分?jǐn)?shù)，時(shí)間越長分?jǐn)?shù)越高； 步驟六，通過被追蹤移動(dòng)物體各自的分?jǐn)?shù)來獲取場景的整體得分用以顯示用戶總分是否滿足預(yù)定的標(biāo)準(zhǔn)；被追蹤的移動(dòng)物體是電力系統(tǒng)輸電線中的一種異物，滿足預(yù)定標(biāo)準(zhǔn)的整體得分表明在場景中至少存在一個(gè)異物。
8.根據(jù)權(quán)利要求7所述的在場景中追蹤移動(dòng)物體的系統(tǒng)，其特征在于，該系統(tǒng)還包括產(chǎn)生數(shù)字視頻信號(hào)的數(shù)字成像設(shè)備，所述處理器從數(shù)字成像設(shè)備實(shí)時(shí)獲取數(shù)字視頻信號(hào)。
9.根據(jù)權(quán)利要求7所述的在場景中追蹤移動(dòng)物體的系統(tǒng)，其特征在于，該系統(tǒng)還包括顯示器，處理器控制顯 示器實(shí)時(shí)顯示用于識(shí)別和追蹤的差分幀視頻信號(hào)；處理器在視圖顯示器上合并場景和差分視頻信號(hào)。
10.根據(jù)權(quán)利要求7所述的在場景中追蹤移動(dòng)物體的系統(tǒng)，其特征在于，所述程序指令給每一個(gè)追蹤移動(dòng)物體按照追蹤移動(dòng)物體在預(yù)定的時(shí)間之后多長時(shí)間能夠繼續(xù)定位于數(shù)字視頻信號(hào)分配一個(gè)分?jǐn)?shù)；當(dāng)被追蹤的移動(dòng)物體繼續(xù)存在于數(shù)字視頻信號(hào)時(shí)，被追蹤的移動(dòng)物體的得分非線性的增加。
【文檔編號(hào)】G06T7/20GK104021576SQ201410274348
【公開日】2014年9月3日 申請日期:2014年6月18日 優(yōu)先權(quán)日:2014年6月18日
【發(fā)明者】高會(huì)民, 李木文, 謝小英, 李偉, 郝會(huì)強(qiáng), 寧俊杰, 張美然, 楊屹東, 蔡騰潛, 劉秀軍, 趙德明, 王雪松, 姚曉龍 申請人:國家電網(wǎng)公司, 國網(wǎng)冀北電力有限公司秦皇島供電公司, 南京特洛尼斯電力科技有限公司