專利名稱：視頻運動檢測的制作方法
技術領域：
本發(fā)明涉及視頻分析，更具體地，涉及檢測視頻中的運動的方法、 計算機程序和照相機。
背景技術：
視頻分析延伸至對臺式計算機系統(tǒng)的視頻的編碼和解碼以外。視 頻分析是用于分析靜止和視頻圖像中的內容的技術，并且不止用于確
定適當?shù)膸l(frame rate)、分辨率等。在視頻分析中，分析圖像和 視頻的內容，例如圖像中物品的運動。通常，放棄不感興趣的部分， 而詳細分析其它部分以提取相關信息(例如運動)。
具體地，運動檢測涉及識別在圖像空間中運動的視頻序列中圖像 的空間區(qū)域。這可以包括例如搖動的樹和運動的影子，而不包括照明 變化或圖像噪聲。在所有先前幀中都固定的視頻區(qū)域從一幀到下一幀 突然運動的情形下，運動檢測的問題變得更復雜。相反的情況，即， 許多幀的運動區(qū)域突然停止，也可能存在問題。
目前許多可用的運動檢測方法和系統(tǒng)檢測的是變化而不是運動。 這些方法只是搜索各幀之間圖像區(qū)域的差別，或者當前幀和一 系列先 前幀之間圖像區(qū)域的差別。例如，在背景減除方法中，使用例如無限 脈沖響應(IIR)濾波器根據(jù)視頻中一組先前幀來構造背景或參考圖像。 然后，通過將閾值應用到當前圖像與背景或參考圖像之間的差的絕對 值中(absolute difference )來執(zhí)行檢測。該閾值可以是簡單的二值化 函數(shù)，其中，如果差超過閾值，則結果是"l"，否則結果就為"0"。
其它方法嘗試使用例如具有平均值和方差值的高斯分布對背景 進行建模。在高斯混合建模(Gaussian Mixture Model)中，每個像 素用若干個高斯分布來表示，并且每個高斯分布根據(jù)其變化和其被觀察的次數(shù)來加權。在背景模型內不合適的像素被視為可能包含運動信
息的前景像素(foreground pixel)，除非其權重被降低到確定的閾值 之下。
如被本發(fā)明的發(fā)明者所認識到的，檢測變化的方法和嘗試對背景 圖像進行建模的方法都對于照明變化非常敏感。當處理各個像素 (individual pixels )時，這些方法完全不能區(qū)分"真的，，圖像變化和照 明效果之間的區(qū)別。
此外，同樣如本發(fā)明的發(fā)明者所認識到的，通?；诒容^僅兩個 連續(xù)圖像，例如光流，來確定圖像區(qū)域的運動速度的運動估計方法是 非常有計算要求的、不準確的或者既有計算要求又不準確。當分析多 于兩個的連續(xù)圖像時，計算要求被視為對于實際應用來說太高。
大多數(shù)當前可用的空-時濾波器單獨地分析圖像，并且它們使用 高層模型(high-level model)來處理時間方面，并且同時在空間上和 時間上處理視頻的少數(shù)空-時算法對于實時嵌入處理是很有計算要求 的。

發(fā)明內容
根據(jù)以上內容，本發(fā)明的目的在于提供用于視頻運動檢測的方 法、計算機程序和照相機，其能夠正確識別照明變化大的環(huán)境中的運 動，并且能夠有效地進行識別。
示例性的運動檢測方法將視頻中的多個圖像組合成圖像體 (image volume)。多個圖像中的每個包括多個<象素，并且圖《象體具 有與寬度對應的維度X、與高度對應的維度Y和與深度對應的維度t。 在形成圖像體之后，沿著(X，t)平面將圖像體分片(slice)，并且可選 地對每個像素進行對數(shù)變換，以將反射成分與照明成分分開。
然后對分片后的圖像體應用空-時濾波器，從而產生濾波結果。 在濾波之后，使濾波結果的絕對值帶入閾值函數(shù)，從而產生包括明確 限定的空-時邊緣的二值圖像。最后，針對至少一個連接起來的像素串 搜索二值圖像。不與任何軸平行的、連接起來的像素串指示運動。


由于通過參照下面結合附圖的詳細描述，本發(fā)明及其附帶的許多 優(yōu)點變得更好理解，容易獲得對本發(fā)明及其附帶的許多優(yōu)點的更完全
的理解，其中
圖l是根據(jù)本發(fā)明實施例的網(wǎng)絡照相機的框圖2是根據(jù)本發(fā)明示例性實施例的監(jiān)視中心計算機或客戶端計算 機的框圖3是根據(jù)本發(fā)明實施例的監(jiān)控系統(tǒng)的框圖； 圖4是示例性的來自視頻序列的圖像集合； 圖5是根據(jù)本公開示例性實施例的被分片的圖像體； 圖6是根據(jù)本公開示例性實施例的由空-時濾波器濾波后的分片 圖像體；
圖7是根據(jù)本公開示例性實施例的在濾波之后應用了閾值的分片 圖像體；
圖8是根據(jù)本公開示例性實施例的柵格化的系列搜索線；
圖9是根據(jù)本公開示例性實施例的視頻運動檢測方法的流程圖10是根據(jù)本公開示例性實施例的沿著(X，t)方向搜索的流程以及
圖11是根據(jù)本公開示例性實施例的沿著(Y，t)方向搜索的流程圖。
具體實施例方式
現(xiàn)在參照附圖，其中，在多個視圖中，用類似的附圖標記表示相 同或相應的部分。圖l是根據(jù)本發(fā)明的可以用于拍攝圖像的網(wǎng)絡照相 機IO(或IP照相機)的框圖。然而，更普遍地，照相機10可以是能夠 產生圖像序列并且通過網(wǎng)絡(專用的、公共的或混合的)向用戶客戶 端(51，圖3)傳送圖像序列或者來自圖像序列的圖像數(shù)據(jù)(例如圖 像元數(shù)據(jù))的任何數(shù)字照相機。在本上下文中，術語";f見頻"不限于傳 統(tǒng)的運動畫面(motion pictures)，而是還包括按時序(例如每秒一次、每兩秒一次等)拍攝的靜止幀。網(wǎng)絡照相機10包括本地視頻分析 模塊20，在該實施例中示出本地視頻分析模塊20被實現(xiàn)為基于處理 器19上的處理過程的軟件。然而，也可以使用硬件、固件或混合模塊。 網(wǎng)絡照相機10包括透鏡系統(tǒng)12，用于收集入射光；圖像傳感 器13，例如電荷耦合裝置(CCD)、 CMOS傳感器或類似的傳感器，用 于記錄入射光；圖像處理模塊15 (以硬件、軟件或混合方法實現(xiàn))； 圖像/視頻編碼器21; CPU 19，管理例如視頻分析模塊20;存儲器17; 以及網(wǎng)絡接口 22。圖像傳感器13還可以是用于檢測紅外輻射的IR傳 感器。圖像/視頻編碼器21被配置成將拍攝到的數(shù)字圖像數(shù)據(jù)編碼為 用于連續(xù)視頻序列的、用于受限的視頻序列的、用于靜止圖像的或用 于流式圖像/視頻的多種已知格式中的任意一種。例如，圖像信息可以 被編碼成MPEG1、 MPEG2、 MPEG4、 H.264、 JPEG、 M-JPEG、位 圖等。
能夠產生模擬圖像序列的模擬照相機(54，圖3中所示)以及諸 如視頻服務器或視頻編碼器的轉換器57也可以與網(wǎng)絡照相機10 —起 使用，或者可以作為網(wǎng)絡照相機IO的替代品。轉換器57將來自模擬 照相機54的模擬圖像序列轉換成數(shù)字圖像序列或者圖像數(shù)據(jù)，并且將 該數(shù)字圖像序列或者圖像數(shù)據(jù)提供給網(wǎng)絡。在這種情況下，在轉換器 中進行視頻/圖像編碼和本地分析。
圖2是根據(jù)本實施例的客戶端計算機或監(jiān)視中心計算機的示意 圖。計算機130包括計算裝置100，鍵盤112、定位設似pointing device) 111、視頻獲取單元113和顯示器110連接到該計算裝置100。
計算裝置100包括處理器101,處理器101執(zhí)行控制過程并且與 主存儲器105和ROM 106連接，主存儲器105用于暫時存儲正被處 理的數(shù)據(jù)，ROM 106存儲處理器101所執(zhí)行的指令。盤控制器107至 少控制盤108和CD-ROM 109，視頻序列在處理前和處理后可以存儲 在盤108和CD-ROM 109上。顯示控制器104用于控制外部顯示器 110,并且I/0接口用于控制其它外部裝置，例如鍵盤112、定位設備 111和視頻獲取單元113?？偩€103使所有這些組件互連。計算裝置100可以是例如采用Pentium處理器的PC。存儲在 ROM 106中的指令集可以被提供作為與處理器以及操作系統(tǒng)(例如 VISTA、 UNIX、 SOLARIS, LINUX、 APPLE MAC-OS和本域技術 人員已知的其它系統(tǒng))協(xié)同執(zhí)行的實用程序、后臺守護進程或操作系 統(tǒng)的組件及其組合。
計算裝置100的主存儲器105可以是與PC集成的動態(tài)或靜態(tài)隨 機存取存儲器(RAM)，或者可以是諸如FLASH、 EEPROM、光盤、 服務器等其它存儲裝置。另外，主存儲器105中的至少一部分還可以 從視頻運動檢測系統(tǒng)可拆卸掉。
視頻運動檢測系統(tǒng)還可以在硬件裝置上實現(xiàn)，所述硬件裝置例如 FPGA、 ASIC、微控制器、PLD或其它這類處理裝置(處理器)。
視頻獲取單元113的實例包括視頻照相機、盒式錄像機(VCR)、 數(shù)字通用盤(DVD)錄像機等。定位設備lll的實例包括鼠標、軌跡球、 觸摸板等，并且顯示器110可以是例如視頻監(jiān)視器。
如圖3中所示，網(wǎng)絡照相機10可以通過專用網(wǎng)絡與一個或多個 用戶客戶端51本地連接，或者通過公共網(wǎng)絡與一個或多個用戶客戶端 51遠程連接。網(wǎng)絡照相機的網(wǎng)絡接口使得在照相機與用戶客戶端之間 不僅能夠進行圖像或視頻的通信，而且還能夠進行搖攝(pan) /俯仰 (tilt) /變焦(zoom)機構的控制數(shù)據(jù)、音頻、圖像和視頻設置等的 通信。用戶客戶端51可以是例如監(jiān)視中心52、客戶端計算機51或網(wǎng) 絡錄像機(NVR)53,可以是用于存儲、操縱和/或中繼來自照相機的圖 像序列的服務器。圖3旨在示出可以與監(jiān)控照相機交互作用的不同用 戶客戶端。網(wǎng)絡照相機可以向多于一個的用戶客戶端提供例如圖像和 視頻。
諸如運動檢測的視頻分析應用基于對網(wǎng)絡照相機10或模擬照相 機54所拍攝的圖像序列中的圖像的分析。可以在網(wǎng)絡照相機中、在監(jiān) 視中心52中、在客戶端計算機51中或者在NVR 53中對圖像進行分 析。然而，在網(wǎng)絡照相機10中或者在轉換器57中進行視頻分析可能 是有利的，這是因為可以在不必使用許多帶寬將通信量加載到網(wǎng)絡上的情況下進行視頻分析。因此，該優(yōu)點尤其與用戶對被連續(xù)提供圖像 序列不感興趣的應用相關，例如，僅在照相機視圖中發(fā)生事件時才向 用戶提供圖像序列的應用。采用網(wǎng)絡中的視頻分析應用程序，使得照
相機54或轉換器57能夠提取元數(shù)據(jù)，即關于圖像的數(shù)據(jù)(如同例如 在圖像序列中描述發(fā)生了什么的數(shù)據(jù))。然后，可以在特定條件(例 如沒有警報時)下用元數(shù)據(jù)替代圖像序列從照相機傳輸?shù)接脩簟？梢?提供不連續(xù)發(fā)送圖像序列的系統(tǒng)，以節(jié)省寬帶或者有助于系統(tǒng)的可擴 展性，這是因為向這種系統(tǒng)添加另外的網(wǎng)絡照相機比較容易。然而， 替代實施例具有執(zhí)行視頻分析的客戶端計算機51和/或監(jiān)視中心52。
接著，描述可以在圖1中的視頻運動檢測系統(tǒng)上執(zhí)行的視頻運動 檢測方法。
圖4是由例如視頻運動檢測系統(tǒng)的視頻獲取單元113拍攝的視頻 序列200的圖像集合201。在該非限制性實例中，視頻序列200的物 體包括人202、夾克衫204和豎直柱狀物203。當然，如本領域的普通 技術人員可以理解的，該方法還可以處理包含其它主題的圖像。另外， 圖像201可以被排列成使最新圖像在其它圖像前面，或者使最新圖像 在所有其它圖像后面。
在圖4和圖5中，視頻序列200的圖^象201被組合以形成圖像體
300。視頻序列200包括圖像201 I" I2.....IN，其中，N等于或大
于3。沿著(X， t)平面將圖像體300分片，以形成兩個圖像體部分301 和302。然而，也可以在不背離本公開的范圍的前提下沿著(Y， t)平面 對圖4象體300分片。
圖像體301的頂部包括柱狀物305、人303和至少 一條暗水平線 304 (與Y軸平行)。柱狀物305是靜止的，因此形成與t軸(即，時 間軸)平行的線。然而，在獲取視頻序列200的過程中，人303已經(jīng) 移動。結果，人303形成沿著圖像體部分301的頂部的、與任何軸都 不平行的曲線。
暗水平線304表示照明變化。例如，線304是減弱照明的結果。 然而，如本發(fā)明的發(fā)明者所認識到的，這類照明變化總是平行于X或Y軸，因此可以被容易地識別為照明變化而非運動并且被抑制。利用 差別檢測或運動估計方法是不可能這樣抑制照明變化的。
在圖像體300 #皮分片成圖像體部分301和302之后，對兩個圖像 體部分301和302中的每個像素應用對數(shù)變換，以將反射成分與照明 成分分開?？蛇x地，可以通過對圖像體300中的像素進行高通濾波來 抑制照明成分。
接著，用空-時濾波器對圖像體300進行濾波，以產生圖6的圖 像體400?？?時濾波器是邊緣增強濾波器。由此，空-時濾波器增強了 人403和柱狀物404的邊緣。
例如，可以使用3x3索貝爾濾波器核(Sobel filter kernel)來實 現(xiàn)空-時濾波。另外，也可以使用序列號為No.61/100，575的美國專利 申請中所描述的方法來實現(xiàn)空-時濾波，該方法采用了單指令多數(shù)據(jù) (SIMD)指令來同時處理多個像素，同時在整個濾波過程中保持每個像 素的位數(shù)恒定。
在用空-時濾波器(或者作為濾波器的一部分)進行濾波之后， 對圖像體400的像素應用閾值函數(shù)，以便減少數(shù)據(jù)。圖7是所得的圖 像體500。閾值函數(shù)還通過每個4象素的二值表示來加強邊緣。例如， 滿足預定閾值(例如，$50%灰度值)的像素被賦予值"l"(黑色)， 而落到該閾值之下的像素被賦予值"O"(白色)。在圖像體500中，限 定人503的邊緣明顯不同于其周圍環(huán)境，限定柱狀物504的邊緣也是 如此。如下所述，由于每個^f象素現(xiàn)在只用"l"或"0"來表示，因此這樣 能夠更有效地搜索圖像。
圖8是在(X，t)平面中的圖像部分600,該圖像部分已經(jīng)被如上所 述進行了處理。在該實例中，像素601被識別為起始像素，柵格化的 搜索線602a、 602b、 603a、 603b、 604a和604b從像素601延伸到像 素部分600的邊緣。搜索涉及識別沿著搜索線的、都具有"l"值(即， 都是黑色的)的像素串。對該方法而言像素串必須是預定長度(例如 在正被搜索圖像上線性排列的多個像素，或者諸如3、 5、 8(已示出) 或IO之類的特定數(shù)目的像素)，以將其識別為表示運動。例如，可能需要串與正被搜索的圖像部分600 —樣長，在本實例中，最多為8個 像素。然而，在本實施例中，也可以使用更短或更長的檢測串尺寸。 另外，該串中的一個中斷(single break )對于該串來說可足以作為 偽影(artifact)、噪聲等而被忽略。
正被搜索的圖像部分600的尺寸確定了運動識別的精確性和噪聲 敏感性。如果區(qū)域小(例如沿著某一方向有3個或2個像素)，得到 更確實的檢測結果的可能性較大，但是與較長的檢測串相比，這些檢 測結果對噪聲造成的干擾更敏感。較大的(例如，具有沿著某一方向 有8個、9個或IO個像素的區(qū)域)圖像部分600對噪聲干擾更具免疫 力，但是導致較少的檢測結果。然而，與較短串相比，對較長相連 (contiguous )串的任何確實的檢測結果提供了更為可靠的檢測信息。 另外，與搜索線(602a、 602b、 603a、 603b、 604a和604b)對 應的角度可以在某一范圍(例如，30。至600)內變化，以檢測不同速 率的運動。
圖9是上述處理過程的流程圖。在步驟S1中，視頻序列200中 多個圖像201被組合成圖像體300。在步驟S2中，沿著(X， t)平面或(Y， t)平面中的一個將圖像體300分片。在步驟S3中對圖像體300進行對 數(shù)變換，并且在步驟S4中圖像體300被空時濾波器濾波以產生濾波后 的圖像體400。在步驟S5中，將閾值函數(shù)應用到濾波后的圖像體400， 并且在步驟S6中，進行運動(沿(X, t)或(Y， t))的檢測。通過將分 片的方向從(X，t)改變到(Y，t)和從(Y，t)改變到(X，t)，對視頻序列執(zhí) 行完全的運動檢測分析。
圖lO是在沿著(X，t)平面進行分片處理的情況下在圖9的步驟S6 中執(zhí)行的檢測的流程圖。在步驟SIO中，選擇值為"l"的像素作為起始 點。在步驟S11中，探測在位置(X+i，t+j)處的相鄰像素，以確定其值 為"1"還是"0"。如果其值是"l"，則在步驟S12中選擇該^^素作為新的 起始點，并且在步驟S13中，記錄用"l，，值標識的相鄰像素的數(shù)目的計 數(shù)器被遞增。然后，重復步驟S11至S13，直到搜索完全部的搜索線 為止。指標變量(index variable) i和j可以l或2遞增，以實現(xiàn)圖8 中的搜索線。例如，當i的增量為2并且j的增量為1時，產生搜索 線602b。當i和j的增量都為l時，產生搜索線603b，等等。然而， i和j可以是其它值，以實現(xiàn)具有不同角度的搜索線。
一旦完全搜索完搜索線，就在步驟S14中將值為"l"的相鄰像素 的數(shù)目與閾值作比較，并且如果該數(shù)目超過閾值，則在步驟S15中檢 測到運動。然而，如果該值落在閾值之下，則沒有檢測到運動(步驟 S16)。重復對每個搜索線的搜索，直到所有的都被窮盡，然后執(zhí)行返 回到主循環(huán)。
圖ll是沿著(Y，t)方向的搜索過程的流程圖。如在上述情況中一 樣，在步驟S20中，選擇值為"l"的像素作為起始點。在步驟S21中， 探測下一個相鄰像素(Y+i，t+j)，以確定其值為"1"還是"0"。 "l"將導致 在步驟S22中像素(Y+i，t+j)被選擇作為下一起始點，并且導致在步驟 S23中像素計數(shù)器遞增。 一旦搜索線被窮盡，就在步驟S24中將像素 計數(shù)器的值與閾值進行比較。當該值高于閾值時，則在步驟S25中發(fā) 生檢測。否則，沒有檢測到運動(S26)。重復步驟S21-S23,直到搜索 線被窮盡為止。
如在(X， t)搜索的情況下一樣，i和j的值可以是l或2，以實現(xiàn) 圖8的搜索線。然而，其它值也是可以的。 一旦所有的搜索線被窮盡， 則控制回復到主循環(huán)。
可以在擴大的圖像區(qū)域的同心圓中執(zhí)行上述搜索，以增加檢測的 可能性，而不明顯降低精確性。假定存在由軸X和Y限定的二維檢測 區(qū)域。在搜索區(qū)域內，將存在多個短檢測串和長檢測串。作為有效檢 測邊緣的方法，可以使用較長檢測串作為用以集中到待分析區(qū)域上的 "種子(seeds)，，。而且， 一旦檢測到較長串，則較長串就是很大可能 存在邊緣的重要發(fā)現(xiàn)。然后，4十對較低置信樣本(lower confidence sample)搜索通過該長檢測串而固定在搜索區(qū)內的、長檢測串周圍的 圓形區(qū)域。該搜索策略的理由在于，較長檢測串具有更高概率的精確 性，因此更有可能指示真實邊緣。由于在該區(qū)域中已經(jīng)以高置信度檢測了邊緣，因此假定邊緣的其它部分將位于附近區(qū)域是合理的。因而， 位于檢測區(qū)域中更偏僻的孤立部分中的短檢測串更有可能是噪聲的產 物，因此不可能是由真實邊緣造成的。
在一個實施例中，本發(fā)明的發(fā)明者認識到利用 一位來表示每個像
素的優(yōu)點。即，通過對檢測區(qū)中相鄰行進行邏輯與(AND)操作來檢 測貫穿檢測區(qū)的連續(xù)線。例如，可以通過對不同的數(shù)據(jù)行(沿著t方 向)進行一系列與操作，來檢測相連串603b。因此，通過簡單的布爾 邏輯，通過一系列與操作可以容易地識別相連的檢測串。同樣， 一旦 在區(qū)域600中形成檢測串，通過針對每個候選串的邏輯或(OR)就可 以識別出足夠長度的任何一個串的存在(在這種情況下，是從像素601 至區(qū)域600邊緣的相連串)。因此，如果存在任何一串，則或操作的 結果指示在區(qū)域600中存在足夠長度的串，因此，邊緣存在并且包括 像素601。
雖然本實施例描述了每個像素用一位表示的過程，但是也可以包 括每個字多個像素，例如每個字32個像素。在這種情況下，例如，沿 著x軸，對源于像素601及其右邊的31個像素的對角線串執(zhí)行平行搜 索。在這種情況下，沿著平行的對角線方向進行平行搜索。注意，每 個像素多個位需要更復雜的算術運算，因此增加了處理要求。
雖然圖8示出了沿著直線的串，但是也可以具有檢測運動的其它 圖案的線，而非必須是直線的。這類其它圖案包括部分對角線(包括 一個或多個對角線段)和曲線。
在另一個實施例中，同時地對(X， Y)平面中的所有像素平行執(zhí)行 搜索進程。從圖像體500中的最新邊緣圖像開始，與已經(jīng)按照搜索線 平移后的下一圖像執(zhí)行邏輯與，然后使用與操作與第一與操作的結果 進行邏輯比較。然后重復該進程，以覆蓋預定長度的像素。對具有不 同方向的不同搜索線重復該搜索進程。在不同的搜索方向之間使用邏 輯或操作，以確定是否在自特定起始像素起的任意一條搜索線中檢測 到運動?？梢詫ρ刂鳻方向和Y方向的平移都執(zhí)行該搜索進程。使用 該搜索進程時，明確的分片步驟S2在圖9所示的過程中不是必須的，這是由于分片的步驟將是檢測步驟S6所固有的。
上述方法還可以實現(xiàn)為計算機程序，所述計算機程序例如采取計 算機可讀介質上存儲的計算機可讀指令的形式。
傳統(tǒng)的視頻運動檢測方法是具有計算要求的、不精確的或者對于 照明變化敏感。然而，視頻序列可以被組合成圖像體，并且被沿著(X， t)或(Y， t)平面分片。如本發(fā)明的發(fā)明者所認識到的，在這樣的分片上 的運動將表現(xiàn)為不與任何軸(X， Y，t)平行的斜線或曲線，而照明變化或 固定對象將表現(xiàn)為與一個軸平行的線。因此，在該方法中，可以識別 并抑制或減少照明變化。
另夕卜，如本發(fā)明的發(fā)明者所認識到的，沿著對視頻序列柵格化而 成的搜索線進行搜索能夠比現(xiàn)有的方法提高效率，并且使其自身適于 在嵌入式系統(tǒng)中的實現(xiàn)。
顯而易見，根據(jù)以上教導，本發(fā)明的許多修改和變化是可能的。 因此，要理解的是，在所附權利要求的范圍內，可以采用與本文具體 描述的方式不同的方式來實踐本發(fā)明。
權利要求
1、一種視頻運動檢測方法，包括拍攝視頻序列的多個圖像，所述多個圖像中的每一個圖像包括多個像素，每個像素由第一數(shù)目的位來表示；將所述第一數(shù)目的位減少為第二數(shù)目的位，所述第二數(shù)目比所述第一數(shù)目少；在計算機可讀介質中存儲所述多個圖像；用處理器在所述多個圖像中搜索預定區(qū)域的空-時域中的空-時邊緣；以及檢測所述多個圖像中公共對象的運動，包括比較在所述預定區(qū)域中具有公共值的連接起來的像素串，以及當至少一個連接起來的像素串大于預定長度時識別出邊緣的存在。
2、 根據(jù)權利要求1所述的方法，其中，所述連接起來的串沿著 直對角線方向排列。
3、 根據(jù)權利要求1所述的方法，其中，所述連接起來的串排列 成除直對角線以外的預定圖案。
4、 根據(jù)權利要求1至3中的任一項所述的方法，其中，所述減 少步驟包括將所述第一數(shù)目的位減少為每個像素1位。
5、 根據(jù)權利要求4所述的方法，還包括如下步驟將表示各像 素的位打包到可由處理器以單個操作指令來處理的>^共數(shù)據(jù)字中。
6、 根據(jù)權利要求1至5中的任一項所述的方法，其中，所述識 別步驟包括當所述至少一個連接起來的像素串與所述預定區(qū)域的深 度至少一樣長時識別出邊緣。
7、 根據(jù)權利要求1至6中的任一項所述的方法，其中，所述搜 索步驟包括并行搜索相鄰像素。
8、 根據(jù)權利要求1至7中的任一項所述的方法，其中，所述比較步驟包括對所述預定區(qū)域中的像素組進行邏輯與操作；以及所述識別步驟包括對所述預定區(qū)域內的連接起來的像素串進行 邏輯或操作。
9、 根據(jù)權利要求1至8中的任一項所述的方法，其中，所述減 少步驟包括對所述多個像素進行對數(shù)變換，以將反射成分與照明成 分分開。
10、 根據(jù)權利要求1至9中的任一項所述的方法，其中，所述減 少步驟包括空-時濾波步驟。
11、 根據(jù)權利要求10所述的方法，其中，所述減少步驟包括對 所述空-時濾波步驟的結果的絕對值進行閾值操作。
12、 一種包括計算機可讀指令的計算機程序，當由處理器執(zhí)行所 述計算機可讀指令時使所述處理器執(zhí)行的步驟包括拍攝視頻序列中的多個圖像，所述多個圖像中的每一個包括多個 像素，每個像素由第一數(shù)目的位來表示；將所述第一數(shù)目的位減少為第二數(shù)目的位，所述第二數(shù)目比所述 第一數(shù)目少；在計算機可讀介質中存儲所述多個圖像；用處理器在所述多個圖像中搜索預定區(qū)域的空-時域中的空-時邊 緣；以及用處理器檢測所述多個圖像中包括的公共對象的運動，所述檢測 步驟包括比較在所述預定區(qū)域中具有公共值的連接起來的像素串，以及當至少一個連接起來的像素串大于預定長度時識別出邊緣 的存在。
13、 一種照相才幾，包括光學部分，被配置成從包含對象的場景中捕捉光；傳感器，被配置成將所述光轉換成視頻序列的多個圖像，所述多個圖像中的每一個包括多個像素，每個像素由第 一數(shù)目的位來表示；圖像處理器，被配置成將所述第一數(shù)目的位減少為第二數(shù)目的 位，所述第二數(shù)目比所述第一數(shù)目少；存儲器，被配置成以用第二數(shù)目的位表示每個像素的形式來存儲 所述多個圖像；以及處理器，被配置成在所述多個圖像中在所述像素中搜索預定區(qū)域的空-時域中的空-時邊緣，以及通過比較在所述預定區(qū)域中具有公共值的連接起來的像素串并在至少一個連接起來的像素串大于預定長度時識別出邊緣的存在，來檢測所述多個圖像中對象的運動。
全文摘要
用于視頻運動檢測的方法、計算機程序和照相機將視頻序列中的一系列圖像組合成具有頂點X、Y和t的圖像體。將圖像體沿著(X，t)或(Y，t)平面分片，用空-時濾波器濾波并且應用閾值以減少信息量。然后，搜索算法沿著視頻序列子集中的搜索線進行搜索，以定位運動。通過識別沒有與頂點中的任一個平行的線，可以對運動進行檢測。靜止物體和照明變化表現(xiàn)為與頂點之一平行的線。因此，可以將真實運動與照明變化區(qū)分開。
文檔編號H04N5/225GK101685543SQ20091017588
公開日2010年3月31日 申請日期2009年9月23日 優(yōu)先權日2008年9月26日
發(fā)明者J·阿爾布萊德 申請人:阿克塞斯股份公司