專利名稱：實(shí)時(shí)操作的用于識(shí)別和定位場景中相對運(yùn)動(dòng)的區(qū)域并用于確定位移的方向和速度的方法 ...的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的目的在于提供一種實(shí)時(shí)操作的用于識(shí)別和定位場景中相對運(yùn)動(dòng)的區(qū)域并用于確定所述相對運(yùn)動(dòng)的速度和方向的方法和裝置。
相對運(yùn)動(dòng)指的是在一個(gè)近似不動(dòng)的環(huán)境中所述區(qū)域(它可以包括廣義上的“物體”，其中包括生物或生物體的一部分，例如手)的運(yùn)動(dòng)，或者有時(shí)也指在至少部分地運(yùn)動(dòng)的環(huán)境中所述區(qū)域(或“物體”)的大致完全固定。
本發(fā)明涉及一種來自觀測系統(tǒng)的數(shù)字視頻輸出信號(hào)的處理，所述觀測系統(tǒng)包括光學(xué)輸入系統(tǒng)或者能夠形成被觀測的場景的圖像的物鏡，并可以通過光電轉(zhuǎn)換系統(tǒng)或檢測器把接收到的圖像轉(zhuǎn)換成一個(gè)數(shù)字輸出信號(hào)。
一般地說，觀測系統(tǒng)包括用于觀測要被監(jiān)視的場景的視頻攝像機(jī)或帶磁帶機(jī)的攝像機(jī)(此時(shí)所述數(shù)字輸出信號(hào)包括由具有數(shù)字輸出的攝像機(jī)輸出的數(shù)字視頻信號(hào)，或由模/數(shù)轉(zhuǎn)換器輸出的數(shù)字信號(hào)，模/數(shù)轉(zhuǎn)換器的輸入端和輸出模擬視頻信號(hào)的攝像機(jī)的輸出相連)。
觀測系統(tǒng)還可以包括光學(xué)儀器(雙目鏡，觀察鏡筒，取景器)的物鏡，通過這些光學(xué)儀器，至少射出的光束的一部分被采樣，及具有標(biāo)準(zhǔn)的相關(guān)電子系統(tǒng)的光電傳感器，例如CCD型或CMOS型的，傳感器接收由所述一部分光束形成的圖像并通過相關(guān)的電子系統(tǒng)將它轉(zhuǎn)換為一個(gè)數(shù)字視頻輸出信號(hào)。
本發(fā)明主要包括來自觀測系統(tǒng)，尤其是視頻攝像機(jī)的數(shù)字視頻輸出信號(hào)的處理，所述觀測系統(tǒng)具有數(shù)字輸出端，用于實(shí)時(shí)地確定信號(hào)表示在所述場景中的相對運(yùn)動(dòng)的區(qū)域的存在和位置，并當(dāng)所述區(qū)域?qū)嶋H上在所述場景中相對于近似不動(dòng)的環(huán)境正在移動(dòng)時(shí)，表示其移動(dòng)的速度和方向。
迄今為止，用于識(shí)別和定位相對運(yùn)動(dòng)的物體和確定位移的速度和方向的最好的系統(tǒng)是動(dòng)物和人的視覺系統(tǒng)，例如，獵人在其隱蔽處定位動(dòng)物的位移以及位移的速度和方向。
現(xiàn)有技術(shù)的監(jiān)視裝置例如人造視網(wǎng)膜，模擬的(Giocomo Indiveri等人，在Procciidings of NicroNeuro’96第15-22頁)或數(shù)字的(Pierre-Francois Rüedi在Proceedings of MicroNeuro’96第23-29頁)已經(jīng)提出了，但第一涉及具有復(fù)雜結(jié)構(gòu)的檢測器和模擬單元，第二涉及識(shí)別物體邊緣的裝置；此外，在所述裝置中使用非?？焖俚暮透呷萘康拇鎯?chǔ)器，以便進(jìn)行實(shí)時(shí)操作，并且只能獲得關(guān)于運(yùn)動(dòng)區(qū)域或物體的有限的信息。
因而，作出了存儲(chǔ)來自視頻攝像機(jī)或類似儀器的幀輸出信號(hào)的建議，其中包括在一個(gè)第一二維存儲(chǔ)器中的關(guān)于代表由攝像機(jī)在時(shí)刻t0觀測的場景的像素的數(shù)據(jù)序列，和在一個(gè)第二二維存儲(chǔ)器中的代表所述在時(shí)刻t1的場景的下一個(gè)相應(yīng)幀的視頻信號(hào)。如果物體在t0和t1之間已經(jīng)運(yùn)動(dòng)，則可確定一方面，物體在t0和t1之間在場景中移動(dòng)的距離d，以及另一方面，相對于相同像素的兩個(gè)連續(xù)的相應(yīng)幀的開始之間的時(shí)間T=t1-t0。那么位移速度等于d/T。這種類型的系統(tǒng)要求非常大的總存儲(chǔ)容量，如果其要求獲得表征該位移的精確的速度和方向指示的話。此外，在獲得速度和位移方向指示時(shí)，存在某些延遲；所以直到時(shí)間t1+R才得到這個(gè)信息，其中R是用于計(jì)算時(shí)間間隔t0-t1所需的時(shí)間。這兩個(gè)缺點(diǎn)(需要大的存儲(chǔ)容量和獲得所需信息時(shí)的延遲)限制了這類系統(tǒng)的應(yīng)用。
此外法國專利NO.2.611.063，其中的一個(gè)發(fā)明人(Mr.PatrickPirim)是本發(fā)明的發(fā)明人，描述了一種用于實(shí)時(shí)處理序列數(shù)據(jù)流，尤其是從帶磁帶機(jī)的攝像機(jī)輸出的信號(hào)，以便進(jìn)行數(shù)據(jù)壓縮的一種方法和裝置。按照這個(gè)前面的專利，對第一序列使用分級(jí)法則形成信號(hào)電平的直方圖，存儲(chǔ)表示和這個(gè)直方圖相關(guān)的高斯函數(shù)，從其中提取最大和最小電平，下一個(gè)序列或第二個(gè)序列的電平和與對于每個(gè)像素相同的恒定的時(shí)間常數(shù)一道存儲(chǔ)的所述信號(hào)電平比較，產(chǎn)生參照分類法則表征下一個(gè)所述序列的二進(jìn)制分類信號(hào)，從這個(gè)二進(jìn)制信號(hào)產(chǎn)生一個(gè)表示一個(gè)有意義的范圍的位置和持續(xù)時(shí)間的輔助信號(hào)，最后使用所述輔助信號(hào)產(chǎn)生一個(gè)定位被稱為主要范圍的最長持續(xù)時(shí)間的范圍的信號(hào)，并且這些操作對序列信號(hào)的隨后序列重復(fù)進(jìn)行。這種分類的方法和裝置使數(shù)據(jù)能夠壓縮，在序列數(shù)據(jù)的被處理的流中只保持感興趣的參數(shù)。尤其是，這個(gè)方法能夠處理表示視頻圖像的數(shù)字視頻信號(hào)，以便提取并定位在所述圖像中的至少一個(gè)區(qū)域的至少一個(gè)特征。因而可以對信號(hào)的亮度與/或色度級(jí)分類，以便表征并定位圖像中的物體。
美國專利No 5488430通過分別確定在被觀測的區(qū)域的圖像中的水平和垂直變化來檢測和估算位移。使用不同的信號(hào)分別檢測沿水平和垂直方向從右到左，從左到右，從頂?shù)降?，從底到頂?shù)倪\(yùn)動(dòng)，其中首先對水平/垂直差信號(hào)和幀差信號(hào)進(jìn)行“異”運(yùn)算，其次使用水平/垂直信號(hào)的和與幀差信號(hào)的和相對于K×3窗口的比。在這個(gè)美國專利No 548430中，利用沿著兩個(gè)正交的水平和垂直方向的圖像計(jì)算在這兩個(gè)正交方向有相同的表示間距的值K，間距K按照要被確定的位移速度被定義。按照這一美國專利的裝置對差值信號(hào)施加一組以列12(在開始和結(jié)尾)和列13(在開始)表示的計(jì)算操作，確定沿兩個(gè)正交方向的每個(gè)方向的運(yùn)動(dòng)的方向，這需要非常復(fù)雜的(因此難于執(zhí)行)電子計(jì)算單元進(jìn)行特定的除、乘和求和；而且，由于從在水平和垂直坐標(biāo)軸上的投影開始，需要附加復(fù)雜的計(jì)算單元才能獲得位移的速度和方向(開平方以獲得速度的值并計(jì)算arctg函數(shù)以便獲得指定的方向)。最后，美國專利No 5488430沒有包括通過對于每個(gè)像素是可變的時(shí)間常數(shù)來平滑像素值，以便補(bǔ)償這些值的過快地變化的的任何裝置。
與此相反，按照本發(fā)明的方法使用本發(fā)明提供的數(shù)字型裝置實(shí)現(xiàn)，這些裝置具有相當(dāng)簡單的結(jié)構(gòu)和相當(dāng)小的存儲(chǔ)容量，并通過這種裝置利用多種結(jié)果和應(yīng)用(根據(jù)應(yīng)用對應(yīng)于隔行掃描幀的完整的半圖像或完整的圖像)可以快速地獲得所需的信息。
在Institute of Electrical and Electronics Engineers,vol.3,1994，第1925-1930頁，由Alberto Tomita Sr.和Rokuya Ishii發(fā)表的標(biāo)題為“HandShape Extraction from a Sequence of Digitized Gray-Scale Images”的文章中實(shí)現(xiàn)了一種運(yùn)動(dòng)檢測，它通過在由根據(jù)人手的形狀的直方圖的形成跟隨的相繼的圖像之間相減，以便在數(shù)字化的場景中提取人手的形狀。直方圖分析根據(jù)人手固有的灰度進(jìn)行。它不包括形成平面坐標(biāo)的直方圖的任何裝置。這篇文章的作者的唯一目的是檢測人手的位移，例如為了用手代替一般的鼠標(biāo)，識(shí)別人手的位移，用于向計(jì)算機(jī)輸入數(shù)據(jù)。
與此相反，本發(fā)明不限于檢測手的位移，而是能夠檢測場景中的任何物體(在最廣義上說)的相對位移，并且不使用根據(jù)手的灰度值的直方圖，而是使用代表位移(如果有的話)的一些特定數(shù)字變量的直方圖和平面坐標(biāo)的直方圖。
按照本發(fā)明處理來自觀測系統(tǒng)的數(shù)字視頻輸出信號(hào)，這個(gè)信號(hào)以已知的方式包括幀序列(對應(yīng)于在每個(gè)圖像兩個(gè)隔行幀的情況下的半圖像，或每個(gè)圖像一個(gè)幀情況下的一個(gè)完整圖像)每個(gè)包括給定數(shù)量的連續(xù)行和在這些行中的每行中的給定數(shù)量的像素或圖像點(diǎn)，為了使用相當(dāng)小的存儲(chǔ)容量獲得能夠表示在觀測的場景中是否存在相對運(yùn)動(dòng)的區(qū)域的信號(hào)，并且如果有，如果它實(shí)際上相對于其環(huán)境正在運(yùn)動(dòng)的話，則確定所述區(qū)域的位置，速度和方向，通過產(chǎn)生兩個(gè)數(shù)字信號(hào)，一個(gè)代表在兩個(gè)相繼的相應(yīng)幀之間，對于同一像素位置，像素信號(hào)有大的改變或未改變，另一個(gè)代表這一改變的大小，如果有的話，并在同一時(shí)刻在幀的一部分中進(jìn)行這兩個(gè)信號(hào)對于像素的矩陣分布。
本發(fā)明的第一個(gè)目的在于，提供一種實(shí)時(shí)操作的方法，用于識(shí)別和定位在一個(gè)通過觀測系統(tǒng)觀測的場景中的相對運(yùn)動(dòng)的區(qū)域，所述觀測系統(tǒng)具有由數(shù)字視頻信號(hào)構(gòu)成的輸出，所述視頻信號(hào)包括連續(xù)的相應(yīng)的幀，每個(gè)幀由連續(xù)的行構(gòu)成，每行包括連續(xù)的像素，并用于確定位移的速度和方向，所述方法的特征在于，它對于數(shù)字視頻輸出信號(hào)進(jìn)行如下的操作順序使用數(shù)字時(shí)間常數(shù)對所述數(shù)字視頻輸出信號(hào)進(jìn)行平滑處理，它的數(shù)字值對于所述輸出信號(hào)的每個(gè)像素可以獨(dú)立地被修正，在一方面，在平滑之后，存儲(chǔ)所述輸出信號(hào)的幀，在另一方面，存儲(chǔ)和所述幀相關(guān)的時(shí)間常數(shù)，-對于每個(gè)像素位置進(jìn)行時(shí)間處理，在于首先確定其存在，其次確定在當(dāng)前幀和剛剛前面的平滑和存儲(chǔ)的幀之間像素信號(hào)的大小是否有顯著變化的值，并產(chǎn)生兩個(gè)數(shù)字信號(hào)，第一個(gè)信號(hào)是二進(jìn)制的或具有兩個(gè)可能的值的1位的信號(hào)，兩個(gè)可能值之一表示兩個(gè)相繼幀之間存在顯著變化，而另一個(gè)代表不存在所述顯著變化，所述二進(jìn)制信號(hào)的值修正所述時(shí)間常數(shù)的存儲(chǔ)值，以便如果所述信號(hào)代表顯著改變的話，減少所述時(shí)間常數(shù)；以及如果所述信號(hào)不存在這種變化的話，增加所述時(shí)間常數(shù)；所述減少或增加以定量的方式進(jìn)行，而第二個(gè)數(shù)字信號(hào)，即幅值信號(hào)，是一個(gè)多位信號(hào)，其具有量代所述變化的幅度的有限的位數(shù)；以及對于數(shù)字視頻輸出信號(hào)的每一幀進(jìn)行包括以下步驟的空間處理在給定的觀測時(shí)刻，只分配在一幀中的一部分像素值(在整個(gè)幀期間通過所述矩陣被掃描的一部分)，首先是所述二進(jìn)制信號(hào)，其次是所述數(shù)字幅值信號(hào)，到具有若干行和列的矩陣中，所述行數(shù)和列數(shù)和視頻信號(hào)中的行數(shù)和每行的像素?cái)?shù)相比是小的，以便表征像素值，在這雙倍的瞬時(shí)矩陣表示中確定一個(gè)特定的區(qū)域，其中所述二進(jìn)制信號(hào)具有一個(gè)值，希望用于表示有無重大變化，以及在幀的相同部分內(nèi)因而也是在同一個(gè)觀測時(shí)刻對于在矩陣中的相鄰像素沿著從原始像素開始時(shí)所取的方向，所述數(shù)字幅度信號(hào)是否改變了一個(gè)顯著值，產(chǎn)生信號(hào)表示相對位移的區(qū)域的存在和位置，以及相對其環(huán)境的相對的幀間速度和該位移的方向，如果有的話，從這兩個(gè)二進(jìn)制和幅值數(shù)字信號(hào)的瞬時(shí)矩陣分布中獲得。
最好是，按照本發(fā)明的方法的特征在于，其還包括首先形成分布在矩陣中的信號(hào)數(shù)值的直方圖，其次形成在平面中具有可變的坡度的兩個(gè)坐標(biāo)軸的斜度的直方圖，識(shí)別在形成的每個(gè)直方圖中被處理值的重大變化的范圍，以及對于每個(gè)識(shí)別的范圍，推斷是否有相對運(yùn)動(dòng)的區(qū)域，如果有，判斷其位置、速度和所取的方向。
在特定的實(shí)施例中所述矩陣是方陣，具有相同的奇數(shù)行和列(2l+1)，并且考慮嵌套的矩陣含有3×3,5×5,7×7,...(2l+1)×(2l+1)個(gè)元素，其中心在所述方陣的中心，以便確定最小的嵌套矩陣，其中所述數(shù)字信號(hào)沿著從所述中心開始的方向改變，所述二進(jìn)制信號(hào)的值表示沿著該方向的門限值已經(jīng)被超過，-所述矩陣是六角陣，并且考慮尺寸增加的嵌套的六角陣，其中心在該六角陣的中心，以便確定最小的嵌套矩陣，其中所述數(shù)字信號(hào)沿所取方向而改變，-所述矩陣是具有單行和單列的倒L矩陣，并對于單行和單列考慮含有3×3個(gè)像素、5×5個(gè)像素，7×7個(gè)像素，...(2l+1)×(2l+1)個(gè)像素的嵌套的矩陣，以便確定最小的矩陣，其中信號(hào)沿所取方向，即具有最陡的斜度和恒定數(shù)量的行而改變。
有利的是，所述時(shí)間常數(shù)的形式是2p，其中p是小于16的數(shù)，并且其可以被以不多于4位來表達(dá)，通過對p減或加一個(gè)單位而使時(shí)間常數(shù)減少或增加。
在此情況下，如果需要，使用Mallat時(shí)標(biāo)算法考慮完整幀的相繼減少的部分，并選擇這些部分中的最大的，其給出可和p值匹配的方向指示、位移和速度。
本發(fā)明的另一個(gè)目的在于，提供一種實(shí)時(shí)操作的裝置，用于識(shí)別和定位在一個(gè)通過觀測系統(tǒng)觀測的場景中相對運(yùn)動(dòng)的區(qū)域，所述觀測系統(tǒng)具有由數(shù)字視頻信號(hào)構(gòu)成的輸出，所述視頻信號(hào)包括連續(xù)的相應(yīng)的幀，每個(gè)幀由連續(xù)的行構(gòu)成，每行包括連續(xù)的像素，并通過使用上述的方法用來確定位移的速度和方向，所述裝置接收所述視頻輸出信號(hào)作為其輸入，其特征在于，其以組合的形式包括-一種裝置，用于使用數(shù)字時(shí)間常數(shù)對所述數(shù)字視頻輸出信號(hào)進(jìn)行平滑處理，所述數(shù)字時(shí)間常數(shù)的數(shù)值對于所述每個(gè)輸出信號(hào)的像素可以獨(dú)立地被修正，-一種裝置，用于首先在平滑之后存儲(chǔ)所述輸出信號(hào)的幀，其次存儲(chǔ)和所述幀相關(guān)的平滑時(shí)間常數(shù)，-時(shí)間處理單元，用于分析在所述數(shù)字信號(hào)的當(dāng)前幀和剛剛被平滑并存儲(chǔ)的幀之間，對于同一像素位置的像素信號(hào)的值隨時(shí)間的變化，所述單元包括一個(gè)存儲(chǔ)器，所述存儲(chǔ)器能夠接收、存儲(chǔ)和檢索關(guān)于相應(yīng)的前一個(gè)平滑的幀的信息；還有比較裝置，對于在輸入視頻信號(hào)幀中的像素的每一位置，通過產(chǎn)生二進(jìn)制的信號(hào)，或者具有兩個(gè)值的一位信號(hào)，這兩個(gè)值之一表示超過門限值，另一個(gè)表示沒有超過門限值，用于確定在當(dāng)前像素信號(hào)和所述存儲(chǔ)器中存儲(chǔ)的前一幀的同一像素位置的像素信號(hào)表示值之間的差的絕對值是否超過一個(gè)門限；以及計(jì)算裝置，其能夠確定具有小的位數(shù)的多位數(shù)字幅值信號(hào)，其值取決于在數(shù)字視頻信號(hào)的當(dāng)前幀和剛剛前面被平滑并存儲(chǔ)的幀之間的同一像素的值的變化量；以及-空間處理單元，在其中輸入來自由時(shí)間處理單元處理的給定幀中的像素的所述連續(xù)的二進(jìn)制和數(shù)字幅值信號(hào)的輸出，所述空間處理單元包括用于表征像素的幅值的裝置，這些裝置只分配相對于同一時(shí)刻，即對于一幀，的所述二進(jìn)制和數(shù)字幅值信號(hào)，到分別比在所述數(shù)字視頻信號(hào)的幀中的行數(shù)和每行像素?cái)?shù)少的行數(shù)和列數(shù)的矩陣中，所述的幀在整個(gè)幀的持續(xù)時(shí)間跨過所述矩陣被掃描，尋找裝置，用于確定在所述矩陣內(nèi)像素的區(qū)域，其中，在此時(shí)刻，二進(jìn)制信號(hào)具有檢索的值；以及用于確定在所述矩陣內(nèi)像素區(qū)域的裝置，其中，在同一時(shí)刻對于相鄰像素的數(shù)字幅值信號(hào)改變一個(gè)顯著的量；以及一種裝置，其響應(yīng)來自兩個(gè)前面的裝置的指示，產(chǎn)生表示像素的這一區(qū)域并因而表示觀測的場景內(nèi)相對運(yùn)動(dòng)的區(qū)域的存在和位置的信號(hào)，該信號(hào)還表示當(dāng)所述區(qū)域?qū)嶋H上相對于其環(huán)境而運(yùn)動(dòng)時(shí)該區(qū)域相對的幀間速度和方向。
空間處理單元最好還包括一個(gè)輸出端，用于提供延遲的數(shù)字視頻信號(hào)，其包括具有等于矩陣的各行的持續(xù)時(shí)間減去一行的持續(xù)時(shí)間的延遲的輸入數(shù)字視頻信號(hào)，以便在所述時(shí)間處理單元中進(jìn)行矩陣分析的同時(shí)提供輸出信號(hào)。
按照本發(fā)明的裝置的空間處理單元最好包括串聯(lián)的延遲裝置，每個(gè)延遲裝置提供等于兩個(gè)相繼行的開始之間的時(shí)間差的延遲，以及用于每行的串聯(lián)的延遲裝置，其中的每一個(gè)提供等于一行中兩個(gè)相繼像素之間的時(shí)間差的延遲，并且來自所有寄存器的輸出和對在每行上的第一寄存器的輸入在給定的時(shí)刻向所述識(shí)別裝置提供所述二進(jìn)制信號(hào)和在同一時(shí)刻的所述數(shù)字幅值信號(hào)。
按照本發(fā)明的裝置最好還包括裝置用于形成來自所述空間處理單元的輸出值的直方圖，及在一個(gè)平面內(nèi)的兩個(gè)斜度可變的坐標(biāo)軸的傾斜度直方圖，該裝置用于識(shí)別每個(gè)直方圖中的一個(gè)范圍，其中被處理的值具有顯著的改變，以便在其輸出中使這個(gè)范圍有效，并對于所有直方圖導(dǎo)出輸出信號(hào)，該信號(hào)用于識(shí)別和定位在觀測的場景中的相對運(yùn)動(dòng)的區(qū)域，如果有的話；以及這些運(yùn)動(dòng)的速度和方向，如果所述區(qū)域相對于其環(huán)境確實(shí)在運(yùn)動(dòng)的話。
如果需要檢測在幾乎不運(yùn)動(dòng)的環(huán)境中的物體的運(yùn)動(dòng)，則需要確定矩陣的一部分，其中二進(jìn)制信號(hào)的值表明已經(jīng)超過限制，并且同時(shí)在一幀的相鄰像素之間的數(shù)字幅值信號(hào)具有顯著的改變。
與此相反，如果需要檢測在運(yùn)動(dòng)的環(huán)境中的不動(dòng)的物體，則需要確定矩陣的一部分，其中二進(jìn)制信號(hào)的值表明沒有超過限制，并且同時(shí)在一幀的相鄰像素之間的數(shù)字幅值信號(hào)沒有改變。
最好是，在實(shí)施上述方法的用于識(shí)別、定位和確定在場景中相對運(yùn)動(dòng)的區(qū)域的位移的速度和方向的裝置中-所述平滑裝置包括一個(gè)輸入端，其接收所述數(shù)字視頻信號(hào)，并對于所述視頻信號(hào)的一幀中的每個(gè)相繼的像素導(dǎo)出一個(gè)被平滑的信號(hào)，在其中輸入數(shù)字視頻信號(hào)的時(shí)間變化通過使用在另一個(gè)輸入端接收的門限信號(hào)和在一幀中關(guān)于每個(gè)像素位置的時(shí)間常數(shù)而減少，其值被不斷地修正，使得雖然變化被減小了，但是平滑裝置仍能維持輸入的數(shù)字視頻信號(hào)的變化趨勢，所述平滑裝置和所述存儲(chǔ)單元協(xié)同工作，存儲(chǔ)單元對于一幀中的每個(gè)像素位置接收、存儲(chǔ)并檢索被平滑的信號(hào)和所述時(shí)間常數(shù)的被更新的值，并對于每個(gè)像素位置至少輸出更新的時(shí)間常數(shù)連續(xù)值和二進(jìn)制信號(hào)的連續(xù)值，所述二進(jìn)制信號(hào)表明所述門限值是否被一個(gè)像素值和其平滑值之間的差的絕對值超過；所述空間處理單元以減少的數(shù)量沿著行和列進(jìn)行來自所述平滑裝置的輸出，即所述二進(jìn)制信號(hào)和所述時(shí)間常數(shù)的相繼值的矩陣分配；-提供一種裝置，用于在所述矩陣分配中識(shí)別一個(gè)像素區(qū)域，其中同時(shí)或者所述二進(jìn)制信號(hào)的值相應(yīng)于一個(gè)門限值被超過，并且在相鄰像素之間的所述時(shí)間常數(shù)沿一個(gè)方向改變一個(gè)大的值，并用于產(chǎn)生指示所述區(qū)域的位置和在該區(qū)域中位移的速度和方向的輸出信號(hào)；或者所述二進(jìn)制信號(hào)的值相應(yīng)于一個(gè)門限值沒有被超過，并且所述時(shí)間常數(shù)在相鄰像素之間沒有改變，并用于產(chǎn)生指示所述區(qū)域的位置的輸出信號(hào)；在最佳實(shí)施例中
-所述平滑裝置包括成組合關(guān)系的視頻存儲(chǔ)器或場存儲(chǔ)器，其存儲(chǔ)一幀的每個(gè)像素的連續(xù)的值和所述時(shí)間常數(shù)以及被平滑的數(shù)字視頻信號(hào)的連續(xù)值；用于對每個(gè)像素進(jìn)行計(jì)算的裝置，它計(jì)算從攝像機(jī)輸出的數(shù)字視頻信號(hào)的值和前一個(gè)平滑的數(shù)字視頻信號(hào)的值之間的差的絕對值；用于比較的裝置，其比較所述的差和一個(gè)門限，并產(chǎn)生一個(gè)二進(jìn)制信號(hào)，其兩個(gè)值中的一個(gè)值表示所述門限已被超過，另一個(gè)值表示尚未被超過；用于更新的裝置，其更新時(shí)間常數(shù)從所述存儲(chǔ)器中接收時(shí)間常數(shù)的前一個(gè)值，當(dāng)其接收的二進(jìn)制信號(hào)的值表示門限已被超過時(shí)，則使時(shí)間常數(shù)減少，當(dāng)其接收的二進(jìn)制信號(hào)的值表示門限未被超過時(shí)，則使時(shí)間常數(shù)增加，然而，如果其分別導(dǎo)致一個(gè)負(fù)值或者超過門限值的一個(gè)值，則不進(jìn)行減少或增加；以及用于更新數(shù)字視頻信號(hào)的平滑值的裝置，其按照代數(shù)方法對從所述存儲(chǔ)器接收的該平滑信號(hào)的前一個(gè)值加上從攝像機(jī)輸出的數(shù)字視頻信號(hào)和來自所述存儲(chǔ)器的前一個(gè)平滑的數(shù)字視頻信號(hào)的差除以等于從所述存儲(chǔ)器檢索的前一個(gè)時(shí)間常數(shù)的值的系數(shù)的商；-所述時(shí)間常數(shù)是2p的形式，其中p是小于16的整數(shù)，因而可以用不多于4位表示，時(shí)間常數(shù)的減少和增加通過對p減或加一個(gè)單位來實(shí)現(xiàn)；-所述矩陣分配裝置以組合方式包括延遲裝置，其對從攝像機(jī)發(fā)出的數(shù)字視頻信號(hào)提供等于視頻信號(hào)的一行的時(shí)間間隔的相繼的延遲，從而對相繼的輸出提供被延遲一個(gè)延遲間隔、兩個(gè)延遲間隔、直到延遲的間隔數(shù)等于在空間分配矩陣中的行數(shù)減1的該視頻信號(hào)；用于沿著矩陣的相繼行進(jìn)行矩陣分配的裝置，其首先接收來自攝像機(jī)的沒有延遲的數(shù)字視頻信號(hào)和從延遲裝置的輸出端輸出的該逐漸延遲的信號(hào)，然后接收從所述平滑裝置接收的時(shí)間常數(shù)的值和所述二進(jìn)制信號(hào)的值，以便在給定的時(shí)刻，對于和矩陣相同大小的數(shù)字視頻信號(hào)的一幀中的一部分像素，產(chǎn)生所述時(shí)間常數(shù)值和二進(jìn)制信號(hào)值的在行和列中的矩陣分配；-矩陣分配裝置包括一系列數(shù)字信號(hào)電路，即在分配矩陣中每行一個(gè)，每個(gè)具有串聯(lián)連接的移位寄存器，每個(gè)寄存器提供等于數(shù)字視頻信號(hào)的一行中兩個(gè)相繼像素之間的時(shí)間差的延遲，分配在矩陣中的像素位置被位于延遲寄存器之前的矩陣中的一點(diǎn)確定，其每行中的數(shù)量等于矩陣中的列數(shù)減1，并由在最下游的移位寄存器的下游的點(diǎn)確定；
-所述檢測裝置，其通過檢測表示門限被超過的二進(jìn)制信號(hào)以及時(shí)間常數(shù)值中的變化的同時(shí)存在，檢測所述距陣中的運(yùn)動(dòng)區(qū)域，其中包括用于沿著離散的數(shù)字化的方向確定接近所述矩陣的中心的像素的時(shí)間常數(shù)的值改變的斜率的裝置，用于形成所述方向的原點(diǎn)，以及用于選擇接近這一中心原點(diǎn)的這個(gè)變化的最陡的斜率并確定方向的裝置，如果這一變化的同一個(gè)最大斜率具有一個(gè)以上的方向，則考慮用于選擇方向的準(zhǔn)則，這些后面的裝置輸出代表在運(yùn)動(dòng)區(qū)域內(nèi)位移的速度和方向的信號(hào)，以及表示這些速度和方向信號(hào)是有效的以及時(shí)間常數(shù)值的一個(gè)有效信號(hào)。
最好是，如果在按照本發(fā)明的裝置中包括用于產(chǎn)生直方圖的裝置，則該裝置包括-接收構(gòu)成直方圖的信號(hào)和來自矩陣分配裝置的有效信號(hào)的輸入端；以及-用于對兩個(gè)平面坐標(biāo)建立兩個(gè)線性的一維的直方圖，并把這兩個(gè)線性直方圖組合成為平面直方圖的裝置，所述平面直方圖代表其中輸入信號(hào)具有大的變化的區(qū)域，以及-輸出代表所述區(qū)域的信號(hào)的輸出端。
此外，用于形成直方圖的裝置最好包括-用于計(jì)算一個(gè)參考變化的裝置，其輸入端接收行序列信號(hào)、列序列信號(hào)和像素時(shí)鐘信號(hào)，其輸出表示參考變化；-用于對于兩個(gè)軸形成直方圖的兩個(gè)裝置，其接收兩個(gè)參考信號(hào)并形成這些軸的直方圖；以及-區(qū)域裝置，在其中輸入來自兩個(gè)軸的兩個(gè)直方圖形成裝置的輸出，并且其輸出包含兩個(gè)軸的全部斜率信息的信號(hào)。
在一些應(yīng)用中，所述時(shí)間常數(shù)可以包括有限數(shù)量的并具有逐漸增加的值的間隔的級(jí)數(shù)，根據(jù)它們可以劃分對于每個(gè)像素位置，當(dāng)前像素的值和平滑之后同一像素的前一個(gè)值之間的差的絕對值。
有利的是，為了確定二進(jìn)制信號(hào)是否超過門限值，對于每個(gè)像素位置，比較當(dāng)前輸入像素的值和來自存儲(chǔ)器的同一像素的前一個(gè)平滑值之間的差值的絕對值和一個(gè)門限值。
關(guān)于數(shù)字?jǐn)?shù)字信號(hào)，其最好對于每個(gè)像素位置，作為一個(gè)表示當(dāng)前像素值接近該像素的前一個(gè)平滑值的趨勢的整數(shù)而被產(chǎn)生。
本發(fā)明的一個(gè)特征在于，為了確定二進(jìn)制信號(hào)和數(shù)字幅值信號(hào)，使用其存儲(chǔ)的平滑值作為前一個(gè)像素的值，以便減少可能存在于來自具有數(shù)字輸出的視頻攝像機(jī)或任何其它觀測裝置的數(shù)字視頻輸入信號(hào)中像素信號(hào)隨時(shí)間發(fā)生過大的變化。
已知平滑操作的效果是利用變化較小的信號(hào)逐漸代替隨時(shí)間而具有大的幅值改變的數(shù)字信號(hào)，因而使得在平滑的數(shù)字幅值信號(hào)中，更容易利用少量的步驟，因而較少的位進(jìn)行量化。
現(xiàn)在參照


實(shí)施本發(fā)明的方法的本發(fā)明裝置的優(yōu)選實(shí)施例，這只是說明而已，而不是限制性的，其中圖1示意地說明具有輸入和輸出的按照本發(fā)明的整個(gè)系統(tǒng)以及對該系統(tǒng)的輸入信號(hào)；圖2以方塊圖表示形成瞬時(shí)和空間處理部件的按照本發(fā)明的裝置中的主要單元；圖3和圖4說明形成圖2的裝置的一部分的瞬時(shí)計(jì)算處理部件和空間矩陣分配處理部件的功能圖；圖5示意地表示按照本發(fā)明的系統(tǒng)中的時(shí)間處理和空間處理；圖6說明按照Freeman碼的從圖4的矩陣的中心原點(diǎn)開始的離散方向的數(shù)值；圖7說明在瞬時(shí)分配矩陣中兩個(gè)小的嵌套矩陣；圖8和圖9說明兩個(gè)其它類型的矩陣，分別為六角形矩陣和倒L矩陣；圖10示意地表示按照本發(fā)明的優(yōu)選實(shí)施例，具有附加部件的沿著線Z-Z1的圖2的裝置的連接；圖11以方塊圖表示所述的圖10中的附加部件；圖2和圖11沿著圖2和圖10所示的點(diǎn)劃線Z-Z1裝配；圖12表示兩個(gè)一維的直方圖的形成，以及由這些直方圖開始對于一個(gè)輸入信號(hào)的一個(gè)運(yùn)動(dòng)區(qū)域的二維直方圖；圖13表示直方圖形成和處理方塊或單元的細(xì)節(jié)以及和其相關(guān)的線性組合方塊；圖14表示一個(gè)一維的直方圖15和16說明在場景的觀測范圍中的變化的使用；圖17和18,19說明按照本發(fā)明的裝置的其它可能的應(yīng)用，在圖17和18的方塊形式中，圖17涉及電視會(huì)議，圖18說明交通干道或主路的監(jiān)視，圖19說明操縱者由手動(dòng)控制機(jī)器；圖20和21示意地表示本發(fā)明用于監(jiān)視要進(jìn)入睡眠狀態(tài)的汽車駕駛員；圖22表示按照Mallat圖的變換的圖像。
首先參看圖1，可以看出，在優(yōu)選實(shí)施例中，按照本發(fā)明的裝置11首先包括輸入端12，其接收來自視頻攝像機(jī)或帶磁帶機(jī)的攝像機(jī)13的一個(gè)數(shù)字視頻信號(hào)S，具有一個(gè)或幾個(gè)CMOS型CCD傳感器，具有直接的數(shù)字輸出或由模/數(shù)轉(zhuǎn)換器轉(zhuǎn)換為數(shù)字輸出的模擬輸出。信號(hào)S按照已知的方式由連續(xù)的隔行掃描的幀對構(gòu)成，例如TR1和TR1’,TR2和TR2’，其中每個(gè)包括連續(xù)的水平掃描行，每行(例如在TR1中的l1,1,l1,2,...,l1,17..和在TR2中的l2,1)由被攝像機(jī)13監(jiān)視的場景13a的連續(xù)的像素的元素信號(hào)或代表點(diǎn)的圖像點(diǎn)(例如行l(wèi)1,1的a1,1,a1,2,和a1,3；行l(wèi)1,2的a2,1，a2,2；行l(wèi)1,17的t17,1和a17,2；行l(wèi)2,1的a1,1和a1,2)構(gòu)成；在圖中用S(PI)表示由像素PI構(gòu)成的信號(hào)S。
按照已知的方式，S(PI)包括在每幀開始的幀同步(ST)信號(hào)和在每行開始的行同步(SL)信號(hào)。
因此，可以看出，S(PI)信號(hào)包括-在時(shí)間域框架內(nèi)的連續(xù)序列(連續(xù)的幀)以及-在空間域的框架內(nèi)的每個(gè)序列(每幀)中的一系列子序列(行，像素)。
在時(shí)間域中，將使用“連續(xù)的幀”這種表述指成對幀例如TR1-TR’1的相同類(即奇數(shù)幀，例如TR1，或偶數(shù)幀，例如TR’1)的連續(xù)幀，其形成數(shù)字視頻信號(hào)S(PI)的連續(xù)的圖像，用“在同一位置的連續(xù)的圖像”這種表述指在同類的連續(xù)幀中相同位置中的連續(xù)的像素值(PI)，例如在幀TR1中的l1,1的a1,1和在下一個(gè)相應(yīng)的幀TR2中的12,1的a1,1。
此外，裝置11包括輸出端14，其輸出由其產(chǎn)生的幾個(gè)數(shù)字信號(hào)，它們對于表征具有相對位移的區(qū)域或“物體”(在更廣義上說，如上所述)的存在及其位置，連同位移的速度與方向是有用的，如果在靜止的環(huán)境中位移是顯著的，尤其是復(fù)合信號(hào)ZH圖示地分組表征該區(qū)域或物體的存在和位置、速度V和位移的方向DI的信號(hào)，并且如果可能，輸入的數(shù)字信號(hào)S被延遲和前面的信號(hào)同步，考慮到其計(jì)算時(shí)間，這個(gè)延遲的信號(hào)SR，在可以得到關(guān)于相對位移(如果有的話)的區(qū)域的信息即可以在處理和檢查部件10a中使用的信號(hào)ZH,(V,DI)的時(shí)刻，用于在監(jiān)視器或電視機(jī)屏幕10上顯示由攝像機(jī)13獲取的圖像。
下面參照圖2說明圖1所示的裝置11的第一部分的結(jié)構(gòu)，這部分由在圖2上的由虛線圍成的框11a內(nèi)的部分表示。
部件11a的主要元件首先是時(shí)間處理單元15，及相關(guān)的存儲(chǔ)器16，其次是空間處理單元17，及相關(guān)的延遲單元18和順序單元19，以及像素時(shí)鐘20，用于設(shè)置時(shí)間處理單元15和順序單元19的節(jié)律。
除去其它功能之外，時(shí)間處理單元15對視頻信號(hào)進(jìn)行平滑-使用從視頻攝像機(jī)13發(fā)出的并包括連續(xù)的像素值PI的數(shù)字視頻信號(hào)S，由時(shí)鐘20(從信號(hào)S開始)以一幀內(nèi)的像素速率(13.5MHz)產(chǎn)生的HP脈沖，產(chǎn)生下面參照圖3所述的幾個(gè)信號(hào)，并利用存儲(chǔ)器16交換這些信號(hào)中的兩個(gè)信號(hào)的值，即數(shù)字視頻信號(hào)的平滑的值L和平滑時(shí)間常數(shù)值C被字母O跟隨著的值L和C為來自單元15的存儲(chǔ)在存儲(chǔ)器16中的值，被字母I跟隨著的值L和C為來自存儲(chǔ)器16的并到達(dá)單元15的值，以及-產(chǎn)生一個(gè)二進(jìn)制輸出信號(hào)DP，用于識(shí)別門限是否被超過，以及數(shù)字信號(hào)CO，用于指示時(shí)間常數(shù)的更新的計(jì)算值，即被送到存儲(chǔ)器16的值CO。
構(gòu)成時(shí)間處理單元15的計(jì)算與/或比較方塊被詳細(xì)地示于圖3；單元15包括4個(gè)塊15a,15b,15c,15d。
單元15的第一塊15a使用-由連續(xù)的像素信號(hào)PI構(gòu)成的輸入數(shù)字視頻信號(hào)S，以及-對于前一個(gè)相應(yīng)幀的信號(hào)S的平滑值LI，它是由單元15作為SO預(yù)先計(jì)算的，并被暫時(shí)存儲(chǔ)在存儲(chǔ)器16中(下面說明)-對于同一像素位置(例如TR1中的l1,1和TR2中的l2,1的a1,1)以由時(shí)鐘20的HP時(shí)鐘信號(hào)提供的速率計(jì)算PI和LI的輸入值之間的差的絕對值A(chǔ)B，AB=|PI-LI|第二塊15b是測試塊該塊接收來自單元15a的上述的數(shù)字信號(hào)AB，和可以是常數(shù)但一般依賴于像素值的門限值SE的數(shù)字信號(hào)；然后使其在與所述值相同的方向上被改變，使得其形成γ校正(已知的改變SE的γ校正方法由選擇的方塊15e表示，如虛線所示)；以及-它比較AB和SE表示的這兩個(gè)數(shù)字信號(hào)，以便確定一個(gè)二進(jìn)制信號(hào)DP，換句話說，一個(gè)可以等于1和0之一的信號(hào)，分別表示AB是否超過所述門限SE-如果AB大于SE，則DP將在單元15b中被指定為值1，以表示門限已經(jīng)被超過；-如果AB小于或等于SE，則DP將在單元15b中被指定為值0，以表示門限值尚未被超過。
當(dāng)DP=1時(shí)，則PI和LI之間的差，即輸入數(shù)字視頻信號(hào)和前一個(gè)被平滑的數(shù)字視頻信號(hào)之間的差太大，因而這差值必須通過減少平滑時(shí)間常數(shù)被減少，相反，如果DP=0，則時(shí)間常數(shù)必須被增大。
第三個(gè)方塊15c根據(jù)DP的值實(shí)現(xiàn)時(shí)間常數(shù)值所需要的改變-如果DP=1，方塊15c使時(shí)間常數(shù)值減少一個(gè)單位值U:CO(該常數(shù)的新值)=CI(該常數(shù)的舊值)-U；-如果DP=0，方塊15c使時(shí)間常數(shù)值增加一個(gè)相同的單位值U:CO=CI+U；因而，方塊15C在一個(gè)輸入端接收來自方塊15b的上述二進(jìn)制的超過信號(hào)DP，并在另一個(gè)輸入端接收CI信號(hào)，該CI信號(hào)是在存儲(chǔ)器16中存儲(chǔ)的前一個(gè)時(shí)間常數(shù)的值，并減少或增加單位U，把時(shí)間常數(shù)CI成為輸入到所述存儲(chǔ)器16的CO來代替CI。
有利的是，與平滑收斂有關(guān)的時(shí)間常數(shù)，(根據(jù)平滑值達(dá)到數(shù)字視頻信號(hào)的輸入值所需時(shí)間)，利用2的冪，即2p的形式表示，其中的整數(shù)p將是在方塊15C中被減去或者加上一個(gè)單位，換句話說被減1或加1的數(shù)；在這種情況下，對于圖3的p,U=1。
-如果DP=1，方塊15C則從時(shí)間常數(shù)2p的系數(shù)p中減去一個(gè)單位(1)，成為2p-1；-如果DP=0，方塊15C則對時(shí)間常數(shù)2p的系數(shù)p中加上一個(gè)單位(1)，成為2p+1。
選擇2p形式的時(shí)間常數(shù)具有兩個(gè)優(yōu)點(diǎn)，首先它適應(yīng)于人的視覺的生理學(xué)，其次它有助于計(jì)算，因而簡化方塊15C的結(jié)構(gòu)。
方塊15C還必須符合兩個(gè)條件，即CO必須處于兩個(gè)極限值之間CO必須為非負(fù)(CO＞0)，并且不超過極限值N(CO≤N)。在CI和CO是2p的形式下，上限N用整數(shù)n來表示，它是p的最大值。
上限N(或n)可以是常數(shù)或者是變量，如果是變量，一個(gè)選擇的單元15f(虛線)實(shí)現(xiàn)，例如根據(jù)用戶輸入的級(jí)數(shù)的N的變化。增加N的結(jié)果是增加位移檢測的靈敏度，而減少N則改善高速度的檢測。
最后，第4方塊15d在第一輸入端接收在方塊15c中產(chǎn)生的新的時(shí)間常數(shù)值CO，其在第二輸入端，接收以像素值信息PI的形式的輸入數(shù)字視頻信號(hào)S，在第三輸入端，接收來自存儲(chǔ)器16的前一個(gè)輸入的數(shù)字視頻信號(hào)的平滑值即LI，并且計(jì)算LO=LI+(PI-LI)/CO將計(jì)算結(jié)果在輸出端輸出。
實(shí)際上，項(xiàng)(PI-LI)/CO代表對數(shù)字視頻信號(hào)的平滑值進(jìn)行的修正，其中考慮了時(shí)間常數(shù)的修正值CO，并且其和來自攝像機(jī)13的當(dāng)前輸入像素的實(shí)際值與其前一個(gè)平滑值LI之間的差成正比并和CO成反比。
如果CO=2p，則LO=LI+(PI-L1)/2po使用po，在單元15c中計(jì)算的p值，其代替存儲(chǔ)器16中的P前一個(gè)值pi。
因而，時(shí)間處理單元15具有4個(gè)計(jì)算方塊15a,15b,15c,15d-接收來自攝像機(jī)13的S(PI)，用于控制操作速率的HP時(shí)鐘脈沖，以及SE和N(或n)門限信號(hào)；-從來自相關(guān)存儲(chǔ)器16的LI和CI輸入信號(hào)開始，確定更新的信號(hào)LO和CO，它們被送到所述存儲(chǔ)器用于分別代替LI和CI，并且其分別代表平滑數(shù)字視頻信號(hào)和時(shí)間常數(shù)的新的計(jì)算值；以及-通過延遲單元18把上述的CO信號(hào)和由PI,LI，和SE計(jì)算的二進(jìn)制門限超過信號(hào)DP送到空間處理單元17。
平滑操作的目的在于對每個(gè)像素或圖像點(diǎn)，通過減少改變的差值并對于每個(gè)像素利用比PI值的變化小的平滑的LO值，代替在該圖像點(diǎn)的連續(xù)的PI的實(shí)際改變值，使輸入的視頻信號(hào)的數(shù)字值的變化即每個(gè)PI的改變，標(biāo)稱化。
因而對于每個(gè)輸入的PI，時(shí)間處理單元15和存儲(chǔ)器16相結(jié)合，通過使用超過或未超過信號(hào)DP的一個(gè)二進(jìn)制門限值和時(shí)間常數(shù)信號(hào)CO，它是被更新的并被傳送到如圖4所示的空間處理單元中，用平滑值L0代替減少了的改變。
在一幀內(nèi)的區(qū)域內(nèi)的每個(gè)像素可以由兩個(gè)沿著橫軸和縱軸，即x和y，的坐標(biāo)(通常是正交的)來識(shí)別，通過對像素分配兩個(gè)下標(biāo)，即對于y坐標(biāo)的i(行數(shù))和對于x坐標(biāo)的j(行中的像素號(hào)數(shù))。具有下標(biāo)i和j的每個(gè)像素具有視頻值(視頻信號(hào)的幅值)PIij。
如果我們現(xiàn)在討論對于相繼的相應(yīng)的連續(xù)的幀的PIij的值在由周期T分開的時(shí)刻t0,t1,t2,t3,...，隨時(shí)間t的變化，其中周期T相應(yīng)于圖像周期(通常等于兩個(gè)幀周期)，當(dāng)視頻圖像信號(hào)的頻率為25Hz時(shí)為0.04s；當(dāng)視頻圖像信號(hào)頻率為33Hz時(shí)，或者對于具有漸進(jìn)圖像(1幀/1個(gè)圖像)的傳感器為50Hz時(shí)為0.0333s，具有位置下標(biāo)i和j的視頻像素的信號(hào)具有在時(shí)刻t0,t1,t2,t3,...由PIijt0,PIijt1,PIijt2,PIijt3,...表示的相繼值。
在本發(fā)明的范圍內(nèi)，用在時(shí)間處理單元15中相繼的平滑值LOijt，即LOijt0,LOijt11,LOijt2,LOijt3代替Pijt。
對于在時(shí)刻t的具有坐標(biāo)i,j的每個(gè)相繼像素或圖像點(diǎn)，即Pijt，其實(shí)際值PIijt利用由下式給出的平滑值替換LOijt=LIijt(t-1)+(PIijt-LIijt(t-1))/COjit時(shí)間常數(shù)最好是2Pijt的形式。
在單元15中尤其是在方塊15d中，在分隔t0與t1,t1與t2,t2與t3等的時(shí)間間隔T進(jìn)行的計(jì)算使得值LOijt向著值PIijt收斂，其收斂速度取決于時(shí)間常數(shù)，該時(shí)間常數(shù)是一個(gè)空間(因而和i,j有關(guān))和時(shí)間(因而和t有關(guān))變量，并且可以寫成COijt。
在所有情況下，當(dāng)COijt較大時(shí)LOijt的收斂較慢。如果COijt=1，則不再有任何平滑作用。
顯然，在上式中，可以用直角坐標(biāo)y和x代替給出行的序列號(hào)和在行中的像素序號(hào)的下標(biāo)i和j。
方塊15a計(jì)算AB=|PI-LI|，其中下標(biāo)i,j,t未標(biāo)出，幅值A(chǔ)B代表對于每個(gè)三重態(tài)(triplet)i,j,t，數(shù)字視頻信號(hào)S(PI)相對于平滑信號(hào)LI的瞬時(shí)變化。
按照本發(fā)明的裝置的特征在于，在時(shí)間處理單元15中進(jìn)行像素值的平滑，從而對于每個(gè)像素確定平滑時(shí)間常數(shù)和一個(gè)二進(jìn)制信號(hào)的相繼值，所述二進(jìn)制信號(hào)用于根據(jù)一個(gè)對于兩個(gè)相繼的相應(yīng)幀的一個(gè)像素的像素值和其平滑值之間的差的絕對值識(shí)別是否門限值被超過，以便在同一時(shí)刻在平面矩陣中分配在該幀中對幀進(jìn)行掃描的限定部分中的像素的所述時(shí)間常數(shù)和所述二進(jìn)制信號(hào)的數(shù)值，以便根據(jù)在此時(shí)刻這兩個(gè)值的局部變化來定位相對運(yùn)動(dòng)的區(qū)域，并根據(jù)這一分配確定實(shí)際位移的方向和速度，這通過在下面參照圖4說明的空間處理部件來實(shí)現(xiàn)。
平滑的收斂由計(jì)算塊15b和15c來實(shí)現(xiàn)，其確定新輸入的時(shí)間常數(shù)CO(實(shí)際上是COijt)的值的改變，以便加速收斂。這通過比較AB(實(shí)際上是ABijt)和門限值來進(jìn)行，門限值可以是常數(shù)或者是優(yōu)選的變量，如果是變量，則可以是像素值的函數(shù)，以便進(jìn)行γ校正如果像素值增加，則門限增加，反之亦然。AB和門限值SE(實(shí)際上是SEijt，如果所述的值隨像素值而改變，這個(gè)改變在任選的計(jì)算塊15e中實(shí)現(xiàn))比較的結(jié)果在塊15b中產(chǎn)生二進(jìn)制位移信號(hào)DP，它具有如上所述的1和0的兩個(gè)可能的值。
二進(jìn)制信號(hào)DP被送到塊15c，以便改變時(shí)間常數(shù)的值。因而，計(jì)算單元15c也接收來自存儲(chǔ)器16的輸入的時(shí)間常數(shù)CI的值，并使用被送到存儲(chǔ)器16的(還有其它的)時(shí)間常數(shù)的新值CO對其更新，在其中它代替較前的值CI；事實(shí)上，對于CI和CO的值，使用在兩個(gè)相繼時(shí)刻例如t0和t1的CIij和COij,t0和t1被相繼的兩個(gè)相應(yīng)幀(或者奇數(shù)或者偶數(shù))之間的時(shí)間間隔T分開。
接收DP和CI的塊15c對時(shí)間常數(shù)CI的值加上或減去一個(gè)單位值(U)，或當(dāng)CO的形式是2p時(shí)對p加上或減去一個(gè)單位，這根據(jù)二進(jìn)制信號(hào)DP確定門限值被超過(DP=1)或者沒有被超過(DP=0)而定。
如果門限被超過，則這個(gè)常數(shù)的值太高，因而應(yīng)該減小，反之亦然。
塊15c也保證通過CI加上或減去一個(gè)單位而得出的時(shí)間常數(shù)的新值CO處于0(CO不為負(fù))和一個(gè)門限值N(CO不大于N)之間。如果這兩個(gè)條件不滿足，塊15c則不修正CI的值(其實(shí)際上處于從0到N的間隔內(nèi)，包括兩個(gè)極限)，并且然后CO=CI。
上限值N(或n)可以是常數(shù)或變量；如果是變量，必須不超過限制值N max.(或n max.)；可能的變化在用戶可利用的控制的作用下由塊15f施加。
作為一個(gè)變量，可以使N(或n)依賴于PI(其中N,n和PI實(shí)際上被分配3個(gè)下標(biāo)i,j,t)，以便保證根據(jù)PI的級(jí)調(diào)節(jié)LO的改變(在塊15d計(jì)算出的)，其可以表述為“Nijt或nijt是PIijt的函數(shù)”，Nijt或nijt=f(PIijt)的確定在用于代替所示的方塊15f的計(jì)算塊中實(shí)現(xiàn)，并除N之外，由視頻攝像機(jī)13對其提供PI的值。
有利的是，時(shí)間常數(shù)C(實(shí)際上每個(gè)Cijt)被強(qiáng)制滿足具有一個(gè)數(shù)值的條件，所述數(shù)值或者是2的倍數(shù)，或者尤其是2的冪，而和i,j,t值無關(guān)；在這種特定情況下，Cijt=2p(ijt)，其中p是一個(gè)作為i,j,t的函數(shù)的小的整數(shù)，并可以用小的位數(shù)表示。這個(gè)條件提供了如上所述的附加優(yōu)點(diǎn)-平滑收斂法則類似于人的視覺的生理法則；-塊15c,15d的電子結(jié)構(gòu)被簡化；尤其是在塊15d中，其被指定利用下式確定對于每個(gè)i,j對的時(shí)間常數(shù)值的變化LO=LI+(PI-LI)/CO如果CO是2p的形式(其中p是一個(gè)小的整數(shù))，則計(jì)算被簡化，本身為一個(gè)小的整數(shù)的p的門限值n由有限位表示。
在所有情況下，輸入的數(shù)字視頻信號(hào)S的新的平滑值LO被送到存儲(chǔ)器16中，在其中它代替LI(對于每對下標(biāo)ij)。
由圖2和圖3可見，包括計(jì)算塊15a,15b,15c,15d，和可選擇的塊15e與/或塊15f的時(shí)間處理單元15和存儲(chǔ)器16協(xié)同工作，對每個(gè)i,j,t三重態(tài)確定并提供作為上述的輸出的以下的值。
-首先，更新的平滑值LO，其被傳遞到存儲(chǔ)器16，用于代替前一個(gè)平滑值LI；第二，兩個(gè)數(shù)字信號(hào)，即-一個(gè)二進(jìn)制信號(hào)DP，其表示給定的門限值是被來自視頻攝像機(jī)的輸入像素信號(hào)和對同一點(diǎn)的前一個(gè)平滑像素信號(hào)比較而得的絕對值的變化所超過(DP=1)，還是沒有被超過(DP=0)；以及-由更新的時(shí)間常數(shù)CO構(gòu)成的幅值數(shù)字信號(hào)；這些數(shù)字信號(hào)DP和CO通過延遲單元18被下面將要說明的空間處理單元17接收，信號(hào)CO也被輸入存儲(chǔ)器16，其中對于同一像素，值CO代替前一個(gè)值CI。
因此，可以看出，用于首先存儲(chǔ)平滑像素信號(hào)的相繼值其次存儲(chǔ)時(shí)間常數(shù)的存儲(chǔ)器16的容量，假定在一幀中具有R個(gè)像素，并因而每個(gè)完整的圖像中具有2R個(gè)像素，至少必須是2R(e+f)位，其中e和f分別是分配給一個(gè)像素信號(hào)和一個(gè)時(shí)間常數(shù)的位數(shù)。實(shí)際上，存儲(chǔ)器容量不必太大；只需是超過2R(e+f)位的一個(gè)其正確操作所需的位數(shù)即可，特別是根據(jù)下標(biāo)i和j用于從平滑像素信號(hào)中尋址和提取的位數(shù)以及時(shí)間常數(shù)的位數(shù)。如果每個(gè)視頻圖像由一幀組成，則使用R(e+f)位代替2R(e+f)位便足夠了。
在時(shí)刻t從時(shí)間處理單元15輸出的信號(hào)DPij和COij在圖4所示的空間處理部件中被分析和使用，圖3和圖4所示的部件在圖2中示出了。
實(shí)際上，時(shí)間處理部件15處理幀信號(hào)，而圖4中的空間處理單元17處理一幀中的像素和行的子序列。
圖5示意地說明添加在該圖上的相繼的相應(yīng)幀序列TR1,TR2,TR3的時(shí)間處理，和在這些幀的第一幀即TR1中的空間處理，說明直角坐標(biāo)x,y和具有坐標(biāo)y,x，即在時(shí)刻t1的下標(biāo)i,j的像素PI；在3個(gè)幀TR1,TR2,TR3中的具有相同下標(biāo)ij的相繼像素被分別標(biāo)以下標(biāo)ijt1,ijt2,ijt3，它們分別具有像素值PIijt1,PIijt2,PIijt3。在圖5中的平面相應(yīng)于幀的空間處理，而幀的疊加相應(yīng)于時(shí)間處理(其中時(shí)間t是變量)。
空間處理單元17，延遲單元18和其相連(也示于圖4中)，和一個(gè)控制單元19協(xié)同工作，該控制單元被在每個(gè)相繼像素信號(hào)(對于該部件如圖2所示)上提供一個(gè)時(shí)鐘脈沖HP的時(shí)鐘20控制。
從時(shí)間處理單元15輸出的信號(hào)DPij，和COij被單元17分配到縮小尺寸的矩陣21中，在給定時(shí)刻t，矩陣21含有比DPij和COij中行數(shù)L和每行的像素?cái)?shù)M小得多的行數(shù)和列數(shù)。具體地說，矩陣可以包括沿y軸的2l+1行和沿x軸(直角坐標(biāo))的2m+1列，其中l(wèi)和m是一個(gè)小的整數(shù)。有利的是，l和m被選擇是2的冪，例如l等于2a和m等于2b，其中a和b例如是大約為2到5的整數(shù)。為了簡化附圖和說明，作為例子，m將取1(當(dāng)然可以不同)，并且m=l=23=8；在這種情況下，矩陣21將具有2×8+1=17行和17列。
圖4表示形成單元17的矩陣21的17行Y0,Y1,...Y15,Y16的一部分和17列X0,X1,...X15,X16的一部分。
其目的在于，在具有l(wèi)+1行，具體地說17行，和m+1列，具體地說17列的矩陣21中分配輸入流DPijt和COijt，換句話說，二進(jìn)制門限超過信號(hào)DP和表示來自時(shí)間處理單元15的時(shí)間常數(shù)CO的數(shù)字幅值信號(hào)，被設(shè)置一幀包括L(312.5)行和每行M個(gè)像素的矩陣分布中，特別是根據(jù)所用的TV標(biāo)準(zhǔn)為250-800的級(jí)。
為了區(qū)別這兩個(gè)矩陣，即L×M視頻信號(hào)矩陣和標(biāo)號(hào)為21的單元17的l×m矩陣，對于前一個(gè)矩陣的兩個(gè)坐標(biāo)，將使用下標(biāo)i和j(只有當(dāng)數(shù)字視頻信號(hào)被在電視屏幕或監(jiān)視器顯示時(shí)才可看到)，并且對于后一個(gè)矩陣的兩個(gè)坐標(biāo)使用下標(biāo)x和y(如圖4所示)；在給定時(shí)刻，在空間處理單元17的輸入端的具有瞬時(shí)值PIijt的像素由兩個(gè)數(shù)字信號(hào)DPijt和COijt表征。這兩個(gè)信號(hào)的L×M矩陣通過掃描小得多的(2l+1)×(2m+1)的矩陣21而移動(dòng)，如參照圖4所述，矩陣21實(shí)現(xiàn)相應(yīng)于同一幀的(2l+1)×(2m+1)個(gè)像素。
在這矩陣21中，在其中l(wèi)=m=8，即2l+1=2m+1=17的情況下，每個(gè)像素分別由對于Y0到Y(jié)16行0和16(包含在內(nèi))之間的行序號(hào)和對于X0到X16列的0和16(包含在內(nèi))之間的列序號(hào)限定，。在此情況下，矩陣21將構(gòu)成在平面中的17×17=289個(gè)像素的表示，而視頻信號(hào)的矩陣將包括幾萬或幾十萬甚至更多的像素。
在圖4中，長的水平矩形Y0到Y(jié)16(只示出了4個(gè)，即Y0,Y1,Y15,Y16)和垂直線X0到X16(只示出了4個(gè)，即X0,X1,X15,X16)被用于說明具有17×17個(gè)圖像點(diǎn)或像素的矩陣21(單元17的)，每個(gè)圖像點(diǎn)或像素具有在水平行和垂直列的交點(diǎn)限定的下標(biāo)。例如，像素位置P88處于列8和行8的交點(diǎn)，如圖中e所示，它是矩陣21的中心。
為了在(2l+1)(2m+1)的矩陣21內(nèi)進(jìn)行這L×M矩陣的位置的相繼空間分配，單元17和一個(gè)延遲單元18相連，該延遲單元首先接收DP和CO信號(hào)(具有指定的下標(biāo)ijt)，其次接收輸入的像素信號(hào)S，換句話說PI(也具有指定的下標(biāo)ijt)，以及來自時(shí)鐘20的HP信號(hào)，和行序列信號(hào)SL與列序列信號(hào)SC(圖2和圖4)。
如圖1所示，S(PI)信號(hào)不僅包括像素值信號(hào)，例如構(gòu)成時(shí)間序列(相繼的幀)和空間子序列(在每幀中的每行中的像素)的a1,1,a1,2,而且還包括同步信號(hào)ST,SL，從其開始，時(shí)鐘單元20導(dǎo)出一個(gè)時(shí)鐘信號(hào)，例如以13.5MHz的頻率，即在一個(gè)視頻幀中的每個(gè)像素具有一個(gè)標(biāo)記脈沖，并且還有空白信號(hào)BL，它使單元19在上述同步信號(hào)期間不工作。
響應(yīng)來自時(shí)鐘20(圖2)的HP和BL信號(hào)，速率控制單元19對延遲單元18提供行序列信號(hào)SL，其頻率等于13.5MHz除以每幀的列數(shù)(例如400)的商，以及一個(gè)幀信號(hào)SC，其頻率等于上述的商13.5/400MHz除以視頻圖像中的行數(shù)，例如312.5，以及HP。
單元18利用SL和SC信號(hào)以及HP時(shí)鐘信號(hào)控制在矩陣21中的一行行空間分配。
因而，相繼的行Y0-Y16接收DP和CO信號(hào)不延遲(行Y0)；延遲一個(gè)TP周期，其等于一幀行(行Y1)的時(shí)間間隔；遲2個(gè)TP(行Y2)；如此一直到延遲16個(gè)TP(行Y16)。
這些具有一幀行的持續(xù)時(shí)間即TP的相繼的延遲在串聯(lián)的16個(gè)分別用于行Y1,Y2,...Y16的延遲電路r1,r2...r16中進(jìn)行，行Y0直接被提供信號(hào)DP和CO，而不經(jīng)來自單元15的任何延遲。
所有電路r1,r2...r16可以利用具有16個(gè)輸出的延遲線構(gòu)成，在兩個(gè)相繼輸出之間由其任何部分施加的延遲是一個(gè)等于TP的常數(shù)。
速率控制電路19控制整個(gè)L×M幀矩陣通過(2l+1)×(2m+1)的矩陣21，利用下述步驟利用行序列信號(hào)SL，輪流地對于相繼幀的相繼行進(jìn)行掃描。
在17×17矩陣上的幀矩陣的行中的像素的環(huán)形位移，例如從在行Y0上的x0到X16，由在從Y0到Y(jié)16的17行的每行上的串聯(lián)的16個(gè)移位寄存器d(給出共有16×17=272個(gè)移位寄存器)實(shí)現(xiàn)，該移位寄存器設(shè)置在每行兩個(gè)相繼像素位置之間，即寄存器d01在位置PI00和PI01之間，寄存器d02在位置PI01和PI02之間，等等。每個(gè)寄存器使用列序列信號(hào)SC提供一個(gè)等于在一行中兩個(gè)相繼像素之間的時(shí)間差的延遲TS。
注意由于在幀TR1(圖1)中的行l(wèi)1,l2,....l17，對于S(PI)以及DP和CO，逐一地延遲TP(一個(gè)完整的行間隔)后，到達(dá)單元18，并且單元18通過逐漸增加TP的延遲將它們分配到行Y0,Y1,...,Y17，所以這些行在給定的時(shí)間，對于同一個(gè)幀位置中的行l(wèi)1,l2,...l17顯示DP和CO信號(hào)。
類似地，在給定的行，例如l1，相繼的像素信號(hào)a1,1,a1,2...在位移TS之后到達(dá)，并且移位寄存器d也提供等于TS的延遲；因此，其結(jié)果是，對于在矩陣21中的給定行Y0到Y(jié)16中的像素，在該行可利用的像素的DP和CO信號(hào)，是同時(shí)的，換句話說它們相應(yīng)于同一個(gè)幀部分。
因此，對于在幀的一部分內(nèi)的行和這些行中的像素，目的在于進(jìn)行完全的空間處理，因?yàn)榫仃?1在其17×17個(gè)像素位置中含有同一數(shù)字視頻信號(hào)S(PI)的矩陣中的17行中的每行的17個(gè)像素的DP與CO值，雖然這些像素例如a1,1在單元18中的每個(gè)相繼的行(圖1)中相繼地逐行逐像素地到達(dá)，同時(shí)顯示相應(yīng)的DP、CO信號(hào)。
代表矩陣21的同時(shí)的CO、DP的信號(hào)在給定時(shí)刻在移位寄存器的16×17=272個(gè)輸出端，以及在17行前方的17個(gè)寄存器的上游可得到這17個(gè)寄存器，即寄存器d0.1,d1,1,....d16.1，它們對于17×17個(gè)位置P0.0,P0.1,...P8.8...P16.16構(gòu)成總共16×17+17=17×17個(gè)輸出。
在矩陣21內(nèi)部，圍繞其具有坐標(biāo)x=8,y=8(這便是在矩陣21中行數(shù)和列數(shù)最好分別是奇數(shù)2l+1和2m+1的原因)的中心e我們可以具體討論一個(gè)含有3行和3列的小矩陣，其中其9個(gè)元素的中心元素實(shí)際上是具有坐標(biāo)x=8,y=8的像素e。設(shè)這一小的矩陣M3是abcdef (M3)ghi其中，中心元素e用下劃線標(biāo)出。
對于這個(gè)3×3個(gè)元素的矩陣，在中心元素或位置e周圍具有8個(gè)位置a,b,c,d,f,g,h,i，其相應(yīng)于8個(gè)方向，每個(gè)方向從中心位置e開始直到其它8個(gè)位置中的一個(gè)。
為此目的，8個(gè)方向可以使用圖6說明的Freeman碼進(jìn)行識(shí)別，其中這些方向被編碼0-7，從x軸開始，每個(gè)相隔45°。在Freeman編碼中，標(biāo)號(hào)為0-7的8個(gè)可能的方向可以由3位數(shù)字表示，因?yàn)?3=8，給出8種可能性。
考慮上述的小矩陣M3，按照Freeman編碼的從中心位置e開始的8個(gè)方向是3214e0567如圖6所示。
回到圖4中的具有17×17個(gè)圖像點(diǎn)或像素的矩陣21，我們現(xiàn)在說明如何識(shí)別由攝像機(jī)13觀測的場景中的相對于接近靜止的環(huán)境作相對運(yùn)動(dòng)的因而以由像素PIijt構(gòu)成的視頻信號(hào)S表示的區(qū)域，以及如何確定相對于接近靜止的環(huán)境實(shí)際位移的速度和方向。
在兩個(gè)相繼幀之間，例如TR1和TR2(圖5)，在信號(hào)S中的PIij像素將通過兩個(gè)信號(hào)DPij和COij(通過在矩陣21中的掃描進(jìn)行分配的)來表征關(guān)于其在時(shí)刻t1(第一幀)和時(shí)刻t2(第二幀)之間的改變。
如果在該矩陣的一點(diǎn)DP=1，則在該點(diǎn)的像素值有顯著改變。因此，通過在其中每一點(diǎn)DP=1的矩陣區(qū)域來識(shí)別實(shí)際上在運(yùn)動(dòng)的區(qū)域。
實(shí)際上，同時(shí)利用計(jì)算單元17a來檢查以e為中心的矩陣21的17×17個(gè)位置內(nèi)的各個(gè)嵌套的方形矩陣，其大小是15×15,13×13,11×11,9×9,7×7,5×5和3×3，其中3×3矩陣是上述的M3矩陣。該裝置確定這些矩陣中的哪一個(gè)是具有沿著確定其中DP=1的區(qū)域運(yùn)動(dòng)方向和圍繞CO的+1和-1的改變的線排列的DP=1的尺寸最小的矩陣。對于圍繞CO的+1和-1的改變，在每個(gè)值上DP必須等于1，如果測試要被滿足的話。參加測試的最小矩陣被選擇(主要行)。
然后，在一個(gè)嵌套的矩陣中的這運(yùn)動(dòng)區(qū)域內(nèi)，例如在具有3×3個(gè)元素的小矩陣M3中，該裝置確定是否CO在中心位置的每側(cè)上沿給定方向改變，在一個(gè)方向從+1，而在相反方向從-1開始改變。例如，如果我們在方向1中有-1,0,+1，換句話說在小矩陣M3中分別在位置g,e,c中，那么在這矩陣中從右到左沿弗里蔓碼(圖6)中的方向1存在位移。顯然，在此同時(shí)，在該小矩陣中沿該方向DP=1。當(dāng)在3×3到15×15嵌套的矩陣當(dāng)中CO從+1或-1在兩個(gè)相鄰位置之間沿著一個(gè)方向改變的矩陣較大時(shí)，位移速度較高。例如，如果我們在方向1具有-1,0,+1，換句話說在9×9的矩陣M9中的g,e,c，將比如果我們在3×3的矩陣M3(圖7)中有-1,0+1的位移速度快。
因?yàn)镃O是2的冪，并在優(yōu)選實(shí)施例中由這個(gè)冪表示，可以通過只使用少數(shù)位用于2的冪來識(shí)別速度的延伸范圍，同時(shí)識(shí)別相關(guān)的低速度(通過增加測試裕度或變化，例如在3×3矩陣M3中在位置g,e,c中-2,0,+2表示和矩陣M3中的同一位置的-1,0,+1的相應(yīng)速度一半快的速度)。
兩個(gè)試驗(yàn)應(yīng)當(dāng)被預(yù)見可以除去不確定性-第一個(gè)試驗(yàn)選擇最大的改變，即，最高的時(shí)間常數(shù)，如果在一個(gè)嵌套的矩陣中，例如小的3×3個(gè)元素的矩陣M3，沿著幾個(gè)方向具有CO的改變；-第二個(gè)試驗(yàn)任意地選擇沿著該方向CO的改變是相同的兩個(gè)(或多個(gè))方向中的一個(gè)，例如通過選擇弗里蔓碼的最小值；這種情況通常發(fā)生在當(dāng)位移的實(shí)際方向大約弗里蔓碼中的兩個(gè)相繼的編碼方向之間時(shí)，例如在相應(yīng)于可以標(biāo)為1.5的(圖6)和x軸方向(弗里蔓碼中的方向0)大約形成67.5°的方向的方向1和2之間。
上述的實(shí)際運(yùn)動(dòng)中的區(qū)域的速度和方向的確定通過和單元17相關(guān)的計(jì)算單元17a(圖4)來實(shí)現(xiàn)，其接收對于CO和DP的上述矩陣21的17×17個(gè)輸出，(來自21的兩個(gè)輸出，即S0.1,S0.16被示出了)。單元17a處理對于相繼的嵌套矩陣的CO和DP值，并使用這些值有可能利用上述的試驗(yàn)確定方向(在弗里蔓碼中)和位移速度(依賴于哪個(gè)嵌套矩陣被選擇)。
通過矩陣21的數(shù)字視頻信號(hào)的整個(gè)幀的掃描發(fā)生-首先對于該幀中的頭17行行1到17的一組考慮相對運(yùn)動(dòng)，從幀的左邊到幀的右邊，如圖5中對于幀TR2所示的，即從最左部的TM1部分開始，然后TM2相對于TM1移動(dòng)一列，直到最右邊的TMM(其中M是每幀行中的像素?cái)?shù))；-然后，類似地，從左到右，對于該幀中的行2到18逐列地掃描；并且-如此一直進(jìn)行下去，每次向下走一行；行3到19...直到在幀的底部的最后一組，即行L-16...L(其中L是每幀的行數(shù))。
考慮圖2和圖4，可以看出由單元17,18和19，換句話說空間處理組件發(fā)送的信號(hào)如下-代表位移速度的信號(hào)V，其基于在被識(shí)別的區(qū)域中的CO的最大改變的幅值，該值例如可以由從0到7的8個(gè)整數(shù)表示，如果速度以2的冪的形式表示并因而具有3位的話；代表該位移方向的信號(hào)DI，由這個(gè)最大改變導(dǎo)出，DI的值也可以由弗里蔓碼中的8個(gè)值0-7中的一個(gè)表示，并因此含有3位；-表示速度和方向的結(jié)果是有效的有效信號(hào)VL，以便能夠從由于傾斜而沒有輸出的情況識(shí)別具有V=0和DI=0的一個(gè)有效輸出，該信號(hào)或者是1(有效輸出)，或者是0(無輸出)；因此，對于VL只需要一位；-有利的是，例如時(shí)間常數(shù)信號(hào)CO具有3位；-(由空間處理單元17及其相關(guān)的電子電路發(fā)送的3個(gè)或4個(gè)信號(hào)V,DI,VL，可能還有CO)；-一個(gè)延遲視頻信號(hào)SR，由輸入視頻信號(hào)S構(gòu)成，它在延遲單元18中由16個(gè)相繼的行間隔TR，并因而是由信號(hào)S在17×17的矩陣21中的分配間隔延遲，以便獲得在矩陣21中矩陣表示同時(shí)的一個(gè)數(shù)字視頻信號(hào)，這個(gè)信號(hào)的內(nèi)容可以在電視機(jī)或監(jiān)視器屏幕上被清晰地顯示；-由單元19提供的3個(gè)信號(hào)即時(shí)鐘HP，行序列SL和列序列SC信號(hào)。
嵌套的六邊形矩陣(圖8)或倒L形矩陣(圖9)可用于代替圖4，圖7中的嵌套矩形矩陣。
在圖8所示的情況下，嵌套的矩陣(其中只示出了最中心的矩陣MR1和MR2)都以相應(yīng)于圖7中矩陣M3,M9的中心點(diǎn)(其中二進(jìn)制信號(hào)是“0”)的點(diǎn)MR0為中心。六邊形矩陣系統(tǒng)的優(yōu)點(diǎn)在于，首先它允許使用斜的坐標(biāo)軸xa,ya，其次可以分成尺寸相同的三角形，以便進(jìn)行各向同性的速度計(jì)算。
圖9中的矩陣由從中心位置MRu開始的一行(Lu)和一列(Cu)構(gòu)成，其中兩個(gè)信號(hào)DP和CO分別為DP等于“1”，并且，CO增加或減少一個(gè)單位，如果發(fā)生運(yùn)動(dòng)。
它被這樣確定若(相對)位移的方向-沿x坐標(biāo)的方向從原點(diǎn)MRu開始，具有值COu，直到其中CO等于COu+1或-1的位置，在Cu列中的所有位置(方塊)中的CO信號(hào)是相同的，并且在行Lu中的所有位置二進(jìn)制信號(hào)值DP等于1；-沿y坐標(biāo)方向從原點(diǎn)MRu開始，具有值COu，直到其中CO等于COU+1或-1的位置，在Lu行中的所有位置(方塊)中的CO信號(hào)是相同的，并且在列Cu中的所有位置二進(jìn)制信號(hào)值DP等于1；-或者最終相對于x,y而傾斜的方向在Lu的位置和Cu的位置二進(jìn)制信號(hào)DP等于1并且CO等于COu，斜率借助于垂直于通過兩個(gè)位置的線被確定，在這兩個(gè)位置中信號(hào)COu改變一個(gè)單位的值，DP信號(hào)總是等于1。
圖9表示的情況是，DP=1,COu在兩個(gè)特定位置LU3和Cu5中改變一個(gè)單位值，并表示相應(yīng)的斜率Pp。
在所有情況下，位移速度和CO改變一個(gè)單位值的位置有關(guān)。
如果CO只在LU或Cu改變一個(gè)單位，它相應(yīng)于CO改變位置的值。
如果CO在LU中的一個(gè)位置以及Cu中的一個(gè)位置改變一個(gè)單位，則速度和MRU與Ex(垂直于Cu-LU通過MRU的直線的交點(diǎn))之間的距離成正比。
至此參照圖1到圖9說明的系統(tǒng)和將要參照圖11-16說明的輔助系統(tǒng)構(gòu)成一整套系統(tǒng)22，如圖10所示，其中首先示出了圖2中的部件11a，表示由部件11(其接收輸入的視頻信號(hào)S)傳遞給部件22a(其輸出合成的輸出信號(hào)ZH)的信號(hào)V,DI,VL,C,SR和合成信號(hào)F(HP,SL,SC)。
在部件11a和22a之間的連線Z-Z1在圖2,10，和11中示出，來自部件11a的輸出沿著Z-Z1被連接到部件22a的輸入端，以便傳送上述信號(hào)。
由單元22a提供的從此也是來自整個(gè)裝置22的輸出包括合成信號(hào)ZH，其提供關(guān)于在由視頻攝像機(jī)13監(jiān)視的場景13a中相對運(yùn)動(dòng)的區(qū)域的信息。
和單元11a的輸出相連的輔助的單元22a以功能塊的形式在圖11中示出了，應(yīng)該記住該圖沿著線Z-Z1(在上部)和圖2沿著Z-Z1(在圖2的下部)相連。
圖11的單元主要包括直方圖形成和利用裝置，并且包括-用于傳輸下面詳述的幾個(gè)數(shù)字信號(hào)的微總線23；-標(biāo)號(hào)為24,25,26,27,28,29的6個(gè)直方圖形成和處理方塊或單元，用于以下信號(hào)的直方圖延遲的數(shù)字視頻信號(hào)SR，速度V，方向(弗里蔓碼)DI，時(shí)間常數(shù)CO，第一軸x(m)，第二軸y(m)，-6個(gè)線性組合塊或單元30,31,32,33,34,35，用于組合其來自總線23的輸入而分別形成6個(gè)塊24,25,26,27,28,29的有效信號(hào)V1,V2,V3,V4,V5,V6,30和24相連，31和25相連，32和26相連，33和27相連34和28相連，35和29相連；-一個(gè)運(yùn)動(dòng)的區(qū)域塊或單元36，用于協(xié)調(diào)塊28，29對于x(m),y(m)軸的輸出；以及-一個(gè)標(biāo)示符號(hào)轉(zhuǎn)換塊或單元37，用于接收對于x(m),y(m)軸的方向信號(hào)x(m)0,y(m)0，以及像素時(shí)鐘信號(hào)HP，行序列信號(hào)SL和列序列信號(hào)SC(這3個(gè)信號(hào)合成一組，在圖2,4,10和11中為F束)，這些信號(hào)來自圖2和4中的單元19，并形成分別被送到單元28和29的x(m)1,y(m)1信號(hào)。
單元24,25,26和27的每一個(gè)向總線23送出其SSR,SV,SDI,SDO輸出信號(hào)，而單元28和29的每一個(gè)向運(yùn)動(dòng)區(qū)域單元36的兩個(gè)輸入端提供信號(hào)x(m)2,y(m)2，它組合來自單元28和29的這兩個(gè)信號(hào)，并向總線23提供合成的信號(hào)xy(m)。
每個(gè)直方圖形成和處理單元24-29的操作是相同的，它們首先接收來自相關(guān)的線性組合單元30-35的有效信號(hào)V1,V2,V3,V4,V5,或V6，然后接收作為輸入要被處理的信號(hào)SR,V,DI,CO,x(m)1或y(m)1信號(hào)，這便是僅以這些單元中的一個(gè)的操作，即用于速度直方圖V的形成和處理的單元25為例進(jìn)行說明的原因；和其它類似單元24,25,26,28和29的唯一的區(qū)別在于被處理的變量，注意對于6個(gè)單元24-29的不同的輸入信號(hào)都是數(shù)字信號(hào)，它們使這六個(gè)單元可以具有類似的結(jié)構(gòu)和操作。
圖12示意地說明位移區(qū)域(在圖14中，示出了例如直方圖包絡(luò)38的C1，和C2)中的速度V的直方圖38和39的形狀，以x,y坐標(biāo)表示(圖4的17×17個(gè)元素的矩陣21的直角坐標(biāo)軸)；xM,yM分別表示兩個(gè)包絡(luò)38,39的最大的坐標(biāo)，而x軸的la,lb,和y軸的lc,ld表示主要的或感興趣的速度范圍的限制，la,lb是是直方圖的主要部分的最低限，lb,ld是最高限。
橫軸la,lb的垂直線La,Lb和縱軸lc,ld的水平線Lc,Ld形成包圍主要速度(對于所有的x,y方向)的陰影區(qū)域40的矩形，較低速度的小的因而可以忽略的微區(qū)域41靠近主區(qū)域40。
因此，需要表征具有在直方圖中所示參數(shù)的最大改變的區(qū)域，在這種特定情況下是速度v，是要識(shí)別4個(gè)限制la,lb,lc,ld和兩個(gè)最大值xM,yM。方塊25持續(xù)地向微總線23提供關(guān)于V的這一信息。
類似的塊24,26和27持續(xù)以這種方式向該微總線23上分別提供關(guān)于SR,DI和CO的最大值的區(qū)域的信息。
最后，類似的塊28和29分別向單元36持續(xù)提供關(guān)于x(m)1,y(m)1的最大值的區(qū)域的信息，其把被標(biāo)識(shí)為x(m)2,y(m)2的橫軸和縱軸信息分別組合成通過單元36的輸出被送到總線23上的合成信號(hào)xy(m)。
最后，總線23傳遞關(guān)于含有SR,V,DI,CO和xy(m)即，x(m)1,x(m)2，的最大值的區(qū)域的信息，以便確定在視頻攝像機(jī)13觀察的場景中是否存在一個(gè)運(yùn)動(dòng)的區(qū)域，從而定位這個(gè)區(qū)域，并確定位移的速度和方向。
在圖11中，在總線23上可以得到的合成輸出信號(hào)被標(biāo)以ZH。該ZH信號(hào)的上述分量，特別是V和DI，換句話說運(yùn)動(dòng)區(qū)域的速度和方向，可以以數(shù)字或模擬形式被顯示，可以產(chǎn)生光信號(hào)或聲音信號(hào)，特別是當(dāng)速度V超過一個(gè)限制時(shí)，或者它們被通過電纜、光纖或用于遠(yuǎn)程應(yīng)用的無線電中繼傳送給控制單元，例如圖1的單元10a，按照本發(fā)明其靠近或遠(yuǎn)離裝置11。
圖12中的總線23上方的單元的一部分被使用，根據(jù)逐點(diǎn)地進(jìn)行整幀的處理和一幀中相關(guān)點(diǎn)的處理，以便獲得一個(gè)外部整體值，確定在觀察的場景中是否有相對運(yùn)動(dòng)的區(qū)域，并且如果有則對其定位，此外，如果該區(qū)域?qū)嶋H上在運(yùn)動(dòng)，則確定其位移的速度和方向。這個(gè)相對運(yùn)動(dòng)的區(qū)域在觀察平面中沿著不一定是正交的兩個(gè)方向x,y，(例如在圖15和16的應(yīng)用中)被識(shí)別，并且由在總線23下圖12中的單元的一部分構(gòu)成。
現(xiàn)在參照圖12,13和14說明直方圖形成和處理方塊例如25，以及和其有關(guān)的線性組合方塊，例如31，的結(jié)構(gòu)和操作。
塊25(圖13)包括形成直方圖的部分25a，和對直方圖形成分級(jí)器的部分25b，這兩部分在作為集成電路25c的一部分實(shí)現(xiàn)的軟件的控制下操作，其得出直方圖的限制值la,lb,lc,ld(圖11)。
分級(jí)器25b，以及其它直方圖形成和處理塊24,26,27,28,29(后兩個(gè)通過x(m),y(m)組合單元36)向總線23提供其輸出信息，并通過所述總線向線性組合單元31提供信息，因而其接收來自單元24,25,26,27,28,29中的分級(jí)器的所有并行信息，并且根據(jù)這些信息，其對單元25提供或不提供有效信號(hào)V2。
分級(jí)器25b使用軟件25c確定將用于限定例如包絡(luò)38或39的各個(gè)級(jí)(例如在所討論的情況下含有相同數(shù)目的速度值)。
圖14表示沿x軸的相繼的級(jí)C1,C2,...Cn-1,Cn，以及其速度V的包絡(luò)38，其在分級(jí)器25b中被確定。
圖15和16說明由單元28和29形成的由x(m),y(m)直方圖所取的部分及其在單元36中的組合，以便獲得一個(gè)斜率。
例如，我們已經(jīng)討論了使用按照本發(fā)明的被裝載在車輛上的具有數(shù)字輸出的視頻攝像機(jī)觀察道路的情況。
圖15表示道路兩側(cè)，Bg在道路R左側(cè)，Bd在道路R右側(cè)，以及由單元28得到的相對于x(m)的投影Px的坡度和由單元29得到的相對于y(m)的投影Py的坡度，這些坡度的編號(hào)例如為從0到7(按照習(xí)慣不同于弗里蘭碼)。
為了給予關(guān)于右側(cè)Bd的最好的精度，換句話說關(guān)于該側(cè)指示(例如速度)的最大靈敏度，投影Px應(yīng)當(dāng)具有盡可能接近垂直于Bd的最佳斜度P0的斜度，具體在圖15中所示的坡度5。因此對于由單元28(圖11)確定的坡度5將獲得速度直方圖的最大值。
同樣的理由可以應(yīng)用于左側(cè)Bg，關(guān)于投影Py的斜度因而也是由單元29所取的部分。
組合兩個(gè)最佳坡度的單元36對兩側(cè)Bg，和Bd提供最佳信息。
圖16說明用于確定投影Px的最佳斜度P0的應(yīng)用，例如是為了滿足在歐洲在道路右側(cè)駕駛車輛Vh(情況a)時(shí)或者是在英國在道路左側(cè)駕駛車輛Vh時(shí)的情況(情況b)，以及最后為了使飛機(jī)Va在跑道中間著陸的情況(情況c)。
因而，為了有助于在路上駕駛陸地車輛(汽車、卡車)，或者有助于飛機(jī)(飛機(jī)、宇宙飛船)接近跑道時(shí)的飛行，按照本發(fā)明的裝置還包括分別代表道路或跑道的右和左側(cè)Bd和Bg的裝置，以及利用可變的坡度確定至少一個(gè)坐標(biāo)軸的方向的裝置，使得其和相應(yīng)的一側(cè)保持接近于正交(位置P0)。
至此我們集中討論了通過檢測其中DP=1的區(qū)域來確定在幾乎不動(dòng)的環(huán)境中的實(shí)際位移的區(qū)域的裝置。為了確定在其背景正在運(yùn)動(dòng)的環(huán)境中(例如故障的車輛或公路上的碰撞)的不動(dòng)的區(qū)域，將發(fā)生相反的情況，其中必須相對于DP=1的環(huán)境定位DP=0的區(qū)域。顯然，在這種情況下，在一個(gè)區(qū)域內(nèi)速度為0，并且方向的概念將沒有意義。因此，在17a中的計(jì)算將是不同的。
按照本發(fā)明的裝置，如果只用于確定不運(yùn)動(dòng)的區(qū)域，可以通過消除處理速度和方向的單元或方塊，而加以簡化，具體地說方塊25,26,31,32，并且來自單元11a的輸出數(shù)量和對單元17的輸入的數(shù)量可以減少。
在按照本發(fā)明的裝置的操作單元10a中，可以提供用于在監(jiān)視器屏幕上顯示DP或CO信號(hào)的值和/或直方圖的裝置。
SR信號(hào)，即延遲的數(shù)字視頻信號(hào)，通常提供給電視或監(jiān)視器屏幕10，以便在屏幕上在本地或遠(yuǎn)方顯示這些信號(hào)，同時(shí)相對運(yùn)動(dòng)被指出，以便確認(rèn)這一相對運(yùn)動(dòng)的性質(zhì)。因此，當(dāng)相對位移的區(qū)域被指示時(shí)，例如通過視覺報(bào)警與/或聲音報(bào)警發(fā)出信號(hào)時(shí)，只需要觀看電視機(jī)或監(jiān)視器的屏幕10即可。
通常借助于在顯示的數(shù)字視頻信號(hào)SR上加上任意的顏色來識(shí)別在屏幕上相對運(yùn)動(dòng)的區(qū)域，每個(gè)顏色或顏色等級(jí)代表運(yùn)動(dòng)的速度與/或方向。
參照圖2,3,4,11，和13所述的各個(gè)單元都由已知類型的電子電路構(gòu)成，特別是微處理器進(jìn)行計(jì)算與/或比較，或使用掃描信號(hào)，存儲(chǔ)器，延遲單元，移位寄存器，形成線性直方圖或在平面內(nèi)結(jié)合這種直方圖的單元；以及微型總線。
在各個(gè)單元11a或22a中或者在包括11a和22a的部件中的這些電子電路的組合可以使用兩個(gè)很小的集成電路或一個(gè)很小的集成電路來實(shí)現(xiàn)，例如使用0.7μm技術(shù)，所述集成電路具有10mm×10mm的數(shù)量級(jí)，一組兩個(gè)互連的集成單元或一個(gè)集成電路通過其輸入和視頻攝像機(jī)或其它觀測裝置的數(shù)字視頻輸出相連，并通過其輸出和一個(gè)或幾個(gè)本地或遠(yuǎn)方使用裝置相連。在一種變形中，如果只使用在單元11a中的簡化的裝置，則最好是單片集成電路的形式的該裝置被設(shè)置在所述數(shù)字輸出和一個(gè)或幾個(gè)本地或遠(yuǎn)方使用裝置之間。
我們現(xiàn)在給出一個(gè)例子，其并不限制本發(fā)明裝置的其它應(yīng)用，具體地說，就是按照圖1和圖10的裝置，換句話說，就是按照圖2和11沿著線Z-Z1連接而形成的裝置。
圖17所示的第一其它的應(yīng)用由在房間中運(yùn)動(dòng)的人的自動(dòng)成幀構(gòu)成，例如在電視會(huì)議期間。自動(dòng)成幀消除在周圍走動(dòng)的人的運(yùn)動(dòng)，其提高由具有數(shù)字輸出的攝像機(jī)觀察的這個(gè)人的圖像清晰度，并且如果數(shù)字視頻信號(hào)被壓縮，還簡化這種壓縮。
圖17表示上述類型的視頻攝像機(jī)13，其觀察可以在走動(dòng)的人P。來自視頻攝像機(jī)的數(shù)字視頻信號(hào)S由電纜，光纖或無線電中繼向電視或監(jiān)視器屏幕10b傳送，但是也被按照本發(fā)明的的裝置11接收，并且該裝置的ZH輸出作用在單元42上，該單元響應(yīng)從裝置11接收的關(guān)于人P的位置和運(yùn)動(dòng)的信號(hào)，根據(jù)其位置，速度和運(yùn)動(dòng)的方向控制所述攝像機(jī)13的電機(jī)43，使得把攝像機(jī)的光軸直接朝向人，尤其是朝向其面部，當(dāng)人P前后運(yùn)動(dòng)時(shí)，能夠改變聚焦設(shè)置，焦距與/或攝像機(jī)的調(diào)整。
還可以控制在舞臺(tái)上的人(演員，歌手)上的一個(gè)或幾個(gè)亮點(diǎn)的運(yùn)動(dòng)，按照本發(fā)明的裝置，通過改變電視攝像機(jī)的方向把人定位在圖像中心并例如利用一個(gè)或兩個(gè)對于每個(gè)亮點(diǎn)的可轉(zhuǎn)動(dòng)的反射鏡控制亮點(diǎn)的方向。
圖18說明按照本發(fā)明的裝置的一種應(yīng)用的例子，其表示攝像機(jī)3或其它觀測裝置向按照本發(fā)明的裝置11輸出一個(gè)數(shù)字視頻信號(hào)S。在這種應(yīng)用中，攝像機(jī)13監(jiān)視公路的一部分，以便檢測未預(yù)料到的停車，特別是在緊急停車地段，并檢測是否發(fā)生了碰撞后停車。
因此，在這種情況下，目的是確定是否在運(yùn)動(dòng)的環(huán)境中(其它車輛)有一個(gè)物體(車輛)在靜止，換句話說，在17×17個(gè)元素矩陣21中確定DP=0的區(qū)域。即，攝像機(jī)13觀察產(chǎn)生DP=1的響應(yīng)的車輛流，及速度和位移方向的值。然而，如果一部車輛停止，則通過在它的觀察區(qū)域內(nèi)一個(gè)DP=0的響應(yīng)而被識(shí)別。
接收ZH和SR的單元44檢測是否在ZH中有其中DP=0的區(qū)域出現(xiàn)，并輸出一個(gè)誤差信號(hào)NL，其首先觸發(fā)裝置45中的蜂鳴器與/或視覺警報(bào)。其次控制開關(guān)46，它在電視或監(jiān)視器屏幕10上提供視頻信號(hào)S(或延遲視頻信號(hào)SR)，通過蜂鳴器與/或視覺警告使監(jiān)視者能夠在有車輛停止或者發(fā)生了碰撞時(shí)觀測公路，以便采取必要措施，例如根據(jù)停止的車輛的駕駛員的反應(yīng)。
使用本發(fā)明，在監(jiān)視站中的監(jiān)視者可以容易地控制公路(或主要道路)上的多段，其中每段公路都有按照本發(fā)明的裝置11和攝像機(jī)13，來自每個(gè)裝置11的ZH和SR輸出通過電纜、光纖或無線電中繼傳送到監(jiān)視站，其中具有公共單元44；如果有由報(bào)警表示的事故與/或事件，觀察者只需要在屏幕10中觀看，在不同位置同時(shí)發(fā)生幾個(gè)事故與/事件是不常見的。
尤其是，單元44在其輸入端可以包括轉(zhuǎn)動(dòng)型開關(guān)(未示出)，其從位于沿公路的各個(gè)部件13-11對產(chǎn)生NL信號(hào)的該單元44上的部分連續(xù)地且周期地發(fā)送ZH(和SR)信號(hào)。
相同的系統(tǒng)不僅能夠檢測車輛是否停止，或者由于碰撞而使車輛停止，而且能夠檢測車流速度是否降低(對于非常慢的交通)，由于在各個(gè)D=1的區(qū)域中速度降低，以及與此相反，一輛車高速行駛，在所觀察的區(qū)域內(nèi)超過允許的速度限制。
最后，圖19說明本發(fā)明的另一種應(yīng)用，即人機(jī)對話，通過手M的運(yùn)動(dòng)，尤其是手指DG在由坐標(biāo)系統(tǒng)Cx,Cy成為矩形的區(qū)域SF內(nèi)的運(yùn)動(dòng)。
和圖1所示的按照本發(fā)明的裝置11相關(guān)的具有數(shù)字輸出的視頻攝像機(jī)13被用于識(shí)別手M和手指DG的運(yùn)動(dòng)，可用于控制計(jì)算機(jī)(例如“鼠標(biāo)”)或控制機(jī)器中的一些功能。例如，部件13-11可被聾啞人使用，其中使用標(biāo)準(zhǔn)的基于手的運(yùn)動(dòng)的聾啞符號(hào)語言，以便輸入字母符號(hào)數(shù)據(jù)并從而一個(gè)文本到計(jì)算機(jī)中，而不需使用標(biāo)準(zhǔn)鍵盤；這種操作顯然也可以由學(xué)過聾啞語言的正常人使用，可以不用鍵盤而把文本輸入計(jì)算機(jī)中。這類系統(tǒng)對時(shí)間變化不敏感，并且不需要開始和結(jié)束的手勢的精確表示。
圖20和21示意地說明本發(fā)明用于監(jiān)視汽車駕駛員，以便告知其是否打盹的情況。
在這種情況下，視頻攝像機(jī)13被設(shè)置在汽車內(nèi)車身附近，例如放在后視鏡的上方，它可以監(jiān)視駕駛員。
第一種操作是以和圖17中的應(yīng)用相同的方式對駕駛員成幀，圖20示意地表示在視頻屏幕上的駕駛員的圖像1C。首先，無用的左右部分被消除(由圖像的水平陰影部分表示)，因而只限于處理在這兩部分之間的圖像的中心部分。
然后，在此中心部分內(nèi)，進(jìn)行監(jiān)視對頭成幀的圖21的未劃陰影的區(qū)域AA。
被按照本發(fā)明的裝置檢測的相關(guān)的位移包括駕駛員以睡眠之前眨眼的速率眨眼(由區(qū)域AA的垂直運(yùn)動(dòng)表示)。如果其眨眼的速率或速度低于一個(gè)門限值以下，蜂鳴器則發(fā)聲，從而將其喚醒。
圖22表示當(dāng)需要考慮位移速度的較寬范圍時(shí)用于克服表示時(shí)間常數(shù)CO的有限的位數(shù)p的裝置。
為此目的，將使用Mallat的圖(見S.Mallat的論文“A Theory formultiresolution signal decomposition”在IEEE Transactions on PatternAnalysis and Machine Intelligence,1989年7月第674-693頁)，其包括把整個(gè)圖像連續(xù)地分成半個(gè)，以1,2,3,4,5,6,7來識(shí)別。這形成一種壓縮，使得只處理部分圖像。因而當(dāng)p=4，換句話說2p=16時(shí)，我們可以確定在較寬范圍內(nèi)的速度。
如果在起初在整個(gè)圖像的框架內(nèi)，按照本發(fā)明的裝置表示移動(dòng)物體(廣義上)的速度超過對于該時(shí)間常數(shù)可由2p=16確定的最大速度，則需要使用局部觀察的圖像1,2,3,4,....直到移動(dòng)物體的速度不超過所述在壓縮之后的局部圖像的框架內(nèi)的最大速度。
借助于子波的Mallat結(jié)構(gòu)只需要在圖1的圖中插入單元13A，以便進(jìn)行這種視頻信號(hào)的壓縮。例如，這種單元可以包括在“ADV 601Preliminary Data Sheet”,1996年1月中描述的由美國公司ANALOGDEVICES生產(chǎn)的“DV 601 Low Cost Multiformat Video Codec”元件。圖2表示這種類型的可選擇的壓縮單元13a。最后，在圖2和圖3中示出了在一些微總線上傳輸?shù)奈粩?shù)(1,3(如果p=3),8,15)，其說明可以為各個(gè)功能塊當(dāng)其處理被減少的位數(shù)時(shí)而保留的尺寸。
很清楚，本發(fā)明能夠檢測被光電子裝置例如視頻攝像機(jī)觀察的場景中的相對運(yùn)動(dòng)，所述視頻攝像機(jī)以由連續(xù)的幀構(gòu)成的數(shù)字視頻信號(hào)的形式發(fā)送觀察的場景，幀本身包括由連續(xù)的像素構(gòu)成的連續(xù)的行，這個(gè)數(shù)字信號(hào)被分析，以便利用位移的速度和方向表示識(shí)別有相對位移的區(qū)域，如果所述區(qū)域相對于實(shí)際上近似不動(dòng)的環(huán)境是在運(yùn)動(dòng)的話。
假定按照本發(fā)明的裝置用于確定物體(最廣義的)的位移的速度和方向，一些裝置可以和其結(jié)合以便使用這兩個(gè)參數(shù)來推斷在給定的時(shí)刻物體的將來的位置，并且沿著這個(gè)將來位置的方向提前引導(dǎo)輸入視頻攝像機(jī)13。
注意利用按照本發(fā)明的裝置所獲得的結(jié)果決不要求攝像機(jī)被固定，從而使得攝像機(jī)和相關(guān)的裝置可以設(shè)置在陸地、空中或海上的交通工具上(例如圖16說明的處理的實(shí)施例)。
在一個(gè)等于N的(相應(yīng)于連續(xù)的幀的10的級(jí)(order))非常短的初始化間隔之后，按照本發(fā)明的裝置在每幀結(jié)束之后立即決定相對位移參數(shù)，由于按照本發(fā)明的計(jì)算的遞歸性，對每個(gè)幀已經(jīng)進(jìn)行了時(shí)間和空間處理。
我們已經(jīng)說明了按照本發(fā)明的裝置的優(yōu)選實(shí)施例及其幾種應(yīng)用。顯然，該實(shí)施例和這些應(yīng)用是非限制性的例子，不脫離以下權(quán)利要求所限定的構(gòu)思，本領(lǐng)域的技術(shù)人員可以設(shè)計(jì)出許多改變和改型。
例如，有可能實(shí)現(xiàn)使用在圖2中由單元11的輸出提供的信號(hào)而不使用圖11所述的信號(hào)的屬于本發(fā)明的范圍之內(nèi)的方法。
關(guān)于按照本發(fā)明的裝置的應(yīng)用，決不限于上面作為例子給出的這些。因而，類似于圖17中的電路可以直接和帶磁帶機(jī)的攝像機(jī)或視頻攝像機(jī)相連，以便對其進(jìn)行穩(wěn)定，用于由用戶的操作失誤而引起的位移的補(bǔ)償。
還可以使用一個(gè)或者最好幾個(gè)按照本發(fā)明的裝置和一個(gè)最好幾個(gè)設(shè)置在大樓房間中的帶磁帶機(jī)的攝像機(jī)或具有數(shù)字視頻輸出的視頻攝像機(jī)相連，從而借助于能夠檢測和定位房間內(nèi)一個(gè)或幾個(gè)人的存在及其運(yùn)動(dòng)而形成“智能房間”，在其中為了安全和識(shí)別的目的，以及/或者為了幫助要被執(zhí)行的任務(wù)，或者例如用于照看在另一個(gè)房間內(nèi)的兒童，或在超級(jí)市場觀察顧客而對所述運(yùn)動(dòng)進(jìn)行分析。
尤其是一直假定視頻信號(hào)在連續(xù)的隔行掃描幀對中使用，特別是在討論存儲(chǔ)器16的容量期間，其中在按照本發(fā)明的裝置中以成對的形式處理兩幀。然而，也可以只使用兩幀中的一幀(例如奇數(shù)幀)，以便減少存儲(chǔ)器容量，不過也使獲得所需信息的速度大約減少一半。還可以使用視頻攝像機(jī)或其它觀察裝置，這些裝置的數(shù)字輸出每個(gè)圖像只包括一幀。
在一些應(yīng)用中，可以使專用的傳感器和按照本發(fā)明的裝置相連，例如一個(gè)或幾個(gè)加速度傳感器，以便能夠處理附加的位移參數(shù)。
顯然，本發(fā)明不限于上述的實(shí)施例或應(yīng)用，而是包括在本發(fā)明的范圍和構(gòu)思之內(nèi)的所有改變和改型。
權(quán)利要求
1．一種實(shí)時(shí)操作的方法，用于識(shí)別和定位在一個(gè)通過觀測系統(tǒng)觀測的場景中的相對運(yùn)動(dòng)的區(qū)域，所述觀測系統(tǒng)具有由一個(gè)數(shù)字視頻信號(hào)構(gòu)成的一個(gè)輸出，所述視頻信號(hào)包括連續(xù)的相應(yīng)的幀，每個(gè)幀由連續(xù)的行構(gòu)成，每行包括連續(xù)的像素，并用于確定位移的速度和方向，所述方法的特征在于，它對于數(shù)字視頻輸出信號(hào)進(jìn)行包括如下的操作順序的處理-使用一個(gè)數(shù)字時(shí)間常數(shù)對所述數(shù)字視頻輸出信號(hào)進(jìn)行平滑處理，其數(shù)字值對于所述輸出信號(hào)的每個(gè)像素可以獨(dú)立地被修正；-在一方面，在平滑之后，存儲(chǔ)所述輸出信號(hào)的一個(gè)幀，在另一方面，存儲(chǔ)和所述幀相關(guān)的平滑時(shí)間常數(shù)；-對于每個(gè)像素位置的時(shí)間處理，在包首先確定其存在，其次確定在當(dāng)前幀和剛剛在前面的被平滑和存儲(chǔ)幀之間像素信號(hào)的大小顯著變化的幅值，并產(chǎn)生兩個(gè)數(shù)字信號(hào)，第一個(gè)信號(hào)是二進(jìn)制的或具有兩個(gè)可能的值的1位的信號(hào)，兩個(gè)可能的值之一表示兩個(gè)相繼幀之間存在顯著變化，而另一個(gè)代表不存在所述顯著變化，所述二進(jìn)制信號(hào)的值修正所述時(shí)間常數(shù)的存儲(chǔ)值，以便如果所述信號(hào)表示顯著改變的話減少所述時(shí)間常數(shù)；以及如果所述信號(hào)不表示這種變化的話，增加所述時(shí)間常數(shù)；所述減少或增加以定量的方式進(jìn)行，而第二個(gè)數(shù)字信號(hào)，即幅值信號(hào)，是一個(gè)多位信號(hào)，其具有量化所述變化的幅值的有限的位數(shù)；以及-對于數(shù)字視頻輸入信號(hào)的每一幀進(jìn)行包括以下步驟的一個(gè)空間處理⊙在給定的觀測時(shí)刻，只分配在一幀中的一部分像素值(在整個(gè)幀期間通過所述矩陣被掃描的一部分)，首先是所述二進(jìn)制信號(hào)，其次是所述數(shù)字幅值信號(hào)，到具有若干行和列的矩陣中，所述行數(shù)和列數(shù)分別與視頻信號(hào)中的行數(shù)和每行的像素?cái)?shù)相比是小的，以便表征像素值，⊙在雙倍瞬時(shí)矩陣表示中，通過在幀的相同部分內(nèi)并從而在同一觀察時(shí)刻，沿著從一個(gè)原始像素開始的一個(gè)方向的矩陣的兩個(gè)相鄰像素的一個(gè)顯著變化值，確定一個(gè)特定的區(qū)域，其中所述二進(jìn)制信號(hào)具有被尋求的值，表示一個(gè)顯著的變化是否存在，及所述數(shù)字幅值信號(hào)是否變化，并且⊙產(chǎn)生信號(hào)表示相對位移的區(qū)域的存在和位置，以及相對其環(huán)境的相對的幀間速度和該位移的方向，如果有的話，從這兩個(gè)二進(jìn)制信號(hào)和數(shù)值數(shù)字信號(hào)的瞬時(shí)矩陣分布中獲得。
2．如權(quán)利要求1所述的方法，其特征在于還包括⊙首先形成分布在矩陣中的信號(hào)數(shù)值的直方圖，其次形成在平面中具有可變的坡度的兩個(gè)坐標(biāo)軸的斜度的直方圖，⊙識(shí)別在形成的每個(gè)直方圖中被處理值的重大變化的范圍，以及⊙對于每個(gè)識(shí)別的范圍，推斷是否有相對運(yùn)動(dòng)的區(qū)域，如果有，判斷其位置、速度和所取的方向。
3．如權(quán)利要求1或2所述的方法，其特征在于所述矩陣是方陣，具有相同的奇數(shù)行和列(2l+1)，并且考慮嵌套的矩陣含有3×3,5×5,7×7,...(2l+1)×(2l+1)個(gè)元素，其中心在所述方陣的中心，以便確定最小的嵌套矩陣，其中所述數(shù)字信號(hào)沿著從所述中心開始的方向改變，所述二進(jìn)制信號(hào)的值表示沿著該方向的門限值已經(jīng)被超過。
4．如權(quán)利要求1或2所述的方法，其特征在于，所述矩陣是六角陣，并且考慮尺寸增加的嵌套的六角陣，其中心在該六角陣的中心，以便確定最小的嵌套矩陣，其中所述數(shù)字信號(hào)沿所取方向而改變，所述二進(jìn)制信號(hào)的值表示按照這個(gè)方向的門限的超調(diào)。
5．如權(quán)利要求1或2所述的方法，其特征在于，所述矩陣是具有單行和單列的倒L矩陣，并對于單行和單列考慮含有3×3個(gè)像素、5×5個(gè)像素，7×7個(gè)像素，...(2l+1)×(2l+1)個(gè)像素的嵌套的矩陣，以便確定最小的矩陣，其中信號(hào)沿所取方向，即具有最陡的斜度和恒定數(shù)量的行而改變。
6．如前面任何一個(gè)權(quán)利要求所述的方法，其特征在于，所述時(shí)間常數(shù)的形式是2p，其中p是小于16的數(shù)，并且其可以被以不多于4位來表達(dá)，通過對p減或加一個(gè)單位而使時(shí)間常數(shù)減少或增加。
7．如權(quán)利要求6所述的方法，其特征在于，使用Mallat時(shí)標(biāo)算法考慮完整幀的相繼減少的部分，并選擇這些部分中的最大的，其給出可和p值匹配的方向指示、位移和速度。
8．一種實(shí)時(shí)操作的裝置，用于識(shí)別和定位在一個(gè)通過觀測系統(tǒng)觀測的場景中的相對運(yùn)動(dòng)的區(qū)域，所述觀測系統(tǒng)具有由數(shù)字視頻信號(hào)構(gòu)成的輸出，所述視頻信號(hào)包括連續(xù)的相應(yīng)的幀，每個(gè)幀由連續(xù)的行構(gòu)成，每行包括連續(xù)的像素，并通過使用上述的方法用來確定位移的速度和方向，所述裝置接收所述視頻輸出信號(hào)作為其輸入，其特征在于，其以組合的形式包括-一種裝置(15)，用于使用數(shù)字時(shí)間常數(shù)對所述數(shù)字視頻輸出信號(hào)進(jìn)行平滑處理，其數(shù)值對于所述輸出信號(hào)的每個(gè)像素可以獨(dú)立地被修正；-一種裝置(16)，用于在平滑(LI)之后，首先存儲(chǔ)所述輸出信號(hào)的幀，其次存儲(chǔ)和所述幀相關(guān)的平滑時(shí)間常數(shù)(CI)，-一個(gè)時(shí)間處理單元(15)，用于對于同一像素位置，分析在所述數(shù)字信號(hào)的當(dāng)前幀和剛被處理的被平滑的并存儲(chǔ)的幀之間的像素信號(hào)的值隨時(shí)間的變化，所述單元包括一個(gè)存儲(chǔ)器單元(16)，所述存儲(chǔ)器能夠接收、存儲(chǔ)和檢索關(guān)于相應(yīng)的前一個(gè)平滑的幀的信息；還有比較裝置(15a)，對于在輸入視頻信號(hào)幀中的像素的每一位置，通過產(chǎn)生一個(gè)二進(jìn)制的信號(hào)，或者具有兩個(gè)值的一位信號(hào)(DP)，這兩個(gè)值之一表示超過門限值，另一個(gè)表示沒有超過門限值，用于確定在當(dāng)前像素信號(hào)和所述存儲(chǔ)器單元中存儲(chǔ)的前一幀的同一像素位置的像素信號(hào)表示值之間的差的絕對值是否超過一個(gè)門限；以及計(jì)算裝置(15c)，其能夠確定一個(gè)具有小的位數(shù)的多位數(shù)字幅值信號(hào)，其值取決于在數(shù)字視頻信號(hào)的當(dāng)前幀和剛剛在前面的、被平滑的并存儲(chǔ)的幀之間的同一像素的值的變化量；以及-一個(gè)空間處理單元(11)，在其中輸入來自由時(shí)間處理單元處理的給定幀中的像素的所述連續(xù)的二進(jìn)制和數(shù)字幅值信號(hào)的輸出，所述空間處理單元包括用于表征像素的幅值的裝置，這些裝置只分配相對于同一時(shí)刻，即對于一幀，的所述二進(jìn)制和數(shù)字幅值信號(hào)，到分別比在所述數(shù)字視頻信號(hào)的幀中的行數(shù)和每行像素?cái)?shù)少的行數(shù)和列數(shù)的矩陣(21)中，所述的幀為在整個(gè)幀的持續(xù)時(shí)間通過所述矩陣被掃描的幀；以及一種尋找裝置，用于確定在所述矩陣內(nèi)像素的區(qū)域，其中，在此時(shí)刻，二進(jìn)制信號(hào)具有檢索的值；以及用于確定在所述矩陣內(nèi)像素區(qū)域的裝置，在該裝置中，在同一時(shí)刻對于相鄰像素?cái)?shù)字幅值信號(hào)改變一個(gè)顯著的量；以及一種裝置，其響應(yīng)來自兩個(gè)前面的裝置的指示，產(chǎn)生表示像素的這一區(qū)域并因而表示觀測的場景內(nèi)相對運(yùn)動(dòng)的區(qū)域的存在和位置的信號(hào)，該信號(hào)還表示當(dāng)所述區(qū)域?qū)嶋H上相對于其環(huán)境而運(yùn)動(dòng)時(shí)該區(qū)域相對的幀間速度和方向。
9．如權(quán)利要求7所述的裝置，其特征在于，所述空間處理單元(17，18)包括第一串聯(lián)的延遲裝置(r)，其每個(gè)用于提供一個(gè)等于兩個(gè)相繼行之間的時(shí)間差的延遲，以及第二串聯(lián)延遲裝置(d)，其每個(gè)用于對每行提供等于一行中兩個(gè)相繼像素之間的時(shí)間差的延遲，并且來自所有所述第二延遲裝置(d)的輸出和對所述第二延遲裝置(d)的串聯(lián)的輸入在每行上在給定的時(shí)刻向所述識(shí)別裝置(17a)提供在同一時(shí)刻的所述數(shù)字幅值信號(hào)和所述二進(jìn)制信號(hào)。
10．如權(quán)利要求8或9所述的裝置，其特征在于，還包括用于形成來自所述空間處理單元的輸出值的直方圖，并用于形成在一個(gè)平面內(nèi)的兩個(gè)斜度可變的坐標(biāo)軸的直方圖的裝置(24-29)，用于識(shí)別每個(gè)直方圖中的一個(gè)范圍的裝置，其中被處理的值具有顯著的改變，以便在其輸出中使這個(gè)范圍有效，并對于所有直方圖獲得輸出信號(hào)，該信號(hào)用于識(shí)別和定位在觀測的場景中的相對運(yùn)動(dòng)的區(qū)域，如果有的話；以及這些運(yùn)動(dòng)的速度和方向，如果所述區(qū)域相對于其環(huán)境正在運(yùn)動(dòng)的話。
11．如權(quán)利要求8,9，或10所述的裝置，其特征在于，所述平滑裝置(15c,15d)包括一個(gè)輸入端，其接收所述數(shù)字視頻信號(hào)S(PI)，并對于所述視頻信號(hào)的一幀中的每個(gè)相繼的像素導(dǎo)出一個(gè)被平滑的信號(hào)(LO)，在其中輸入數(shù)字視頻信號(hào)的時(shí)間變化通過使用在另一個(gè)輸入端接收的門限信號(hào)(N)和關(guān)于在一幀中每個(gè)像素位置的時(shí)間常數(shù)(CO)而減少，其值被不斷地修正，使得雖然被減小了，但是平滑裝置仍能維持輸入的數(shù)字視頻信號(hào)的變化趨勢，所述平滑裝置和所述存儲(chǔ)單元(16)協(xié)同工作，存儲(chǔ)單元對于一幀中的每個(gè)像素位置接收、存儲(chǔ)并檢索被平滑的信號(hào)和所述時(shí)間常數(shù)的被更新的值，并對于每個(gè)像素位置至少輸出更新的時(shí)間常數(shù)相繼的值和二進(jìn)制信號(hào)的相繼的值，所述二進(jìn)制信號(hào)表明所述門限是否被一個(gè)像素值和其平滑值之間的差的絕對值所超過。
12．如權(quán)利要求8-11任何一個(gè)所述的裝置，其特征在于，所述空間處理單元(17,18)以減少的數(shù)量沿著行和列進(jìn)行來自所述平滑裝置的輸出，即所述二進(jìn)制信號(hào)和所述時(shí)間常數(shù)(CO)的相繼值的矩陣分配，包括識(shí)別裝置(17a)，用于在所述矩陣分配中識(shí)別一個(gè)像素區(qū)域，其中同時(shí)地或者所述二進(jìn)制信號(hào)的值相應(yīng)于一個(gè)門限值被超過，并且在相鄰像素之間的所述時(shí)間常數(shù)沿一個(gè)方向改變一個(gè)大的值，并用于產(chǎn)生指示所述區(qū)域的位置和在該區(qū)域中位移的速度和方向的輸出信號(hào)，或者所述二進(jìn)制信號(hào)的值相應(yīng)于一個(gè)門限值沒有被超過，并且在相鄰像素之間的所述時(shí)間常數(shù)沒有改變。
13．如權(quán)利要求10，11或12任何一個(gè)所述的裝置的應(yīng)用，用于幫助驅(qū)動(dòng)道路上的車輛，或接近機(jī)場跑道的飛機(jī)，其特征在于，該裝置還包括用于表示道路或跑道右側(cè)和左側(cè)Bd和Bg的裝置，以及用于確定至少一個(gè)具有可變斜率的坐標(biāo)軸的方向的裝置，使得其和相應(yīng)一側(cè)(位置P0)保持接近于正交。
全文摘要
本發(fā)明的目的在于提供一種實(shí)時(shí)操作的方法和裝置,用于識(shí)別和定位在場景中的相對運(yùn)動(dòng)的區(qū)域,并實(shí)時(shí)地確定這一相對運(yùn)動(dòng)的速度和方向。所述的方法進(jìn)行數(shù)字視頻輸入信號(hào)S(PI)的時(shí)間處理,在于從一幀中的每個(gè)像素值和前一幀中的每個(gè)像素值之間的改變導(dǎo)出的二進(jìn)制信號(hào)DP,用于識(shí)別有無顯著改變,以及一個(gè)表示這個(gè)改變的大小的數(shù)字信號(hào)CO,并進(jìn)行空間處理,在于在矩陣中連續(xù)地分配對于通過矩陣掃描的單幀的這兩個(gè)信號(hào),并且從矩陣分配來推導(dǎo)所需的相對運(yùn)動(dòng)及其參數(shù)。該裝置通過包括和一個(gè)存儲(chǔ)器16相連的一個(gè)時(shí)間處理單元15、和一個(gè)延遲單元18相連的一個(gè)空間處理單元17、時(shí)鐘單元20和用于控制單元15和17的操作速率的控制單元19來實(shí)現(xiàn)上述目的。
文檔編號(hào)G06K9/00GK1226329SQ9719680
公開日1999年8月18日 申請日期1997年7月22日 優(yōu)先權(quán)日1996年7月26日
發(fā)明者帕特里克·皮里姆 申請人:卡魯斯·馬格努斯有限公司