專利名稱：用于在局部區(qū)域跟蹤圖象的跟蹤裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種跟蹤裝置，更具體地說，涉及一種通過連續(xù)跟蹤由電視攝像機(jī)拾取的圖象內(nèi)的運(yùn)動(dòng)圖象跟蹤圖象的跟蹤裝置。
在局部區(qū)域內(nèi)跟蹤圖象的跟蹤裝置是通過連續(xù)跟蹤拾取的圖象中的移動(dòng)目標(biāo)來跟蹤圖象的(以下簡(jiǎn)稱為局部區(qū)域圖象跟蹤裝置)，這種裝置可以用于各種系統(tǒng)中。利用無需使用加速傳感器或可視運(yùn)動(dòng)矢量的非接觸型運(yùn)動(dòng)測(cè)量系統(tǒng)，自動(dòng)監(jiān)測(cè)系統(tǒng)，識(shí)別人類手勢(shì)，表達(dá)或視線的系統(tǒng)，制作電影或轉(zhuǎn)播體育比賽時(shí)控制攝像機(jī)的系統(tǒng)，，控制機(jī)器人或自控車輛的系統(tǒng)或從衛(wèi)星跟蹤移動(dòng)目標(biāo)的系統(tǒng)。


圖1為一個(gè)系統(tǒng)框圖，顯示了常規(guī)的局部區(qū)域跟蹤裝置的例子的一部分。在圖1中，局部區(qū)域跟蹤裝置包括一個(gè)圖象拾取裝置501，模數(shù)轉(zhuǎn)換器(A/D)502，檢索圖象存儲(chǔ)器503，參考圖象存儲(chǔ)器504，相關(guān)運(yùn)算單元505，地址發(fā)生器506，相關(guān)值峰值位置檢測(cè)器507。
由圖象拾取裝置501拾取的模擬圖象數(shù)據(jù)由A/D轉(zhuǎn)換器502轉(zhuǎn)換成數(shù)字圖象，然后存儲(chǔ)在檢索圖象存儲(chǔ)器503。參考圖象存儲(chǔ)器504預(yù)先存儲(chǔ)固定的與要跟蹤的預(yù)定目標(biāo)相關(guān)的參考圖象數(shù)據(jù)。相關(guān)運(yùn)算單元505執(zhí)行相關(guān)運(yùn)算，得出指示檢索圖象存儲(chǔ)器503中的圖象數(shù)據(jù)和參考圖象存儲(chǔ)器504中參考圖象數(shù)據(jù)之間的相關(guān)性的相關(guān)值。相關(guān)值峰值位置檢測(cè)器507檢測(cè)該相關(guān)值峰值位置，即，在拾取的圖象中具有最高的相關(guān)性的位置。該峰值位置被送回到地址發(fā)生器506，地址發(fā)生器506產(chǎn)生一個(gè)對(duì)應(yīng)于該峰值位置的存儲(chǔ)器地址，并將該存儲(chǔ)器地址送到檢索圖象存儲(chǔ)器503和參考圖象存儲(chǔ)器504。于是，在峰值位置檢測(cè)器507總能得到相關(guān)值的峰值，根據(jù)該峰值位置，可以以實(shí)時(shí)的方式跟蹤在拾取的圖象中的目標(biāo)。但是，在傳統(tǒng)的局部區(qū)域圖象跟蹤裝置中存在下面的問題。
首先，當(dāng)來自圖象拾取裝置501的圖象數(shù)據(jù)通過A/D轉(zhuǎn)換器502被寫進(jìn)檢索圖象存儲(chǔ)器503時(shí)，無法從檢索圖象存儲(chǔ)器503中讀出數(shù)據(jù)并在相關(guān)性運(yùn)算單元505中執(zhí)行相關(guān)性運(yùn)算。因此，產(chǎn)生的問題是針對(duì)每個(gè)拾取的圖象，無法對(duì)每個(gè)幀進(jìn)行跟蹤處理。結(jié)果，在相關(guān)性運(yùn)算單元505中的相關(guān)性運(yùn)算是針對(duì)圖象數(shù)據(jù)的每個(gè)其它一幀進(jìn)行的，這樣，只能對(duì)每個(gè)其它一幀進(jìn)行跟蹤處理。換句話說，在傳統(tǒng)的局部區(qū)域圖象跟蹤裝置中，不能夠以高速進(jìn)行跟蹤處理。
其次，由于相對(duì)于圖象拾取裝置501只提供有一個(gè)相關(guān)性運(yùn)算單元505，在同一時(shí)刻跟蹤目標(biāo)的個(gè)數(shù)由于相關(guān)性運(yùn)算單元的處理能力而受到限制。另一方面，由于新的圖象數(shù)據(jù)以每一幀的單位不斷地從圖象拾取單元501傳送過來，相關(guān)性運(yùn)算單元必須在一幀的時(shí)間內(nèi)完成相關(guān)性處理。但是，當(dāng)在同時(shí)需要處理的目標(biāo)數(shù)目較大時(shí)，在一幀的時(shí)間內(nèi)完成每個(gè)目標(biāo)的相關(guān)性運(yùn)算是不可能的。根據(jù)相關(guān)性運(yùn)算單元505的處理能力，只可能在同一時(shí)刻跟蹤一個(gè)目標(biāo)。結(jié)果，傳統(tǒng)的局部區(qū)域圖象跟蹤裝置不能以高速執(zhí)行跟蹤處理。
第三，由于參考圖象存儲(chǔ)器504預(yù)先存儲(chǔ)了與要跟蹤的預(yù)定目標(biāo)相關(guān)的固定參考圖象數(shù)據(jù)，產(chǎn)生的問題是在跟蹤處理過程中，參考圖象存儲(chǔ)器504的內(nèi)容不能在任意的時(shí)間進(jìn)行刷新。
因此，本發(fā)明的主要目的就是提供一種局部區(qū)域圖象跟蹤裝置，其中上面所述的問題都得以消除。
本發(fā)明的另一個(gè)目的就是提供一種局部區(qū)域圖象跟蹤裝置，它通過將要跟蹤處理的檢索圖象數(shù)據(jù)與任意局部區(qū)域相關(guān)的參考圖象數(shù)據(jù)比較來連續(xù)跟蹤由檢索圖象數(shù)據(jù)表達(dá)的檢索圖象內(nèi)的任意局部區(qū)域，包括，一個(gè)圖象數(shù)據(jù)總線，用于傳送來自圖象拾取裝置的輸入圖象數(shù)據(jù)，多個(gè)相關(guān)性跟蹤處理器，并聯(lián)到圖象數(shù)據(jù)總線，針對(duì)一個(gè)檢索圖象分別可以獨(dú)立地執(zhí)行跟蹤處理，對(duì)于一個(gè)或多個(gè)檢索圖象的處理由所述多個(gè)相關(guān)性處理器分布地處理。根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置，通過以并行的方式操作所述多個(gè)相關(guān)性跟蹤處理器，可以以高速進(jìn)行跟蹤處理。
本發(fā)明的另一個(gè)目的就是提供一種局部區(qū)域圖象跟蹤裝置，它通過將要跟蹤處理的檢索圖象數(shù)據(jù)與任意局部區(qū)域相關(guān)的參考圖象數(shù)據(jù)比較來連續(xù)跟蹤由檢索圖象數(shù)據(jù)表達(dá)的檢索圖象內(nèi)的任意局部區(qū)域，包括，至少三個(gè)圖象存儲(chǔ)器，選擇器裝置，用于選擇地轉(zhuǎn)換圖象存儲(chǔ)器到存儲(chǔ)輸入圖象數(shù)據(jù)的輸入圖象存儲(chǔ)器，一個(gè)檢索圖象存儲(chǔ)器，用于存儲(chǔ)檢索圖象數(shù)據(jù)，一個(gè)參考圖象存儲(chǔ)器，存儲(chǔ)參考圖象數(shù)據(jù)，相關(guān)性運(yùn)算裝置，通過執(zhí)行相關(guān)性運(yùn)算處理，運(yùn)算指示存儲(chǔ)在參考圖象存儲(chǔ)器中的參考圖象數(shù)據(jù)和存儲(chǔ)在檢索圖象存儲(chǔ)器中的檢索圖象數(shù)據(jù)之間的相關(guān)性的相關(guān)值，峰值位置檢測(cè)裝置，用于得到來自相關(guān)性運(yùn)算裝置的相關(guān)值的峰值位置，圖象存儲(chǔ)器管理裝置，用于根據(jù)從峰值位置檢測(cè)裝置得到的峰值位置控制選擇器裝置并相繼地在圖象存儲(chǔ)器中存儲(chǔ)參考圖象的歷史，以便根據(jù)存儲(chǔ)在檢索圖象存儲(chǔ)器內(nèi)的相關(guān)值的峰值位置的歷史，刷新參考圖象數(shù)據(jù)。根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置，可以改善跟蹤處理的可靠性。
本發(fā)明的第四個(gè)目的是提供一種局部區(qū)域圖象跟蹤裝置，它通過將要跟蹤處理的檢索圖象數(shù)據(jù)與任意局部區(qū)域相關(guān)的參考圖象數(shù)據(jù)比較來連續(xù)跟蹤由檢索圖象數(shù)據(jù)表達(dá)的檢索圖象內(nèi)的任意局部區(qū)域，包括，存儲(chǔ)器裝置，用于存儲(chǔ)至少檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)，參考圖象數(shù)據(jù)產(chǎn)生裝置，用于自動(dòng)從輸入圖象數(shù)據(jù)中自動(dòng)產(chǎn)生參考圖象數(shù)據(jù)，地址產(chǎn)生裝置，用于產(chǎn)生用于從存儲(chǔ)器裝置中讀取檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)的地址，相關(guān)性運(yùn)算裝置，用于通過執(zhí)行相關(guān)性運(yùn)算處理，運(yùn)算指示存儲(chǔ)在參考圖象存儲(chǔ)器中的參考圖象數(shù)據(jù)和存儲(chǔ)在檢索圖象存儲(chǔ)器中的檢索圖象數(shù)據(jù)之間的相關(guān)性的相關(guān)值，控制裝置，用于輸出運(yùn)動(dòng)指令，通過運(yùn)動(dòng)裝置移動(dòng)圖象拾取裝置，用于根據(jù)從峰值位置檢測(cè)裝置得到的峰值位置跟蹤任意的局部區(qū)域。根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置，可以自動(dòng)檢測(cè)由拾取裝置拾取的輸入圖象內(nèi)的運(yùn)動(dòng)目標(biāo)。
本發(fā)明的另一個(gè)目的是提供一種局部區(qū)域圖象跟蹤裝置，它通過將要跟蹤處理的檢索圖象數(shù)據(jù)與任意局部區(qū)域相關(guān)的參考圖象數(shù)據(jù)比較來連續(xù)跟蹤由檢索圖象數(shù)據(jù)表達(dá)的檢索圖象內(nèi)的任意局部區(qū)域，包括，存儲(chǔ)器裝置，用于存儲(chǔ)至少檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)，參考圖象數(shù)據(jù)產(chǎn)生裝置，用于自動(dòng)從輸入圖象數(shù)據(jù)中自動(dòng)產(chǎn)生與多個(gè)局部區(qū)域相關(guān)的參考圖象數(shù)據(jù)，標(biāo)號(hào)裝置，用于對(duì)多個(gè)局部區(qū)域標(biāo)號(hào)，以便識(shí)別該多個(gè)局部區(qū)域，地址產(chǎn)生裝置，用于產(chǎn)生用于從存儲(chǔ)器裝置中讀取檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)的地址，相關(guān)性運(yùn)算裝置，用于對(duì)多個(gè)標(biāo)號(hào)的局部區(qū)域的每個(gè)執(zhí)行相關(guān)性運(yùn)算處理，運(yùn)算指示存儲(chǔ)在參考圖象存儲(chǔ)器中的參考圖象數(shù)據(jù)和存儲(chǔ)在檢索圖象存儲(chǔ)器中的檢索圖象數(shù)據(jù)之間的相關(guān)性的相關(guān)值，控制裝置，用于根據(jù)從峰值位置檢測(cè)裝置得到的峰值位置跟蹤多個(gè)標(biāo)號(hào)的局部區(qū)域。根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置，即使只用一個(gè)固定的圖象拾取裝置，也可以滿意地跟蹤和拾取多個(gè)運(yùn)動(dòng)目標(biāo)。
本發(fā)明的其它目的和進(jìn)一步的特征通過下面結(jié)合附圖的詳細(xì)的描述，將會(huì)更為明晰。
圖1為系統(tǒng)框圖，顯示了傳統(tǒng)局部區(qū)域圖象跟蹤裝置的一部分；圖2為系統(tǒng)框圖，顯示了根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第一實(shí)施例的一般結(jié)構(gòu)；圖3為一個(gè)時(shí)序圖，顯示了象素時(shí)鐘和圖象數(shù)據(jù)之間的關(guān)系；圖4為一個(gè)系統(tǒng)框圖，顯示了第一實(shí)施例的相關(guān)性跟蹤處理器的結(jié)構(gòu)；圖5顯示了一個(gè)8象素×8象素參考圖象；圖6顯示了一個(gè)16象素×16象素檢索圖象；圖7顯示了在檢索區(qū)域內(nèi)具有與參考圖象相同尺寸的部分區(qū)域圖象；圖8顯示了參考圖象；
圖9顯示了檢索圖象；圖10顯示了對(duì)圖8中的參考圖象和圖9中的檢索圖象的相關(guān)性運(yùn)算結(jié)果；圖11為一個(gè)系統(tǒng)框圖，顯示了根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第2實(shí)施例的相關(guān)性跟蹤處理器的結(jié)構(gòu)；圖12為一個(gè)系統(tǒng)框圖，顯示了存儲(chǔ)器選擇器的實(shí)例；圖13為一個(gè)視圖，解釋了送到只讀存儲(chǔ)器的5位地址信號(hào)；圖14為一個(gè)視圖，顯示了送到只讀存儲(chǔ)器的5位地址信號(hào)值和從只讀存儲(chǔ)器中讀出的選擇數(shù)據(jù)值之間的關(guān)系；圖15為一個(gè)系統(tǒng)框圖，顯示了一個(gè)檢索圖象地址產(chǎn)生器的實(shí)例；圖16為一個(gè)系統(tǒng)框圖，顯示了一個(gè)參考圖象地址產(chǎn)生器的實(shí)例；圖17為一視圖，解釋了第二實(shí)施例中圖象存儲(chǔ)器的轉(zhuǎn)換；圖18為一個(gè)系統(tǒng)框圖，顯示了本發(fā)明的第三實(shí)施例的相關(guān)性跟蹤處理器的結(jié)構(gòu)；圖19為一個(gè)系統(tǒng)框圖，顯示了圖18中的存儲(chǔ)器選擇器的實(shí)例；圖20為一視圖，解釋了送到圖19所示的只讀存儲(chǔ)器的一個(gè)(3n＋1)—位地址信號(hào)；圖21為一視圖，顯示了送到圖19所示的只讀存儲(chǔ)器的一個(gè)(3n＋1)—位地址信號(hào)的值和從只讀存儲(chǔ)器讀出的選擇數(shù)據(jù)的值之間的關(guān)系；圖22為一視圖，解釋了第三實(shí)施例中圖象存儲(chǔ)器的轉(zhuǎn)換；
圖23為一個(gè)系統(tǒng)框圖，顯示了本發(fā)明的局部區(qū)域圖象跟蹤裝置的第四實(shí)施例的相關(guān)性處理器的結(jié)構(gòu)；圖24為一個(gè)系統(tǒng)框圖，顯示了本發(fā)明的局部區(qū)域圖象跟蹤裝置的第五實(shí)施例的一般結(jié)構(gòu)；圖25為一個(gè)系統(tǒng)框圖，顯示了第五實(shí)施例的相關(guān)性跟蹤處理器的結(jié)構(gòu)；圖26為一個(gè)系統(tǒng)框圖，顯示了一個(gè)存儲(chǔ)器選擇器的實(shí)例，及一個(gè)控制計(jì)算機(jī)接口的一部分；圖27為一個(gè)時(shí)序圖，顯示了幀同步信號(hào)和刷新指令標(biāo)志的關(guān)系；圖28為一個(gè)系統(tǒng)框圖，顯示了本發(fā)明的局部區(qū)域圖象跟蹤裝置第六實(shí)施例的相關(guān)性跟蹤處理器的結(jié)構(gòu)；圖29為一個(gè)系統(tǒng)框圖，顯示了參考圖象地址產(chǎn)生器，檢索圖象地址產(chǎn)生器和控制計(jì)算機(jī)接口的一部分；圖30為一個(gè)系統(tǒng)框圖，顯示了本發(fā)明的局部區(qū)域圖象跟蹤裝置的第七實(shí)施例的相關(guān)性跟蹤處理器的結(jié)構(gòu)；圖31為一個(gè)系統(tǒng)框圖，顯示了圖30中所示的控制計(jì)算機(jī)接口的第一實(shí)施例的一部分；圖32為一個(gè)視圖，用于解釋256個(gè)相關(guān)值向圖30所示的雙端存儲(chǔ)器內(nèi)存；圖33為一個(gè)系統(tǒng)框圖，顯示了圖10所示的控制計(jì)算機(jī)接口的第二實(shí)施例的一部分；圖34為一視圖，解釋了256個(gè)相關(guān)值向一個(gè)清零的雙端存儲(chǔ)器的存儲(chǔ)；
圖35為一視圖，解釋了在圖34所示的狀態(tài)之后，256個(gè)相關(guān)值向一個(gè)清零的雙端存儲(chǔ)器的存儲(chǔ)；圖36為一系統(tǒng)框圖，顯示了圖30所示的控制計(jì)算機(jī)接口的第三實(shí)施例的一部分；圖37為一個(gè)系統(tǒng)框圖，顯示了根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第八實(shí)施例的一部分連同一個(gè)控制計(jì)算機(jī)結(jié)構(gòu)；圖38為一個(gè)系統(tǒng)框圖，顯示了根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第九實(shí)施例的一部分連同一個(gè)控制計(jì)算機(jī)結(jié)構(gòu)；圖39為一個(gè)視圖，解釋了根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十實(shí)施例的工作過程；圖40A，40B和40C分別顯示了第十實(shí)施例的操作過程；圖41A，41B和41C分別顯示了第十實(shí)施例的操作過程；圖42A，42B和42C分別顯示了第十實(shí)施例的操作過程；圖43為一個(gè)系統(tǒng)框圖，顯示了根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十一實(shí)施例的一部分；圖44為一個(gè)系統(tǒng)框圖，顯示了一個(gè)可行的局部區(qū)域圖象跟蹤裝置；圖45為一個(gè)系統(tǒng)框圖，顯示了根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十二實(shí)施例的一部分；圖46為一個(gè)流程圖，解釋了當(dāng)中央處理單元構(gòu)成圖象存儲(chǔ)器管理器時(shí)中央處理單元的操作；圖47為一個(gè)視圖，解釋了圖象存儲(chǔ)器數(shù)字的排列；圖48為一個(gè)視圖，解釋了圖象存儲(chǔ)器數(shù)字的排列的初始狀態(tài)；圖49為一視圖，解釋了一個(gè)存儲(chǔ)器表；
圖50為一個(gè)系統(tǒng)框圖，顯示了根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十三實(shí)施例的結(jié)構(gòu)；圖51為一個(gè)流程圖，解釋了當(dāng)中央處理單元構(gòu)成圖象存儲(chǔ)器管理器時(shí)中央處理單元的操作；圖52為一個(gè)系統(tǒng)框圖，顯示了根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十四實(shí)施例的結(jié)構(gòu)；圖53為一個(gè)流程圖，解釋了當(dāng)中央處理單元構(gòu)成圖象存儲(chǔ)器管理器時(shí)中央處理單元的操作；圖54為一個(gè)系統(tǒng)框圖，顯示了根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十五實(shí)施例的結(jié)構(gòu)；圖55A，55B，55C和55D分別為解釋第五實(shí)施例操作的視圖；圖56為一個(gè)流程圖，用于解釋第五實(shí)施例的操作圖57為一個(gè)視圖，解釋了攝像機(jī)座的控制；圖58為一個(gè)系統(tǒng)框圖，顯示了根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十六實(shí)施例的結(jié)構(gòu)；圖59為解釋實(shí)施例16的操作的流程圖；圖60為解釋實(shí)施例16的操作的流程圖；圖61為解釋根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的實(shí)施例17的操作的流程圖；圖62為一個(gè)系統(tǒng)框圖，顯示了根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十八實(shí)施例的結(jié)構(gòu)；圖63為解釋實(shí)施例18的操作的流程圖；圖64為一個(gè)系統(tǒng)框圖，顯示了根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十九實(shí)施例的結(jié)構(gòu)；
圖65為解釋實(shí)施例19的操作的流程圖；圖66為解釋根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的實(shí)施例20的操作的流程圖；圖67A和67B分別為解釋當(dāng)跟蹤多個(gè)進(jìn)入的目標(biāo)標(biāo)號(hào)過程的視圖；圖68為解釋標(biāo)號(hào)過程的流程圖；圖69為解釋根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的實(shí)施例21的操作的流程圖；圖70為解釋根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的實(shí)施例22的操作的流程圖；圖71為解釋根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的實(shí)施例23的操作的流程圖；圖72為解釋根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的實(shí)施例24的操作的流程圖。
首先參照?qǐng)D2—圖10描述本發(fā)明的局部區(qū)域圖象跟蹤裝置的第一實(shí)施例。
圖2顯示了第一實(shí)施例的一般結(jié)構(gòu)。在圖2中，所述局部區(qū)域圖象跟蹤裝置包括一個(gè)圖象拾取裝置1，例如一個(gè)攝像機(jī)，一個(gè)包含A/D轉(zhuǎn)換器的圖象輸入單元2，多個(gè)相關(guān)性跟蹤處理器4—1到4—M，通過圖象數(shù)據(jù)總線3與圖象輸入單元2相連。換句話說，多個(gè)相關(guān)性跟蹤處理器4—1到4—M通過圖象數(shù)據(jù)總線3與圖象輸入單元并聯(lián)。相關(guān)性跟蹤處理器4—1到4—M分別具有相同的結(jié)構(gòu)。
由圖象拾取裝置1拾取的圖象數(shù)據(jù)在圖象輸入單元2中被轉(zhuǎn)換成數(shù)字圖象數(shù)據(jù)，并通過圖象數(shù)據(jù)總線3的幀同步信號(hào)線，象素時(shí)鐘信號(hào)線和圖象數(shù)據(jù)信號(hào)線被送到每個(gè)相關(guān)性跟蹤處理器4—1到4—M。在象素時(shí)鐘信號(hào)線上傳送的象素時(shí)鐘和在圖象數(shù)據(jù)信號(hào)線上傳送的圖象數(shù)據(jù)具有圖3所示的時(shí)序關(guān)系。相關(guān)性跟蹤處理器4—1至4—M的每個(gè)響應(yīng)于象素時(shí)鐘的上升沿鎖存每個(gè)象素時(shí)鐘并將象素?cái)?shù)據(jù)存儲(chǔ)在相應(yīng)的圖象存儲(chǔ)器中。
通過有選擇地操作并聯(lián)的相關(guān)性跟蹤處理器4—1至4—M的任一個(gè)，可以以高速進(jìn)行跟蹤處理。每個(gè)相關(guān)性跟蹤處理器4—1至4—M有選擇地轉(zhuǎn)換和使用圖象存儲(chǔ)器，使得向圖象存儲(chǔ)器的寫入過程和讀出過程，以及執(zhí)行相關(guān)性運(yùn)算可以以并行方式進(jìn)行，從而，可以對(duì)圖象數(shù)據(jù)的每一幀執(zhí)行跟蹤處理。
圖4為一個(gè)系統(tǒng)框圖，顯示了該實(shí)施例的相關(guān)性跟蹤處理器4的結(jié)構(gòu)。其中，相關(guān)性跟蹤處理器4包括一個(gè)圖象輸入控制器5，連接于圖象數(shù)據(jù)總線3，一個(gè)檢索圖象存儲(chǔ)器6，一個(gè)參考圖象存儲(chǔ)器7，和一個(gè)相關(guān)運(yùn)算單元8。圖象輸入控制器5，檢索圖象存儲(chǔ)器6，參考圖象存儲(chǔ)器7，相關(guān)運(yùn)算單元8都提供于一個(gè)單一的結(jié)構(gòu)上。
與由圖象拾取裝置1拾取裝圖象相關(guān)的模擬圖象數(shù)據(jù)被在圖象輸入單元2中轉(zhuǎn)換成數(shù)字圖象數(shù)據(jù)，并通過相關(guān)性跟蹤處理器4的圖象輸入控制器5被相繼地存儲(chǔ)到檢索圖象存儲(chǔ)器6中。參考圖象存儲(chǔ)器7預(yù)先存儲(chǔ)與要跟蹤的目標(biāo)相關(guān)的參考圖象數(shù)據(jù)。相關(guān)性運(yùn)算單元8執(zhí)行相關(guān)性運(yùn)算，以便得出指示檢索圖象存儲(chǔ)器6內(nèi)的圖象數(shù)據(jù)和參考圖象存儲(chǔ)器7內(nèi)的參考圖象數(shù)據(jù)之間的相關(guān)性的相關(guān)值。于是由相關(guān)值峰值位置檢測(cè)器(未示出)檢測(cè)出該相關(guān)值的峰值位置，即在被拾取的圖象中具有最高相關(guān)性的位置。因此，在相關(guān)值峰值位置檢測(cè)器中總能夠檢測(cè)出相關(guān)值的峰值位置，根據(jù)該峰值位置，可以在拾取的圖象中以實(shí)時(shí)的方式跟蹤預(yù)定的目標(biāo)。
相關(guān)性運(yùn)算單元8針對(duì)檢索圖象存儲(chǔ)器6中的圖象數(shù)據(jù)和參考圖象存儲(chǔ)器7中的參考圖象數(shù)據(jù)執(zhí)行下述操作。為了方便起見，假定參考圖象如圖5所示由8×8象素構(gòu)成，該參考圖象的象素值用Xi，j表示。在該例中，如圖16所示，檢索圖象是由16×16象素構(gòu)成的，相關(guān)性運(yùn)算單元8利用與圖7所示的檢索圖象內(nèi)的參考圖象相同尺寸的局部區(qū)域圖象執(zhí)行下面公式的操作。在下面的公式中，Yi，j表示檢索圖象內(nèi)的象素值，Dm，n表示一個(gè)相關(guān)值通過數(shù)字值m＝0，...，7，n＝0，...，7指示兩個(gè)圖象的相近程度。Dm,n=Σi=07Σj=07|Xi,j-Yi+m,j+n|]]>在上述的公式中，兩個(gè)圖象越接近，Dm，n值越小。
圖8顯示了實(shí)際參考圖象的例子，圖9顯示了實(shí)際檢索圖象的例子。圖10顯示了對(duì)圖8顯示的實(shí)際參考圖象和圖9顯示的實(shí)際檢索圖象執(zhí)行相關(guān)性運(yùn)算的結(jié)果。在該例中，當(dāng)m＝5，n＝4時(shí)，Dm，n具有一個(gè)最小值，指示在該位置的局部區(qū)域圖象最接近參考圖象。
執(zhí)行相關(guān)性運(yùn)算可以發(fā)現(xiàn)最接近參考圖象的圖象位置。因此，通過對(duì)運(yùn)動(dòng)圖象的每一幀執(zhí)行這種相關(guān)性運(yùn)算，就可以跟蹤圖象內(nèi)的運(yùn)動(dòng)的目標(biāo)。
如果上述公式描述的的相關(guān)性運(yùn)算處理由相關(guān)性運(yùn)算單元8執(zhí)行到這樣一種程度，即在32×32象素的檢索圖象內(nèi)對(duì)256局部區(qū)域的16×16象素構(gòu)成的參考圖象進(jìn)行相關(guān)性運(yùn)算，以得到相關(guān)值的話，已經(jīng)研制了用于相關(guān)性運(yùn)算單元的大規(guī)模集成電路(LSI)，包括相關(guān)值峰值位置檢測(cè)器在內(nèi)，用于檢測(cè)相關(guān)值的峰值位置。在這種LSI中，用于上述相關(guān)性運(yùn)算的運(yùn)算時(shí)間僅為500微秒或更少。例如，可以采用S.G.S Thomson生產(chǎn)的STI3220 LSI作為相關(guān)性運(yùn)算單元8。因此，在此實(shí)施例中，將參考圖象的尺寸設(shè)置為16×16象素，即可以實(shí)現(xiàn)高速局部區(qū)域圖象跟蹤裝置，在一幀的時(shí)間內(nèi)，執(zhí)行50—70次相關(guān)性運(yùn)算。
此外，即使要跟蹤目標(biāo)數(shù)目很大，對(duì)于每個(gè)目標(biāo)的相關(guān)性運(yùn)算也可以分散到多個(gè)相關(guān)性跟蹤處理器4—1至4—M，并以并行的方式由他們執(zhí)行處理。因此，不管要跟蹤的目標(biāo)的個(gè)數(shù)如何，都可以以高速執(zhí)行跟蹤處理。
下面參照?qǐng)D11—圖17描述本發(fā)明的局部區(qū)域圖象跟蹤裝置的第二實(shí)施例。在該實(shí)施例中，也采用了圖2所示的第一實(shí)施例的基本結(jié)構(gòu)。
圖11為一個(gè)系統(tǒng)框圖，顯示了第二實(shí)施例的相關(guān)性跟蹤處理器4的結(jié)構(gòu)。在圖11中，相關(guān)性跟蹤處理器4包括選擇器11，17和18，圖象存儲(chǔ)器12—1，12—2，12—3，地址選擇器15和16，存儲(chǔ)器選擇器19，參考圖象地址產(chǎn)生器20，檢索圖象地址產(chǎn)生器21，相關(guān)性運(yùn)算單元22，峰值位置檢測(cè)器23，其連接如圖所示。在該實(shí)施例中，3個(gè)圖象存儲(chǔ)器12—1到12—3被有選擇地用于在每一幀中實(shí)現(xiàn)跟蹤處理，檢索圖象以每一幀的輸入，和參考圖象的以任意幀的間隔的刷新。
選擇器從圖象數(shù)據(jù)總線3的圖象數(shù)據(jù)信號(hào)線接收8比特輸入圖象數(shù)據(jù)。選擇器11根據(jù)一個(gè)來自存儲(chǔ)器選擇器19的2比特輸入存儲(chǔ)器選擇信號(hào)提供8比特輸入圖象數(shù)據(jù)到3個(gè)圖象存儲(chǔ)器12—1至12—3這的選擇一個(gè)。
圖12為一個(gè)系統(tǒng)框圖，顯示了存儲(chǔ)器選擇器19的實(shí)例。在圖12中，存儲(chǔ)器選擇器19包括一個(gè)常數(shù)只讀存儲(chǔ)器ROM 31，一個(gè)比較器32，一個(gè)幀計(jì)數(shù)器33，一個(gè)鎖存電路34，一個(gè)反相器35，一個(gè)觸發(fā)器36，和一個(gè)ROM 37，其連接如圖所示。
常數(shù)只讀存儲(chǔ)器31預(yù)先存儲(chǔ)指示參考圖象轉(zhuǎn)換間隔的常數(shù)。另一方面，從圖象數(shù)據(jù)總線3的幀同步信號(hào)線得到的幀同步信號(hào)經(jīng)過反相器35被送到幀計(jì)數(shù)器33和觸發(fā)器36的時(shí)鐘輸入端。相應(yīng)地，幀計(jì)數(shù)器33對(duì)來自反相器35的反相的幀同步信號(hào)計(jì)數(shù)，并將計(jì)數(shù)值提供給比較器32。比較器32將從常數(shù)ROM31讀出的常數(shù)與從幀計(jì)數(shù)器33輸出的計(jì)數(shù)值進(jìn)行比較，當(dāng)比較的常數(shù)值和計(jì)數(shù)值相匹配時(shí)，輸出一個(gè)轉(zhuǎn)換脈沖。該轉(zhuǎn)換脈沖開始參考圖象存儲(chǔ)器的轉(zhuǎn)換。該轉(zhuǎn)換脈沖被提供到參考圖象地址產(chǎn)生器20，如圖11所示，同時(shí)也送到鎖存電路34和觸發(fā)器36的清零端。
觸發(fā)器36的A/Q輸出(反相Q輸出)被送到其數(shù)據(jù)輸入端D，觸發(fā)器36的Q輸出端被送到ROM 37，作為ROM 37的地址信號(hào)比特的1比特輸出。余下的ROM的地址信號(hào)的4比特由鎖存電路34提供。ROM 37預(yù)先存儲(chǔ)與圖象存儲(chǔ)器12—1至12—3的選擇相關(guān)的選擇數(shù)據(jù)。從ROM 37讀出的由5比特地址信號(hào)規(guī)定的選擇數(shù)據(jù)被輸出，作為2比特檢索圖象存儲(chǔ)器選擇信號(hào)和2比特參考圖象存儲(chǔ)器選擇信號(hào)。輸入圖象存儲(chǔ)器選擇信號(hào)決定圖象存儲(chǔ)器12—1至12—3中的哪一個(gè)被作為輸入圖象存儲(chǔ)器，用于存儲(chǔ)輸入圖象數(shù)據(jù)。同樣，檢索圖象存儲(chǔ)器選擇信號(hào)決定圖象存儲(chǔ)器12—1至12—3中的哪一個(gè)被作為檢索圖象存儲(chǔ)器，用于存儲(chǔ)檢索圖象數(shù)據(jù)。參考圖象存儲(chǔ)器選擇信號(hào)決定圖象存儲(chǔ)器12—1至12—3中的哪一個(gè)被作為參考圖象存儲(chǔ)器，用于存儲(chǔ)參考圖象數(shù)據(jù)。
所述2比特輸入圖象存儲(chǔ)器選擇信號(hào)和2比特檢索圖象存儲(chǔ)器選擇信號(hào)被提供到ROM37作為經(jīng)過鎖存電路34的余下的4位地址信號(hào)。此外，2比特輸入圖象存儲(chǔ)器選擇信號(hào)被送到選擇器11，2比特檢索圖象存儲(chǔ)器選擇信號(hào)被送到地址選擇器15和選擇器18，2比特參考圖象存儲(chǔ)器選擇信號(hào)被送到地址選擇器16和選擇器17。
圖13為一視圖，顯示了提供到ROM 37的5比特位地址。如圖13所示，該地址信號(hào)由比特A0到A4構(gòu)成。比特A0對(duì)應(yīng)于來自觸發(fā)器36的信號(hào)。比特A1和A2對(duì)應(yīng)于經(jīng)過鎖存電路34得到的2比特檢索圖象存儲(chǔ)器選擇信號(hào)。比特A3和A4對(duì)應(yīng)于經(jīng)過鎖存電路34得到的2比特輸入圖象存儲(chǔ)器選擇信號(hào)。根據(jù)比特A0是‘0’或‘1’，圖象存儲(chǔ)器12—1至12—3被轉(zhuǎn)換，以便有選擇地交替輸入圖象數(shù)據(jù)到作為參考圖象存儲(chǔ)器的圖象存儲(chǔ)器之外的兩個(gè)圖象存儲(chǔ)器。
圖14顯示了提供到ROM 37的5比特地址信號(hào)值(ROM地址)，根據(jù)ROM地址從ROM 37讀出的選擇數(shù)據(jù)，即2比特輸入圖象存儲(chǔ)器選擇信號(hào)，2比特檢索圖象存儲(chǔ)器選擇信號(hào)和2比特參考圖象存儲(chǔ)器選擇信號(hào)的關(guān)系。例如，當(dāng)ROM地址值為“2”，輸入圖象存儲(chǔ)器選擇信號(hào)值為“2”，檢索圖象存儲(chǔ)器選擇信號(hào)值為“0”，參考圖象存儲(chǔ)器選擇信號(hào)值為“1”。在該例中，圖象存儲(chǔ)器12—1當(dāng)圖象存儲(chǔ)器選擇信號(hào)值為“1”時(shí)被選擇，當(dāng)圖象存儲(chǔ)器選擇信號(hào)值為“2”時(shí)，圖象存儲(chǔ)器12—3被選擇。相應(yīng)地，當(dāng)存儲(chǔ)器地址值為“2”時(shí)，圖象存儲(chǔ)器12—3被選擇為輸入圖象存儲(chǔ)器，圖象存儲(chǔ)器12—1被選為檢索圖象存儲(chǔ)器，圖象存儲(chǔ)器12—2被選為參考圖象存儲(chǔ)器。換句話說，圖22所示的選擇器11根據(jù)輸入圖象存儲(chǔ)器選擇信號(hào)值為“0”，“1”，或“2”有選擇地提供圖象數(shù)據(jù)到圖象存儲(chǔ)器12—1，12—2或12—3。。當(dāng)然，圖14并未示出所有的關(guān)系，為了方便起見只是示出了一部分關(guān)系。
圖11所示的地址選擇器15，根據(jù)來自存儲(chǔ)器選擇器19的檢索圖象存儲(chǔ)器選擇信號(hào)，提供從一個(gè)從檢索圖象地址產(chǎn)生器21產(chǎn)生的18比特的檢索圖象地址到圖象存儲(chǔ)器12—1至12—3其中之一的以被選為檢索圖象存儲(chǔ)器的那個(gè)存儲(chǔ)器。此外，地址選擇器16，根據(jù)來自存儲(chǔ)器選擇器19的參考圖象存儲(chǔ)器選擇信號(hào)，提供從一個(gè)從參考圖象地址產(chǎn)生器20產(chǎn)生的18比特的檢索圖象地址到圖象存儲(chǔ)器12—1至12—3其中之一的以被選為參考圖象存儲(chǔ)器的那個(gè)存儲(chǔ)器。
從圖象存儲(chǔ)器12—1至12—3讀出的圖象數(shù)據(jù)被送到選擇器17和18的每一個(gè)。如上所述，選擇器17接收來自存儲(chǔ)器選擇器19的檢索圖象存儲(chǔ)器選擇信號(hào)，選擇器18接收來自存儲(chǔ)器選擇器19的參考圖象存儲(chǔ)器選擇信號(hào)。于是，在從圖象存儲(chǔ)器12—1至12—3讀出的圖象數(shù)據(jù)中，選擇器17和18只選擇檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)并將這些數(shù)據(jù)送到相關(guān)性運(yùn)算單元22。通過執(zhí)行與實(shí)施例1相似的相關(guān)性運(yùn)算，相關(guān)性運(yùn)算單元22得出相關(guān)值。該值從相關(guān)性運(yùn)算單元22被送到峰值位置檢測(cè)器23。由于峰值位置檢測(cè)器23輸出一個(gè)指示峰值位置的18比特峰值地址，根據(jù)該峰值位置，可以以實(shí)時(shí)的方式，在拾取的圖象中跟蹤預(yù)定的目標(biāo)。從峰值位置檢測(cè)器23輸出的18比特峰值位置地址被送到參考圖象地址產(chǎn)生器20和檢索圖象地址產(chǎn)生器21。
圖15為一個(gè)系統(tǒng)框圖，顯示了檢索圖象地址產(chǎn)生器21的實(shí)例。在圖15中，檢索圖象地址產(chǎn)生器21包括常數(shù)ROM 41，43，47和49，加法器42，46，48和52，X地址計(jì)數(shù)器44，比較器45和51，Y地址計(jì)數(shù)器50，其連接如圖所示。
常數(shù)ROM 41預(yù)先存儲(chǔ)了一個(gè)9比特X地址最小值(偏移值)。加法器42加上一個(gè)9比特x地址最小值(從常數(shù)ROM 41讀出)和從峰值位置檢測(cè)器23輸出的18比特峰值位置地址以外的圖象數(shù)據(jù)的X地址相關(guān)的9比特，如圖11所示，將該加上9比特的值送到加法器46。X地址計(jì)數(shù)器44對(duì)從圖象數(shù)據(jù)總線3的象素時(shí)鐘信號(hào)線得到的象素時(shí)鐘信號(hào)進(jìn)行計(jì)數(shù)，將9比特計(jì)數(shù)值送到加法器46和比較器45。象素時(shí)鐘信號(hào)是根據(jù)形成圖象數(shù)據(jù)的每個(gè)象素(圖象元)而產(chǎn)生的。
另一方面，常數(shù)ROM 43預(yù)先存儲(chǔ)一個(gè)9比特X尺寸數(shù)據(jù)。X—尺寸數(shù)據(jù)指示X方向檢索圖象的尺寸(幅度)。比較器45比較從常數(shù)ROM 45讀出的X尺寸數(shù)據(jù)和從X地址計(jì)數(shù)器44輸出的計(jì)數(shù)值，如果二者相互匹配，則輸出一個(gè)匹配信號(hào)。該匹配信號(hào)被送到X地址計(jì)數(shù)器44的一個(gè)清零端對(duì)其清零，并且也送到Y(jié)地址計(jì)數(shù)器50。
Y地址計(jì)數(shù)器50對(duì)匹配信號(hào)計(jì)數(shù)并將一個(gè)9比特計(jì)數(shù)值送到加法器52和比較器51。常數(shù)ROM 47預(yù)先存儲(chǔ)一個(gè)9比特Y地址最小值(偏移值)。加法器48加上一個(gè)9比特Y地址最小值(從常數(shù)ROM 47讀出)和從峰值位置檢測(cè)器23輸出的18比特峰值位置地址以外的圖象數(shù)據(jù)的Y地址相關(guān)的9比特，如圖11所示，將該加上9比特的值送到加法器52。常數(shù)ROM 49預(yù)先存儲(chǔ)一個(gè)9比特Y尺寸數(shù)據(jù)。Y尺寸數(shù)據(jù)指示Y方向檢索圖象的尺寸(幅度)。比較器51比較從常數(shù)ROM 49讀出的Y尺寸數(shù)據(jù)和從Y地址計(jì)數(shù)器50輸出的計(jì)數(shù)值，如果二者相互匹配，則輸出一個(gè)匹配信號(hào)。該匹配信號(hào)被送到Y(jié)地址計(jì)數(shù)器50的一個(gè)清零端對(duì)其清零。
于是，從加法器46中得到檢索圖象地址的9比特的低地址，從加法器52中得到檢索圖象地址的9比特高地址。從加法器46和52中，得到具有18比特的檢索圖象地址，并送到圖11所示的地址選擇器15。
圖16為一個(gè)系統(tǒng)框圖，顯示了參考圖象地址產(chǎn)生器20的實(shí)例。在圖16中，參考圖象地址產(chǎn)生器20包括一個(gè)鎖存電路55，常數(shù)ROM 56，58，62和64，選擇器57和63，X地址計(jì)數(shù)器59，比較器60和66，Y地址計(jì)數(shù)器65，和加法器61和67，其連接如圖所示。
如圖11所示，鎖存電路55接收來自存儲(chǔ)器選擇器19的轉(zhuǎn)換脈中，該鎖存電路55的輸出被送到選擇器57和63。常數(shù)ROM 56預(yù)先存儲(chǔ)一個(gè)9比特X地址最小值，常數(shù)ROM62預(yù)先存儲(chǔ)一個(gè)9比特Y地址最小值。除了從圖11所示的峰值位置檢測(cè)器23輸出的18比特峰值位置，與圖象數(shù)據(jù)的X地址相關(guān)的9比特被送到選擇器57。此外，除了從峰值位置檢測(cè)器23輸出的18比特峰值位置，與圖象數(shù)據(jù)的Y地址相關(guān)的9比特被送到選擇器63。選擇器57根據(jù)鎖存電路55的輸出有選擇地提供從常數(shù)ROM 56讀出的X地址最小值和峰值位置內(nèi)的X地址之中的一個(gè)。選擇器63根據(jù)鎖存電路55的輸出有選擇地提供從常數(shù)ROM 62讀出的Y地址最小值和峰值位置內(nèi)的Y地址之中的一個(gè)。
X地址計(jì)數(shù)器59對(duì)從圖象數(shù)據(jù)總線3的象素時(shí)鐘信號(hào)線得到的象素時(shí)鐘信號(hào)計(jì)數(shù)，并將9比特的計(jì)數(shù)值送到加法器61和比較器60。常數(shù)ROM 58預(yù)先存儲(chǔ)一個(gè)9比特X尺寸數(shù)據(jù)。X—尺寸數(shù)據(jù)指示X方向參考圖象的尺寸(幅度)。比較器60比較從常數(shù)ROM 58讀出的X尺寸數(shù)據(jù)和從X地址計(jì)數(shù)器59輸出的計(jì)數(shù)值，如果二者相互匹配，則輸出一個(gè)匹配信號(hào)。該匹配信號(hào)被送到X地址計(jì)數(shù)器59的一個(gè)清零端對(duì)其清零，并且也送到Y(jié)地址計(jì)數(shù)器65。
Y地址計(jì)數(shù)器65對(duì)匹配信號(hào)計(jì)數(shù)并將一個(gè)9比特計(jì)數(shù)值送到加法器67和比較器66。常數(shù)ROM 64預(yù)先存儲(chǔ)一個(gè)9比特Y尺寸。Y尺寸數(shù)據(jù)指示Y方向參考圖象的尺寸(幅度)。比較器66比較從常數(shù)ROM 64讀出的Y尺寸數(shù)據(jù)和從Y地址計(jì)數(shù)器65輸出的計(jì)數(shù)值，如果二者相互匹配，則輸出一個(gè)匹配信號(hào)。該匹配信號(hào)被送到Y(jié)地址計(jì)數(shù)器65的一個(gè)清零端對(duì)其清零。
因此，從加法器61中得到參考圖象地址的9比特的低地址，從加法器67中得到參考圖象地址的9比特高地址。從加法器61和67中，得到具有18比特的參考圖象地址，并送到圖11所示的地址選擇器16。
于是，當(dāng)針對(duì)該實(shí)施例中的輸入圖象，確定參考圖象并執(zhí)行跟蹤處理時(shí)，除了被選擇作為參考圖象存儲(chǔ)器的一個(gè)圖象存儲(chǔ)器被選為檢索圖象存儲(chǔ)器，剩下的一個(gè)圖象存儲(chǔ)器被選為輸入圖象存儲(chǔ)器。相關(guān)性運(yùn)算單元22中的相關(guān)性運(yùn)算使用最新的輸入圖象作為檢索圖象，其輸入被完成。此外，通過使用在當(dāng)前幀用作檢索圖象存儲(chǔ)器的圖象存儲(chǔ)器在下一個(gè)后續(xù)幀中作為參考圖象存儲(chǔ)器，可以刷新參考圖象。在參考圖象被刷新后的一幀中，在前一幀中作為輸入圖象存儲(chǔ)器的圖象存儲(chǔ)器被作為檢索圖象存儲(chǔ)器，在前一幀中作為參考圖象存儲(chǔ)器的圖象存儲(chǔ)器被用作輸入圖象存儲(chǔ)器。結(jié)果，3個(gè)圖象存儲(chǔ)器12—1至12—3被轉(zhuǎn)換使用，使得跟蹤處理可以在每一幀進(jìn)行，可以在每一幀中進(jìn)行檢索圖象的輸入，參考圖象可以在任意幀間隔被刷新。
圖17顯示了解釋圖象存儲(chǔ)器12—1至12—3的轉(zhuǎn)換的視圖。在圖17中，方塊標(biāo)志表示圖象存儲(chǔ)器正存儲(chǔ)著參考圖象，圓形標(biāo)志指示圖象存儲(chǔ)器正存儲(chǔ)著檢索圖象數(shù)據(jù)，實(shí)線指示圖象存儲(chǔ)器正在存儲(chǔ)輸入圖象數(shù)據(jù)。此外，箭頭SW1和SW2分別指示參考圖象存儲(chǔ)器根據(jù)圖11所示的存儲(chǔ)器選擇器的選擇脈沖，參考圖象存儲(chǔ)器轉(zhuǎn)換的時(shí)間。更具體地說，SW1指示參考圖象存儲(chǔ)器從圖象存儲(chǔ)器12—1被轉(zhuǎn)換到圖象存儲(chǔ)器12—2的時(shí)間，SW2指示參考圖象存儲(chǔ)器從圖象存儲(chǔ)器12—2被轉(zhuǎn)換到圖象存儲(chǔ)器12—3的時(shí)間。
下面，參考圖18到22描述根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第三實(shí)施例。該實(shí)施例將也采用圖2所示的基本結(jié)構(gòu)。
圖18為一個(gè)系統(tǒng)框圖，顯示了第三實(shí)施例的相關(guān)性跟蹤處理器4的結(jié)構(gòu)。在圖18中，與圖11中相同的部件用相同的標(biāo)號(hào)表示并省略了其描述。
在該實(shí)施例中，如果N為大于或等于4的整數(shù)，在圖18中提供了N個(gè)圖象存儲(chǔ)器12—1至12—N。此外，存儲(chǔ)器選擇器19A輸出一個(gè)n比特輸入圖象存儲(chǔ)器選擇信號(hào)，一個(gè)n比特檢索圖象存儲(chǔ)器選擇信號(hào)，一個(gè)n比特參考圖象存儲(chǔ)器選擇信號(hào)。其它部分基本與圖11所示的相同。在該實(shí)施例中，2n-1＜N-1＜2n。
圖19為一個(gè)系統(tǒng)框圖，顯示了圖18所示的存儲(chǔ)器選擇器19A的實(shí)施例。在圖19中，與圖12中相同的部件用相同的標(biāo)號(hào)表示并省略了其描述。在圖19所示的存儲(chǔ)器選擇器19A中，ROM地址具有3n＋1比特，ROM37分別具有n比特的輸入圖象存儲(chǔ)器選擇信號(hào)，檢索圖象存儲(chǔ)器選擇信號(hào)，參考圖象存儲(chǔ)器選擇信號(hào)。此外，鎖存電路34接收從ROM37讀出的n比特的輸入圖象存儲(chǔ)器選擇信號(hào)。另外，其它部分基本與圖12所示的存儲(chǔ)器選擇器相同。
圖20解釋了送到圖19所示的ROM37的(3n＋1)比特的地址信號(hào)。如圖20所示，該地址信號(hào)由比特A0至A3n組成。比特A0對(duì)應(yīng)于來自觸發(fā)器36的信號(hào)。比特A1至An對(duì)應(yīng)于從鎖存電路34得到的n比特的輸入圖象存儲(chǔ)器選擇信號(hào)。比特An＋1至A2n對(duì)應(yīng)于從鎖存電路34得到的。此外，比特A2n＋1至A3n對(duì)應(yīng)于從鎖存電路34得到的n比特參考圖象存儲(chǔ)器選擇信號(hào)。圖象存儲(chǔ)器12—1至12—N的轉(zhuǎn)換是根據(jù)比特A0是“0”或“1”來執(zhí)行的，以便交替地輸入圖象數(shù)據(jù)到參考圖象存儲(chǔ)器之外的兩個(gè)圖象存儲(chǔ)器。
圖21顯示了送到圖19所示的ROM 37的(3n＋1)比特的地址信號(hào)(ROM地址)值，根據(jù)ROM地址，從ROM 37讀出的選擇數(shù)據(jù)，即n比特的輸入圖象存儲(chǔ)器選擇信號(hào)值，n比特的檢索圖象存儲(chǔ)器選擇信號(hào)值，n比特參考圖象存儲(chǔ)器選擇信號(hào)值。為方便起見，圖21顯示當(dāng)n＝3和N＝6的情況。例如，ROM地址值為“34”，n比特的輸入圖象存儲(chǔ)器選擇信號(hào)值為“3”，n比特的檢索圖象存儲(chǔ)器選擇信號(hào)值為“1”，n比特參考圖象存儲(chǔ)器選擇信號(hào)值為“2”。在該例中，當(dāng)圖象存儲(chǔ)器選擇信號(hào)值為“0”時(shí)，圖象存儲(chǔ)器12—1被選擇，當(dāng)圖象存儲(chǔ)器選擇信號(hào)值為“1”時(shí)，圖象存儲(chǔ)器12—2被選擇，當(dāng)圖象存儲(chǔ)器選擇信號(hào)值為“2”時(shí)，圖象存儲(chǔ)器12—3被選擇，當(dāng)圖象存儲(chǔ)器選擇信號(hào)值為“3”時(shí)，圖象存儲(chǔ)器12—4被選擇。相應(yīng)地，當(dāng)ROM地址值為“34”，圖象存儲(chǔ)器12—4被選為輸入圖象存儲(chǔ)器，圖象存儲(chǔ)器12—2被選為檢索圖象存儲(chǔ)器，圖象存儲(chǔ)器12—3被選為參考圖象存儲(chǔ)器。換句話說，根據(jù)輸入圖象存儲(chǔ)器選擇信號(hào)值是“0”，“1”，...或“N－1”，圖18所示的選擇器11有選擇地提供圖象數(shù)據(jù)到圖象存儲(chǔ)器12—1，12—2….，或12—N。當(dāng)然，圖21中并未示出所有的關(guān)系，而只是示出了這些關(guān)系的一部分。
如上所述，當(dāng)針對(duì)該實(shí)施例中的輸入圖象，確定參考圖象并執(zhí)行跟蹤處理時(shí)，除了被選擇作為參考圖象存儲(chǔ)器的一個(gè)圖象存儲(chǔ)器被選為檢索圖象存儲(chǔ)器，剩下的一個(gè)圖象存儲(chǔ)器被選為輸入圖象存儲(chǔ)器。相關(guān)性運(yùn)算單元22中的相關(guān)性運(yùn)算使用最新的輸入圖象作為檢索圖象，其輸入被完成。此外，通過使用在當(dāng)前幀用作檢索圖象存儲(chǔ)器的圖象存儲(chǔ)器在下一個(gè)后續(xù)幀中作為參考圖象存儲(chǔ)器，可以刷新參考圖象。在參考圖象被刷新后的一幀中，在前一幀中作為輸入圖象存儲(chǔ)器的圖象存儲(chǔ)器被作為檢索圖象存儲(chǔ)器，在前一幀中作為參考圖象存儲(chǔ)器的圖象存儲(chǔ)器被用作輸入圖象存儲(chǔ)器。結(jié)果，N個(gè)圖象存儲(chǔ)器12—1至12—N被轉(zhuǎn)換使用，使得跟蹤處理可以在每一幀進(jìn)行，可以在每一幀中進(jìn)行檢索圖象的輸入，參考圖象可以在任意幀間隔被刷新。
此外，當(dāng)刷新參考圖象時(shí)，在前一幀作為參考圖象存儲(chǔ)器的圖象存儲(chǔ)器可以被未被選用的并沒有存儲(chǔ)參考圖象數(shù)據(jù)的圖象存儲(chǔ)器所取代。如果過去的參考圖象數(shù)據(jù)被存儲(chǔ)在所有的未被選用的圖象存儲(chǔ)器中，也可以將在前一幀用作參考圖象存儲(chǔ)器的圖象存儲(chǔ)器用存儲(chǔ)最早的參考圖象數(shù)據(jù)的圖象存儲(chǔ)器替代。此外，存儲(chǔ)器選擇器19A也具有用在該時(shí)間點(diǎn)作為參考圖象存儲(chǔ)器的圖象存儲(chǔ)器替代以任意幀存儲(chǔ)參考圖象數(shù)據(jù)的圖象存儲(chǔ)器的功能。因此，可以存儲(chǔ)多個(gè)候選的參考圖象，通過有選擇地使用除了過去刷新的參考圖象以外的具有最高相關(guān)性的參考圖象，高度可靠地執(zhí)行跟蹤處理。
圖22顯示了解釋圖象存儲(chǔ)器12—1至12—N的轉(zhuǎn)換的視圖。在圖22中，方塊標(biāo)志表示圖象存儲(chǔ)器正存儲(chǔ)著參考圖象，圓形標(biāo)志指示圖象存儲(chǔ)器正存儲(chǔ)著檢索圖象數(shù)據(jù)，實(shí)線指示圖象存儲(chǔ)器正在存儲(chǔ)輸入圖象數(shù)據(jù)。此外，箭頭SW1和SW2分別指示參考圖象存儲(chǔ)器根據(jù)圖18所示的存儲(chǔ)器選擇器19A的選擇脈沖，參考圖象存儲(chǔ)器轉(zhuǎn)換的時(shí)間。更具體地說，SW1指示參考圖象存儲(chǔ)器從圖象存儲(chǔ)器12—i被轉(zhuǎn)換到圖象存儲(chǔ)器12—j的時(shí)間，SW2指示參考圖象存儲(chǔ)器從圖象存儲(chǔ)器12—j被轉(zhuǎn)換到圖象存儲(chǔ)器12—k的時(shí)間，其中，i，j和k為l到N的互不相同的整數(shù)。
下面，參考圖23描述根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第四實(shí)施例。該實(shí)施例將也采用圖2所示的基本結(jié)構(gòu)。
圖23為一個(gè)系統(tǒng)框圖，顯示了第四實(shí)施例的相關(guān)性跟蹤處理器4的結(jié)構(gòu)。在圖23中，與圖18中相同的部件用相同的標(biāo)號(hào)表示并省略了其描述。
在該實(shí)施例中，在選擇器17和相關(guān)性運(yùn)算單元22之間提供了一個(gè)先入先出(FIFO)68，在選擇器18和相關(guān)性運(yùn)算單元22之間提供了一個(gè)先入先出(FIFO)69，如圖23所示。來自選擇器18和19的檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)被送到對(duì)應(yīng)的FIFO 68和69并相繼存儲(chǔ)在FIFO 68和69中。當(dāng)可讀的檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)存在于FIFO 68和69中時(shí)，關(guān)性運(yùn)算單元22開始，并且通過從FIFO 68和69中讀出檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)執(zhí)行相關(guān)性運(yùn)算。
根據(jù)該實(shí)施例，利用選擇器17和18取出檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)，即，從圖象存儲(chǔ)器12—1至12—N，相關(guān)性運(yùn)算單元22針對(duì)檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)的相關(guān)性運(yùn)算以并行的方式進(jìn)行。因此，可以進(jìn)一步改進(jìn)跟蹤處理的速度。
下面參見圖24至27描述根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤處理裝置的第五實(shí)施例。
圖24為一系統(tǒng)框圖，顯示了第五實(shí)施例的結(jié)構(gòu)。在圖24中，局部區(qū)域圖象跟蹤處理裝置包括一個(gè)圖象拾取裝置1，例如，一臺(tái)攝像機(jī)，一個(gè)包括A/D轉(zhuǎn)換器的圖象輸入單元2，多個(gè)相關(guān)性跟蹤處理器4—1至4—M，通過圖象總線3連接到圖象輸入單元2，一個(gè)控制計(jì)算機(jī)70，和一個(gè)控制計(jì)算機(jī)總線71。換句話說，多個(gè)相關(guān)性跟蹤處理器4—1至4—M通過圖象數(shù)據(jù)總線3與圖象輸入單元2并聯(lián)，并且相關(guān)性跟蹤處理器4—1至4—M通過控制計(jì)算機(jī)總線71與控制計(jì)算機(jī)并聯(lián)。相關(guān)性跟蹤處理器4—1至4—M分別具有相同的結(jié)構(gòu)。
由圖象拾取裝置1拾取的圖象數(shù)據(jù)在圖象輸入單元2中被轉(zhuǎn)換成數(shù)字圖象數(shù)據(jù)，并通過圖象數(shù)據(jù)總線3的幀同步信號(hào)線，象素時(shí)鐘信號(hào)線和圖象數(shù)據(jù)信號(hào)線被送到每個(gè)相關(guān)性跟蹤處理器4—1到4—M。在象素時(shí)鐘信號(hào)線上傳送的象素時(shí)鐘和在圖象數(shù)據(jù)信號(hào)線上傳送的圖象數(shù)據(jù)具有圖3所示的時(shí)序關(guān)系。相關(guān)性跟蹤處理器4—1至4—M的每個(gè)響應(yīng)于象素時(shí)鐘的上升沿鎖存每個(gè)象素時(shí)鐘并將象素?cái)?shù)據(jù)存儲(chǔ)在相應(yīng)的圖象存儲(chǔ)器中。
通過有選擇地操作并聯(lián)的相關(guān)性跟蹤處理器4—1至4—M的任一個(gè)，可以以高速進(jìn)行跟蹤處理。每個(gè)相關(guān)性跟蹤處理器4—1至4—M有選擇地轉(zhuǎn)換和使用圖象存儲(chǔ)器，使得向圖象存儲(chǔ)器的寫入過程和讀出過程，以及執(zhí)行相關(guān)性運(yùn)算可以以并行方式進(jìn)行，從而，可以對(duì)圖象數(shù)據(jù)的每一幀執(zhí)行跟蹤處理。
控制計(jì)算機(jī)70通過控制計(jì)算機(jī)總線71對(duì)相關(guān)性處理器4—1至4—M進(jìn)行各種控制。包括刷新參考圖象的控制，選擇和轉(zhuǎn)換圖象存儲(chǔ)器的控制。相關(guān)性處理器4—1至4—M分別具有提供有各種控制寄存器的控制計(jì)算機(jī)接口，根據(jù)其本身控制計(jì)算機(jī)接口內(nèi)的控制寄存器中設(shè)置的值，相關(guān)性處理器4—1至4—M可被控制?？刂朴?jì)算機(jī)接口內(nèi)的控制寄存器被映射為控制計(jì)算機(jī)總線上的不同的地址空間，當(dāng)控制計(jì)算機(jī)70訪問預(yù)定的地址空間時(shí)，進(jìn)行對(duì)控制計(jì)算機(jī)接口內(nèi)的控制寄存器的讀出和寫入。換句話說，控制寄存器中的值可以從控制計(jì)算機(jī)70任意設(shè)置。此外，控制計(jì)算機(jī)70控制計(jì)算機(jī)70管理通過控制計(jì)算機(jī)總線71從每個(gè)相關(guān)性跟蹤處理器4—1至4—M得到的相關(guān)值的峰值位置，因此，可以很容易地跟蹤一個(gè)或多個(gè)運(yùn)動(dòng)的目標(biāo)。
例如，符合VME標(biāo)準(zhǔn)的總線可以用作控制計(jì)算機(jī)總線71。該例中，采用了具有VME標(biāo)準(zhǔn)的計(jì)算機(jī)作為控制計(jì)算機(jī)70。
圖25為一個(gè)系統(tǒng)框圖，顯示了該實(shí)施例的相關(guān)性跟蹤處理器4的結(jié)構(gòu)。在圖25中，與圖18中相同的部件用相同的標(biāo)號(hào)表示并省略了其描述。
在該例中，提供了如圖25所示的控制計(jì)算機(jī)接口71。該控制計(jì)算機(jī)接口74通過控制計(jì)算機(jī)總線71連接到控制計(jì)算機(jī)70。此外，控制計(jì)算機(jī)接口74也接到存儲(chǔ)器選擇器19B。
圖26為一個(gè)系統(tǒng)框圖，顯示了相關(guān)性存儲(chǔ)器選擇器19B連同控制計(jì)算機(jī)接口74的一部分的實(shí)例。在圖26中，與圖19中相同的部件用相同的標(biāo)號(hào)表示并省略了其描述。
在圖26中，存儲(chǔ)器選擇器19B包括一個(gè)鎖存電路76，替代比較器32和幀計(jì)數(shù)器33，如圖19所示。該鎖存電路76接收一個(gè)存儲(chǔ)在控制計(jì)算機(jī)接口內(nèi)的控制寄存器77中的刷新指令標(biāo)志RN，刷新指令標(biāo)志RN可以通過控制計(jì)算機(jī)總線71從控制計(jì)算機(jī)70設(shè)置，當(dāng)設(shè)置時(shí)，該刷新指令標(biāo)志RN向存儲(chǔ)器選擇器19B指令刷新參考圖象。鎖存電路76也接收從反相器35得到的反相的幀同步信號(hào)。如圖27所示，當(dāng)幀同步信號(hào)處于刷新指令RN被設(shè)置的狀態(tài)，鎖存電路76響應(yīng)于幀同步信號(hào)的下降沿，輸出一個(gè)轉(zhuǎn)換脈沖?？刂朴?jì)算機(jī)接口74內(nèi)的控制寄存器77存儲(chǔ)了除了刷新指令標(biāo)志RN以外的各種標(biāo)志，控制計(jì)算機(jī)接口74具有除了控制寄存器77以外的各種控制寄存器，但是，這種標(biāo)志和控制寄存器并不直接涉及本發(fā)明的主題，因此，本說明書中略去了其描述。
下面，參照?qǐng)D28和29描述本發(fā)明的局部區(qū)域圖象跟蹤裝置的第六實(shí)施例，該實(shí)施例采用了圖24所示的第五實(shí)施例相似的結(jié)構(gòu)。
圖28為一個(gè)系統(tǒng)框圖，顯示了該實(shí)施例的相關(guān)性跟蹤處理器4的結(jié)構(gòu)。在圖28中，與圖23中相同的部件用相同的標(biāo)號(hào)表示并省略了其描述。
在該實(shí)施例中，參考圖象地址產(chǎn)生器20B分別通過控制計(jì)算機(jī)接口74B和控制計(jì)算機(jī)總線71連接到控制計(jì)算機(jī)70。因此，參考圖象地址產(chǎn)生器20B和檢索圖象地址產(chǎn)生器21B根據(jù)來自控制計(jì)算機(jī)的指令，可以分別產(chǎn)生參考圖象地址和檢索圖象地址。
圖29為一個(gè)系統(tǒng)框圖，顯示了參考圖象地址產(chǎn)生器20B，檢索圖象地址產(chǎn)生器21B，控制計(jì)算機(jī)接口74B的一部分。在圖29中，與圖15中相同的部件用相同的標(biāo)號(hào)表示并省略了其描述。
如圖29所示，參考圖象地址產(chǎn)生器20B沒有存儲(chǔ)X地址最小值的常數(shù)ROM56和存儲(chǔ)Y地址最小值的常數(shù)ROM62。而是在控制計(jì)算機(jī)接口74B內(nèi)提供了對(duì)應(yīng)于常數(shù)ROM 56的X地址最小值寄存器56B和對(duì)應(yīng)于常數(shù)ROM 62的Y地址最小值寄存器62B。類似地，檢索圖象地址產(chǎn)生器21B沒有存儲(chǔ)X地址最小值的常數(shù)ROM 41和存儲(chǔ)Y地址最小值的常數(shù)ROM47。而是在控制計(jì)算機(jī)接口74B內(nèi)提供了對(duì)應(yīng)于常數(shù)ROM 41的X地址最小值寄存器41B和對(duì)應(yīng)于常數(shù)ROM 47的Y地址最小值寄存器47B。
因此，根據(jù)該實(shí)施例，通過從控制計(jì)算機(jī)70設(shè)置每個(gè)寄存器56B，62B，41B和47B，可以任意確定參考圖象的X和Y地址最小值和檢索圖象的X和Y地址最小值。此外，盡管略去了其圖示，通過在控制計(jì)算機(jī)接口74B內(nèi)提供對(duì)應(yīng)的寄存器，可以省略參考圖象地址產(chǎn)生器20B內(nèi)的常數(shù)ROM 58，64，使得可以以類似的方式，從控制計(jì)算機(jī)70任意設(shè)置參考圖象的X和Y尺寸。另外，通過在控制計(jì)算機(jī)接口74B內(nèi)提供對(duì)應(yīng)的寄存器，可以省略參考圖象地址產(chǎn)生器21B內(nèi)的常數(shù)ROM 43和49，使得可以以類似的方式，從控制計(jì)算機(jī)70任意設(shè)置參考圖象的X和Y尺寸。
下面，參照?qǐng)D30至36描述本發(fā)明的局部區(qū)域圖象跟蹤裝置的第七實(shí)施例，該實(shí)施例采用了圖24所示的第五實(shí)施例相似的結(jié)構(gòu)。
圖30為一個(gè)系統(tǒng)框圖，顯示了該實(shí)施例的相關(guān)性跟蹤處理器4的結(jié)構(gòu)。在圖30中，與圖28中相同的部件用相同的標(biāo)號(hào)表示并省略了其描述。
在該實(shí)施例中，控制計(jì)算機(jī)接口74C接于相關(guān)性運(yùn)算單元22，峰值位置檢測(cè)器23，存儲(chǔ)器選擇器19B，參考圖象地址產(chǎn)生器20B和檢索圖象地址產(chǎn)生器21B。
圖31為一個(gè)系統(tǒng)框圖，顯示了在圖30中所示的控制計(jì)算機(jī)接口74C的實(shí)施例的一部分?？刂朴?jì)算機(jī)接口74C包括FIFO 81和84，地址產(chǎn)生計(jì)數(shù)器82，雙端存儲(chǔ)器83，寄存器85。FIFO 81相繼地存儲(chǔ)從相關(guān)性運(yùn)算單元22輸出的相關(guān)值，從FIFO 81輸出的每個(gè)相關(guān)值都以地址產(chǎn)生計(jì)數(shù)器82產(chǎn)生的地址存儲(chǔ)在雙端存儲(chǔ)器83中。如果假定相關(guān)性運(yùn)算單元22參考圖象及檢索圖象內(nèi)的256個(gè)局部區(qū)域圖象的相關(guān)值，地址產(chǎn)生計(jì)數(shù)器82反復(fù)地產(chǎn)生地址“0”至“256”?？刂朴?jì)算機(jī)70可以通過控制計(jì)算機(jī)總線71參考存儲(chǔ)在雙端存儲(chǔ)器83中的相關(guān)值。另一方面，F(xiàn)IFO 84相繼地存儲(chǔ)來自峰值位置檢測(cè)器23的峰值位置，例如，存儲(chǔ)在寄存器85中的相對(duì)于256相關(guān)值的1峰值位置。控制計(jì)算機(jī)70可以通過控制計(jì)算機(jī)總線71參考存儲(chǔ)在寄存器85中的峰值位置。
圖32示出了256個(gè)相關(guān)值向雙端存儲(chǔ)器83的存儲(chǔ)。在圖32中，左部分顯示了檢索圖象，右部分顯示了存儲(chǔ)在雙端存儲(chǔ)器83中的相關(guān)值Di，j。
圖33為一個(gè)系統(tǒng)框圖，顯示了圖30所示的控制計(jì)算機(jī)接口74C的第二實(shí)施例的一部分。在圖33中，與圖31中相同的部件用相同的標(biāo)號(hào)表示并省略了其描述。
在圖33中，控制計(jì)算機(jī)接口74C包括FIFO 81，地址產(chǎn)生計(jì)數(shù)器82，雙端存儲(chǔ)器83，加法器87，鎖存電路88。雙端存儲(chǔ)器83響應(yīng)于第一幀開始時(shí)幀同步信號(hào)的上升沿而被清零。因此，從雙端存儲(chǔ)器83讀出的相關(guān)值通過鎖存電路88被送到加法器87。因此，前一個(gè)相關(guān)值的相加值和目前的相關(guān)值從加法器87被送到雙端存儲(chǔ)器83并存儲(chǔ)在雙端存儲(chǔ)器87中。
圖34示出了256個(gè)相關(guān)值向雙端存儲(chǔ)器83的存儲(chǔ)。在圖34中，左部分顯示了檢索圖象，右部分顯示了存儲(chǔ)在雙端存儲(chǔ)器83中的相關(guān)值Di，j，已被加上“0”并被存儲(chǔ)在雙端存儲(chǔ)器83中。
圖35示出了在圖34的狀態(tài)之后256個(gè)相關(guān)值向雙端存儲(chǔ)器83的存儲(chǔ)。在圖35中，左部分顯示了檢索圖象，右部分顯示了存儲(chǔ)在雙端存儲(chǔ)器83中的相關(guān)值D’i，j，已被加上先前的相關(guān)值Di，j并被存儲(chǔ)在雙端存儲(chǔ)器83中。
因此，根據(jù)控制計(jì)算機(jī)接口74C的第二實(shí)施例，通過每個(gè)跟蹤處理得到的相關(guān)值分布被相繼地相加并存儲(chǔ)在雙端存儲(chǔ)器83中。
圖36為一系統(tǒng)框圖，示出了圖30所示的控制計(jì)算機(jī)接口74C的第三實(shí)施例的一部分，在圖36中，與圖333中相同的部件用相同的標(biāo)號(hào)表示并省略了其描述。
在圖36中，控制計(jì)算機(jī)接口74C包括FIFO 81，地址產(chǎn)生計(jì)數(shù)器82，雙端存儲(chǔ)器83，加法器87，鎖存電路88，選擇器89，常數(shù)ROM90，控制寄存器91。選擇器89接收來自加法器87的相加值和從常數(shù)ROM90讀出的值“0”。當(dāng)在控制寄存器91內(nèi)設(shè)置清除標(biāo)志CF時(shí)，值“0”從雙端存儲(chǔ)器83送出并存儲(chǔ)在雙端存儲(chǔ)器83中對(duì)其清零。另一方面，當(dāng)清除標(biāo)志CF未被設(shè)置時(shí)，選擇器89將來自加法器87的相加值送到雙端存儲(chǔ)器83并存儲(chǔ)在雙端存儲(chǔ)器83中。
因此，根據(jù)控制計(jì)算機(jī)接口74C的第三實(shí)施例，由雙端存儲(chǔ)器83中的多個(gè)跟蹤處理的每個(gè)得到的相關(guān)值分布的相加和存儲(chǔ)可以通過從控制計(jì)算機(jī)70在控制寄存器91中設(shè)置或寄存清零標(biāo)志CF來指令。
下面，參照?qǐng)D37描述本發(fā)明的局部區(qū)域圖象跟蹤裝置的第八實(shí)施例，該實(shí)施例采用了圖24所示的第五實(shí)施例相似的結(jié)構(gòu)。
圖37為一個(gè)系統(tǒng)框圖，顯示了相關(guān)性跟蹤處理器4連同控制計(jì)算機(jī)70的一部分的實(shí)例。在圖37中，與圖30中相同的部件用相同的標(biāo)號(hào)表示并省略了其描述。
在該實(shí)施例中，控制計(jì)算機(jī)70通過控制計(jì)算機(jī)總線71相繼向FIFO95和96寫入指示參考圖象和檢索圖象位置的數(shù)據(jù)塊。換句話說，控制計(jì)算機(jī)70首先向FIFO 95寫入送到參考圖象地址產(chǎn)生器20B的參考圖象的X地址最小值和Y地址最小值。此外，控制計(jì)算機(jī)70首先向FIFO 95寫入送到參考圖象地址產(chǎn)生器21B的檢索圖象的X地址最小值和Y地址最小值。因此，該實(shí)施例大體與圖28和29所示的第六實(shí)施例相同，區(qū)別在于該實(shí)施例利用FI-FO95和96代替寄存器。
根接該實(shí)施例，通過先向FIFO95和96寫入多個(gè)數(shù)據(jù)塊，可以在一次操作中執(zhí)行多個(gè)跟蹤處理而無需控制計(jì)算機(jī)70的介入。
下面，參照?qǐng)D38描述本發(fā)明的局部區(qū)域圖象跟蹤裝置的第九實(shí)施例，該實(shí)施例采用了圖24所示的第五實(shí)施例相似的結(jié)構(gòu)。
圖38為一個(gè)系統(tǒng)框圖，顯示了該實(shí)施例的相關(guān)性跟蹤處理4連同控制計(jì)算機(jī)70的結(jié)構(gòu)的一部分。
在該實(shí)施例中，來自相關(guān)性運(yùn)算單元22的相關(guān)值被相繼地寫入控制計(jì)算機(jī)接口74E內(nèi)的FIFO98，從峰值位置檢測(cè)器23輸出的峰值位置被相繼地寫入控制計(jì)算機(jī)接口74E內(nèi)的FIFO99。該實(shí)施例的操作和結(jié)構(gòu)基本與上述第七實(shí)施例相同，區(qū)別在于該實(shí)施例沒有使用雙端存儲(chǔ)器及寄存器。
根據(jù)該實(shí)施例，控制計(jì)算機(jī)70可以在任意時(shí)刻訪問控制計(jì)算機(jī)接口74E內(nèi)的FIFO99，讀出寫入的相關(guān)值和峰值位置。
當(dāng)然，圖37所示的結(jié)構(gòu)和圖38所示的結(jié)構(gòu)可以處于1個(gè)控制計(jì)算機(jī)接口中。
下面，參照?qǐng)D39至42描述本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十實(shí)施例，該實(shí)施例采用了圖24所示的第五實(shí)施例相似的結(jié)構(gòu)。此外，相關(guān)性跟蹤處理器4的一部分如圖30所示，控制計(jì)算機(jī)接口74C如圖36和37所示。
圖39為一個(gè)流程圖，解釋了該實(shí)施例的操作。為方便起見，假定跟蹤處理是針對(duì)16n×16m象素的參考圖象進(jìn)行的。在圖39中，控制計(jì)算機(jī)70在步驟S1對(duì)控制計(jì)算機(jī)接口74C內(nèi)的雙端存儲(chǔ)器83清零，在相應(yīng)的步驟S2和S3中，設(shè)置j和i為“0”。此外，控制計(jì)算機(jī)70在步驟S4在控制計(jì)算機(jī)接口74C中的FIFO 95中設(shè)置檢索圖象地址Rx和Ry，在步驟S5在控制計(jì)算機(jī)接口74c中的FIFO96中設(shè)置檢索圖象地址Sx和Sy。Rx為用Rxo＋16xi表示的參考圖象的X地址最小值，Ry為用Ryo＋16xj表示的參考圖象的Y地址最小值。此外，Sx為用Sxo＋16xi表示的參考圖象的X地址最小值，Sy為用Syo＋16xj表示的參考圖象的Y地址最小值。
相關(guān)性運(yùn)算單元22在步驟S6執(zhí)行相關(guān)性運(yùn)算。因此，控制計(jì)算機(jī)70在步驟S7增加i，并在步驟S8中確定是否i＝n。如果在步驟S8中的結(jié)果是否，處理返回至步驟S4。另一方面，如果在步驟S8中的確定結(jié)果為是，控制計(jì)算機(jī)70在步驟S9中增加j，并在步驟S10確定是否j＝m。如果結(jié)果為否，處理返回至步驟S3。另一方面，如果確定結(jié)果為是，峰值位置檢測(cè)器23在步驟S11檢測(cè)相關(guān)值位置。當(dāng)運(yùn)動(dòng)矢量用vx和vy代表時(shí)，控制計(jì)算機(jī)70在步驟S20將vx加到Sxo，vy到Syo，流程返回至步驟S1。
圖40A顯示了一個(gè)相鄰的參考圖象，圖40B顯示了對(duì)應(yīng)于圖40A中所示的參考圖象的檢索圖象，圖40C顯示了從圖40A和40B所示的參考和檢索圖象得到的相關(guān)值分布。
圖41A顯示了另一個(gè)相鄰的參考圖象，圖41B顯示了對(duì)應(yīng)于圖41A中所示的參考圖象的檢索圖象，圖41C顯示了從圖41A和41B所示的參考和檢索圖象得到的相關(guān)值分布。
此外，圖42A顯示了構(gòu)成圖40A和40B中所示的相鄰參考圖象的參考圖象，圖42B顯示了對(duì)應(yīng)于圖42B中所示的參考圖象的檢索圖象，圖42C顯示了通過加上圖40C和41C所示的相關(guān)值分布得到的相關(guān)值分布。換句話說，控制計(jì)算機(jī)接口74C內(nèi)的加法器87將圖40C和41C所示的相關(guān)值分布相加，圖42C中所示的相關(guān)值分布被存儲(chǔ)在雙端存儲(chǔ)器83中。
根據(jù)該實(shí)施例，針對(duì)相鄰參考圖象的跟蹤處理得出的相關(guān)值分布都被相加到一起，得出相加的相關(guān)值分布的峰值位置。因此，可以可以對(duì)16n×16m象素即任意幅度的16×16象素的參考圖象執(zhí)行跟蹤處理。
下面，參照?qǐng)D43描述本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十一實(shí)施例，該實(shí)施例采用了圖2所示的第一實(shí)施例相似的結(jié)構(gòu)，或圖24所示的第五實(shí)施例的基本結(jié)構(gòu)。此外，跟蹤處理器4部分可以采用與前述任一實(shí)施例相同的結(jié)構(gòu)。
在前述的實(shí)施例2到10中，從圖象輸入單元2輸出的圖象數(shù)據(jù)為8比特單色或彩色信息，因此，每個(gè)相關(guān)性處理器4—1至4—M具有8比特的結(jié)構(gòu)。也就是說，可以使用目前市面上現(xiàn)有的8比特LSI作為相關(guān)性運(yùn)算單元22，很方便地制成局部區(qū)域圖象跟蹤裝置。但是，如果從圖象輸入單元2輸出的圖象數(shù)據(jù)為24比特彩色信息，相關(guān)性處理器4—1至4—M要被改進(jìn)為24比特結(jié)構(gòu)，以適應(yīng)24比特彩色信息。
圖43為一系統(tǒng)框圖，顯示了該實(shí)施例的一部分。在圖43中，一個(gè)16M字節(jié)的存儲(chǔ)器(ROM)預(yù)先存儲(chǔ)一個(gè)轉(zhuǎn)換表，用于將從圖象輸入單元2輸出的24比特彩色圖象數(shù)據(jù)轉(zhuǎn)換成8比特偽彩色圖象數(shù)據(jù)。更具體地說，24比特彩色圖象數(shù)據(jù)被輸入到存儲(chǔ)器100作為地址，8比特偽彩色圖象數(shù)據(jù)從存儲(chǔ)器100的輸入地址輸出。
存儲(chǔ)器100可以提供于圖象輸入單元2，在圖象輸入單元2和圖象數(shù)據(jù)總線3之間，或在每個(gè)相關(guān)性跟蹤處理器4—1至4—M之內(nèi)。
根據(jù)該實(shí)施例，即使從圖象輸入單元2輸出的圖象的比特?cái)?shù)和由每個(gè)相關(guān)性處理器4—1至4—M處理的比特?cái)?shù)不同，通過在存儲(chǔ)器100中進(jìn)行必要的轉(zhuǎn)換，每個(gè)相關(guān)性跟蹤處理器4—1至4—M也可以設(shè)置成處理固定比特?cái)?shù)的結(jié)構(gòu)。存儲(chǔ)器100的輸入比特?cái)?shù)和輸出比特?cái)?shù)并不限于24比特和8比特。
對(duì)于每一幀對(duì)參考圖象無條件地刷新成檢索圖象內(nèi)的相關(guān)值分布的峰值位置處的區(qū)域圖象是可以想象的。
圖44為一個(gè)系統(tǒng)框圖，顯示了采用參考圖象刷新的局部區(qū)域圖象跟蹤裝置。在圖44中，與圖1對(duì)應(yīng)的部分用相同的標(biāo)號(hào)表示，并省略其描述。
在圖44中，假定參考圖象存儲(chǔ)器504預(yù)先存儲(chǔ)了參考圖象數(shù)據(jù)。首先，在第一個(gè)1幀中，一輸入開關(guān)511被轉(zhuǎn)換到將來自A/D轉(zhuǎn)換器502的圖象數(shù)據(jù)提供并存儲(chǔ)到緩沖存儲(chǔ)器514的狀態(tài)。另外，輸出開關(guān)512被轉(zhuǎn)換到將來自A/D轉(zhuǎn)換器504的圖象數(shù)據(jù)提供并存儲(chǔ)到相關(guān)性運(yùn)算單元505的狀態(tài)。
當(dāng)?shù)谝粋€(gè)1幀的相關(guān)值的峰值位置被測(cè)定并且這一峰值從相關(guān)值峰值位置檢測(cè)器507反饋到地址產(chǎn)生器506時(shí)，輸入開關(guān)511和輸出開關(guān)裝置512被從上述狀態(tài)轉(zhuǎn)換，來自A/D轉(zhuǎn)換器502的圖象數(shù)據(jù)被儲(chǔ)存在參考圖象存儲(chǔ)器504，從緩沖存儲(chǔ)器514讀出的圖象數(shù)據(jù)被送到相關(guān)性運(yùn)算單元505作為參考圖象數(shù)據(jù)。結(jié)果，對(duì)于每一幀，參考圖象被無條件地刷新為在檢索圖象內(nèi)的相關(guān)值分布峰值位置的區(qū)域的圖象。
然而，如果這一方法被用于對(duì)每一幀的參考圖象刷新，跟蹤處理就可能利用一個(gè)新的參考圖象——相對(duì)參考圖象具有低相關(guān)值區(qū)的圖象—執(zhí)行，跟蹤誤差就更容易積累。此外，如果包含噪聲的的區(qū)的圖象作為新參考圖象，跟蹤處理的誤差就更大，局部區(qū)域圖象跟蹤裝置就約受到噪聲的影響。
因此，下面描述一個(gè)局部區(qū)域圖象跟蹤裝置，可以去除上述缺點(diǎn)。
下面，參照?qǐng)D45至49描述本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十二實(shí)施例，在圖45中，與圖44中相同的部件采用相同的標(biāo)號(hào)并略去其說明。
在圖45中，該局部區(qū)域圖象跟蹤裝置包括一個(gè)圖象拾取裝置501，A/D轉(zhuǎn)換器502，檢索圖象存儲(chǔ)器503，相關(guān)性運(yùn)算單元505，相關(guān)值峰值位置檢測(cè)器507，輸入選擇器111，輸出選擇器112，圖象存儲(chǔ)器113—1至113—N，相關(guān)性比較器115，圖象存儲(chǔ)器管理器116，其中N為一個(gè)大于或等于3的整數(shù)。在該實(shí)施例中，圖象存儲(chǔ)器113—1至113—N中至少有兩個(gè)被用作參考圖象存儲(chǔ)器，一個(gè)被用作輸入圖象存儲(chǔ)器。
與圖象拾取裝置501拾取的圖象相關(guān)的模擬圖象數(shù)據(jù)由A/D轉(zhuǎn)換器502轉(zhuǎn)換成數(shù)字圖象數(shù)據(jù)，并一方面相繼存儲(chǔ)在檢索圖象存儲(chǔ)器503，另一方面送到輸入選擇器111。圖象存儲(chǔ)器113—1至113—N被用來存儲(chǔ)過去的輸入圖象數(shù)據(jù)。相關(guān)性運(yùn)算單元505執(zhí)行相關(guān)性運(yùn)算，以便得出只是檢索圖象存儲(chǔ)器503中的圖象數(shù)據(jù)和被用作參考圖象存儲(chǔ)器的圖象存儲(chǔ)器113—1至113—N的一個(gè)之中的參考圖象數(shù)據(jù)之間的相關(guān)性的相關(guān)值。由相關(guān)值峰值檢測(cè)器507檢測(cè)出相關(guān)值峰值位置，即拾取圖象中具有最高相關(guān)性的位置。于是，從檢測(cè)器507中可以不斷地得出相關(guān)值峰值位置，根據(jù)個(gè)相關(guān)值位置，可以以實(shí)時(shí)的方式在拾取的圖象中跟蹤預(yù)定的目標(biāo)。
相關(guān)性運(yùn)算單元505針對(duì)檢索圖象存儲(chǔ)器503中的圖象數(shù)據(jù)和參考圖象存儲(chǔ)器中的參考圖象數(shù)據(jù)進(jìn)行下述操作。為了方便起見，假定參考圖象度由圖5所示的8×8象素構(gòu)成的，在個(gè)參考圖象內(nèi)的象素值用Xi，j表示。在該例中，檢索圖象由16×16象素構(gòu)成，如圖6所示，相關(guān)性運(yùn)算單元505針對(duì)具有與圖7所示的參考圖象相同尺寸的局部區(qū)域圖象進(jìn)行下面公式描述的操作。在公式中，Yi，j表示檢索圖象內(nèi)的象素值，Dm，n表示兩個(gè)值是如何相近的，其中m＝0，...，7，n＝0，...，7。
Dm,n=Σi=07Σj=07|Xi,j-Yi+m,j+n|]]>在上述公式中，兩個(gè)值越接近，Dm，n就越小。
圖8顯示了實(shí)際參考圖象的例子，圖9顯示了實(shí)際檢索圖象的例子。此外，圖10顯示了對(duì)圖8所示的參考圖象和圖9所示的檢索圖象由相關(guān)性運(yùn)算單元505執(zhí)行相關(guān)性運(yùn)算而得出的結(jié)果。在該特定例子中，當(dāng)m＝5，n＝4時(shí)，Dm，n具有一個(gè)最小值，指示在該位置的局部區(qū)域圖象最接近參考圖象。
對(duì)圖象執(zhí)行相關(guān)性運(yùn)算可以發(fā)現(xiàn)最接近參考圖象的圖象區(qū)域。因此，通過對(duì)每幀運(yùn)動(dòng)的圖象執(zhí)行相關(guān)性運(yùn)算，就可以跟蹤在圖象內(nèi)的運(yùn)動(dòng)目標(biāo)。
如果由相關(guān)性運(yùn)算單元505執(zhí)行的上面公式描述的相關(guān)性運(yùn)算只是到這樣一種程度，即針對(duì)由32×32象素構(gòu)成的檢索圖象內(nèi)的256個(gè)局部區(qū)域圖象相對(duì)于16×16象素構(gòu)成參考圖象進(jìn)行相關(guān)性運(yùn)算處理，已經(jīng)研制了一種相關(guān)性運(yùn)算單元的LSI，其中已經(jīng)包括峰值位置檢測(cè)器用于檢測(cè)相關(guān)值的峰值位置。在這種LSI中，對(duì)上述相關(guān)性運(yùn)算處理所需的時(shí)間只為500微秒和更少。例如，由S.G.S Thomson生產(chǎn)的LSI STI3220可以用作相關(guān)性運(yùn)算505。因此，通過將參考圖象的尺寸設(shè)置成16×16象素，即可以實(shí)現(xiàn)小型的高速局部區(qū)域圖象跟蹤裝置，可以在一幀的時(shí)間內(nèi)執(zhí)行50至70次相關(guān)性運(yùn)算。
相關(guān)值峰值位置檢測(cè)器507對(duì)圖10所示的相關(guān)值分布的相關(guān)值的峰值位置進(jìn)行檢測(cè)，通過相關(guān)值比較器115將該峰值位置送到圖象存儲(chǔ)器管理器116。當(dāng)圖象存儲(chǔ)器管理器116產(chǎn)生圖象存儲(chǔ)器地址時(shí)使用該峰值。此外，圖象存儲(chǔ)器管理器116存儲(chǔ)由作為輸入圖象存儲(chǔ)器的圖象存儲(chǔ)器的識(shí)別數(shù)字和相關(guān)值的峰值位置構(gòu)成的對(duì)，并確定每一幀要作為參考圖象存儲(chǔ)器和輸入圖象存儲(chǔ)器的圖象存儲(chǔ)器。取決于圖象存儲(chǔ)器管理器116的圖象存儲(chǔ)器的確定的轉(zhuǎn)換信號(hào)被送到輸入選擇器111和輸出選擇器112。在每一幀的跟蹤處理中，圖象存儲(chǔ)器113—1至113—N中的作為輸入圖象存儲(chǔ)器和參考圖象存儲(chǔ)器的圖象存儲(chǔ)器被轉(zhuǎn)換，在檢索圖象內(nèi)的相關(guān)值分布的峰值位置處的區(qū)域的圖象的歷史被存儲(chǔ)，參考圖象被刷新成從所述圖象的歷史中選擇的圖象。
相關(guān)性比較器115比較從相關(guān)值峰值位置檢測(cè)器507得到的每個(gè)相關(guān)值分布的峰值位置，并確定圖象存儲(chǔ)器(參考圖象存儲(chǔ)器)，存儲(chǔ)具有最高相關(guān)值的參考圖象，和圖象存儲(chǔ)器(參考圖象存儲(chǔ)器)，存儲(chǔ)具有最小相關(guān)值的參考圖象。相關(guān)性比較器115向圖象存儲(chǔ)器管理器116通知該確定結(jié)果。上述確定和通知操作是在相繼使用那些除了用作輸入圖象存儲(chǔ)器以外的用作參考圖象存儲(chǔ)器的圖象存儲(chǔ)器執(zhí)行N－1次跟蹤處理時(shí)在1幀的時(shí)間內(nèi)執(zhí)行的。
因此，圖象存儲(chǔ)器管理器116存儲(chǔ)由具有最大相關(guān)值的峰值位置和目前作為輸入圖象存儲(chǔ)器的圖象存儲(chǔ)器的識(shí)別數(shù)字構(gòu)成的一對(duì)，并且使用存儲(chǔ)具有最大相關(guān)值的參考圖象的圖象存儲(chǔ)器作為參考圖象存儲(chǔ)器。此外，如果存在可用的或未使用的圖象存儲(chǔ)器，該存儲(chǔ)器作為下一幀的輸入圖象存儲(chǔ)器。另一方面，如果沒有未使用的存儲(chǔ)器存在，存儲(chǔ)具有最小相關(guān)值的參考圖象的存儲(chǔ)器用作下一幀的輸入圖象存儲(chǔ)器。用作下一幀輸入圖象存儲(chǔ)器的圖象存儲(chǔ)器的選擇是通過從圖象存儲(chǔ)器管理器116向輸入選擇器111和輸出選擇器112提供轉(zhuǎn)換信號(hào)來實(shí)現(xiàn)的。
當(dāng)然，相關(guān)性比較器115可以作為圖象存儲(chǔ)器管理器116的一部分。
根據(jù)本實(shí)施例，參考圖象被相繼地刷新成與除了圖象歷史外被存儲(chǔ)在輸入圖象存儲(chǔ)器中的輸入圖象具有最高相關(guān)值的圖象。因此，即使在跟蹤過程當(dāng)中，根據(jù)目標(biāo)的觀察而外觀有所改變，也可以改善跟蹤處理的可靠性。
下面，參照?qǐng)D46描述該實(shí)施例的操作。圖46為一個(gè)流程圖，顯示了中央處理單元CPU的操作，其中圖象存儲(chǔ)器管理器116由該CPU構(gòu)成。
在圖46中，步驟S21設(shè)置具有存儲(chǔ)器號(hào)為Mem(I)的存儲(chǔ)器作為輸入圖象存儲(chǔ)器，具有存儲(chǔ)器號(hào)為Mem(S)的存儲(chǔ)器作為檢索圖象存儲(chǔ)器，具有存儲(chǔ)器號(hào)為R的存儲(chǔ)器作為參考圖象存儲(chǔ)器。在該實(shí)施例中，存儲(chǔ)器號(hào)的排列如圖47所示。在圖47中，S指示檢索圖象存儲(chǔ)器的排列指數(shù)，I指示輸入圖象存儲(chǔ)器的排列指數(shù)。此外，圖48顯示了存儲(chǔ)器號(hào)的排列的初始狀態(tài)，其中參考圖象存儲(chǔ)器的存儲(chǔ)器號(hào)R被設(shè)定為“0”。
步驟S22將參考圖象數(shù)據(jù)送到相關(guān)性運(yùn)算單元22并開始相關(guān)性運(yùn)算處理，即，跟蹤處理。S23在圖49所示的存儲(chǔ)器表的存儲(chǔ)器號(hào)Mem(S)的間隙中寫入相關(guān)值峰值的位置的坐標(biāo)。步驟S24確定是否刷新參考圖象。在圖49所示的存儲(chǔ)器表中，“0”—“N”表示存儲(chǔ)器號(hào)，“X0”—“X6”表示相關(guān)值峰值位置的X坐標(biāo)，“Y0”—“Y6”表示相關(guān)值峰值位置的Y坐標(biāo)，“-1”表示在該位置未寫入的坐標(biāo)。
如果在步驟S24的確定結(jié)果為否，S25增加檢索圖象存儲(chǔ)器的排列指數(shù)S。步驟S26確定檢索圖象存儲(chǔ)器的排列指數(shù)S是否為N—2，如果在步驟S26的確定結(jié)果為是，步驟S27設(shè)置檢索圖象存儲(chǔ)器的排列指數(shù)S為“0”。在步驟S27之后，或步驟S26的確定結(jié)果為否，S28增加輸入圖象存儲(chǔ)器的排列指數(shù)I。步驟S29確定輸入圖象存儲(chǔ)器的排列指數(shù)I是否為N－2，如果在步驟S29的確定結(jié)果為是，步驟S30設(shè)置輸入圖象存儲(chǔ)器的排列指數(shù)I為“0”。在步驟S30之后，或步驟S29的確定結(jié)果為否，流程返回至步驟S21。
另一方面，如果在步驟S24的確定結(jié)果為是，步驟S31在刷新之后設(shè)置檢索圖象存儲(chǔ)器的排列指數(shù)S*為S－1。在步驟S32確定在刷新之后檢索圖象存儲(chǔ)器的排列指數(shù)S*是否小于“0”，如果是，在步驟S23設(shè)置S*為N－2。在步驟S33之后，或如果在步驟S32的確定結(jié)果為否，在步驟S34設(shè)置輸入圖象器在刷新之后的排列指數(shù)I*為I＋1。在步驟S35確定在刷新之后輸入圖象存儲(chǔ)器的排列指數(shù)I*是否大于“N－2”，如果是，在步驟S36設(shè)置輸入圖象器在刷新之后的排列指數(shù)I*為“0”。在步驟S36之后，或如果在步驟S35的確定結(jié)果為否，流程進(jìn)至步驟S37。
通過相繼地使用除了當(dāng)I*＝S*時(shí)的存儲(chǔ)器號(hào)Mem(I*)的圖象存儲(chǔ)器，當(dāng)U*＜S*時(shí)的存儲(chǔ)器號(hào)Mem(I*)至(S*)的圖象存儲(chǔ)器以及存儲(chǔ)器號(hào)Mem(I*)至(N－2)和Mem(0)至(S*)的存儲(chǔ)器之外的不具有輸入的參考圖象存儲(chǔ)器作為參考圖象存儲(chǔ)器，并利用具有存儲(chǔ)器號(hào)Mem(S)的圖象存儲(chǔ)器作為檢索圖象存儲(chǔ)器，在步驟S37執(zhí)行跟蹤處理。步驟S37也得到存儲(chǔ)具有最高(最大)相關(guān)值參考圖象數(shù)據(jù)的參考圖象存儲(chǔ)器的指數(shù)最大值，存儲(chǔ)具有最低(最小)相關(guān)值參考圖象數(shù)據(jù)的參考圖象存儲(chǔ)器的指數(shù)最小值。但是，如果存在沒有輸出的圖象存儲(chǔ)器，該圖象存儲(chǔ)器的指數(shù)被視為指數(shù)最小值。
下面，步驟S38設(shè)置存儲(chǔ)器號(hào)，該存儲(chǔ)器具有的存儲(chǔ)器號(hào)Mem(N－2)—R，Mem(0)—Mem(S)，Mem(1)—Mem(I)，Mem(2)—Mem(Min)，Mem(3)至Mem(N－3)—Mem(I*)至Mem(S*)，如果I*＜S*以及到Mem(I*)至Mem(N－2)和Mem(0)至Mem(S*)，如果I*＞S*，并具有除最大和最小的指數(shù)，并設(shè)置R為R＝Mem(最大)。
步驟S39設(shè)置檢索圖象存儲(chǔ)器的排列指數(shù)S為“1”，設(shè)置輸入圖象存儲(chǔ)器的排列指數(shù)I為“2”。在步驟S39之后，流程返回至步驟21。
下面，參照?qǐng)D50和51描述根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十三個(gè)實(shí)施例。在圖50中，與圖45相同的部件用相同的標(biāo)號(hào)表示并略去其說明。
在該實(shí)施例中，圖50中的相關(guān)性評(píng)測(cè)器117替代了圖45中的相關(guān)性比較器115。相關(guān)性評(píng)測(cè)器117比較在相關(guān)值分布的峰值位置的相關(guān)值，該相關(guān)值分布是通過在每一幀中對(duì)預(yù)定的門限值跟蹤處理得到的，并通過只有當(dāng)相關(guān)值小于或等于門限值時(shí)轉(zhuǎn)換參考圖象存儲(chǔ)器來刷新參考圖象。換句話說，跟蹤處理是通過在存儲(chǔ)在參考圖象存儲(chǔ)器和檢索圖象存儲(chǔ)器中的圖象數(shù)據(jù)之間進(jìn)行相關(guān)運(yùn)算來執(zhí)行的，在該過程中，相關(guān)性評(píng)測(cè)器117比較相關(guān)值峰值和預(yù)定的門限值。
如果比較的結(jié)果是相關(guān)值的峰值大于門限值，由目前輸入圖象存儲(chǔ)器的存儲(chǔ)器號(hào)和相關(guān)值的峰值位置形成的對(duì)被記錄下來。如果存在未被利用的圖象存儲(chǔ)器，則其作為下一個(gè)輸入圖象存儲(chǔ)器。另外，如果沒有未被利用的存儲(chǔ)器，具有最老的輸入的圖象存儲(chǔ)器被用作下一個(gè)輸入圖象存儲(chǔ)器。
如果相關(guān)值峰值小于或等于門限值，具有最近輸入的圖象存儲(chǔ)器被用作參考圖象存儲(chǔ)器，針對(duì)目前的輸入圖象數(shù)據(jù)，再次執(zhí)行跟蹤處理。在這種情況下，由相關(guān)值的峰值位置和目前輸入圖象存儲(chǔ)器的存儲(chǔ)器號(hào)形成的對(duì)被記錄。如果未使用的圖象存儲(chǔ)器存在，如果該未用的圖象存儲(chǔ)器存在，其作為下一個(gè)輸入圖象存儲(chǔ)器。如果不存在，具有最老輸入的圖象存儲(chǔ)器作為下個(gè)輸入圖象存儲(chǔ)器。
當(dāng)然，評(píng)測(cè)器117可以是圖象存儲(chǔ)器管理器116的一個(gè)部分。
根據(jù)本實(shí)施例，參考圖象被相繼地刷新成與除了圖象歷史外被存儲(chǔ)在輸入圖象存儲(chǔ)器中的輸入圖象具有最高相關(guān)值的圖象。因此，即使在跟蹤過程當(dāng)中，根據(jù)目標(biāo)的觀察而外觀有所改變，也可以改善跟蹤處理的可靠性。此外，在跟蹤處理中如果相關(guān)值小于或等于預(yù)定門限值，也可以將參考圖象刷新成圖象存儲(chǔ)器內(nèi)最近的圖象。
下面，參照?qǐng)D51描述該實(shí)施例的操作。圖51為一個(gè)流程圖，顯示了中央處理單元CPU的操作，其中圖象存儲(chǔ)器管理器116由該CPU構(gòu)成。在圖51中，與圖46中相同的部件用相同的標(biāo)號(hào)表示并略去其說明。
在圖51中，步驟S44確定相關(guān)值的峰值是否小于門限值。如果否，流程進(jìn)至步驟S25。如果是，流程進(jìn)至步驟S31。步驟S37設(shè)置第一圖象存儲(chǔ)器指數(shù)，除了具有儲(chǔ)器號(hào)Mem(I*)，如果I*＝S*以及Mem(I*)至Mem(S*)，如果I*＜S*，以及Mem(I*)至Mem(N－2)和Mem(O)至Mem(S*)之外，不具有輸入到最小值的圖象存儲(chǔ)器。
下面，參照?qǐng)D52和53描述根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十四個(gè)實(shí)施例。在圖52中，與圖45和50中相同的部件用相同的標(biāo)號(hào)表示并略去其說明。
如圖52所示，除了相關(guān)性比較器115和相關(guān)性評(píng)測(cè)器117，提供了模式開關(guān)118。相關(guān)性比較器115和相關(guān)性評(píng)測(cè)器117的操作與上述第十二和第十三實(shí)施例中的相似。模式開關(guān)118轉(zhuǎn)換狀態(tài)，使得可以有選擇地執(zhí)行第十二實(shí)施例或第十三實(shí)施例的操作。
通過對(duì)存儲(chǔ)在參考圖象存儲(chǔ)器和檢索圖象存儲(chǔ)器中的圖象數(shù)據(jù)之間進(jìn)行相關(guān)性運(yùn)算執(zhí)行跟蹤處理，在該處理中，相關(guān)性評(píng)測(cè)器117比較相關(guān)值的峰值和預(yù)定門限值。
如果比較的結(jié)果是相關(guān)值的峰值大于門限值，由目前輸入圖象存儲(chǔ)器的存儲(chǔ)器號(hào)和相關(guān)值的峰值位置形成的對(duì)被記錄下來。如果存在未被利用的圖象存儲(chǔ)器，則其作為下一個(gè)輸入圖象存儲(chǔ)器。另外，如果沒有未被利用的存儲(chǔ)器，具有最老的輸入的圖象存儲(chǔ)器被用作下一個(gè)輸入圖象存儲(chǔ)器。
如果相關(guān)值峰值小于或等于門限值，參考圖象存儲(chǔ)器以下述方式刷新。即，如果相關(guān)值峰值小于或等于門限值，相關(guān)性比較器115比較從相關(guān)值峰值位置檢測(cè)器507得到的相關(guān)值峰值位置分布的峰值位置，確定存儲(chǔ)具有最大相關(guān)值的參考圖象的圖象存儲(chǔ)器(參考圖象存儲(chǔ)器)以及存儲(chǔ)具有最小相關(guān)值的參考圖象的圖象存儲(chǔ)器(參考圖象存儲(chǔ)器)。確定的參考圖象存儲(chǔ)器由相關(guān)性比較器115通知給圖象存儲(chǔ)器管理器116。
相關(guān)性比較器115向圖象存儲(chǔ)器管理器116通知該確定結(jié)果。上述確定和通知操作是在相繼使用那些除了用作輸入圖象存儲(chǔ)器以外的用作參考圖象存儲(chǔ)器的圖象存儲(chǔ)器執(zhí)行N－1次跟蹤處理時(shí)在1幀的時(shí)間內(nèi)執(zhí)行的。因此，圖象存儲(chǔ)器管理器116存儲(chǔ)由具有最大相關(guān)值的峰值位置和目前作為輸入圖象存儲(chǔ)器的圖象存儲(chǔ)器的識(shí)別數(shù)字構(gòu)成的一對(duì)，并且使用存儲(chǔ)具有最大相關(guān)值的參考圖象的圖象存儲(chǔ)器作為參考圖象存儲(chǔ)器。此外，如果存在可用的或未使用的圖象存儲(chǔ)器，該存儲(chǔ)器作為下一幀的輸入圖象存儲(chǔ)器。另一方面，如果沒有未使用的存儲(chǔ)器存在，存儲(chǔ)具有最小相關(guān)值的參考圖象的存儲(chǔ)器用作下一幀的輸入圖象存儲(chǔ)器。用作下一幀輸入圖象存儲(chǔ)器的圖象存儲(chǔ)器的選擇是通過從圖象存儲(chǔ)器管理器116向輸入選擇器111和輸出選擇器112提供轉(zhuǎn)換信號(hào)來實(shí)現(xiàn)的。
當(dāng)然，相關(guān)性比較器115，相關(guān)性評(píng)測(cè)器117和模式開關(guān)118，可以作為圖象存儲(chǔ)器管理器116的一部分。
下面，參照?qǐng)D53描述該實(shí)施例的操作。圖53為一個(gè)流程圖，顯示了中央處理單元CPU的操作，其中圖象存儲(chǔ)器管理器116由該CPU構(gòu)成。在圖53中，與圖46和51中相同的部件用相同的標(biāo)號(hào)表示并略去其說明。
在他53中，步驟S44與圖51中的S44相同，步驟S37和S38與圖46中的步驟S37和S38相同。
當(dāng)然，第十二至第十四實(shí)施例也適用于圖2或圖24所示的基本結(jié)構(gòu)。
當(dāng)將上述局部區(qū)域圖象跟蹤裝置用于自動(dòng)保安或報(bào)警系統(tǒng)時(shí)，該系統(tǒng)自動(dòng)拾取進(jìn)入者的圖象，或者適用于自動(dòng)圖象拾取系統(tǒng)，該系統(tǒng)利用攝像機(jī)自動(dòng)跟蹤和拾取籃球或高爾夫球的圖象，參考圖象數(shù)據(jù)事先是不知道的，必須在每次跟蹤操作時(shí)設(shè)置參考圖象。因此，下面描述可以自動(dòng)檢測(cè)和設(shè)置參考圖象數(shù)據(jù)的實(shí)施例。
圖54為一個(gè)系統(tǒng)框圖，顯示了本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十五個(gè)實(shí)施例的結(jié)構(gòu)。在圖54中，具有與圖45中相同的部件用相同的標(biāo)號(hào)表示并略去其說明。
在圖54中，該局部區(qū)域圖象跟蹤裝置包括一個(gè)圖象拾取裝置(攝像機(jī))501，A/D轉(zhuǎn)換器502，錄像機(jī)201，輸入圖象存儲(chǔ)器202，運(yùn)動(dòng)檢測(cè)器203，背景圖象存儲(chǔ)器204，報(bào)警單元205，輸入開關(guān)206，檢索圖象存儲(chǔ)器503，參考圖象存儲(chǔ)器207，相關(guān)性運(yùn)算單元505，地址產(chǎn)生器506A，相關(guān)值峰值位置檢測(cè)器507，攝像機(jī)座控制器208，攝像機(jī)座209，其連接如圖所示。攝像機(jī)座209包括一個(gè)馬達(dá)，用于移動(dòng)攝像機(jī)501。
例如攝像機(jī)501拾取圖55A所示的輸入圖象，該輸入圖象被送到A/D轉(zhuǎn)換器502。A/D轉(zhuǎn)換器502將數(shù)字的輸入圖象送到輸入圖象存儲(chǔ)器503并存儲(chǔ)起來。該數(shù)字輸入圖象數(shù)據(jù)也經(jīng)過輸入轉(zhuǎn)換開關(guān)206送到并存儲(chǔ)在參考圖象存儲(chǔ)器207中。與圖55B所示的背景圖象相關(guān)的背景圖象也預(yù)先存儲(chǔ)在背景圖象存儲(chǔ)器204。通過從由輸入圖象存儲(chǔ)器202讀出的輸入圖象中去除從背景圖象存儲(chǔ)器204中讀出的背景圖象，運(yùn)動(dòng)檢測(cè)器203得出與差別圖象相關(guān)的差別圖象。
在該實(shí)施例和下面的每個(gè)實(shí)施例中，為了方便起見假定所述的局部區(qū)域圖象跟蹤裝置應(yīng)用于一個(gè)報(bào)警系統(tǒng)。因此，與圖55B相關(guān)的背景圖象涉及一個(gè)被監(jiān)視的房間是固定的。如果差別圖象大于或等于預(yù)定的值，運(yùn)動(dòng)檢測(cè)器203判斷由進(jìn)入的物體存在，并將檢測(cè)信號(hào)送到報(bào)警單元205和輸入轉(zhuǎn)換開關(guān)206。結(jié)果，報(bào)警單元205產(chǎn)生報(bào)警信號(hào)。
來自攝像機(jī)501的輸入圖象數(shù)據(jù)也被送到錄像機(jī)201并記錄在記錄介質(zhì)上。該錄像機(jī)201也接于報(bào)警單元205。因此，可以在報(bào)警單元205產(chǎn)生報(bào)警信號(hào)時(shí)，在記錄介質(zhì)上表示輸入圖象數(shù)據(jù)。錄像機(jī)201也可以在報(bào)警單元205產(chǎn)生報(bào)警時(shí)記錄輸入圖象數(shù)據(jù)。這樣就可以減少錄像機(jī)201的存儲(chǔ)容量。
輸入轉(zhuǎn)換開關(guān)206響應(yīng)于運(yùn)動(dòng)檢測(cè)器203的檢測(cè)信號(hào)進(jìn)行轉(zhuǎn)換，將輸入圖象數(shù)據(jù)從A/D轉(zhuǎn)換器502送到檢索圖象存儲(chǔ)器503。在差別圖象數(shù)據(jù)大于或等于預(yù)定值之后，接收到的輸入圖象數(shù)據(jù)被存儲(chǔ)在檢索圖象存儲(chǔ)器503中。
運(yùn)動(dòng)檢測(cè)器203根據(jù)差別圖象數(shù)據(jù)得出參考圖象的位置用于在跟蹤處理中使用，并將該位置設(shè)置在地址產(chǎn)生器506A中。結(jié)果，與圖55A相關(guān)的檢索圖象數(shù)據(jù)和與圖55D相關(guān)的參考圖象數(shù)據(jù)被從檢索圖象存儲(chǔ)器503和參考圖象存儲(chǔ)器207得出并送到相關(guān)性運(yùn)算單元505。相關(guān)性運(yùn)算單元505利用上述方法得出相關(guān)值，相關(guān)值峰值位置檢測(cè)器507利用上述方法得出相關(guān)值峰值位置。因此，作為結(jié)果，相關(guān)值峰值位置檢測(cè)器507得出引入目標(biāo)的運(yùn)動(dòng)量并送到地址產(chǎn)生器506A并加到檢索圖象地址。此外，相關(guān)值峰值位置檢測(cè)器507還將該運(yùn)動(dòng)量送到攝像機(jī)座控制器208，攝像機(jī)座控制器208通過移動(dòng)攝像機(jī)座來控制攝像機(jī)501的拾取位置，使得進(jìn)入目標(biāo)處于拾取圖象的中心部位，即屏幕的中心部位。
一旦參考圖象數(shù)據(jù)被存儲(chǔ)在參考圖象存儲(chǔ)器207，局部區(qū)域圖象跟蹤處理本身可以利用在上述實(shí)施例中采用的任何方法。
圖56為一個(gè)流程圖，解釋了實(shí)施例十五的操作。在圖56中，步驟S51同時(shí)將輸入圖象數(shù)據(jù)輸入和存儲(chǔ)到輸入圖象存儲(chǔ)器202和參考圖象存儲(chǔ)器207。步驟S52得出輸入圖象數(shù)據(jù)和背景圖象數(shù)據(jù)之間的差別圖象數(shù)據(jù)。步驟S53確定二者是否有差別，如果差別圖象數(shù)據(jù)大于或等于預(yù)定值則確定差別存在，使得裝置對(duì)噪聲不過分敏感。如果判定結(jié)果為否，流程返回至步驟S51。如果在步驟S53的確定結(jié)果為是，步驟S54開始由錄像機(jī)201記錄輸入圖象數(shù)據(jù)，由報(bào)警單元205產(chǎn)生報(bào)警。步驟S55將參考圖象(模板圖象)的位置設(shè)置為檢索圖象地址在地址產(chǎn)生器506A中跟蹤處理中使用。
步驟S56由運(yùn)動(dòng)檢測(cè)器203轉(zhuǎn)換輸入開關(guān)使得輸入圖象數(shù)據(jù)被送到檢索圖象存儲(chǔ)器503。步驟S58根據(jù)地址產(chǎn)生器506A中產(chǎn)生的地址從相應(yīng)的檢索圖象存儲(chǔ)器503和參考圖象存儲(chǔ)器207中讀檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)，并送到相關(guān)性運(yùn)算單元505得出相關(guān)值。步驟S59根據(jù)從相關(guān)值運(yùn)算單元505得出的相關(guān)值由相關(guān)值峰值位置檢測(cè)器507得出進(jìn)入目標(biāo)的移動(dòng)量。步驟S60將得到的運(yùn)動(dòng)量送到地址產(chǎn)生器506A并加到檢索圖象地址。此外，步驟S61向攝像機(jī)座209提供移動(dòng)指令用于移動(dòng)攝像機(jī)座209，使得進(jìn)入的目標(biāo)始終處于圖象中心部分，即，圖57顯示了攝像機(jī)座209的控制。圖57顯示了攝像機(jī)501拾取的輸入圖象，屏幕的中心坐標(biāo)由(Cx，Cy)表示，進(jìn)入目標(biāo)的中心坐標(biāo)由(Tx，Ty)表示。在該實(shí)施例中，進(jìn)入目標(biāo)的中心坐標(biāo)(Tx，Ty)與屏幕的中心坐標(biāo)(Cx，Cy)在X軸上相距Δx，進(jìn)入目標(biāo)的中心坐標(biāo)(Tx，Ty)與屏幕的中心坐標(biāo)(Cx，Cy)在Y軸上相距ΔY。攝像機(jī)座控制器208控制攝像機(jī)座209的運(yùn)動(dòng)，使得進(jìn)入目標(biāo)的中心坐標(biāo)(Tx，Ty)與屏幕的中心坐標(biāo)(Cx，Cy)大體相符，進(jìn)入目標(biāo)的跟蹤因此更為容易。更具體地說，送到攝像機(jī)座209的運(yùn)動(dòng)指令由指示沿X軸運(yùn)動(dòng)量ΔPan＝Kp*Δx和指示沿Y軸運(yùn)動(dòng)量的Δtilt＝Kt*ΔY構(gòu)成，其中Kp和Kt為取決于攝像機(jī)座209中使用的馬達(dá)等的常數(shù)。運(yùn)動(dòng)指令從攝像機(jī)控制器208以預(yù)定的時(shí)間間隔例如1/10秒送到攝像機(jī)座209。
因此，根據(jù)該實(shí)施例，可以自動(dòng)地檢測(cè)和設(shè)置參考圖象數(shù)據(jù)。
圖58為一個(gè)系統(tǒng)框圖，顯示了本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十六個(gè)實(shí)施例的結(jié)構(gòu)。在圖58中，具有與圖45中相同的部件用相同的標(biāo)號(hào)表示并略去其說明。在該實(shí)施例中，輸入圖象中的運(yùn)動(dòng)也是由相關(guān)性運(yùn)算單元得出的。
在圖58中，該局部區(qū)域圖象跟蹤裝置包括一個(gè)圖象拾取裝置(攝像機(jī))501，A/D轉(zhuǎn)換器502，錄像機(jī)201，報(bào)警單元205，輸入開關(guān)206，檢索圖象存儲(chǔ)器503，參考圖象存儲(chǔ)器207—1，207—2，相關(guān)性運(yùn)算單元505，地址產(chǎn)生器506B，相關(guān)值峰值位置檢測(cè)器507，輸出開關(guān)211，控制計(jì)算機(jī)212，攝像機(jī)座控制器208，攝像機(jī)座209，其連接如圖所示。
圖59為一個(gè)流程圖，顯示了第十六實(shí)施例的操作。下面通過參照?qǐng)D59描述該實(shí)施例的操作。
在該實(shí)施例中，來自攝像機(jī)501的輸入圖象數(shù)據(jù)通過A/D轉(zhuǎn)換器502被送到檢索圖象存儲(chǔ)器503和輸入轉(zhuǎn)換開關(guān)210，并且也送到錄像機(jī)201。步驟S71轉(zhuǎn)換和控制輸入開關(guān)210和輸出開關(guān)211使得開關(guān)210將輸入圖象數(shù)據(jù)送到參考圖象存儲(chǔ)器207—1，輸出開關(guān)211輸出從該參考圖象存儲(chǔ)器207—1讀出的輸入圖象數(shù)據(jù)。步驟S72轉(zhuǎn)換輸入開關(guān)210，使得輸入圖象數(shù)據(jù)被輸入到另一參考圖象存儲(chǔ)器207—2。換句話說，控制計(jì)算機(jī)212控制對(duì)參考圖象存儲(chǔ)器207—1和207—2的訪問，使得在從其中之一讀出的同時(shí)，向另一個(gè)參考圖象存儲(chǔ)器寫入。
步驟S73從控制計(jì)算機(jī)212控制地址產(chǎn)生器506B，使得根據(jù)從地址產(chǎn)生器506B產(chǎn)生的地址，檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)分別從檢索圖象存儲(chǔ)器503和參考圖象存儲(chǔ)器207—1讀出。讀出的圖象數(shù)據(jù)對(duì)應(yīng)于以預(yù)定時(shí)間間隔的輸入圖象數(shù)據(jù)，由于讀出圖象數(shù)據(jù)以圖60所示在屏幕內(nèi)分成多個(gè)小區(qū)形式被送到相關(guān)性運(yùn)算單元505，相關(guān)性運(yùn)算單元505針對(duì)每個(gè)小區(qū)執(zhí)行上述的相關(guān)性運(yùn)算。在圖60中，一屏當(dāng)中被分成25個(gè)方塊的小區(qū)，當(dāng)然，小區(qū)的個(gè)數(shù)和形狀并不限于圖60所示。圖60示出了進(jìn)入目標(biāo)從位置A移動(dòng)到位置A’的情況。相關(guān)性運(yùn)算單元505得出每個(gè)小區(qū)的檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)之間的相關(guān)值，其輸出通過相關(guān)值峰值檢測(cè)器507被送到控制計(jì)算機(jī)212。因此，控制計(jì)算機(jī)212可以根據(jù)每個(gè)小區(qū)的相關(guān)值的變化，檢測(cè)輸入圖象內(nèi)的運(yùn)動(dòng)。
步驟S74檢測(cè)是否檢測(cè)到運(yùn)動(dòng)的小區(qū)的個(gè)數(shù)大于門限值。如果確定結(jié)果為否，步驟S57轉(zhuǎn)換并控制輸出開關(guān)211輸出從參考圖象存儲(chǔ)器207—2讀出的參考圖象數(shù)據(jù)，流程返回至步驟S72。另一方面，如果在步驟S74的確定結(jié)果為是，步驟S76通過控制計(jì)算機(jī)212控制錄像機(jī)201和報(bào)警單元205使得錄像機(jī)201記錄輸入圖象數(shù)據(jù)，報(bào)警單元205產(chǎn)生報(bào)警。
步驟S77從控制計(jì)算機(jī)212在地址產(chǎn)生器506A中將參考圖象(模板圖象)的位置設(shè)置為檢索圖象地址和參考圖象地址用于跟蹤處理。步驟S78從控制計(jì)算機(jī)212轉(zhuǎn)換輸入開關(guān)使得輸入開關(guān)210將輸入圖象數(shù)據(jù)送到參考圖象存儲(chǔ)器207—1和207—2中未存儲(chǔ)參考圖象的那個(gè)存儲(chǔ)器中，例如，送到參考圖象存儲(chǔ)器207—1。此外，步驟S79在檢索圖象存儲(chǔ)器503中存儲(chǔ)輸入圖象。步驟S80根據(jù)由地址產(chǎn)生器506B產(chǎn)生的地址，從檢索圖象存儲(chǔ)器503和參考圖象存儲(chǔ)器207—1從讀出檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)，并將檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)送到相關(guān)性運(yùn)算單元505，以便得到相關(guān)值。步驟S81根據(jù)從相關(guān)性運(yùn)算單元505得出的相關(guān)值得出進(jìn)入目標(biāo)在相關(guān)值峰值位置中的運(yùn)動(dòng)量。步驟S82將得到的運(yùn)動(dòng)量送到地址產(chǎn)生器506B并加到檢索圖象地址。此外，步驟S83向攝像機(jī)座209發(fā)出運(yùn)動(dòng)指令根據(jù)運(yùn)動(dòng)量移動(dòng)攝像機(jī)座209，使得進(jìn)入目標(biāo)位于攝像機(jī)拾取的圖象的中心位置，流程返回至步驟S79。
在該實(shí)施例中，可以不必專門為檢測(cè)輸入圖象中的運(yùn)動(dòng)提供運(yùn)動(dòng)檢測(cè)器或類似裝置。因此，可以使用相對(duì)簡(jiǎn)單的結(jié)構(gòu)自動(dòng)地檢測(cè)和設(shè)置圖象數(shù)據(jù)。
圖61為一個(gè)流程圖，顯示了本發(fā)明的局部區(qū)域圖象跟蹤裝置的操作。在該實(shí)施例中，其結(jié)構(gòu)與圖58相同。在圖61中，與圖59相同的部件用相同的標(biāo)號(hào)表示并略去其說明。在該實(shí)例中，當(dāng)相關(guān)值峰值小于或等于門限值時(shí)，參考圖象被刷新成輸入圖象。
在圖61中，步驟S79—1存儲(chǔ)輸入圖象數(shù)據(jù)到檢索圖象存儲(chǔ)器503，同時(shí)，存儲(chǔ)輸入圖象數(shù)據(jù)到參考圖象存儲(chǔ)器207—1和207—2中未使用的一個(gè)中，例如參考圖象存儲(chǔ)器207—2。步驟S80根據(jù)由地址產(chǎn)生器506B產(chǎn)生的地址，從檢索圖象存儲(chǔ)器503和參考圖象存儲(chǔ)器207—1從讀出檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)，并將檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)送到相關(guān)性運(yùn)算單元505，以便得到相關(guān)值。步驟S81根據(jù)從相關(guān)性運(yùn)算單元505得出的相關(guān)值得出進(jìn)入目標(biāo)在相關(guān)值峰值位置中的運(yùn)動(dòng)量。步驟S82將得到的運(yùn)動(dòng)量送到地址產(chǎn)生器506B并加到檢索圖象地址。步驟S85確定是否從相關(guān)值峰值位置檢測(cè)器507得出的相關(guān)值峰值大于門限值，如果不是，流程進(jìn)至步驟S83。步驟S83向攝像機(jī)座209發(fā)出運(yùn)動(dòng)指令根據(jù)運(yùn)動(dòng)量移動(dòng)攝像機(jī)座209，使得進(jìn)入目標(biāo)位于攝像機(jī)拾取的圖象的中心位置，流程返回至步驟S79—1。
如果步驟S85的確定結(jié)果為是，步驟S86從控制計(jì)算機(jī)212設(shè)置檢索圖象地址到地址產(chǎn)生器506B作為參考圖象地址。此外，步驟S87控制和轉(zhuǎn)換輸入開關(guān)212，流程進(jìn)至步驟S83。
于是，用于局部區(qū)域圖象跟蹤處理的參考圖象數(shù)據(jù)被刷新成存儲(chǔ)在檢索圖象存儲(chǔ)器503中的輸入圖象數(shù)據(jù)。因此，即使在跟蹤過程中進(jìn)入目標(biāo)的外觀改變，如二維圖象拾取的角度變化造成進(jìn)入目標(biāo)的視圖的改變，也可以實(shí)現(xiàn)穩(wěn)定的跟蹤。
圖62為一個(gè)系統(tǒng)框圖，顯示了本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十八個(gè)實(shí)施例。在圖62中，與圖58相同的部件用相同的標(biāo)號(hào)表示并略去其說明。在該實(shí)例中，利用變焦機(jī)構(gòu)，記錄了進(jìn)入目標(biāo)的近視圖。
在該實(shí)施例中，變焦機(jī)構(gòu)222被提供在攝像機(jī)501上，如如62所示?？刂朴?jì)算機(jī)212通過變焦控制器221對(duì)變焦機(jī)構(gòu)進(jìn)行變焦設(shè)置。除了變焦控制器221和變焦機(jī)構(gòu)222之外，其余部分與圖58中的相同。
圖63為一個(gè)流程圖，顯示了第十八實(shí)施例的操作。在圖63中，與圖61相同的步驟用相同的標(biāo)號(hào)表示并略去其說明。
在圖63中，步驟S71至87與圖61所示的相同。在該實(shí)施例中，步驟S91在步驟S83之后執(zhí)行。通過控制計(jì)算機(jī)212確定變焦機(jī)構(gòu)222變焦設(shè)定值是否相遇預(yù)定目標(biāo)值，如果是，流程返回至步驟S79—1。如果否，步驟S92通過控制計(jì)算機(jī)212控制變焦控制器221，增加變焦設(shè)定值。在步驟S92之后，流程返回至步驟S79—1。
因此，根據(jù)該實(shí)施例，在穩(wěn)定跟蹤進(jìn)入目標(biāo)的同時(shí)可以通過變焦，使得變焦設(shè)定值逐漸接近目標(biāo)值同時(shí)以與第十七實(shí)施例相似刷新參考圖象數(shù)據(jù)，在錄像機(jī)201上記錄進(jìn)入目標(biāo)的近視圖象。因此，當(dāng)該實(shí)施例用于報(bào)警系統(tǒng)時(shí)，可以記錄進(jìn)入目標(biāo)的近視圖，從而改善報(bào)警系統(tǒng)的性能。
圖64為一個(gè)系統(tǒng)框圖，顯示了本發(fā)明的局部區(qū)域圖象跟蹤裝置的的第十九實(shí)施例。在圖64中，與圖58相同的部件用相同的標(biāo)號(hào)表示并略去其說明。在該實(shí)例中，進(jìn)入目標(biāo)的近視圖通過2個(gè)攝像機(jī)的變焦機(jī)構(gòu)被記錄。
在該實(shí)施例中，除了攝像機(jī)501之外，還提供了具有變焦機(jī)構(gòu)的圖象拾取裝置(變焦攝像機(jī))501—1，如圖64所示。變焦攝像機(jī)501—1被設(shè)置在攝像機(jī)座209—1上。控制計(jì)算機(jī)212通過攝像機(jī)座控制器208—1執(zhí)行變焦設(shè)定和變焦攝像機(jī)501—1的位置控制。除了攝像機(jī)座控制器208—1，攝像機(jī)座209—1，變焦攝像機(jī)501—1，其余部分與圖58相同。
圖65為一個(gè)流程圖，顯示了本發(fā)明的局部區(qū)域圖象跟蹤裝置十九實(shí)施例的操作。在該實(shí)施例中。在圖65中，與圖61相同的步驟用相同的標(biāo)號(hào)表示并略去其說明。
在圖65中，步驟S71至87與圖61所示的相同。在該實(shí)施例中，步驟S94在步驟S83之后執(zhí)行。步驟S94通過控制計(jì)算機(jī)212控制攝像機(jī)座控制器208—1，使得攝像機(jī)座控制器208—1輸出運(yùn)動(dòng)指令，用于根據(jù)變焦設(shè)定(變焦比)控制變焦攝像機(jī)501—1的攝像機(jī)座209—1。在步驟S94之后，流程返回至步驟S79—1。
于是，根據(jù)該實(shí)施例，對(duì)進(jìn)入目標(biāo)拉近的變焦攝像機(jī)501—1的位置可以被控制同時(shí)對(duì)由拉遠(yuǎn)的攝像機(jī)501拾取的輸入圖象中的進(jìn)入目標(biāo)進(jìn)行跟蹤。因此，即使進(jìn)入目標(biāo)速度很高，也可以穩(wěn)定地跟蹤進(jìn)入目標(biāo)而不會(huì)失去跟蹤。由錄像機(jī)201可以記錄進(jìn)入目標(biāo)的近視圖。當(dāng)該實(shí)施例用于報(bào)警系統(tǒng)時(shí)，可以記錄進(jìn)入目標(biāo)的正面的近視圖來進(jìn)一步改善報(bào)警系統(tǒng)的性能。
圖66為一個(gè)流程圖，顯示了本發(fā)明的局部區(qū)域圖象跟蹤裝置的第二十實(shí)施例的操作。在該實(shí)施例中，其結(jié)構(gòu)與圖62相同。在圖66中，與圖63相同的部件用相同的標(biāo)號(hào)表示并略去其說明。
在圖66中，步驟S71至87與圖63所示的相同。通過有限地控制變焦可以得到拉近的圖象。
在圖66所示的步驟S83之后，步驟S101通過控制計(jì)算機(jī)212確定輸入圖象數(shù)據(jù)的記錄是否由錄像機(jī)201開始。如果確定結(jié)果為是，步驟S102確定變焦設(shè)定值是否小于目標(biāo)值，如果在步驟S102的確定為是，步驟S103控制變焦控制器221，以便變焦拉近，流程返回至步驟S79—1。如果在步驟S102的確定結(jié)果為否，步驟S104開始由錄像機(jī)201記錄輸入圖象數(shù)據(jù)，流程返回至步驟S79—1。
如果在步驟S101的確定結(jié)果為否，步驟S105確定錄像機(jī)201進(jìn)行的輸入圖象數(shù)據(jù)的記錄是否結(jié)束，如果在步驟S105的確定結(jié)果為否，流程返回至步驟S79—1。如果確定結(jié)果為是，步驟S106在控制計(jì)算機(jī)212中確定變焦設(shè)定值是否大于一個(gè)初始值。如果是步驟S107控制變焦控制器221以便減少變焦設(shè)置值，流程返回至步驟S79—1。另外，如果在步驟S106的確定結(jié)果為否，流程返回至步驟S79—1。
由錄像機(jī)201對(duì)輸入圖象的記錄的開始和結(jié)束是以預(yù)定的時(shí)間間隔進(jìn)行的。在該實(shí)例中，輸入圖象數(shù)據(jù)是記錄預(yù)定的時(shí)間的。
下面參照?qǐng)D67—69描述本發(fā)明的局部區(qū)域圖象跟蹤裝置的二十一實(shí)施例。在該實(shí)施例中，其結(jié)構(gòu)與圖58相同并略去其說明圖67A和67B解釋了標(biāo)記處理過程，圖68為一個(gè)流程圖解釋了標(biāo)記處理過程。圖69為流程圖，用于解釋實(shí)施例21的操作。在該實(shí)施例中，多個(gè)進(jìn)入目標(biāo)被檢測(cè)和跟蹤。
首先，通過參照?qǐng)D67A，67B和68描述標(biāo)記處理。當(dāng)多個(gè)進(jìn)入目標(biāo)存在時(shí)，對(duì)每個(gè)進(jìn)入目標(biāo)進(jìn)行標(biāo)記，以便識(shí)別每個(gè)進(jìn)入目標(biāo)。在圖67A中，陰影所示區(qū)域表示在輸入圖象中產(chǎn)生了運(yùn)動(dòng)，即進(jìn)入目標(biāo)。通過將所述區(qū)分成獨(dú)立運(yùn)動(dòng)區(qū)來執(zhí)行標(biāo)記處理，將分開的區(qū)作為獨(dú)立的進(jìn)入目標(biāo)，如圖67B所示。結(jié)果，標(biāo)記A至E被分配給每個(gè)進(jìn)入目標(biāo)，如圖67B所示。
圖68所示的標(biāo)記處理由如圖58所示的控制計(jì)算機(jī)212執(zhí)行。在圖68中，步驟S501最初設(shè)置運(yùn)動(dòng)目標(biāo)號(hào)(標(biāo)記)L為“1”，區(qū)域i和j為“0”。步驟S502確定區(qū)(i，j)是否產(chǎn)生運(yùn)動(dòng)。檢測(cè)過程可以采用前述任一方法。如果在步驟S502的確定結(jié)果為是，步驟S503設(shè)置區(qū)(i，j)的標(biāo)記L，K為“0”，l為“0”，“計(jì)數(shù)”為“0”。步驟S504確定區(qū)(k，l)的標(biāo)記是否為L(zhǎng)。如果是，步驟S505在區(qū)(k－1，l－1)產(chǎn)生運(yùn)動(dòng)并標(biāo)記該區(qū)。如果在步驟S505的確定結(jié)果為是，步驟S506設(shè)置區(qū)(K－1，l－1)的標(biāo)記為L(zhǎng)，對(duì)“計(jì)數(shù)”增加“1”。如果在步驟S504的確定結(jié)果為否，流程進(jìn)至步驟S521，將在下面描述。
如果在步驟S505的確定結(jié)果為否，或在步驟S506之后，步驟S507確定在區(qū)(k－1，l)是否產(chǎn)生運(yùn)動(dòng)，并且該區(qū)被去除標(biāo)記。如果在步驟S507的確定結(jié)果為是，步驟S508設(shè)置區(qū)(k－1，l)的標(biāo)記為L(zhǎng)，對(duì)“計(jì)數(shù)”增加“1”如果在步驟S507的確定結(jié)果為否，或在步驟S508之后，步驟S509確定在區(qū)(k－1，l＋1)是否產(chǎn)生運(yùn)動(dòng)，并且該區(qū)被去除標(biāo)記。如果在步驟S509的確定結(jié)果為是，步驟S510設(shè)置區(qū)(k－1，l＋1)的標(biāo)記為L(zhǎng)，對(duì)“計(jì)數(shù)”增加“1”。
如果在步驟S509的確定結(jié)果為否，或在步驟S510之后，步驟S511確定在區(qū)(k，l－1)是否產(chǎn)生運(yùn)動(dòng)，并且該區(qū)被去除標(biāo)記。如果在步驟S511的確定結(jié)果為是，步驟S512設(shè)置區(qū)(k，l－1)的標(biāo)記為L(zhǎng)，對(duì)“計(jì)數(shù)”增加“1”。如果在步驟S511的確定結(jié)果為否，或在步驟S512之后，步驟S513確定在區(qū)(k，l＋1)是否產(chǎn)生運(yùn)動(dòng)，并且該區(qū)被去除標(biāo)記。如果在步驟S513的確定結(jié)果為是，步驟S514設(shè)置區(qū)(k，l＋1)的標(biāo)記為L(zhǎng)，對(duì)“計(jì)數(shù)”增加“1”。
如果在步驟S513的確定結(jié)果為否，或在步驟S514之后，步驟S515確定在區(qū)(k＋1，l－1)是否產(chǎn)生運(yùn)動(dòng)，并且該區(qū)被去除標(biāo)記。如果在步驟S513的確定結(jié)果為是，步驟S51 6設(shè)置區(qū)(k＋1，l－1)的標(biāo)記為L(zhǎng)，對(duì)“計(jì)數(shù)”增加“1”。如果在步驟S515的確定結(jié)果為否，或在步驟S516之后，步驟S517確定在區(qū)(k＋1，l)是否產(chǎn)生運(yùn)動(dòng)，并且該區(qū)被去除標(biāo)記。如果在步驟S517的確定結(jié)果為是，步驟S518設(shè)置區(qū)(k＋1，l)的標(biāo)記為L(zhǎng)，對(duì)“計(jì)數(shù)”增加“1”。
如果在步驟S517的確定結(jié)果為否或在步驟S518之后，步驟S519確定在區(qū)域(K＋1，l＋1)是否產(chǎn)生運(yùn)動(dòng)并且該區(qū)被去除標(biāo)記。如果在步驟S519的確定結(jié)果為是，步驟S520設(shè)置區(qū)域(K＋1，l＋1)的標(biāo)記為L(zhǎng)，并對(duì)“計(jì)數(shù)”增加“1”。如果在步驟S519的確定結(jié)果為否或在步驟S520之后，步驟S521對(duì)l增加“1”，在步驟S522確定是否l等于NUM—X。如果在步驟S522的結(jié)果為否，流程返回步驟S504。如果結(jié)果為是，步驟S523設(shè)置l為“0”并對(duì)K增加“1”。此外，步驟S524確定是否K等于NUM—Y，如果確定結(jié)果為否，流程返回至步驟S504。如果確定結(jié)果為是，在步驟S525，確定是否“計(jì)數(shù)”等于“0”，如果在步驟S525確定結(jié)果為是，步驟S526對(duì)L增加“1”。如果確定結(jié)果為否，流程返回至步驟S503。
另一方面，如果在步驟S502的確定結(jié)果為否或在步驟S526之后，步驟S527對(duì)j增加“1”，在步驟S528確定是否j等于NUM—X。如果在步驟S5528的結(jié)果為是，流程返回步驟S504。如果結(jié)果為是，步驟S529設(shè)置j為“0”并對(duì)i增加“1”。步驟S530確定是否i等于NUM—Y，如果確定結(jié)果為是，流程結(jié)束。如果在步驟S528或S530確定結(jié)果為是，流程返回至步驟S502。
利用這種方式，可以自動(dòng)地標(biāo)記存在運(yùn)動(dòng)的輸入圖象中的每個(gè)區(qū)域。
圖69為一個(gè)流程圖，顯示了實(shí)施例21的操作。在圖69中，與圖59中相同的步驟用相同的標(biāo)號(hào)表示并略去其說明。在該例中，假定攝像機(jī)501是固定的，進(jìn)入到固定攝像機(jī)的視域的物體目標(biāo)被自動(dòng)跟蹤。因此可以省略圖58中的攝像機(jī)座控制器208和攝像機(jī)座209及運(yùn)動(dòng)裝置如馬達(dá)。具有廣角鏡頭和寬視域的攝像機(jī)可以作為固定的攝像機(jī)501。
在圖69中，當(dāng)從步驟S73上面的步驟S71開始執(zhí)行時(shí)，步驟S111在控制計(jì)算機(jī)212中對(duì)產(chǎn)生運(yùn)動(dòng)的輸入圖象的每個(gè)區(qū)域執(zhí)行標(biāo)記處理，從而將輸入圖象分成多個(gè)進(jìn)入的目標(biāo)。下面，步驟S112在控制計(jì)算機(jī)212中確定是否產(chǎn)生運(yùn)動(dòng)的區(qū)的數(shù)字大于門限值。如果不大于，步驟S113從控制計(jì)算機(jī)212控制和轉(zhuǎn)換輸出開關(guān)211，流程返回至步驟S72另一方面，如果在步驟S112中的確定結(jié)果為是，步驟S114從控制計(jì)算機(jī)212控制錄像機(jī)201開始記錄輸入圖象數(shù)據(jù)，并從報(bào)警單元205產(chǎn)生報(bào)警。步驟S115在控制計(jì)算機(jī)212中存儲(chǔ)用于每個(gè)進(jìn)入目標(biāo)或運(yùn)動(dòng)目標(biāo)(該產(chǎn)生運(yùn)動(dòng)的區(qū)域數(shù)字大于門限值)的跟蹤處理的參考圖象的位置，作為檢索圖象地址和參考圖象地址的初始值。步驟S116從控制計(jì)算機(jī)212中控制和轉(zhuǎn)換輸入開關(guān)210，步驟S117在檢索圖象存儲(chǔ)器503中存儲(chǔ)輸入圖象數(shù)據(jù)。步驟S118在控制計(jì)算機(jī)212中設(shè)置i為“0”。
步驟S119從控制計(jì)算機(jī)212中設(shè)置被存儲(chǔ)在地址產(chǎn)生器506B中的用于進(jìn)入目標(biāo)(i)的檢索圖象地址和參考圖象地址，相關(guān)性運(yùn)算單元505進(jìn)行相關(guān)性運(yùn)算。此外，步驟S120從相關(guān)值峰值位置檢測(cè)器507中得出進(jìn)入目標(biāo)(i)的運(yùn)動(dòng)量，通過在控制計(jì)算機(jī)212中將該運(yùn)動(dòng)量加到進(jìn)入目標(biāo)(i)的檢索圖象地址，步驟S121對(duì)檢索圖象地址進(jìn)行刷新。在步驟S122對(duì)i增加“1”，步驟S123確定是否i小于進(jìn)入目標(biāo)的數(shù)字。如果是，流程返回至步驟S119，如果不是，流程返回至步驟S117。
根據(jù)該實(shí)施例，可以對(duì)攝像機(jī)視域內(nèi)的多個(gè)進(jìn)入目標(biāo)(運(yùn)動(dòng)目標(biāo))的每個(gè)執(zhí)行跟蹤處理。
下面參照?qǐng)D70描述本發(fā)明的局部區(qū)域圖象跟蹤裝置的實(shí)施例22。在該實(shí)施例中，局部區(qū)域圖象跟蹤裝置于圖58的相同。所以略去其圖示及說明。圖70為該實(shí)施例的操作流程圖。其中與圖69中相同的步驟用相同的標(biāo)號(hào)表示并略去其說明。
在該例中，假定攝像機(jī)501是固定的，進(jìn)入到固定攝像機(jī)的視域的物體目標(biāo)被自動(dòng)跟蹤。因此可以省略圖58中的攝像機(jī)座控制器208和攝像機(jī)座209及運(yùn)動(dòng)裝置如馬達(dá)。具有廣角鏡頭和寬視域的攝像機(jī)可以作為固定的攝像機(jī)501。
在圖70中，步驟S71至S122與圖69中的相同。在圖70中，如果在步驟S123中的確定結(jié)果為否則流程進(jìn)至步驟S125。在步驟S125中，在控制計(jì)算機(jī)212中確定是否存在相關(guān)值峰值大于門限值的進(jìn)入目標(biāo)。如果確定結(jié)果為否，流程返回至步驟S117。如果確定結(jié)果為是，步驟S126在控制計(jì)算機(jī)121中刷新每個(gè)進(jìn)入目標(biāo)的參考圖象地址為目前檢索圖象地址。此外，步驟S127在控制計(jì)算機(jī)212中轉(zhuǎn)換和控制輸入開關(guān)210和輸出開關(guān)211，流程返回至步驟S117。
根據(jù)該實(shí)施例，即使只有一個(gè)具有較差相關(guān)值的進(jìn)入目標(biāo)，也可以跟蹤每個(gè)進(jìn)入目標(biāo)，因?yàn)閰⒖紙D象已對(duì)每個(gè)屏幕刷新，即所有的進(jìn)入目標(biāo)的參考圖象都被刷新。
下面參照?qǐng)D71描述本發(fā)明的局部區(qū)域圖象跟蹤裝置的實(shí)施例23。在該實(shí)施例中，局部區(qū)域圖象跟蹤裝置與圖58的相同。所以略去其圖示及說明。圖71為該實(shí)施例的操作流程圖。其中與圖69中相同的步驟用相同的標(biāo)號(hào)表示并略去其說明。
在該實(shí)施例中，攝像機(jī)501可以由攝像機(jī)座控制器208移動(dòng)，攝像機(jī)座208具有移動(dòng)裝置如馬達(dá)。
在圖71中，在步驟S114之后，步驟S115—1利用控制計(jì)算機(jī)212針對(duì)具有最大區(qū)域數(shù)字的進(jìn)入目標(biāo)在地址產(chǎn)生器506B中設(shè)置參考圖象地址用于跟蹤處理，所述區(qū)中產(chǎn)生有運(yùn)動(dòng)，作為檢索圖象地址和參考圖象地址。步驟S116和117于圖69中的相同。在步驟S117之后，步驟S131從控制計(jì)算機(jī)212控制地址產(chǎn)生器506B，相關(guān)性運(yùn)算單元505通過從檢索圖象存儲(chǔ)器503和參考圖象存儲(chǔ)器207—1或207—2中讀出檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)執(zhí)行相關(guān)性運(yùn)算。步驟S132通過相關(guān)值峰值為位置檢測(cè)器507得出進(jìn)入目標(biāo)的運(yùn)動(dòng)量，步驟S133將該運(yùn)動(dòng)量加到檢索圖象地址并將該相加值設(shè)置到地址產(chǎn)生器506B。步驟S134從控制計(jì)算機(jī)212中輸出運(yùn)動(dòng)指令，用于根據(jù)運(yùn)動(dòng)量通過攝像機(jī)座控制器208控制攝像機(jī)座209，使得進(jìn)入目標(biāo)處于屏幕的中心位置，流程返回至步驟S117。
根據(jù)該實(shí)施例，被檢測(cè)的多個(gè)進(jìn)入目標(biāo)，即，具有檢測(cè)到運(yùn)動(dòng)的區(qū)域的最大總和進(jìn)入目標(biāo)，通過控制攝像機(jī)座209被自動(dòng)選擇和自動(dòng)跟蹤。因此，該實(shí)施例特別適合用于不被察覺的監(jiān)視系統(tǒng)。
下面參照?qǐng)D72描述本發(fā)明的局部區(qū)域圖象跟蹤裝置的實(shí)施例24。在該實(shí)施例中，局部區(qū)域圖象跟蹤裝置與圖64的相同。所以略去其圖示及說明。圖72為該實(shí)施例的操作流程圖。其中與圖69中相同的步驟用相同的標(biāo)號(hào)表示并略去其說明。
在實(shí)施例中，使用了兩個(gè)攝像機(jī)501和501—1。跟蹤最好由具有寬視域的攝像機(jī)501執(zhí)行同時(shí)刷新多個(gè)進(jìn)入圖象的參考圖象，并且具體的進(jìn)入目標(biāo)被相繼地在變焦攝像機(jī)501—1上被拾取。
在圖72中，如果在步驟S112中的確定結(jié)果為是，步驟S141在控制計(jì)算機(jī)212或連接到控制計(jì)算機(jī)212的存儲(chǔ)器中針對(duì)具有區(qū)域數(shù)字大于門限值的進(jìn)入目標(biāo)(運(yùn)動(dòng)目標(biāo))設(shè)置參考圖象(模板圖象)位置，用于跟蹤處理，所述區(qū)中產(chǎn)生有運(yùn)動(dòng)，作為檢索圖象地址和參考圖象地址的初始值。步驟S142從控制計(jì)算機(jī)212中控制和轉(zhuǎn)換輸入開關(guān)210，并設(shè)置j為“0”。步驟S143在檢索圖象存儲(chǔ)器503中存儲(chǔ)輸入圖象數(shù)據(jù)并設(shè)置i為“0”。
步驟S144從控制計(jì)算機(jī)212中設(shè)置被存儲(chǔ)在地址產(chǎn)生器506B中的用于進(jìn)入目標(biāo)(i)的檢索圖象地址和參考圖象地址，相關(guān)性運(yùn)算單元505進(jìn)行相關(guān)性運(yùn)算。此外，步驟S145從相關(guān)值峰值位置檢測(cè)器507中得出進(jìn)入目標(biāo)(i)的運(yùn)動(dòng)量，步驟S146通過在控制計(jì)算機(jī)212中將該運(yùn)動(dòng)量加到進(jìn)入目標(biāo)(i)的檢索圖象地址，刷新檢索圖象地址，在步驟S147對(duì)i增加“1”，步驟S148確定是否i小于進(jìn)入目標(biāo)的數(shù)字。如果是，流程返回至步驟S144，如果不是，流程進(jìn)至步驟S149。步驟S149確定是否存在相關(guān)值峰值大于門限值的目標(biāo)如果確定結(jié)果為否，流程進(jìn)至步驟S143。如果確定結(jié)果為是，流程進(jìn)至步驟S150。
步驟S150刷新每個(gè)進(jìn)入目標(biāo)的參考圖象地址到控制計(jì)算機(jī)212中目前檢索圖象地址。步驟S151從控制計(jì)算機(jī)212控制和轉(zhuǎn)換輸入開關(guān)210和輸出開關(guān)211，步驟S512確定是否圖象拾取時(shí)間結(jié)束。如果是，步驟S153對(duì)j增加“1”，并在控制計(jì)算機(jī)212中確定是否j小于進(jìn)入目標(biāo)數(shù)。如果在步驟S154中的確定結(jié)果為是，步驟S155從控制計(jì)算機(jī)212中輸出運(yùn)動(dòng)指令，用于控制攝像機(jī)座209—1，使得變焦攝像機(jī)501—1面對(duì)運(yùn)動(dòng)目標(biāo)(i)的方向，以便開始圖象拾取。如果在步驟S152和154中的確定結(jié)果為否，或在步驟S155之后，流程返回至步驟S143。
根據(jù)該實(shí)施例，可以對(duì)攝像機(jī)視域內(nèi)的多個(gè)進(jìn)入目標(biāo)(運(yùn)動(dòng)目標(biāo))的每個(gè)執(zhí)行跟蹤處理。此外，可以由變焦攝像機(jī)按順序地對(duì)拾取每個(gè)進(jìn)入目標(biāo)的圖象。因此，可以以滿意的方式監(jiān)視多個(gè)進(jìn)入的目標(biāo)。
在上述的每個(gè)實(shí)施例中，對(duì)于局部區(qū)域圖象跟蹤裝置，除了攝像機(jī)，攝像機(jī)座，A/D轉(zhuǎn)換器，錄像機(jī)和報(bào)警單元以外的部件都可以制成半導(dǎo)體封裝形式或半導(dǎo)體器件單元。攝像機(jī)控制器可以另外提供，A/D轉(zhuǎn)換器可以可以包含在封裝之內(nèi)。
當(dāng)然，上述第五至第二十四實(shí)施例可以任意組合。
另外，本發(fā)明并不限于上述實(shí)施例，可以作出各種改進(jìn)，而并不脫離本發(fā)明之精神。
權(quán)利要求
1.一種局部區(qū)域圖象跟蹤裝置，它通過將要跟蹤處理的檢索圖象數(shù)據(jù)與任意局部區(qū)域相關(guān)的參考圖象數(shù)據(jù)比較來連續(xù)跟蹤由檢索圖象數(shù)據(jù)表達(dá)的檢索圖象內(nèi)的任意局部區(qū)域，包括，一個(gè)圖象數(shù)據(jù)總線，用于傳送來自圖象拾取裝置的輸入圖象數(shù)據(jù)，多個(gè)相關(guān)性跟蹤處理器，并聯(lián)到圖象數(shù)據(jù)總線，針對(duì)一個(gè)檢索圖象分別可以獨(dú)立地執(zhí)行跟蹤處理，對(duì)于一個(gè)或多個(gè)檢索圖象的處理由所述多個(gè)相關(guān)性處理器分布地處理。
2.根據(jù)權(quán)利要求1的局部區(qū)域圖象跟蹤裝置，包括，至少三個(gè)圖象存儲(chǔ)器，選擇器裝置，用于選擇地轉(zhuǎn)換圖象存儲(chǔ)器到存儲(chǔ)輸入圖象數(shù)據(jù)的輸入圖象存儲(chǔ)器，一個(gè)檢索圖象存儲(chǔ)器，用于存儲(chǔ)檢索圖象數(shù)據(jù)，一個(gè)參考圖象存儲(chǔ)器，存儲(chǔ)參考圖象數(shù)據(jù)，地址產(chǎn)生裝置，用于產(chǎn)生地址，用于讀存儲(chǔ)在參考圖象存儲(chǔ)器中的參考圖象數(shù)據(jù)和存儲(chǔ)在檢索圖象存儲(chǔ)器中的檢索圖象數(shù)據(jù)；相關(guān)性運(yùn)算裝置，通過執(zhí)行相關(guān)性運(yùn)算處理，運(yùn)算指示存儲(chǔ)在參考圖象存儲(chǔ)器中的參考圖象數(shù)據(jù)和存儲(chǔ)在檢索圖象存儲(chǔ)器中的檢索圖象數(shù)據(jù)之間的相關(guān)性的相關(guān)值，峰值位置檢測(cè)裝置，用于得到來自相關(guān)性運(yùn)算裝置的相關(guān)值的峰值位置。
3.根據(jù)權(quán)利要求2的局部區(qū)域圖象跟蹤裝置，其中所述的選擇器裝置固定地控制輸入圖象數(shù)據(jù)到所述圖象存儲(chǔ)器的存儲(chǔ)順序，以便對(duì)輸入圖象的每一幀執(zhí)行跟蹤處理，檢索圖象數(shù)據(jù)的每一幀到所述圖象存儲(chǔ)器存儲(chǔ)，在任意幀間隔對(duì)參考圖象數(shù)據(jù)的刷新。
4.根據(jù)權(quán)利要求2的局部區(qū)域圖象跟蹤裝置，其中提供了至少四個(gè)圖象存儲(chǔ)器，圖象存儲(chǔ)器管理裝置，所述的選擇器裝置固定地控制輸入圖象數(shù)據(jù)到所述圖象存儲(chǔ)器的存儲(chǔ)順序，以便對(duì)輸入圖象的每一幀執(zhí)行跟蹤處理，檢索圖象數(shù)據(jù)的每一幀到所述圖象存儲(chǔ)器存儲(chǔ)，多個(gè)參考圖象數(shù)據(jù)到多個(gè)圖象存儲(chǔ)器的存儲(chǔ)，在任意幀間隔對(duì)參考圖象數(shù)據(jù)的刷新。
5.根據(jù)權(quán)利要求2的局部區(qū)域圖象跟蹤裝置，其中所述的相關(guān)性運(yùn)算裝置對(duì)16×16象素的參考圖象和在大于參考圖象的檢索圖象內(nèi)的多個(gè)局部區(qū)域圖象執(zhí)行相關(guān)性運(yùn)算得出相關(guān)值。
6.根據(jù)權(quán)利要求1的局部區(qū)域圖象跟蹤裝置，包括先入先出裝置，用于暫時(shí)和相繼地存儲(chǔ)從所述圖象存儲(chǔ)器讀出的檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)，所述相關(guān)性運(yùn)算裝置根據(jù)從先入先出裝置讀出的檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)，通過執(zhí)行相關(guān)性運(yùn)算處理，以并行的方式，執(zhí)行檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)的讀出和相關(guān)性運(yùn)算處理。
7.根據(jù)權(quán)利要求1的局部區(qū)域圖象跟蹤裝置，其中進(jìn)一步包括一個(gè)控制計(jì)算機(jī)；連接到所述控制計(jì)算機(jī)的控制計(jì)算機(jī)總線，所述相關(guān)性運(yùn)算裝置并聯(lián)到，所述控制計(jì)算機(jī)通過所述控制計(jì)算機(jī)總線執(zhí)行有關(guān)參考圖象數(shù)據(jù)的刷新，每個(gè)所述相關(guān)性跟蹤處理器的選擇和轉(zhuǎn)換的控制。
8.根據(jù)權(quán)利要求7的局部區(qū)域圖象跟蹤裝置，其中每個(gè)相關(guān)性跟蹤處理器包括至少三個(gè)圖象存儲(chǔ)器，選擇器裝置，用于選擇地轉(zhuǎn)換圖象存儲(chǔ)器到存儲(chǔ)輸入圖象數(shù)據(jù)的輸入圖象存儲(chǔ)器，一個(gè)檢索圖象存儲(chǔ)器，用于存儲(chǔ)檢索圖象數(shù)據(jù)，一個(gè)參考圖象存儲(chǔ)器，存儲(chǔ)參考圖象數(shù)據(jù)，相關(guān)性運(yùn)算裝置，通過執(zhí)行相關(guān)性運(yùn)算處理，運(yùn)算指示存儲(chǔ)在參考圖象存儲(chǔ)器中的參考圖象數(shù)據(jù)和存儲(chǔ)在檢索圖象存儲(chǔ)器中的檢索圖象數(shù)據(jù)之間的相關(guān)性的相關(guān)值，峰值位置檢測(cè)裝置，用于得到來自相關(guān)性運(yùn)算裝置的相關(guān)值的峰值位置。控制計(jì)算機(jī)接口，連接于至少所述的選擇器裝置和控制計(jì)算機(jī)總線，在每個(gè)所述相關(guān)性跟蹤處理器和所述控制計(jì)算機(jī)之間提供接口。
9.根據(jù)權(quán)利要求8的局部區(qū)域圖象跟蹤裝置，其中所述的控制計(jì)算機(jī)通過控制計(jì)算機(jī)總線對(duì)控制計(jì)算機(jī)接口指令以任意時(shí)間刷新參考圖象數(shù)據(jù)。
10.根據(jù)權(quán)利要求8的局部區(qū)域圖象跟蹤裝置，其中所述的控制計(jì)算機(jī)通過控制計(jì)算機(jī)總線對(duì)控制計(jì)算機(jī)接口指令以任意時(shí)間從檢索圖象存儲(chǔ)器和參考圖象存儲(chǔ)器讀出局部區(qū)域。
11.根據(jù)權(quán)利要求8的局部區(qū)域圖象跟蹤裝置，其中所述控制計(jì)算機(jī)接口包括存儲(chǔ)裝置，用于存儲(chǔ)來自相關(guān)性運(yùn)算裝置的至少一個(gè)相關(guān)值和來自所述峰值位置檢測(cè)裝置的峰值位置，所述的控制計(jì)算機(jī)通過控制計(jì)算機(jī)總線讀取存儲(chǔ)在所述存儲(chǔ)器中的信息。
12.根據(jù)權(quán)利要求7的局部區(qū)域圖象跟蹤裝置，還包括先入先出裝置，用于暫時(shí)和相繼地存儲(chǔ)從所述圖象存儲(chǔ)器讀出的檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)，所述相關(guān)性運(yùn)算裝置根據(jù)從先入先出裝置讀出的檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)，通過執(zhí)行相關(guān)性運(yùn)算處理，以并行的方式，執(zhí)行檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)的讀出和相關(guān)性運(yùn)算處理。
13.根據(jù)權(quán)利要求8的局部區(qū)域圖象跟蹤裝置，其中所述的控制計(jì)算機(jī)接口包括先入先出裝置，用于相繼地存儲(chǔ)來自控制計(jì)算機(jī)的指令，每個(gè)所述相關(guān)性運(yùn)算裝置根據(jù)先入先出裝置中存儲(chǔ)的指令，執(zhí)行相關(guān)性運(yùn)算處理，無需所述控制計(jì)算機(jī)的干預(yù)。
14.根據(jù)權(quán)利要求13的局部區(qū)域圖象跟蹤裝置，其中所述的控制計(jì)算機(jī)接口包括第二先入先出裝置，用于相繼地存儲(chǔ)來自所述相關(guān)性運(yùn)算裝置的相關(guān)值和來自所述峰值位置檢測(cè)裝置的峰值位置，所述控制計(jì)算機(jī)以任意時(shí)間讀取存儲(chǔ)在所述第二先入先出裝置中的信息。
15.根據(jù)權(quán)利要求8的局部區(qū)域圖象跟蹤裝置，其中所述的控制計(jì)算機(jī)接口包括存儲(chǔ)器裝置，用于存儲(chǔ)在跟蹤處理中從相關(guān)性運(yùn)算裝置得到的相關(guān)值分布；加法裝置，用于相繼地加在每個(gè)跟蹤處理中得到的相關(guān)值分布。
16.根據(jù)權(quán)利要求15的局部區(qū)域圖象跟蹤裝置，其中所述的控制計(jì)算機(jī)接口由所述的控制計(jì)算機(jī)的指令控制，是否在所述加法裝置中加上在每個(gè)跟蹤處理中得到的相關(guān)值分布。
17.根據(jù)權(quán)利要求8的局部區(qū)域圖象跟蹤裝置，其中所述的控制計(jì)算機(jī)控制所述的控制計(jì)算機(jī)接口，對(duì)具有任意幅度的參考圖象通過對(duì)所有作為跟蹤處理結(jié)果的相關(guān)值分布相加執(zhí)行跟蹤處理，所述跟蹤處理是對(duì)具有固定尺寸的相鄰參考圖象進(jìn)行的，并得出相加的相關(guān)值分布的峰值位置。
18.根據(jù)權(quán)利要求1的局部區(qū)域圖象跟蹤裝置，還包括轉(zhuǎn)換裝置，將多個(gè)比特的來自圖象拾取裝置的輸入圖象數(shù)據(jù)轉(zhuǎn)換為適于所述相關(guān)性運(yùn)算裝置的多個(gè)處理比特。
19.根據(jù)權(quán)利要求18的局部區(qū)域圖象跟蹤裝置，其中所述的轉(zhuǎn)換裝置將m比特彩色圖象數(shù)據(jù)轉(zhuǎn)換成n比特偽彩色圖象數(shù)據(jù)，這里，m＞n。
20.一種局部區(qū)域圖象跟蹤裝置，它通過將要跟蹤處理的檢索圖象數(shù)據(jù)與任意局部區(qū)域相關(guān)的參考圖象數(shù)據(jù)比較來連續(xù)跟蹤由檢索圖象數(shù)據(jù)表達(dá)的檢索圖象內(nèi)的任意局部區(qū)域，包括，至少三個(gè)圖象存儲(chǔ)器，選擇器裝置，用于選擇地轉(zhuǎn)換圖象存儲(chǔ)器到存儲(chǔ)輸入圖象數(shù)據(jù)的輸入圖象存儲(chǔ)器，一個(gè)檢索圖象存儲(chǔ)器，用于存儲(chǔ)檢索圖象數(shù)據(jù)，一個(gè)參考圖象存儲(chǔ)器，存儲(chǔ)參考圖象數(shù)據(jù)，相關(guān)性運(yùn)算裝置，通過執(zhí)行相關(guān)性運(yùn)算處理，運(yùn)算指示存儲(chǔ)在參考圖象存儲(chǔ)器中的參考圖象數(shù)據(jù)和存儲(chǔ)在檢索圖象存儲(chǔ)器中的檢索圖象數(shù)據(jù)之間的相關(guān)性的相關(guān)值，峰值位置檢測(cè)裝置，用于得到來自相關(guān)性運(yùn)算裝置的相關(guān)值的峰值位置。圖象存儲(chǔ)器管理裝置，根據(jù)從所述的峰值位置檢測(cè)裝置得到的峰值位置控制所述的選擇器裝置并相繼地在所述圖象存儲(chǔ)器中存儲(chǔ)參考圖象的歷史，根據(jù)存儲(chǔ)在檢索圖象存儲(chǔ)器的相關(guān)值的峰值位置的歷史，刷新參考圖象位置。
21.根據(jù)權(quán)利要求20的局部區(qū)域圖象跟蹤裝置，還包括相關(guān)性運(yùn)算裝置，根據(jù)從所述峰值位置檢測(cè)裝置得到的峰值位置，通過所述圖象存儲(chǔ)器管理裝置將具有最大相關(guān)值的圖象存儲(chǔ)器設(shè)置為參考圖象存儲(chǔ)器，刷新參考圖象數(shù)據(jù)。
22.根據(jù)權(quán)利要求20的局部區(qū)域圖象跟蹤裝置，還包括相關(guān)性評(píng)測(cè)裝置，根據(jù)從所述峰值位置檢測(cè)裝置得到的峰值位置，評(píng)測(cè)存儲(chǔ)在參考圖象存儲(chǔ)器內(nèi)的參考圖象數(shù)據(jù)的相關(guān)性，并根據(jù)評(píng)測(cè)的相關(guān)值，刷新參考圖象數(shù)據(jù)。
23.根據(jù)權(quán)利要求22的局部區(qū)域圖象跟蹤裝置，其中只有當(dāng)在跟蹤過程中，相關(guān)值小于或等于門限值，所述的相關(guān)性評(píng)測(cè)裝置刷新參考圖象數(shù)據(jù)到最近的參考圖象數(shù)據(jù)。
24.根據(jù)權(quán)利要求22的局部區(qū)域圖象跟蹤裝置，還包括相關(guān)性比較裝置，只有當(dāng)相關(guān)性評(píng)測(cè)裝置檢測(cè)到在跟蹤過程中相關(guān)值小于預(yù)定的門限值時(shí)，根據(jù)從所述峰值位置檢測(cè)裝置得到的峰值位置，通過所述圖象存儲(chǔ)器管理裝置將存儲(chǔ)具有最大相關(guān)值的參考圖象數(shù)據(jù)的圖象存儲(chǔ)器設(shè)置為參考圖象存儲(chǔ)器，刷新參考圖象數(shù)據(jù)。
25.一種局部區(qū)域圖象跟蹤裝置，它通過將要跟蹤處理的檢索圖象數(shù)據(jù)與任意局部區(qū)域相關(guān)的參考圖象數(shù)據(jù)比較來連續(xù)跟蹤由檢索圖象數(shù)據(jù)表達(dá)的檢索圖象內(nèi)的任意局部區(qū)域，包括，存儲(chǔ)器裝置，用于存儲(chǔ)至少檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)，參考圖象數(shù)據(jù)產(chǎn)生裝置，用于自動(dòng)從輸入圖象數(shù)據(jù)中自動(dòng)產(chǎn)生參考圖象數(shù)據(jù)，地址產(chǎn)生裝置，用于產(chǎn)生用于從存儲(chǔ)器裝置中讀取檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)的地址，相關(guān)性運(yùn)算裝置，用于通過執(zhí)行相關(guān)性運(yùn)算處理，運(yùn)算指示存儲(chǔ)在參考圖象存儲(chǔ)器中的參考圖象數(shù)據(jù)和存儲(chǔ)在檢索圖象存儲(chǔ)器中的檢索圖象數(shù)據(jù)之間的相關(guān)性的相關(guān)值，控制裝置，用于輸出運(yùn)動(dòng)指令，通過運(yùn)動(dòng)裝置移動(dòng)圖象拾取裝置，用于根據(jù)從峰值位置檢測(cè)裝置得到的峰值位置跟蹤任意的局部區(qū)域。
26.根據(jù)權(quán)利要求25的局部區(qū)域圖象跟蹤裝置，其中所述的存儲(chǔ)器裝置存儲(chǔ)輸入圖象數(shù)據(jù)，所述參考圖象數(shù)據(jù)產(chǎn)生裝置比較輸入圖象數(shù)據(jù)和目前背景圖象數(shù)據(jù)并根據(jù)比較的圖象數(shù)據(jù)之間的差產(chǎn)生參考圖象數(shù)據(jù)。
27.根據(jù)權(quán)利要求25的局部區(qū)域圖象跟蹤裝置，其中所述參考圖象數(shù)據(jù)產(chǎn)生裝置以預(yù)定的時(shí)間將輸入圖象數(shù)據(jù)分成多個(gè)區(qū)，在所述的相關(guān)性運(yùn)算裝置中對(duì)每個(gè)區(qū)執(zhí)行相關(guān)性運(yùn)算處理得出產(chǎn)生運(yùn)動(dòng)的區(qū)，根據(jù)產(chǎn)生運(yùn)動(dòng)的區(qū)的數(shù)目是否超過預(yù)定值，產(chǎn)生參考圖象數(shù)據(jù)。
28.根據(jù)權(quán)利要求25的局部區(qū)域圖象跟蹤裝置，其中當(dāng)相關(guān)值超過預(yù)定值時(shí)，控制裝置通過將檢索圖象數(shù)據(jù)的地址設(shè)置到所述地址產(chǎn)生裝置作為參考圖象的地址，刷新參考圖象數(shù)據(jù)。
29.根據(jù)權(quán)利要求25的局部區(qū)域圖象跟蹤裝置，其中所述的圖象拾取裝置包括變焦裝置，所述控制裝置控制所述變焦裝置的變焦值，使得任意局部區(qū)域都可以利用目前的變焦設(shè)定值逐漸拾取。
30.根據(jù)權(quán)利要求29的局部區(qū)域圖象跟蹤裝置，其中所述的控制裝置根據(jù)在任意局部區(qū)域的運(yùn)動(dòng)和變焦值輸出指示報(bào)警和輸入圖象數(shù)據(jù)記錄開始的信號(hào)。
31.根據(jù)權(quán)利要求25的局部區(qū)域圖象跟蹤裝置，其中控制裝置包括對(duì)多個(gè)局部區(qū)域分配標(biāo)記的裝置，以便識(shí)別每個(gè)局部區(qū)域，多個(gè)標(biāo)記的局部區(qū)域的最大的局部區(qū)域執(zhí)行跟蹤處理的裝置。
32.根據(jù)權(quán)利要求25的局部區(qū)域圖象跟蹤裝置，其中所述圖象拾取裝置包括第一圖象拾取裝置，可移動(dòng)地支持在所述運(yùn)動(dòng)裝置上，第一圖象拾取裝置，具有變焦裝置，所述控制裝置輸出運(yùn)動(dòng)指令控制所述第一圖象拾取裝置跟蹤任意局部區(qū)域并根據(jù)變焦比控制第二圖象拾取裝置的方向。
33.根據(jù)權(quán)利要求32的局部區(qū)域圖象跟蹤裝置，對(duì)多個(gè)局部區(qū)域分配標(biāo)記的裝置，以便識(shí)別每個(gè)局部區(qū)域，控制裝置，用于第一圖象拾取裝置，對(duì)于多個(gè)標(biāo)記的局部區(qū)域執(zhí)行跟蹤處理，并控制第二圖象拾取裝置按順序地拉近每個(gè)標(biāo)記的局部區(qū)域。
34.一種局部區(qū)域圖象跟蹤裝置，它通過將要跟蹤處理的檢索圖象數(shù)據(jù)與任意局部區(qū)域相關(guān)的參考圖象數(shù)據(jù)比較來連續(xù)跟蹤由檢索圖象數(shù)據(jù)表達(dá)的檢索圖象內(nèi)的任意局部區(qū)域，包括，存儲(chǔ)器裝置，用于存儲(chǔ)至少檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)，參考圖象數(shù)據(jù)產(chǎn)生裝置，用于自動(dòng)從輸入圖象數(shù)據(jù)中自動(dòng)產(chǎn)生與多個(gè)局部區(qū)域相關(guān)的參考圖象數(shù)據(jù)，標(biāo)號(hào)裝置，用于對(duì)多個(gè)局部區(qū)域標(biāo)號(hào)，以便識(shí)別該多個(gè)局部區(qū)域，地址產(chǎn)生裝置，用于產(chǎn)生用于從存儲(chǔ)器裝置中讀取檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)的地址，相關(guān)性運(yùn)算裝置，用于對(duì)多個(gè)標(biāo)號(hào)的局部區(qū)域的每個(gè)執(zhí)行相關(guān)性運(yùn)算處理，運(yùn)算指示存儲(chǔ)在參考圖象存儲(chǔ)器中的參考圖象數(shù)據(jù)和存儲(chǔ)在檢索圖象存儲(chǔ)器中的檢索圖象數(shù)據(jù)之間的相關(guān)性的相關(guān)值，控制裝置，用于根據(jù)從峰值位置檢測(cè)裝置得到的峰值位置跟蹤多個(gè)標(biāo)號(hào)的局部區(qū)域。
35.根據(jù)權(quán)利要求34的局部區(qū)域圖象跟蹤裝置，其中所述的存儲(chǔ)器裝置存儲(chǔ)輸入圖象數(shù)據(jù)，所述參考圖象數(shù)據(jù)產(chǎn)生裝置比較輸入圖象數(shù)據(jù)和目前背景圖象數(shù)據(jù)并根據(jù)比較的圖象數(shù)據(jù)之間的差產(chǎn)生參考圖象數(shù)據(jù)。
36.根據(jù)權(quán)利要求34的局部區(qū)域圖象跟蹤裝置，其中所述參考圖象數(shù)據(jù)產(chǎn)生裝置以預(yù)定的時(shí)間將輸入圖象數(shù)據(jù)分成多個(gè)區(qū)，在所述的相關(guān)性運(yùn)算裝置中對(duì)每個(gè)區(qū)執(zhí)行相關(guān)性運(yùn)算處理得出產(chǎn)生運(yùn)動(dòng)的區(qū)，根據(jù)產(chǎn)生運(yùn)動(dòng)的區(qū)的數(shù)目是否超過預(yù)定值，產(chǎn)生參考圖象數(shù)據(jù)。
37.根據(jù)權(quán)利要求34的局部區(qū)域圖象跟蹤裝置，其中當(dāng)相關(guān)值超過預(yù)定值時(shí)，控制裝置通過將檢索圖象數(shù)據(jù)的地址設(shè)置到所述地址產(chǎn)生裝置作為參考圖象的地址，刷新參考圖象數(shù)據(jù)。
38.根據(jù)權(quán)利要求34的局部區(qū)域圖象跟蹤裝置，其中所述的控制裝置根據(jù)在任意局部區(qū)域的運(yùn)動(dòng)和變焦值輸出指示報(bào)警和輸入圖象數(shù)據(jù)記錄開始的信號(hào)。
全文摘要
一種局部區(qū)域圖象跟蹤裝置，它通過將要跟蹤處理的檢索圖象數(shù)據(jù)與任意局部區(qū)域相關(guān)的參考圖象數(shù)據(jù)比較來連續(xù)跟蹤由檢索圖象數(shù)據(jù)表達(dá)的檢索圖象內(nèi)的任意局部區(qū)域，包括，一個(gè)圖象數(shù)據(jù)總線，用于傳送來自圖象拾取裝置的輸入圖象數(shù)據(jù)，多個(gè)相關(guān)性跟蹤處理器，并聯(lián)到圖象數(shù)據(jù)總線，針對(duì)一個(gè)檢索圖象分別可以獨(dú)立地執(zhí)行跟蹤處理，對(duì)于一個(gè)或多個(gè)檢索圖象的處理由所述多個(gè)相關(guān)性處理器分布地處理。
文檔編號(hào)G06T7/20GK1129382SQ95116558
公開日1996年8月21日 申請(qǐng)日期1995年9月20日 優(yōu)先權(quán)日1994年9月20日
發(fā)明者沢崎直之, 佐藤雅彥 申請(qǐng)人:富士通株式會(huì)社