專(zhuān)利名稱(chēng)：圖像對(duì)象處理的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對(duì)至少一個(gè)圖像進(jìn)行對(duì)象處理的方法和設(shè)備。
背景技術(shù)：
傳統(tǒng)的視頻和電視系統(tǒng)傳播在性質(zhì)上固有地是二維(2D)的視頻信號(hào)。然而，在許多應(yīng)用中希望還提供三維(3D)信息。例如，3D信息可用來(lái)增強(qiáng)對(duì)視頻信號(hào)的對(duì)象獲取和視頻壓縮。
具體地，三維視頻或電視(3DTV)作為一種增強(qiáng)用戶(hù)對(duì)可視內(nèi)容的呈現(xiàn)的經(jīng)驗(yàn)是具有前景的，以及3DTV潛在地可以與彩色電視機(jī)的引入一樣重要。
大多數(shù)市場(chǎng)感興趣的3DTV系統(tǒng)是基于重新使用現(xiàn)有的2D視頻基礎(chǔ)設(shè)施，從而允許解決與逐漸延伸(roll out)有關(guān)的最小成本和兼容性問(wèn)題。對(duì)于這些系統(tǒng)，傳播的是2D視頻，并在消費(fèi)者的位置處變換成3D視頻。
2D到3D變換處理過(guò)程把(深度)結(jié)構(gòu)添加到2D視頻，并且還可被用于視頻壓縮。然而，把2D視頻變換成包括3D信息的視頻是重大的圖像處理的挑戰(zhàn)。因此，在這個(gè)區(qū)域進(jìn)行了大量的研究，并提出了多種算法和方法以便從2D圖像提取3D信息。
為了從單鏡頭視頻得出深度或遮蔽(occlusion)關(guān)系的已知方法包括來(lái)自運(yùn)動(dòng)方法和動(dòng)態(tài)遮蔽方法的結(jié)構(gòu)。
在來(lái)自運(yùn)動(dòng)方法的結(jié)構(gòu)中，對(duì)象的各點(diǎn)在對(duì)象移動(dòng)時(shí)被跟蹤，并且被用來(lái)得出對(duì)象的3D模型。3D模型被確定為這樣的模型，它最接近地導(dǎo)致被跟蹤的點(diǎn)的被觀察到的運(yùn)動(dòng)。動(dòng)態(tài)遮蔽方法利用這樣的事實(shí)，當(dāng)不同的對(duì)象在圖像內(nèi)移動(dòng)時(shí)，遮蔽(即，在2D圖像上一個(gè)對(duì)象與另一個(gè)對(duì)象重疊)提供表明對(duì)象的相對(duì)深度的信息。
然而，來(lái)自運(yùn)動(dòng)的結(jié)構(gòu)需要存在照相機(jī)運(yùn)動(dòng)，并且不能處理獨(dú)立運(yùn)動(dòng)的對(duì)象(非靜態(tài)情景)。而且，這兩個(gè)方法都依賴(lài)于運(yùn)動(dòng)對(duì)象的存在，并且在視頻序列中只有很小的或沒(méi)有視在運(yùn)動(dòng)的情形下是無(wú)效的。
已經(jīng)提出了根據(jù)靜態(tài)特性得出深度信息的方法。
可以提供靜態(tài)信息的深度線索是相應(yīng)于對(duì)象之間交叉的T接合(T-junction)。然而，雖然長(zhǎng)時(shí)間以來(lái)使用T接合作為視覺(jué)上深度線索的可能性是已知的，但在視頻中檢測(cè)T接合的計(jì)算方法和把T接合用于自動(dòng)深度提取至今只有非常有限的成功。
對(duì)使用T接合的以前的研究主要集中在T接合檢測(cè)任務(wù)上，以及用于檢測(cè)T接合點(diǎn)的方案的例子在以下的文章中給出M.Nitzberg，D.Mumford和T.Shiota，“Filtering，Segmentation and Depth”(濾波、分段和深度)，Lecture Notes in Computer Science 662；P.Perona，“Steerable-scalable kernels for edge detection andjunction analysis”(邊緣檢測(cè)和接合分析用的可控可定標(biāo)的核心)，2nd European Conference of Computer Vision pp.3-18和VisionComputing，vol.10，pp.663-672；和L.Parida，D.Geiger，R.Hummel，“JunctionsDetection，Classification，and Reconstruction”(接合檢測(cè)、分類(lèi)和重建)，1998 IEEE Transactions on PatternAnalysis and Machine Intelligence，vol.20，no.7，pp.687-698。
此外，文件M.Nitzberg，D.Mumford和T.Shiota，“Filtering，Segmentation and Depth(濾波、分割和深度)”公開(kāi)了用于根據(jù)T接合確定深度信息的系統(tǒng)。這個(gè)方法是基于輪廓的確定，并需要非線性濾波，曲線平滑，拐角和接合檢測(cè)，和曲線延伸。因此，所描述的方法是非常復(fù)雜的以及需要很大的計(jì)算資源，但它確實(shí)提供從靜態(tài)特性提取深度信息。
然而，雖然在為了深度信息而進(jìn)行對(duì)象處理的領(lǐng)域中進(jìn)行大量研究，但提取到的深度信息的精度和可靠度當(dāng)前沒(méi)有如希望的那樣好。
而且，由于各種處理依賴(lài)于檢測(cè)圖像的特定的特性(例如，T接合或?qū)ο蟮墓战屈c(diǎn))，對(duì)這些特性的精確的和可靠的檢測(cè)是關(guān)鍵的，并且在計(jì)算上是苛求的。
因此，對(duì)于至少一個(gè)圖像進(jìn)行對(duì)象處理的改進(jìn)系統(tǒng)是有利的，具體地，允許減小復(fù)雜性、減小計(jì)算負(fù)擔(dān)和/或改進(jìn)性能的、對(duì)深度信息進(jìn)行對(duì)象處理的系統(tǒng)是有利的。
發(fā)明概要因此，本發(fā)明優(yōu)選地尋求單個(gè)地或任何組合地減輕、緩和、或消除一個(gè)或多個(gè)上述的缺點(diǎn)。
本發(fā)明的發(fā)明人認(rèn)識(shí)到，在對(duì)象處理中以及具體地在對(duì)于深度信息的對(duì)象處理中可以通過(guò)組合不同的處理，以及具體地通過(guò)把基于動(dòng)態(tài)特性的處理與基于靜態(tài)特性的處理相組合而得到改進(jìn)的性能。而且，本發(fā)明人認(rèn)識(shí)到，這些處理可以基于圖像的不同特性而得到最佳性能。
因此，按照本發(fā)明的第一方面提供了處理至少一個(gè)圖像對(duì)象的方法，包括以下步驟檢測(cè)與該至少一個(gè)圖像的至少一個(gè)對(duì)象有關(guān)的多個(gè)圖像點(diǎn)；把多個(gè)圖像點(diǎn)分組為至少一組對(duì)象點(diǎn)和至少一組接合點(diǎn)；以及單獨(dú)地處理該組對(duì)象點(diǎn)和該組接合點(diǎn)的圖像點(diǎn)。
本發(fā)明允許把檢測(cè)的圖像點(diǎn)按照它們究竟是對(duì)象點(diǎn)還是接合點(diǎn)而進(jìn)行分組。對(duì)象點(diǎn)可以有利地用于根據(jù)動(dòng)態(tài)特性確定深度信息，以及接合點(diǎn)可以有利地用于根據(jù)靜態(tài)特性確定深度信息。因此，本發(fā)明允許一個(gè)或多個(gè)圖像的圖像點(diǎn)被分離成不同的組，它們?nèi)缓罂杀粏为?dú)地處理。因此，本發(fā)明可提供改進(jìn)的性能，因?yàn)閷?duì)象處理可得到用于特定處理的最佳圖像點(diǎn)。而且，由于對(duì)象點(diǎn)和接合點(diǎn)是分離的，從而減小了把對(duì)象點(diǎn)送到需要接合點(diǎn)處理的概率，反之亦然，因此可以得到改進(jìn)的性能。本發(fā)明還允許用簡(jiǎn)單的檢測(cè)處理來(lái)檢測(cè)圖像點(diǎn)，而不是用于只檢測(cè)對(duì)象點(diǎn)和接合點(diǎn)的復(fù)雜的專(zhuān)用處理。簡(jiǎn)單的檢測(cè)后面可以跟隨簡(jiǎn)單的處理以確定給定的圖像點(diǎn)究竟更可能是對(duì)象點(diǎn)還是接合點(diǎn)。因此，檢測(cè)處理可被重復(fù)使用于不同的類(lèi)型的圖像點(diǎn)，由此導(dǎo)致減小的復(fù)雜性和減小的計(jì)算要求。
對(duì)象點(diǎn)典型地可以是圖像中單個(gè)對(duì)象點(diǎn)的特性，諸如對(duì)象的拐角(corner)和邊，而接合點(diǎn)典型地涉及到在兩個(gè)或多個(gè)對(duì)象之間的相對(duì)特性，諸如在其中一個(gè)對(duì)象遮蔽另一個(gè)對(duì)象的兩個(gè)對(duì)象之間的交叉點(diǎn)。
按照本發(fā)明的特性，單獨(dú)地處理的步驟包括從至少一個(gè)二維圖像確定至少一個(gè)三維特性。因此，本發(fā)明允許改進(jìn)的處理以便從一個(gè)或多個(gè)2D圖像確定3D特性。具體地，本發(fā)明提供了確定深度信息的改進(jìn)的和低復(fù)雜性方法，它可優(yōu)選地把分別響應(yīng)于靜態(tài)和動(dòng)態(tài)特性而確定的相對(duì)的和絕對(duì)的深度信息組合。
按照本發(fā)明的另一個(gè)特性，多個(gè)圖像點(diǎn)還被分組成一組被錯(cuò)誤地檢測(cè)的點(diǎn)。由于在處理時(shí)把被錯(cuò)誤地檢測(cè)的點(diǎn)組包括在內(nèi)的概率被減小，使得對(duì)圖像點(diǎn)的單獨(dú)處理具有改進(jìn)的性能。
按照本發(fā)明的另一個(gè)特性，多個(gè)圖像點(diǎn)的每個(gè)圖像點(diǎn)僅僅被包括在從對(duì)象點(diǎn)組、接合點(diǎn)組、和被錯(cuò)誤地檢測(cè)的點(diǎn)組中選擇的唯一的組中。
優(yōu)選地，已被檢測(cè)的每個(gè)點(diǎn)被識(shí)別為對(duì)象點(diǎn)或接合點(diǎn)或被錯(cuò)誤地檢測(cè)的點(diǎn)。因?yàn)檫@使得僅僅處理基于適當(dāng)類(lèi)型的點(diǎn)的概率增加，單獨(dú)處理可得到改進(jìn)。例如，把對(duì)象點(diǎn)識(shí)別子程序應(yīng)用于一個(gè)點(diǎn)，可導(dǎo)致該圖像點(diǎn)“它是對(duì)象點(diǎn)”的概率大于0.5。然而，把接合點(diǎn)識(shí)別子程序應(yīng)用到同一個(gè)圖像點(diǎn)，可導(dǎo)致該圖像點(diǎn)“它是接合點(diǎn)”的概率大于0.5。所以，分別使用這些子程序可以導(dǎo)致圖像點(diǎn)同時(shí)被用于對(duì)象點(diǎn)處理和接合點(diǎn)處理。然而，通過(guò)把圖像點(diǎn)只分配到它最可能對(duì)應(yīng)的組，則它被包括在錯(cuò)誤組中的概率得以減小。例如，接合點(diǎn)識(shí)別程序可提供0.95的概率，而對(duì)象點(diǎn)的識(shí)別程序可提供0.5的概率，在這種情形下圖像點(diǎn)可被添加到接合點(diǎn)組中。
按照本發(fā)明的另一個(gè)特性，單獨(dú)地處理的步驟包括對(duì)對(duì)象點(diǎn)組施加第一處理和對(duì)接合點(diǎn)組施加第二處理。優(yōu)選地，對(duì)對(duì)象點(diǎn)和接合點(diǎn)施加不同的處理。因此，第一處理可以是基于或特別適用于處理對(duì)象點(diǎn)，而第二處理可以是基于或特別適用于處理接合點(diǎn)。第一和第二處理可以是完全分開(kāi)的。而且，第一和第二處理的結(jié)果可被組合來(lái)提供改進(jìn)的結(jié)果，它超過(guò)從每個(gè)單獨(dú)的處理得到的結(jié)果。
按照本發(fā)明的另一個(gè)特性，第一處理是基于在至少一個(gè)圖像內(nèi)對(duì)象運(yùn)動(dòng)的對(duì)象處理。對(duì)象點(diǎn)特別適合于基于對(duì)象運(yùn)動(dòng)的處理。具體地，對(duì)象點(diǎn)適合于確定或處理對(duì)象的運(yùn)動(dòng)尤其是在2D圖像中3D對(duì)象的運(yùn)動(dòng)。因此，可以使基于對(duì)象運(yùn)動(dòng)的對(duì)象處理達(dá)到改進(jìn)的性能。第一處理可以是例如用于對(duì)象識(shí)別、對(duì)象跟蹤或深度檢測(cè)的處理。作為具體的例子，第一處理可以是動(dòng)態(tài)遮蔽深度檢測(cè)處理。
按照本發(fā)明的另一個(gè)特性，第一處理是來(lái)自運(yùn)動(dòng)處理的一種結(jié)構(gòu)。因此，本發(fā)明可以允許由對(duì)象點(diǎn)確定的對(duì)象運(yùn)動(dòng)得出改進(jìn)的3D結(jié)構(gòu)信息。
按照本發(fā)明的另一個(gè)特性，第二處理是基于至少一個(gè)圖像內(nèi)的靜態(tài)特性的對(duì)象處理。接合點(diǎn)特別適合于確定靜態(tài)特性。第二處理例如可以是對(duì)象識(shí)別處理。
按照本發(fā)明的另一個(gè)特性，第二處理是用于確定至少一個(gè)圖像的至少一個(gè)對(duì)象的深度特性的處理。接合點(diǎn)特別適合于根據(jù)靜態(tài)特性確定深度信息的處理，以及具體地可以確定在不同的對(duì)象之間的相對(duì)深度信息。因此可以得到確定深度信息的對(duì)象處理的改進(jìn)的性能。
優(yōu)選地，第一處理是根據(jù)與對(duì)象點(diǎn)有關(guān)的動(dòng)態(tài)特性確定深度信息的處理，以及第二處理是根據(jù)與接合點(diǎn)有關(guān)的靜態(tài)特性確定深度信息的處理。通過(guò)第一和第二處理得出的深度信息優(yōu)選地被組合，由此提供附加的和/或更精確的和/或可靠的深度信息。
按照本發(fā)明的另一個(gè)特性，深度特性是表示在至少一個(gè)圖像的多個(gè)對(duì)象之間的相對(duì)深度的相對(duì)深度特性。接合點(diǎn)特別適合于確定相對(duì)深度信息。
按照本發(fā)明的另一個(gè)特性，檢測(cè)多個(gè)圖像點(diǎn)的步驟包括把曲線檢測(cè)處理施加到至少一個(gè)圖像的至少一部分。曲線檢測(cè)處理是用于檢測(cè)圖像點(diǎn)的特別簡(jiǎn)單的和有效的處理，但它并不區(qū)分不同的類(lèi)型的圖像點(diǎn)。因此，本發(fā)明允許低復(fù)雜性的、易于實(shí)施的檢測(cè)處理，它使用低的計(jì)算資源要求而同時(shí)提供良好的性能。
優(yōu)選地，接合點(diǎn)包括相應(yīng)于在至少一個(gè)圖像的兩個(gè)對(duì)象之間的重疊的T接合點(diǎn)。
按照本發(fā)明的第二方面，提供了對(duì)至少一個(gè)圖像進(jìn)行對(duì)象處理的設(shè)備，包括用于檢測(cè)與該至少一個(gè)圖像的至少一個(gè)對(duì)象有關(guān)的多個(gè)圖像點(diǎn)的裝置；用于把多個(gè)圖像點(diǎn)分組為至少一組對(duì)象點(diǎn)和至少一組接合點(diǎn)的裝置；以及用于單獨(dú)地處理對(duì)象點(diǎn)組和接合點(diǎn)組的圖像點(diǎn)的裝置。
參照此后描述的實(shí)施例，將闡述和明白本發(fā)明的這些和其它發(fā)明、特性與優(yōu)點(diǎn)。
附圖簡(jiǎn)述下面參照附圖僅僅作為例子描述本發(fā)明的實(shí)施例，其中

圖1顯示包括兩個(gè)對(duì)象的2D圖像的例子；圖2顯示按照本發(fā)明的實(shí)施例的、用于一個(gè)或多個(gè)圖像的對(duì)象處理的設(shè)備；圖3顯示按照本發(fā)明的實(shí)施例的對(duì)象處理的方法的流程圖；以及圖4顯示圖像中T接合點(diǎn)的例子。
優(yōu)選實(shí)施例說(shuō)明以下的說(shuō)明集中在可用于從二維圖像確定深度信息的對(duì)象處理的本發(fā)明的實(shí)施例。然而，將會(huì)看到，本發(fā)明不限于這種應(yīng)用，而是可應(yīng)用于包括對(duì)象檢測(cè)的許多其它對(duì)象處理或?qū)ο蟪上裉幚怼?br> 從二維圖像(包括視頻序列的圖像)提取深度信息的可能性吸引越來(lái)越多的注意，并且允許提供圖像應(yīng)用的增強(qiáng)的功能以及提供新的應(yīng)用。例如，深度信息的提取可以從傳統(tǒng)的二維視頻生成三維視頻圖像。
典型地，提取深度信息的方法包括根據(jù)圖像內(nèi)對(duì)象的運(yùn)動(dòng)來(lái)檢測(cè)深度信息。因此，在圖像之間跟蹤與對(duì)象的特定點(diǎn)相對(duì)應(yīng)的對(duì)象點(diǎn)，并且把這些對(duì)象點(diǎn)用來(lái)確定對(duì)象的3D模型。一個(gè)這樣的方法從對(duì)象的運(yùn)動(dòng)來(lái)確定結(jié)構(gòu)。
圖1顯示包括兩個(gè)對(duì)象的2D圖像的例子。具體地，圖像包括第一立方體101和第二立方體103。在來(lái)自運(yùn)動(dòng)處理的結(jié)構(gòu)中，與立方體101的拐角相對(duì)應(yīng)的第一對(duì)象點(diǎn)105用來(lái)確定第一立方體101的3D模型。類(lèi)似地，與立方體103的拐角相對(duì)應(yīng)的第二對(duì)象點(diǎn)107用來(lái)確定第二立方體103的3D模型。3D模型的參數(shù)是這樣確定的使得拐角點(diǎn)在被投影到2D圖上時(shí)實(shí)現(xiàn)2D圖像中拐角點(diǎn)的觀察到的運(yùn)動(dòng)。
因此，諸如來(lái)自運(yùn)動(dòng)處理的結(jié)構(gòu)需要檢測(cè)對(duì)象的拐角點(diǎn)?？捎糜跈z測(cè)對(duì)象拐角的檢測(cè)器的例子在以下文章中給出M.Pollefeys，R.Koch，N.Vergauwen和L.van Gool，“Flexible acquisition of 3Dstructure from motion”(根據(jù)運(yùn)動(dòng)的3D結(jié)構(gòu)的靈活采集)，Proc.IEEEIMDSP Workshop，pp.195-198，1998.這個(gè)檢測(cè)器，像大多數(shù)其它已知的檢測(cè)器一樣，明顯地或隱含地依賴(lài)于根據(jù)曲率特性，即，根據(jù)諸如亮度或彩色參數(shù)的突然變化來(lái)檢測(cè)拐角點(diǎn)。
這些檢測(cè)器的缺點(diǎn)在于，它們不單檢測(cè)拐角點(diǎn)而且也檢測(cè)許多其它圖像點(diǎn)。例如，檢測(cè)器可能錯(cuò)誤地檢測(cè)不與對(duì)象的拐角點(diǎn)對(duì)應(yīng)的但符合能滿(mǎn)足檢測(cè)器準(zhǔn)則的特性的點(diǎn)109。而且，諸如接合點(diǎn)和特別是T接合點(diǎn)111的其它的點(diǎn)也可顯示出圖像參數(shù)的突然變化，因此可以被拐角檢測(cè)器所檢測(cè)。然而，對(duì)于諸如來(lái)自運(yùn)動(dòng)的結(jié)構(gòu)的處理，重要的是只有真正固定的對(duì)象點(diǎn)用來(lái)確定3D模型。例如，把錯(cuò)誤檢測(cè)點(diǎn)109或接合點(diǎn)11看作為拐角點(diǎn)，將使得能得出的3D模型失真(或阻止得出3D模型)。
因此，可能必須使用復(fù)雜得多的檢測(cè)器，它能大大地減小檢測(cè)到不想要的圖像點(diǎn)的概率。然而，這需要非常復(fù)雜的處理以及導(dǎo)致增加的計(jì)算負(fù)擔(dān)。
替換地或附加地，必須從檢測(cè)到的圖像點(diǎn)提取有效的對(duì)象點(diǎn)。這可以通過(guò)得出3D模型而得到，在其中丟棄不適配的圖像點(diǎn)。然而，這不單是非常復(fù)雜的處理，而且也具有錯(cuò)誤地丟棄有效的對(duì)象點(diǎn)或包括不想要的對(duì)象點(diǎn)的高概率。
本發(fā)明的發(fā)明人認(rèn)識(shí)到，為了得到改進(jìn)的性能，不是簡(jiǎn)單地提取對(duì)象點(diǎn)(諸如拐角點(diǎn))，而是把由圖像點(diǎn)檢測(cè)器檢測(cè)到的圖像點(diǎn)劃分成不同的類(lèi)別的圖像點(diǎn)的組。具體地，本發(fā)明人認(rèn)識(shí)到，接合點(diǎn)可單獨(dú)處理，并且可有利地用來(lái)得出深度信息，以改進(jìn)或補(bǔ)充從對(duì)象點(diǎn)得出的深度信息。
本發(fā)明人認(rèn)識(shí)到，把檢測(cè)到的圖像點(diǎn)劃分成至少接合點(diǎn)的組和對(duì)象點(diǎn)的組將易于實(shí)行檢測(cè)處理并允許簡(jiǎn)單而共同的檢測(cè)算法被使用于檢測(cè)對(duì)象點(diǎn)處理和接合點(diǎn)處理所用的圖像點(diǎn)。因此，達(dá)到能減小復(fù)雜性和計(jì)算負(fù)擔(dān)的簡(jiǎn)化的檢測(cè)。另外，單獨(dú)的處理可以得到改進(jìn)的性能，因?yàn)樗蟮氖窃诮o定的處理中錯(cuò)誤地使用不想要的圖像點(diǎn)的概率。具體地，一般說(shuō)來(lái)更加可靠的是要檢測(cè)一個(gè)圖像點(diǎn)究竟更可能是對(duì)象點(diǎn)還是接合點(diǎn)，而不是確定給定的點(diǎn)是否為對(duì)象點(diǎn)。而且，本發(fā)明人認(rèn)識(shí)到，不要丟棄這些可以獨(dú)立地處理的接合點(diǎn)，并且將處理結(jié)果有可能與從對(duì)象點(diǎn)的處理得出的那些結(jié)果相組合，由此改進(jìn)深度信息處理的總的性能。
圖2顯示按照本發(fā)明的優(yōu)選實(shí)施例對(duì)一個(gè)或優(yōu)選地多個(gè)圖像的對(duì)象進(jìn)行處理的設(shè)備200。
設(shè)備包括檢測(cè)器201，該檢測(cè)器接收?qǐng)D像和執(zhí)行圖像檢測(cè)處理，這個(gè)處理檢測(cè)對(duì)象點(diǎn)和接合點(diǎn)。因此，檢測(cè)器201檢測(cè)與圖像的至少一個(gè)對(duì)象有關(guān)的多個(gè)圖像。例如，可以使用能找出對(duì)象點(diǎn)和T接合點(diǎn)而不區(qū)分它們的任意曲率檢測(cè)器。
檢測(cè)器201被耦合到分組處理器203，它用來(lái)把多個(gè)圖像點(diǎn)編組成至少為對(duì)象點(diǎn)組和接合點(diǎn)組。在優(yōu)選實(shí)施例中，圖像點(diǎn)還可被分組成被錯(cuò)誤檢測(cè)的點(diǎn)組，即，被看作為既不是對(duì)象點(diǎn)也不是接合點(diǎn)的圖像點(diǎn)。
分組處理器203被耦合到存儲(chǔ)檢測(cè)到的對(duì)象點(diǎn)的對(duì)象點(diǎn)存儲(chǔ)裝置205，和存儲(chǔ)檢測(cè)到的接合點(diǎn)的接合點(diǎn)存儲(chǔ)裝置207。錯(cuò)誤地檢測(cè)的點(diǎn)則簡(jiǎn)單地被丟棄。
對(duì)象點(diǎn)存儲(chǔ)裝置205和接合點(diǎn)存儲(chǔ)裝置207被連接到用來(lái)單獨(dú)地處理對(duì)象點(diǎn)組和接合點(diǎn)組的圖像點(diǎn)的處理器裝置209。在優(yōu)選實(shí)施例中，處理器裝置209包括耦合到對(duì)象點(diǎn)存儲(chǔ)裝置205和用來(lái)處理存儲(chǔ)的對(duì)象點(diǎn)的對(duì)象點(diǎn)處理器211。具體地，對(duì)象點(diǎn)處理器211可以執(zhí)行深度信息處理，諸如來(lái)自運(yùn)動(dòng)處理的結(jié)構(gòu)。處理器裝置209還包括耦合到接合點(diǎn)存儲(chǔ)裝置207和用來(lái)處理存儲(chǔ)的接合點(diǎn)的接合點(diǎn)處理器213。具體地，接合點(diǎn)處理器213可以執(zhí)行基于T接合的深度信息處理。
在優(yōu)選實(shí)施例中，對(duì)象點(diǎn)處理器211和接合點(diǎn)處理器213被耦合到用于組合由單獨(dú)處理生成的深度信息的組合處理器215。例如，可生成圖像深度的映射圖，其中在對(duì)象之間的相對(duì)深度關(guān)系主要根據(jù)來(lái)自接合點(diǎn)處理器213的信息而確定，而各個(gè)對(duì)象的深度特性主要根據(jù)來(lái)自對(duì)象點(diǎn)處理器211的信息被確定。
將會(huì)看到，雖然以上的說(shuō)明為了簡(jiǎn)明起見(jiàn)涉及到不同的處理器，但這些只應(yīng)當(dāng)被看作為功能模塊而不是物理實(shí)體。因此，例如在優(yōu)選實(shí)施例中，不同的處理例如可以由單個(gè)數(shù)字信號(hào)處理器執(zhí)行。
圖3顯示按照本發(fā)明的優(yōu)選實(shí)施例的、對(duì)象處理的方法的流程圖。
方法從步驟301開(kāi)始，在其中檢測(cè)到與至少一個(gè)圖像的至少一個(gè)對(duì)象有關(guān)的多個(gè)圖像點(diǎn)。在優(yōu)選實(shí)施例中，把曲率檢測(cè)處理施加到一個(gè)或多個(gè)圖像的全部或至少一部分。
例如，可以使用在以下文章中描述的檢測(cè)算法M.Pollefeys，F(xiàn)lexible acquisition of 3D structure from motion(靈活獲取來(lái)自運(yùn)動(dòng)的3D結(jié)構(gòu))”，Proc.IEEE IMDSP Workshop，pp.195-198，1998。替換地或附加地，可以使用基于圖像分段的檢測(cè)。
在步驟301后面是步驟303，其中多個(gè)圖像點(diǎn)被分組成至少對(duì)象點(diǎn)組和接合點(diǎn)組，以及優(yōu)選地還分組成錯(cuò)誤檢測(cè)點(diǎn)組。在優(yōu)選實(shí)施例中，多個(gè)圖像點(diǎn)的每個(gè)點(diǎn)僅僅被包括在從對(duì)象點(diǎn)組、接合點(diǎn)組、和錯(cuò)誤檢測(cè)點(diǎn)組中選擇的唯一的一個(gè)組中。因此，在步驟303，每個(gè)檢測(cè)的圖像點(diǎn)都要被估計(jì)并被放置在一個(gè)和唯一的一個(gè)組中。換句話(huà)說(shuō)，每個(gè)圖像點(diǎn)被表征為對(duì)象點(diǎn)或接合點(diǎn)或錯(cuò)誤檢測(cè)的點(diǎn)。
而且，各對(duì)象點(diǎn)被分組成屬于各個(gè)對(duì)象的對(duì)象點(diǎn)組。具體地，把圖像點(diǎn)分組成對(duì)象點(diǎn)和分組成相應(yīng)于每個(gè)對(duì)象的組，可以使用在以下文章中描述的處理而完成D.P.McReynolds和D.G.Lowe，“Rigiditychecking of 3D point correspondences under perspectiveprojection”(在透視投影下對(duì)3D點(diǎn)相關(guān)性的剛性檢查)，IEEE Trans.on PAMI，Vol.18，No.12，pp.1174-1185，1996。
在這種情形下，分組是基于這樣的事實(shí)，屬于一個(gè)移動(dòng)的剛性對(duì)象的所有的點(diǎn)將遵從同一個(gè)3D運(yùn)動(dòng)模型。因此，接合點(diǎn)和不遵循運(yùn)動(dòng)模型的錯(cuò)誤檢測(cè)點(diǎn)不被看作為對(duì)象點(diǎn)。
其余的點(diǎn)接著被處理以提取接合點(diǎn)。作為具體的例子，圖像可被劃分成與圖像中不連貫的區(qū)域相對(duì)應(yīng)的多個(gè)分段。圖像分段的目的在于，把各像素中不大可能包含深度間斷性的圖像分段分組在一起。一個(gè)基本假設(shè)是深度間斷性會(huì)引起圖像的亮度或彩色的突然改變。所以具有相似的亮度和或彩色的像素一起被分組，造成在區(qū)域之間的亮度/彩色邊緣。
在一個(gè)實(shí)施例中，分段包括對(duì)在同一個(gè)圖像分段中具有相似亮度水平的圖像單元進(jìn)行分組。具有相同亮度水平的圖像單元的連續(xù)的組往往屬于同一個(gè)底層對(duì)象。類(lèi)似地，相鄰的組的具有相同的彩色水平的圖像單元也往往屬于同一個(gè)基礎(chǔ)對(duì)象，而分段替換地或附加地可包括對(duì)在同一個(gè)分段中具有相同彩色的圖像單元進(jìn)行分組。
在優(yōu)選實(shí)施例中，分段處理是檢測(cè)處理的一部分。
在優(yōu)選實(shí)施例中，T接合是通過(guò)分析分段矩陣的所有的2×2子矩陣而被識(shí)別的。由于要檢測(cè)T接合，分析集中在3一個(gè)接合，該3個(gè)接合正好是三個(gè)不同圖像分段相遇。
為了從分段矩陣提取3接合，檢查所有的可能的2×2子矩陣的結(jié)構(gòu)。如果以下四個(gè)差值之一正好等于零的話(huà)則子矩陣包含一個(gè)3接合Si，j-Si+1，j，Si，j+1-Si+1，j+1，Si，j-Si，j+1，Si+1，j-Si+1，j+1這例如是以下的子矩陣的情形1213,2131,1123,2311]]>但對(duì)例如以下的子矩陣的情形則不是。
1231]]>這個(gè)子矩陣不被看作為3接合，因?yàn)槌霈F(xiàn)兩次的區(qū)域號(hào)1不是4-連接的。這違反了在分段中的區(qū)域在方形采樣的網(wǎng)格上必須是4-連接的基本假設(shè)。
換句話(huà)說(shuō)，2×2子矩陣被看作為3接頭，如果四個(gè)單元正好相應(yīng)于三個(gè)圖像分段并且來(lái)自同一個(gè)圖像分段的兩個(gè)樣本是垂直地或水平地(但不是對(duì)角地)互相鄰接的話(huà)。
應(yīng)當(dāng)指出，3接合不一定是T接合，而也可表示為叉形或箭形(例如，它可以在立方體的圖像中出現(xiàn))。所以需要進(jìn)一步的幾何分析來(lái)確定檢測(cè)到的3接合是否可被認(rèn)為是一個(gè)T接合。然而，由于這樣的幾何分析被執(zhí)行來(lái)提取對(duì)象點(diǎn)，滿(mǎn)足以上準(zhǔn)則的其余的點(diǎn)可認(rèn)為是T接合。所有的其它的點(diǎn)作為被錯(cuò)誤檢測(cè)的點(diǎn)而被丟棄。
步驟303后面進(jìn)行步驟305，其中對(duì)象點(diǎn)組和接合點(diǎn)組的圖像點(diǎn)被單獨(dú)地處理。在優(yōu)選實(shí)施例中，單獨(dú)的處理的目的在于分別根據(jù)對(duì)象點(diǎn)和接合點(diǎn)從2D圖像確定至少一個(gè)三維特性。
在優(yōu)選實(shí)施例中，對(duì)不同的對(duì)象點(diǎn)組加以分開(kāi)處理。因此，單獨(dú)的處理包括把第一處理應(yīng)用到對(duì)象點(diǎn)組和把第二處理應(yīng)用到接合點(diǎn)組。
在優(yōu)選實(shí)施例中，第一處理是基于至少一個(gè)圖像內(nèi)的對(duì)象運(yùn)動(dòng)的對(duì)象處理。第一處理例如可以是用于根據(jù)圖像序列內(nèi)的對(duì)象點(diǎn)的運(yùn)動(dòng)來(lái)確定3D特性的處理。該處理例如可以是動(dòng)態(tài)遮蔽處理，但在優(yōu)選實(shí)施例中它是來(lái)自運(yùn)動(dòng)處理的結(jié)構(gòu)。因此，圖像中對(duì)象的3D模型可以根據(jù)相應(yīng)的對(duì)象點(diǎn)的運(yùn)動(dòng)得出。
在優(yōu)選實(shí)施例中，第二處理是基于圖像的靜態(tài)特性的對(duì)象處理，以及具體地是用于確定圖像中對(duì)象的深度特性的處理。因此，在優(yōu)選實(shí)施例中，對(duì)象點(diǎn)被用來(lái)根據(jù)動(dòng)態(tài)特性確定深度信息而接合點(diǎn)被用來(lái)根據(jù)靜態(tài)特性確定深度信息。
第二處理是用于按照在以下文章中描述的方法確定深度特性的處理M.Nitzberg，D.Mumford和T.Shiota，“Filtering，Segmentation and Depth”(濾波、分段和深度)，1991 Lecture Notesin Computer Science 662，Springer-Veriag，Berlin.
圖4顯示在圖像上一個(gè)T接合的例子和顯示如何從T接合找出深度信息。在顯示的例子中，圖像包括第一矩形401和第二矩形403。第一矩形401與第二矩形403重疊，因此邊緣形成被稱(chēng)為T(mén)接合405的交叉。具體地，第二矩形403的第一邊緣407被第一矩形的第二邊緣409截短。因此，第一邊緣407形成T接合405的主桿411以及第二邊緣409形成T接合的頂部413。
因此，在例子中，T接合405是圖像平面的點(diǎn)，其中對(duì)象邊緣407，409形成一個(gè)“T”，一個(gè)邊緣407在第二邊緣409上終結(jié)。人們只要通過(guò)T接合的存在就能夠識(shí)別某些對(duì)象更接近于其它對(duì)象。在圖4的例子中，可以看到，第一矩形401遮蔽第二矩形403，因此，相應(yīng)于第一矩形401的對(duì)象是在相應(yīng)于第二矩形403的對(duì)象的前面。
因此，通過(guò)確定T接合點(diǎn)的頂部和主桿，可以確定在對(duì)象之間的相對(duì)深度信息。頂部和主桿的識(shí)別用于得出可能的深度次序。為了識(shí)別頂部和主桿，在優(yōu)選實(shí)施例中，假設(shè)二者都是直線，它們以任意取向的角度穿過(guò)接合點(diǎn)。因此，接合適配于第一和第二曲線，在優(yōu)選實(shí)施例中，它們是直線，以及形成主桿和頂部的區(qū)域根據(jù)它而被確定。
從圖4可以看到，形成頂部而非主桿的圖像部分固有地位于形成主桿的圖像部分的前面。在形成主桿的兩個(gè)圖像部分之間的深度信息不能從T接合直接得到。在優(yōu)選實(shí)施例中，要確定許多T接合，而具體地，一個(gè)給定的對(duì)象可以有許多相應(yīng)的T接合。所以，相對(duì)深度信息通過(guò)考慮所有的對(duì)象的相對(duì)深度信息而被確定，以及具體地，可以得出代表圖像中對(duì)象的相對(duì)深度的深度映射圖。
基于對(duì)象點(diǎn)的動(dòng)態(tài)性能的深度信息可以與基于T接合點(diǎn)的靜態(tài)特性的相對(duì)深度信息相組合，由此增強(qiáng)和/或改進(jìn)生成的深度信息。
本發(fā)明可以以包括硬件、軟件、固件或它們的任何組合的任何適當(dāng)?shù)男问奖粚?shí)施。然而，優(yōu)選地，本發(fā)明是用一個(gè)或多個(gè)數(shù)據(jù)處理器和或數(shù)字信號(hào)處理器上運(yùn)行的計(jì)算機(jī)軟件來(lái)實(shí)現(xiàn)的。本發(fā)明的實(shí)施例的單元和部件可以以任何適當(dāng)?shù)男问揭晕锢矸绞健⒐δ芊绞?、和邏輯方式?shí)施。事實(shí)上，功能可以以單個(gè)單位，以多個(gè)單位或作為其它功能單位的一部分而實(shí)施。這樣，本發(fā)明可以以單個(gè)單位實(shí)施，或可以以物理方式和功能方式分布在不同的單位與處理器之間。
雖然本發(fā)明是結(jié)合優(yōu)選實(shí)施例描述的，但本發(fā)明不打算限于這里闡述的特定的形式。而是，本發(fā)明的范圍僅僅由所附權(quán)利要求限制。在權(quán)利要求中，術(shù)語(yǔ)包括并不排除其它單元或步驟的存在。而且，雖然單獨(dú)地列出，但多個(gè)裝置、單元或方法步驟例如可以由單個(gè)單位或處理器來(lái)實(shí)施。另外，雖然各個(gè)特性可包括在不同的權(quán)利要求中，但這些可以有利地組合，并且在權(quán)利要求中的包括并不是指特性的組合是不可行的和/或有利的。另外，單個(gè)標(biāo)號(hào)并不排除多個(gè)。因此，“一個(gè)”，“第一個(gè)”，“第二個(gè)”等等并不排除多個(gè)。
權(quán)利要求
1.一種對(duì)至少一個(gè)圖像進(jìn)行對(duì)象處理的方法，包括以下步驟檢測(cè)(301)與該至少一個(gè)圖像的至少一個(gè)對(duì)象有關(guān)的多個(gè)圖像點(diǎn)(105，107，109，111)；把多個(gè)圖像點(diǎn)(105，107，109，111)分組為至少一組對(duì)象點(diǎn)(105，107)和至少一組接合點(diǎn)(111)；以及單獨(dú)地(305)處理該組對(duì)象點(diǎn)(105，107)和該組接合點(diǎn)(111)的圖像點(diǎn)。
2.如權(quán)利要求1中要求的對(duì)象處理的方法，其中單獨(dú)地處理的步驟(305)包括根據(jù)至少一個(gè)二維圖像確定至少一個(gè)三維特性。
3.如權(quán)利要求1中要求的對(duì)象處理的方法，其中多個(gè)圖像點(diǎn)(105，107，109，111)還被分組為一組錯(cuò)誤地檢測(cè)的點(diǎn)(109)。
4.如權(quán)利要求3中要求的對(duì)象處理的方法，其中多個(gè)圖像點(diǎn)(105，107，109，111)中的每個(gè)圖像點(diǎn)被包括在從對(duì)象點(diǎn)組(105，107)、接合點(diǎn)組(111)、和被錯(cuò)誤地檢測(cè)的點(diǎn)組(109)中選擇的僅僅一個(gè)組中。
5.如權(quán)利要求1中要求的對(duì)象處理的方法，其中單獨(dú)地處理的步驟(305)包括對(duì)對(duì)象點(diǎn)組(105，107)施加第一處理和對(duì)接合點(diǎn)組(111)施加第二處理。
6.如權(quán)利要求5中要求的對(duì)象處理的方法，其中第一處理是基于在該至少一個(gè)圖像內(nèi)的對(duì)象運(yùn)動(dòng)的對(duì)象處理。
7.如權(quán)利要求5中要求的對(duì)象處理的方法，其中第一處理是來(lái)自運(yùn)動(dòng)處理的結(jié)構(gòu)。
8.如權(quán)利要求5中要求的對(duì)象處理的方法，其中第二處理是基于在該至少一個(gè)圖像內(nèi)的靜態(tài)特性的對(duì)象處理。
9.如權(quán)利要求5中要求的對(duì)象處理的方法，其中第二處理是用于確定該至少一個(gè)圖像的至少一個(gè)對(duì)象的深度特性的處理。
10.如權(quán)利要求9中要求的對(duì)象處理的方法，其中該深度特性表明該至少一個(gè)圖像的多個(gè)對(duì)象之間的相對(duì)深度的相對(duì)深度特性。
11.如權(quán)利要求1中要求的對(duì)象處理的方法，其中檢測(cè)(301)多個(gè)圖像點(diǎn)(105，107，109，111)的步驟包括對(duì)該至少一個(gè)圖像的至少一個(gè)部分施加曲率檢測(cè)處理。
12.如權(quán)利要求1中要求的對(duì)象處理的方法，其中接合點(diǎn)(111)包括與該至少一個(gè)圖像的兩個(gè)對(duì)象之間的重疊相對(duì)應(yīng)的T接合點(diǎn)(111)。
13.能執(zhí)行按照權(quán)利要求1的方法的計(jì)算機(jī)程序產(chǎn)品。
14.包括如權(quán)利要求13中要求的計(jì)算機(jī)程序產(chǎn)品的記錄載體。
15.一種用于對(duì)至少一個(gè)圖像進(jìn)行對(duì)象處理的設(shè)備，包括用于檢測(cè)與該至少一個(gè)圖像的至少一個(gè)對(duì)象有關(guān)的多個(gè)圖像點(diǎn)(105，107，109，111)的裝置(201)；用于把該多個(gè)圖像點(diǎn)(105，107，109，111)分組為至少一組對(duì)象點(diǎn)(105，107)和至少一組接合點(diǎn)(111)的裝置(203)；以及用于單獨(dú)地處理對(duì)象點(diǎn)組(105，107)和接合點(diǎn)組(111)的圖像點(diǎn)的裝置(209)。
全文摘要
一種設(shè)備(200)包括用于檢測(cè)與至少一個(gè)圖像的至少一個(gè)對(duì)象有關(guān)的多個(gè)圖像點(diǎn)(105，107，109，111)的簡(jiǎn)單的檢測(cè)器(201)。該檢測(cè)器不區(qū)分不同的類(lèi)型的圖像點(diǎn)。檢測(cè)器(201)被耦合到分組處理器(203)，它把多個(gè)圖像點(diǎn)(105，107，109，111)分組為一組對(duì)象點(diǎn)(105，107)，一組接合點(diǎn)(111)和一組被錯(cuò)誤地檢測(cè)的點(diǎn)(109)。設(shè)備還包括處理器裝置(209)，用于單獨(dú)地處理對(duì)象點(diǎn)組(105，107)和接合點(diǎn)組(111)的圖像點(diǎn)。對(duì)象點(diǎn)處理可以根據(jù)動(dòng)態(tài)特性生成深度信息而接合點(diǎn)處理可以根據(jù)靜態(tài)特性生成深度信息。因此可以得到改進(jìn)的深度信息，并且可以采用簡(jiǎn)化的檢測(cè)器。
文檔編號(hào)G06T7/60GK1833258SQ200480022601
公開(kāi)日2006年9月13日 申請(qǐng)日期2004年8月2日 優(yōu)先權(quán)日2003年8月7日
發(fā)明者P·A·雷德特, C·瓦雷坎普 申請(qǐng)人:皇家飛利浦電子股份有限公司