專利名稱：用于提供可靠運(yùn)動(dòng)矢量的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于提供可靠運(yùn)動(dòng)矢量的一種方法，并涉及用于提供可靠運(yùn)動(dòng)矢量的 一種系統(tǒng)。具體而言，本發(fā)明涉及不可靠運(yùn)動(dòng)矢量的檢測(cè)和移除。
背景技術(shù)：
運(yùn)動(dòng)矢量在圖像處理領(lǐng)域是重要的任務(wù)。常常需要進(jìn)行圖片改善，其包括運(yùn)動(dòng)估 計(jì)以及使用運(yùn)動(dòng)矢量來(lái)改善圖片品質(zhì)的方法，比如運(yùn)動(dòng)補(bǔ)償內(nèi)插技術(shù)。有一種技術(shù)把24赫 茲/25赫茲/50赫茲/60赫茲變換為100赫茲/120赫茲以降低運(yùn)動(dòng)模糊和抖動(dòng)效應(yīng)，該技 術(shù)需要連續(xù)改進(jìn)算法，其中還包括運(yùn)動(dòng)估計(jì)。運(yùn)動(dòng)估計(jì)方法和系統(tǒng)對(duì)于其中存在覆蓋或未覆蓋背景的情況的區(qū)域是無(wú)效的。分 配給那些覆蓋或未覆蓋區(qū)域的運(yùn)動(dòng)矢量典型地是與圖片無(wú)關(guān)的且隨機(jī)分布的運(yùn)動(dòng)矢量。這 在圖1中示例性地示出。在圖1中示出了在不同時(shí)間的兩個(gè)圖像幀或者在不同時(shí)間的圖像幀的兩個(gè)部分。 在時(shí)間上較早的點(diǎn)用t-ι來(lái)表示，在時(shí)間上較晚的點(diǎn)用t來(lái)表示。所示的每個(gè)圖像幀具有 對(duì)應(yīng)于一個(gè)或多個(gè)像素的幾個(gè)塊63。因此，在圖1中所示的這兩個(gè)圖像幀或圖像幀的部分 示出了在不同時(shí)間的相同塊63或像素。塊63以不同方式著色，從而表明背景塊和對(duì)象64。該對(duì)象64通過(guò)黑色塊來(lái)表示， 并且是移動(dòng)的，即在較早時(shí)間的圖像幀61與較晚時(shí)間的圖像幀62之間在圖像內(nèi)改變其位 置。白色塊63是背景。在所示的后向運(yùn)動(dòng)估計(jì)過(guò)程的情況中，給較晚時(shí)間的圖像幀62中的每個(gè)位置都 分配較早時(shí)間的圖像幀61中的位置。這由運(yùn)動(dòng)矢量66、67來(lái)表示。如可看出的，比如通過(guò) 運(yùn)動(dòng)矢量66給較晚時(shí)間的圖像幀62中的塊號(hào)6分配較早時(shí)間的圖像幀61中的塊號(hào)6。同 樣，通過(guò)運(yùn)動(dòng)矢量66，給較晚時(shí)間的圖像幀62中的對(duì)象64的上部塊分配在較早時(shí)間的圖像 幀61中的對(duì)象64的上部塊。未覆蓋的區(qū)域65出現(xiàn)了問(wèn)題，其中該區(qū)域在本例子中包括在較晚時(shí)間的圖像幀 62中的背景塊號(hào)17至22。對(duì)于這些塊，在較早時(shí)間的圖像幀中沒(méi)有對(duì)應(yīng)的塊。此時(shí)所發(fā) 生的是，為未覆蓋區(qū)域65的背景塊生成隨機(jī)運(yùn)動(dòng)矢量67 (在圖1中用虛線示出)，這些矢量 并沒(méi)有正確地描述實(shí)際的運(yùn)動(dòng)。沒(méi)有正確地描述實(shí)際運(yùn)動(dòng)的這些隨機(jī)運(yùn)動(dòng)矢量67仍然被用于稍后的基于運(yùn)動(dòng)矢 量的處理中，所述處理比如是運(yùn)動(dòng)矢量的投影以及中間圖片內(nèi)插。這大大降低了最終內(nèi)插 結(jié)果的品質(zhì)，比如在具有全局平移運(yùn)動(dòng)的圖片的邊界處的品質(zhì)。在前向運(yùn)動(dòng)估計(jì)的情況中 在覆蓋區(qū)域也產(chǎn)生同樣的問(wèn)題。在文獻(xiàn)US 6487313中提出了通過(guò)基于運(yùn)動(dòng)矢量場(chǎng)和它的鄰域不連續(xù)性確定覆蓋 區(qū)域和未覆蓋區(qū)域來(lái)改善內(nèi)插結(jié)果的一種系統(tǒng)和方法。如前所述，在覆蓋或未覆蓋區(qū)域中 的運(yùn)動(dòng)矢量具有與實(shí)際存在的運(yùn)動(dòng)無(wú)關(guān)的屬性。因此，這些區(qū)域不能用于可靠地檢測(cè)未覆 蓋區(qū)域，并且從而內(nèi)插圖片的品質(zhì)或者任何其他基于運(yùn)動(dòng)矢量的處理都將受損。
在文獻(xiàn)US 6219436和US 2005163355中提供了一種系統(tǒng)和方法，其中運(yùn)動(dòng)矢量場(chǎng) 不連續(xù)性被擴(kuò)展以使用前向和后向估計(jì)的運(yùn)動(dòng)矢量場(chǎng)。該方法還涉及基于鄰域不連續(xù)性來(lái) 檢測(cè)覆蓋和未覆蓋，其中也產(chǎn)生了上述的相同問(wèn)題。文獻(xiàn)US 20060244866A1致力于在其運(yùn)動(dòng)估計(jì)系統(tǒng)中移除隨機(jī)運(yùn)動(dòng)矢量。因此提 出基于統(tǒng)計(jì)計(jì)算的隨機(jī)因素來(lái)檢查鄰域關(guān)系，并進(jìn)行簡(jiǎn)單的閾值處理。因此，運(yùn)動(dòng)矢量隨時(shí) 間的鄰域關(guān)系被用來(lái)識(shí)別隨機(jī)性。因?yàn)榕c對(duì)象的實(shí)際運(yùn)動(dòng)相對(duì)應(yīng)的運(yùn)動(dòng)矢量也可能被識(shí)別 為隨機(jī)矢量，所以所提出的方法非常不可靠
發(fā)明內(nèi)容

因此本發(fā)明的目的是改進(jìn)現(xiàn)有技術(shù)。具體而言，本發(fā)明的目的是減少現(xiàn)有技術(shù)的 問(wèn)題。本發(fā)明涉及用于提供可靠移動(dòng)矢量的一種方法，其包括以下步驟利用后向和前 向估計(jì)來(lái)確定兩個(gè)圖像幀之間的運(yùn)動(dòng)矢量；比較后向估計(jì)運(yùn)動(dòng)矢量和前向估計(jì)運(yùn)動(dòng)矢量； 并基于比較結(jié)果來(lái)檢測(cè)不可靠的運(yùn)動(dòng)矢量。本發(fā)明還涉及用于提供可靠運(yùn)動(dòng)矢量的一種系統(tǒng)，其包括用于利用后向估計(jì)來(lái)確 定兩個(gè)圖像幀之間的運(yùn)動(dòng)矢量的后向估計(jì)裝置、用于利用前向估計(jì)來(lái)確定兩個(gè)圖像幀之間 的運(yùn)動(dòng)矢量的前向估計(jì)裝置、用于比較后向估計(jì)運(yùn)動(dòng)矢量和前向估計(jì)運(yùn)動(dòng)矢量的比較裝 置、以及用于基于比較結(jié)果來(lái)檢測(cè)不可靠運(yùn)動(dòng)矢量的檢測(cè)裝置。優(yōu)選地在一個(gè)圖像幀中選擇一個(gè)塊來(lái)作為測(cè)試塊，并比較與所選擇的塊相關(guān)的后 向估計(jì)運(yùn)動(dòng)矢量和前向估計(jì)運(yùn)動(dòng)矢量。有利地，不可靠的運(yùn)動(dòng)矢量被移除。另外有利的是用可靠的運(yùn)動(dòng)矢量替換移除的 運(yùn)動(dòng)矢量。在優(yōu)選實(shí)施例中提供以下步驟在較晚時(shí)間的圖像幀中選擇塊來(lái)作為測(cè)試塊，為 該測(cè)試塊確定后向估計(jì)運(yùn)動(dòng)矢量，在較早時(shí)間的圖像幀中找到后向估計(jì)運(yùn)動(dòng)矢量所指向的 塊，為所找到的塊確定前向估計(jì)運(yùn)動(dòng)矢量，并且比較所確定的后向估計(jì)運(yùn)動(dòng)矢量和所確定 的前向估計(jì)運(yùn)動(dòng)矢量。在該優(yōu)選實(shí)施例中，還提供以下的步驟在較早時(shí)間的圖像幀中選擇塊來(lái)作為測(cè) 試塊，為該測(cè)試塊確定前向估計(jì)運(yùn)動(dòng)矢量，在較晚時(shí)間的圖像幀中找到前向估計(jì)運(yùn)動(dòng)矢量 所指向的塊，為所找到的塊確定后向估計(jì)運(yùn)動(dòng)矢量，并且比較所確定的前向估計(jì)運(yùn)動(dòng)矢量 和所確定的后向估計(jì)運(yùn)動(dòng)矢量。優(yōu)選地，為了比較運(yùn)動(dòng)矢量，優(yōu)選地基于歐幾里德距離或曼哈頓距離計(jì)算在所比 較的運(yùn)動(dòng)矢量之間的矢量距離。另外優(yōu)選地，為了進(jìn)行比較而檢測(cè)所計(jì)算的矢量距離是否 超過(guò)預(yù)定閾值。


通過(guò)附圖以及通過(guò)本發(fā)明的僅說(shuō)明性實(shí)施例的以下詳細(xì)解釋，本發(fā)明的其他特 征、優(yōu)點(diǎn)和目的將變得顯而易見(jiàn)。圖1示出了后向運(yùn)動(dòng)估計(jì)的示意圖，圖2a至2c示出了在兩個(gè)圖像幀之間內(nèi)插的示意圖，
圖3示出了電子設(shè)備的示意性框圖，其包含根據(jù)本發(fā)明的用于提供可靠運(yùn)動(dòng)矢量 的系統(tǒng)，圖4示出了根據(jù)本發(fā)明的用于檢測(cè)不可靠運(yùn)動(dòng)矢量的方法的示意圖，圖5至8是根據(jù)本發(fā)明的用于檢測(cè)不可靠運(yùn)動(dòng)矢量的不同實(shí)施例，圖9a至9c示出了根據(jù)本發(fā)明的用于提供可靠運(yùn)動(dòng)矢量的方法的示意圖，圖10是示出根據(jù)本發(fā)明的用于提供可靠運(yùn)動(dòng)矢量的方法的處理步驟的流程 圖， 以及圖11是示出根據(jù)本發(fā)明的用于檢測(cè)不可靠運(yùn)動(dòng)矢量的處理步驟的流程圖。
具體實(shí)施例方式如前所述，存在依賴于運(yùn)動(dòng)矢量的各種不同算法和處理方式。所有的方法都需要 使用可靠的運(yùn)動(dòng)矢量，并且從而在存在不可靠運(yùn)動(dòng)矢量的情況下遭受降低的品質(zhì)以及可靠 性。在下文中，作為例子，將參照?qǐng)D像幀內(nèi)插來(lái)解釋由不可靠運(yùn)動(dòng)矢量所產(chǎn)生的問(wèn)題。但應(yīng) 注意的是，本發(fā)明并不局限于圖像幀內(nèi)插的應(yīng)用，而是可以應(yīng)用于任何其他類型的基于運(yùn) 動(dòng)矢量的圖像處理。圖2a示出了在較早的時(shí)間點(diǎn)t-Ι處的圖像幀61以及在較晚的時(shí)間點(diǎn)t處的圖像 幀62。在這些圖像幀之間必須創(chuàng)建內(nèi)插圖像幀。為此目的，如前所述，創(chuàng)建后向估計(jì)運(yùn)動(dòng)矢 量。這再次導(dǎo)致產(chǎn)生問(wèn)題，即在未覆蓋區(qū)域65的情況中創(chuàng)建了不可靠的隨機(jī)運(yùn)動(dòng)矢量。這 導(dǎo)致多投影點(diǎn)69，其在內(nèi)插對(duì)象中用白點(diǎn)69來(lái)示出。這些多投影點(diǎn)69是多于一個(gè)的運(yùn)動(dòng) 矢量所指向的點(diǎn)。同樣，圖2b示出了針對(duì)同樣兩個(gè)時(shí)間幀61、62的前向估計(jì)運(yùn)動(dòng)矢量。在這種情況 下，對(duì)于覆蓋區(qū)域68產(chǎn)生了問(wèn)題，其中該覆蓋區(qū)域在本例子中由塊號(hào)9至14來(lái)示出，使得 被分配給覆蓋區(qū)域68的前向估計(jì)運(yùn)動(dòng)矢量再次是不可靠的。在圖2b中在存在運(yùn)動(dòng)矢量多 重投影的內(nèi)插位置中也創(chuàng)建了多投影點(diǎn)69。在圖2c中示出了所產(chǎn)生的內(nèi)插對(duì)象。如可以看出的，該對(duì)象包含可靠區(qū)域71和 兩個(gè)不可靠區(qū)域72，該可靠區(qū)域基于可靠運(yùn)動(dòng)矢量而創(chuàng)建，該不可靠區(qū)域也使用不可靠的 運(yùn)動(dòng)矢量而創(chuàng)建，并且該不可靠區(qū)域?qū)嶋H并不對(duì)應(yīng)于對(duì)象64的實(shí)際移動(dòng)。所產(chǎn)生的內(nèi)插對(duì) 象從而是不可靠的，并在所顯示的圖像中產(chǎn)生錯(cuò)誤。不可靠且隨機(jī)創(chuàng)建的運(yùn)動(dòng)矢量的問(wèn)題已經(jīng)參照內(nèi)插進(jìn)行了解釋。但當(dāng)使用基于運(yùn) 動(dòng)矢量的其他算法和處理方法時(shí)也產(chǎn)生了類似的問(wèn)題，因?yàn)椴豢煽康倪\(yùn)動(dòng)矢量總是導(dǎo)致圖 像品質(zhì)的明顯降低。從而本發(fā)明提出采用能夠可靠檢測(cè)不可靠運(yùn)動(dòng)矢量使得不可靠運(yùn)動(dòng)矢量能夠被 移除的一種方法和系統(tǒng)。根據(jù)所期望的應(yīng)用，被移除的運(yùn)動(dòng)矢量可以替換為其他可靠的矢 量，使得正確的運(yùn)動(dòng)矢量然后可以以高的品質(zhì)而被用于進(jìn)一步的應(yīng)用和處理方法。本發(fā)明所基于的想法是，在兩個(gè)圖像幀之間進(jìn)行雙向運(yùn)動(dòng)估計(jì)，并檢查在前向和 后向運(yùn)動(dòng)估計(jì)之間運(yùn)動(dòng)矢量的一致性。更具體地說(shuō)，本發(fā)明提出利用后向和前向估計(jì)來(lái)確定兩個(gè)圖像幀之間的運(yùn)動(dòng)矢 量，比較后向估計(jì)運(yùn)動(dòng)矢量和前向估計(jì)運(yùn)動(dòng)矢量，并基于比較結(jié)果來(lái)檢測(cè)不可靠的運(yùn)動(dòng)矢量。
圖3示出了采用根據(jù)本發(fā)明的系統(tǒng)的電子設(shè)備50。該電子設(shè)備比如可以是需要通 過(guò)使用基于運(yùn)動(dòng)矢量的算法來(lái)提供增強(qiáng)圖像品質(zhì)的電視機(jī)或任何其他電子設(shè)備。該電子設(shè)備50包括接收裝置58，該接收裝置接收視頻信號(hào)的圖像幀。該電子設(shè)備 50還包括儲(chǔ)存器59和顯示所處理的視頻圖像的顯示器60。該儲(chǔ)存器59可以包含易失性 和/或非易失性存儲(chǔ)器的一個(gè)或多個(gè)儲(chǔ)存器部件。該顯示器60可以是任何類型的已知的 或未來(lái)的顯示器，比如液晶顯示器(IXD)等。該接收裝置58、儲(chǔ)存器59和顯示器60連接到處理單元57并與之?dāng)?shù)據(jù)通信，該處 理單元管理該電子設(shè)備50中的所有處理。根據(jù)本發(fā)明的該處理單元57包含若干部件51至56，其適于執(zhí)行根據(jù)本發(fā)明的步 驟。該部件51至56因此可以是在本發(fā)明算法中的處理步驟，或者可以是用于執(zhí)行相應(yīng)算 法步驟的硬件部件。具體而言，該處理單元57包含后向運(yùn)動(dòng)估計(jì)裝置51，用以利用后向運(yùn)動(dòng)估計(jì)來(lái)確 定兩個(gè)圖像幀之間的運(yùn)動(dòng)矢量。該處理單元57還包括前向運(yùn)動(dòng)估計(jì)裝置，用以利用前向估 計(jì)來(lái)確定兩個(gè)圖像幀之間的運(yùn)動(dòng)矢量。比較裝置53適于比較后向估計(jì)運(yùn)動(dòng)矢量和前向估 計(jì)運(yùn)動(dòng)矢量。檢測(cè)裝置54然后基于由該比較裝置53所提交的比較結(jié)果來(lái)檢測(cè)不可靠的運(yùn)
動(dòng)矢量。還可以提供移除裝置55，以移除之前由該檢測(cè)裝置54所檢測(cè)的不可靠運(yùn)動(dòng)矢量。 根據(jù)所期望的應(yīng)用，替換裝置56可以將被移除的不可靠運(yùn)動(dòng)矢量替換為校正過(guò)的或可靠 的運(yùn)動(dòng)矢量。該電子設(shè)備50并不局限于圖3所示的部件，而是包含該電子設(shè)備50的功能所需 的其他所有部件，比如電池、電源等，其在圖中出于清晰的目的而被省略。圖4示出了說(shuō)明本發(fā)明的用于檢測(cè)不可靠的、即隨機(jī)創(chuàng)建的運(yùn)動(dòng)矢量的處理步驟 的示意圖。如前所述，根據(jù)本發(fā)明，使用了雙向運(yùn)動(dòng)估計(jì)。為此目的在兩個(gè)圖像幀61、62之 間確定后向估計(jì)運(yùn)動(dòng)矢量和前向估計(jì)運(yùn)動(dòng)矢量。在后向估計(jì)的情況下，如前所述，在未覆蓋 區(qū)域65中的塊產(chǎn)生了問(wèn)題，這導(dǎo)致了不可靠的后向估計(jì)運(yùn)動(dòng)矢量。同樣，在前向估計(jì)中在 覆蓋區(qū)域68的情況下也產(chǎn)生了問(wèn)題，這導(dǎo)致了不可靠的前向估計(jì)運(yùn)動(dòng)矢量。應(yīng)注意的是，圖中所示的圖像幀不必代表完整的圖像幀，而是也可以僅代表圖像 幀的一部分。然而，術(shù)語(yǔ)“圖像幀”在本申請(qǐng)中將被用于完整的以及部分的圖像幀。而且根 據(jù)所使用的算法和應(yīng)用所示的塊可以包括一個(gè)或多個(gè)像素。在圖4中出于清晰的目的兩次示出了在較早時(shí)間的圖像幀61以及在較晚時(shí)間的 圖像幀62，也即一次用于后向運(yùn)動(dòng)估計(jì)，一次用于前向運(yùn)動(dòng)估計(jì)。把前向估計(jì)運(yùn)動(dòng)矢量和后 向估計(jì)運(yùn)動(dòng)矢量插入到一個(gè)單個(gè)的圖像中將使圖4不清楚。本發(fā)明現(xiàn)在提出比較后向估計(jì)運(yùn)動(dòng)矢量和前向估計(jì)運(yùn)動(dòng)矢量，并實(shí)施一致性檢查。這將參照?qǐng)D4來(lái)解釋。在較晚時(shí)間的圖像幀62中一個(gè)塊被選擇為測(cè)試塊。在本 例子中該塊被標(biāo)記為A。然后確定該后向估計(jì)運(yùn)動(dòng)矢量MVbwd指向較早時(shí)間的圖像幀61中 的哪個(gè)塊。在本例子中，對(duì)應(yīng)的運(yùn)動(dòng)矢量指向塊B，也即MVbwd’ = MVbwd(X+MVbwd)。對(duì)于這個(gè)在較早時(shí)間的圖像幀61中所找到的塊B，然后在下一步驟中確定對(duì)應(yīng)的 前向估計(jì)運(yùn)動(dòng)矢量。由于在當(dāng)前的圖4中同一圖像幀示出了兩次，也即一次用于前向估計(jì)，一次用于后向估計(jì)，在前向估計(jì)圖像中的塊C由開(kāi)始于后向估計(jì)圖像中的塊B的箭頭73來(lái) 指示。即使塊B和C在不同圖像中示出，但它們是等同的。然后為塊C(與塊B等同)確定 對(duì)應(yīng)的前向估計(jì)運(yùn)動(dòng)矢量。所確定的前向估計(jì)運(yùn)動(dòng)矢量和之前所確定的后向估計(jì)運(yùn)動(dòng)矢量然后被比較，并實(shí) 施一致性檢查，也即在MVbwd’與-MVfwd之間實(shí)施相似性檢查。換言之，如果與塊C相關(guān)聯(lián)的 前向估計(jì)運(yùn)動(dòng)矢量指向在較晚時(shí)間的圖像幀62中與塊A相對(duì)應(yīng)的塊，那么這就意味著與塊 A相關(guān)聯(lián)的后向估計(jì)運(yùn)動(dòng)矢量是可靠的。測(cè)試塊A和對(duì)應(yīng)的后向估計(jì)運(yùn)動(dòng)矢量從而被標(biāo)記 為可靠的。在另一例子中，還參照?qǐng)D4來(lái)解釋不可靠的運(yùn)動(dòng)矢量。在該例子中，測(cè)試塊是塊 A’。后向估計(jì)運(yùn)動(dòng)矢量指向塊B’。如前所述，塊B’對(duì)應(yīng)于塊C’，并在下一步驟中確定與塊 C’相關(guān)聯(lián)的前向估計(jì)運(yùn)動(dòng)矢量。如可以看出的，該前向估計(jì)運(yùn)動(dòng)矢量與指向塊B’的后向估 計(jì)運(yùn)動(dòng)矢量不相似。開(kāi)始于塊A’的運(yùn)動(dòng)矢量從而被標(biāo)記為不可靠的。可以采用多種方法來(lái)檢查兩個(gè)運(yùn)動(dòng)矢量之間的相似性。一種方法是使用兩個(gè)運(yùn)動(dòng) 矢量之間的簡(jiǎn)單矢量距離(比如歐幾里德、曼哈頓或其他距離)。
另一種可能是，使用前述距離之一并且評(píng)估更多的信息。比如用來(lái)生成運(yùn)動(dòng)矢量 的匹配準(zhǔn)則。下面將給出一個(gè)例子在塊匹配運(yùn)動(dòng)估計(jì)方法中常常使用基于塊的偏移幀差 值來(lái)作為匹配準(zhǔn)則。除了距離之外這還可以用來(lái)提供更復(fù)雜的運(yùn)動(dòng)矢量相似性度量。由于 需要獲得對(duì)相似性的單個(gè)判斷，可能需要引入弄清運(yùn)動(dòng)矢量是否相似的條件。在提供標(biāo)量 結(jié)果的簡(jiǎn)單距離測(cè)量的情況中，這可以使用閾值來(lái)完成。比如距離d= 11MVbw/+MVfwdI I > 預(yù)定閾值。如果d更大，那么就可以假定運(yùn)動(dòng)矢量是不同的，并把MVbwd標(biāo)記為未覆蓋的矢 量。在許多硬件相關(guān)的應(yīng)用中，非常需要降低存儲(chǔ)器的使用。具體而言，在電視機(jī)的情 況中，儲(chǔ)存器和處理能力通常是相當(dāng)有限的。存儲(chǔ)器的使用極其依賴于對(duì)垂直信息的自由 訪問(wèn)(行緩沖器)，如垂直運(yùn)動(dòng)矢量訪問(wèn)的情況那樣。在本發(fā)明的一個(gè)實(shí)施例中，因此提出 一種方法，其使用較少的存儲(chǔ)器，但仍舊提供對(duì)由水平運(yùn)動(dòng)所造成的覆蓋或未覆蓋區(qū)域的 檢測(cè)。不是如前文所述的檢測(cè)規(guī)則中所做的那樣來(lái)進(jìn)行賦值MVbwd’ = MVbwd(X+MVbwd)，而是 能夠僅僅使用運(yùn)動(dòng)矢量的水平分量，比如MVbwd’ = MVbwd(X+MVbwd,水平分量)。仍舊對(duì)整個(gè)運(yùn)動(dòng)矢 量實(shí)施相似性度量?，F(xiàn)在將參照?qǐng)D5-8來(lái)給出如何能夠?qū)嵤└鶕?jù)本發(fā)明的算法的幾個(gè)例子。因此圖5示出了其中提供靜態(tài)背景，并且運(yùn)動(dòng)小于對(duì)象的情況。在該圖中，與圖4 相對(duì)比，僅示出了一組在較早時(shí)間的圖像幀61和在較晚時(shí)間的圖像幀62，并且后向估計(jì)運(yùn) 動(dòng)矢量和前向估計(jì)運(yùn)動(dòng)矢量被包括在同一圖中。如可以看出的，在該情況中也產(chǎn)生了未覆蓋區(qū)域65和覆蓋區(qū)域68的問(wèn)題。為了 確定不可靠的運(yùn)動(dòng)矢量，本發(fā)明在優(yōu)選的實(shí)施例中提出采用指示符來(lái)指示是否發(fā)生了覆蓋 情況或未覆蓋情況。該指示符可以是數(shù)字、符號(hào)或任何其他類型的指示符。在本實(shí)施例中， 使用零“0”、負(fù)號(hào)“-、雙負(fù)號(hào)“一”、正號(hào)“ + ”和雙正號(hào)“++”來(lái)作為指示符。在最后的指示符列85中示出了為每個(gè)塊所計(jì)算的最終指示符。在該過(guò)程的開(kāi)頭 對(duì)于每個(gè)塊將該最終指示符都設(shè)置為0。然后利用前述的方法，來(lái)確定不可靠的后向估計(jì)運(yùn) 動(dòng)矢量和不可靠的前向估計(jì)運(yùn)動(dòng)矢量。
在前向指示符列83中基于前向估計(jì)運(yùn)動(dòng)矢量的可靠性為較早時(shí)間的圖像幀61中 的每個(gè)塊確定指示符，其中該可靠性定義了最終指示符是否應(yīng)保持、減少或增加。在本例子 中存在覆蓋區(qū)域68。該覆蓋區(qū)域68的前向估計(jì)運(yùn)動(dòng)矢量利用前述方法而被確定為不可靠 的。在前向指示符列83中對(duì)于這些不可靠的運(yùn)動(dòng)矢量該指示符被設(shè)置為零74。對(duì)于其他 的運(yùn)動(dòng)矢量該指示符被設(shè)置為雙負(fù)號(hào)75。同樣，在后向指示符列84中基于后向估計(jì)運(yùn)動(dòng)矢量的可靠性為較晚時(shí)間的圖像 幀62中的每個(gè)塊確定指示符，該可靠性定義了該最終指示符是否應(yīng)保持、減少或增加。在 本例子中存在未覆蓋區(qū)域65。該未覆蓋區(qū)域65的后向估計(jì)運(yùn)動(dòng)矢量利用前述的方法而被 確定為不可靠的。在對(duì)于這些不可靠運(yùn)動(dòng)矢量的后向指示符列84中該指示符被設(shè)置為零 74。對(duì)于其他的運(yùn)動(dòng)矢量該指示符被設(shè)置為雙正號(hào)76。
現(xiàn)在，前向指示符列83以及后向指示符列84的指示符被用于確定最初設(shè)置的最 終指示符是否應(yīng)保持、減少或增加。因此，零74定義了最終指示符應(yīng)該保持不變，雙負(fù)號(hào)75 定義了最終指示符應(yīng)被減少，雙正號(hào)76定義了最終指示符應(yīng)被增加。這些調(diào)整現(xiàn)在被施加 到最初設(shè)置的最終指示符上。對(duì)于塊號(hào)1至8，按照前向指示符列83，該最終指示符應(yīng)該被減少，并且按照后向 指示符列84，該最終指示符應(yīng)該被增加?？傊@導(dǎo)致使該最終指示符保持不變，也即保持零 值74。對(duì)于塊號(hào)9至14，按照前向指示符列83，該最終指示符應(yīng)保持不變，并且按照后向指 示符列84，該最終指示符應(yīng)被增加。總之這導(dǎo)致最終指示符增加，這在最終指示符列85中 針對(duì)塊號(hào)9至14用正號(hào)值77示出。以同樣的方式，為其他塊確定最終指示符，這導(dǎo)致塊號(hào)15至16以及23至30的最 終指示符是零74，塊號(hào)17至22的指示符是負(fù)號(hào)78。由這個(gè)最終指示符現(xiàn)在可以看出，具 有最終指示符正號(hào)77的塊是覆蓋區(qū)域68的塊，具有最終指示符負(fù)號(hào)78的塊是未覆蓋區(qū)域 65的塊。進(jìn)一步的處理步驟可以基于定義覆蓋和未覆蓋區(qū)域的該最終指示符。再次應(yīng)注意 的是，上面的實(shí)施例僅僅是實(shí)施方式的一個(gè)例子，并且本發(fā)明并不局限于上述的實(shí)施例。在圖6中示出了對(duì)于靜態(tài)背景以及運(yùn)動(dòng)大于對(duì)象的情況的最終指示符的相同計(jì) 算方法。圖7示出了移動(dòng)背景以及對(duì)象與背景的運(yùn)動(dòng)方向相同的情況。在這種特定情況 中，可能發(fā)生的是如果同時(shí)存在覆蓋和未覆蓋的情況，那么把該最終指示符設(shè)置為零。這種 特殊的最終指示符86根據(jù)所使用的算法能夠被檢測(cè)為也指示不可靠的運(yùn)動(dòng)矢量，并能夠 相應(yīng)地處理。圖8示出了移動(dòng)背景以及對(duì)象的運(yùn)動(dòng)方向相反的情況。在圖9a至9c中示出了本發(fā)明的應(yīng)用的例子。因此，作為例子示出了使用根據(jù)本 發(fā)明的未覆蓋校正濾波器(UCF)的內(nèi)插。基于當(dāng)前所述的方法來(lái)檢測(cè)不可靠的后向估計(jì)運(yùn)動(dòng)矢量和前向估計(jì)運(yùn)動(dòng)矢量。然 后從投影中排除覆蓋的和未覆蓋的區(qū)域。在圖9c中示出了最終的內(nèi)插圖片，并且對(duì)象80的可靠的且可投影部分以黑色示 出。對(duì)象的不可投影區(qū)域81以白色示出。首先用背景運(yùn)動(dòng)矢量來(lái)預(yù)設(shè)置需要內(nèi)插的中間位置。必須事先利用全局運(yùn)動(dòng)參數(shù)化或者利用其他方法(比如通過(guò)先前投影結(jié)果的反饋)確定那些背景運(yùn)動(dòng)矢量。然后將被 清除的運(yùn)動(dòng)矢量82投影到中間位置，允許甚至重寫(xiě)背景運(yùn)動(dòng)矢量初始化的內(nèi)插運(yùn)動(dòng)矢量 場(chǎng)。如在圖9c中可以看出的，所產(chǎn)生的內(nèi)插運(yùn)動(dòng)矢量場(chǎng)不再受從未覆蓋區(qū)域隨機(jī)生成的運(yùn) 動(dòng)矢量的干擾。對(duì)前向估計(jì)運(yùn)動(dòng)矢量和覆蓋情況也實(shí)施同樣的處理。由于利用本發(fā)明可以非常可靠地實(shí)現(xiàn)對(duì)覆蓋和未覆蓋區(qū)域的檢測(cè)，所以可以采用 良好的內(nèi)插結(jié)果或基于運(yùn)動(dòng)矢量的任何其他高品質(zhì)處理?，F(xiàn)在在圖10中解釋本發(fā)明的基本想法。圖10因此是根據(jù)本發(fā)明的用于提供可靠 運(yùn)動(dòng)矢量的處理流程圖。該過(guò)程開(kāi)始于步驟SO。在步驟Sl中實(shí)施后向運(yùn)動(dòng)估計(jì)，并在步驟S 2中實(shí)施前向 運(yùn)動(dòng)估計(jì)。應(yīng)注意的是步驟Sl和S2也可以同時(shí)實(shí)施或以不同的順序來(lái)實(shí)施。在步驟S3中比較后向估計(jì)運(yùn)動(dòng)矢量和前向估計(jì)運(yùn)動(dòng)矢量。基于比較結(jié)果，在下一 步驟S4中檢測(cè)不可靠的運(yùn)動(dòng)矢量。在下一步驟S5中，不可靠的運(yùn)動(dòng)矢量被移除。根據(jù)所期望的應(yīng)用，可以在步驟S6 中用可靠的運(yùn)動(dòng)矢量替換被移除的運(yùn)動(dòng)矢量。然后在步驟S7中可以使用被校正的運(yùn)動(dòng)矢 量進(jìn)行進(jìn)一步的處理，所述被校正的運(yùn)動(dòng)矢量即不具有不可靠運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量、或者 包含有被替換的運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量。該過(guò)程在步驟S8中結(jié)束。在圖11中將更詳細(xì)地解釋本發(fā)明的用于檢測(cè)不可靠運(yùn)動(dòng)矢量的過(guò)程。從而將參 照確定后向估計(jì)運(yùn)動(dòng)矢量的可靠性的情況來(lái)解釋該過(guò)程，但是該過(guò)程當(dāng)然可以對(duì)應(yīng)地適用 于確定前向估計(jì)運(yùn)動(dòng)矢量的可靠性。該過(guò)程開(kāi)始于步驟S20。在步驟S21中較晚時(shí)間的圖像幀的塊被選擇為實(shí)際的測(cè) 試塊。在下一步驟S22中，為實(shí)際的測(cè)試塊來(lái)確定后向估計(jì)運(yùn)動(dòng)矢量。在下一步驟S23中， 找到該后向估計(jì)運(yùn)動(dòng)矢量指向較早時(shí)間的圖像幀的哪個(gè)塊。在下一步驟S24中為之前找到 的塊確定前向估計(jì)運(yùn)動(dòng)矢量。在下一步驟S25中比較所確定的前向估計(jì)運(yùn)動(dòng)矢量和所確定的后向估計(jì)運(yùn)動(dòng)矢 量。在步驟S26中檢查運(yùn)動(dòng)矢量是否相似或等同。如果運(yùn)動(dòng)矢量相似，那么在步驟S27中 對(duì)應(yīng)的后向運(yùn)動(dòng)矢量被標(biāo)記為可靠的。否則，如果運(yùn)動(dòng)矢量不相似，那么在步驟S28中后向 運(yùn)動(dòng)矢量被標(biāo)記為不可靠的。該過(guò)程結(jié)束于步驟S29。應(yīng)注意的是，本發(fā)明已經(jīng)參照?qǐng)D4和11進(jìn)行了闡述，其中從較晚時(shí)間的圖像幀開(kāi) 始使用未覆蓋校正濾波器。但應(yīng)注意的是，為了檢測(cè)前向估計(jì)運(yùn)動(dòng)矢量的可靠性可相應(yīng)地 適配該過(guò)程。在該情況中，該過(guò)程開(kāi)始于在較早時(shí)間的圖像上的塊，并且然后對(duì)應(yīng)地為較早 時(shí)間的圖像幀中的實(shí)際測(cè)試塊來(lái)確定前向估計(jì)運(yùn)動(dòng)矢量。在該情況中，找到前向估計(jì)運(yùn)動(dòng) 矢量指向較晚時(shí)間的圖像的哪個(gè)塊，并為所找到的塊確定對(duì)應(yīng)的后向估計(jì)運(yùn)動(dòng)矢量。然后 再次比較兩個(gè)運(yùn)動(dòng)矢量，并如前所述繼續(xù)該過(guò)程。本發(fā)明能與其一起使用的其他應(yīng)用比如是基于運(yùn)動(dòng)矢量的視頻分類、對(duì)象跟蹤或其他與運(yùn)動(dòng)矢量有關(guān)的方法?；谶\(yùn)動(dòng)矢量的視頻分類系統(tǒng)可以受益于本發(fā)明，其中該系 統(tǒng)使用運(yùn)動(dòng)矢量來(lái)檢測(cè)場(chǎng)景變換、全局運(yùn)動(dòng)移動(dòng)或其他視頻特征，因?yàn)楸景l(fā)明抑制了錯(cuò)誤 的運(yùn)動(dòng)矢量，并從而抑制了運(yùn)動(dòng)矢量場(chǎng)中的噪聲。
權(quán)利要求
一種用于提供可靠運(yùn)動(dòng)矢量的方法，其包括以下步驟利用后向和前向估計(jì)來(lái)確定(S1，S2)兩個(gè)圖像幀(61，62)之間的運(yùn)動(dòng)矢量(66，67)，比較(S3)后向估計(jì)運(yùn)動(dòng)矢量(66，67)和前向估計(jì)運(yùn)動(dòng)矢量(66，67)，以及基于比較結(jié)果來(lái)檢測(cè)(S4)不可靠的運(yùn)動(dòng)矢量(67)。
2.根據(jù)權(quán)利要求1所述的方法， 還包括以下步驟在一個(gè)圖像幀(61，62)中選擇(S21) —個(gè)塊(A，A’ )作為測(cè)試塊，以及比較(S3，S25)與所選擇的塊(A，A’ )相關(guān)聯(lián)的后向估計(jì)運(yùn)動(dòng)矢量和前向估計(jì)運(yùn)動(dòng)矢量。
3.根據(jù)權(quán)利要求1或2所述的方法，還包括移除(S5)不可靠的運(yùn)動(dòng)矢量(67)的步驟。
4.根據(jù)權(quán)利要求3所述的方法，還包括用可靠的運(yùn)動(dòng)矢量(82)替換(S6)被移除的運(yùn)動(dòng)矢量的步驟。
5.根據(jù)權(quán)利要求2至4中任一項(xiàng)所述的方法， 還包括以下步驟選擇(S21)在較晚時(shí)間的圖像幀(62)中的塊來(lái)作為測(cè)試塊(A，A’)， 為該測(cè)試塊(A，A’ )確定(S22)后向估計(jì)運(yùn)動(dòng)矢量，找到(S23)在較早時(shí)間的圖像幀(61)中后向估計(jì)運(yùn)動(dòng)矢量所指向的塊(B，B’，C，C’)， 為所找到的塊(B，B’，C，C’ )確定(S24)前向估計(jì)運(yùn)動(dòng)矢量，以及 比較(S25)所確定的后向估計(jì)運(yùn)動(dòng)矢量和所確定的前向估計(jì)運(yùn)動(dòng)矢量。
6.根據(jù)權(quán)利要求2至4中任一項(xiàng)所述的方法， 還包括以下步驟在較早時(shí)間的圖像幀(61)中選擇(S21)塊來(lái)作為測(cè)試塊(A，A’)， 為該測(cè)試塊(A，A’ )確定(S22)前向估計(jì)運(yùn)動(dòng)矢量，在較晚時(shí)間的圖像幀(62)中找到(S23)前向估計(jì)運(yùn)動(dòng)矢量所指向的塊(B，B’，C，C’)， 為所找到的塊(B，B’，C，C’ )確定(S24)后向估計(jì)運(yùn)動(dòng)矢量，以及 比較(S25)所確定的前向估計(jì)運(yùn)動(dòng)矢量和所確定的后向估計(jì)運(yùn)動(dòng)矢量。
7.根據(jù)前述任一權(quán)利要求所述的方法，其中所述比較步驟(S3，S25)包括計(jì)算在所比較的運(yùn)動(dòng)矢量之間的矢量距離，優(yōu)選地 計(jì)算歐幾里德或曼哈頓距離。
8.根據(jù)權(quán)利要求7所述的方法，其中所述比較步驟(S3，S25)包括檢測(cè)所計(jì)算的矢量距離是否超過(guò)預(yù)定的閾值。
9.一種用于提供可靠運(yùn)動(dòng)矢量的系統(tǒng)， 包括后向運(yùn)動(dòng)估計(jì)裝置(51)，用于利用后向估計(jì)來(lái)確定兩個(gè)圖像幀(61，62)之間的運(yùn)動(dòng)矢 量(66，67)，前向運(yùn)動(dòng)估計(jì)裝置(52)，用于利用前向估計(jì)來(lái)確定兩個(gè)圖像幀(61，62)之間的運(yùn)動(dòng)矢 量(66，67)，比較裝置(53)，用于比較后向估計(jì)運(yùn)動(dòng)矢量和前向估計(jì)運(yùn)動(dòng)矢量，以及 檢測(cè)裝置(54)，用于基于比較結(jié)果來(lái)檢測(cè)不可靠的運(yùn)動(dòng)矢量。
10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中該比較裝置(53)適于在一個(gè)圖像幀(61，62)中選擇一個(gè)塊(A，A’ )來(lái)作為測(cè)試 塊，并比較與所選擇的塊(A，A’ )相關(guān)的后向估計(jì)運(yùn)動(dòng)矢量和前向估計(jì)運(yùn)動(dòng)矢量。
11.根據(jù)權(quán)利要求9或10所述的系統(tǒng)， 還包括移除裝置(55)，用于移除不可靠的運(yùn)動(dòng)矢量(67)。
12.根據(jù)權(quán)利要求11所述的系統(tǒng)， 還包括替換裝置(56)，用于用可靠的運(yùn)動(dòng)矢量替換所移除的運(yùn)動(dòng)矢量。
13.根據(jù)權(quán)利要求10至12中任一項(xiàng)所述的系統(tǒng)， 其中該比較裝置(53)還適于在較晚時(shí)間的圖像幀(62)中選擇塊作為測(cè)試塊(A，A’)， 為測(cè)試塊(A，A’ )確定后向估計(jì)運(yùn)動(dòng)矢量，在較早時(shí)間的圖像幀(61)中找到后向估計(jì)運(yùn)動(dòng)矢量所指向的塊(B，B’，C，C’)， 為所找到的塊(B，B’，C，C’ )確定前向估計(jì)運(yùn)動(dòng)矢量，以及 比較所確定的后向估計(jì)運(yùn)動(dòng)矢量和所確定的前向估計(jì)運(yùn)動(dòng)矢量。
14.根據(jù)權(quán)利要求10至12中任一項(xiàng)所述的系統(tǒng)， 其中該比較裝置還適于在較早時(shí)間的圖像幀(61)中選擇塊來(lái)作為測(cè)試塊(A，A’)， 為該測(cè)試塊(A，A’ )確定前向估計(jì)運(yùn)動(dòng)矢量，在較晚時(shí)間的圖像幀(62)中找到前向估計(jì)運(yùn)動(dòng)矢量所指向的塊(B，B’，C，C’)， 為所找到的塊(B，B’，C，C’ )確定后向估計(jì)運(yùn)動(dòng)矢量，以及 比較所確定的前向估計(jì)運(yùn)動(dòng)矢量和所確定的后向估計(jì)運(yùn)動(dòng)矢量。
15.一種電子設(shè)備(50)，優(yōu)選為電視機(jī)，其包含根據(jù)前述任一權(quán)利要求所述的系統(tǒng)。
全文摘要
本發(fā)明涉及用于提供可靠運(yùn)動(dòng)矢量的方法和系統(tǒng)。本發(fā)明的方法包括步驟利用后向和前向估計(jì)來(lái)確定(S1，S2)在兩個(gè)圖像幀(61，62)之間的運(yùn)動(dòng)矢量(66，67)，比較(S3)后向估計(jì)運(yùn)動(dòng)矢量(66，67)與前向估計(jì)運(yùn)動(dòng)矢量(66，67)，并基于比較結(jié)果來(lái)檢測(cè)(S4)不可靠的運(yùn)動(dòng)矢量(67)。本發(fā)明還相應(yīng)地建議了一種提供可靠運(yùn)動(dòng)矢量的系統(tǒng)。利用本發(fā)明，抑制了運(yùn)動(dòng)矢量場(chǎng)中的噪聲。
文檔編號(hào)G06T7/20GK101826211SQ20101013010
公開(kāi)日2010年9月8日 申請(qǐng)日期2010年3月5日 優(yōu)先權(quán)日2009年3月5日
發(fā)明者O·埃爾德勒, V·弗賴伯格, Y·因塞素 申請(qǐng)人:索尼株式會(huì)社