專利名稱：內(nèi)插幀生成方法和內(nèi)插幀生成設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的 一個實施例涉及生成和在形成運動圖像的幀圖像之間
4悉入內(nèi)才翁幀的4支術(shù)，以及以流暢和自然的運動方式顯示只于象(object)
背景技術(shù)：
當(dāng)在液晶顯示器(LCD)上顯示運動圖^f象時，LCD以(例如) 60幀/秒的速率顯示幀圖像(下文中簡稱"幀，，)。幀是通過處理60 場/秒的隔行信號獲得的連續(xù)掃描圖像。特別地，LCD持續(xù)1/60秒 顯示一幀。
當(dāng)7見看LCD上顯示的這種圖 <象時，前一幀的圖1象在7見看者眼睛 的一見覺持續(xù)(persistence)時停留(leave )。因此，存在圖4象中的運 動對象出現(xiàn)模糊的情況，或者對象出現(xiàn)不自然的運動。在大屏幕中 這種現(xiàn)象出現(xiàn)得更明顯。
為了防止運動圖像的這種模糊，存在一種通過在兩個連續(xù)幀之 間插入內(nèi)插幀來顯示運動圖^象的已知方法(參考第2005-6275號日 本專利申請KOKAI公開出版物)。在參考的方法中，在包括在前幀 和在后幀的兩個輸入幀或更多輸入幀之間執(zhí)行形成幀的圖像塊的匹 配，從而檢測每個塊的運動矢量(對象運動的方向和距離)。通過利 用每個塊的運動矢量生成位于輸入幀之間的新內(nèi)插幀。在兩個輸入 幀之間插入內(nèi)插幀，從而利用增加數(shù)目的幀顯示運動圖像。 上述塊匹配是檢測在后幀中的哪個圖像塊與預(yù)定尺寸的圖像塊 匹配的方法。計算在前幀中的一個圖<象塊的<象素與在后幀中的4壬意
一個圖像塊的相應(yīng)像素之間的差分(difference ),并且具有差分的最 小累積值(絕對差分的總和[SAD])的在后幀的圖像塊被檢測作為 最類似、于在前幀的圖傳-塊的圖傳-塊。在前幀與在后幀的最類以的塊:
之間的位置的差分被檢測作為運動矢量。
當(dāng)基于利用SAD的塊匹配估計對象的運動時，如果在iir入幀中 存在周期圖案，則不能在周期圖案中的圖像塊中估計出準確的運動 矢量。第2005-56410號日本專利申請KOKAI公開出版物公開了一 種技術(shù)，在該技術(shù)中，如果所觀察的圖像是周期圖案，則利用周圍 圖像塊的運動矢量校正圖像塊的運動矢量。進一步地，第 2006-208792號日本專利申諱-才是交了 (于2006年7月31日4是交) 一種利用兩個尺寸(two sizes)的塊來4全測運動矢量的沖支術(shù)。
通過利用塊匹配檢測運動矢量的準確性不是很好，并且檢測有 時以失敗告終。 一全測運動矢量的失敗對圖<象處理有4艮大影響，并會 引起圖像損壞。因此，需要在4企測圖像矢量時采取防止失敗的方法。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種不管運動矢量的檢測準確性如何均能 夠防止圖像損壞(breakdown )的內(nèi)插幀生成設(shè)備和內(nèi)插幀生成方法。
根據(jù)本發(fā)明的一個方面，提出了一種通過利用多個輸入幀圖像 生成在連續(xù)幀之間插入的新的內(nèi)插幀的內(nèi)插幀生成方法，包4舌通 過在輸入幀圖像之間的塊匹配處理來檢測幀圖像中的對象的運動矢 量；判別一全測過程中所檢測的運動矢量的確定性，并基于該判別的 結(jié)果判別確定運動矢量和不確定運動矢量；以及通過利用^r測過程 中所檢測的運動矢量生成內(nèi)插幀，其中，該生成過程是通過將在判
別過程中被判別為不確定運動矢量的運動矢量的值設(shè)置為零，來生 成內(nèi)插幀。
才艮據(jù)上述方法，在生成內(nèi)插幀的過程中不^f吏用不確定運動矢量。 因此，有可能防止運動檢測中的失敗所引起的圖像損壞。
根據(jù)本發(fā)明，可以提供一種不管運動矢量的檢測準確性如何均 能夠防止圖像損壞的內(nèi)插幀生成設(shè)備和內(nèi)插幀生成方法。
本發(fā)明的其它目的和優(yōu)點將在以下的描述中^合出，并且部分地 將從描述變得明顯，或者可以通過實施本發(fā)明來獲得。通過下文中 特別指出的裝置及其結(jié)合可以實現(xiàn)和獲得本發(fā)明的多個目的和優(yōu)點。


附圖結(jié)合并構(gòu)成說明書的一部分，示出了本發(fā)明的實施例，并 與上述概括描述和以下實施例的詳細描述一起用于解釋本發(fā)明的原理。
圖1是示出了才艮據(jù)本發(fā)明的內(nèi)插幀生成i殳備的實施例的框圖2是用于解釋塊匹配處理的實例的示意圖3是示出了判別運動矢量的確定性的方法的實例的示意圖4是示出了根據(jù)圖3所示的方法4丸4亍的內(nèi)插幀生成設(shè)備10 的處理過考呈的流禾呈圖5是示出了判別運動矢量的確定性的方法的另一個實例的示 意圖；以及
圖6是示出了才艮據(jù)圖5所示的方法執(zhí)行的內(nèi)插幀生成設(shè)備10 的處理過程的流程圖。
具體實施例方式
下文中將參考附圖詳細描述根據(jù)本發(fā)明的多個實施例?？偟膩?講，根據(jù)本發(fā)明的一個實施例，提出了一種通過利用多個輸入幀圖 像生成在連續(xù)幀之間插入的新的內(nèi)插幀的內(nèi)插幀生成方法，包括 通過輸入幀圖像之間的塊匹配處理來檢測幀圖像中的對象的運動矢 量；判別(determining) ^r測過程中所才企測出的運動矢量的確定性， 并基于該判別的結(jié)果判別確定運動矢量和不確定運動矢量；以及通 過利用才企測過程中所4企測出的運動矢量生成內(nèi)4翁幀，其中，該生成
值i殳置為零，來生成內(nèi)插幀。
圖1是示出了根據(jù)本發(fā)明的內(nèi)插幀生成設(shè)備(幀號改變設(shè)備) 的實施例的框圖。圖1的內(nèi)插幀生成設(shè)備10包括幀存儲部11、運 動矢量4全測部12、內(nèi)插幀生成部13、以及判別部14。運動矢量才全 測部12例如通過塊匹配處理從輸入圖像信號中的兩個連續(xù)幀檢測 運動矢量。特別地，運動矢量才企測部12計算兩個輸入幀圖像中的圖 像塊的對應(yīng)像素的值之間的絕對差分值，并選擇對應(yīng)于絕對差分值 的SAD的最小值的運動矢量作為勢運動矢量(potential motion vector )。 llT入圖 <象4言號的幀率例3口是60幀/秒。
內(nèi)插圖^f象生成部13基于運動矢量4企測部12的才企測結(jié)果生成內(nèi) 插幀，并在兩個幀之間插入內(nèi)插幀。其中插入有內(nèi)插幀的輸出圖像 信號的幀率是例如60幀/秒。
判別部14判別由運動矢量4全測部12 一全測出的運動矢量的確定 性。具體地，判別部14判別由運動矢量才企測部12才企測出的運動矢
量的確定'f生，并基于4企測結(jié)果分辨確定運動矢量和不確定運動矢量。 特別地，判別部14將具有等于或大于特定閾值的大小的矢量判別為
不確定運動矢量。作為另 一 個實例，判別部14將與對應(yīng)于該矢量(待 判別的運動矢量)的l象素周圍的^象素的運動矢量的匹配比率不超過 特定閾值的矢量判別為不確定矢量。
具體地，判別部14為每個像素判別檢測出的運動矢量是否正 確。然后，判別部14通過利用檢測出的運動矢量判別是否生成內(nèi)插 幀，以通過利用周圍塊的運動矢量生成內(nèi)插幀，或者通過利用為零 的運動矢量生成內(nèi)插幀。其后，判別部14向內(nèi)插圖像生成部13提 供判別的結(jié)果。內(nèi)插圖像生成部13基于判別部14的判別結(jié)果生成 內(nèi)插圖像。
內(nèi)插圖像生成部13通過利用由運動矢量檢測部12 4全測出的運 動矢量生成內(nèi)插幀。當(dāng)生成內(nèi)插幀時，內(nèi)插圖像生成部13將被判別 部14判別為不確定運動矢量的運動矢量作為零矢量。作為另 一種生 成方法，內(nèi)插圖像生成部13通過結(jié)合(混合)基于^皮判別部14判 別為確定運動矢量的運動矢量生成的圖像和通過利用被判別為不確 定運動矢量的運動矢量作為零矢量生成的圖像，生成內(nèi)插幀。
可以將運動矢量判別部12、內(nèi)插圖像生成部13、以及判別部 14形成為利用離散電子電^各(discrete electronic circuits )的石更4?；?由CPU執(zhí)行的軟件(未示出)。
圖2是用于解釋塊匹配處理的實例的示意圖。如圖2所示，才是 出了 一種通過關(guān)于點對稱的圖像塊之間的塊匹配處理確定運動矢量 的方法。具體地，在圖2的方法中，通過對在前幀(prior frame ) 20 詳口在后頓(subsequent frame ) 22 (它^f門之間有內(nèi)4悉巾貞21 )上的圖^f象 塊進行一個Y象素沖妾著一個〗象素的(pixel by pixel)比4交來計算SAD。 圖像塊關(guān)于內(nèi)插幀21中的內(nèi)插圖像塊41的插入位置上的點是對稱
的。從兩個尺寸中選出該處理中所使用的圖像塊的尺寸。將連接最
類似的圖像塊(即，具有最小的SAD)的矢量判別為運動矢量。在 在前幀20中的預(yù)定4叟索范圍40和在后幀22中^j"應(yīng)于4叟索范圍40 的預(yù)定搜索范圍42中進行該比較。
假設(shè)圖像塊43和圖像塊44形成一對最類似的圖像塊，從圖像 塊43到圖像塊44的矢量被判別為內(nèi)插圖像塊41的運動矢量?；?該運動矢量和彼此最類似的圖像塊43和44的數(shù)據(jù)生成內(nèi)插幀21 中的內(nèi)插圖^f象塊41。
在圖2所示的方法中，預(yù)定尺寸的塊在關(guān)于內(nèi)插幀圖像的插入 位置上的點對稱的兩個幀(它們之間有內(nèi)插幀)上平行移動。然后， 為該塊中的每個^f象素計算位于這兩個幀上的相應(yīng)位置上的像素的^f象 素值之間的差分值，并判別差分值的累積總和的值。將SAD具有最 小值的方向判別為該塊的運動矢量。
圖3是示出了判別運動矢量的確定性的方法的實例的示意圖。 圖4是示出了根據(jù)圖3的方法4丸行的內(nèi)插幀生成i殳備10的處理過程 的流程圖。在圖3中，假設(shè)檢測出的運動矢量被判別為(2Xa， 2Ya) (圖4的4醫(yī)Sl )。然后，判別部14通過利用以下方壽呈式(1 )來對 內(nèi)插圖像Pa [X, Y]的運動矢量的確定性(該矢量是否是正確的矢 量)進行判別(框S2)。
|PO[X-Xa， Y-Ya]-Pl[X + Xa， Y + Ya] |<Thl…(1 )
在方程式(1)中，右邊的Thl是特定閾值。左邊表示差分矢 量的絕對值。當(dāng)將方程式(1 )用于檢測出的運動矢量時，判別部 14判別4企測出的運動矢量是正確的，并通過利用該運動矢量生成內(nèi) 插幀(框S3)。當(dāng)方程式(1)不適用時，判別部14通知內(nèi)插圖1象
生成部13。 一旦接收到通知，內(nèi)插圖像生成部13就通過利用零運 動矢量生成內(nèi)插幀(才匡S4)。
如上所述，才艮據(jù)上述實施例，將內(nèi)插幀的在前幀和在后幀之間 的差分矢量的絕對值與特定閾值Thl進行比較，并將差分矢量的絕 對值小于閾值Thl的運動矢量判別為確定運動矢量。將上述條件不 適用的矢量判別為不確定運動矢量。然后，通過利用^皮判別為不確 定運動矢量的運動矢量生成內(nèi)插幀。進一步地，當(dāng)將運動矢量判別 為不確定運動矢量時，通過利用零運動矢量生成內(nèi)插幀。才艮據(jù)上述 結(jié)構(gòu)，在內(nèi)插幀的生成過程中能夠消除不確定運動矢量。因此，可 以提供一種不管運動矢量的檢測準確性如何均能夠防止圖像損壞的 內(nèi) 一翁幀生成方法和內(nèi)4#幀生成i殳備。
本發(fā)明不局限于上述實施例。圖5是示出了判別運動矢量的確 定性的方法的另一個實例的示意圖。圖6是示出了根據(jù)圖5的方法 的內(nèi)插幀生成設(shè)備IO的處理過程的流程圖。在圖5中，假設(shè)待判別 的沖企測出的運動矢量為(2Xa， 2Ya)(圖6的才匡SIO)。然后判別部 14判別內(nèi)插圖像Pa [X, Y]的運動矢量的確定性。具體地，判別部 14通過檢測圖像Pa [X, Y]的像素的左邊和右邊的n個像素Pa [X，， Y，]是否匹配來判別內(nèi)插圖像Pa [X， Y]的運動矢量的確定性。在該 處理中，利用以下的方禾呈式(2)(才匡S20)。
|P0[X'-Xa,Y'-Ya]-Pl[X'+Xa,Y'+Ya]|<Th2 ... ( 2 )
在方程式(2)中，右邊的Th2是特定閾值。左邊表示差分矢 量的絕對值。內(nèi)插圖像生成部13判別方程式(2)所適用的周圍像 素的凄t目Ct，并計算該凄史目的比率M (0《M< 1 )(斗匡S20)。然后， 內(nèi)插圖像生成部13根據(jù)該比率(匹配程度)M生成內(nèi)插圖像(框 30)。具體地，內(nèi)插圖像生成部13通過將利用檢測出的運動矢量生 成的圖像和利用零運動矢量生成的圖像進行混合來生成內(nèi)插幀。具
體地，內(nèi)插圖像生成部13基于以下方程式(3 )生成內(nèi)插幀，其中， 通過利用檢測出的運動矢量生成的內(nèi)插圖像是Pv [X， Y],通過利 用零運動矢量生成的內(nèi)插圖像是PvO [X, Y]。<formula>formula see original document page 12</formula>(3)
M不4又:帔用作匹配凄t目的比率，而且更大的一又重可以一皮分配結(jié)、 與對象像素直接相鄰的像素，并且在待才企測的像素離開對象像素時，
該權(quán)重會逐漸下降。進一步地，盡管僅關(guān)于圖5中的水平方向(X-軸)判別匹配程度，但是，也可以利用關(guān)于垂直方向(Y-軸)判別 的匹配禾呈度。進一步i也，可以關(guān)于整個塊判別匹配禾呈度。
對于本領(lǐng)域的技術(shù)人員來說，將很容易發(fā)現(xiàn)其它優(yōu)點和改進方 案。因此，本發(fā)明具有其更寬的范圍，而并不局限于在此描述并示 出的特定細節(jié)和各個實施例。因此，在不背離由所附;f又利要求及其 等價物所限定的總體發(fā)明思想的精神和范圍的情況下，可以進行多
種改進。
權(quán)利要求
1.一種內(nèi)插幀生成方法，通過利用多個輸入幀圖像生成插在連續(xù)幀之間的新的內(nèi)插幀，其特征在于，包括通過在所述輸入幀圖像之間的塊匹配處理來檢測幀圖像中的對象的運動矢量(S1)；判別所述檢測過程中所檢測到的所述運動矢量的確定性，并基于所述判別的結(jié)果來判別確定運動矢量和不確定運動矢量(S2)；以及通過利用所述檢測過程中所檢測到的所述運動矢量生成所述內(nèi)插幀(S3，S4)，其中，所述生成過程(S3，S4)是通過將在所述判別過程中被判別為不確定運動矢量的運動矢量的值設(shè)置為零來生成所述內(nèi)插幀。
2. 才艮據(jù)^L利要求1所述的內(nèi)插幀生成方法，其特4正在于，所述生成過程(S3, S4)是通過將基于在所述判別過程 中被判別為確定運動矢量的運動矢量生成的圖像與基于在所 述判別過程中#皮判別為不確定運動矢量且其值^皮設(shè)置為零的 運動矢量生成的圖^^結(jié)合，來生成所述內(nèi)插幀。
3. 根據(jù)權(quán)利要求1所述的內(nèi)插幀生成方法，其特征在于，所述判別過程(S2 )是將具有等于或大于特定閾值的值的 矢量判別為所述不確定運動矢量。
4. 4艮據(jù)權(quán)利要求1所述的內(nèi)插幀生成方法，其特征在于，所述判別過程(S2 )是將待判別的運動矢量判別為所述不 確定運動矢量，其中，所述待判別的運動矢量與對應(yīng)于所述待 判別的運動矢量的像素周圍的多個像素的運動矢量的匹配比 率等于或小于特定閾值。
5. —種內(nèi)插幀生成設(shè)備，通過利用多個輸入幀圖像生成插在連續(xù) 幀之間的新的內(nèi)插幀，其特征在于，包括才企測部(12),用于通過在所述輸入幀圖像之間的塊匹配 處理來才企測幀圖^象中的對象的運動矢量；判別部(14 ),用于判別在所述纟企測部中所4全測到的運動 矢量的確定性，并基于所述判別的結(jié)果判別確定運動矢量和不 確定運動矢量；以及生成部(13)，用于通過利用所述才企測過禾呈中所4全測到的 運動矢量生成所述內(nèi)插幀，其中，所述生成部(13 )通過將在所述判別過程中被判別為不確 定運動矢量的運動矢量的值設(shè)置為零來生成所述內(nèi)插幀。
6. 根據(jù)權(quán)利要求5所述的內(nèi)插幀生成設(shè)備，其特征在于，所述生成部(13 )通過將基于在所述判別過程中被判別為 確定運動矢量的運動矢量生成的圖^象與基于在所述判別過程 中一皮判別為不確定運動矢量且其值一皮i殳置為零的運動矢量生 成的圖像結(jié)合，來生成所述內(nèi)插幀。
7. 根據(jù)權(quán)利要求5所述的內(nèi)插幀生成設(shè)備，其特征在于，所述判別部(14)將具有等于或大于特定閾值的值的矢量 判別為所述不確定運動矢量。
8. 根據(jù)權(quán)利要求5所述的內(nèi)插幀生成設(shè)備，其特征在于，所述判別部(14 )將4寺判別的運動矢量判別為所述不確定 運動矢量，其中，所述待判別的運動矢量與對應(yīng)于所述待判別 的運動矢量的〗象素周圍的多個4象素的運動矢量的匹配比率等 于或小于特定闊值。
全文摘要
根據(jù)一個實施例，通過利用多個輸入幀圖像生成插在連續(xù)幀之間的新的內(nèi)插幀的內(nèi)插幀生成方法包括通過在輸入幀圖像之間的塊匹配處理來檢測幀圖像中的對象的運動矢量(S1)；判別檢測過程中所檢測到的運動矢量的確定性，并基于判別結(jié)果判別確定運動矢量和不確定運動矢量(S2)；以及通過利用檢測過程中所檢測到的運動矢量生成內(nèi)插幀(S3，S4)。生成過程(S3，S4)是通過將在判別過程中被判別為不確定運動矢量的運動矢量的值設(shè)置為零來生成內(nèi)插幀。
文檔編號H04N5/14GK101193201SQ200710187110
公開日2008年6月4日 申請日期2007年11月14日 優(yōu)先權(quán)日2006年11月28日
發(fā)明者佐藤考, 吉村博, 小川佳彥, 山崎雅也, 平山桂子, 莊野溫夫, 濱川洋平, 道庭賢一 申請人:株式會社東芝