專利名稱：基于視頻對(duì)象和區(qū)域指導(dǎo)的圖像插值方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及圖像插值方法，該方法能獲得較高的主觀和客觀圖像質(zhì)量，同時(shí)滿足MPEG-4基于視頻對(duì)象的需求，適用于需要視頻對(duì)象或整幅圖像分辨率變換的場合。

背景技術(shù)：
隨著信息技術(shù)的發(fā)展，視頻的應(yīng)用越來越廣泛，各種數(shù)字視頻系統(tǒng)，諸如全數(shù)字高清晰電視和視頻電話等，有著不同的分辨率要求，從而產(chǎn)生了許多不同的格式來存儲(chǔ)、傳輸和顯示數(shù)字視頻信號(hào)，不同應(yīng)用的視頻信號(hào)有許多不同的商業(yè)標(biāo)準(zhǔn)，例如QCIF、NTSC、PAL和HDTV等。
為了適應(yīng)不同網(wǎng)絡(luò)條件、不同的顯示設(shè)備和不同的顯示方式等，在應(yīng)用過程當(dāng)中不可避免地會(huì)對(duì)圖像的分辨率進(jìn)行暫時(shí)或永久的改變，根據(jù)輸入圖像和輸出圖像分辨率的關(guān)系，實(shí)現(xiàn)圖像的縮放。圖像縮小技術(shù)主要用于視頻預(yù)覽、畫中畫、多畫面、鏡頭伸縮和高清電視節(jié)目源在標(biāo)清或傳統(tǒng)模擬電視上顯示等方面。在反方向，由于人們對(duì)視頻質(zhì)量要求的不斷提高，出現(xiàn)了大量的高清電視、寬屏電視、液晶電視和等離子電視等高分辨率顯示終端，為向下兼容傳統(tǒng)電視的信號(hào)源，就需要對(duì)接收過來的圖像信號(hào)做放大處理。而且常見的衛(wèi)星、有線和地面電視信號(hào)源中存在著大量的非標(biāo)準(zhǔn)分辨率的節(jié)目，如PAL/NTSC制式的兼容等等。
總之，為了結(jié)合不同的應(yīng)用，需要目標(biāo)圖像分辨率可實(shí)現(xiàn)任意比例的縮放、水平和垂直方向獨(dú)立可控、播放窗口的大小可調(diào)等，這些都需要圖像縮放技術(shù)的支持。從硬件上著手實(shí)現(xiàn)圖像的縮放，可以獲得較高的圖像質(zhì)量，但一般對(duì)硬件的改進(jìn)將需要付出較昂貴的代價(jià)，因而從軟件方面改進(jìn)，采用插值技術(shù)實(shí)現(xiàn)數(shù)字圖像的分辨率變換很有意義。
已有的圖像插值技術(shù)主要集中在圖像放大的應(yīng)用中，如張曉峰研究了圖像縮小和放大的關(guān)系，證明了二者在實(shí)現(xiàn)技術(shù)上的內(nèi)在同一性，見張曉峰.基于H.26L的電視制導(dǎo)圖象處理機(jī)關(guān)鍵技術(shù)研究.哈爾濱工業(yè)大學(xué)博士學(xué)位論文，2005。對(duì)于數(shù)字圖象處理而言，該同一性的意義在于長期以來，在插值方面研究的大量成果均可以應(yīng)用在下采樣中；插值方法在下采樣的應(yīng)用中保持特征、保護(hù)邊緣、維持平滑等特性依然能夠體現(xiàn)，使下采樣后圖像能保持更多的信息，以利于后續(xù)應(yīng)用。
目前，圖像插值方法主要分為以下幾類 (1)傳統(tǒng)圖像插值方法。在傳統(tǒng)圖像插值方法中，最近鄰插值較簡單，容易實(shí)現(xiàn)，早期的時(shí)候應(yīng)用比較普遍。但是，該方法會(huì)在新圖像中產(chǎn)生明顯的鋸齒邊緣和馬賽克現(xiàn)象。雙線性插值法具有平滑功能，能有效地克服最近鄰法的不足，但會(huì)退化圖像的高頻部分，使圖像細(xì)節(jié)變模糊。在放大倍數(shù)比較高時(shí)，高階插值，如雙三次和三次樣條插值等比低階插值效果好。這些插值方法可以使插值生成的像素灰度值延續(xù)原圖像灰度變化的連續(xù)性，從而使放大圖像濃淡變化自然平滑。但是在圖像中，有些像素與相鄰像素間灰度值存在突變，即存在灰度不連續(xù)性。這些具有灰度值突變的像素就是圖像中描述對(duì)象的輪廓或紋理圖像的邊緣像素。在圖像放大中，對(duì)這些具有不連續(xù)灰度特性的像素，如果采用常規(guī)的插值方法生成新增加的像素，勢(shì)必會(huì)使放大圖像的輪廓和邊緣，降低圖像質(zhì)量。
(2)基于原始低分辨率圖像邊緣的方法。這類插值方法一般采用如圖1所示原理圖，首先檢測(cè)低分辨率圖像的邊緣，然后根據(jù)檢測(cè)的邊緣將像素分類處理，對(duì)于平坦區(qū)域的像素，采用傳統(tǒng)方法插值；對(duì)于邊緣區(qū)域的像素，設(shè)計(jì)特殊插值方法，以達(dá)到保持邊緣細(xì)節(jié)的目的。如張雄，畢篤彥，楊寶強(qiáng)發(fā)表的“一種保持圖像邊緣的插值方法”空軍工程大學(xué)學(xué)報(bào)，vol.8，no.3，2007，pp.78-80.所采用的方法就是這種方法。該方法在插值時(shí)，沿著邊緣的像素取相鄰已知邊緣的像素求平均，其它像素用雙三次插值法求值。這類方法可提高圖像的邊緣清晰度，但存在邊緣偏離的現(xiàn)象，放大倍數(shù)越大，偏離越嚴(yán)重。
(3)基于插值后高分辨率圖像邊緣的方法。這類插值方法一般采用如圖2所示原理圖，首先采用傳統(tǒng)方法插值低分辨率圖像，然后檢測(cè)高分辨率圖像的邊緣，最后對(duì)邊緣及附近像素進(jìn)行特殊處理，以去除模糊，增強(qiáng)圖像的邊緣。如文獻(xiàn)Q.Wang，R.Ward，J.C.Zou.Contrast Enhancement for Enlarged Images Based on Edge Sharpening.IEEE InternationalConference on Image Processing(ICIP’05)，GenovaIEEE Press，2005，pp.762-765.所采用的方法是首先用傳統(tǒng)方法對(duì)圖像進(jìn)行放大，然后用Sobel算子提取邊緣像素，用邊緣增強(qiáng)函數(shù)

(x)，按如下步驟對(duì)邊緣像素進(jìn)行處理 (1)尋找連續(xù)的水平邊緣像素。
(2)對(duì)步驟(1)中找到的像素值Ui規(guī)范化，使規(guī)范化后的Ui滿足0≤Ui≤1。
(3)用邊緣增強(qiáng)函數(shù)

(x)修改規(guī)范化后的像素值，即
(4)對(duì)修改后的像素值

按步驟(2)中規(guī)范化相反的操作進(jìn)行還原，然后代替原來的邊緣像素值。
其中a是任意實(shí)數(shù)，用來控制

(x)的形狀，為了使邊緣增強(qiáng)，必須滿足a≥1。以上操作增強(qiáng)了水平邊緣，然后在垂直方向上重復(fù)以上操作，增強(qiáng)垂直邊緣，文獻(xiàn)中取
定義一簇sigmoidal函數(shù)

(x)作為邊緣增強(qiáng)函數(shù)
為了增強(qiáng)平滑區(qū)域，利用傳統(tǒng)的unsharp模板對(duì)非邊緣像素進(jìn)行增強(qiáng)，傳統(tǒng)unsharp模板核函數(shù)如下 其中參數(shù)c用來控制增強(qiáng)強(qiáng)度，c越小，則增強(qiáng)強(qiáng)度越大，即c＝0.5時(shí)增強(qiáng)強(qiáng)度最大，當(dāng)c＝1時(shí)圖像不變。
這類方法對(duì)高分辨率圖像邊緣進(jìn)行增強(qiáng)處理，可提高傳統(tǒng)插值方法結(jié)果圖像的邊緣對(duì)比度，得到較好的主觀視覺效果；但是采用傳統(tǒng)方法放大后的圖像邊緣被加寬，很難檢測(cè)出邊緣的準(zhǔn)確位置，而且由于對(duì)圖像進(jìn)行了濾波處理，會(huì)導(dǎo)致圖像客觀質(zhì)量有一定下降。
由于以上所有圖像插值方法都在整幅圖像范圍內(nèi)進(jìn)行，當(dāng)視頻編碼標(biāo)準(zhǔn)MPEG-4引入了基于對(duì)象的操作后，如基于內(nèi)容的檢索、識(shí)別等功能，人們更多關(guān)注的是感興趣的視頻對(duì)象，因此再采用上述在整幅圖像范圍內(nèi)對(duì)圖像背景和非感興趣視頻對(duì)象進(jìn)行插值，必將造成資源和時(shí)間的浪費(fèi)。
發(fā)明的內(nèi)容 本發(fā)明的目的在于克服上述已有技術(shù)的不足，提出一種基于視頻對(duì)象和區(qū)域指導(dǎo)的圖像插值方法，以獲得較高的主觀和客觀圖像質(zhì)量，同時(shí)滿足視頻對(duì)象或整幅圖像分辨率變換的需求。
本發(fā)明的目的是這樣實(shí)現(xiàn)的 由于圖像中存在不同性質(zhì)或顏色的區(qū)域，傳統(tǒng)方法對(duì)整幅圖像采用相同的方法處理不科學(xué)；基于邊緣的處理方法同樣不科學(xué)，因?yàn)閳D像的區(qū)域之間本身不存在特殊的邊緣，而平常所檢測(cè)到的“邊緣”本身也應(yīng)該屬于某一區(qū)域，因此本發(fā)明充分利用圖像的區(qū)域一致性，明確判斷插值像素所屬區(qū)域，從而克服傳統(tǒng)圖像插值方法由于邊緣點(diǎn)所屬區(qū)域不明確，模糊的處理造成的圖像模糊和圖像客觀質(zhì)量下降。同時(shí)，為了滿足視頻編碼標(biāo)準(zhǔn)MPEG-4基于對(duì)象的應(yīng)用，以視頻對(duì)象為指導(dǎo)，插值時(shí)可只在感興趣的對(duì)象范圍內(nèi)基于區(qū)域指導(dǎo)，而對(duì)背景和其它對(duì)象范圍采用簡單、快速的線性方法，以保證較快的處理速度和興趣區(qū)域較好的圖像質(zhì)量，避免內(nèi)存資源和時(shí)間的浪費(fèi)，適用于需要處理速度快和系統(tǒng)處理能力有限的情況。
本發(fā)明的圖像插值方法包括如下步驟 (1)將原始圖像分割成不同區(qū)域； (2)根據(jù)圖像的縮放倍數(shù)，將待插值的點(diǎn)映射到原始圖像中，即確定插值點(diǎn)的位置； (3)根據(jù)插值點(diǎn)的位置和區(qū)域分割的結(jié)果，確定插值點(diǎn)在其所屬區(qū)域的位置； (4)對(duì)于位置在其所屬區(qū)域內(nèi)部的插值點(diǎn)，采用一維線性插值和二維線性插值公式求值，即對(duì)位于原始圖像的兩水平像素或兩垂直像素之間的插值點(diǎn)，采用一維線性插值公式求值，其它位置的像素采用二維線性插值公式求值； (5)對(duì)于在相鄰區(qū)域過渡位置的插值點(diǎn)，當(dāng)其位于原始圖像的兩水平像素或兩垂直像素之間時(shí)，采用構(gòu)造的如下一維非線性插值公式求值 F(I，J)＝[f(A)*(1-dx)a+f(B)*dxa]/[(1-dx)a+dxa] 式中，當(dāng)插值點(diǎn)位于原始圖像的兩水平像素點(diǎn)之間時(shí)，A和B分別表示原始圖像的這兩個(gè)水平像素點(diǎn)，且A為左側(cè)的點(diǎn)；當(dāng)插值點(diǎn)位于原始圖像的兩垂直像素點(diǎn)之間時(shí)，A和B分別表示原始圖像的這兩個(gè)垂直像素點(diǎn)，且A為上方的點(diǎn)；f(A)和f(B)分別為原始圖像點(diǎn)A和B處的像素值；dx表示插值點(diǎn)到點(diǎn)A的距離，滿足0≤dx，1-dx＜1；a為大于1的實(shí)數(shù)； (6)對(duì)于在相鄰區(qū)域過渡位置的插值點(diǎn)，當(dāng)其不位于原始圖像的兩水平像素之間、也不位于原始圖像的兩垂直像素之間時(shí)，即插值點(diǎn)位于四個(gè)已知鄰域像素的矩形內(nèi)，采用構(gòu)造的如下二維非線性插值公式求值 F(I，J)＝[f(A)*w(A)+f(B)*w(B)+f(C)*w(C)+f(D)*w(D)]/[w(A)+w(B)+w(C)+w(D)] 式中， w(A)＝(2-dx-dy)*b(L(A)＝＝k) w(B)＝(1-dy+dx)*b(L(B)＝＝k) w(C)＝(1-dx+dy)*b(L(C)＝＝k) w(D)＝(dx+dy)*b(L(D)＝＝k) A、B、C和D分別表示矩形的左上角、右上角、左下角和右下角的像素；f(A)、f(B)、f(C)和f(D)分別為點(diǎn)A、B、C和D處的像素值；dx和dy分別表示插值點(diǎn)到點(diǎn)A的水平和垂直距離，滿足0≤dx，1-dx＜1和0≤dy，1-dy＜1；L(A)、L(B)、L(C)和L(D)分別為點(diǎn)A、B、C和D的區(qū)域標(biāo)記；k為當(dāng)前點(diǎn)所屬區(qū)域的區(qū)域標(biāo)記；L(A)＝＝k表示當(dāng)點(diǎn)A的區(qū)域標(biāo)記L(A)等于k時(shí)，表達(dá)式L(A)＝＝k的值取1，否則取0；L(B)＝＝k表示當(dāng)點(diǎn)B的區(qū)域標(biāo)記L(B)等于k時(shí)，表達(dá)式L(B)＝＝k的值取1，否則取0；L(C)＝＝k表示當(dāng)點(diǎn)C的區(qū)域標(biāo)記L(C)等于k時(shí)，表達(dá)式L(C)＝＝k的值取1，否則取0；L(D)＝＝k表示當(dāng)點(diǎn)D的區(qū)域標(biāo)記L(D)等于k時(shí)，表達(dá)式L(D)＝＝k的值取1，否則取0；b為大于1的實(shí)數(shù)； (7)將步驟(4)至步驟(6)所求得的各像素點(diǎn)的值，賦給待插值點(diǎn)位置處的像素。
本發(fā)明具有如下優(yōu)點(diǎn) (1)本發(fā)明由于利用基于Mean Shift和視頻對(duì)象的區(qū)域分割方法將視頻對(duì)象分割成不同區(qū)域，插值公式的設(shè)計(jì)以區(qū)域?yàn)橹笇?dǎo)，充分體現(xiàn)了區(qū)域的一致性，即對(duì)區(qū)域內(nèi)部的點(diǎn)采用線性插值方法，保持了區(qū)域內(nèi)部的平滑性；對(duì)區(qū)域間的過渡點(diǎn)，給同一區(qū)域的鄰域像素賦較大的權(quán)值，給其它區(qū)域的鄰域像素賦較小的權(quán)值； (2)本發(fā)明由于采用以視頻編碼標(biāo)準(zhǔn)MPEG-4中的視頻對(duì)象為指導(dǎo)，插值時(shí)只在感興趣的對(duì)象內(nèi)基于區(qū)域指導(dǎo)，而對(duì)背景和其它對(duì)象采用簡單、快速的線性方法，因而可保證較快的處理速度和興趣區(qū)域較好的圖像質(zhì)量，適用于需要處理速度快或系統(tǒng)處理能力有限的情況； (3)本發(fā)明由于采用將整幅圖像視作一個(gè)對(duì)象，則可提高整幅圖像的質(zhì)量； (4)本發(fā)明理論上可實(shí)現(xiàn)圖像任意倍數(shù)的縮放，放大5倍以內(nèi)效果較好。
仿真結(jié)果表明，本發(fā)明用于圖像放大中，在保證圖像有較高的主觀視覺質(zhì)量的同時(shí)，圖像具有較高的客觀質(zhì)量；根據(jù)圖像縮小和圖像放大在實(shí)現(xiàn)技術(shù)上的內(nèi)在同一性關(guān)系，將所述圖像插值方法用于圖像縮小中，在保證圖像較好的主觀視覺效果的同時(shí)，能較好地保持原始圖像的信息，便于處理后的圖像進(jìn)一步的應(yīng)用和處理，如圖像匹配、拼接、檢索。以下結(jié)合附圖對(duì)本發(fā)明的特征和效果作進(jìn)一步詳細(xì)描述。



圖1為已有基于原始低分辨率圖像邊緣的插值方法原理圖； 圖2為已有基于插值后高分辨率圖像邊緣的插值方法原理圖； 圖3為本發(fā)明圖像的區(qū)域特征分析模擬圖，其中圖3(a)為原始圖像，3(b)為邊緣檢測(cè)結(jié)果，3(c)為將圖像的行數(shù)擴(kuò)大4倍的插值示意圖； 圖4為本發(fā)明圖像插值方法的主要步驟； 圖5為本發(fā)明基于均值漂移和視頻對(duì)象的區(qū)域分割方法流程圖； 圖6為本發(fā)明基于Mean Shift和視頻對(duì)象的區(qū)域分割方法分割結(jié)果圖，其中圖6(a)為LENA原始圖像，分辨率為512×512，圖6(b)為MPEG-4視頻對(duì)象形狀平面，圖6(c)為基于MPEG-4視頻對(duì)象指導(dǎo)下的區(qū)域分割結(jié)果，圖6(d)為將整幅圖像視作一個(gè)視頻對(duì)象的區(qū)域分割效果； 圖7為本發(fā)明插值圖像映射原始圖像間的位置關(guān)系，其中圖7(a)為原始圖像，7(b)為可能的插值區(qū)域，7(c)為插入點(diǎn)在原圖中的位置示意圖； 圖8為本發(fā)明圖像插值方法流程圖； 圖9為本發(fā)明的圖像插值方法應(yīng)用于圖像放大的示例圖，其中9(a)為基于視頻對(duì)象的放大結(jié)果，圖9(b)為基于整幅圖像的放大結(jié)果，圖9(c)和圖9(d)分別為兩種放大結(jié)果視頻對(duì)象的局部放大圖，圖9(e)和圖9(f)分別為兩種放大結(jié)果背景的局部放大圖； 圖10為本發(fā)明的圖像插值方法應(yīng)用于圖像縮小的示例圖，其中10(a)為將512×512的LENA圖像縮小4倍的結(jié)果，圖10(b)為縮小圖像的局部放大圖。

具體實(shí)施例方式 參照?qǐng)D3，本發(fā)明利用圖像區(qū)域一致性的原理分析如下 以一幅包含兩個(gè)區(qū)域的圖像為例，如圖3(a)，對(duì)該圖運(yùn)用Sobel算子進(jìn)行邊緣檢測(cè)，得到的結(jié)果如圖3(b)所示，即“B”區(qū)域的第一行像素被檢測(cè)為邊緣?？梢?，一般圖像中并沒有特殊的邊緣存在，邊緣檢測(cè)得到的“邊緣”本身也是屬于某一區(qū)域，因此，圖像存在明顯的區(qū)域特征。如果運(yùn)用傳統(tǒng)邊緣保持圖像插值方法對(duì)圖像邊緣進(jìn)行特殊處理不合理，以將圖像的行數(shù)擴(kuò)大4倍為例，如圖3(c)所示，在原圖的兩行之間，需要插入三行新的像素。則“C”和“E”分別屬于A和B區(qū)域內(nèi)部插入的像素，但由于“B”區(qū)域的第一行像素被檢測(cè)為邊緣，運(yùn)用傳統(tǒng)邊緣保持圖像插值方法時(shí)，區(qū)域內(nèi)部的“E”像素就變?yōu)榱诉吘夁^渡像素；而對(duì)于“D”像素，它應(yīng)該屬于區(qū)域之間的過渡像素，放大圖像的邊緣應(yīng)該在“D”區(qū)域的某一位置(如中間一行“D”)，可見，把“B”的第一行當(dāng)作邊緣導(dǎo)致了邊緣的偏離。
以上分析可得出如下結(jié)論 (1)對(duì)整幅圖像進(jìn)行統(tǒng)一的處理，將會(huì)造成圖像的模糊； (2)對(duì)圖像的邊緣進(jìn)行特殊處理不合理； (3)一般圖像具有區(qū)域特征，對(duì)圖像進(jìn)行區(qū)域一致性分析更科學(xué)。
因此，本發(fā)明基于圖像的區(qū)域一致性進(jìn)行圖像的插值，比現(xiàn)有的圖像插值方法原理上更科學(xué)。
參照?qǐng)D4，本發(fā)明的圖像插值按如下步驟進(jìn)行 步驟一，分割原始圖像 本發(fā)明采用基于Mean Shift和視頻對(duì)象的區(qū)域分割方法將原始圖像分割成不同區(qū)域，該Mean Shift和視頻對(duì)象的區(qū)域分割方法如圖5所示，具體過程為 (1)取當(dāng)前像素點(diǎn)； (2)如果當(dāng)前像素點(diǎn)不屬于視頻對(duì)象，則將當(dāng)前像素點(diǎn)劃分為背景類； (3)如果當(dāng)前像素點(diǎn)屬于視頻對(duì)象，則計(jì)算均值漂移Mean Shift矢量，并不斷滑動(dòng)均值的計(jì)算窗口，迭代計(jì)算，直至均值漂移矢量小于容許誤差ξ，得到一個(gè)收斂點(diǎn)為止；如果該收斂點(diǎn)是第一次出現(xiàn)，則建立一個(gè)新類，將當(dāng)前像素點(diǎn)加入該新類，并將該新類的像素點(diǎn)數(shù)計(jì)為1個(gè)；如果該收斂點(diǎn)不是第一次出現(xiàn)，即確定該收斂點(diǎn)已經(jīng)屬于某個(gè)類，并將該當(dāng)前像素點(diǎn)加入收斂點(diǎn)所屬的類，使該類的像素點(diǎn)數(shù)增加1個(gè)； 所述的計(jì)算均值漂移Mean Shift矢量方法如下 給定d維空間的n個(gè)點(diǎn)xi∈Rd(i＝1，...，n)，點(diǎn)x的多元核密度估計(jì)函數(shù)可表示為 其中，h為核函數(shù)的帶寬；k(.)為核函數(shù)的輪廓，具有該輪廓的核函數(shù)為K(x)＝ck，dk(||x||2)，ck，d是歸一化常量，保證核函數(shù)K(x)積分為1，且嚴(yán)格正定。核函數(shù)在均值漂移方法中起到至關(guān)重要的作用。
一般比較常用的核輪廓函數(shù)為Epanechnikov核輪廓函數(shù) 相應(yīng)的Epanechnikov核函數(shù)為 其中，cd為單位d維橢圓球體的體積。
令g(.)＝-k’(.)，則可以用g(.)輪廓定義核函數(shù)G(x)＝c’g(||x||2)，c’也是歸一化的常量，則可得到均值漂移Mean Shift矢量 (4)取下一個(gè)像素點(diǎn)為當(dāng)前像素點(diǎn)，重復(fù)步驟(2)和步驟(3)，將下一個(gè)像素點(diǎn)加入一個(gè)類； (5)重復(fù)步驟(4)，將圖像所有像素點(diǎn)加入到相應(yīng)的類中； (6)根據(jù)需要保留區(qū)域的大小設(shè)定像素點(diǎn)閾值，去除像素點(diǎn)數(shù)小于閾值的類，即去除小面積區(qū)域，完成整個(gè)區(qū)域分割。
參照?qǐng)D6，本發(fā)明采用的原始圖像如6(a)，且在基于視頻編碼標(biāo)準(zhǔn)MPEG-4的應(yīng)用中，視頻對(duì)象的二值alpha形狀平面為已知信息，如圖6(b)所示；用本發(fā)明的分割方法在視頻對(duì)象6(b)的指導(dǎo)下對(duì)原始圖像6(a)進(jìn)行分割，其分割結(jié)果如圖6(c)所示，圖像的整個(gè)背景被分為一個(gè)區(qū)域；用本發(fā)明的分割方法對(duì)于只輸入原始圖像的單幅圖像進(jìn)行分割，其分割結(jié)果如圖6(d)所示。
步驟二，確定插值點(diǎn)在原始圖像中的位置 參照?qǐng)D7，其中圖7(a)為原始圖像，A、B、C和D為原始圖像的四個(gè)像素點(diǎn)；圖7(b)中e、f、g、h和i為插值點(diǎn)在原始圖像中可能的區(qū)域；圖7(c)為插入點(diǎn)在原圖中的位置示意圖，其中dx和dy分別表示插值點(diǎn)到點(diǎn)A的水平和垂直距離，該dx和dy的計(jì)算是利用公式x′＝I/SH，y′＝J/SV求插值圖像F中像素的位置(I，J)所對(duì)應(yīng)的原始圖像中的位置(x′，y′)，SH和SV分別是水平和垂直縮放比例，為任意實(shí)數(shù)。
令x＝floor(x′)，y＝floor(y′)，floor(x)表示不超過x的最大整數(shù)，則有 dx＝x′-x，dy＝y(tǒng)′-y； 可以看出，0≤dx，dy＜1。
求出dx和dy后，參照?qǐng)D7(c)和圖8，插值點(diǎn)M(x′，y′)映射到原始圖像中的位置是 (1)如果dx，dy均為0，插值點(diǎn)M(x′，y′)等于(x，y)，即插值點(diǎn)等于點(diǎn)A； (2)如果dx等于0，而dy不為0，插值點(diǎn)M(x′，y′)位于f區(qū)域； (3)如果dy等于0，而dx不為0，插值點(diǎn)M(x′，y′)位于e區(qū)域； (4)如果dx，dy均不為0，插值點(diǎn)M(x′，y′)位于g區(qū)域。
步驟三，確定插值點(diǎn)在其所屬區(qū)域的位置 根據(jù)原始圖像的區(qū)域分割結(jié)果和插值點(diǎn)在原始圖像中的位置，參照?qǐng)D7和圖8，按如下方法確定插值點(diǎn)在其所屬區(qū)域的位置 (1)如果插值點(diǎn)等于點(diǎn)A，不用確定插值點(diǎn)的區(qū)域，直接取插值點(diǎn)等于點(diǎn)A； (2)當(dāng)插值點(diǎn)位于原始圖像兩水平已知像素點(diǎn)之間時(shí)，且如果兩水平已知像素點(diǎn)屬于同一區(qū)域，則根據(jù)眾數(shù)法，將插值點(diǎn)確定為兩水平已知點(diǎn)或兩垂直已知點(diǎn)所在區(qū)域，即如果插值點(diǎn)M(x′，y′)位于e區(qū)域，當(dāng)點(diǎn)A的區(qū)域標(biāo)記L(A)與點(diǎn)B的區(qū)域標(biāo)記L(B)相同時(shí)，說明點(diǎn)A和點(diǎn)B屬于同一區(qū)域，則插值點(diǎn)在其所屬區(qū)域的內(nèi)部； (3)當(dāng)插值點(diǎn)位于兩垂直已知點(diǎn)之間時(shí)，且如果兩垂直已知像素點(diǎn)屬于同一區(qū)域，則根據(jù)眾數(shù)法，將插值點(diǎn)確定為兩水平已知點(diǎn)或兩垂直已知點(diǎn)所在區(qū)域，即如果插值點(diǎn)M(x′，y′)位于f區(qū)域，當(dāng)點(diǎn)A的區(qū)域標(biāo)記L(A)與點(diǎn)C的區(qū)域標(biāo)記L(C)相同時(shí)，說明點(diǎn)A和點(diǎn)C屬于同一區(qū)域，則插值點(diǎn)在其所屬區(qū)域的內(nèi)部； (4)當(dāng)插值點(diǎn)位于原始圖像兩水平已知像素點(diǎn)A和B之間時(shí)，且如果兩水平已知像素點(diǎn)不屬于同一區(qū)域，則根據(jù)近鄰法，將插值點(diǎn)確定在與其最近的已知點(diǎn)的區(qū)域，即如果插值點(diǎn)M(x′，y′)位于e區(qū)域，當(dāng)點(diǎn)A的區(qū)域標(biāo)記L(A)與點(diǎn)B的區(qū)域標(biāo)記L(B)不相同時(shí)，說明點(diǎn)A和B不屬于同一區(qū)域，則插值點(diǎn)在相鄰區(qū)域過渡位置，根據(jù)近鄰法，將插值點(diǎn)確定在與其最近的已知點(diǎn)的區(qū)域； (5)當(dāng)插值點(diǎn)位于原始圖像兩垂直已知像素點(diǎn)A和C之間時(shí)，且如果兩垂直已知像素點(diǎn)不屬于同一區(qū)域，則根據(jù)近鄰法，將插值點(diǎn)確定在與其最近的已知點(diǎn)的區(qū)域，即如果插值點(diǎn)M(x′，y′)位于f區(qū)域，當(dāng)點(diǎn)A的區(qū)域標(biāo)記L(A)與點(diǎn)C的區(qū)域標(biāo)記L(C)不相同時(shí)，說明點(diǎn)A和C不屬于同一區(qū)域，則插值點(diǎn)在相鄰區(qū)域過渡位置，根據(jù)近鄰法，將插值點(diǎn)確定在與其最近的已知點(diǎn)的區(qū)域； (6)當(dāng)插值點(diǎn)不位于兩水平已知像素點(diǎn)之間、也不位于兩垂直已知像素點(diǎn)之間時(shí)，插值點(diǎn)位于四個(gè)已知鄰域像素點(diǎn)A、B、C和D的矩形內(nèi)，即如果插值點(diǎn)M(x′，y′)位于g區(qū)域，當(dāng)點(diǎn)A、B、C和D的區(qū)域標(biāo)記L(A)、L(B)、L(C)和L(D)都相同時(shí)，說明點(diǎn)A、B、C和D屬于同一區(qū)域，則插值點(diǎn)在其所屬區(qū)域的內(nèi)部； (7)當(dāng)插值點(diǎn)不位于兩水平已知像素點(diǎn)之間、也不位于兩垂直已知像素點(diǎn)之間時(shí)，插值點(diǎn)位于四個(gè)已知鄰域像素點(diǎn)A、B、C和D的矩形內(nèi)，即如果插值點(diǎn)M(x′，y′)位于g區(qū)域，當(dāng)點(diǎn)A、B、C和D的區(qū)域標(biāo)記L(A)、L(B)、L(C)和L(D)不完全相同時(shí)，說明點(diǎn)A、B、C和D不屬于同一區(qū)域，則插值點(diǎn)在相鄰區(qū)域的過渡位置。其中如果點(diǎn)A、B、C和D中三個(gè)點(diǎn)屬于同一區(qū)域，則根據(jù)眾數(shù)法，將插值點(diǎn)確定在三個(gè)同一區(qū)域的鄰域點(diǎn)所屬區(qū)域；如果點(diǎn)A、B、C和D兩兩屬于同一區(qū)域，則根據(jù)近鄰法，將插值點(diǎn)確定在與其最近的已知點(diǎn)的區(qū)域；如果點(diǎn)A、B、C和D屬于三個(gè)不同一區(qū)域，即四點(diǎn)中有且只有兩個(gè)點(diǎn)屬于同一區(qū)域，則根據(jù)眾數(shù)法，將插值點(diǎn)確定在兩個(gè)同一區(qū)域的鄰域點(diǎn)所屬區(qū)域；如果點(diǎn)A、B、C和D屬于四個(gè)不同區(qū)域，則根據(jù)近鄰法，將插值點(diǎn)確定在與其最近的已知點(diǎn)的區(qū)域。
步驟四，構(gòu)建插值公式 參照附圖7和圖8，本發(fā)明的圖像插值公式按照插值點(diǎn)所屬區(qū)域構(gòu)建，具體過程如下 1)對(duì)于位置在其所屬區(qū)域內(nèi)部的插值點(diǎn)，當(dāng)插值點(diǎn)位于原始圖像的兩水平像素之間，即dy＝0時(shí)，插值點(diǎn)位于e區(qū)域，采用一維線性插值公式 F(I，J)＝f(A)*(1-dx)+f(B)*dx(5) 式中，A和B分別表示原始圖像的兩個(gè)像素點(diǎn)；f(A)和f(B)分別為原始圖像像素點(diǎn)A和B處的像素值；dx表示插值點(diǎn)到點(diǎn)A的距離，滿足0≤dx，1-dx＜1； 2)對(duì)于位置在其所屬區(qū)域內(nèi)部的插值點(diǎn)，當(dāng)插值點(diǎn)位于原始圖像的兩垂直像素之間，即dx＝0時(shí)，插值點(diǎn)位于f區(qū)域，采用一維線性插值公式 F(I，J)＝f(A)*(1-dy)+f(C)*dy (6) 式中，A和C分別表示原始圖像的兩個(gè)像素點(diǎn)；f(A)和f(C)分別為原始圖像像素點(diǎn)A和C處的像素值；dy表示插值點(diǎn)到點(diǎn)A的距離，滿足0≤dy，1-dy＜1； 3)對(duì)于位置在其所屬區(qū)域內(nèi)部的插值點(diǎn)，當(dāng)插值點(diǎn)不位于原始圖像的兩水平像素之間、也不位于原始圖像的兩垂直像素之間，即dx，dy均不為0時(shí)，插值點(diǎn)位于g區(qū)域，即插值點(diǎn)位于四個(gè)已知鄰域像素的矩形內(nèi)，采用如下二維線性插值公式 F(I，J)＝[f(A)*(2-dx-dy)+f(B)*(1-dy+dx)+f(C)*(1-dx+dy)+f(D)*(dx+dy)]/4 (7) 式中，A、B、C和D表示原始圖像的四個(gè)像素點(diǎn)；f(A)、f(B)、f(C)和f(D)分別為點(diǎn)A、B、C和D處的像素值；dx和dy分別表示插值點(diǎn)到點(diǎn)A的水平和垂直距離，滿足0≤dx，1-dx＜1和0≤dy，1-dy＜1；(2-dx-dy)、(1-dy+dx)、(1-dx+dy)和(dx+dy)分別為A、B、C和D四個(gè)像素點(diǎn)的權(quán)值，為了簡化計(jì)算，這里以兩條直角邊之和近似斜邊，如圖7(c)所示，待插值點(diǎn)M到點(diǎn)A的距離近似為dx+dy，作為對(duì)角點(diǎn)D的權(quán)值； 4)對(duì)于在相鄰區(qū)域過渡位置的插值點(diǎn)，當(dāng)插值點(diǎn)位于原始圖像的兩水平像素之間，即dy＝0時(shí)，插值點(diǎn)位于e區(qū)域，對(duì)(5)式進(jìn)行變換，構(gòu)造一維非線性插值公式，具體過程如下 ①對(duì)(5)式的兩個(gè)權(quán)值分別a次方，得到公式 F(I，J)＝f(A)*(1-dx)a+f(B)*dxa； (8) 式中，dx表示插值點(diǎn)到點(diǎn)A的距離，有0≤dx，1-dx＜1，且插值點(diǎn)確定在與其最近的已知鄰域像素的區(qū)域，當(dāng)a＞1時(shí)，上式對(duì)同一區(qū)域的鄰域像素賦較大的權(quán)值； ②用式(8)除以兩個(gè)權(quán)值分別a次方后的權(quán)值之和，得到一維非線性插值公式 F(I，J)＝[f(A)*(1-dx)a+f(B)*dxa]/[(1-dx)a+dxa](9) 式中，(1-dx)a+dxa為兩個(gè)權(quán)值分別a次方后的權(quán)值之和； 5)對(duì)于在相鄰區(qū)域過渡位置的插值點(diǎn)，當(dāng)插值點(diǎn)位于原始圖像的兩垂直像素之間，即dx＝0時(shí)，插值點(diǎn)位于f區(qū)域，對(duì)(6)式進(jìn)行變換，構(gòu)造一維非線性插值公式，具體過程如下 ①對(duì)(6)式的兩個(gè)權(quán)值分別a次方，得到公式 F(I，J)＝f(A)*(1-dy)a+f(C)*dya； (10) 式中dy表示插值點(diǎn)到點(diǎn)A的距離，有0≤dy，1-dy＜1，且插值點(diǎn)確定在與其最近的已知鄰域像素的區(qū)域，當(dāng)a＞1時(shí)，上式對(duì)同一區(qū)域的鄰域像素賦較大的權(quán)值； ②用式(10)除以兩個(gè)權(quán)值分別a次方后的權(quán)值之和，得到一維非線性插值公式 F(I，J)＝[f(A)*(1-dy)a+f(C)*dya]/[(1-dy)a+dya] (11) 式中，(1-dy)a+dya為兩個(gè)權(quán)值分別a次方后的權(quán)值之和； 6)對(duì)于在相鄰區(qū)域過渡位置的插值點(diǎn)，當(dāng)其不位于原始圖像的兩水平像素之間、也不位于原始圖像的兩垂直像素之間時(shí)，即插值點(diǎn)位于四個(gè)已知鄰域像素的矩形內(nèi)，對(duì)(7)式進(jìn)行變換，構(gòu)造二維非線性插值公式，具體過程如下 ①將(7)式的第一個(gè)權(quán)值(2-dx-dy)改進(jìn)為 (2-dx-dy)*b(L(A)＝＝k (12) 式中，k為當(dāng)前點(diǎn)所屬區(qū)域的區(qū)域標(biāo)記，L(A)＝＝k表示當(dāng)點(diǎn)A的區(qū)域標(biāo)記L(A)等于k時(shí)，表達(dá)式L(A)＝＝k的值取1，否則取0；改進(jìn)的權(quán)值表示當(dāng)插值點(diǎn)與點(diǎn)A屬于同一區(qū)域時(shí)，將權(quán)值(2-dx-dy)擴(kuò)大b倍，對(duì)同一區(qū)域的鄰域點(diǎn)賦較大的權(quán)值，體現(xiàn)區(qū)域的一致性； ②將(7)式的第二個(gè)權(quán)值(1-dy+dx)改進(jìn)為 (1-dy+dx)*b(L(B)＝＝k) (13) 式中，k為當(dāng)前點(diǎn)所屬區(qū)域的區(qū)域標(biāo)記，L(B)＝＝k表示當(dāng)點(diǎn)B的區(qū)域標(biāo)記L(B)等于k時(shí)，表達(dá)式L(B)＝＝k的值取1，否則取0；改進(jìn)的權(quán)值表示當(dāng)插值點(diǎn)與點(diǎn)B屬于同一區(qū)域時(shí)，將權(quán)值(1-dy+dx)擴(kuò)大b倍，對(duì)同一區(qū)域的鄰域點(diǎn)賦較大的權(quán)值，體現(xiàn)區(qū)域的一致性。
③將(7)式的第三個(gè)權(quán)值(1-dx+dy)改進(jìn)為 (1-dx+dy)*b(L(C)＝＝k) (14) 式中，k為當(dāng)前點(diǎn)所屬區(qū)域的區(qū)域標(biāo)記，L(C)＝＝k表示當(dāng)點(diǎn)C的區(qū)域標(biāo)記L(C)等于k時(shí)，表達(dá)式L(C)＝＝k的值取1，否則取0；改進(jìn)的權(quán)值表示當(dāng)插值點(diǎn)與點(diǎn)C屬于同一區(qū)域時(shí)，將權(quán)值(1-dx+dy)擴(kuò)大b倍，對(duì)同一區(qū)域的鄰域點(diǎn)賦較大的權(quán)值，體現(xiàn)區(qū)域的一致性； ④將(7)式的第四個(gè)權(quán)值(dx+dy)改進(jìn)為 (dx+dy)*b(L(D)＝＝k) (15) 式中，k為當(dāng)前點(diǎn)所屬區(qū)域的區(qū)域標(biāo)記，L(D)＝＝k表示當(dāng)點(diǎn)D的區(qū)域標(biāo)記L(D)等于k時(shí)，表達(dá)式L(D)＝＝k的值取1，否則取0；改進(jìn)的權(quán)值表示當(dāng)插值點(diǎn)與點(diǎn)D屬于同一區(qū)域時(shí)，將權(quán)值(dx+dy)擴(kuò)大b倍，對(duì)同一區(qū)域的鄰域點(diǎn)賦較大的權(quán)值，體現(xiàn)區(qū)域的一致性； ⑤將(7)式的分母4改進(jìn)為 w(A)+w(B)+w(C)+w(D) (16) 式中， w(A)＝(2-dx-dy)*b(L(A)＝＝k) w(B)＝(1-dy+dx)*b(L(B)＝＝k) w(C)＝(1-dx+dy)*b(L(C)＝＝k) w(D)＝(dx+dy)*b(L(D)＝＝k) 式中，w(A)、w(B)、w(C)和w(D)為改進(jìn)后的權(quán)值，w(A)+w(B)+w(C)+w(D)為改進(jìn)后的權(quán)值之和； ⑥經(jīng)過式(12)至式(16)的改進(jìn)，得到二維非線性插值公式 F(I，J)＝[f(A)*w(A)+f(B)*w(B)+f(C)*w(C)+f(D)*w(D)]/[w(A)+w(B)+w(C)+w(D)](17) 式中， w(A)＝(2-dx-dy)*b(L(A)＝＝k) w(B)＝(1-dy+dx)*b(L(B)＝＝k) w(C)＝(1-dx+dy)*b(L(C)＝＝k) w(D)＝(dx+dy)*b(L(D)＝＝k) 式中，w(A)、w(B)、w(C)和w(D)為改進(jìn)后的權(quán)值，w(A)+w(B)+w(C)+w(D)為改進(jìn)后的權(quán)值之和； 分析以上插值公式，非線性插值公式比線性插值公式的求冪、除法、乘法等費(fèi)時(shí)和費(fèi)內(nèi)存資源的運(yùn)算較多，因此本發(fā)明基于視頻對(duì)象的插值方法，在背景和非興趣對(duì)象范圍內(nèi)采用簡單快速的線性方法，相對(duì)于全圖均采用非線性方法，能有效地節(jié)省計(jì)算時(shí)間和內(nèi)存空間，性能提高的量即背景和非興趣對(duì)象部分所占運(yùn)算量，主要受以下因素影響 (a)興趣對(duì)象相對(duì)整幅圖像所占比例對(duì)象相對(duì)越小時(shí)，對(duì)比例較大的背景和非興趣對(duì)象部分運(yùn)算費(fèi)時(shí)越多，性能提高越大； (b)興趣對(duì)象相對(duì)背景和其它對(duì)象的紋理復(fù)雜度如果對(duì)象紋理較復(fù)雜，背景和其它對(duì)象較平滑，說明背景和其它對(duì)象的區(qū)域數(shù)較少，性能提高也較??；相反，如果興趣對(duì)象紋理較平滑，而背景和其它對(duì)象紋理復(fù)雜，性能提高越大。
步驟五，計(jì)算插值點(diǎn)的像素值 利用步驟四中設(shè)計(jì)的插值公式，即一維線性插值公式(5)和(6)、二維線性插值公式(7)、一維非線性插值公式(9)和(11)、二維非線性插值公式(17)計(jì)算待插值點(diǎn)的值，賦給待插值點(diǎn)位置處的像素，完成圖像插值。
本發(fā)明的效果可通過以下仿真結(jié)果圖進(jìn)一步詳細(xì)說明 圖9是用本發(fā)明的圖像插值方法將圖像放大4倍的仿真結(jié)果圖，其中9(a)為基于視頻對(duì)象的放大結(jié)果，該結(jié)果圖像峰值信噪比PSNR值為27.7866dB；圖9(b)為基于整幅圖像的放大結(jié)果，該結(jié)果圖像峰值信噪比PSNR值為27.8831dB；圖9(c)是圖9(a)中視頻對(duì)象的局部放大圖，圖9(d)是圖9(b)中視頻對(duì)象的局部放大圖，圖9(c)和圖9(d)表明，對(duì)于視頻對(duì)象部分，兩幅圖像在圖像平滑、細(xì)節(jié)保持和清晰度方面效果較好，如眼部、帽、肩部和臉部等邊緣較清晰；圖9(e)是圖9(a)中背景的局部放大圖，圖9(f)是9(b)中背景的局部放大圖，圖9(e)和圖9(f)表明，對(duì)于背景部分，基于全圖的插值仍能保持圖像的邊緣，而基于視頻對(duì)象的方法邊緣部分較模糊。可見，本發(fā)明的圖像插值方法能保證視頻對(duì)象部分較好的視覺效果。
圖10為本發(fā)明的圖像插值方法應(yīng)用于圖像縮小4倍的仿真結(jié)果圖，其中10(a)為將512×512的LENA圖像縮小4倍的結(jié)果，圖10(b)為縮小圖像的局部放大圖；原圖像與縮小圖像的標(biāo)準(zhǔn)差分別為47.8538和47.9946。本發(fā)明的標(biāo)準(zhǔn)差甚至超過了原圖像，說明使用本發(fā)明的圖像插值方法進(jìn)行圖像縮小時(shí)，縮小圖像邊緣處的波動(dòng)客觀上超過了原始圖像而帶來了視覺增強(qiáng)的效果；原圖像與縮小圖像的信息熵分別為7.4455和7.4371，可見縮小圖像與原圖像的信息熵較接近，圖像縮小后較好地保留了原圖像的信息。
仿真結(jié)果表明，本發(fā)明圖像插值方法基于全圖時(shí)可提高整幅圖像的視覺效果，而基于視頻對(duì)象時(shí)能夠節(jié)省運(yùn)算時(shí)間和內(nèi)存開消，保證視頻對(duì)象部分較好的視覺效果；并且在圖像放大時(shí)，能夠獲得較高的圖像峰值信噪比，圖像縮小時(shí)，能夠較多地保留原圖像的信息，提高圖像的客觀質(zhì)量和保持圖像的原始信息，便于處理后的圖像進(jìn)一步的應(yīng)用和處理，如圖像匹配、拼接、檢索等。
權(quán)利要求
1.一種基于視頻對(duì)象和區(qū)域指導(dǎo)的圖像插值方法，包括如下步驟
(1)將原始圖像分割成不同區(qū)域；
(2)根據(jù)圖像的縮放倍數(shù)，將待插值的點(diǎn)映射到原始圖像中，即確定插值點(diǎn)的位置；
(3)根據(jù)插值點(diǎn)的位置和區(qū)域分割的結(jié)果，確定插值點(diǎn)在其所屬區(qū)域的位置；
(4)對(duì)于位置在其所屬區(qū)域內(nèi)部的插值點(diǎn)，采用一維線性插值和二維線性插值公式求值，即對(duì)位于原始圖像的兩水平像素或兩垂直像素之間的插值點(diǎn)，采用一維線性插值公式求值，其它位置的像素采用二維線性插值公式求值；
(5)對(duì)于在相鄰區(qū)域過渡位置的插值點(diǎn)，當(dāng)其位于原始圖像的兩水平像素或兩垂直像素之間時(shí)，采用構(gòu)造的如下一維非線性插值公式求值
F(I，J)＝[f(A)*(1-dx)a+f(B)*dxa]/[(1-dx)a+dxa]
式中，當(dāng)插值點(diǎn)位于原始圖像的兩水平像素點(diǎn)之間時(shí)，A和B分別表示原始圖像的這兩個(gè)水平像素點(diǎn)，且A為左側(cè)的點(diǎn)；當(dāng)插值點(diǎn)位于原始圖像的兩垂直像素點(diǎn)之間時(shí)，A和B分別表示原始圖像的這兩個(gè)垂直像素點(diǎn)，且A為上方的點(diǎn)；f(A)和f(B)分別為原始圖像點(diǎn)A和B處的像素值；dx表示插值點(diǎn)到點(diǎn)A的距離，滿足0≤dx，1-dx＜1；a為大于1的實(shí)數(shù)；
(6)對(duì)于在相鄰區(qū)域過渡位置的插值點(diǎn)，當(dāng)其不位于原始圖像的兩水平像素之間、也不位于原始圖像的兩垂直像素之間時(shí)，即插值點(diǎn)位于四個(gè)已知鄰域像素的矩形內(nèi)，采用構(gòu)造的如下二維非線性插值公式求值
F(I，J)＝[f(A)*w(A)+f(B)*w(B)+f(C)*w(C)+f(D)*w(D)]/[w(A)+w(B)+w(C)+w(D)]
式中，
、 w(A)＝(2-dx-dy)*b(L(A)＝＝k)
w(B)＝(1-dy+dx)*b(L(B)＝＝k)
w(C)＝(1-dx+dy)*b(L(C)＝＝k)
w(D)＝(dx+dy)*b(L(D)＝＝k)
A、B、C和D分別表示矩形的左上角、右上角、左下角和右下角的像素；f(A)、f(B)、f(C)和f(D)分別為點(diǎn)A、B、C和D處的像素值；dx和dy分別表示插值點(diǎn)到點(diǎn)A的水平和垂直距離，滿足0≤dx，1-dx＜1和0≤dy，1-dy＜1；L(A)、L(B)、L(C)和L(D)分別為點(diǎn)A、B、C和D的區(qū)域標(biāo)記；k為當(dāng)前點(diǎn)所屬區(qū)域的區(qū)域標(biāo)記；L(A)＝＝k表示當(dāng)點(diǎn)A的區(qū)域標(biāo)記L(A)等于k時(shí)，表達(dá)式L(A)＝＝k的值取1，否則取0；L(B)＝＝k表示當(dāng)點(diǎn)B的區(qū)域標(biāo)記L(B)等于k時(shí)，表達(dá)式L(B)＝＝k的值取1，否則取0；L(C)＝＝k表示當(dāng)點(diǎn)C的區(qū)域標(biāo)記L(C)等于k時(shí)，表達(dá)式L(C)＝＝k的值取1，否則取0；L(D)＝＝k表示當(dāng)點(diǎn)D的區(qū)域標(biāo)記L(D)等于k時(shí)，表達(dá)式L(D)＝＝k的值取1，否則取0；b為大于1的實(shí)數(shù)；
(7)將步驟(4)至步驟(6)所求得的各像素點(diǎn)的值，賦給待插值點(diǎn)位置處的像素。
2.根據(jù)權(quán)利要求1所述的圖像插值方法，其特征在于步驟(1)所述的將視頻圖像分割成不同區(qū)域，按如下步驟進(jìn)行
(1a)取當(dāng)前像素點(diǎn)；
(1b)如果當(dāng)前像素點(diǎn)不屬于視頻對(duì)象，則將當(dāng)前像素點(diǎn)劃分為背景類；
(1c)如果當(dāng)前像素點(diǎn)屬于視頻對(duì)象，則計(jì)算均值漂移矢量，并不斷滑動(dòng)均值的計(jì)算窗口，迭代計(jì)算，直至均值漂移矢量小于容許誤差ξ，得到一個(gè)收斂點(diǎn)為止；如果該收斂點(diǎn)是第一次出現(xiàn)，則建立一個(gè)新類，將當(dāng)前像素點(diǎn)加入該新類，并將該新類的像素點(diǎn)數(shù)計(jì)為1個(gè)；如果該收斂點(diǎn)不是第一次出現(xiàn)，即確定該收斂點(diǎn)已經(jīng)屬于某個(gè)類，并將該當(dāng)前像素點(diǎn)加入收斂點(diǎn)所屬的類，使該類的像素點(diǎn)數(shù)增加1個(gè)；
(1d)取下一個(gè)像素點(diǎn)為當(dāng)前像素點(diǎn)，重復(fù)步驟(1b)和步驟(1c)，將下一個(gè)像素點(diǎn)加入一個(gè)類；
(1e)重復(fù)步驟(1d)，將圖像所有像素點(diǎn)加入到相應(yīng)的類中；
(1f)設(shè)定像素點(diǎn)閾值，去除像素點(diǎn)數(shù)小于閾值的類，即去除小面積區(qū)域，完成區(qū)域分割。
3.根據(jù)權(quán)利要求1所述的圖像插值方法，其特征在于步驟(3)所述的根據(jù)插值點(diǎn)的位置和區(qū)域分割的結(jié)果，確定插值點(diǎn)所屬區(qū)域，包括如下幾種情況
(3a)當(dāng)插值點(diǎn)位于原始圖像兩水平已知點(diǎn)或兩垂直已知像素點(diǎn)之間時(shí)，且如果兩水平已知像素點(diǎn)或兩垂直已知像素點(diǎn)屬于同一區(qū)域，則根據(jù)眾數(shù)法，將插值點(diǎn)確定為兩水平已知點(diǎn)或兩垂直已知像素點(diǎn)所在區(qū)域；
(3b)當(dāng)插值點(diǎn)位于原始圖像兩水平已知像素點(diǎn)或兩垂直已知像素點(diǎn)之間時(shí)，且如果兩水平已知點(diǎn)或兩垂直已知像素點(diǎn)不屬于同一區(qū)域，則根據(jù)近鄰法，將插值點(diǎn)確定在與其最近的已知像素點(diǎn)的區(qū)域；
(3c)當(dāng)插值點(diǎn)不位于原始圖像兩水平已知像素點(diǎn)之間、也不位于兩垂直已知像素點(diǎn)之間時(shí)，即插值點(diǎn)位于四個(gè)已知鄰域點(diǎn)的矩形內(nèi)，且如果插值點(diǎn)的四個(gè)已知鄰域點(diǎn)屬于同一區(qū)域，則根據(jù)眾數(shù)法，將插值點(diǎn)確定在四個(gè)鄰域點(diǎn)所屬的區(qū)域；
(3d)當(dāng)插值點(diǎn)不位于原始圖像兩水平已知像素點(diǎn)之間、也不位于兩垂直已知像素點(diǎn)之間時(shí)，即插值點(diǎn)位于四個(gè)已知鄰域點(diǎn)的矩形內(nèi)，且如果插值點(diǎn)的四個(gè)已知鄰域點(diǎn)中三個(gè)點(diǎn)屬于同一區(qū)域，則根據(jù)眾數(shù)法，將插值點(diǎn)確定在三個(gè)同一區(qū)域的鄰域點(diǎn)所屬區(qū)域；
(3e)當(dāng)插值點(diǎn)不位于原始圖像兩水平已知像素點(diǎn)之間、也不位于兩垂直已知像素點(diǎn)之間時(shí)，即插值點(diǎn)位于四個(gè)已知鄰域點(diǎn)的矩形內(nèi)，且如果插值點(diǎn)的四個(gè)已知鄰域點(diǎn)兩兩屬于同一區(qū)域，則根據(jù)近鄰法，將插值點(diǎn)確定在與其最近的已知點(diǎn)的區(qū)域；
(3f)當(dāng)插值點(diǎn)不位于原始圖像兩水平已知像素點(diǎn)之間、也不位于兩垂直已知像素點(diǎn)之間時(shí)，即插值點(diǎn)位于四個(gè)已知鄰域點(diǎn)的矩形內(nèi)，且如果插值點(diǎn)的四個(gè)已知鄰域點(diǎn)屬于三個(gè)不同一區(qū)域，即四點(diǎn)中有且只有兩個(gè)點(diǎn)屬于同一區(qū)域，則根據(jù)眾數(shù)法，將插值點(diǎn)確定在兩個(gè)同一區(qū)域的鄰域點(diǎn)所屬區(qū)域；
(3g)當(dāng)插值點(diǎn)不位于原始圖像兩水平已知像素點(diǎn)之間、也不位于兩垂直已知像素點(diǎn)之間時(shí)，即插值點(diǎn)位于四個(gè)已知鄰域像素點(diǎn)的矩形內(nèi)，且如果插值點(diǎn)的四個(gè)已知鄰域點(diǎn)屬于四個(gè)不同區(qū)域，則根據(jù)近鄰法，將插值點(diǎn)確定在與其最近的已知點(diǎn)的區(qū)域。
4.根據(jù)權(quán)利要求1所述的圖像插值方法，其特征在于步驟(5)所述的一維非線性插值公式，按如下過程構(gòu)建
(5a)對(duì)一維線性插值公式F(I，J)＝f(A)*(1-dx)+f(B)*dx的兩個(gè)權(quán)值分別a次方，得到公式
F(I，J)＝f(A)*(1-dx)a+f(B)*dxa(8)
式中dx表示插值點(diǎn)到點(diǎn)A的距離，有0≤dx，1-dx＜1，且插值點(diǎn)確定在與其最近的已知鄰域像素的區(qū)域，當(dāng)a＞1時(shí)，上式對(duì)同一區(qū)域的鄰域像素賦較大的權(quán)值；
(5b)用式(8)除以兩個(gè)權(quán)值分別a次方后的權(quán)值之和，得到一維非線性插值公式
F(I，J)＝[f(A)*(1-dx)a+f(B)*dxa]/[(1-dx)a+dxa]
式中，(1-dx)a+dxa為兩個(gè)權(quán)值分別a次方后的權(quán)值之和。
5.根據(jù)權(quán)利要求1所述的圖像插值方法，其特征在于步驟(6)所述的二維非線性插值公式，按如下過程構(gòu)建
(6a)將二維線性插值公式F(I，J)＝[f(A)*(2-dx-dy)+f(B)*(1-dy+dx)+f(C)*(1-dx+dy)+f(D)*(dx+dy]/4中的第一個(gè)權(quán)值(2-dx-dy)改進(jìn)為
(2-dx-dy)*b(L(A)＝＝k)
式中，k為當(dāng)前點(diǎn)所屬區(qū)域的區(qū)域標(biāo)記，L(A)＝＝k表示當(dāng)點(diǎn)A的區(qū)域標(biāo)記L(A)等于k時(shí)，表達(dá)式L(A)＝＝k的值取1，否則取0；
(6b)將二維線性插值公式F(I，J)＝[f(A)*(2-dx-dy)+f(B)*(1-dy+dx)+f(C)*(1-dx+dy)+f(D)*(dx+dy)]/4中的第二個(gè)權(quán)值(1-dy+dx)改進(jìn)為
(1-dy+dx)*b(L(B)＝＝k)
式中，k為當(dāng)前點(diǎn)所屬區(qū)域的區(qū)域標(biāo)記，L(B)＝＝k表示當(dāng)點(diǎn)B的區(qū)域標(biāo)記L(B)等于k時(shí)，表達(dá)式L(B)＝＝k的值取1，否則取0；
(6c)將二維線性插值公式F(I，J)＝[f(A)*(2-dx-dy)+f(B)*(1-dy+dx)+f(C)*(1-dx+dy)+f(D)*(dx+dy)]/4中的第三個(gè)權(quán)值(1-dx+dy)改進(jìn)為
(1-dx+dy)*b(L(C)＝＝k)
式中，k為當(dāng)前點(diǎn)所屬區(qū)域的區(qū)域標(biāo)記，L(C)＝＝k表示當(dāng)點(diǎn)C的區(qū)域標(biāo)記L(C)等于k時(shí)，表達(dá)式L(C)＝＝k的值取1，否則取0；
(6d)將二維線性插值公式F(I，J)＝[f(A)*(2-dx-dy)+f(B)*(1-dy+dx)+f(C)*(1-dx+dy)+f(D)*(dx+dy)]/4中的第四個(gè)權(quán)值(dx+dy)改進(jìn)為
(dx+dy)*b(L(D)＝＝k)
式中，k為當(dāng)前點(diǎn)所屬區(qū)域的區(qū)域標(biāo)記，L(D)＝＝k表示當(dāng)點(diǎn)D的區(qū)域標(biāo)記L(D)等于k時(shí)，表達(dá)式L(D)＝＝k的值取1，否則取0；
(6e)將二維線性插值公式F(I，J)＝[f(A)*(2-dx-dy)+f(B)*(1-dy+dx)+f(C)*(1-dx+dy)+f(D)*(dx+dy)]/4中的分母4改進(jìn)為
w(A)+w(B)+w(C)+w(D)
式中，
w(A)＝(2-dx-dy)*b(L(A)＝＝k)
w(B)＝(1-dy+dx)*b(L(B)＝＝k)
w(C)＝(1-dx+dy)*b(L(C)＝＝k)
w(D)＝(dx+dy)*b(L(D)＝＝k)
w(A)+w(B)+w(C)+w(D)為改進(jìn)后的權(quán)值之和；
(6f)經(jīng)過步驟(6a)至步驟(6e)的改進(jìn)，得到二維非線性插值公式
F(I，J)＝[f(A)*w(A)+f(B)*w(B)+f(C)*w(C)+f(D)*w(D)]/[w(A)+w(B)+w(C)+w(D)]
式中，
w(A)＝(2-dx-dy)*b(L(A)＝＝k)
w(B)＝(1-dy+dx)*b(L(B)＝＝k)
w(C)＝(1-dx+dy)*b(L(C)＝＝k)
w(D)＝(dx+dy*b(L(D)＝＝k)
式中，w(A)、w(B)、w(C)和w(D)為改進(jìn)后的權(quán)值，w(A)+w(B)+w(C)+w(D)為改進(jìn)后的權(quán)值之和。
全文摘要
本發(fā)明公開了一種基于視頻對(duì)象和區(qū)域指導(dǎo)的圖像插值方法。具體過程是分割原始圖像并確定插值點(diǎn)的位置和所屬區(qū)域；對(duì)區(qū)域內(nèi)部的插值點(diǎn)，當(dāng)插值點(diǎn)位于原始圖像的兩水平像素或兩垂直像素之間時(shí)，采用一維線性插值公式求值，其它位置的插值點(diǎn)采用二維線性插值公式求值；對(duì)于在相鄰區(qū)域過渡位置的插值點(diǎn)，當(dāng)其位于原始圖像的兩水平像素或兩垂直像素之間時(shí)，采用一維非線性插值公式求值對(duì)于在相鄰區(qū)域過渡位置的插值點(diǎn)，當(dāng)其不位于原始圖像的兩水平像素之間、也不位于原始圖像的兩垂直像素之間時(shí)，采用二維非線性插值公式求值將所求得的各像素點(diǎn)的值，賦給待插值點(diǎn)位置處的像素，完成圖像插值。本發(fā)明適用于對(duì)視頻對(duì)象或整幅圖像的分辨率變換。
文檔編號(hào)H04N7/26GK101272491SQ20081001792
公開日2008年9月24日 申請(qǐng)日期2008年4月10日 優(yōu)先權(quán)日2008年4月10日
發(fā)明者郭寶龍, 祥 符 申請(qǐng)人:西安電子科技大學(xué)