專利名稱：一種圖像場(chǎng)景空洞區(qū)域結(jié)構(gòu)和紋理信息自動(dòng)填補(bǔ)方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理、計(jì)算機(jī)視覺(jué)技術(shù)和虛擬現(xiàn)實(shí)領(lǐng)域，具體地說(shuō)是一種圖像場(chǎng)景空洞區(qū)域結(jié)構(gòu)和紋理信息自動(dòng)填補(bǔ)方法。
背景技術(shù)：
基于視頻圖像素材的虛實(shí)融合場(chǎng)景生成技術(shù)是虛擬現(xiàn)實(shí)的重要組成部分，也是虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)、計(jì)算機(jī)視覺(jué)及相關(guān)研究方向有機(jī)交叉的研究熱點(diǎn)。在圖像虛擬場(chǎng)景生成的整個(gè)過(guò)程中，可能會(huì)出現(xiàn)如下情形在視頻場(chǎng)景中提取某些場(chǎng)景對(duì)象形成場(chǎng)景對(duì)象素材后，原有的視頻場(chǎng)景會(huì)出現(xiàn)“空洞”現(xiàn)象；在視頻虛擬場(chǎng)景添加不同來(lái)源的場(chǎng)景對(duì)象以前，有可能需要從場(chǎng)景中去除某些不需要的對(duì)象或者物體；在場(chǎng)景對(duì)象的編輯與融合過(guò)程中，可能會(huì)產(chǎn)生新的空洞區(qū)域。為了確保圖像虛擬場(chǎng)景的完整性，需要填補(bǔ)或者修復(fù)圖像虛擬場(chǎng)景中存在的“空洞”。圖像空洞填補(bǔ)問(wèn)題的求解按照?qǐng)D像表示模型的選擇來(lái)劃分，大致可分為三類基于幾何(結(jié)構(gòu))的方法，基于紋理合成的方法和結(jié)合幾何(結(jié)構(gòu))與紋理的方法?；趲缀?結(jié)構(gòu))方法將圖像建模為分段連續(xù)函數(shù)，通常將圖像空洞填補(bǔ)問(wèn)題的求解轉(zhuǎn)換為顯式的函數(shù)估計(jì)過(guò)程。根據(jù)具體的求解方式可分為兩類偏微分方程方法，變分方法。第一類方法直接根據(jù)演化理論設(shè)計(jì)偏微分方程，利用梯度下降法求解方程。第二類方法根據(jù)變分模型構(gòu)造能量泛函極值問(wèn)題，推導(dǎo)出歐拉-拉格朗日方程，利用水平集方法隱式求解圖像方程?；趲缀?結(jié)構(gòu))的方法。基于偏微分方程的圖像修復(fù)方法首先由美國(guó)明尼蘇達(dá)大學(xué)電子與計(jì)算機(jī)工程系的Bertalmio等人提出，算法簡(jiǎn)稱BSCB方法。該算法由模仿傳統(tǒng)的手工修復(fù)技術(shù)出發(fā)，采用遞歸形式，逐步完成圖像的修復(fù)處理。只對(duì)受損區(qū)域內(nèi)的像素信息進(jìn)行更新，而其余圖像區(qū)域的像素信息不變。沿著等照度線方向逐步向受損區(qū)域內(nèi)擴(kuò)散和傳播外圍的圖像信息，實(shí)現(xiàn)數(shù)字圖像指定區(qū)域的自動(dòng)修復(fù)。但該方法在修復(fù)尺度較大的圖像紋理區(qū)域時(shí)，不能重建其中的紋理細(xì)節(jié)，修復(fù)結(jié)果存在明顯的模糊現(xiàn)象。有噪聲圖像的整體變分比無(wú)噪聲圖像的整體變分明顯偏大，最小化整體變分可以消除噪聲。整體變分法是一種異向擴(kuò)散算法，該算法可以在保持邊緣的同時(shí)達(dá)到圖像去噪的目的。基于整體變分模型的圖像修復(fù)技術(shù)，采用有界變差空間定義圖像模型能量即TV 圖像模型，該方法稱為TV修復(fù)方法。在變分模型圖像修復(fù)算法中，待修復(fù)區(qū)域初始值為高斯噪聲，它通過(guò)變分方法求解最小化能量方程。該方法在有圖像噪聲的情況下，對(duì)非紋理圖像修復(fù)效果較好。以上泛函很難求解，一般引入邊界條件，根據(jù)變分原理求得能量函數(shù)對(duì)應(yīng)的歐拉-拉格朗日方程，引入時(shí)間變量利用梯度下降法求解泛函的求導(dǎo)公式，在梯度下降的每次迭代過(guò)程中，利用水平集方法對(duì)圖像的三個(gè)通道分別求解。但水平集的方法效率較低，并且只能給出一個(gè)局部最優(yōu)解?；跇永膱D像修復(fù)算法在圖像修復(fù)過(guò)程中，不是以像素為單位進(jìn)行修復(fù)，而是以圖像塊為單位進(jìn)行修復(fù)。算法每次修復(fù)受損區(qū)域邊界上的一個(gè)圖像塊中的未知像素信息，通過(guò)循環(huán)處理直至受損區(qū)域內(nèi)所有像素都修復(fù)完畢?；跇永膱D像修復(fù)算法是基于樣例的紋理合成技術(shù)在圖像修復(fù)領(lǐng)域的應(yīng)用，以圖像塊為修復(fù)單元借鑒了紋理合成的思想，保留了待修復(fù)區(qū)域內(nèi)的紋理和局部結(jié)構(gòu)信息。結(jié)合幾何和紋理的方法。為了更好的修復(fù)圖像受損區(qū)域中的結(jié)構(gòu)信息，2005年， Sim等人采用交互式的方法，直接由用戶給定受損區(qū)域內(nèi)的邊結(jié)構(gòu)，算法首先完成整個(gè)受損區(qū)域內(nèi)的邊結(jié)構(gòu)修復(fù)后，再利用紋理合成技術(shù)填充剩余區(qū)域。自動(dòng)填補(bǔ)圖像結(jié)構(gòu)信息與紋理信息的空洞填補(bǔ)方法首先提取出圖像的水平線，通過(guò)最小化空洞區(qū)域水平線的歐拉彈性泛函實(shí)現(xiàn)圖像結(jié)構(gòu)(幾何)信息的恢復(fù)，通過(guò)恢復(fù)的結(jié)構(gòu)信息指導(dǎo)基于樣例的合成過(guò)程，填補(bǔ)空洞區(qū)域剩余的圖像信息。最小化歐拉彈性泛函往往得到平滑的曲線，而無(wú)法得到折線或者交叉的結(jié)構(gòu)信息填補(bǔ)效果。

發(fā)明內(nèi)容
為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提出了一種圖像場(chǎng)景空洞區(qū)域結(jié)構(gòu)和紋理信息自動(dòng)填補(bǔ)方法，該方法能夠自動(dòng)填補(bǔ)空洞圖像的紋理信息和結(jié)構(gòu)信息，確保填補(bǔ)后圖像場(chǎng)景在視覺(jué)上的連續(xù)性和合理性。為完成發(fā)明目的，本發(fā)明采用的技術(shù)方案是一種圖像場(chǎng)景空洞區(qū)域結(jié)構(gòu)和紋理信息自動(dòng)填補(bǔ)方法，其特征在于利用圖像已知區(qū)域的結(jié)構(gòu)信息和紋理信息指導(dǎo)圖像空洞區(qū)域的填補(bǔ)過(guò)程；基于主要簡(jiǎn)約圖模型指導(dǎo)空洞區(qū)域結(jié)構(gòu)和紋理信息的重建；利用圖像統(tǒng)一描述符的匹配，快速搜索空洞區(qū)域的圖像塊； 無(wú)需人工參與，能夠自動(dòng)填補(bǔ)圖像的空洞區(qū)域，該方法包含以下步驟步驟(1)基于圖像主要簡(jiǎn)約圖模型提取出圖像已知區(qū)域的結(jié)構(gòu)部分，采用張量投票的方法，自動(dòng)的恢復(fù)出圖像空洞區(qū)域的曲線或者拐點(diǎn)，實(shí)現(xiàn)圖像空洞區(qū)域結(jié)構(gòu)信息的恢復(fù)；步驟⑵通過(guò)圖像統(tǒng)一描述符匹配，在圖像已知區(qū)域內(nèi)采樣圖像塊，利用圖分割算法合成空洞區(qū)域的紋理信息，實(shí)現(xiàn)圖像空洞區(qū)域紋理信息的填補(bǔ)。進(jìn)一步的，所述的步驟(1)中所述的采用張量投票的方法，自動(dòng)的恢復(fù)出圖像空洞區(qū)域的曲線或者拐點(diǎn)，實(shí)現(xiàn)圖像空洞區(qū)域結(jié)構(gòu)信息的恢復(fù)采取以下步驟步驟(al)利用主要簡(jiǎn)約圖算法對(duì)輸入圖像做邊緣檢測(cè)，得到與空洞區(qū)域邊界相交的曲線；步驟(a2)采用線性回歸的方法來(lái)近似計(jì)算曲線上每個(gè)點(diǎn)的切線方向，并轉(zhuǎn)化為法線方向，根據(jù)法向方向得到的張量表示；步驟(a3)利用連接點(diǎn)檢測(cè)算法檢測(cè)圖像空洞區(qū)域邊界與邊結(jié)構(gòu)的交點(diǎn)，根據(jù)兩個(gè)連結(jié)點(diǎn)之間的曲率相容性求解一系列的連接點(diǎn)對(duì)；步驟(a4)根據(jù)結(jié)構(gòu)部分的幾何特征，利用張量投票算法自動(dòng)連接空洞區(qū)域缺失的結(jié)構(gòu)線，完成圖像已知區(qū)域結(jié)構(gòu)信息的填補(bǔ)。進(jìn)一步的，所述的步驟(a4)中所述的利用張量投票算法自動(dòng)連接空洞區(qū)域缺失的結(jié)構(gòu)線，完成圖像已知區(qū)域結(jié)構(gòu)信息的填補(bǔ)采取以下步驟步驟(bl)根據(jù)彈性能量函數(shù)確定空洞區(qū)域邊界處需要連接的連接點(diǎn)對(duì)；
步驟( ) 一種快速的張量投票算法，預(yù)先計(jì)算0到180度的局部張量投票場(chǎng)，尺度因子為54，局部張量投票場(chǎng)的窗口大小為109，根據(jù)窗口內(nèi)點(diǎn)到投票點(diǎn)的距離計(jì)算投票能量的大?。徊⑶覍?duì)于圖像邊界產(chǎn)生的屋脊帶沿著屋脊帶的頂部進(jìn)行跟蹤，將非最大值的點(diǎn)置為零；步驟(b3)在已知圖像區(qū)域的結(jié)構(gòu)部分采樣圖像塊，為空洞區(qū)域曲線上每個(gè)采樣節(jié)點(diǎn)賦標(biāo)簽，每個(gè)標(biāo)簽是一個(gè)采樣圖像塊，利用信任傳播算法填補(bǔ)空洞區(qū)域的結(jié)構(gòu)信息。進(jìn)一步的，所述的步驟O)中所述的利用圖分割算法合成空洞區(qū)域的紋理信息， 實(shí)現(xiàn)圖像空洞區(qū)域紋理信息的填補(bǔ)采用了一種非參數(shù)化的基于樣例的方法來(lái)合成空洞區(qū)域的紋理，具體而言，圖像空洞區(qū)域紋理信息的填補(bǔ)包含了以下步驟步驟(cl)根據(jù)置信度、梯度值、距離值計(jì)算空洞區(qū)域邊界點(diǎn)的優(yōu)先級(jí)；步驟(c2)給出了基于統(tǒng)一圖像描述符和k_d樹的快速相似圖像塊搜索算法，利用最高優(yōu)先級(jí)邊界點(diǎn)的圖像塊搜索并確定用于空洞填補(bǔ)的候選圖像塊；步驟(c3)利用圖分割算法融合候選圖像塊與已知圖像，完成空洞區(qū)域的紋理信息填補(bǔ)。進(jìn)一步的，所述的步驟(Cl)中所述的空洞區(qū)域邊界點(diǎn)的優(yōu)先級(jí)，其計(jì)算方法包括根據(jù)空洞區(qū)域邊界上圖像塊的置信度、梯度值、距離值確定該空洞區(qū)域的填補(bǔ)優(yōu)先級(jí)， 從圖像左上角和右下角兩次遍歷圖像中所有像素點(diǎn)，計(jì)算每個(gè)點(diǎn)到空洞邊界的距離能量； 紋理填充的優(yōu)先級(jí)由圖像中所有坐標(biāo)到空洞邊界的距離能量確定，距離變換算法計(jì)算圖像中所有點(diǎn)到空洞區(qū)域初始邊界的最近距離，將中所有的點(diǎn)按與空洞區(qū)域邊界的最短距離長(zhǎng)短進(jìn)行排序，在填補(bǔ)紋理時(shí)，優(yōu)先生成距離空洞區(qū)域較近的紋理塊。進(jìn)一步的，所述的步驟(U)中所述的利用最高優(yōu)先級(jí)邊界點(diǎn)的圖像塊搜索并確定用于空洞填補(bǔ)的候選圖像塊是基于統(tǒng)一圖像描述符和k_d樹的快速相似圖像塊搜索算法，具體包含以下步驟步驟(dl)利用積分直方圖快速提取圖像塊顏色直方圖和紋理梯度方向直方圖 首先計(jì)算一幅圖像的積分直方圖，計(jì)算圖像塊的直方圖只需要利用直方圖的積分值進(jìn)行加減運(yùn)算，避免了對(duì)每一個(gè)圖像塊重復(fù)濾波的計(jì)算開銷，從而快速的提取一個(gè)圖像塊的統(tǒng)計(jì)直方圖，由此得到了每一個(gè)圖像塊的40維的統(tǒng)一圖像描述符，包括顏色直方圖和紋理梯度方向直方圖；步驟(業(yè))采用k_d樹組織40維的統(tǒng)一圖像描述符，在k_d樹建樹的過(guò)程中，在樹的頂層結(jié)點(diǎn)首先選擇一個(gè)維度對(duì)所有數(shù)據(jù)進(jìn)行劃分，將所有數(shù)據(jù)劃分為左子樹和右子樹， 下一層結(jié)點(diǎn)再各自選擇另一個(gè)維度對(duì)數(shù)據(jù)進(jìn)行劃分，依次規(guī)律遞歸進(jìn)行，將所有數(shù)據(jù)放置在葉子節(jié)點(diǎn)；在k-d樹搜索的過(guò)程中，輸入向量在每個(gè)節(jié)點(diǎn)處根據(jù)劃分維度的值判斷，若大于劃分值則搜索右子樹，反之則搜索左子樹；k-d樹將近鄰搜索的時(shí)間復(fù)雜度從O(n)降到了 O(Iogn)，根據(jù)Kullhck-Leibler距離度量?jī)蓚€(gè)圖像描述符之間的相似性。進(jìn)一步的，所述的步驟(業(yè))中所述的40維的統(tǒng)一圖像描述符中，HSV顏色直方圖有觀個(gè)統(tǒng)計(jì)區(qū)間，HSV三個(gè)顏色通道統(tǒng)計(jì)區(qū)間數(shù)目分別為12、8、8 ；統(tǒng)一圖像描述符中的 HOG梯度方向直方圖在一個(gè)圖像塊內(nèi)計(jì)算每個(gè)像素點(diǎn)的梯度方向，將360度劃分為12個(gè)統(tǒng)計(jì)區(qū)間，形成紋理梯度方向直方圖；HSV顏色直方圖和HOG梯度方向直方圖組合形成一個(gè)40 維的向量。
進(jìn)一步的，所述的步驟(c3)中所述的利用圖分割算法融合候選圖像塊與已知圖像，完成空洞區(qū)域的紋理信息填補(bǔ)采取基于圖分割算法的紋理合成算法在圖像的已知區(qū)域中搜索一個(gè)最優(yōu)的圖像塊，依次在空洞邊界上優(yōu)先級(jí)最高的點(diǎn)上合成空洞區(qū)域的紋理， 兩個(gè)圖像塊之間的相似度由標(biāo)準(zhǔn)化的差異平方和確定，然后根據(jù)兩個(gè)圖像塊之間重疊區(qū)域的像素點(diǎn)著色的代價(jià)，利用基于圖分割的紋理合成方法完成紋理信息填補(bǔ)。為進(jìn)一步理解本發(fā)明，下面介紹本發(fā)明的基本原理本發(fā)明一種圖像場(chǎng)景空洞區(qū)域結(jié)構(gòu)和紋理信息自動(dòng)填補(bǔ)方法其原理是基于圖像主要簡(jiǎn)約圖模型和圖像統(tǒng)一描述符匹配的圖像空洞填補(bǔ)方法。本發(fā)明利用圖像的結(jié)構(gòu)信息和紋理信息指導(dǎo)圖像空洞填補(bǔ)的過(guò)程，首先提取出圖像的結(jié)構(gòu)部分，采用張量投票的方法， 自動(dòng)的恢復(fù)出圖像空洞區(qū)域的曲線或者拐點(diǎn)；然后通過(guò)圖像統(tǒng)一描述符匹配，在圖像已知區(qū)域內(nèi)采樣圖像塊，利用圖分割算法合成空洞區(qū)域的紋理信息。為了填補(bǔ)空洞區(qū)域的結(jié)構(gòu)信息，本發(fā)明首先利用主要簡(jiǎn)約圖算法對(duì)輸入圖像做邊緣檢測(cè)，自動(dòng)檢測(cè)空洞區(qū)域周圍長(zhǎng)而連續(xù)的邊結(jié)構(gòu)，利用連接點(diǎn)檢測(cè)算法檢測(cè)圖像空洞區(qū)域邊界與邊結(jié)構(gòu)的交點(diǎn)。結(jié)構(gòu)信息填補(bǔ)方法的具體方法是根據(jù)彈性能量函數(shù)確定空洞區(qū)域邊界處需要連接的連接點(diǎn)點(diǎn)對(duì)，利用張量投票算法連接每對(duì)連接點(diǎn)，自動(dòng)連接空洞區(qū)域缺失的結(jié)構(gòu)線，最后在已知圖像區(qū)域的結(jié)構(gòu)部分采樣圖像塊填補(bǔ)空洞區(qū)域的結(jié)構(gòu)信息。結(jié)構(gòu)信息填補(bǔ)完成后，空洞區(qū)域仍可能存在大量的區(qū)域有待填補(bǔ)。本發(fā)明采用了一種非參數(shù)化的基于樣例的方法來(lái)合成空洞區(qū)域的紋理，基于樣例的方法具有速度快，合成效果符合真實(shí)圖像的特點(diǎn)。針對(duì)圖像紋理具有各向異性的特性，即紋理具有梯度變化的特性，本發(fā)明先填補(bǔ)空洞區(qū)域邊界上梯度變化較大的點(diǎn)，而合成紋理所需的圖像塊則在圖像的已知區(qū)域中采樣。為了搜索相似的圖像塊完成空洞區(qū)域紋理填補(bǔ)，本發(fā)明定義了一種圖像統(tǒng)一描述符，結(jié)合k_d樹算法有效組織所有圖像塊的描述符，用于快速搜索相似圖像塊。圖像統(tǒng)一描述符中包括HSV顏色直方圖和紋理梯度方向直方圖。為了保證合成紋理的視覺(jué)連續(xù)性，本發(fā)明采用了一種基于圖分割的紋理合成方法，融合候選圖像塊與已知圖像， 完成空洞區(qū)域的紋理信息填補(bǔ)。本發(fā)明與現(xiàn)有的技術(shù)相比，其有益的特點(diǎn)是1、基于主要簡(jiǎn)約圖模型指導(dǎo)空洞區(qū)域結(jié)構(gòu)和紋理信息的重建；2、基于圖像統(tǒng)一描述符匹配快速搜索填補(bǔ)空洞區(qū)域的圖像塊； 3、不需要人工參與，實(shí)現(xiàn)自動(dòng)的圖像空洞填補(bǔ)。


圖1是本發(fā)明一種圖像場(chǎng)景空洞區(qū)域結(jié)構(gòu)和紋理信息自動(dòng)填補(bǔ)方法的流程圖；圖 1(a)為輸入的原始圖像和存在空洞的圖像，空洞區(qū)域標(biāo)為圖像右下角的一片灰色(將兩個(gè) “人物”擦除)；圖1(b)為主要簡(jiǎn)約圖模型檢測(cè)出的圖像邊結(jié)構(gòu)圖；圖1(c)為主要簡(jiǎn)約圖模型分離的圖像結(jié)構(gòu)部分；圖1(d)為圖像空洞區(qū)域結(jié)構(gòu)信息恢復(fù)結(jié)果；圖1(e)為主要簡(jiǎn)約圖模型分離的圖像紋理部分；圖1(f)為圖像空洞區(qū)域紋理信息恢復(fù)原理示意圖；圖1(g) 為圖像空洞填補(bǔ)方法的最終結(jié)果圖，同時(shí)填補(bǔ)了圖像的結(jié)構(gòu)和紋理信息；圖2是本發(fā)明連接點(diǎn)連接過(guò)程示意圖；圖2(a)為空洞區(qū)域邊界連接點(diǎn)檢測(cè)結(jié)果； 圖2(b)連接點(diǎn)斷開為開放式連接點(diǎn)，以及開放式連接點(diǎn)之間的連接示意圖；圖2(c)連接點(diǎn)之間通過(guò)最小化彈性能量函數(shù)以及利用張量投票算法連接曲線的結(jié)果；
圖3是本發(fā)明張量投票計(jì)算示意圖；圖4是本發(fā)明根據(jù)張量投票能量填補(bǔ)空洞區(qū)域曲線原理示意圖；圖5是本發(fā)明非極大值抑制處理流程圖；圖6是本發(fā)明基于圖像統(tǒng)一描述符的圖像塊類型劃分及其實(shí)例示意圖；圖7是本發(fā)明各種類型圖像塊紋理梯度直方圖；圖8是本發(fā)明利用積分直方圖快速提取圖像塊統(tǒng)計(jì)直方圖；圖9是本發(fā)明圖分割算法紋理合成原理示意圖。
具體實(shí)施例方式下面結(jié)合附圖對(duì)本發(fā)明作詳細(xì)說(shuō)明。參閱圖1本發(fā)明的主流程圖，本發(fā)明提出圖像空洞填補(bǔ)貪婪算法自動(dòng)恢復(fù)出缺失區(qū)域的顯著結(jié)構(gòu)信息，首先計(jì)算出一幅圖像的主要簡(jiǎn)約圖表達(dá)，如圖1(b) (c) (d)所示，接著檢測(cè)出結(jié)構(gòu)部分與空洞區(qū)域相交的連接點(diǎn)，比如T型或Y型的連接點(diǎn)，然后根據(jù)這些連接點(diǎn)之間的彈性能量填補(bǔ)空洞區(qū)域的曲線，曲線上的圖像塊即結(jié)構(gòu)信息利用信任傳播算法來(lái)恢復(fù)。空洞區(qū)域結(jié)構(gòu)信息的回復(fù)能夠約束紋理信息的合成，在圖像的已知區(qū)域中搜索圖像塊來(lái)合成空洞區(qū)域的紋理，為了降低搜索圖像塊的時(shí)間和空間復(fù)雜度，預(yù)先根據(jù)圖像的紋理統(tǒng)計(jì)屬性分割成若干區(qū)域，減少圖像塊搜索的空間。參閱圖1本發(fā)明的主流程圖，圖1(a)為輸入的原始圖像和存在空洞的圖像，空洞區(qū)域標(biāo)為圖像右下角的一片灰色(將兩個(gè)“人物”擦除)；圖1(b)為主要簡(jiǎn)約圖模型檢測(cè)出的圖像邊結(jié)構(gòu)圖；圖1(c)為主要簡(jiǎn)約圖模型分離的圖像結(jié)構(gòu)部分；圖1(d)為圖像空洞區(qū)域結(jié)構(gòu)信息恢復(fù)結(jié)果；圖1(e)為主要簡(jiǎn)約圖模型分離的圖像紋理部分；圖1(f)為圖像空洞區(qū)域紋理信息恢復(fù)原理示意圖；圖1(g)為圖像空洞填補(bǔ)方法的最終結(jié)果圖，同時(shí)填補(bǔ)了圖像的結(jié)構(gòu)和紋理信息。以下就主流程的各步驟進(jìn)行說(shuō)明步驟(1)基于圖像主要簡(jiǎn)約圖模型提取出圖像已知區(qū)域的結(jié)構(gòu)部分，采用張量投票的方法，自動(dòng)的恢復(fù)出圖像空洞區(qū)域的曲線或者拐點(diǎn)，實(shí)現(xiàn)圖像空洞區(qū)域結(jié)構(gòu)信息的恢復(fù)；其中，步驟(1)中所述的采用張量投票的方法，自動(dòng)的恢復(fù)出圖像空洞區(qū)域的曲線或者拐點(diǎn)，實(shí)現(xiàn)圖像空洞區(qū)域結(jié)構(gòu)信息的恢復(fù)可以采取以下步驟步驟(al)首先利用主要簡(jiǎn)約圖算法對(duì)輸入圖像做邊緣檢測(cè)，自動(dòng)檢測(cè)空洞區(qū)域周圍長(zhǎng)而連續(xù)的邊結(jié)構(gòu)。步驟(a2)采用線性回歸的方法來(lái)近似計(jì)算曲線上每個(gè)點(diǎn)的切線方向，并轉(zhuǎn)化為法線方向。在提取出圖像的結(jié)構(gòu)信息后，需要計(jì)算曲線上每個(gè)點(diǎn)的切線方向或者法向方向。本發(fā)明可具體采用線性回歸的方法來(lái)近似計(jì)算曲線上每個(gè)點(diǎn)的切線方向。通過(guò)求解一個(gè)局部的直線方程來(lái)定量地描述曲線上的一個(gè)小線段，一般通過(guò)一個(gè)點(diǎn)前后各四個(gè)點(diǎn)的坐標(biāo)位置來(lái)求解直線方程。直線回歸方程的形式為Y = kX+b其中k稱為回歸系數(shù)，含義為直線的法向方向；b稱為截矩，為回歸直線或其延長(zhǎng)線與y軸交點(diǎn)的縱坐標(biāo)。
根據(jù)一個(gè)點(diǎn)前后4個(gè)點(diǎn)樣本坐標(biāo)的實(shí)測(cè)值(Xi，yi)計(jì)算k和b，為使方程能較好地反映各點(diǎn)的分布規(guī)律，使各實(shí)測(cè)點(diǎn)到回歸直線的離差最小，可以使用最小二乘法求解。按以下公式計(jì)算
權(quán)利要求
1.一種圖像場(chǎng)景空洞區(qū)域結(jié)構(gòu)和紋理信息自動(dòng)填補(bǔ)方法，其特征在于利用圖像已知區(qū)域的結(jié)構(gòu)信息和紋理信息指導(dǎo)圖像空洞區(qū)域的填補(bǔ)過(guò)程；基于主要簡(jiǎn)約圖模型指導(dǎo)空洞區(qū)域結(jié)構(gòu)和紋理信息的重建；利用圖像統(tǒng)一描述符的匹配，快速搜索空洞區(qū)域的圖像塊； 無(wú)需人工參與，能夠自動(dòng)填補(bǔ)圖像的空洞區(qū)域，該方法包含以下步驟步驟(1)基于圖像主要簡(jiǎn)約圖模型提取出圖像已知區(qū)域的結(jié)構(gòu)部分，采用張量投票的方法，自動(dòng)的恢復(fù)出圖像空洞區(qū)域的曲線或者拐點(diǎn)，實(shí)現(xiàn)圖像空洞區(qū)域結(jié)構(gòu)信息的恢復(fù)；步驟(2)通過(guò)圖像統(tǒng)一描述符匹配，在圖像已知區(qū)域內(nèi)采樣圖像塊，利用圖分割算法合成空洞區(qū)域的紋理信息，實(shí)現(xiàn)圖像空洞區(qū)域紋理信息的填補(bǔ)。
2.如權(quán)利要求1所述的一種圖像場(chǎng)景空洞區(qū)域結(jié)構(gòu)和紋理信息自動(dòng)填補(bǔ)方法，其特征在于所述的步驟(1)中所述的采用張量投票的方法，自動(dòng)的恢復(fù)出圖像空洞區(qū)域的曲線或者拐點(diǎn)，實(shí)現(xiàn)圖像空洞區(qū)域結(jié)構(gòu)信息的恢復(fù)采取以下步驟步驟(al)利用主要簡(jiǎn)約圖算法對(duì)輸入圖像做邊緣檢測(cè)，得到與空洞區(qū)域邊界相交的曲線；步驟(a2)采用線性回歸的方法來(lái)近似計(jì)算曲線上每個(gè)點(diǎn)的切線方向，并轉(zhuǎn)化為法線方向，根據(jù)法向方向得到的張量表示；步驟(a3)利用連接點(diǎn)檢測(cè)算法檢測(cè)圖像空洞區(qū)域邊界與邊結(jié)構(gòu)的交點(diǎn)，根據(jù)兩個(gè)連結(jié)點(diǎn)之間的曲率相容性求解一系列的連接點(diǎn)對(duì)；步驟(a4)根據(jù)結(jié)構(gòu)部分的幾何特征，利用張量投票算法自動(dòng)連接空洞區(qū)域缺失的結(jié)構(gòu)線，完成圖像已知區(qū)域結(jié)構(gòu)信息的填補(bǔ)。
3.如權(quán)利要求2所述的一種圖像場(chǎng)景空洞區(qū)域結(jié)構(gòu)和紋理信息自動(dòng)填補(bǔ)方法，其特征在于所述的步驟(a4)中所述的利用張量投票算法自動(dòng)連接空洞區(qū)域缺失的結(jié)構(gòu)線，完成圖像已知區(qū)域結(jié)構(gòu)信息的填補(bǔ)采取以下步驟步驟(bl)根據(jù)彈性能量函數(shù)確定空洞區(qū)域邊界處需要連接的連接點(diǎn)對(duì)； 步驟( ) 一種快速的張量投票算法，預(yù)先計(jì)算0到180度的局部張量投票場(chǎng)，尺度因子為54，局部張量投票場(chǎng)的窗口大小為109，根據(jù)窗口內(nèi)點(diǎn)到投票點(diǎn)的距離計(jì)算投票能量的大?。徊⑶覍?duì)于圖像邊界產(chǎn)生的屋脊帶沿著屋脊帶的頂部進(jìn)行跟蹤，將非最大值的點(diǎn)置為零；步驟(b3)在已知圖像區(qū)域的結(jié)構(gòu)部分采樣圖像塊，為空洞區(qū)域曲線上每個(gè)采樣節(jié)點(diǎn)賦標(biāo)簽，每個(gè)標(biāo)簽是一個(gè)采樣圖像塊，利用信任傳播算法填補(bǔ)空洞區(qū)域的結(jié)構(gòu)信息。
4.如權(quán)利要求1所述的一種圖像場(chǎng)景空洞區(qū)域結(jié)構(gòu)和紋理信息自動(dòng)填補(bǔ)方法，其特征在于所述的步驟O)中所述的利用圖分割算法合成空洞區(qū)域的紋理信息，實(shí)現(xiàn)圖像空洞區(qū)域紋理信息的填補(bǔ)采用了一種非參數(shù)化的基于樣例的方法來(lái)合成空洞區(qū)域的紋理，具體而言，圖像空洞區(qū)域紋理信息的填補(bǔ)包含了以下步驟步驟(cl)根據(jù)置信度、梯度值、距離值計(jì)算空洞區(qū)域邊界點(diǎn)的優(yōu)先級(jí)； 步驟(^)給出了基于統(tǒng)一圖像描述符和k-d樹的快速相似圖像塊搜索算法，利用最高優(yōu)先級(jí)邊界點(diǎn)的圖像塊搜索并確定用于空洞填補(bǔ)的候選圖像塊；步驟(c3)利用圖分割算法融合候選圖像塊與已知圖像，完成空洞區(qū)域的紋理信息填補(bǔ)。
5.如權(quán)利要求4所述的一種圖像場(chǎng)景空洞區(qū)域結(jié)構(gòu)和紋理信息自動(dòng)填補(bǔ)方法，其特征在于所述的步驟(Cl)中所述的空洞區(qū)域邊界點(diǎn)的優(yōu)先級(jí)，其計(jì)算方法包括根據(jù)空洞區(qū)域邊界上圖像塊的置信度、梯度值、距離值確定該空洞區(qū)域的填補(bǔ)優(yōu)先級(jí)，從圖像左上角和右下角兩次遍歷圖像中所有像素點(diǎn)，計(jì)算每個(gè)點(diǎn)到空洞邊界的距離能量；紋理填充的優(yōu)先級(jí)由圖像中所有坐標(biāo)到空洞邊界的距離能量確定，距離變換算法計(jì)算圖像中所有點(diǎn)到空洞區(qū)域初始邊界的最近距離，將中所有的點(diǎn)按與空洞區(qū)域邊界的最短距離長(zhǎng)短進(jìn)行排序，在填補(bǔ)紋理時(shí)，優(yōu)先生成距離空洞區(qū)域較近的紋理塊。
6.如權(quán)利要求4所述的一種圖像場(chǎng)景空洞區(qū)域結(jié)構(gòu)和紋理信息自動(dòng)填補(bǔ)方法，其特征在于所述的步驟(c2)中所述的利用最高優(yōu)先級(jí)邊界點(diǎn)的圖像塊搜索并確定用于空洞填補(bǔ)的候選圖像塊是基于統(tǒng)一圖像描述符和k-d樹的快速相似圖像塊搜索算法，具體包含以下步驟步驟(dl)利用積分直方圖快速提取圖像塊顏色直方圖和紋理梯度方向直方圖首先計(jì)算一幅圖像的積分直方圖，計(jì)算圖像塊的直方圖只需要利用直方圖的積分值進(jìn)行加減運(yùn)算，避免了對(duì)每一個(gè)圖像塊重復(fù)濾波的計(jì)算開銷，從而快速的提取一個(gè)圖像塊的統(tǒng)計(jì)直方圖，由此得到了每一個(gè)圖像塊的40維的統(tǒng)一圖像描述符，包括顏色直方圖和紋理梯度方向直方圖；步驟(業(yè))采用k-d樹組織40維的統(tǒng)一圖像描述符，在k-d樹建樹的過(guò)程中，在樹的頂層結(jié)點(diǎn)首先選擇一個(gè)維度對(duì)所有數(shù)據(jù)進(jìn)行劃分，將所有數(shù)據(jù)劃分為左子樹和右子樹，下一層結(jié)點(diǎn)再各自選擇另一個(gè)維度對(duì)數(shù)據(jù)進(jìn)行劃分，依次規(guī)律遞歸進(jìn)行，將所有數(shù)據(jù)放置在葉子節(jié)點(diǎn)；在k-d樹搜索的過(guò)程中，輸入向量在每個(gè)節(jié)點(diǎn)處根據(jù)劃分維度的值判斷，若大于劃分值則搜索右子樹，反之則搜索左子樹；k-d樹將近鄰搜索的時(shí)間復(fù)雜度從O(n)降到了 O(Iogn)，根據(jù)Kullhck-Leibler距離度量?jī)蓚€(gè)圖像描述符之間的相似性。
7.如權(quán)利要求6所述的一種圖像場(chǎng)景空洞區(qū)域結(jié)構(gòu)和紋理信息自動(dòng)填補(bǔ)方法，其特征在于所述的步驟(業(yè))中所述的40維的統(tǒng)一圖像描述符中，HSV顏色直方圖有觀個(gè)統(tǒng)計(jì)區(qū)間，HSV三個(gè)顏色通道統(tǒng)計(jì)區(qū)間數(shù)目分別為12、8、8 ；統(tǒng)一圖像描述符中的HOG梯度方向直方圖在一個(gè)圖像塊內(nèi)計(jì)算每個(gè)像素點(diǎn)的梯度方向，將360度劃分為12個(gè)統(tǒng)計(jì)區(qū)間，形成紋理梯度方向直方圖；HSV顏色直方圖和HOG梯度方向直方圖組合形成一個(gè)40維的向量。
8.如權(quán)利要求4所述的一種圖像場(chǎng)景空洞區(qū)域結(jié)構(gòu)和紋理信息自動(dòng)填補(bǔ)方法，其特征在于所述的步驟(c3)中所述的利用圖分割算法融合候選圖像塊與已知圖像，完成空洞區(qū)域的紋理信息填補(bǔ)采取基于圖分割算法的紋理合成算法在圖像的已知區(qū)域中搜索一個(gè)最優(yōu)的圖像塊，依次在空洞邊界上優(yōu)先級(jí)最高的點(diǎn)上合成空洞區(qū)域的紋理，兩個(gè)圖像塊之間的相似度由標(biāo)準(zhǔn)化的差異平方和確定，然后根據(jù)兩個(gè)圖像塊之間重疊區(qū)域的像素點(diǎn)著色的代價(jià)，利用基于圖分割的紋理合成方法完成紋理信息填補(bǔ)。
全文摘要
本發(fā)明提供一種圖像場(chǎng)景空洞區(qū)域結(jié)構(gòu)和紋理信息自動(dòng)填補(bǔ)方法，該方法能夠自動(dòng)填補(bǔ)圖像空洞區(qū)域的紋理信息和結(jié)構(gòu)信息，確保填補(bǔ)后圖像場(chǎng)景在視覺(jué)上的連續(xù)性和合理性。該方法首先基于圖像主要簡(jiǎn)約圖模型將圖像劃分為結(jié)構(gòu)部分和紋理部分，并計(jì)算結(jié)構(gòu)部分的幾何特征；然后，利用張量投票算法自動(dòng)連接空洞區(qū)域缺失的結(jié)構(gòu)線，完成空洞區(qū)域結(jié)構(gòu)信息的填補(bǔ)；在此基礎(chǔ)上，根據(jù)置信度、梯度值、距離值計(jì)算空洞區(qū)域邊界點(diǎn)的優(yōu)先級(jí)，利用最高優(yōu)先級(jí)邊界點(diǎn)的圖像塊，基于統(tǒng)一圖像描述符和k-d樹快速搜索相似圖像塊，使用貪婪算法思想確定用于空洞填補(bǔ)的候選圖像塊；最后，融合候選圖像塊與已知圖像，完成空洞區(qū)域的紋理信息填補(bǔ)。本發(fā)明可廣泛應(yīng)用推廣到影視節(jié)目制作、體育研究與訓(xùn)練模擬等領(lǐng)域。
文檔編號(hào)G06T11/40GK102324102SQ20111030223
公開日2012年1月18日 申請(qǐng)日期2011年10月8日 優(yōu)先權(quán)日2011年10月8日
發(fā)明者徐舫, 趙沁平, 金鑫, 陳小武 申請(qǐng)人:北京航空航天大學(xué)