專利名稱：基于局部特征結(jié)構(gòu)保持的視頻圖像內(nèi)容編輯傳播方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理、計算機視覺和增強處理技術(shù)領(lǐng)域，具體地說是一種基于局部特征結(jié)構(gòu)保持的視頻圖像內(nèi)容編輯傳播方法。
背景技術(shù)：
數(shù)字圖像領(lǐng)域中，最常見的圖像處理方法之一是根據(jù)視頻圖像內(nèi)容，進行編輯處理。例如，改變視頻圖像的顏色；將不同視頻源的對象融合到一起，形成一個無編輯痕跡的視頻；精確提取圖像中的毛發(fā)等。對于藝術(shù)設(shè)計者或者從事影視編輯的工作人員來說，為了對一個視頻的顏色、內(nèi)容進行編輯，將進行大量的手工編輯。事實上，視頻圖像內(nèi)容特征之間通常具有某種內(nèi)在聯(lián)系。能根據(jù)這些內(nèi)在聯(lián)系，自動的進行視頻圖像編輯，可以在很大程度上提高視頻圖像編輯效率。 目前，一些科研工作者在相關(guān)技術(shù)上開展了研究。在圖像編輯方面，大量的研究工作已經(jīng)對此進行了探討。Fabio Pellacini等人在2008年提出了基于所有像素相似性的編輯傳播方法，但是該方法需要的時空資源太大，無法處理大圖像或者視頻數(shù)據(jù)；Kun Xu等人基于Fabio Pellacini等人的工作，在2009年提出了基于KD tree的編輯傳播方法，該方法解決了 Fabio Pellacini等提出方法的時空消耗問題，節(jié)省了系統(tǒng)資源，但是其針對顏色過渡區(qū)域會出現(xiàn)顏色異?，F(xiàn)象。Zeev Farbman等人在2010年提出了基于擴散圖(diffusionmap)的編輯傳播方法,該方法利用擴散距離(diffusion distance)來衡量所有像素點之間的相似度，但是其依然在效率上不高，同時，這種方法不能有效的反映出像素之間的不相似性，而且針對顏色過渡區(qū)域的像素點，處理結(jié)果不理想。在顏色風格一致化方面,2001年,布里斯托大學的Eric Reinhard等人是利用顏色空間的轉(zhuǎn)換，將目標圖像和參考圖像首先從RGB顏色空間轉(zhuǎn)換到I α β顏色空間，然后在這三個通道上分別求取二階統(tǒng)計量期望方差，再針對目標圖像的每一個像素，進行縮放旋轉(zhuǎn)，求得的最終結(jié)果轉(zhuǎn)換為RGB顏色空間即為結(jié)果圖像的像素顏色值，該方法簡單有效，但是針對復(fù)雜的圖像，需要用戶指定樣本進行顏色轉(zhuǎn)換。針對這個問題，2005年，日本的Chang等人提出了一種基于顏色分類的方法實現(xiàn)顏色轉(zhuǎn)換。其首先將目標圖像和參考圖像按照顏色差異，分成多個顏色類，然后在對應(yīng)的顏色類之間進行顏色轉(zhuǎn)換。Pitie. F等人以一種全新的思路，在證明了 N維概率密度函數(shù)轉(zhuǎn)移的可行性并將它運用到顏色遷移領(lǐng)域，在灰度圖像中，利用直方圖規(guī)定化實現(xiàn)圖像灰度變換使其具有特定的直方圖形式。直方圖是概率分布密度的體現(xiàn)，而直方圖規(guī)定化是目標圖像概率分布密度映射到期望概率分布密度的過程，也就一維概率密度函數(shù)轉(zhuǎn)移。而N維概率密度函數(shù)轉(zhuǎn)移是基于一維展開的。設(shè)f (x)和g(x)是源圖像和目標圖像的顏色概率密度分布，Xi = Cri, gi； bi), Γ > gi、bi分別代表紅綠藍三色，選擇任意一個旋轉(zhuǎn)矩陣尺，旋轉(zhuǎn)后對N維分別作一維概率密度函數(shù)轉(zhuǎn)移，重復(fù)多次，直到收斂，得到遷移后的新圖像。但是，現(xiàn)有技術(shù)的生成的結(jié)果圖像顏色過渡不平滑，有很多塊狀，需要通過二次處理對圖像進行平滑，并且容易產(chǎn)生一些不自然的著色效果。因此，針對自動顏色轉(zhuǎn)換方法中的這些問題，出現(xiàn)了一些基于交互式的顏色轉(zhuǎn)換方法。Takahiko將概率松弛法引入顏色遷移，以選取最優(yōu)的顏色信息遷移給目標圖像素。2003年Takahiko等人又提出種子像素的概念，由用戶選取一些彩色像素作為灰度圖像的種子，利用顏色繁殖完成顏色遷移。Tomohisa等人改進了顏色繁殖算法，引入圖像分割防止錯誤繁殖邊緣像素顏色，并提出了新的基于CIELAB顏色空間的彩色化算法，但是該方法不能保證結(jié)果圖像既能在顏色視覺上逼近參考圖像的顏色的同時，保持目標圖像的顏色流形線性結(jié)構(gòu)。在場景對象融合方面，一些研究機構(gòu)在這方面也開展了研究。2003年P(guān)erez等人提出了一種基于泊松方程和狄利克雷邊界條件的圖像場景融合方法。該種方法能夠較好的融合插入的對象，但是時間空間消耗率太大。2009年，Zeev Farbman等人提出了基于中值坐標的視頻圖像場景快速融合方法，很大程度上改善了泊松方法的時空效率，但是該種方法容易受到插入對象的形狀影響。在精確對象提取方面，Jian Sun等人在2004年提出了基于泊松方程的精確對象提取方法，該方法為國際首次提出的精確對象提取方法，但是該方法計算速度慢，存儲空間耗費大，而且在半透明的圖像區(qū)域不能很好的提取前景。Ahat Levin等人在2008年提出了 一種基于頻譜聚類的方法，該方法一定程度上提高了前景提取的準確率，但是效率低，而且在半透明的圖像區(qū)域不能很好的提取前景。在灰度圖像著色方面,Welsh等人在2001年首先提出基于灰度匹配的灰度圖像著色方法，該方法需要給定一張與灰度圖像場景類似的彩色圖像，然后根據(jù)兩幅圖像的灰度匹配，給灰度圖像著色。但是該方法對場景復(fù)查的圖像，不能很好的著色，著色過程中交互量太大。

發(fā)明內(nèi)容
根據(jù)上述實際需求和關(guān)鍵問題，本發(fā)明的目的在于提出一種基于局部特征結(jié)構(gòu)保持的視頻圖像內(nèi)容編輯傳播方法。其保持圖像/視頻的編輯傳播不受對象形狀影響，具有一定的適應(yīng)性和魯棒性。為實現(xiàn)本發(fā)明目的而提供的一種基于局部特征結(jié)構(gòu)保持的視頻圖像內(nèi)容編輯傳播方法，該方法包括以下步驟步驟S100，將輸入的圖像/視頻中所有像素點映射到預(yù)設(shè)的特征空間；步驟S200，在特征空間中，對每一個像素點，求取其最近K個鄰居；步驟S300，利用局部線性嵌入降維方法，將所有像素點構(gòu)建局部線性關(guān)系；步驟S400，將用戶預(yù)設(shè)的圖像/視頻編輯請求對應(yīng)到所述圖像/視頻的部分像素上；步驟S500，根據(jù)像素間的結(jié)構(gòu)關(guān)系，利用步驟S400中的部分像素的對應(yīng)，將用戶預(yù)設(shè)的編輯請求傳播到圖像/視頻所有其他像素。步驟S600，對異常結(jié)果進行處理，包括異常顏色值、邊緣，生成最終結(jié)果。較優(yōu)地，所述步驟SlOO中，將輸入的圖像/視頻中所有像素點映射到預(yù)設(shè)的特征空間，是根據(jù)預(yù)設(shè)的應(yīng)用需求，包括自動顏色變換、交互式顏色編輯、精準對象提取、場景對象融合、灰度圖像著色，選定不同的特征；其中，針對顏色變換和交互式顏色編輯，所選擇的特征空間為RGB顏色空間；
針對對象精準提取和場景對象融合，所選擇的特征空間為RGBXYT六維空間，其中RGB指示顏色，XY指示像素的坐標，T指示第幾幀；針對灰度圖像著色，選擇的特征空間為灰度-SIFT-紋理-位置特征空間。較優(yōu)地，在步驟S300中，在特征空間中，對每一個像素點，求取其最近K個鄰居，是指對特征空間中的每個像素，求取與其特征最接近的K個像素點；其中，針對顏色變換和交互式顏色編輯,所選擇的K個特征鄰居為顏色距離上最接近的K個鄰居；針對對象精準提取和場景對象融合，所選擇的K個特征鄰居為顏色和空間位置距離上最接近的K個鄰居；
·
針對灰度圖像著色，所選擇的K個特征鄰居為在灰度、SIFT、紋理和空間位置四種特征距離上最接近的K個鄰居。其中，所采用的距離計算方法為歐氏距離計算方法。較優(yōu)地，所述步驟S300中的局部線性嵌入降維方法，為所有像素點構(gòu)建局部線性關(guān)系，包括如下步驟步驟S310，針對每一個像素，根據(jù)其特征，尋找與其在歐氏距離上最接近的K個像素；步驟S320，通過求得最優(yōu)的每組K近鄰的線性組合系數(shù)，使得當前像素特征向量值與它的K近鄰線性組合值盡可能的接近；所述求得最優(yōu)的每組K近鄰的線性組合系數(shù)，是通過構(gòu)建當前像素特征值與其K近鄰的線性組合值的平方差之和，采用最小二乘法求解該方程，得到最優(yōu)每組K近鄰的線性組合系數(shù)。較優(yōu)地,設(shè)定Xi表示像素i的特征，Xil, . . . , Xik表示Xi的K個鄰居的特征向量，其局部特征的結(jié)構(gòu)關(guān)系構(gòu)建方法為
權(quán)利要求
1.一種基于局部特征結(jié)構(gòu)保持的視頻圖像內(nèi)容編輯傳播方法，其特征在于，包括如下步驟 步驟S100，將輸入的圖像/視頻中所有像素點映射到預(yù)設(shè)的特征空間； 步驟S200，在特征空間中，對每一個像素點，求取其最近K個鄰居； 步驟S300，利用局部線性嵌入降維方法，將所有像素點構(gòu)建局部線性關(guān)系； 步驟S400，將用戶預(yù)設(shè)的圖像/視頻編輯請求對應(yīng)到所述圖像/視頻的部分像素上；步驟S500，根據(jù)像素間的結(jié)構(gòu)關(guān)系，利用步驟S400中的部分像素的對應(yīng)，將用戶預(yù)設(shè)的編輯請求傳播到圖像/視頻所有其他像素。
2.根據(jù)權(quán)利要求I所述的視頻圖像內(nèi)容編輯傳播方法，其特征在于，還包括如下步驟 步驟S600，對異常結(jié)果進行處理，包括異常顏色值、邊緣，生成最終結(jié)果。
3.根據(jù)權(quán)利要求I或2所述的視頻圖像內(nèi)容編輯傳播方法，其特征在于，所述步驟Sioo中，將輸入的圖像/視頻中所有像素點映射到預(yù)設(shè)的特征空間，是根據(jù)預(yù)設(shè)的應(yīng)用需求，包括自動顏色變換、交互式顏色編輯、精準對象提取、場景對象融合、灰度圖像著色，選定不同的特征； 其中，針對顏色變換和交互式顏色編輯，所選擇的特征空間為RGB顏色空間； 針對對象精準提取和場景對象融合，所選擇的特征空間為RGBXYT六維空間，其中RGB指示顏色，XY指示像素的坐標，T指示第幾幀； 針對灰度圖像著色，選擇的特征空間為灰度-SIFT-紋理-位置特征空間。
4.根據(jù)權(quán)利要求I或2所述的視頻圖像內(nèi)容編輯傳播方法，其特征在于，在步驟S300中，在特征空間中，對每一個像素點，求取其最近K個鄰居，是指對特征空間中的每個像素，求取與其特征最接近的K個像素點； 其中，針對顏色變換和交互式顏色編輯，所選擇的K個特征鄰居為顏色距離上最接近的K個鄰居； 針對對象精準提取和場景對象融合，所選擇的K個特征鄰居為顏色和空間位置距離上最接近的K個鄰居； 針對灰度圖像著色，所選擇的K個特征鄰居為在灰度、SIFT、紋理和空間位置四種特征距離上最接近的K個鄰居。
其中，所采用的距離計算方法為歐氏距離計算方法。
5.根據(jù)權(quán)利要求I或2所述的視頻圖像內(nèi)容編輯傳播方法，其特征在于，所述步驟S300中的局部線性嵌入降維方法，為所有像素點構(gòu)建局部線性關(guān)系，包括如下步驟 步驟S310，針對每一個像素，根據(jù)其特征，尋找與其在歐氏距離上最接近的K個像素；步驟S320，通過求得最優(yōu)的每組K近鄰的線性組合系數(shù)，使得當前像素特征向量值與它的K近鄰線性組合值盡可能的接近； 所述求得最優(yōu)的每組K近鄰的線性組合系數(shù)，是通過構(gòu)建當前像素特征值與其K近鄰的線性組合值的平方差之和，采用最小二乘法求解該方程，得到最優(yōu)每組K近鄰的線性組合系數(shù)。
6.根據(jù)權(quán)利要求I或2所述的視頻圖像內(nèi)容編輯傳播方法，其特征在于，設(shè)定Xi表示像素i的特征，Xn，...，Xik表示Xi的K個鄰居的特征向量，其局部特征的結(jié)構(gòu)關(guān)系構(gòu)建方法為
7.根據(jù)權(quán)利要求I或2所述的視頻圖像內(nèi)容編輯傳播方法，其特征在于，所述步驟S400中的在根據(jù)用戶預(yù)設(shè)的編輯，對應(yīng)到部分像素上，包括如下步驟 步驟S410，將用戶預(yù)設(shè)的自動色調(diào)調(diào)整請求對應(yīng)到預(yù)設(shè)的色調(diào)模板的像素的色調(diào)上；步驟S420，將用戶預(yù)設(shè)的交互式色調(diào)調(diào)整請求對應(yīng)到在圖像/視頻的關(guān)鍵幀上指定部分像素的色調(diào)上； 步驟S430，將用戶預(yù)設(shè)的精細分割請求對應(yīng)到預(yù)設(shè)的三分圖的像素上； 步驟S440，將用戶預(yù)設(shè)的無縫融合請求對應(yīng)到選定的目標融合區(qū)域的像素上； 步驟S450，將用戶預(yù)設(shè)的灰度圖像著色要求對應(yīng)到在部分區(qū)域上指定部分像素的色調(diào)上。
8.根據(jù)權(quán)利要求I或2所述的視頻圖像內(nèi)容編輯傳播方法，其特征在于，所述步驟S500包括如下步驟 步驟S510，針對自動色調(diào)調(diào)整，將指定的色調(diào)傳遞到其他像素上，改變像素顏色； 步驟S520，針對交互式色調(diào)調(diào)整，將用戶指定部分像素的色調(diào)，傳遞到其他像素顏色；步驟S530，針對精細分割，根據(jù)三分圖確定的前景和背景，得到未知區(qū)域的像素屬于前景的概率； 步驟S540，針對無縫融合，根據(jù)插入?yún)^(qū)域邊界和目標背景的色差，改變插入?yún)^(qū)域的顏色； 步驟S550，針對灰度圖像著色，根據(jù)超像素的特征關(guān)系，將其著色。
全文摘要
本發(fā)明公開了一種基于局部特征結(jié)構(gòu)保持的視頻圖像內(nèi)容編輯傳播方法，包括如下步驟將輸入的圖像/視頻中所有像素點映射到預(yù)設(shè)的特征空間；在特征空間中，對每一個像素點，求取其最近K個鄰居；利用局部線性嵌入降維方法，將所有像素點構(gòu)建局部線性關(guān)系；將用戶預(yù)設(shè)的圖像/視頻編輯請求對應(yīng)到所述圖像/視頻的部分像素上；根據(jù)像素間的結(jié)構(gòu)關(guān)系，利用步驟S400中的部分像素的對應(yīng)，將用戶預(yù)設(shè)的編輯請求傳播到圖像/視頻所有其他像素。其保持圖像/視頻的編輯傳播不受對象形狀影響，具有一定的適應(yīng)性和魯棒性。
文檔編號G06T5/00GK102903128SQ201210331180
公開日2013年1月30日 申請日期2012年9月7日 優(yōu)先權(quán)日2012年9月7日
發(fā)明者陳小武, 鄒冬青, 趙沁平, 李健偉, 丁峰 申請人:北京航空航天大學