專(zhuān)利名稱(chēng)：超大圖片及視頻編輯方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種超大圖片及視頻的 編輯方法及系統(tǒng)。
背景技術(shù)：
現(xiàn)如今圖像和視頻的編輯越來(lái)越重要，圖像和視頻的編輯指編輯 其顏色、亮度和對(duì)比度等等。有一些編輯是必須被引入，以校正拍攝
的圖片或視頻的誤差；另一些編輯是為了達(dá)到某種藝術(shù)效果的。常用 的編輯針對(duì)圖像中某部分，比如將昏暗燈光條件下拍攝的人臉調(diào)亮， 或者將圖片或者視頻中的花朵換一種顏色等等。在以往的一些像
Photoshop的編輯工具中，往往要求用戶選擇編輯應(yīng)用的區(qū)域。但是
在圖片和視頻中選擇復(fù)雜的區(qū)域是一件非常繁瑣的事情，以往的一些 區(qū)域選擇的方法需要改進(jìn)。
另外一種基于區(qū)域的不需要選擇區(qū)域的方法是傳播的方法。使用 這種方法時(shí)，用戶僅僅需要用畫(huà)刷之類(lèi)的工具，在圖片中一塊很小的 區(qū)域進(jìn)行編輯，這種編輯就會(huì)傳播到圖片的其余部分。這種傳播的原 則是，圖片中相似或者位置相近的像素，應(yīng)該獲得相似的編輯。近年
來(lái)，Lischinski等人對(duì)這種傳播方法的可行性給出了說(shuō)明。尤其是 Pellacini在2008年將這種傳播的方法推廣到了更一般的形式，可以 允許用戶使用很粗糙的輸入編輯來(lái)傳播到整個(gè)圖像。
但是這種通過(guò)初始編輯傳播的方法，只能處理一些中尺度圖片 (幾百萬(wàn)像素)或者很短的圖片序列。這種限制出現(xiàn)的是因?yàn)樵摲椒?要解一個(gè)優(yōu)化方程，而這個(gè)方程的數(shù)量級(jí)是和圖片或者視頻的像素?cái)?shù) 成比例的。雖然有一些減少時(shí)間和空間的新方法，但是這些方法還是 不能直接應(yīng)用到大尺度圖片和視頻上面。比如針對(duì)一個(gè)大約400幀的視頻序列，希望編輯第一幀，然后就可以把這些編輯傳播到整個(gè)視頻,
但是Pdlacini的方法就需要33GB的內(nèi)存，當(dāng)今的計(jì)算機(jī)是無(wú)法滿足 的。即使使用outofcore的方法還是需要4個(gè)小時(shí)才能完成傳播。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種超大圖片或視頻編輯方法及系統(tǒng)，該方 法及系統(tǒng)可以處理上億像素的超大圖片或視頻，且運(yùn)算時(shí)間快，空間 消耗少，以克服現(xiàn)有技術(shù)存在的缺陷。
為實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案。
依照本發(fā)明一種實(shí)施方式的超大圖片或視頻編輯方法，該方法包 括步驟
51. 選擇超大圖片或視頻中的初始編輯區(qū)域，根據(jù)給定的編輯參 數(shù)進(jìn)行初始編輯；
52. 根據(jù)所述超大圖片或視頻的內(nèi)部結(jié)構(gòu)以及像素之間的關(guān)系， 構(gòu)建分層的樹(shù)結(jié)構(gòu)；
53. 根據(jù)所述樹(shù)結(jié)構(gòu)的中間節(jié)點(diǎn)的誤差范圍，選擇誤差允許范圍 內(nèi)的最短分割線；
54. 利用所述分割線上的節(jié)點(diǎn)，近似求解優(yōu)化方程，傳播所述初 始編輯，獲得最終編輯后的圖片或視頻。
其中，步驟S1中所述初始編輯區(qū)域?yàn)閳D片中的一部分，或視頻 中任一關(guān)鍵幀中的一塊。
其中，步驟S2進(jìn)一步包括
S2.1將所述超大圖片或視頻的所有像素置于一個(gè)類(lèi)中；
S2.2選擇跨度最大的維度，將所述類(lèi)中的所有像素分為兩個(gè)子
類(lèi)；
S2.3若所述子類(lèi)中只有一個(gè)像素或其內(nèi)部誤差小于設(shè)定閾值， 則獲得最終構(gòu)建的樹(shù)結(jié)構(gòu)，否則繼續(xù)執(zhí)行步驟S2.2。 其中，所述優(yōu)化方程為S = jD-iZ(e+ 『g)
2乂
矩陣z表示像素兩兩之間距離，矩陣『為對(duì)角陣，其對(duì)角元素
表示所述初始編輯的像素的權(quán)重，矩陣d為對(duì)角陣，其對(duì)角元素為
j = (i/(2;i)z『+z)i ， g為向量，其每個(gè)元素表示像素的編輯內(nèi)容， 義為與所述初始編輯有關(guān)的常數(shù)，計(jì)算公式為^ = 2]^/"。
依照本發(fā)明另 一種實(shí)施方式的超大圖片或視頻'編輯系統(tǒng)，該系統(tǒng)
包括初始模塊，用于選擇超大圖片或視頻中的初始編輯區(qū)域，根據(jù)
給定的編輯參數(shù)進(jìn)行初始編輯；樹(shù)結(jié)構(gòu)構(gòu)建模塊，用于根據(jù)所述超大 圖片或視頻的內(nèi)部結(jié)構(gòu)以及像素之間的關(guān)系，構(gòu)建分層的樹(shù)結(jié)構(gòu)；分 割線構(gòu)建模塊，用于根據(jù)所述樹(shù)結(jié)構(gòu)的中間節(jié)點(diǎn)的誤差范圍，選擇誤 差允許范圍內(nèi)的最短分割線；傳播模塊，用于利用所述分割線上的節(jié) 點(diǎn)，近似求解優(yōu)化方程，傳播所述初始編輯，獲得最終編輯后的圖片 或視頻。
使用本發(fā)明所提供的方法及系統(tǒng)進(jìn)行超大圖片或視頻的編輯，只 需簡(jiǎn)單的在上億像素的超大圖片或視頻的關(guān)鍵幀上選擇感興趣的很 少一塊區(qū)域進(jìn)行編輯，很快的得到整個(gè)大圖片或視頻編輯的結(jié)果，所
用時(shí)間降低到幾分鐘，所使用的空間也降低為2gb左右，本發(fā)明方法 基于分層樹(shù)結(jié)構(gòu)快速傳播編輯，大大提高了運(yùn)算時(shí)間、減少了空間消 耗，傳播結(jié)果精度較高。


圖l為依照本發(fā)明一種實(shí)施方式的超大圖片或視頻編輯方法流程
圖2為依照本發(fā)明一種實(shí)施方式的超大圖片或視頻編輯方法中樹(shù) 結(jié)構(gòu)的構(gòu)建方法流程圖3為依照本發(fā)明一種實(shí)施方式的超大圖片或視頻編輯方法中樹(shù) 結(jié)構(gòu)及其分割線示意圖4為依照本發(fā)明一種實(shí)施方式的超大圖片或視頻編輯系統(tǒng)框圖。
具體實(shí)施例方式
本發(fā)明提出的超大圖片或視頻編輯方法及系統(tǒng)，結(jié)合附圖和實(shí)施 例說(shuō)明如下。
如圖l所示，依照本發(fā)明一種實(shí)施方式的超大圖片或視頻編輯方
法，該方法包括步驟
51. 選擇超大圖片或視頻中的初始編輯區(qū)域，根據(jù)給定的編輯參 數(shù)進(jìn)行初始編輯用戶針對(duì)超大圖片或視頻，選擇自己感興趣的地方 作為初始編輯區(qū)域，輸入感興趣的編輯，此時(shí)，用戶只需用粗糙的方 法編輯，如使用很粗的畫(huà)刷去選擇一塊感興趣的區(qū)域，給定編輯的參
數(shù)，對(duì)于超大圖片來(lái)說(shuō)，這個(gè)區(qū)域是圖片中很小的一部分，而對(duì)于視 頻來(lái)說(shuō)，這個(gè)區(qū)域時(shí)視頻中的任一關(guān)鍵幀中的一塊；
52. 根據(jù)超大圖片或視頻的內(nèi)部結(jié)構(gòu)以及像素之間的關(guān)系，構(gòu)建 分層的樹(shù)結(jié)構(gòu)，像素之間的關(guān)系包括顏色空間的距離和像素位置的距 離等等；
53. 根據(jù)樹(shù)結(jié)構(gòu)的中間節(jié)點(diǎn)的誤差范圍，選擇誤差允許范圍內(nèi)的 最短分割線；
54. 利用分割線上的節(jié)點(diǎn)，用迭代的方法近似求解優(yōu)化方程，傳 播初始編輯，獲得最終編輯后的圖片或視頻。
其中，步驟S2構(gòu)建樹(shù)結(jié)構(gòu)的過(guò)程是釆用自上而下的方法，如圖 2所示，該過(guò)程進(jìn)一步包括
S2.1將超大圖片或視頻的所有像素置于一個(gè)類(lèi)中； S2.2選擇跨度最大的維度，將該類(lèi)中的所有像素分為兩個(gè)子類(lèi)； S2.3若一個(gè)子類(lèi)中只有一個(gè)像素或其內(nèi)部誤差小于設(shè)定閾值， 則獲得最終構(gòu)建的樹(shù)結(jié)構(gòu)，該樹(shù)結(jié)構(gòu)中每個(gè)節(jié)點(diǎn)都保存有關(guān)于這個(gè)類(lèi) 的統(tǒng)計(jì)信息，否則繼續(xù)執(zhí)行步驟S2.2,如步驟S2.2的方法遞歸。 該樹(shù)結(jié)構(gòu)如圖3所示，最初所有像素都置于類(lèi)d中，選擇跨度最大的維度將類(lèi)Q中所有像素分為C2、 C3兩個(gè)子類(lèi)，使用同樣的方 法將C2、 C3分別分為P^ P2兩類(lèi)以及P3、 P4兩類(lèi)，這樣一直遞歸下 去，直到一個(gè)類(lèi)中只有一個(gè)像素或者內(nèi)部誤差小于某一個(gè)閾值，本實(shí) 施方式直至Pi、 P2 、 P3、 P4結(jié)束，這樣，建立了一個(gè)分層的樹(shù)結(jié)構(gòu)， 樹(shù)的每一個(gè)節(jié)點(diǎn)都保存有關(guān)于這個(gè)類(lèi)的統(tǒng)計(jì)信息。建立好樹(shù)結(jié)構(gòu)以 后，根據(jù)每一個(gè)節(jié)點(diǎn)可能帶來(lái)的誤差，選擇一條切割線，使用這條切 割線上的節(jié)點(diǎn)去近似后面的運(yùn)算過(guò)程。繼續(xù)如圖3所示，給出了分割 線的兩種形式，最短分割線上的點(diǎn)可包括C2、 Q兩個(gè)類(lèi)；或C3誤差 超出允許范圍內(nèi)時(shí)，以其子節(jié)點(diǎn)P3、 P4替代。
步驟S4中，利用上面構(gòu)建好的樹(shù)結(jié)構(gòu)中分割線上的節(jié)點(diǎn)來(lái)近似 求解傳播解優(yōu)化方程，將初始編輯傳播到分割線上的節(jié)點(diǎn)，以獲得最 終編輯后的超大圖片或視頻。本發(fā)明使用迭代法求解優(yōu)化方程。該優(yōu)
化方程如下
"Z)-'Z(e +》g)
其中，矩陣Z表示圖片或視頻中像素兩兩之間距離；矩陣『為
對(duì)角陣，其對(duì)角元素表示用戶初始編輯的像素的權(quán)重；矩陣"為也 是一個(gè)對(duì)角陣，對(duì)角陣中對(duì)角元素為"-(i/(2;i)z『+z)v， g為向量,
其每個(gè)元素表示圖片或視頻中每個(gè)像素的編輯內(nèi)容；義為與用戶輸入 的初始編輯有關(guān)的常數(shù)，計(jì)算公式為義-S^/"。
在迭代過(guò)程中，需要用到很多矩陣乘^，本發(fā)明利用分層的樹(shù)結(jié) 構(gòu)的特性，近似矩陣與向量的乘法和矩陣與常量的乘法，同時(shí)保證了 近似過(guò)程中的誤差不會(huì)累積和擴(kuò)大，通過(guò)這種分層樹(shù)結(jié)構(gòu)的近似，大 大提高了運(yùn)算時(shí)間、減少了空間消耗。最終，經(jīng)過(guò)數(shù)次迭代以后，得 到精度較高的傳播結(jié)果。
以上實(shí)施方式僅用于說(shuō)明本發(fā)明，而并非對(duì)本發(fā)明的限制，有關(guān) 技術(shù)領(lǐng)域的普通技術(shù)人員，在不脫離本發(fā)明的精神和范圍的情況下， 還可以做出各種變化和變型，因此所有等同的技術(shù)方案也屬于本發(fā)明 的范疇，本發(fā)明的專(zhuān)利保護(hù)范圍應(yīng)由權(quán)利要求限定。
權(quán)利要求
1、一種超大圖片或視頻編輯方法，該方法包括步驟S1.選擇超大圖片或視頻中的初始編輯區(qū)域，根據(jù)給定的編輯參數(shù)進(jìn)行初始編輯；S2.根據(jù)所述超大圖片或視頻的內(nèi)部結(jié)構(gòu)以及像素之間的關(guān)系，構(gòu)建分層的樹(shù)結(jié)構(gòu)；S3.根據(jù)所述樹(shù)結(jié)構(gòu)的中間節(jié)點(diǎn)的誤差范圍，選擇誤差允許范圍內(nèi)的最短分割線；S4.利用所述分割線上的節(jié)點(diǎn)，近似求解優(yōu)化方程，傳播所述初始編輯，獲得最終編輯后的圖片或視頻。
2、 如權(quán)利要求l所述的超大圖片或視頻編輯方法，其特征在于， 步驟S1中所述初始編輯區(qū)域?yàn)閳D片中的一部分，或視頻中任一關(guān)鍵幀中的一塊。
3、 如權(quán)利要求l所述的超大圖片或視頻編輯方法，其特征在于， 步驟S2進(jìn)一步包括S2.1將所述超大圖片或視頻的所有像素置于一個(gè)類(lèi)中；S2.2選擇跨度最大的維度，將所述類(lèi)中的所有像素分為兩個(gè)子類(lèi)；S2.3若所述子類(lèi)中只有一個(gè)像素或其內(nèi)部誤差小于設(shè)定閾值， 則獲得最終構(gòu)建的樹(shù)結(jié)構(gòu)，否則繼續(xù)執(zhí)行步驟S2.2。
4、 如權(quán)利要求l所述的超大圖片或視頻編輯方法，其特征在于， 所述優(yōu)化方程為其中，矩陣Z表示像素兩兩之間距離，矩陣『為對(duì)角陣，其對(duì)角元素表示所述初始編輯的像素的權(quán)重，矩陣"為對(duì)角陣，其對(duì)角 元素為"-(l/(2義)Z『+ Z)l"， g為向量，其每個(gè)元素表示像素的編輯內(nèi)容，義為與所述初始編輯有關(guān)的常數(shù)，計(jì)算公式為義=2>,/"。
5、 一種超大圖片或視頻編輯系統(tǒng)，該系統(tǒng)包括初始模塊，用于選擇超大圖片或視頻中的初始編輯區(qū)域，根據(jù)給定的編輯參數(shù)進(jìn)行初始編輯；樹(shù)結(jié)構(gòu)構(gòu)建模塊，用于根據(jù)所述超大圖片或視頻的內(nèi)部結(jié)構(gòu)以及 像素之間的關(guān)系，構(gòu)建分層的樹(shù)結(jié)構(gòu)；分割線構(gòu)建模塊，用于根據(jù)所述樹(shù)結(jié)構(gòu)的中間節(jié)點(diǎn)的誤差范圍， 選擇誤差允許范圍內(nèi)的最短分割線；傳播模塊，用于利用所述分割線上的節(jié)點(diǎn)，近似求解優(yōu)化方程， 傳播所述初始編輯，獲得最終編輯后的圖片或視頻。
全文摘要
本發(fā)明涉及一種超大圖片或視頻編輯方法及系統(tǒng)，該方法包括步驟選擇超大圖片或視頻中的初始編輯區(qū)域，根據(jù)給定的編輯參數(shù)進(jìn)行初始編輯；根據(jù)所述超大圖片或視頻的內(nèi)部結(jié)構(gòu)以及像素之間的關(guān)系，構(gòu)建分層的樹(shù)結(jié)構(gòu)；根據(jù)所述樹(shù)結(jié)構(gòu)的中間節(jié)點(diǎn)的誤差范圍，選擇誤差允許范圍內(nèi)的最短分割線；利用所述分割線上的節(jié)點(diǎn)，近似求解優(yōu)化方程，傳播所述初始編輯，獲得最終編輯后的圖片或視頻。本發(fā)明方法及系統(tǒng)基于分層樹(shù)結(jié)構(gòu)快速傳播編輯，大大提高了運(yùn)算時(shí)間、減少了空間消耗，傳播結(jié)果精度較高。
文檔編號(hào)H04N5/262GK101662594SQ20091009263
公開(kāi)日2010年3月3日 申請(qǐng)日期2009年9月16日 優(yōu)先權(quán)日2009年9月16日
發(fā)明者昆 徐, 勇 李, 胡事民 申請(qǐng)人:清華大學(xué)