本發(fā)明涉及圖像編輯領(lǐng)域，尤其是涉及了一種利用層分解對圖像和視頻進(jìn)行交互式顏色編輯的方法。

背景技術(shù)：

圖像編輯常用于平面設(shè)計和攝影等領(lǐng)域，對圖像進(jìn)行校色調(diào)色、紋理修復(fù)等操作編輯圖像獲得所需的視覺效果。例如在數(shù)字圖像編輯軟件中，可以方便快捷地對圖像色彩進(jìn)行明暗、冷暖色調(diào)的調(diào)整，同時，在處理圖像時，可以逼真地模擬部分紋理細(xì)節(jié)獲得更真實的圖像。雖然現(xiàn)有方法以及可允許用戶交互式顏色重建的同時，保持平穩(wěn)的顏色混合，但是如何更容易地執(zhí)行圖像編輯以及交互修改最終的顏色重建結(jié)果仍是一個具有挑戰(zhàn)性的問題。

本發(fā)明提出了一種利用層分解對圖像和視頻進(jìn)行交互式顏色編輯的方法，一種將圖像或視屏分解成色層線性組合的算法，以方便顏色編輯應(yīng)用。首先提取一個輸入圖像或視頻，通過層分解算法，包括計算輸入像素的層顏色，計算圖像的超像素分割，再通過求解一個線性系統(tǒng)求出每個超像素層的層權(quán)重，最后通過線性組合一系列單個超像素的權(quán)重，從而計算出每個層的單個像素權(quán)重，再利用新的調(diào)色板來顏色重建一個圖像或視頻幀，并對調(diào)色板變化進(jìn)行實時反饋，從而實現(xiàn)交互式顏色重建。本發(fā)明縮減了色層提取的過程，減少線性求解當(dāng)中變量的數(shù)目，可以更好地保持顏色混合效果的層，取得了在顏色重建的質(zhì)量和時間復(fù)雜性方面的整體效果，使得圖像和視頻的交互式編輯更加方便。

技術(shù)實現(xiàn)要素：

針對難以交互式編輯圖像和視頻的問題，本發(fā)明的目的在于提供一種利用層分解對圖像和視頻進(jìn)行交互式顏色編輯的方法，通過縮減色層提取的過程，減少線性求解當(dāng)中變量的數(shù)目，更好地保持了顏色混合效果的層，取得了在顏色重建的質(zhì)量和時間復(fù)雜性方面的整體效果，使得圖像和視頻的交互式編輯更加方便。

為解決上述問題，本發(fā)明提供一種利用層分解對圖像和視頻進(jìn)行交互式顏色編輯的方法，其主要內(nèi)容包括：

(一)層顏色；

(二)超像素分割；

(三)能量函數(shù)；

(四)計算單個像素權(quán)重；

(五)交互式顏色重建。

其中，所述的層顏色，由于人們在重組一個圖像的顏色時也許有不同的目標(biāo)，使用者可指定一個調(diào)色板或者使用自動調(diào)色板，自動調(diào)色板可提供一個有用的起始點，且能使顏色自動重組，為給可能的顏色空間提供直觀的掌控，本方法模型可匹配人們從圖像中提取的色板，基于顏色重建平均誤差，為此模型添加一個懲罰項，此處，像素誤差由測量像素顏色和調(diào)色板凸包之間的距離而得。

其中，所述的超像素分割，利用鄰近像素之間的高相關(guān)性，通過更小數(shù)量的超像素(超體素)求出層權(quán)重，然后用鄰近超像素的一個線性組合計算出每個像素的層解決方案，為計算超像素，伴隨迭代k-均值重新定義中心，通過手動指定超像素S的數(shù)量，且初始化每個超像素S到一個隨機(jī)種子位置，此時超像素由種子區(qū)域生長算法(SRG)算出，且它們的重心和顏色被用作下一次SRG迭代的種子，做5次K-means迭代，關(guān)于超像素，我們通過6-連接來定義鄰近像素：4個空間相鄰像素和2個時間相鄰像素，從每個超像素里，計算出了一個6維特征向量(r，g，b，x，y，t)，此向量是通過連接平均像素顏色和超像素的時空重心形成的，顏色、空間和時間坐標(biāo)歸一化在0和1之間，且通過重要性重新計算權(quán)重。

其中，所述的能量函數(shù)，首先計算一系列的單個像素層的貢獻(xiàn)L_j∈L，此處，L_j是一個S×1列向量，此向量將層j的貢獻(xiàn)傳遞給每個超像素，且L是(SN)×1列向量，此向量通過連接所有的L_j形成，為了量化定義一個好的層的構(gòu)成，在超像素層貢獻(xiàn)L方面，最小化了一個能量函數(shù)Θ(L)，Θ(L)是4個項的權(quán)重總和：

Θ(L)＝λ_mM(L)+λ_rR(L)+λ_uU(L)+λ_eE(L) (1)

這4個項分別是流型一致性M(L)、圖像重建R(L)、一致性U(L)以及顯式約束E(L)，Θ(L)是L的一個二次函數(shù)，其可以通過求一個線性系統(tǒng)：

從而得到最小化Θ(L)。

進(jìn)一步地，所述的流型一致性，即層貢獻(xiàn)應(yīng)是局部一致的，因為相鄰且相似的超像素應(yīng)該有相似的層分解，此流型由局部線性嵌入決定，將每個超像素s_i的顏色說成是它的K_s系鄰近超像素的顏色的線性組合：

求出權(quán)重w_ij且用一個S×S超像素流型矩陣W表示，流型一致性術(shù)語就是：

此處I_n是n×n恒等矩陣，M是一個塊對角矩陣：

此矩陣總尺寸為SN×SN。

進(jìn)一步地，所述的圖像重建，當(dāng)層和其顏色相乘并求和時，色層應(yīng)重新創(chuàng)建原圖像，利用圖像重建誤差的平方：

此處，B_d是通道d超像素顏色的S×1向量，c_dj是j層顏色的通道d，R是整體尺寸為3S×(SN)的塊矩陣：

且B是所有B_d的連接。

進(jìn)一步地，所述的一致性，是把每個超像素的層貢獻(xiàn)歸結(jié)為一，來幫助總貢獻(xiàn)規(guī)范化，這個總貢獻(xiàn)能影響一個單一超像素，形式為：

此處，是列向量當(dāng)中的一個S×1列向量，U是一個S×(SN)標(biāo)識矩陣，此矩陣的行和超像素對應(yīng)，

同時，在每個列索引里的超像素和那個像素的層貢獻(xiàn)對應(yīng)如上。

進(jìn)一步地，所述的顯示約束，某些情況下，來自使用者的、表明所提供的層應(yīng)該貢獻(xiàn)于一個所提供的圖像區(qū)域的一些提示，可以幫助創(chuàng)造一個更好的層，例如，這些提示能把相似地建色但是語義上不同的區(qū)域分開，在設(shè)定C使用者約束的情況下，在層貢獻(xiàn)偏離使用者約 束時懲罰層貢獻(xiàn)：

E(L)＝‖EL-T‖² (10)

此處，E是一個C×(SN)指示矩陣，此矩陣將用戶設(shè)定的超像素層貢獻(xiàn)從L里選出，T是一個長度C向量，包含用戶設(shè)定的目標(biāo)值，當(dāng)用戶沒有設(shè)定層貢獻(xiàn)約束時，算法會自動地用非常相似的顏色為每個層把約束加到像素里，這樣能在許多的圖像里達(dá)成層之間更好的分離，對于有獨立區(qū)域、有著相似顏色的、更復(fù)雜的圖像，由用戶設(shè)定的約束就需要更好的分離這些區(qū)域。

其中，所述的計算單個像素權(quán)重，使用局部線性嵌入的概念，從單個超像素層貢獻(xiàn)L推出單個像素層貢獻(xiàn)X，通過為每個像素計算一系列K_p型最近相鄰超像素開始，一個像素和一個超像素之間的距離就通過利用6維超像素特征向量和每個像素的對應(yīng)值之間的距離算出，下一步，將每個像素的顏色說成它的K_p系相鄰超像素的顏色的線性組合，確切地，對于像素p_i，

通過最小化對象至約束：來計算權(quán)重q_ij，用一個P×S matrix Q，代表所有的q_ij的這個系列，最后，通過簡單的矩陣乘法：

X_j＝QL_j (12)

對于層貢獻(xiàn)，由于迭代負(fù)抑制會正確地重建圖像且會產(chǎn)生另外一個類似分層，且對于4000超像素，無約束線性解決方案只需花費幾秒，故利用迭代負(fù)抑制的4個迭代來綁定層貢獻(xiàn)的大小。

其中，所述的交互式顏色重建，首先輸入圖像或視頻，通過上述層分解算法，利用新的調(diào)色板來顏色重建一個圖像或視頻幀，并對調(diào)色板變化進(jìn)行實時反饋，幫助用戶在編輯圖像和視頻時產(chǎn)生更直觀的視覺效果，從而實現(xiàn)交互式顏色重建。

附圖說明

圖1是本發(fā)明一種利用層分解對圖像和視頻進(jìn)行交互式顏色編輯的方法的系統(tǒng)流程圖。

圖2是本發(fā)明一種利用層分解對圖像和視頻進(jìn)行交互式顏色編輯的方法的層分解算法概述圖。

圖3是本發(fā)明一種利用層分解對圖像和視頻進(jìn)行交互式顏色編輯的方法的交互式顏色重建過程圖。

圖4是本發(fā)明一種利用層分解對圖像和視頻進(jìn)行交互式顏色編輯的方法的編輯流程圖。

具體實施方式

需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互結(jié)合，下面結(jié)合附圖和具體實施例對本發(fā)明作進(jìn)一步詳細(xì)說明。

圖1是本發(fā)明一種利用層分解對圖像和視頻進(jìn)行交互式顏色編輯的方法的系統(tǒng)流程圖。主要包括層顏色、超像素分割、能量函數(shù)、計算單個像素權(quán)重、交互式顏色重建。

其中，所述的層顏色，由于人們在重組一個圖像的顏色時也許有不同的目標(biāo)，使用者可指定一個調(diào)色板或者使用自動調(diào)色板，自動調(diào)色板可提供一個有用的起始點，且能使顏色自動重組，為給可能的顏色空間提供直觀的掌控，本方法模型可匹配人們從圖像中提取的色板，基于顏色重建平均誤差，為此模型添加一個懲罰項，此處，像素誤差由測量像素顏色和調(diào)色板凸包之間的距離而得。

其中，所述的超像素分割，利用鄰近像素之間的高相關(guān)性，通過更小數(shù)量的超像素(超體素)求出層權(quán)重，然后用鄰近超像素的一個線性組合計算出每個像素的層解決方案，為計算超像素，伴隨迭代k-均值重新定義中心，通過手動指定超像素S的數(shù)量，且初始化每個超像素S到一個隨機(jī)種子位置，此時超像素由種子區(qū)域生長算法(SRG)算出，且它們的重心和顏色被用作下一次SRG迭代的種子，做5次K-means迭代，關(guān)于超像素，我們通過6-連接來定義鄰近像素：4個空間相鄰像素和2個時間相鄰像素，從每個超像素里，計算出了一個6維特征向量(r，g，b，x，y，t)，此向量是通過連接平均像素顏色和超像素的時空重心形成的，顏色、空間和時間坐標(biāo)歸一化在0和1之間，且通過重要性重新計算權(quán)重。

其中，所述的能量函數(shù)，首先計算一系列的單個像素層的貢獻(xiàn)L_j∈L，此處，L_j是一個S×1列向量，此向量將層j的貢獻(xiàn)傳遞給每個超像素，且L是(SN)×1列向量，此向量通過連接所有的L_j形成，為了量化定義一個好的層的構(gòu)成，在超像素層貢獻(xiàn)L方面，最小化了一個能量函數(shù)Θ(L)，Θ(L)是4個項的權(quán)重總和：

Θ(L)＝λ_mM(L)+λ_rR(L)+λ_uU(L)+λ_eE(L) (1)

Θ(L)是L的一個二次函數(shù)，其可以通過求一個線性系統(tǒng)被最小化：

上述4個項分別是流型一致性M(L)、圖像重建R(L)、一致性U(L)以及顯式約束E(L)：

(1)流型一致性，即層貢獻(xiàn)應(yīng)是局部一致的，因為相鄰且相似的超像素應(yīng)該有相似的層分解，此流型由局部線性嵌入決定，將每個超像素s_i的顏色說成是它的K_s系鄰近超像素的顏色的線性組合：

求出權(quán)重w_ij且用一個S×S超像素流型矩陣W表示，流型一致性術(shù)語就是：

此處I_n是n×n恒等矩陣，M是一個塊對角矩陣：

此矩陣總尺寸為SN×SN。

(2)圖像重建，當(dāng)層和其顏色相乘并求和時，色層應(yīng)重新創(chuàng)建原圖像，利用圖像重建誤差的平方：

此處，B_d是通道d超像素顏色的S×1向量，c_dj是j層顏色的通道d，R是整體尺寸為3S×(SN)的塊矩陣：

且B是所有B_d的連接。

(3)一致性，是把每個超像素的層貢獻(xiàn)歸結(jié)為一，來幫助總貢獻(xiàn)規(guī)范化，這個總貢獻(xiàn)能影響一個單一超像素，形式為：

此處，是列向量當(dāng)中的一個S×1列向量，U是一個S×(SN)標(biāo)識矩陣，此矩陣的行和 超像素對應(yīng)，

同時，在每個列索引里的超像素和那個像素的層貢獻(xiàn)對應(yīng)如上。

(4)顯示約束，某些情況下，來自使用者的、表明所提供的層應(yīng)該貢獻(xiàn)于一個所提供的圖像區(qū)域的一些提示，可以幫助創(chuàng)造一個更好的層，例如，這些提示能把相似地建色但是語義上不同的區(qū)域分開，在設(shè)定C使用者約束的情況下，在層貢獻(xiàn)偏離使用者約束時懲罰層貢獻(xiàn)：

E(L)＝‖EL-T‖² (10)

此處，E是一個C×(SN)指示矩陣，此矩陣將用戶設(shè)定的超像素層貢獻(xiàn)從L里選出，T是一個長度C向量，包含用戶設(shè)定的目標(biāo)值，當(dāng)用戶沒有設(shè)定層貢獻(xiàn)約束時，算法會自動地用非常相似的顏色為每個層把約束加到像素里，這樣能在許多的圖像里達(dá)成層之間更好的分離，對于有獨立區(qū)域、有著相似顏色的、更復(fù)雜的圖像，由用戶設(shè)定的約束就需要更好的分離這些區(qū)域。

其中，所述的計算單個像素權(quán)重，使用局部線性嵌入的概念，從單個超像素層貢獻(xiàn)L推出單個像素層貢獻(xiàn)X，通過為每個像素計算一系列K_p型最近相鄰超像素開始，一個像素和一個超像素之間的距離就通過利用6維超像素特征向量和每個像素的對應(yīng)值之間的距離算出，下一步，將每個像素的顏色說成它的K_p系相鄰超像素的顏色的線性組合，確切地，對于像素p_i，

通過最小化對象至約束：來計算權(quán)重q_ij，用一個P×S matrix Q，代表所有的q_ij的這個系列，最后，通過簡單的矩陣乘法：

X_j＝QL_j (12)

對于層貢獻(xiàn)，由于迭代負(fù)抑制會正確地重建圖像且會產(chǎn)生另外一個類似分層，且對于4000超像素，無約束線性解決方案只需花費幾秒，故利用迭代負(fù)抑制的4個迭代來綁定層貢獻(xiàn)的大小。

其中，所述的交互式顏色重建，首先輸入圖像或視頻，通過上述層分解算法，利用新的調(diào)色板來顏色重建一個圖像或視頻幀，并對調(diào)色板變化進(jìn)行實時反饋，幫助用戶在編輯圖像和視頻時產(chǎn)生更直觀的視覺效果，從而實現(xiàn)交互式顏色重建。

圖2是本發(fā)明一種利用層分解對圖像和視頻進(jìn)行交互式顏色編輯的方法的層分解算法概述圖。(a)輸入圖像和提取的調(diào)色板；(b)使用250超像素的超像素分割；(c)每個超像素的紅色層權(quán)重，用公式(2)算出；(d)通過公式12，利用上一步所得結(jié)果，計算紅色層的單個像素權(quán)重。

圖3是本發(fā)明一種利用層分解對圖像和視頻進(jìn)行交互式顏色編輯的方法的交互式顏色重建過程圖。層分解利用輸入圖像自動地分解出一系列的色層，通過線性組合這些色層重建了原圖像。其分解方式為，通過為色層選擇一系列新的顏色，直接交互式地為圖像顏色重建。右邊是原輸入圖像的兩種顏色重建效果。每個輸入圖像的層顏色展示在其右上方。層權(quán)重范圍從0(黑)到1(白)變化。

圖4是本發(fā)明一種利用層分解對圖像和視頻進(jìn)行交互式顏色編輯的方法的編輯流程圖。輸入圖像或視頻，計算來自輸入像素的層顏色，計算其超像素分割，為每一個像素求出層權(quán)重，對于每個層，通過線性地組合這一系列單個超像素的權(quán)重，計算出單個像素權(quán)重，利用新的調(diào)色板來顏色重建一個圖像或視頻幀，并對調(diào)色板變化進(jìn)行實時反饋，幫助用戶在編輯圖像和視頻時產(chǎn)生更直觀的視覺效果，從而實現(xiàn)交互式顏色重建。

對于本領(lǐng)域技術(shù)人員，本發(fā)明不限制于上述實施例的細(xì)節(jié)，在不背離本發(fā)明的精神和范圍的情況下，能夠以其他具體形式實現(xiàn)本發(fā)明。此外，本領(lǐng)域的技術(shù)人員可以對本發(fā)明進(jìn)行各種改動和變型而不脫離本發(fā)明的精神和范圍，這些改進(jìn)和變型也應(yīng)視為本發(fā)明的保護(hù)范圍。因此，所附權(quán)利要求意欲解釋為包括優(yōu)選實施例以及落入本發(fā)明范圍的所有變更和修改。