1.一種利用層分解對(duì)圖像和視頻進(jìn)行交互式顏色編輯的方法,其特征在于,主要包括層顏色(一);超像素分割(二);能量函數(shù)(三);計(jì)算單個(gè)像素權(quán)重(四);交互式顏色重建(五)。
2.基于權(quán)利要求書1所述的層顏色(一),其特征在于,由于人們?cè)谥亟M一個(gè)圖像的顏色時(shí)也許有不同的目標(biāo),使用者可指定一個(gè)調(diào)色板或者使用自動(dòng)調(diào)色板,自動(dòng)調(diào)色板可提供一個(gè)有用的起始點(diǎn),且能使顏色自動(dòng)重組,為給可能的顏色空間提供直觀的掌控,本方法模型可匹配人們從圖像中提取的色板,基于顏色重建平均誤差,為此模型添加一個(gè)懲罰項(xiàng),此處,像素誤差由測(cè)量像素顏色和調(diào)色板凸包之間的距離而得。
3.基于權(quán)利要求書1所述的超像素分割(二),其特征在于,利用鄰近像素之間的高相關(guān)性,通過(guò)更小數(shù)量的超像素(超體素)求出層權(quán)重,然后用鄰近超像素的一個(gè)線性組合計(jì)算出每個(gè)像素的層解決方案,為計(jì)算超像素,伴隨迭代k-均值重新定義中心,通過(guò)手動(dòng)指定超像素S的數(shù)量,且初始化每個(gè)超像素S到一個(gè)隨機(jī)種子位置,此時(shí)超像素由種子區(qū)域生長(zhǎng)算法(SRG)算出,且它們的重心和顏色被用作下一次SRG迭代的種子,做5次K-means迭代,關(guān)于超像素,我們通過(guò)6-連接來(lái)定義鄰近像素:4個(gè)空間相鄰像素和2個(gè)時(shí)間相鄰像素,從每個(gè)超像素里,計(jì)算出了一個(gè)6維特征向量(r,g,b,x,y,t),此向量是通過(guò)連接平均像素顏色和超像素的時(shí)空重心形成的,顏色、空間和時(shí)間坐標(biāo)歸一化在0和1之間,且通過(guò)重要性重新計(jì)算權(quán)重。
4.基于權(quán)利要求書1所述的能量函數(shù)(三),其特征在于,計(jì)算一系列的單個(gè)像素層的貢獻(xiàn)Lj∈L,此處,Lj是一個(gè)S×1列向量,此向量將層j的貢獻(xiàn)傳遞給每個(gè)超像素,且L是(SN)×1列向量,此向量通過(guò)連接所有的Lj形成,為了量化定義一個(gè)好的層的構(gòu)成,在超像素層貢獻(xiàn)L方面,最小化了一個(gè)能量函數(shù)Θ(L),Θ(L)是4個(gè)項(xiàng)的權(quán)重總和:
Θ(L)=λmM(L)+λrR(L)+λuU(L)+λeE(L) (1)
這4個(gè)項(xiàng)分別是流型一致性M(L)、圖像重建R(L)、一致性U(L)以及顯式約束E(L),Θ(L)是L的一個(gè)二次函數(shù),其可以通過(guò)求一個(gè)線性系統(tǒng):
從而得到最小化Θ(L)。
5.基于權(quán)利要求書4所述的流型一致性,其特征在于,層貢獻(xiàn)應(yīng)該是局部一致的,因?yàn)橄噜徢蚁嗨频某袼貞?yīng)該有相似的層分解,此流型由局部線性嵌入決定,將每個(gè)超像素si的顏色說(shuō)成是它的Ks系鄰近超像素的顏色的線性組合:
求出權(quán)重wij且用一個(gè)S×S超像素流型矩陣W表示,流型一致性術(shù)語(yǔ)就是:
此處In是n×n恒等矩陣,M是一個(gè)塊對(duì)角矩陣:
此矩陣總尺寸為SN×SN。
6.基于權(quán)利要求書4所述的圖像重建,其特征在于,當(dāng)層和其顏色相乘并求和時(shí),色層應(yīng)重新創(chuàng)建原圖像,利用圖像重建誤差的平方:
此處,Bd是通道d超像素顏色的S×1向量,cdj是j層顏色的通道d,R是整體尺寸為3S×(SN)的塊矩陣:
且B是所有Bd的連接。
7.基于權(quán)利要求書4所述的一致性,其特征在于,把每個(gè)超像素的層貢獻(xiàn)歸結(jié)為一,來(lái)幫助總貢獻(xiàn)規(guī)范化,這個(gè)總貢獻(xiàn)能影響一個(gè)單一超像素,形式為:
此處,是列向量當(dāng)中的一個(gè)S×1列向量,U是一個(gè)S×(SN)標(biāo)識(shí)矩陣,此矩陣的行和超像素對(duì)應(yīng),
同時(shí),在每個(gè)列索引里的超像素和那個(gè)像素的層貢獻(xiàn)對(duì)應(yīng)如上。
8.基于權(quán)利要求書4所述的顯示約束,其特征在于,某些情況下,來(lái)自使用者的、表明所提供的層應(yīng)該貢獻(xiàn)于一個(gè)所提供的圖像區(qū)域的一些提示,可以幫助創(chuàng)造一個(gè)更好的層,例如,這些提示能把相似地建色但是語(yǔ)義上不同的區(qū)域分開(kāi),在設(shè)定C使用者約束的情況下,在層貢獻(xiàn)偏離使用者約束時(shí)懲罰層貢獻(xiàn):
E(L)=‖EL-T‖2 (10)
此處,E是一個(gè)C×(SN)指示矩陣,此矩陣將用戶設(shè)定的超像素層貢獻(xiàn)從L里選出,T是一個(gè)長(zhǎng)度C向量,包含用戶設(shè)定的目標(biāo)值,當(dāng)用戶沒(méi)有設(shè)定層貢獻(xiàn)約束時(shí),算法會(huì)自動(dòng)地用非常相似的顏色為每個(gè)層把約束加到像素里,這樣能在許多的圖像里達(dá)成層之間更好的分離,對(duì)于有獨(dú)立區(qū)域、有著相似顏色的、更復(fù)雜的圖像,由用戶設(shè)定的約束就需要更好的分離這些區(qū)域。
9.基于權(quán)利要求書1所述的計(jì)算單個(gè)像素權(quán)重(四),其特征在于,使用局部線性嵌入的概念,從單個(gè)超像素層貢獻(xiàn)L推出單個(gè)像素層貢獻(xiàn)X,通過(guò)為每個(gè)像素計(jì)算一系列Kp型最近相鄰超像素開(kāi)始,一個(gè)像素和一個(gè)超像素之間的距離就通過(guò)利用6維超像素特征向量和每個(gè)像素的對(duì)應(yīng)值之間的距離算出,下一步,將每個(gè)像素的顏色說(shuō)成它的Kp系相鄰超像素的顏色的線性組合,確切地,對(duì)于像素pi,
通過(guò)最小化對(duì)象至約束:來(lái)計(jì)算權(quán)重qij,用一個(gè)P×S matrix Q,代表所有的qij的這個(gè)系列,最后,通過(guò)簡(jiǎn)單的矩陣乘法:
Xj=QLj (12)
對(duì)于層貢獻(xiàn),由于迭代負(fù)抑制會(huì)正確地重建圖像且會(huì)產(chǎn)生另外一個(gè)類似分層,且對(duì)于4000超像素,無(wú)約束線性解決方案只需花費(fèi)幾秒,故利用迭代負(fù)抑制的4個(gè)迭代來(lái)綁定層貢獻(xiàn)的大小。
10.基于權(quán)利要求書1所述的交互式顏色重建(四),其特征在于,輸入圖像或視頻,通過(guò)上述層分解算法,利用新的調(diào)色板來(lái)顏色重建一個(gè)圖像或視頻幀,并對(duì)調(diào)色板變化進(jìn)行實(shí)時(shí)反饋,幫助用戶在編輯圖像和視頻時(shí)產(chǎn)生更直觀的視覺(jué)效果,從而實(shí)現(xiàn)交互式顏色重建。