本技術(shù)涉及計算機(jī)領(lǐng)域,尤其涉及一種基于色適應(yīng)的圖像處理方法、電子設(shè)備及相關(guān)介質(zhì)。
背景技術(shù):
1、隨著電子設(shè)備攝像功能的豐富,用戶使用電子設(shè)備進(jìn)行拍攝的場景也變得多樣化起來,這也導(dǎo)致用戶越來越重視電子設(shè)備的攝像效果。電子設(shè)備的攝像效果一部分與攝像頭的型號有關(guān),另一部分與電子設(shè)備的圖像處理能力有關(guān)。為了給用戶提供更加接近人眼觀察效果的圖像,現(xiàn)有技術(shù)可以基于環(huán)境色溫值與屏幕色溫值之間的差異對圖像進(jìn)行色適應(yīng)處理,但是這種色適應(yīng)處理方法無法適用于混合光源場景下獲取的圖像。由于混合光源場景的光源條件比較復(fù)雜,如果僅憑環(huán)境色溫值與屏幕色溫值之間的差異對圖像進(jìn)行色適應(yīng)處理,容易導(dǎo)致圖像中部分物體的顏色不準(zhǔn)(比如高低色溫混合光源場景部分物體偏藍(lán)),從而降低用戶的拍攝體驗。因此,如何提升圖像色適應(yīng)效果,是本領(lǐng)域技術(shù)人員亟需解決的問題。
技術(shù)實現(xiàn)思路
1、第一方面,本技術(shù)提供了一種基于色適應(yīng)的圖像處理方法、電子設(shè)備及相關(guān)介質(zhì),該方法可以包括:
2、響應(yīng)于用戶的拍攝指令,獲取raw圖像;
3、對raw圖像進(jìn)行白平衡處理,生成raw圖像對應(yīng)的第一處理圖像;
4、將第一處理圖像切割成i個圖像塊,i≥2,i為正整數(shù);
5、以多進(jìn)程的形式,同時對i個圖像塊中的各個圖像塊進(jìn)行色適應(yīng)處理,生成各個圖像塊對應(yīng)的第二處理圖像;
6、將各個圖像塊對應(yīng)的第二處理圖像拼接生成目標(biāo)圖像。
7、實施第一方面提供的方法,電子設(shè)備可以響應(yīng)于用戶的拍攝指令獲取raw圖像,并對raw圖像進(jìn)行白平衡處理,從而生成第一處理圖像,有助于均衡圖像的色溫和亮度等,防止呈現(xiàn)給用戶的圖像存在局部過曝或者局部偏色(如偏藍(lán)、偏黃)嚴(yán)重的情況,有助于保證用戶的拍攝體驗。進(jìn)一步地,電子設(shè)備還可以將第一處理圖像切割成多個圖像塊,并以多進(jìn)程的形式對各個圖像塊并行進(jìn)行色適應(yīng)處理得到多個第二處理圖像,可以看出電子設(shè)備能夠基于第一處理圖像各部分(或各像素)對應(yīng)的受光情況來采取對應(yīng)的色適應(yīng)處理,有助于提升圖像色適應(yīng)處理的效果,從而能夠為用戶提供畫面顏色更好的圖像,使得用戶擁有更好的拍攝體驗。而現(xiàn)有技術(shù)并沒有考慮到拍攝場景的光源分布情況,也沒有考慮到圖像中各物體的受光復(fù)雜性,僅僅基于環(huán)境色溫值與屏幕色溫值之間的差異對圖像進(jìn)行色適應(yīng)處理,這容易導(dǎo)致色適應(yīng)處理后的圖像出現(xiàn)物體顏色不準(zhǔn)的問題,無法為用戶提供良好的拍攝體驗。與現(xiàn)有技術(shù)不同的是,本技術(shù)方法充分地考慮到了圖像中各物體的受光情況,能夠?qū)Φ谝惶幚韴D像的各個圖像塊分別進(jìn)行色適應(yīng)處理,有助于保證各個圖像塊的色適應(yīng)效果,從而保證了圖像中各物體的成像效果。而且本技術(shù)實施例方法可以采用多進(jìn)程的形式,同時對各個圖像塊進(jìn)行色適應(yīng)處理,有助于在提高圖像色適應(yīng)處理效果的同時,保證色適應(yīng)處理的速率,從而進(jìn)一步提高用戶的拍攝體驗。
8、實施第一方面提供的方法,在一些實施例中,對i個圖像塊中的各個圖像塊進(jìn)行色適應(yīng)處理,生成各個圖像塊對應(yīng)的第二處理圖像,可以包括:
9、基于各個圖像塊所包含的像素點的色彩信息,確定各個圖像塊對應(yīng)的色適應(yīng)增益矩陣,色彩信息可以包括色溫值、亮度系數(shù)以及色度值;
10、基于各個像素塊對應(yīng)的色適應(yīng)增益矩陣,生成各個圖像塊對應(yīng)的第二處理圖像。
11、實施上述實施例提供的方法,電子設(shè)備可以基于各個圖像塊所包含像素點的色彩信息確定色適應(yīng)增益矩陣,從而可以基于各個圖像塊和其對應(yīng)的色適應(yīng)矩陣生成各個圖像塊對應(yīng)的第二處理圖像,達(dá)到對各個圖像塊進(jìn)行色適應(yīng)處理的目的。其中,像素點的色彩信息可以包括該像素點的色溫值、該像素點的亮度系數(shù)以及該像素點的色度值。
12、實施第一方面提供的方法,在一些實施例中,對raw圖像進(jìn)行白平衡處理,生成raw圖像對應(yīng)的第一處理圖像,可以包括:
13、將raw圖像輸入至局部白平衡模型,輸出第一處理圖像。
14、實施上述實施例提供的方法,本技術(shù)可以采用局部白平衡模型對raw圖像進(jìn)行白平衡處理,達(dá)到均衡圖像的色溫和亮度等的目的,有助于防止呈現(xiàn)給用戶的圖像存在局部過曝或者局部偏色(如偏藍(lán)、偏黃)嚴(yán)重的情況,保證用戶的拍攝體驗。其中,局部白平衡模型為神經(jīng)網(wǎng)絡(luò)模型。
15、實施第一方面提供的方法,在一些實施例中,局部白平衡模型為以混合光源圖像為訓(xùn)練樣本,以混合光源圖像對應(yīng)的標(biāo)準(zhǔn)輸出圖像為標(biāo)簽進(jìn)行訓(xùn)練得到的模型;
16、混合光源圖像對應(yīng)的拍攝場景中存在n個光源,n≥2,n為正整數(shù);
17、混合光源圖像對應(yīng)的標(biāo)準(zhǔn)輸出圖像基于混合光源圖像和目標(biāo)色度值生成。
18、實施上述實施例提供的方法,本技術(shù)中的局部白平衡模型以混合光源圖像為訓(xùn)練樣本,有助于使得局部白平衡模型能夠覆蓋更多的圖像拍攝場景,保證對于在各種復(fù)雜光源場景中采集或拍攝的圖像都能有較好的色彩均衡能力,為后續(xù)色適應(yīng)處理奠定基礎(chǔ),從而保證用戶的拍攝體驗。進(jìn)一步地,本技術(shù)實施例方法可以基于混合光源和目標(biāo)色度值生成局部白平衡模型的訓(xùn)練標(biāo)簽,通過自制訓(xùn)練數(shù)據(jù)對,有助于保證局部白平衡模型的迭代效果,提高局部白平衡模型的色彩均衡能力。
19、實施第一方面提供的方法,在一些實施例中,目標(biāo)色度值基于n個標(biāo)定圖像中各個標(biāo)定圖像對應(yīng)的色度值和各個標(biāo)定圖像對應(yīng)的融合比例融合生成,n個標(biāo)定圖像與n個光源存在一一對應(yīng)的關(guān)系。
20、實施上述實施例提供的方法,本技術(shù)中的混合光源圖像對應(yīng)n個光源,也對應(yīng)n個標(biāo)定圖像,進(jìn)一步地,可以認(rèn)為n個標(biāo)定圖像和n個光源存在一一對應(yīng)的關(guān)系。本技術(shù)實施例方法可以基于n個標(biāo)定圖像中各個標(biāo)定圖像對應(yīng)的色度值和各個標(biāo)定圖像對應(yīng)的融合比例,確定目標(biāo)色度值。通過確定目標(biāo)色度值,有助于生成混合光源圖像合適的標(biāo)準(zhǔn)輸出圖,從而保證局部白平衡模型的訓(xùn)練效果。
21、實施第一方面提供的方法,在一些實施例中,n個標(biāo)定圖像中的任意一個標(biāo)定圖像由任意一個標(biāo)定圖像對應(yīng)的單光源圖像經(jīng)過預(yù)處理生成,預(yù)處理可以包括鏡頭陰影校正處理、圖像格式轉(zhuǎn)換以及白平衡標(biāo)定處理;
22、上述任意一個標(biāo)定圖像對應(yīng)的單光源圖像對應(yīng)的拍攝場景中存在與上述任意一個標(biāo)定圖像對應(yīng)的光源。
23、實施上述實施例提供的方法,本技術(shù)中的混合光源圖像對應(yīng)n個單光源圖像,n個單光源圖像與上述n個光源存在一一對應(yīng)的關(guān)系。單光源圖像在經(jīng)過鏡頭陰影校正處理、圖像格式轉(zhuǎn)換處理以及白平衡標(biāo)定處理后,即可生成對應(yīng)的標(biāo)定圖像。其中,鏡頭陰影校正處理可以校正鏡頭和圖像傳感器的光學(xué)特性導(dǎo)致的圖像亮度分布不均勻問題,使得校正后的圖像在整個視場中具有相同的亮度水平;圖像格式轉(zhuǎn)換主要是指將raw圖像轉(zhuǎn)換為三通道的png圖像,使得raw圖像中的兩個g通道值合并為一個g通道值,有助于后續(xù)計算目標(biāo)色度值;白平衡標(biāo)定處理是為了進(jìn)一步均衡圖像的色彩,減少圖像的偏色,使得圖像中各物體的色彩更貼合實際情況。通過上述預(yù)處理,有助于后續(xù)生成合適的標(biāo)準(zhǔn)輸出圖像,從而保證局部白平衡模型的訓(xùn)練效果。
24、實施第一方面提供的方法,在一些實施例中,標(biāo)定圖像為png圖像;
25、各個標(biāo)定圖像對應(yīng)的融合比例基于各個標(biāo)定圖像的g通道值生成。
26、實施上述實施例提供的方法,本技術(shù)中的標(biāo)定圖像為三通道png圖像,png圖像可以將raw圖像中的兩個g通道值合并為一個g通道值,有助于后續(xù)計算目標(biāo)色度值,從而達(dá)到制作混合光源圖像對應(yīng)的標(biāo)準(zhǔn)輸出圖像的目的,從而保證局部白平衡模型的訓(xùn)練效果。
27、第二方面,本技術(shù)實施例提供了一種電子設(shè)備,該電子設(shè)備可以包括:交互模塊、圖像采集模塊以及圖像處理模塊;
28、交互模塊,可以用于接收用戶的拍攝指令;
29、圖像采集模塊,可以用于響應(yīng)于用戶的拍攝指令,獲取raw圖像;
30、圖像處理模塊,可以用于對raw圖像進(jìn)行白平衡處理,生成raw圖像對應(yīng)的第一處理圖像;
31、圖像處理模塊,還可以用于將第一處理圖像切割成i個圖像塊,i≥2,i為正整數(shù);
32、圖像處理模塊,還可以用于以多進(jìn)程的形式同時對i個圖像塊中的各個圖像塊進(jìn)行色適應(yīng)處理,生成各個圖像塊對應(yīng)的第二處理圖像;
33、圖像處理模塊,還可以用于將各個圖像塊對應(yīng)的第二處理圖像拼接生成目標(biāo)圖像。
34、實施第二方面提供的方法,在一些實施例中,該電子設(shè)備還可以包括:
35、圖像處理模塊,還可以用于基于各個圖像塊所包含的像素點的色彩信息,確定各個圖像塊對應(yīng)的色適應(yīng)增益矩陣,色彩信息可以包括色溫值、亮度系數(shù)以及色度值;
36、圖像處理模塊,還可以用于基于各個像素塊對應(yīng)的色適應(yīng)增益矩陣,生成各個圖像塊對應(yīng)的第二處理圖像。
37、實施第二方面提供的方法,在一些實施例中,該電子設(shè)備還可以包括:
38、圖像處理模塊,還可以用于將raw圖像輸入至局部白平衡模型,輸出第一處理圖像。
39、實施第二方面提供的方法,在一些實施例中,局部白平衡模型為以混合光源圖像為訓(xùn)練樣本,以混合光源圖像對應(yīng)的標(biāo)準(zhǔn)輸出圖像為標(biāo)簽進(jìn)行訓(xùn)練得到的模型;
40、混合光源圖像對應(yīng)的拍攝場景中存在n個光源,n≥2,n為正整數(shù);
41、混合光源圖像對應(yīng)的標(biāo)準(zhǔn)輸出圖像基于混合光源圖像和目標(biāo)色度值生成。
42、實施第二方面提供的方法,在一些實施例中,目標(biāo)色度值基于n個標(biāo)定圖像中各個標(biāo)定圖像對應(yīng)的色度值和各個標(biāo)定圖像對應(yīng)的融合比例融合生成,n個標(biāo)定圖像與n個光源存在一一對應(yīng)的關(guān)系。
43、實施第二方面提供的方法,在一些實施例中,n個標(biāo)定圖像中的任意一個標(biāo)定圖像由任意一個標(biāo)定圖像對應(yīng)的單光源圖像經(jīng)過預(yù)處理生成,預(yù)處理可以包括鏡頭陰影校正處理、圖像格式轉(zhuǎn)換以及白平衡標(biāo)定處理;
44、上述任意一個標(biāo)定圖像對應(yīng)的單光源圖像對應(yīng)的拍攝場景中存在與上述任意一個標(biāo)定圖像對應(yīng)的光源。
45、實施第二方面提供的方法,在一些實施例中,標(biāo)定圖像為png圖像;
46、各個標(biāo)定圖像對應(yīng)的融合比例基于各個標(biāo)定圖像的g通道值生成。
47、第三方面,本技術(shù)實施例提供了一種電子設(shè)備,該電子設(shè)備包括一個或多個處理器和一個或多個存儲器;其中,一個或多個存儲器與一個或多個處理器耦合,一個或多個存儲器用于存儲計算機(jī)程序代碼,計算機(jī)程序代碼包括計算機(jī)指令,當(dāng)一個或多個處理器執(zhí)行計算機(jī)指令時,使得執(zhí)行如第一方面及第一方面中任一可能的實現(xiàn)方式描述的方法。
48、第四方面,本技術(shù)實施例提供一種芯片,包括邏輯電路和接口,上述邏輯電路和接口耦合;上述接口用于輸入和/或輸出代碼指令,上述邏輯電路用于執(zhí)行上述代碼指令,以使第一方面或第一方面的任意可能的實現(xiàn)方式中的方法被執(zhí)行。
49、第五方面,本技術(shù)提供了一種計算機(jī)可讀存儲介質(zhì),包括指令,當(dāng)指令在目標(biāo)終端上運行時,使得執(zhí)行如第一方面及第一方面中任一可能的實現(xiàn)方式描述的方法。
50、第六方面,本技術(shù)提供一種包含指令的計算機(jī)程序產(chǎn)品,當(dāng)上述計算機(jī)程序產(chǎn)品在電子設(shè)備上運行時,使得上述電子設(shè)備執(zhí)行如第一方面以及第一方面中任一可能的實現(xiàn)方式描述的方法。
51、可以理解地,上述第二方面和第三方面提供的電子設(shè)備、第四方面提供的芯片、第五方面提供的計算機(jī)可讀存儲介質(zhì)以及第六方面提供的計算機(jī)程序產(chǎn)品均與第一方面提供的一種基于色適應(yīng)的圖像處理方法相關(guān),可用于執(zhí)行本技術(shù)所提供的方法。因此,其所能達(dá)到的有益效果可參考對應(yīng)第一方面中一種基于色適應(yīng)的圖像處理方法的有益效果,此處不再贅述。