本技術(shù)涉及電子,尤其涉及一種圖像處理方法、芯片系統(tǒng)及電子設(shè)備。
背景技術(shù):
1、隨著電子設(shè)備的發(fā)展,通過電子設(shè)備進(jìn)行拍攝已成為人們最常使用的方式。由于對高分辨率圖像的需求不斷增長,對高質(zhì)量視覺體驗(yàn)的追求也越來越高。為了提高成像質(zhì)量,通常會對采集到的圖像進(jìn)行降噪處理,從而提升圖像清晰度。但是,在對圖像進(jìn)行降噪處理的過程中,可能會使得處理后的圖像上存在異常區(qū)域,該異常區(qū)域被稱為為鬼影,鬼影的存在會影響成像質(zhì)量,降低用戶體驗(yàn)。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)實(shí)施例提供的一種圖像處理方法、芯片系統(tǒng)及電子設(shè)備,在暗光環(huán)境下,若拍攝畫面處于抖動狀態(tài),可以使用單幀輸出的降噪方式,從而可以避免多幀疊加引入的鬼影,提高暗光預(yù)覽流的清晰度。
2、第一方面,本技術(shù)提供一種圖像處理方法,應(yīng)用于電子設(shè)備,所述電子設(shè)備包括攝像頭和陀螺儀傳感器,所述方法包括:
3、響應(yīng)于用戶操作啟動相機(jī)應(yīng)用,獲取所述攝像頭采集的第一幀圖像;
4、根據(jù)所述第一幀圖像的圖像增益和所述陀螺儀傳感器采集到的陀螺儀抖動量確定輸出所述第一幀圖像,其中,所述圖像增益用于表示為所述第一幀圖像增加的亮度;
5、在所述相機(jī)應(yīng)用的預(yù)覽界面中顯示所述第一幀圖像。
6、可以看出,圖像增益可以表示為攝像頭捕捉到的圖像所增加的亮度,陀螺儀抖動量可以表示抖動情況,因此,電子設(shè)備基于這兩個參數(shù)可以確定多幀能否對齊,如不能對齊則輸出單幀到后續(xù)模塊進(jìn)行降噪。相較于多幀融合的降噪方式可以避免鬼影的出現(xiàn),提高成像質(zhì)量。
7、在第一方面的一種可能的實(shí)施方式中,所述根據(jù)所述第一幀圖像的圖像增益和所述陀螺儀傳感器采集到的抖動量確定輸出所述第一幀圖像,包括:
8、基于亮度算法根據(jù)所述第一幀圖像的圖像增益確定拍攝環(huán)境為暗光環(huán)境時,獲取所述陀螺儀傳感器采集的陀螺儀抖動量;
9、基于抖動算法根據(jù)所述陀螺儀抖動量確定拍攝畫面處于抖動狀態(tài)時,確定輸出所述第一幀圖像。
10、可以看出,電子設(shè)備基于內(nèi)置的亮度算法可以確定拍攝環(huán)境為暗光環(huán)境,基于內(nèi)置的抖動算法可以確定拍攝畫面處于抖動狀態(tài)。因?yàn)楸炯夹g(shù)通過研究發(fā)現(xiàn),在暗光環(huán)境下,因?yàn)閳D像上的特征點(diǎn)數(shù)量不多,所以無法采用基于特征點(diǎn)的方式進(jìn)行對齊,從而會采用基于陀螺儀匹配的圖像疊加的對齊方式。因?yàn)榕臄z畫面在抖動,畫面內(nèi)容會發(fā)生差異,圖像融合的話會帶來鬼影。因此,本技術(shù)實(shí)施例在暗光環(huán)境下,若拍攝畫面發(fā)生抖動,可以直接輸出單幀到后續(xù)模塊,從而可以避免基于陀螺儀的圖像疊加所引入的鬼影。
11、在第一方面的一種可能的實(shí)施方式中,所述基于亮度算法根據(jù)所述第一幀圖像的圖像增益確定拍攝環(huán)境為暗光環(huán)境,包括:
12、基于所述亮度算法確定所述第一幀圖像的圖像增益大于或等于預(yù)設(shè)閾值時,確定所述拍攝環(huán)境為暗光環(huán)境。
13、其中,預(yù)設(shè)閾值為增益(gain)的閾值,攝像頭作為電子設(shè)備的“眼睛”,需要不斷調(diào)整參數(shù)以適應(yīng)不同的環(huán)境亮度,而增益可以反映環(huán)境亮度,從而可以更準(zhǔn)確地確定此時的拍攝環(huán)境。
14、在第一方面的一種可能的實(shí)施方式中,所述基于抖動算法根據(jù)所述陀螺儀抖動量確定拍攝畫面處于抖動狀態(tài),包括:
15、基于所述抖動算法確定所述陀螺儀抖動量大于或等于光學(xué)防抖ois值時,確定所述拍攝畫面處于抖動狀態(tài),其中,所述ois值用于表明所述電子設(shè)備可以補(bǔ)償?shù)囊蛘駝佣鴰淼囊莆涣俊?/p>
16、可以看出,光學(xué)防抖ois值表示為可以轉(zhuǎn)動的角度和/或可移動的距離,當(dāng)陀螺儀抖動量在超過該角度和/或距離時,光學(xué)防抖無法進(jìn)行補(bǔ)償,從而會導(dǎo)致拍攝畫面處于不穩(wěn)定的狀態(tài)?;趏is值,可以更準(zhǔn)確地確定拍攝畫面的穩(wěn)定狀態(tài)。
17、在第一方面的一種可能的實(shí)施方式中,所述方法還包括:
18、在基于所述亮度算法根據(jù)所述第一幀圖像的圖像增益確定所述拍攝環(huán)境為亮光環(huán)境時,或者,在基于所述抖動算法根據(jù)所述陀螺儀抖動量確定所述拍攝畫面處于靜止?fàn)顟B(tài)時,獲取第二幀圖像,所述第二幀圖像包括在所述第一幀圖像之前采集到的或者存儲在緩存中的圖像;
19、根據(jù)所述第一幀圖像和所述第二幀圖像確定第三幀圖像;
20、輸出所述第三幀圖像,在所述相機(jī)應(yīng)用的預(yù)覽界面中顯示所述第三幀圖像。
21、在一種實(shí)現(xiàn)中,基于亮度算法確定第一幀圖像的圖像增益小于預(yù)設(shè)閾值時,確定拍攝環(huán)境為亮光環(huán)境。其中,等于的情況也可以放在判斷的另一分支中,比如說,基于亮度算法確定第一幀圖像的圖像增益小于或等于預(yù)設(shè)閾值時,確定拍攝環(huán)境為亮光環(huán)境。
22、在一種實(shí)現(xiàn)中,基于所述抖動算法確定所述陀螺儀抖動量小于光學(xué)防抖ois值時,確定所述拍攝畫面處于靜止?fàn)顟B(tài)。其中,等于的情況也可以放在判斷的另一分支中,比如說,基于所述抖動算法確定所述陀螺儀抖動量小于或等于光學(xué)防抖ois值時,確定所述拍攝畫面處于靜止?fàn)顟B(tài)。
23、可以看出,在亮光環(huán)境下,圖像上的特征點(diǎn)較多,基于特征點(diǎn)的對齊方式可以在后續(xù)多幀融合的處理中帶來良好的降噪效果。在暗光環(huán)境下,對于靜態(tài)畫面,基于圖像疊加的對齊方式在后續(xù)處理中可以帶來良好的降噪效果。因此,本技術(shù)是在多幀融合/匹配的基礎(chǔ)上增益了額外的模式判斷條件,可有效提升暗光視頻流的清晰度。
24、在第一方面的一種可能的實(shí)施方式中,所述電子設(shè)備包括硬件抽象層hal,所述亮度算法和所述抖動算法存儲在所述hal中。
25、可以看出,隨著技術(shù)的更新和改進(jìn),可對存儲在hal中的算法進(jìn)行更新,從而可適應(yīng)不同的應(yīng)用場景,應(yīng)用便捷高效。
26、第二方面,本技術(shù)提供一種芯片或者芯片系統(tǒng),該芯片或者芯片系統(tǒng)包括至少一個處理器和通信接口,通信接口和至少一個處理器通過線路互聯(lián),至少一個處理器用于運(yùn)行計(jì)算機(jī)程序或指令,以執(zhí)行第一方面或第一方面的任意一種可能的實(shí)現(xiàn)方式中描述的圖像處理方法。其中,芯片中的通信接口可以為輸入/輸出接口、管腳或電路等。
27、在一種可能的實(shí)現(xiàn)中,本技術(shù)實(shí)施例中上述描述的芯片或者芯片系統(tǒng)還包括至少一個存儲器,該至少一個存儲器中存儲有指令。該存儲器可以為芯片內(nèi)部的存儲單元,例如,寄存器、緩存等,也可以是該芯片的存儲單元(例如,只讀存儲器、隨機(jī)存取存儲器等)。
28、在一種實(shí)現(xiàn)中,芯片或者芯片系統(tǒng)包括圖像信號處理器isp;
29、所述isp,用于接收來自所述電子設(shè)備的攝像頭采集的第一幀圖像;
30、所述isp,用于根據(jù)所述第一幀圖像的圖像增益和所述陀螺儀傳感器采集到的抖動量確定輸出所述第一幀圖像,其中,所述圖像增益用于表示為所述第一幀圖像增加的亮度。
31、在第二方面的一種可能的實(shí)施方式中,所述isp具體用于:
32、基于亮度算法根據(jù)所述第一幀圖像的圖像增益確定拍攝環(huán)境為暗光環(huán)境時,獲取所述陀螺儀傳感器采集的陀螺儀抖動量;
33、基于抖動算法根據(jù)所述陀螺儀抖動量確定拍攝畫面處于抖動狀態(tài)時,確定輸出所述第一幀圖像。
34、在第二方面的一種可能的實(shí)施方式中,所述isp具體用于:
35、基于所述亮度算法確定所述第一幀圖像的圖像增益大于或等于預(yù)設(shè)閾值時,確定所述拍攝環(huán)境為暗光環(huán)境。
36、在第二方面的一種可能的實(shí)施方式中,所述isp具體用于:
37、基于所述抖動算法確定所述陀螺儀抖動量大于或等于光學(xué)防抖ois值時,確定所述拍攝畫面處于抖動狀態(tài),其中,所述ois值用于表明所述電子設(shè)備可以補(bǔ)償?shù)囊蛘駝佣鴰淼囊莆涣俊?/p>
38、第三方面,本技術(shù)實(shí)施例提供的一種電子設(shè)備,所述電子設(shè)備包括:一個或多個處理器;存儲器;其中,所述存儲器與所述一個或多個處理器耦合,所述存儲器用于存儲計(jì)算機(jī)程序代碼,所述計(jì)算機(jī)程序代碼包括計(jì)算機(jī)指令,所述一個或多個處理器調(diào)用所述計(jì)算機(jī)指令以使得所述電子設(shè)備執(zhí)行第一方面或第一方面的任一種可能的實(shí)現(xiàn)方式中描述的圖像處理方法。
39、第四方面,本技術(shù)實(shí)施例提供了一種計(jì)算機(jī)存儲介質(zhì),該計(jì)算機(jī)存儲介質(zhì)存儲有計(jì)算機(jī)程序,該計(jì)算機(jī)程序被處理器執(zhí)行時,使得計(jì)算機(jī)執(zhí)行如第一方面或第一方面的任一種可能的實(shí)現(xiàn)方式中描述的圖像處理方法。
40、第五方面,本技術(shù)實(shí)施例提供了一種計(jì)算機(jī)程序產(chǎn)品,當(dāng)該計(jì)算機(jī)程序產(chǎn)品在通信裝置上運(yùn)行時,使得該通信裝置執(zhí)行如第一方面或第一方面的任一種可能的實(shí)現(xiàn)方式中描述的圖像處理方法。
41、應(yīng)當(dāng)理解的是,本技術(shù)中對技術(shù)特征、技術(shù)方案、有益效果或類似語言的描述并不是暗示在任意的單個實(shí)施例中可以實(shí)現(xiàn)所有的特點(diǎn)和優(yōu)點(diǎn)。相反,可以理解的是對于特征或有益效果的描述意味著在至少一個實(shí)施例中包括特定的技術(shù)特征、技術(shù)方案或有益效果。因此,本說明書中對于技術(shù)特征、技術(shù)方案或有益效果的描述并不一定是指相同的實(shí)施例。進(jìn)而,還可以任何適當(dāng)?shù)姆绞浇M合本實(shí)施例中所描述的技術(shù)特征、技術(shù)方案和有益效果。本領(lǐng)域技術(shù)人員將會理解,無需特定實(shí)施例的一個或多個特定的技術(shù)特征、技術(shù)方案或有益效果即可實(shí)現(xiàn)實(shí)施例。在其他實(shí)施例中,還可在沒有體現(xiàn)所有實(shí)施例的特定實(shí)施例中識別出額外的技術(shù)特征和有益效果。
42、應(yīng)當(dāng)理解的是,本技術(shù)中對技術(shù)特征、技術(shù)方案、有益效果或類似語言的描述并不是暗示在任意的單個實(shí)施例中可以實(shí)現(xiàn)所有的特點(diǎn)和優(yōu)點(diǎn)。相反,可以理解的是對于特征或有益效果的描述意味著在至少一個實(shí)施例中包括特定的技術(shù)特征、技術(shù)方案或有益效果。因此,本說明書中對于技術(shù)特征、技術(shù)方案或有益效果的描述并不一定是指相同的實(shí)施例。進(jìn)而,還可以任何適當(dāng)?shù)姆绞浇M合本實(shí)施例中所描述的技術(shù)特征、技術(shù)方案和有益效果。本領(lǐng)域技術(shù)人員將會理解,無需特定實(shí)施例的一個或多個特定的技術(shù)特征、技術(shù)方案或有益效果即可實(shí)現(xiàn)實(shí)施例。在其他實(shí)施例中,還可在沒有體現(xiàn)所有實(shí)施例的特定實(shí)施例中識別出額外的技術(shù)特征和有益效果。