本技術(shù)實施例涉及計算機視覺,尤其涉及一種視頻處理方法、電子設(shè)備、芯片系統(tǒng)及存儲介質(zhì)。
背景技術(shù):
1、在現(xiàn)如今的電子化社會,人們習(xí)慣使用電子設(shè)備拍攝視頻進行記錄留存。比如,使用電子設(shè)備拍攝視頻,以記錄重要的畫面或者重要時刻。
2、隨著計算機視覺技術(shù)的進一步發(fā)展,電子設(shè)備的錄像功能越來越優(yōu)化,人們使用電子設(shè)備拍攝視頻不僅僅為了簡單地記錄事件,而是會利用電子設(shè)備進行較為專業(yè)的拍攝。比如,會利用電子設(shè)備拍攝升格視頻(即具有慢動作效果的視頻)。
3、一些傳統(tǒng)方法在拍攝升格視頻時,是先采用低幀率攝像頭拍攝視頻,然后,再采用插幀的方式實現(xiàn)視頻升格效果。但是這種插幀方式實現(xiàn)的視頻升格效果,往往會導(dǎo)致視頻的畫面清晰度較低,升格視頻的質(zhì)量較差。
技術(shù)實現(xiàn)思路
1、本技術(shù)實施例提供一種視頻處理方法、電子設(shè)備、芯片系統(tǒng)及存儲介質(zhì),相較于通過插幀方式生成的升格視頻,能夠自動拍攝圖像質(zhì)量較高的升格視頻。
2、為達到上述目的,本技術(shù)的實施例采用如下技術(shù)方案:
3、第一方面,本技術(shù)提供了一種視頻處理方法,應(yīng)用于電子設(shè)備,所述電子設(shè)備包括第一攝像頭和第二攝像頭;所述第一攝像頭和所述第二攝像頭的鏡頭朝向相同。電子設(shè)備可以控制第一攝像頭和第二攝像頭使用不同幀率同時拍攝視頻,得到對應(yīng)于第一幀率的第一視頻和對應(yīng)于第二幀率的第二視頻,第一幀率低于第二幀率。在拍攝完畢后可以保存第三視頻,第三視頻是將第一視頻中的第一視頻片段替換為第三視頻片段后得到的視頻;第三視頻片段是對第二視頻中的第二視頻片段慢速處理后得到的;第二視頻片段與第一視頻片段對應(yīng)于時間軸上的同一時間段,也相當(dāng)于對應(yīng)于同一場景。即,同一場景在第一視頻和第二視頻中分別對應(yīng)于第一視頻片段和第二視頻片段。
4、上述方案中,控制不同幀率的攝像頭同時拍攝視頻,針對同一場景,將該場景在高幀率視頻中對應(yīng)的視頻片段慢速處理,即可以實現(xiàn)延長該場景的播放時長,然后,用慢速處理后的視頻片段替換掉該場景在低幀率視頻中對應(yīng)的視頻片段,則可以自動升格視頻(即第三視頻)。該場景在升格視頻中對應(yīng)的視頻幀即為升格幀,由于升格幀是攝像頭真實采集的視頻幀,所以,相比較插幀而言,升格幀的畫面清晰度更高,因而提升了升格視頻的畫面質(zhì)量。
5、此外,本技術(shù)的方案不僅能自動生成高質(zhì)量的升格視頻,而且,還能針對性地對一段視頻片段進行升格,而不需要對整個視頻進行慢速播放,更加的靈活,適用性更強。而且,最終生成的升格視頻也是低幀率視頻,相當(dāng)于后續(xù)在低幀率播放的情況下即可實現(xiàn)升格效果,大大降低了對電子設(shè)備的硬件性能的要求,提升了穩(wěn)定性。
6、在第一方面的一種可能的實現(xiàn)方式中,第一攝像頭的視場角大于所述第二攝像頭的視場角;同一拍攝對象在所述第三視頻片段中的畫面區(qū)域大于在所述第一視頻片段中的畫面區(qū)域。
7、上述方案中,由于第三視頻片段中的畫面區(qū)域是直接由第二攝像頭拍攝的,并不用經(jīng)過額外的放大處理,在升格視頻播放到該第三視頻片段后即可自動實現(xiàn)升格+放大的效果,避免了額外對圖像進行放大處理導(dǎo)致圖像清晰度惡化的問題,因而能夠得到高質(zhì)量的自動升格放大視頻,提高用戶體驗。此外,不需要額外的自動放大處理,還能節(jié)省計算處理資源。
8、在第一方面的一種可能的實現(xiàn)方式中,電子設(shè)備的拍攝界面的畫面預(yù)覽區(qū)中可以實時顯示第一攝像頭使用第一幀率實時采集的畫面,在畫面預(yù)覽區(qū)中還可以標(biāo)示所述第二攝像頭的視野范圍,即顯示視野標(biāo)示信息?;谠撆臄z界面則可以觸發(fā)同時控制第一攝像頭和第二攝像頭拍攝視頻。
9、上述方案中,在拍攝界面的畫面預(yù)覽區(qū)中做視野標(biāo)示,可以供用戶在拍攝時作了解第二攝像頭的視野范圍,調(diào)整好拍攝角度,使得第一攝像頭和第二攝像頭拍攝的畫面都更加的準(zhǔn)確,便于后續(xù)自動生成效果更好的、畫面更完整的升格視頻。
10、在第一方面的一種可能的實現(xiàn)方式中,所述拍攝界面中包括目標(biāo)錄像模式的入口;所述目標(biāo)錄像模式是用于錄制自動升格視頻的特定錄像模式。該入口被觸發(fā)后,即可進入或啟動該目標(biāo)錄像模式,并在拍攝界面的畫面預(yù)覽區(qū)中顯示視野標(biāo)示信息。
11、上述方案中,提出了一種專有錄像模式(即目標(biāo)錄像模式),進入該專有錄像模式后即可在拍攝界面中預(yù)覽顯示視場角大的攝像頭采集的實時畫面,并同時標(biāo)示視場角較小的攝像頭的視野范圍,以便于后續(xù)更準(zhǔn)確的拍攝視頻,以及生成更準(zhǔn)確的升格視頻。
12、在第一方面的一種可能的實現(xiàn)方式中,所述第一視頻是采用第一3a控制信息對所述第一攝像頭進行3a控制的情況下拍攝得到的;所述第二視頻是參考所述第一攝像頭對應(yīng)的所述第一3a控制信息對所述第二攝像頭進行3a控制的情況下拍攝得到的。
13、上述方案中,對于高幀率攝像頭的3a控制可以參考低幀率攝像頭的3a控制信息,從而使得兩個攝像頭采集的畫面圖像效果更接近,以使得后續(xù)拼接得到的升格視頻在播放到升格片段(即第三視頻片段)時,畫面切換過渡更加的自然,在用戶的視覺感知層面,看起來就像是由一個攝像頭實現(xiàn)的自動升格的效果。
14、在第一方面的一種可能的實現(xiàn)方式中,所述第一3a控制信息是基于所述第一攝像頭所采集的視頻幀對應(yīng)的第一圖像統(tǒng)計參數(shù)計算得到。電子設(shè)備可以控制所述第二攝像頭使用第二幀率進行視頻拍攝,并在視頻拍攝過程中基于第三3a控制信息進行3a控制,得到拍攝的第二視頻;其中,所述第三3a控制信息比第二3a控制信息更接近于所述第一3a控制信息;所述第二3a控制信息是基于所述第二攝像頭所采集的視頻幀對應(yīng)的第二圖像統(tǒng)計參數(shù)計算得到。
15、上述方案中,電子設(shè)備可以根據(jù)每個攝像頭自身采集的圖像的圖像統(tǒng)計參數(shù)分別算出各自對應(yīng)的3a控制信息,然后,可以根據(jù)由圖像統(tǒng)計參數(shù)計算的各自對應(yīng)的3a控制信息,共同確定最終用于控制高幀率攝像頭(即第二攝像頭)的3a控制信息。由于最終用于控制高幀率攝像頭的3a控制信息參考了兩個攝像頭采集的圖像的圖像參數(shù)的統(tǒng)計特征,所以,既能保持與低幀率攝像頭的3a控制接近,又能考慮到高幀率攝像頭自身的3a控制需求,是更加適用的、更加準(zhǔn)確的3a控制信息。
16、在第一方面的一種可能的實現(xiàn)方式中,所述電子設(shè)備中具有第一3a模塊和第二3a模塊;所述第一3a控制信息是所述第一3a模塊基于所述第一圖像統(tǒng)計參數(shù)計算得到;所述第二3a控制信息是第二3a模塊基于所述第二圖像統(tǒng)計參數(shù)計算得到。電子設(shè)備可以將所述第一3a模塊計算得到的所述第一3a控制信息同步至所述第二3a模塊;通過所述第二3a模塊根據(jù)所述第二3a控制信息和同步至的所述第一3a控制信息,確定所述第三3a控制信息。
17、上述方案中,電子設(shè)備賦予了3a模塊的3a同步功能,可以在各個攝像頭各自的3a控制模塊計算出3a控制信息后,便可以由3a模塊進行3a控制信息同步,更加的便捷、高效。
18、在第一方面的一種可能的實現(xiàn)方式中,所述第一視頻片段是所述第一視頻中的高光片段;所述高光片段在所述第一視頻的時間軸上對應(yīng)于目標(biāo)時間段;所述第二視頻片段是所述第二視頻中位于所述目標(biāo)時間段內(nèi)的視頻片段。
19、上述方案中,電子設(shè)備能針對性地對拍攝的視頻中的高光片段實現(xiàn)自動升格,更加的靈活。而且,一般情況下,高光片段才是更符合用戶升格需求的視頻片段,因此,能夠更加準(zhǔn)確地生成符合用戶需求的升格視頻。此外,不需要針對整個視頻進行升格處理,大大節(jié)省了系統(tǒng)資源。
20、在第一方面的一種可能的實現(xiàn)方式中,所述第一視頻具有攜帶高光動作標(biāo)簽的元數(shù)據(jù);所述元數(shù)據(jù)中的高光動作標(biāo)簽具有對應(yīng)的時間戳;所述目標(biāo)時間段是在所述時間戳的基礎(chǔ)上外擴預(yù)設(shè)時間范圍后得到的時間段。
21、上述方案中,通過以時間線打高光動作標(biāo)簽的元數(shù)據(jù),不需要復(fù)雜的分析處理,即可以更加便捷、準(zhǔn)確地從不同幀率拍攝的視頻中截取高光片段進行升格處理,并更加快速、準(zhǔn)確地進行視頻拼接,形成升格視頻。
22、在第一方面的一種可能的實現(xiàn)方式中,電子設(shè)備可以基于所述第一攝像頭采集的視頻幀進行高光動作識別處理;針對識別到高光動作的視頻幀的時間戳,對應(yīng)添加高光動作標(biāo)簽,得到所述第一視頻的攜帶高光動作標(biāo)簽的元數(shù)據(jù)。
23、上述方案中,能夠自動識別具有高光動作的視頻幀,并對應(yīng)于其時間戳添加高光動作標(biāo)簽得到元數(shù)據(jù),后續(xù)基于該元數(shù)據(jù)則可以快速實現(xiàn)高光片段的自動升格處理。
24、在第一方面的一種可能的實現(xiàn)方式中,電子設(shè)備可以將所述第一視頻中的第一視頻片段丟棄;將所述第三視頻片段插入至所述第一視頻中的目標(biāo)位置,并將插入的所述第三視頻片段與所述第一視頻中剩余的視頻幀進行拼接,得到所述第三視頻;所述目標(biāo)位置是所述第一視頻片段在所述第一視頻中所處的位置。
25、上述方案中,通過將高幀率視頻片段慢速處理后的第三視頻片段,按照合理的位置有序地與低幀率視頻中的剩余視頻幀拼接,能夠得到播放順滑、時間線正常、且畫面質(zhì)量高的升格視頻。
26、第二方面,本技術(shù)提供了一種電子設(shè)備,該電子設(shè)備至少包括:第一攝像頭和第二攝像頭、存儲器以及一個或多個處理器;該第一攝像頭和第二攝像頭用于采集圖像,該存儲器用于存儲計算機指令,當(dāng)該一個或多個處理器執(zhí)行該計算機指令時,使得該電子設(shè)備執(zhí)行如上述第一方面中任意一項的方法。
27、第三方面,本技術(shù)提供了一種芯片系統(tǒng),該芯片系統(tǒng)應(yīng)用于電子設(shè)備,該芯片系統(tǒng)包括一個或多個處理器,該處理器用于調(diào)用計算機指令,以使得該電子設(shè)備執(zhí)行上述第一方面任意一項的方法。
28、第四方面,本技術(shù)提供了一種計算機存儲介質(zhì),該計算機存儲介質(zhì)包括計算機指令,當(dāng)計算機指令在電子設(shè)備上運行時,使得該電子設(shè)備執(zhí)行上述第一方面任意一項的方法。
29、第五方面,本技術(shù)提供了一種計算機程序產(chǎn)品,當(dāng)計算機程序產(chǎn)品在計算機上運行時,使得計算機執(zhí)行上述第一方面任意一項的方法。