本發(fā)明涉及圖像處理技術領域,尤其涉及一種視頻圖像處理方法及裝置。
背景技術:
目前,3D視頻通常需要兩臺手持設備同時拍攝。然而,在某些時候兩臺手持設備拍攝的時間可能不同步,拍攝時間的不同步導致處理得到的3D視頻效果較差,用戶體驗不好。
技術實現(xiàn)要素:
有鑒于此,本發(fā)明提供了一種圖像處理方法及裝置,用以解決現(xiàn)有技術中多臺設備的拍攝時間不同步導致處理得到的3D視頻效果較差,用戶體驗不好的問題,其技術方案如下:
一種視頻圖像處理方法,所述方法包括:
分別獲取來自于至少兩個電子設備拍攝的圖像幀序列;
分別從至少兩個圖像幀序列中的圖像幀中確定目標信息,并分別確定所述目標信息在所述至少兩個圖像幀序列中的運動軌跡;
基于所述運動軌跡從所述至少兩個圖像幀序列中確定出至少兩個待處理的目標圖像幀序列,并處理所述至少兩個目標圖像幀序列。
其中,所述處理所述至少兩個目標圖像幀序列,包括:
基于所述至少兩個目標圖像幀序列中在同一時刻拍攝的目標圖像幀合成3D圖像或視頻。
其中,所述基于所述至少兩個目標圖像幀序列中在同一時刻拍攝的目標圖像幀合成3D圖像或視頻,包括:
利用傳感器數(shù)據(jù),基于所述目標信息將所述在同一時刻拍攝的目標圖像幀進行裁剪和/或矯正,并將裁剪和/或矯正后的目標圖像幀合成為3D視頻。
其中,所述基于所述運動軌跡從所述至少兩個圖像幀序列中確定出至少兩個待處理的目標圖像幀序列,包括:
基于至少兩個所述運動軌跡的重合部分確定出至少兩個待處理的目標圖像幀序列。
其中,所述基于至少兩個所述運動軌跡的重合部分確定出至少兩個待處理的目標圖像幀序列,包括:
從至少兩個所述運動軌跡的重合部分確定起始重合位置;
分別至少兩個圖像序列中確定出與所述起始重合位置對應的圖像幀作為目標初始圖像幀,并將至少兩個所述目標初始圖像幀確定為所述至少兩個電子設備在同一時刻拍攝的圖像幀;
將所述至少兩個圖像幀序列中從所述目標初始圖像幀開始的圖像幀確定為所述目標圖像幀序列。
其中,所述利用所述傳感器數(shù)據(jù),基于所述目標信息對所述在同一時刻拍攝的目標圖像幀進行裁剪和/或矯正,包括:
獲取與同一時刻拍攝的各個圖像幀對應的傳感器數(shù)據(jù);
通過所述傳感器數(shù)據(jù)判斷所述同一時刻拍攝的各個目標圖像幀中是否存在需要進行矯正的目標圖像幀;
當存在所述需要進行矯正的目標圖像幀時,基于所述傳感器數(shù)據(jù)對所述需要進行矯正的目標圖像幀進行矯正;
判斷所述同一時刻拍攝的各個目標圖像幀中是否存在圖像內容不滿足預設條件的目標圖像幀;
當存在所述圖像內容不滿足預設條件的目標圖像幀時,基于所述目標信息對所述同一時刻拍攝的各個目標圖像幀進行裁剪;
將裁剪后的各個目標圖像幀進行合成處理。
其中,所述通過所述傳感器數(shù)據(jù)判斷所述同一時刻拍攝的各個目標圖像幀中是否存在需要進行矯正的目標圖像幀,包括:
通過所述傳感器數(shù)據(jù)判斷所述至少兩個電子設備是否均發(fā)生了運動;
當所述至少兩個電子設備均發(fā)生了運動時,通過所述傳感器數(shù)據(jù)確定所述至少兩個電子設備的運動參數(shù);
判斷所述至少兩個電子設備的運動參數(shù)是否一致;
當所述至少兩個電子設備的運動參數(shù)不一致時,確定所述同一時刻拍攝的各個目標圖像幀中存在需要進行矯正的目標圖像幀;
則基于所述傳感器數(shù)據(jù)對所述需要進行矯正的目標圖像幀進行矯正,具體為:
基于所述至少兩個電子設備的運動參數(shù)的差值對至少一個目標圖像幀進行矯正。
其中,通過所述傳感器數(shù)據(jù)判斷所述同一時刻拍攝的各個目標圖像幀中是否存在需要進行矯正的目標圖像幀,還包括:
當所述至少兩個電子設備中的部分電子設備發(fā)生運動時,確定所述同一時刻拍攝的各個目標圖像幀中存在需要進行矯正的目標圖像幀;
則基于所述傳感器數(shù)據(jù)對所述需要進行矯正的目標圖像幀進行矯正,具體為:
通過所述發(fā)生運動的電子設備的傳感器數(shù)據(jù)確定所述發(fā)生運動的電子設備的運動參數(shù);
基于所述發(fā)生運動的電子設備的運動參數(shù)對所述發(fā)生運動的電子設備拍攝的所述目標圖像幀進行矯正。
所述視頻圖像處理方法還包括:
分別判斷各個目標圖像幀序列中是否存在第一目標圖像幀,所述目標圖像幀與相鄰目標圖像幀的差值大于預設值;
當所述目標圖像幀序列中存在所述第一目標圖像幀時,用所述第一目標圖像幀的相鄰目標圖像幀或者其它電子設備同一時刻拍攝的目標圖像幀補償所述第一目標圖像幀。
一種視頻圖像處理裝置,包括:圖像獲取單元、目標信息確定單元、運動軌跡確定單元、目標圖像幀序列確定單元和圖像處理單元;
所述圖像獲取單元,用于分別獲取來自于至少兩個電子設備拍攝的圖像幀序列;
所述目標信息確定單元,用于分別從所述圖像獲取單元獲取的至少兩個圖像幀序列中的圖像幀中確定目標信息;
所述運動軌跡確定單元,用于分別確定所述目標信息在所述至少兩個圖像幀序列中的運動軌跡;
所述目標圖像幀序列確定單元,用于基于所述運動軌跡確定單元確定的所述運動軌跡從所述至少兩個圖像幀序列中確定出至少兩個待處理的目標圖像幀序列;
所述圖像處理單元,用于處理所述目標圖像幀序列確定單元確定的所述至少兩個目標圖像幀序列。
其中,所述處理單元,具體用于基于所述至少兩個目標圖像幀序列中在同一時刻拍攝的目標圖像幀合成3D圖像或視頻。
其中,所述處理單元,具體用于利用傳感器數(shù)據(jù),基于所述目標信息將所述在同一時刻拍攝的目標圖像幀進行裁剪和/或矯正,并將裁剪和/或矯正后的目標圖像幀合成為3D視頻。
其中,所述目標圖像幀序列確定單元,具體用于基于至少兩個所述運動軌跡的重合部分確定出至少兩個待處理的目標圖像幀序列。
其中,所述目標圖像幀序列確定單元包括:第一確定子單元、第二確定子單元和第三確定子單元;
所述第一確定子單元,用于從至少兩個所述運動軌跡的重合部分確定起始重合位置;
所述第二確定子單元,用于分別從至少兩個圖像序列中確定出與所述第一確定子單元確定出的所述起始重合位置對應的圖像幀作為目標初始圖像幀,并將至少兩個所述目標初始圖像幀確定為所述至少兩個電子設備在同一時刻拍攝的圖像幀;
所述第三確定子單元,用于將所述至少兩個圖像幀序列中從所述第二確定子單元確定出的所述目標初始圖像幀開始的圖像幀確定為所述目標圖像幀序列。
其中,所述處理單元包括:獲取子單元、第一判斷子單元、矯正子單元、第二判斷子單元、裁剪子單元和合成子單元;
所述獲取子單元,用于獲取與同一時刻拍攝的各個圖像幀對應的傳感器數(shù)據(jù);
所述第一判斷子單元,用于通過所述獲取子單元獲取的所述傳感器數(shù)據(jù)判斷所述同一時刻拍攝的各個目標圖像幀中是否存在需要進行矯正的目標圖像幀;
矯正子單元,用于當所述第一判斷子單元判斷出存在所述需要進行矯正的目標圖像幀時,基于所述傳感器數(shù)據(jù)對所述需要進行矯正的目標圖像幀進行矯正;
所述第二判斷子單元,用于判斷所述同一時刻拍攝的各個目標圖像幀中是否存在圖像內容不滿足預設條件的目標圖像幀;
所述裁剪子單元,用于當所述第二判斷子單元判斷出存在所述圖像內容不滿足預設條件的目標圖像幀時,基于所述目標信息對所述同一時刻拍攝的各個目標圖像幀進行裁剪;
所述合成子單元,用于將所述裁剪子單元裁剪后的各個目標圖像幀進行合成處理。
其中,所述第一判斷子單元包括:第一確定子模塊、判斷子模塊和第二確定子模塊;
所述第一確定子模塊,用于當所述至少兩個電子設備均發(fā)生了運動時,通過所述傳感器數(shù)據(jù)確定所述至少兩個電子設備的運動參數(shù);
所述判斷子模塊,用于判斷所述第一確定子模塊確定出的所述至少兩個電子設備的運動參數(shù)是否一致;
所述第二確定子模塊,用于當所述判斷子模塊判斷出所述至少兩個電子設備的運動參數(shù)不一致時,確定所述同一時刻拍攝的各個目標圖像幀中存在需要進行矯正的目標圖像幀;
則所述矯正子模塊,具體用于基于所述至少兩個電子設備的運動參數(shù)的差值對所述第二確定子模塊確定出的至少一個目標圖像幀進行矯正。
其中,所述第一判斷子單元還包括:第三確定子模塊;
所述第三確定子模塊,用于當所述至少兩個電子設備中的部分電子設備發(fā)生運動時,確定所述同一時刻拍攝的各個目標圖像幀中存在需要進行矯正的目標圖像幀;
則所述矯正子模塊,具體用于通過所述發(fā)生運動的電子設備的傳感器數(shù)據(jù)確定所述發(fā)生運動的電子設備的運動參數(shù),并基于所述發(fā)生運動的電子設備的運動參數(shù)對所述發(fā)生運動的電子設備拍攝的所述目標圖像幀進行矯正。
所述視頻圖像處理裝置還包括:判斷單元和補償單元;
所述判斷單元,用于分別判斷各個目標圖像幀序列中是否存在第一目標圖像幀,所述目標圖像幀與相鄰目標圖像幀的差值大于預設值;
所述補償單元,用于當所述判斷單元判斷出所述目標圖像幀序列中存在所述第一目標圖像幀時,用所述第一目標圖像幀的相鄰目標圖像幀或者其它電子設備同一時刻拍攝的目標圖像幀補償所述第一目標圖像幀。
上述技術方案具有如下有益效果:
本發(fā)明提供的視頻圖像處理方法及裝置,在獲取到至少兩個電子設備拍攝的圖像幀序列后,可基于目標信息在至少兩個圖像幀序列中的運動軌跡來確定待處理的目標圖像幀序列,由于至少兩個目標圖像幀序列為時間上同步的圖像幀序列,因此基于同步的目標圖像幀序列處理獲得的圖像或視頻具有較好的效果,用戶體驗較好。
附圖說明
為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術中的技術方案,下面將對實施例或現(xiàn)有技術描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的實施例,對于本領域普通技術人員來講,在不付出創(chuàng)造性勞動的前提下,還可以根據(jù)提供的附圖獲得其他的附圖。
圖1為本發(fā)明實施例提供的視頻圖像處理方法的一流程示意圖;
圖2為本發(fā)明實施例提供的視頻圖像處理方法的另一流程示意圖;
圖3為本發(fā)明實施例提供的視頻圖像處理方法中,基于至少兩個運動軌跡的重合部分確定出至少兩個待處理的目標圖像幀序列的實現(xiàn)過程的流程示意圖;
圖4為本發(fā)明實施例提供的視頻圖像處理方法中,利用傳感器數(shù)據(jù),基于目標信息對在同一時刻拍攝的目標圖像幀進行裁剪和/或矯正的實現(xiàn)過程的流程示意圖;
圖5為本發(fā)明實施例提供的視頻圖像處理裝置的結構示意圖。
具體實施方式
下面將結合本發(fā)明實施例中的附圖,對本發(fā)明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發(fā)明一部分實施例,而不是全部的實施例?;诒景l(fā)明中的實施例,本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例,都屬于本發(fā)明保護的范圍。
本發(fā)明實施例提供了一種視頻圖像處理方法,請參閱圖1,示出了該方法的流程示意圖,該方法可以包括:
步驟S101:分別獲取來自于至少兩個電子設備拍攝的圖像幀序列。
步驟S102:分別從至少兩個圖像幀序列中的圖像幀中確定目標信息,并分別確定目標信息在至少兩個圖像幀序列中的運動軌跡。
其中,目標信息可為圖像幀中具有顯著特征的物體,例如,圖像幀中的黑色畫面中的白點,畫面中桌子上的杯子等等。
步驟S103:基于運動軌跡從至少兩個圖像幀序列中確定出至少兩個待處理的目標圖像幀序列,并處理至少兩個目標圖像幀序列。
其中,至少兩個目標圖像幀序列中的各個對應幀為時間上同步的圖像幀,例如兩個目標圖像幀序列中的第一幀為時間上同步的幀,即認為兩個目標圖像幀序列中的第一幀為兩個電子設備在同一時刻拍攝的圖像幀,后續(xù)幀也如此。
本發(fā)明實施例提供的視頻圖像處理方法,在獲取到至少兩個電子設備拍攝的圖像幀序列后,可基于目標信息在至少兩個圖像幀序列中的運動軌跡來確定待處理的目標圖像幀序列,由于至少兩個目標圖像幀序列為時間上同步的圖像幀序列,因此基于同步的目標圖像幀序列處理獲得的圖像或視頻具有較好的效果,用戶體驗較好。
請參閱圖2,為本發(fā)明實施例提供的另一種視頻圖像處理方法的流程示意圖,該方法可以包括:
步驟S201:分別獲取來自于至少兩個電子設備拍攝的圖像幀序列。
步驟S202:分別從至少兩個圖像幀序列中的圖像幀中確定目標信息,并分別確定目標信息在至少兩個圖像幀序列中的運動軌跡。
其中,目標信息可為圖像幀中具有顯著特征的物體,例如,圖像幀中的黑色畫面中的白點,畫面中桌子上的杯子等等。
步驟S203:基于至少兩個運動軌跡的重合部分確定出至少兩個待處理的目標圖像幀序列。
步驟S204:基于至少兩個目標圖像幀序列中在同一時刻拍攝的目標圖像幀合成3D圖像或視頻。
示例性的,有兩個目標圖像幀序列,分別為第一目標圖像幀序列和第二目標圖像幀序列,將同一時刻拍攝的第一目標圖像幀序列中的第1幀圖像以及第二目標圖像幀序列中的第1幀圖像合成3D圖像,將第一目標圖像幀序列中的第2幀圖像以及第二目標圖像幀序列中的第2幀圖像合成3D圖像,以此類推直至整個目標圖像幀序列處理完成,便可得到3D視頻。
考慮到電子設備可能因固定不好而產生抖動,為了進行抖動補償,本實施例利用傳感器數(shù)據(jù),基于目標信息對在同一時刻拍攝的目標圖像幀進行裁剪和/或矯正,然后將裁剪和/或矯正后的目標圖像幀合成為3D圖像或視頻。
考慮到多個電子在拍攝視頻的時候可能拍攝的時間不同步(起始拍攝時間不同),還可能由于電子設備固定不好使電子設備在拍攝時產生抖動,這些因素導致多個電子設備拍攝的圖像進行處理獲得的圖像或視頻效果不好,基于該問題,本發(fā)明實施例提供的視頻圖像處理方法在獲取到至少兩個電子設備拍攝的圖像幀序列后,可基于目標信息在至少兩個圖像幀序列中的運動軌跡的重合部分來確定待處理的目標圖像幀序列,進而基于至少兩個目標圖像幀序列中在同一時刻拍攝的目標圖像幀進行抖動補償并合成3D圖像或3D視頻,由此可見,本發(fā)明實施例不但可對多個電子設備拍攝的圖像進行時間同步,還可通過對圖像進行裁剪和/或矯正進行抖動補償,這使得最后處理得到的3D圖像或3D視頻具有較好的效果,用戶體驗較好。
請參閱圖3,示出了上述實施例提供的視頻圖像處理方法中,基于至少兩個運動軌跡的重合部分確定出至少兩個待處理的目標圖像幀序列的實現(xiàn)過程的流程示意圖,可以包括:
步驟S301:從至少兩個運動軌跡的重合部分確定起始重合位置。
以兩個運動軌跡為例,對比兩個運動軌跡,如果目標信息的兩個運動軌跡重合,表明重合的運動軌跡對應的圖像幀是同步的,而兩個圖像幀序列中與兩個運動軌跡的起始重合部分對應的圖像幀為同步幀。
步驟S302:分別從至少兩個圖像幀序列中確定出與起始重合位置對應的圖像幀作為目標初始圖像幀,并將至少兩個目標初始圖像幀確定為至少兩個電子設備在同一時刻拍攝的圖像幀。
步驟S303:將至少兩個圖像幀序列中從目標初始圖像幀開始的圖像幀確定為目標圖像幀序列。
示例性的,電子設備為兩個,兩個電子設備拍攝的圖像幀序列分別為第一圖像幀序列和第二圖像幀序列,兩個圖像幀序列中運動軌跡的起始重合位置對應的圖像幀分別為第一圖像幀序列的第5幀以及第二圖像幀序列中的第6幀,那么認為第一圖像幀序列的第5幀與第二圖像幀序列中的第6幀為同步幀,即具有相同的拍攝時間,此時可重新標識第一圖像幀序列的第5幀與第二圖像幀序列中的第6幀的拍攝時間,示例性的,可將第一圖像幀序列的第5幀與第二圖像幀序列中的第6幀分別作為兩個目標圖像幀序列的起始目標圖像幀,即作為兩個目標圖像序列中的第1幀,并將兩個起始目標圖像幀的拍攝時間均重新標識為2點30分36秒0毫秒,相應的將第一圖像幀序列的第6幀與第二圖像幀序列中的第7幀分別作為兩個目標圖像幀序列中的第二幀,并將兩幀的拍攝時間均標識為2點30分36秒6毫秒,將第一圖像幀序列的第7幀與第二圖像幀序列中的第8幀分別作為兩個目標圖像幀序列的第三幀,并將兩幀的拍攝時間均標識為2點30分36秒12毫秒,以此類推。
請參閱圖4,示出了上述實施例提供的視頻圖像處理方法中,利用傳感器數(shù)據(jù),基于目標信息對在同一時刻拍攝的目標圖像幀進行裁剪和/或矯正的實現(xiàn)過程的流程示意圖,可以包括:
步驟S401:獲取與同一時刻拍攝的各個目標圖像幀對應的傳感器數(shù)據(jù)。
在本實施例中,每個圖像幀均標識有拍攝該圖像幀時獲取的傳感器數(shù)據(jù),其中,傳感器數(shù)據(jù)可以但不限為陀螺儀、重力傳感器、方向傳感器等的數(shù)據(jù)。
步驟S402:通過傳感器數(shù)據(jù)判斷同一時刻拍攝的各個目標圖像幀中是否存在需要進行矯正的目標圖像幀。
步驟S403:當存在需要進行矯正的目標圖像幀時,基于傳感器數(shù)據(jù)對需要進行矯正的目標圖像幀進行矯正。
在本實施例中,通過傳感器數(shù)據(jù)判斷同一時刻拍攝的各個目標圖像幀中是否存在需要進行矯正的目標圖像幀的實現(xiàn)過程可以包括:通過傳感器數(shù)據(jù)判斷至少兩個電子設備是否均發(fā)生了運動,當至少兩個電子設備均發(fā)生了運動時,通過傳感器數(shù)據(jù)確定至少兩個電子設備的運動參數(shù),判斷至少兩個電子設備的運動參數(shù)是否一致,當至少兩個電子設備的運動參數(shù)不一致時,確定同一時刻拍攝的各個目標圖像幀中存在需要進行矯正的目標圖像幀。
此時,基于傳感器數(shù)據(jù)對需要進行矯正的目標圖像幀進行矯正具體為:基于至少兩個電子設備的運動參數(shù)的差值對至少一個目標圖像幀進行矯正。另外,在對目標圖像進行矯正時,可利用系統(tǒng)時間進行輔助,例如,通過系統(tǒng)時間及傳感器數(shù)據(jù)可確定電子設備在哪個時間發(fā)生了運動,便可基于該時間以及電子設備的運動參數(shù)對在這個時間段拍攝的圖像進行矯正。
示例性的,電子設備為兩個,通過傳感器數(shù)據(jù)獲知第一電子設備在拍攝第一目標圖像幀序列中的第5幀圖像時向第一方向旋轉了10°,第二電子設備在拍攝第二目標圖像幀序列中的第5幀圖像時向第一方向旋轉了9°,那么此時,需要將第一目標圖像幀序列中的第5幀圖像向與第一方向相反的第二方向旋轉1°進行矯正,或者將第二目標圖像幀序列中的第5幀圖像向第一方向旋轉1°進行矯正。
需要說明的是,上述實現(xiàn)過程給出了各個電子設備均發(fā)生運動的情況,在某些時候,可能存在多個電子設備中只有部分電子設備發(fā)生運動的情況,例如兩個電子設備中一個電子設備發(fā)生了抖動,另外一個電子設備未發(fā)生抖動,此時需要對發(fā)生抖動的電子設備拍攝的圖像幀進行矯正。
即當至少兩個電子設備中的部分電子設備發(fā)生運動時,確定同一時刻拍攝的各個目標圖像幀中存在需要進行矯正的目標圖像幀。此時,基于傳感器數(shù)據(jù)對需要進行矯正的目標圖像幀進行矯正具體為:通過發(fā)生運動的電子設備的傳感器數(shù)據(jù)確定發(fā)生運動的電子設備的運動參數(shù);基于發(fā)生運動的電子設備的運動參數(shù)對發(fā)生運動的電子設備拍攝的目標圖像幀進行矯正。
示例性的,電子設備為兩個,通過傳感器數(shù)據(jù)獲知第一電子設備在拍攝第一目標圖像幀序列中的第5幀圖像時向第一方向旋轉了1°,第二電子設備未旋轉,那么此時,需要將第一目標圖像幀序列中的第5幀圖像向與第一方向相反的第二方向旋轉1°進行矯正。
步驟S404:判斷同一時刻拍攝的各個目標圖像幀中是否存在圖像內容不滿足預設條件的目標圖像幀。
步驟S405:當存在圖像內容不滿足預設條件的目標圖像幀時,基于目標信息對同一時刻拍攝的各個目標圖像幀進行裁剪。
示例性的,兩個電子設備拍出來的畫面的覆蓋區(qū)域不一樣的,例如,其中一個電子設備拍攝出來的圖像為1980*1020,目標信息位于圖像幀的中心位置,而另一個電子設備拍攝出現(xiàn)的圖像幀為1980*1020,但是目標信息位于圖像幀的左上方的位置,此時如果直接合成3D圖像,則畫面效果比較差,基于這種情況,本發(fā)明實施例以目標信息為基準對圖像幀基于圖像內容進行裁剪,保留兩個畫面重疊和3D構圖需要突出區(qū)域。
需要說明的是,當不存在圖像內容不滿足預設條件的目標圖像幀時,直接將同一時刻拍攝的各個目標圖像幀進行合成。
步驟S406:將裁剪后的各個目標圖像幀進行合成。
需要說明的是,在對各個目標圖像幀進行裁剪時,可能存在裁剪后的圖像幀尺寸不同的情況,此時,需要將所有的圖像幀進一步裁剪成同一尺寸。示例性的,兩個圖像幀序列中均包括兩幀圖像,對兩個圖像幀序列中的第1幀圖像進行裁剪和合成后得到的圖像的尺寸為1911*1000,將兩個圖像幀序列中的第2幀圖像進行裁剪和合成后得到的圖像的尺寸為1900*1011,那么最終要將第1幀合成圖像和第2幀合成圖像均裁剪為1900*1000的尺寸。
在某些時候,可能由于某種原因導致電子設備拍攝的圖像幀序列中存在一些與相鄰圖像幀偏差較大的圖像幀,例如在電子設備拍攝的圖像幀序列中,目標信息在第N幀圖像的中心位置,在第N+1幀圖像的左上方的位置,在第N+2幀圖像的中心位置,由于第N+1幀圖像與第N幀圖像和第N+2幀圖像的偏差較大,因此,第N+1幀圖像可能為異常圖像。
基于上述情況,本發(fā)明實施例提供的視頻圖像處理方法還可以包括:判斷目標圖像幀序列中是否存在第一目標圖像幀,其中,該第一目標圖像幀與相鄰目標圖像幀的差值大于預設值;當目標圖像幀序列中存在第一目標圖像幀時,用第一目標圖像幀的相鄰目標圖像幀(如第一目標圖像幀的前一幀圖像或者第一目標圖像幀的后一幀圖像)或者其它電子設備同一時刻拍攝的目標圖像幀補償?shù)谝荒繕藞D像幀。具體的,可將第一目標圖像幀的偏差區(qū)域裁剪掉,然后基于偏差區(qū)域從第一目標圖像幀的相鄰目標圖像幀或者其它電子設備同一時刻拍攝的目標圖像幀中裁剪圖像區(qū)域拼接到第一目標圖像幀上。
與上述方法相對應,本發(fā)明實施例還提供了一種視頻圖像處理裝置,請參閱圖5,示出了該裝置的結構示意圖,可以包括:圖像獲取單元501、目標信息確定單元502、運動軌跡確定單元503、目標圖像幀序列確定單元504和圖像處理單元505。
圖像獲取單元501,用于分別獲取來自于至少兩個電子設備拍攝的圖像幀序列。
目標信息確定單元502,用于分別從圖像獲取單元獲取的至少兩個圖像幀序列中的圖像幀中確定目標信息。
運動軌跡確定單元503,用于分別確定目標信息在至少兩個圖像幀序列中的運動軌跡。
目標圖像幀序列確定單元504,用于基于運動軌跡確定單元503確定的運動軌跡從至少兩個圖像幀序列中確定出至少兩個待處理的目標圖像幀序列。
圖像處理單元505,用于處理目標圖像幀序列確定單元504確定的至少兩個目標圖像幀序列。
本發(fā)明實施例提供的視頻圖像處理裝置,在獲取到至少兩個電子設備拍攝的圖像幀序列后,可基于目標信息在至少兩個圖像幀序列中的運動軌跡來確定待處理的目標圖像幀序列,由于至少兩個目標圖像幀序列為時間上同步的圖像幀序列,因此基于同步的目標圖像幀序列處理獲得的圖像或視頻具有較好的效果,用戶體驗較好。
在上述實施例提供的視頻圖像處理裝置中,處理單元,具體用于基于至少兩個目標圖像幀序列中在同一時刻拍攝的目標圖像幀合成3D圖像或視頻。
進一步的,處理單元,具體用于利用傳感器數(shù)據(jù),基于所述目標信息將所述在同一時刻拍攝的目標圖像幀進行裁剪和/或矯正,并將裁剪和/或矯正后的目標圖像幀合成為3D視頻。
在上述實施例提供的視頻圖像處理裝置中,目標圖像幀序列確定單元,具體用于基于至少兩個所述運動軌跡的重合部分確定出至少兩個待處理的目標圖像幀序列。
進一步的,目標圖像幀序列確定單元可以包括:第一確定子單元、第二確定子單元和第三確定子單元。
第一確定子單元,用于從至少兩個所述運動軌跡的重合部分確定起始重合位置。
第二確定子單元,用于分別從至少兩個圖像序列中確定出與所述第一確定子單元確定出的所述起始重合位置對應的圖像幀作為目標初始圖像幀,并將至少兩個所述目標初始圖像幀確定為所述至少兩個電子設備在同一時刻拍攝的圖像幀。
第三確定子單元,用于將至少兩個圖像幀序列中從第二確定子單元確定出的所述目標初始圖像幀開始的圖像幀確定為所述目標圖像幀序列。
在上述實施例提供的視頻圖像處理裝置中,處理單元可以包括:獲取子單元、第一判斷子單元、矯正子單元、第二判斷子單元、裁剪子單元和合成子單元。其中:
獲取子單元,用于獲取與同一時刻拍攝的各個圖像幀對應的傳感器數(shù)據(jù)。
第一判斷子單元,用于通過獲取子單元獲取的傳感器數(shù)據(jù)判斷同一時刻拍攝的各個目標圖像幀中是否存在需要進行矯正的目標圖像幀。
矯正子單元,用于當?shù)谝慌袛嘧訂卧袛喑龃嬖谛枰M行矯正的目標圖像幀時,基于傳感器數(shù)據(jù)對需要進行矯正的目標圖像幀進行矯正。
第二判斷子單元,用于判斷同一時刻拍攝的各個目標圖像幀中是否存在圖像內容不滿足預設條件的目標圖像幀。
裁剪子單元,用于當?shù)诙袛嘧訂卧袛喑龃嬖趫D像內容不滿足預設條件的目標圖像幀時,基于目標信息對同一時刻拍攝的各個目標圖像幀進行裁剪。
合成子單元,用于將裁剪子單元裁剪后的各個目標圖像幀進行合成處理。
進一步的,第一判斷子單元包括:第一確定子模塊、判斷子模塊和第二確定子模塊。其中:
第一確定子模塊,用于當所述至少兩個電子設備均發(fā)生了運動時,通過所述傳感器數(shù)據(jù)確定所述至少兩個電子設備的運動參數(shù)。
判斷子模塊,用于判斷所述第一確定子模塊確定出的所述至少兩個電子設備的運動參數(shù)是否一致。
第二確定子模塊,用于當所述判斷子模塊判斷出所述至少兩個電子設備的運動參數(shù)不一致時,確定所述同一時刻拍攝的各個目標圖像幀中存在需要進行矯正的目標圖像幀。
則矯正子模塊,具體用于基于至少兩個電子設備的運動參數(shù)的差值對所述第二確定子模塊確定出的至少一個目標圖像幀進行矯正。
第一判斷子單元還包括:第三確定子模塊;
第三確定子模塊,用于當所述至少兩個電子設備中的部分電子設備發(fā)生運動時,確定所述同一時刻拍攝的各個目標圖像幀中存在需要進行矯正的目標圖像幀;
則矯正子模塊,具體用于通過所述發(fā)生運動的電子設備的傳感器數(shù)據(jù)確定所述發(fā)生運動的電子設備的運動參數(shù),并基于所述發(fā)生運動的電子設備的運動參數(shù)對所述發(fā)生運動的電子設備拍攝的所述目標圖像幀進行矯正。
上述實施例提供的視頻圖像處理裝置還可以包括:判斷單元和補償單元。其中:
判斷單元,用于分別判斷各個目標圖像幀序列中是否存在第一目標圖像幀,其中,目標圖像幀與相鄰目標圖像幀的差值大于預設值。
補償單元,用于當判斷單元判斷出目標圖像幀序列中存在第一目標圖像幀時,用第一目標圖像幀的相鄰目標圖像幀或者其它電子設備同一時刻拍攝的目標圖像幀補償?shù)谝荒繕藞D像幀。
本說明書中各個實施例采用遞進的方式描述,每個實施例重點說明的都是與其他實施例的不同之處,各個實施例之間相同相似部分互相參見即可。
在本申請所提供的幾個實施例中,應該理解到,所揭露的方法、裝置和設備,可以通過其它的方式實現(xiàn)。例如,以上所描述的裝置實施例僅僅是示意性的,例如,所述模塊的劃分,僅僅為一種邏輯功能劃分,實際實現(xiàn)時可以有另外的劃分方式,例如多個模塊或組件可以結合或者可以集成到另一個系統(tǒng),或一些特征可以忽略,或不執(zhí)行。另一點,所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些通信接口,裝置或模塊的間接耦合或通信連接,可以是電性,機械或其它的形式。
所述作為分離部件說明的模塊可以是或者也可以不是物理上分開的,作為模塊顯示的部件可以是或者也可以不是物理模塊,即可以位于一個地方,或者也可以分布到多個網(wǎng)絡模塊上??梢愿鶕?jù)實際的需要選擇其中的部分或者全部模塊來實現(xiàn)本實施例方案的目的。另外,在本發(fā)明各個實施例中的各功能模塊可以集成在一個處理模塊中,也可以是各個模塊單獨物理存在,也可以兩個或兩個以上模塊集成在一個模塊中。
所述功能如果以軟件功能模塊的形式實現(xiàn)并作為獨立的產品銷售或使用時,可以存儲在一個計算機可讀取存儲介質中?;谶@樣的理解,本發(fā)明的技術方案本質上或者說對現(xiàn)有技術做出貢獻的部分或者該技術方案的部分可以以軟件產品的形式體現(xiàn)出來,該計算機軟件產品存儲在一個存儲介質中,包括若干指令用以使得一臺計算機設備(可以是個人計算機,服務器,或者網(wǎng)絡設備等)執(zhí)行本發(fā)明各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括:U盤、移動硬盤、只讀存儲器(ROM,Read-Only Memory)、隨機存取存儲器(RAM,Random Access Memory)、磁碟或者光盤等各種可以存儲程序代碼的介質。
對所公開的實施例的上述說明,使本領域專業(yè)技術人員能夠實現(xiàn)或使用本發(fā)明。對這些實施例的多種修改對本領域的專業(yè)技術人員來說將是顯而易見的,本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下,在其它實施例中實現(xiàn)。因此,本發(fā)明將不會被限制于本文所示的這些實施例,而是要符合與本文所公開的原理和新穎特點相一致的最寬的范圍。