本技術(shù)涉及計算機領(lǐng)域,具體涉及一種視頻處理方法、裝置、設(shè)備和計算機可讀存儲介質(zhì)。
背景技術(shù):
1、隨著無人機技術(shù)和人工智能技術(shù)的不斷發(fā)展,通過無人機采集到的視頻數(shù)據(jù)進行動作識別應(yīng)用場景越來越廣泛,如智慧城市、公共安全、無人零售等領(lǐng)域。
2、目前,無人機采集到的視頻數(shù)據(jù)后,需要將視頻數(shù)據(jù)進行編碼,并將視頻編碼數(shù)據(jù)發(fā)送給云端,以使得云端進行后續(xù)的識別處理。然而,針對動作識別任務(wù)的視頻數(shù)據(jù)量非常龐大,視頻編碼數(shù)據(jù)的數(shù)據(jù)量也很大,傳輸過程中不僅帶來了網(wǎng)絡(luò)負荷壓力,而且也影響了實時性和準確性。
3、因此,如何減小視頻編碼數(shù)據(jù)的數(shù)據(jù)量是亟待解決的問題。
技術(shù)實現(xiàn)思路
1、為解決上述技術(shù)問題,本技術(shù)的實施例提供了一種視頻處理方法、裝置、設(shè)備以及計算機可讀存儲介質(zhì),可以減小視頻編碼數(shù)據(jù)的數(shù)據(jù)量。
2、其中,本技術(shù)所采用的技術(shù)方案為:
3、一種視頻處理方法,包括:
4、檢測視頻數(shù)據(jù)包含的圖像幀中含有的檢測對象,得到包含所述檢測對象的對象檢測框;
5、對所述視頻數(shù)據(jù)進行畫面組分組處理,得到連續(xù)的多個視頻幀組;其中,每個視頻幀組中包含關(guān)鍵幀和多個非關(guān)鍵幀;
6、基于所述對象檢測框?qū)γ總€視頻幀組中的非關(guān)鍵幀進行裁剪,相應(yīng)得到裁剪后的非關(guān)鍵幀,并基于所述關(guān)鍵幀對同一視頻幀組中裁剪后的非關(guān)鍵幀進行背景填充,相應(yīng)得到處理后的視頻幀組;
7、基于處理后的視頻幀組進行編碼,得到視頻編碼數(shù)據(jù)。
8、一種視頻處理裝置,包括:
9、處理單元,用于檢測視頻數(shù)據(jù)包含的圖像幀中含有的檢測對象,得到包含所述檢測對象的對象檢測框;
10、分組單元,用于對所述視頻數(shù)據(jù)進行畫面組分組處理,得到連續(xù)的多個視頻幀組;其中,每個視頻幀組中包含關(guān)鍵幀和多個非關(guān)鍵幀;
11、裁剪單元,用于基于所述對象檢測框?qū)γ總€視頻幀組中的非關(guān)鍵幀進行裁剪,相應(yīng)得到裁剪后的非關(guān)鍵幀,并基于所述關(guān)鍵幀對同一視頻幀組中裁剪后的非關(guān)鍵幀進行背景填充,相應(yīng)得到處理后的視頻幀組;
12、編碼單元,用于基于處理后的視頻幀組進行編碼,得到視頻編碼數(shù)據(jù)。
13、在本技術(shù)的一個實施例中,基于前述方案,所述處理單元,還用于從所述關(guān)鍵幀中提取得到背景信息;通過所述背景信息對同一視頻幀組中裁剪后的非關(guān)鍵幀進行背景填充,相應(yīng)得到填充后的非關(guān)鍵幀;其中,填充后的非關(guān)鍵幀的圖像尺寸與所述關(guān)鍵幀的圖像尺寸相同;基于所述關(guān)鍵幀和同一視頻幀組中填充后的非關(guān)鍵幀生成處理后的視頻幀組。
14、在本技術(shù)的一個實施例中,基于前述方案,所述處理單元,還用于基于所述背景信息生成填充模板,所述填充模板的圖像尺寸與所述背景信息的圖像尺寸相同;通過所述填充模板對裁剪后的非關(guān)鍵幀進行背景填充,相應(yīng)得到填充后的非關(guān)鍵幀。
15、在本技術(shù)的一個實施例中,基于前述方案,所述處理單元,還用于將處于同一圖像幀中的對象檢測框連通,得到對應(yīng)圖像幀中含有的連通區(qū)域;所述裁剪單元,還用于基于圖像幀中含有的所述連通區(qū)域?qū)λ雒總€視頻幀組中的非關(guān)鍵幀進行裁剪,得到裁剪后的非關(guān)鍵幀。
16、在本技術(shù)的一個實施例中,基于前述方案,所述處理單元,還用于從所述關(guān)鍵幀包含的連通區(qū)域中提取得到時間冗余信息;所述編碼單元,還用于基于所述時間冗余信息對同一視頻幀組中含有的填充后的非關(guān)鍵幀進行編碼,得到編碼后的非關(guān)鍵幀數(shù)據(jù);所述處理單元,還用于基于編碼后的關(guān)鍵幀數(shù)據(jù)和所述編碼后的非關(guān)鍵幀數(shù)據(jù)生成所述視頻編碼數(shù)據(jù)。
17、在本技術(shù)的一個實施例中,基于前述方案,所述處理單元,還用于從所述填充后的非關(guān)鍵幀包含的連通區(qū)域中提取得到空間冗余信息;所述編碼單元,還用于基于所述時間冗余信息和所述空間冗余信息對相應(yīng)填充后的非關(guān)鍵幀進行編碼,得到所述編碼后的非關(guān)鍵幀數(shù)據(jù)。
18、在本技術(shù)的一個實施例中,基于前述方案,所述處理單元,還用于提取填充后的非關(guān)鍵幀中含有的連通區(qū)域的像素信息;所述編碼單元,還用于基于所述時間冗余信息和所述空間冗余信息對所述連通區(qū)域的像素信息進行編碼處理,得到所述編碼后的非關(guān)鍵幀數(shù)據(jù)。
19、在本技術(shù)的一個實施例中,基于前述方案,處于同一圖像幀中的對象檢測框的數(shù)量為兩個;所述處理單元,還用于在每個對象檢測框上分別確定兩個角點;基于所確定的角點生成多邊形框,將所述多邊形框所在的圖像區(qū)域作為所述連通區(qū)域。
20、在本技術(shù)的一個實施例中,基于前述方案,處于同一圖像幀中的對象檢測框的數(shù)量為多個;所述處理單元,還用于在同一圖像幀中檢測出包含多個對象檢測框的最小圓圈區(qū)域,并將所述最小圓圈區(qū)域作為所述連通區(qū)域。
21、在本技術(shù)的一個實施例中,基于前述方案,所述處理單元,還用于對所述視頻數(shù)據(jù)中的圖像幀包含的檢測對象進行特征檢測,得到所述檢測對象的位置信息和身形信息;基于所述位置信息和所述身形信息確定所述檢測對象對應(yīng)的對象檢測框的位置和尺寸;基于所述位置和所述尺寸生成所述對象檢測框。
22、一種視頻處理系統(tǒng),所述系統(tǒng)包括第一設(shè)備和第二設(shè)備,其中:
23、所述第一設(shè)備中的分組單元,用于對視頻數(shù)據(jù)進行畫面組分組處理,得到連續(xù)的多個視頻幀組,每個視頻幀組中包含關(guān)鍵幀和多個非關(guān)鍵幀,并且,裁剪單元,用于基于所述視頻數(shù)據(jù)中的圖像幀包含的對象檢測框,對每個視頻幀組中的非關(guān)鍵幀進行裁剪,相應(yīng)得到裁剪后的非關(guān)鍵幀,以及,處理單元,用于基于所述關(guān)鍵幀對同一視頻幀組中裁剪后的非關(guān)鍵幀進行背景填充,相應(yīng)得到處理后的視頻幀組;
24、所述第一設(shè)備中的編碼單元,用于基于處理后的視頻幀組進行編碼,得到視頻編碼數(shù)據(jù),并將所述視頻編碼數(shù)據(jù)發(fā)送至所述第二設(shè)備;
25、所述第二設(shè)備接收所述視頻編碼數(shù)據(jù),并且,所述處理單元,還用于對所述視頻編碼數(shù)據(jù)進行解碼,得到視頻解碼數(shù)據(jù)。
26、在本技術(shù)的一個實施例中,基于前述方案,所述第二設(shè)備中的所述處理單元,還用于從所述視頻編碼數(shù)據(jù)中解析出每個視頻幀組中含有的裁剪后的非關(guān)鍵幀、關(guān)鍵幀和所述關(guān)鍵幀中的連通區(qū)域,并基于所述關(guān)鍵幀和所述連通區(qū)域?qū)ν灰曨l幀組中的裁剪后的非關(guān)鍵幀進行背景填充,以得到所述視頻解碼數(shù)據(jù)。
27、一種視頻處理設(shè)備,包括處理器及存儲器,存儲器上存儲有計算機可讀指令,計算機可讀指令被處理器執(zhí)行時實現(xiàn)如上的視頻處理方法。
28、一種計算機可讀存儲介質(zhì),其上存儲有計算機可讀指令,當計算機可讀指令被計算機的處理器執(zhí)行時,使計算機執(zhí)行如上的視頻處理方法。
29、一種計算機程序產(chǎn)品,包括計算機可讀指令,計算機可讀指令被處理器執(zhí)行時實現(xiàn)如上的視頻處理方法。
30、在上述技術(shù)方案中:
31、基于對象檢測框?qū)γ總€視頻幀組中的非關(guān)鍵幀進行裁剪,可以去除掉非關(guān)鍵幀中的背景信息,保留對象檢測框內(nèi)的圖像信息,減小了非關(guān)鍵幀編碼的數(shù)據(jù)量,進而減小了視頻編碼數(shù)據(jù)的數(shù)據(jù)量。并且在編碼時,基于關(guān)鍵幀對同一視頻幀組中裁剪后的非關(guān)鍵幀進行背景填充,這樣,背景填充后的非關(guān)鍵幀的圖像尺寸就可以和關(guān)鍵幀的圖像尺寸保持一致,使得每個視頻幀組中的每個圖像幀的尺寸一致,從而符合編碼協(xié)議對于視頻幀組中圖像的尺寸要求。
32、應(yīng)當理解的是,以上的一般描述和后文的細節(jié)描述僅是示例性和解釋性的,并不能限制本技術(shù)。