本技術(shù)涉及計(jì)算機(jī)視覺，特別涉及一種在視頻中追蹤點(diǎn)的方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、目前普遍是通過光流估計(jì)來對(duì)視頻中的點(diǎn)進(jìn)行追蹤，以確定點(diǎn)的移動(dòng)軌跡。但是，在通過光流估計(jì)在進(jìn)行點(diǎn)追蹤時(shí)，當(dāng)被追蹤點(diǎn)在一幀圖像幀中被其他無法物體時(shí)，無法通過對(duì)該圖像幀與其前一圖像幀進(jìn)行光流來估計(jì)被追蹤點(diǎn)在該圖像幀中的位置，導(dǎo)致追蹤中斷，從而無法實(shí)現(xiàn)點(diǎn)的長(zhǎng)時(shí)間追蹤。

2、因而現(xiàn)有技術(shù)還有待改進(jìn)和提高。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)要解決的技術(shù)問題在于，針對(duì)現(xiàn)有技術(shù)的不足，提供一種在視頻中追蹤點(diǎn)的方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

2、為了解決上述技術(shù)問題，本技術(shù)第一方面提供了一種在視頻中追蹤點(diǎn)的方法，其中，所述的在視頻中追蹤點(diǎn)的具體包括：

3、響應(yīng)點(diǎn)選取操作，在視頻中選取被追蹤點(diǎn)；

4、構(gòu)造所述被追蹤點(diǎn)在所述視頻中的每張視頻幀中的初始點(diǎn)查詢，其中，所述初始點(diǎn)查詢包括初始語義特征和初始位置；

5、基于所述視頻中的每張視頻幀的深度特征圖以及被追蹤點(diǎn)在每張視頻幀中的初始點(diǎn)查詢，通過解碼模塊確定被追蹤點(diǎn)在每張視頻幀中的目標(biāo)點(diǎn)查詢，以追蹤所述被追蹤點(diǎn)，其中，所述目標(biāo)點(diǎn)查詢包括目標(biāo)語義特征和目標(biāo)位置。

6、所述的在視頻中追蹤點(diǎn)的方法，其中，所述被追蹤點(diǎn)為用戶在所述視頻中至少一張視頻幀上確定的至少一個(gè)被追蹤點(diǎn)。

7、所述的在視頻中追蹤點(diǎn)的方法，其中，所述構(gòu)造所述被追蹤點(diǎn)在所述視頻中的每張視頻幀中的初始點(diǎn)查詢具體包括：

8、讀取所述被追蹤點(diǎn)對(duì)應(yīng)的起始視頻幀；

9、獲取所述被追蹤點(diǎn)在所述起始視頻幀中的初始位置，基于所述初始位置及所述起始視頻幀的深度特征圖確定所述被追蹤點(diǎn)在所述起始視頻幀中的初始語義特征，以及基于所述初始語義特征和所述初始位置構(gòu)造所述被追蹤點(diǎn)的在所述起始視頻幀中的初始點(diǎn)查詢；

10、將被追蹤點(diǎn)在起始視頻幀中的初始點(diǎn)查詢作為被追蹤點(diǎn)在所述視頻中的每張視頻幀中的初始點(diǎn)查詢，以得到被追蹤點(diǎn)在所述視頻中的每張視頻幀中的初始點(diǎn)查詢。

11、所述的在視頻中追蹤點(diǎn)的方法，其中，所述起始視頻幀為被執(zhí)行點(diǎn)選取操作的視頻幀，或者是，所述起始視頻幀為用戶在所述視頻中選取的任意一張視頻幀。

12、所述的在視頻中追蹤點(diǎn)的方法，其中，所述起始視頻幀的深度特征圖包括若干圖像尺度不同的深度特征圖，所述的基于所述初始位置及所述起始視頻幀的深度特征圖確定所述被追蹤點(diǎn)在所述起始視頻幀中的初始語義特征具體包括：

13、分別在每個(gè)圖像尺度的深度特征圖中采樣初始位置對(duì)應(yīng)的深度特征；

14、將采樣得到的所有深度特征進(jìn)行融合，得到被追蹤點(diǎn)的初始語義特征。

15、所述的在視頻中追蹤點(diǎn)的方法，其中，所述基于所述視頻中的每張視頻幀的深度特征圖以及被追蹤點(diǎn)在每張視頻幀中的初始點(diǎn)查詢，通過解碼模塊確定被追蹤點(diǎn)在每張視頻幀中的目標(biāo)點(diǎn)查詢具體包括：

16、對(duì)于每張視頻幀，基于被追蹤點(diǎn)在所述視頻幀中的初始位置在所述視頻幀的深度特征圖中進(jìn)行至少一次位置偏移采樣，以得到被追蹤點(diǎn)對(duì)應(yīng)的至少一個(gè)位置偏移采樣視覺特征；

17、基于各位置偏移采樣視覺特征和被追蹤點(diǎn)在所述視頻幀中的初始語義特征，確定各位置偏移采樣視覺特征的注意力權(quán)重；

18、基于各位置偏移采樣視覺特征的注意力權(quán)重，通過所述解碼模塊中的互注意力機(jī)制更新被追蹤點(diǎn)在所述視頻幀中的初始點(diǎn)查詢，并根據(jù)更新后的初始點(diǎn)查詢確定被追蹤點(diǎn)在所述視頻幀中的目標(biāo)點(diǎn)查詢。

19、所述的在視頻中追蹤點(diǎn)的方法，其中，所述基于被追蹤點(diǎn)在所述視頻幀中的初始位置在所述視頻幀的深度特征圖中進(jìn)行至少一次位置偏移采樣，以得到被追蹤點(diǎn)對(duì)應(yīng)的至少一個(gè)位置偏移采樣視覺特征具體包括：

20、獲取被追蹤點(diǎn)所屬的分割區(qū)域，基于所述分割區(qū)域確定所述被追蹤點(diǎn)的移動(dòng)規(guī)律；

21、基于所述移動(dòng)規(guī)律確定所述被追蹤點(diǎn)的至少一個(gè)位置偏移，并按照各位置偏移以及被追蹤點(diǎn)在所述視頻幀中的初始位置在所述視頻幀的深度特征圖中進(jìn)行位置偏移采樣，以得到被追蹤點(diǎn)對(duì)應(yīng)的至少一個(gè)位置偏移采樣視覺特征。

22、所述的在視頻中追蹤點(diǎn)的方法，其中，所述基于各位置偏移采樣視覺特征和被追蹤點(diǎn)在所述視頻幀中的初始語義特征，確定各位置偏移采樣視覺特征的注意力權(quán)重具體為：

23、分別計(jì)算各位置偏移采樣視覺特征與被追蹤點(diǎn)在所述視頻幀中的初始語義特征的相似度，以得到各位置偏移采樣視覺特征的注意力權(quán)重。

24、所述的在視頻中追蹤點(diǎn)的方法，其中，所述基于各位置偏移采樣視覺特征的注意力權(quán)重，通過所述解碼模塊中的互注意力機(jī)制更新被追蹤點(diǎn)在所述視頻幀中的初始點(diǎn)查詢，并根據(jù)更新后的初始點(diǎn)查詢確定被追蹤點(diǎn)在所述視頻幀中的目標(biāo)點(diǎn)查詢具體包括：

25、基于各位置偏移采樣視覺特征的注意力權(quán)重，通過解碼模塊中的互注意力機(jī)制更新被追蹤點(diǎn)在每張視頻幀中的初始語義特征和初始位置，以得到被追蹤點(diǎn)在所述視頻幀中的更新點(diǎn)查詢，其中，所述更新點(diǎn)查詢包括更新語義特征和更新位置；

26、將被追蹤點(diǎn)在所述視頻幀中的更新點(diǎn)查詢作為被追蹤點(diǎn)在所述視頻幀中的目標(biāo)點(diǎn)查詢。

27、所述的在視頻中追蹤點(diǎn)的方法，其中，所述基于各位置偏移采樣視覺特征的注意力權(quán)重，通過所述解碼模塊中的互注意力機(jī)制更新被追蹤點(diǎn)在所述視頻幀中的初始點(diǎn)查詢，并根據(jù)更新后的初始點(diǎn)查詢確定被追蹤點(diǎn)在所述視頻幀中的目標(biāo)點(diǎn)查詢具體包括：

28、基于各位置偏移采樣視覺特征的注意力權(quán)重，通過解碼模塊中的互注意力機(jī)制更新被追蹤點(diǎn)在所述視頻幀中的初始語義特征，以得到被追蹤點(diǎn)在所述視頻幀中的更新語義特征；

29、通過解碼模塊中的前饋網(wǎng)絡(luò)更新所述被追蹤點(diǎn)在所述視頻幀中的更新語義特征以及初始位置，得到被追蹤點(diǎn)在所述視頻幀中的目標(biāo)點(diǎn)查詢。

30、所述的在視頻中追蹤點(diǎn)的方法，其中，所述基于各位置偏移采樣視覺特征的注意力權(quán)重，通過所述解碼模塊中的互注意力機(jī)制更新被追蹤點(diǎn)在所述視頻幀中的初始點(diǎn)查詢，并根據(jù)更新后的初始點(diǎn)查詢確定被追蹤點(diǎn)在所述視頻幀中的目標(biāo)點(diǎn)查詢具體包括：

31、基于各位置偏移采樣視覺特征的注意力權(quán)重，通過解碼模塊中的互注意力機(jī)制更新被追蹤點(diǎn)在所述視頻幀中的初始語義特征和初始位置，以得到追蹤點(diǎn)在所述視頻幀中的更新點(diǎn)查詢，其中，所述更新點(diǎn)查詢包括更新語義特征和更新位置；

32、通過解碼模塊中的前饋網(wǎng)絡(luò)更新所述被追蹤點(diǎn)在所述視頻幀中的更新點(diǎn)查詢，得到被追蹤點(diǎn)在所述視頻幀中的目標(biāo)點(diǎn)查詢。

33、所述的在視頻中追蹤點(diǎn)的方法，其中，所述基于各位置偏移采樣視覺特征的注意力權(quán)重，通過解碼模塊中的互注意力機(jī)制更新被追蹤點(diǎn)在所述視頻幀中的初始語義特征具體包括：

34、基于各位置偏移采樣視覺特征的注意力權(quán)重將各位置偏移采樣視覺特征進(jìn)行加權(quán)，以得到采樣語義特征；

35、將所述采樣語義特征與被追蹤點(diǎn)在所述視頻幀中初始語義特征相加，以得到被追蹤點(diǎn)在所述視頻幀中的更新語義特征。

36、所述的在視頻中追蹤點(diǎn)的方法，其中，所述基于各位置偏移采樣視覺特征的注意力權(quán)重，通過解碼模塊中的互注意力機(jī)制更新被追蹤點(diǎn)在所述視頻幀中的初始位置具體包括：

37、基于各位置偏移采樣視覺特征的注意力權(quán)重，將各位置偏移采樣對(duì)應(yīng)的位置偏移進(jìn)行加權(quán)，以得到目標(biāo)位置偏移；

38、將所述目標(biāo)位置偏移和被追蹤點(diǎn)在所述視頻幀中的初始位置相加，以得到被追蹤點(diǎn)在所述視頻幀中的更新位置。

39、所述的在視頻中追蹤點(diǎn)的方法，其中，所述基于各位置偏移采樣視覺特征的注意力權(quán)重，通過解碼模塊中的互注意力機(jī)制更新被追蹤點(diǎn)在所述視頻幀中的初始語義特征之后，所述方法還包括：

40、將更新得到的更新語義特征通過時(shí)空注意力機(jī)制，或者是通過空間注意力機(jī)制和時(shí)間注意力機(jī)制中的至少一種進(jìn)行更新。

41、所述的在視頻中追蹤點(diǎn)的方法，其中，所述的解碼模塊包括若干解碼層，若干解碼層中的每一層解碼層的輸入項(xiàng)均為初始點(diǎn)查詢，其中，第一層解碼層的初始點(diǎn)查詢?yōu)楸蛔粉欬c(diǎn)在視頻幀中的初始點(diǎn)查詢，其他解碼層的初始點(diǎn)查詢?yōu)槠淝耙唤獯a層輸出的目標(biāo)點(diǎn)查詢。

42、所述的在視頻中追蹤點(diǎn)的方法，其中，所述基于所述視頻中的每張視頻幀的深度特征圖以及被追蹤點(diǎn)在每張視頻幀中的初始點(diǎn)查詢，通過解碼模塊確定被追蹤點(diǎn)在每張視頻幀中的目標(biāo)點(diǎn)查詢，以追蹤所述被追蹤點(diǎn)之前，所述方法還包括：

43、將所述視頻按照時(shí)序分為若干視頻幀組，其中，所述視頻中的每張視頻幀均至少包含于一個(gè)視頻幀組內(nèi)；

44、將所述每個(gè)視頻幀組作為一個(gè)待追蹤子視頻，并對(duì)每個(gè)待追蹤子視頻執(zhí)行基于所述待追蹤子視頻中的每張視頻幀的深度特征圖以及被追蹤點(diǎn)在每張視頻幀中的初始點(diǎn)查詢，通過解碼模塊確定被追蹤點(diǎn)在每張視頻幀中的目標(biāo)點(diǎn)查詢，以追蹤所述被追蹤點(diǎn)的步驟。

45、所述的在視頻中追蹤點(diǎn)的方法，其中，在對(duì)每個(gè)待追蹤子視頻執(zhí)行基于所述待追蹤子視頻中的每張視頻幀的深度特征圖以及被追蹤點(diǎn)在每張視頻幀中的初始點(diǎn)查詢，通過解碼模塊確定被追蹤點(diǎn)在每張視頻幀中的目標(biāo)點(diǎn)查詢，以追蹤所述被追蹤點(diǎn)的步驟之前，所述方法包括：

46、檢測(cè)當(dāng)前待追蹤子視頻與其前一個(gè)待追蹤子視頻是否存在重疊視頻幀；

47、若當(dāng)前待追蹤子視頻與其前一個(gè)待追蹤子視頻不存在重疊視頻幀，讀取被追點(diǎn)在前一個(gè)待追蹤子視頻中最后一幀視頻幀的第一目標(biāo)點(diǎn)查詢，并基于所述第一目標(biāo)點(diǎn)查詢作為被追蹤點(diǎn)在當(dāng)前待追蹤子視頻中的各視頻幀的初始點(diǎn)查詢；

48、若當(dāng)前待追蹤子視頻與其前一個(gè)待追蹤子視頻存在重疊視頻幀，讀取當(dāng)前待追蹤子視頻與前一個(gè)待追蹤子視頻間的重疊視頻幀，基于被追蹤點(diǎn)在重疊視頻幀中的第二目標(biāo)點(diǎn)查詢更新被追蹤點(diǎn)在當(dāng)前待追蹤子視頻中的各視頻幀的初始點(diǎn)查詢。

49、所述的在視頻中追蹤點(diǎn)的方法，其中，所述基于被追蹤點(diǎn)在重疊視頻幀中的第二目標(biāo)點(diǎn)查詢更新被追蹤點(diǎn)在當(dāng)前待追蹤子視頻中的各視頻幀的初始點(diǎn)查詢具體包括：

50、對(duì)于當(dāng)前被待追蹤子視頻中的每個(gè)重疊視頻幀，將被追蹤點(diǎn)在重疊視頻幀中的第二目標(biāo)點(diǎn)查詢作為被追蹤點(diǎn)在重疊視頻幀中的初始點(diǎn)查詢；

51、對(duì)于當(dāng)前待追蹤子視頻中的非重疊視頻幀，按照時(shí)序讀取重疊視頻幀中的最后一幀重疊視頻幀，并將被追蹤點(diǎn)在最后一幀重疊視頻幀中的第二目標(biāo)點(diǎn)查詢作為被追蹤點(diǎn)在各非重疊視頻幀中的初始點(diǎn)查詢。

52、所述的在視頻中追蹤點(diǎn)的方法，其中，所述的基于所述視頻中的每張視頻幀的深度特征圖以及被追蹤點(diǎn)在每張視頻幀中的初始點(diǎn)查詢，通過解碼模塊確定被追蹤點(diǎn)在每張視頻幀中的目標(biāo)點(diǎn)查詢，以追蹤所述被追蹤點(diǎn)之后，所述方法還包括：

53、基于所述被追蹤點(diǎn)在每張視頻幀中的目標(biāo)語義特征確定被追蹤點(diǎn)在每張視頻幀中的可見性類別，其中，可見性類別為可見或者不可見。

54、所述的在視頻中追蹤點(diǎn)的方法，其中，所述基于所述被追蹤點(diǎn)在每張視頻幀中的目標(biāo)語義特征確定被追蹤點(diǎn)在每張視頻幀中的可見性類別之后，所述方法包括：

55、按照被追蹤點(diǎn)在每張視頻幀中的可見性類別，基于被追蹤點(diǎn)在每張視頻幀中目標(biāo)位置在每張視頻幀中標(biāo)注被追蹤點(diǎn)，以顯示被追蹤點(diǎn)的移動(dòng)軌跡。本技術(shù)第二方面提供了一種在視頻中追蹤點(diǎn)的裝置，其中，所述的在視頻中追蹤點(diǎn)的裝置具體包括：

56、響應(yīng)模塊，用于響應(yīng)點(diǎn)選取操作，在視頻中選取被追蹤點(diǎn)；

57、構(gòu)造模塊，用于構(gòu)造所述被追蹤點(diǎn)在所述視頻中的每張視頻幀中的初始點(diǎn)查詢，其中，所述初始點(diǎn)查詢包括初始語義特征和初始位置；

58、控制模塊，用于基于所述視頻中的每張視頻幀的深度特征圖以及被追蹤點(diǎn)在每張視頻幀中的初始點(diǎn)查詢，通過解碼模塊確定被追蹤點(diǎn)在每張視頻幀中的目標(biāo)點(diǎn)查詢，以追蹤所述被追蹤點(diǎn)，其中，所述目標(biāo)點(diǎn)查詢包括目標(biāo)語義特征和目標(biāo)位置。

59、本技術(shù)第三方面提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有一個(gè)或者多個(gè)程序，所述一個(gè)或者多個(gè)程序可被一個(gè)或者多個(gè)處理器執(zhí)行，以實(shí)現(xiàn)如上任一所述的在視頻中追蹤點(diǎn)的方法中的步驟。

60、本技術(shù)第四方面提供了一種終端設(shè)備，其包括：處理器和存儲(chǔ)器；

61、所述存儲(chǔ)器上存儲(chǔ)有可被所述處理器執(zhí)行的計(jì)算機(jī)可讀程序；

62、所述處理器執(zhí)行所述計(jì)算機(jī)可讀程序時(shí)實(shí)現(xiàn)如上任一所述的在視頻中追蹤點(diǎn)的方法中的步驟。

63、有益效果：與現(xiàn)有技術(shù)相比，本技術(shù)提供了一種在視頻中追蹤點(diǎn)的方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，所述方法包括響應(yīng)點(diǎn)選取操作，在視頻中選取被追蹤點(diǎn)；構(gòu)造所述被追蹤點(diǎn)在所述視頻中的每張視頻幀中的初始點(diǎn)查詢；基于所述視頻中的每張視頻幀的深度特征圖以及被追蹤點(diǎn)在每張視頻幀中的初始點(diǎn)查詢，通過解碼模塊確定被追蹤點(diǎn)在每張視頻幀中的目標(biāo)點(diǎn)查詢，以追蹤所述被追蹤點(diǎn)。本技術(shù)在每張視頻幀中為被追蹤點(diǎn)構(gòu)造包括語義特征和位置信息的初始點(diǎn)查詢，然后基于每張視頻幀的深度特征圖以及各初始點(diǎn)查詢并行地確定被追蹤點(diǎn)在每張視頻幀中的目標(biāo)點(diǎn)查詢，以同時(shí)將被追蹤點(diǎn)從每幀視頻幀中檢測(cè)出現(xiàn)，這樣可以避免追蹤點(diǎn)被遮擋時(shí)無法繼續(xù)穩(wěn)定追蹤的問題。同時(shí)，本技術(shù)可以對(duì)視頻中的所有視頻幀并行地進(jìn)行追蹤，提高了點(diǎn)追蹤效率。