本發(fā)明涉及安全管控，特別涉及一種油田視頻識(shí)別中空間縱深距離信息判定方法。

背景技術(shù)：

1、目標(biāo)識(shí)別技術(shù)一直是計(jì)算機(jī)視覺領(lǐng)域中重要的一環(huán)，隨著深度學(xué)習(xí)技術(shù)的成熟應(yīng)用，許多代表性的檢測(cè)算法已經(jīng)被開發(fā)，如r-cnn、fast?r-cnn、faster?r-cnn、r-fcn和fpn。然而油田的違章行為識(shí)別涉及到與距離相關(guān)的諸多風(fēng)險(xiǎn)。如人進(jìn)入動(dòng)土作業(yè)旋轉(zhuǎn)半徑、氧氣瓶與乙炔瓶間隔距離限制等。這使得基于二維平面圖像進(jìn)行目標(biāo)檢測(cè)識(shí)別的算法識(shí)別精度受限，因?yàn)閭鹘y(tǒng)的二維圖像識(shí)別算法無(wú)法獲取深度空間的距離信息。其他領(lǐng)域如無(wú)人駕駛等均使用多攝像頭交互判定距離信息的方法解決這一難題，但是油田施工場(chǎng)景的攝像頭部署并不滿足對(duì)應(yīng)領(lǐng)域的設(shè)備要求。

技術(shù)實(shí)現(xiàn)思路

1、為了對(duì)披露的實(shí)施例的一些方面有一個(gè)基本的理解，下面給出了簡(jiǎn)單的概括。該概括部分不是泛泛評(píng)述，也不是要確定關(guān)鍵/重要組成元素或描繪這些實(shí)施例的保護(hù)范圍。其唯一目的是用簡(jiǎn)單的形式呈現(xiàn)一些概念，以此作為后面的詳細(xì)說明的序言。

2、本發(fā)明提出了一種油田視頻識(shí)別中空間縱深距離信息判定方法，目的在于解決現(xiàn)有技術(shù)無(wú)法獲取油田目標(biāo)物深度信息的限制，以提高油田施工場(chǎng)景下的目標(biāo)物識(shí)別精度和安全行為管控能力。

3、本發(fā)明提出了一種油田視頻識(shí)別中空間縱深距離信息判定方法，其改進(jìn)之處在于，包括：

4、(1)通過獲取油田作業(yè)視頻圖像中的點(diǎn)云密集像素點(diǎn)，建立油田作業(yè)場(chǎng)景圖像語(yǔ)義一致性正則化；

5、(2)獲取油田作業(yè)視頻圖像中的信息要素并建立油田作業(yè)場(chǎng)景圖像基于語(yǔ)義指導(dǎo)的時(shí)空一致性正則化；

6、(3)通過油田作業(yè)視頻圖像中距離判定確定空間縱深距離信息判定。

7、優(yōu)選的，所述步驟(1)包括

8、(1-2)建立油田作業(yè)視頻圖像中密集的像素點(diǎn)對(duì)應(yīng)關(guān)系，并通過像素點(diǎn)對(duì)將圖像中對(duì)應(yīng)目標(biāo)信息傳輸?shù)近c(diǎn)云上；

9、(1-2)將像素-文本對(duì)轉(zhuǎn)換為點(diǎn)-文本對(duì)利用文本語(yǔ)義選擇對(duì)比學(xué)習(xí)的正負(fù)點(diǎn)樣本，并采用損失函數(shù)公式ls_info建立語(yǔ)義一致性正則化；

10、(1-3)將點(diǎn)云上信息中的密集像素對(duì)與文本對(duì)齊，獲取油田作業(yè)視頻圖像中的點(diǎn)云密集像素點(diǎn)。

11、進(jìn)一步的，所述步驟(1-1)包括使用由六個(gè)相機(jī)捕捉的對(duì)應(yīng)圖像來校準(zhǔn)lidar點(diǎn)云。

12、進(jìn)一步的，所述使用由六個(gè)相機(jī)捕捉的對(duì)應(yīng)圖像來校準(zhǔn)lidar點(diǎn)云包括獲得密集的像素點(diǎn)對(duì)應(yīng)關(guān)系其中，xi和pi分別表示由clip的圖像編碼器和3d網(wǎng)絡(luò)提取的第i個(gè)成對(duì)圖像特征和點(diǎn)特征，m為成對(duì)的數(shù)量。

13、優(yōu)選的，所述步驟(1-2)包括通過使用maskclip算法生成密集像素-文本對(duì)利用文本語(yǔ)義來選擇對(duì)比學(xué)習(xí)的正負(fù)點(diǎn)樣本，并采用損失函數(shù)公式ls_info進(jìn)行處理；

14、其中，ti是clip的文本編碼器生成的文本嵌入，將像素-文本對(duì)轉(zhuǎn)換為點(diǎn)-文本對(duì)

15、進(jìn)一步的，所述損失函數(shù)公式ls_info如下：

16、

17、其中，ti∈c表示ti由第c類名稱生成，c是類的數(shù)量，d表示標(biāo)量乘法操作，τ是溫度參數(shù)τ＞0。

18、優(yōu)選的，所述步驟(2)包括

19、(2-1)給定一張圖像i和時(shí)間上連續(xù)的lidar點(diǎn)云其中，k是在s秒內(nèi)掃描的次數(shù)；

20、(2-2)將圖像與點(diǎn)云p1的第一幀通過像素-點(diǎn)對(duì)進(jìn)行匹配；

21、(2-3)通過校準(zhǔn)矩陣將其余點(diǎn)云與第一幀對(duì)齊，并將它們映射到圖像上；

22、(2-4)在短時(shí)間內(nèi)即可獲得所有像素-點(diǎn)-文本對(duì)

23、(2-5)將整個(gè)拼接的點(diǎn)云分成規(guī)則的網(wǎng)格其中，時(shí)間上連續(xù)的點(diǎn)位于同一個(gè)網(wǎng)格中；

24、(2-6)在各個(gè)網(wǎng)格內(nèi)施加時(shí)空一致性約束：

25、

26、其中，lssr為損失函數(shù)，表示像素點(diǎn)對(duì)位于第n個(gè)網(wǎng)格中，是由語(yǔ)義引導(dǎo)的跨模態(tài)融合特征，其具體公式為：

27、

28、其中和是通過以下公式來計(jì)算的注意力權(quán)重，λ是溫度參數(shù)：

29、

30、

31、(2-7)將圖像與文本實(shí)現(xiàn)對(duì)齊，得到油田作業(yè)視頻圖像中的信息要素。

32、優(yōu)選的，所述步驟(3)包括

33、(3-1)根據(jù)步驟(1-2)的損失函數(shù)ls_info和步驟(2-6)的損失函數(shù)lssr進(jìn)行端到端的整個(gè)網(wǎng)絡(luò)訓(xùn)練，形成lidar點(diǎn)云與二維信息點(diǎn)的空間對(duì)齊；

34、(3-2)對(duì)于視頻識(shí)別中2個(gè)目標(biāo)物t1與t2間距離計(jì)算，通過其像素-點(diǎn)-文本對(duì)獲得各自對(duì)應(yīng)的點(diǎn)云p1與p2，通過點(diǎn)云間距離值返回得出目標(biāo)物t1與t2的空間間距；

35、(3-3)將油田作業(yè)視頻圖像中距離判定，換算成點(diǎn)云上中的相應(yīng)距離。

36、本發(fā)明實(shí)施例提供的技術(shù)方案可以包括以下有益效果：

37、本發(fā)明通過融合點(diǎn)云圖像映射技術(shù)獲取油田視頻識(shí)別中空間縱深距離信息，在挖掘臂半徑內(nèi)站人、起重機(jī)半徑內(nèi)站人、動(dòng)火設(shè)備間距異常、上下交叉作業(yè)和人站在油管排上與距離相關(guān)的違章行為識(shí)別模式中起到了很好的精度提升率。

38、本發(fā)明將像素-文本對(duì)轉(zhuǎn)換為點(diǎn)-文本對(duì)并利用文本語(yǔ)義來選擇對(duì)比學(xué)習(xí)的正負(fù)點(diǎn)樣本，同時(shí)提出新的損失函數(shù)公式ls_info，這樣本發(fā)明中具有相同語(yǔ)義的點(diǎn)將受到限制靠近相同的文本嵌入，具有不同語(yǔ)義的點(diǎn)將被推開，從而解決了現(xiàn)有點(diǎn)云-像素跨模態(tài)的不足。將損失函數(shù)ls_info和lssr組合，端到端地訓(xùn)練整個(gè)網(wǎng)絡(luò)，進(jìn)一步提出隨機(jī)切換成對(duì)圖像像素標(biāo)簽和它們自己的預(yù)測(cè)的點(diǎn)標(biāo)簽的自我訓(xùn)練方式。僅用自己的預(yù)測(cè)訓(xùn)練3d網(wǎng)絡(luò)即可獲得令人滿意的性能。這種可切換的自我訓(xùn)練策略通過切換點(diǎn)偽標(biāo)簽增加了正負(fù)樣本的數(shù)量，更有利于跨模態(tài)知識(shí)蒸餾提取。

39、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本發(fā)明。

技術(shù)特征：

1.一種油田視頻識(shí)別中空間縱深距離信息判定方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的一種油田視頻識(shí)別中空間縱深距離信息判定方法，其特征在于，所述步驟(1)包括

3.根據(jù)權(quán)利要求2所述的一種油田視頻識(shí)別中空間縱深距離信息判定方法，其特征在于，所述步驟(1-1)包括使用由六個(gè)相機(jī)捕捉的對(duì)應(yīng)圖像來校準(zhǔn)lidar點(diǎn)云。

4.根據(jù)權(quán)利要求3所述的一種油田視頻識(shí)別中空間縱深距離信息判定方法，其特征在于，所述使用由六個(gè)相機(jī)捕捉的對(duì)應(yīng)圖像來校準(zhǔn)lidar點(diǎn)云包括獲得密集的像素點(diǎn)對(duì)應(yīng)關(guān)系其中，xi和pi分別表示由clip的圖像編碼器和3d網(wǎng)絡(luò)提取的第i個(gè)成對(duì)圖像特征和點(diǎn)特征，m為成對(duì)的數(shù)量。

5.根據(jù)權(quán)利要求2所述的一種油田視頻識(shí)別中空間縱深距離信息判定方法，其特征在于，所述步驟(1-2)包括通過使用maskclip算法生成密集像素-文本對(duì)利用文本語(yǔ)義來選擇對(duì)比學(xué)習(xí)的正負(fù)點(diǎn)樣本，并采用損失函數(shù)公式ls_info進(jìn)行處理；

6.根據(jù)權(quán)利要求5所述的一種油田視頻識(shí)別中空間縱深距離信息判定方法，其特征在于，所述損失函數(shù)公式ls_info如下：

7.根據(jù)權(quán)利要求1所述的一種油田視頻識(shí)別中空間縱深距離信息判定方法，其特征在于，所述步驟(2)包括

8.根據(jù)權(quán)利要求1所述的一種油田視頻識(shí)別中空間縱深距離信息判定方法，其特征在于，所述步驟(3)包括

技術(shù)總結(jié)
本發(fā)明提供一種油田視頻識(shí)別中空間縱深距離信息判定方法，包括：通過獲取油田作業(yè)視頻圖像中的點(diǎn)云密集像素點(diǎn)，建立油田作業(yè)場(chǎng)景圖像語(yǔ)義一致性正則化；獲取油田作業(yè)視頻圖像中的信息要素并建立油田作業(yè)場(chǎng)景圖像基于語(yǔ)義指導(dǎo)的時(shí)空一致性正則化；通過油田作業(yè)視頻圖像中距離判定確定空間縱深距離信息判定。本發(fā)明利用CLIP和3D網(wǎng)絡(luò)分別提取文本嵌入、圖像像素特征和點(diǎn)特征，構(gòu)建正樣本和負(fù)樣本，通過將點(diǎn)特征對(duì)應(yīng)的文本嵌入上來施加語(yǔ)義一致性正則化，通過強(qiáng)制時(shí)空上連貫的點(diǎn)特征與它們對(duì)應(yīng)的像素特征之間的一致性來應(yīng)用時(shí)空一致性正則化。通過融合點(diǎn)云圖像映射技術(shù)獲取油田視頻識(shí)別中空間縱深距離信息。

技術(shù)研發(fā)人員：蘇雪松,齊靜靜,黃珊,劉佳,王美,董輝,楊欣欣,王凱月,王逸飛,李慧穎
受保護(hù)的技術(shù)使用者：中國(guó)石油化工股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26