技術(shù)特征:1.一種局部語義增強編碼器,其特征在于,包括:
2.根據(jù)權(quán)利要求1所述的局部語義增強編碼器,其特征在于,所述窗口定位模塊包括:
3.根據(jù)權(quán)利要求1所述的局部語義增強編碼器,其特征在于,還包括:
4.一種窗口語義增強transformer塊,其特征在于,包括:
5.根據(jù)權(quán)利要求4所述的窗口語義增強transformer塊,其特征在于,所述標準編碼器包括依次連接的第三層歸一化模塊、多頭注意力模塊、第四層歸一化模塊和第二多層感知機。
6.根據(jù)權(quán)利要求5所述的窗口語義增強transformer塊,其特征在于:
7.一種航拍視頻分類模型,其特征在于,包括:
8.根據(jù)權(quán)利要求7所述的航拍視頻分類模型,其特征在于,所述全局局部自融和transformer塊,包括:
9.根據(jù)權(quán)利要求8所述的航拍視頻分類模型,其特征在于,所述自融合注意力模塊包括:
10.一種航拍視頻分類方法,其特征在于,包括:
技術(shù)總結(jié)本發(fā)明公開了一種局部語義增強編碼器、窗口語義增強Transformer塊、航拍視頻分類模型及方法。編碼器包括窗口定位模塊和窗口時間多頭自注意力模塊。窗口定位模塊采用與局部窗口大小相同的無填充卷積核計算輸入的視頻特征的特征響應(yīng),并以此確定視頻特征中特性響應(yīng)最大的關(guān)鍵窗口區(qū)域,進而剝離出關(guān)鍵窗口區(qū)域內(nèi)的局部視頻特征。窗口時間多頭自注意力模塊計算出局部視頻特征的窗口時間多頭自注意力,并通過殘差塊將窗口時間多頭自注意力加入視頻特征中。如此不僅排除對運動信息不敏感的背景信息,避免對過長的視頻序列計算自注意力所導(dǎo)致的計算量過高,提高了航拍視頻識別的效率。還增強了航拍視頻的局部運動信息,提高了后續(xù)航拍視頻識別的準確率。
技術(shù)研發(fā)人員:舒文強,蒲藝,倪千堯,黃嵩,周伯通,楊烽,丁憶,李朋龍,鄭中,范文武,陳陽,艾道驊,趙雪然,盧建洪,李宇晗
受保護的技術(shù)使用者:重慶市地理信息和遙感應(yīng)用中心(重慶市測繪產(chǎn)品質(zhì)量檢驗測試中心)
技術(shù)研發(fā)日:技術(shù)公布日:2025/1/2