本技術涉及計算機,尤其涉及一種攝像頭異常檢測方法及裝置。
背景技術:
1、隨著自動駕駛系統(tǒng)和高級駕駛輔助系統(tǒng)的不斷發(fā)展,車輛的環(huán)境感知能力已經(jīng)成為影響行車安全的重要因素之一。
2、為了實現(xiàn)全方位的環(huán)境感知,車輛通常會在多個位置安裝攝像頭,例如,前視攝像頭、后視攝像頭、左視攝像頭以及右視攝像頭等。
3、這些攝像頭不僅幫助車輛識別道路、行人以及障礙物,還在泊車輔助、車道保持以及盲區(qū)監(jiān)控等方面發(fā)揮著重要作用。
4、然而,由于車輛長期處于戶外環(huán)境中,攝像頭上容易粘連雨水、灰塵、泥土以及雪花等,導致攝像頭的鏡頭被遮擋,影響攝像頭的視野,導致攝像頭拍攝的圖像的質量下降,從而可能會影響自動駕駛系統(tǒng)和高級駕駛輔助系統(tǒng)的決策,進而可能帶來行車安全隱患。
5、因此,需要檢測攝像頭是否被遮擋或臟污,在攝像頭被遮擋或臟污的情況下及時清洗攝像頭。
6、然而,如何檢測攝像頭是否被遮擋或臟污是一個亟待解決的技術問題。
技術實現(xiàn)思路
1、本技術示出了一種攝像頭異常檢測方法及裝置。
2、第一方面,本技術示出了一種攝像頭異常檢測方法,所述方法包括:
3、根據(jù)攝像頭在時序上連續(xù)采集的多個圖像,獲取在時序上連續(xù)的多個目標圖像;
4、分別提取各個目標圖像的圖像特征;
5、根據(jù)各個目標圖像的圖像特征,獲取多個目標圖像在時序上的整體動態(tài)變化特征;
6、根據(jù)多個目標圖像在時序上的整體動態(tài)變化特征,確定攝像頭是否異常,攝像頭異常包括攝像頭臟污和/或攝像頭被遮擋。
7、在一個可選的實現(xiàn)方式中,攝像頭為多個,各個攝像頭分別在時序上連續(xù)采集有多個圖像;
8、所述根據(jù)攝像頭在時序上連續(xù)采集的多個圖像,獲取在時序上連續(xù)的多個目標圖像,包括:
9、對各個攝像頭在同一時刻分別采集的圖像分別進行逆透視變換,得到各個攝像頭在同一時刻分別采集的圖像對應的俯瞰視角的圖像;
10、將各個攝像頭在同一時刻分別采集的圖像對應的俯瞰視角的圖像拼接,得到同一時刻對應的廣域俯瞰視角圖像;
11、根據(jù)各個時刻分別對應的廣域俯瞰視角圖像獲取在時序上連續(xù)的多個目標圖像。
12、在一個可選的實現(xiàn)方式中,所述根據(jù)各個目標圖像的圖像特征,獲取多個目標圖像在時序上的整體動態(tài)變化特征,包括:
13、對于多個目標圖像中的在時序上任意相鄰的兩個目標圖像,根據(jù)所述相鄰的兩個目標圖像的圖像特征,獲取所述相鄰的兩個目標圖像在時序上的相鄰動態(tài)變化特征;
14、根據(jù)每相鄰的兩個目標圖像在時序上的相鄰動態(tài)變化特征,獲取多個目標圖像在時序上的整體動態(tài)變化特征。
15、在一個可選的實現(xiàn)方式中,所述根據(jù)所述相鄰的兩個目標圖像的圖像特征,獲取所述相鄰的兩個目標圖像在時序上的相鄰動態(tài)變化特征,包括:
16、獲取所述相鄰的兩個目標圖像中的第一目標圖像的圖像特征中的一部分圖像特征;
17、獲取所述相鄰的兩個目標圖像中的第二目標圖像的圖像特征中的一部分圖像特征;
18、根據(jù)第一目標圖像的圖像特征中的一部分圖像特征以及第二目標圖像的圖像特征中的一部分圖像特征,獲取所述相鄰的兩個目標圖像在時序上的相鄰動態(tài)變化特征。
19、在一個可選的實現(xiàn)方式中,所述根據(jù)第一目標圖像的圖像特征中的一部分圖像特征以及第二目標圖像的圖像特征中的一部分圖像特征,獲取所述相鄰的兩個目標圖像在時序上的相鄰動態(tài)變化特征,包括:
20、將第一目標圖像的圖像特征中的一部分圖像特征與第二目標圖像的圖像特征中的一部分圖像特征拼接,得到第一拼接特征;
21、根據(jù)第一拼接特征獲取所述相鄰的兩個目標圖像在時序上的相鄰動態(tài)變化特征。
22、在一個可選的實現(xiàn)方式中,所述根據(jù)第一拼接特征獲取所述相鄰的兩個目標圖像在時序上的相鄰動態(tài)變化特征,包括:
23、對第一拼接特征進行平均池化處理,得到池化特征;
24、對池化特征進行特征提取處理以及降維處理,得到第一降維特征;
25、根據(jù)第一降維特征獲取所述相鄰的兩個目標圖像在時序上的相鄰動態(tài)變化特征。
26、在一個可選的實現(xiàn)方式中,所述根據(jù)第一拼接特征獲取所述相鄰的兩個目標圖像在時序上的相鄰動態(tài)變化特征,包括:
27、對第一拼接特征進行特征提取處理以及降維處理,得到第二降維特征;
28、對第二降維特征進行特征提取處理以及降維處理,得到第三降維特征;
29、根據(jù)第三降維特征獲取所述相鄰的兩個目標圖像在時序上的相鄰動態(tài)變化特征。
30、在一個可選的實現(xiàn)方式中,所述根據(jù)每相鄰的兩個目標圖像在時序上的相鄰動態(tài)變化特征,獲取多個目標圖像在時序上的整體動態(tài)變化特征,包括:
31、計算每相鄰的兩個目標圖像在時序上的相鄰動態(tài)變化特征之間的乘積,得到第一乘積特征;
32、根據(jù)第一乘積特征獲取整體動態(tài)變化特征。
33、在一個可選的實現(xiàn)方式中,所述根據(jù)多個目標圖像在時序上的整體動態(tài)變化特征,確定攝像頭是否異常,包括:
34、計算整體動態(tài)變化特征與多個目標圖像中的位于首位的目標圖像的圖像特征中的至少部分圖像特征之間的乘積,得到第二乘積特征;
35、計算整體動態(tài)變化特征與多個目標圖像中的位于末位的目標圖像的圖像特征中的至少部分圖像特征之間的乘積,得到第三乘積特征;
36、根據(jù)第二乘積特征以及第三乘積特征確定攝像頭是否異常。
37、在一個可選的實現(xiàn)方式中,所述根據(jù)第二乘積特征以及第三乘積特征確定攝像頭是否異常,包括:
38、將第二乘積特征與第三乘積特征拼接,得到第二拼接特征;
39、根據(jù)第二拼接特征攝像頭是否異常。
40、第二方面,本技術示出了一種攝像頭異常檢測裝置,所述裝置包括:
41、第一獲取模塊,用于根據(jù)攝像頭在時序上連續(xù)采集的多個圖像,獲取在時序上連續(xù)的多個目標圖像;
42、提取模塊,用于分別提取各個目標圖像的圖像特征;
43、第二獲取模塊,用于根據(jù)各個目標圖像的圖像特征,獲取多個目標圖像在時序上的整體動態(tài)變化特征;
44、確定模塊,用于根據(jù)多個目標圖像在時序上的整體動態(tài)變化特征,確定攝像頭是否異常,攝像頭異常包括攝像頭臟污和/或攝像頭被遮擋。
45、在一個可選的實現(xiàn)方式中,攝像頭為多個,各個攝像頭分別在時序上連續(xù)采集有多個圖像;
46、所述第一獲取模塊包括:
47、變換單元,用于對各個攝像頭在同一時刻分別采集的圖像分別進行逆透視變換,得到各個攝像頭在同一時刻分別采集的圖像對應的俯瞰視角的圖像;
48、拼接單元,用于將各個攝像頭在同一時刻分別采集的圖像對應的俯瞰視角的圖像拼接,得到同一時刻對應的廣域俯瞰視角圖像;
49、第一獲取單元,用于根據(jù)各個時刻分別對應的廣域俯瞰視角圖像獲取在時序上連續(xù)的多個目標圖像。
50、在一個可選的實現(xiàn)方式中,所述第二獲取模塊包括:
51、第二獲取單元,用于對于多個目標圖像中的在時序上任意相鄰的兩個目標圖像,根據(jù)所述相鄰的兩個目標圖像的圖像特征,獲取所述相鄰的兩個目標圖像在時序上的相鄰動態(tài)變化特征;
52、第三獲取單元,用于根據(jù)每相鄰的兩個目標圖像在時序上的相鄰動態(tài)變化特征,獲取多個目標圖像在時序上的整體動態(tài)變化特征。
53、在一個可選的實現(xiàn)方式中,所述第二獲取單元包括:
54、第一獲取子單元,用于獲取所述相鄰的兩個目標圖像中的第一目標圖像的圖像特征中的一部分圖像特征;
55、第二獲取子單元,用于獲取所述相鄰的兩個目標圖像中的第二目標圖像的圖像特征中的一部分圖像特征;
56、第三獲取子單元,用于根據(jù)第一目標圖像的圖像特征中的一部分圖像特征以及第二目標圖像的圖像特征中的一部分圖像特征,獲取所述相鄰的兩個目標圖像在時序上的相鄰動態(tài)變化特征。
57、在一個可選的實現(xiàn)方式中,所述第三獲取子單元具體用于:將第一目標圖像的圖像特征中的一部分圖像特征與第二目標圖像的圖像特征中的一部分圖像特征拼接,得到第一拼接特征;根據(jù)第一拼接特征獲取所述相鄰的兩個目標圖像在時序上的相鄰動態(tài)變化特征。
58、在一個可選的實現(xiàn)方式中,所述第三獲取子單元具體用于:對第一拼接特征進行平均池化處理,得到池化特征;對池化特征進行特征提取處理以及降維處理,得到第一降維特征;根據(jù)第一降維特征獲取所述相鄰的兩個目標圖像在時序上的相鄰動態(tài)變化特征。
59、在一個可選的實現(xiàn)方式中,所述第三獲取子單元具體用于:對第一拼接特征進行特征提取處理以及降維處理,得到第二降維特征;對第二降維特征進行特征提取處理以及降維處理,得到第三降維特征;根據(jù)第三降維特征獲取所述相鄰的兩個目標圖像在時序上的相鄰動態(tài)變化特征。
60、在一個可選的實現(xiàn)方式中,所述第三獲取單元包括:
61、計算子單元,用于計算每相鄰的兩個目標圖像在時序上的相鄰動態(tài)變化特征之間的乘積,得到第一乘積特征;
62、第四獲取子單元,用于根據(jù)第一乘積特征獲取整體動態(tài)變化特征。
63、在一個可選的實現(xiàn)方式中,所述確定模塊包括:
64、第一計算單元,用于計算整體動態(tài)變化特征與多個目標圖像中的位于首位的目標圖像的圖像特征中的至少部分圖像特征之間的乘積,得到第二乘積特征;
65、第二計算單元,用于計算整體動態(tài)變化特征與多個目標圖像中的位于末位的目標圖像的圖像特征中的至少部分圖像特征之間的乘積,得到第三乘積特征;
66、確定單元,用于根據(jù)第二乘積特征以及第三乘積特征確定攝像頭是否異常。
67、在一個可選的實現(xiàn)方式中,所述確定單元包括:
68、拼接子單元,用于將第二乘積特征與第三乘積特征拼接,得到第二拼接特征;
69、確定子單元,用于根據(jù)第二拼接特征攝像頭是否異常。
70、第三方面,本技術示出了一種電子設備,所述電子設備包括:處理器;用于存儲處理器可執(zhí)行指令的存儲器;其中,所述處理器被配置為執(zhí)行如上述任一方面所述的方法。
71、第四方面,本技術示出了一種非臨時性計算機可讀存儲介質,當所述存儲介質中的指令由電子設備的處理器執(zhí)行時,使得電子設備能夠執(zhí)行如上述任一方面所述的方法。
72、第五方面,本技術示出了一種計算機程序產(chǎn)品,當所述計算機程序產(chǎn)品中的指令由電子設備的處理器執(zhí)行時,使得電子設備能夠執(zhí)行如上述任一方面所述的方法。
73、本技術提供的技術方案可以包括以下有益效果:
74、在本技術中,根據(jù)攝像頭在時序上連續(xù)采集的多個圖像,獲取在時序上連續(xù)的多個目標圖像;分別提取各個目標圖像的圖像特征;根據(jù)各個目標圖像的圖像特征,獲取多個目標圖像在時序上的整體動態(tài)變化特征;根據(jù)多個目標圖像在時序上的整體動態(tài)變化特征,確定攝像頭是否異常,攝像頭異常包括攝像頭臟污和/或攝像頭被遮擋。
75、通過本技術,將不同時間點采集的圖像的圖像特征進行時序上的融合分析處理,可以捕捉到各個時間點采集的圖像的圖像特征在時間序列上的動態(tài)變化情況,以及,可以捕捉到攝像頭上的污漬或遮擋物在時間序列上的動態(tài)變化特征,如此,在檢測攝像頭是否異常時,不僅利用了各個時間點采集的圖像的圖像特征,還利用了各個時間點采集的圖像的圖像特征在時間序列上的動態(tài)變化情況,從而可以捕捉到更為豐富的信息以輔助檢測攝像頭是否異常,可以提高檢測攝像頭是否異常的準確率,減少誤判。