專利名稱：全景視頻智能監(jiān)控方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻監(jiān)控技術(shù)，特別涉及全景視頻智能監(jiān)控方法和系統(tǒng)。

背景技術(shù)：
常規(guī)視頻監(jiān)控系統(tǒng)的視頻采集模塊大多是由視頻攝像機(jī)和鏡頭組成，因為成像裝置的大小有限，而且由于接收入射光時鏡頭周圍的阻擋，鏡頭只具有一個圓錐區(qū)域的小視野，而不是一個半球，因此并不能夠獲得場景的全部信息，實現(xiàn)360°全景不間斷監(jiān)控。為實現(xiàn)全景監(jiān)控，必須通過安裝多路攝像機(jī)來達(dá)到監(jiān)控區(qū)域的全部覆蓋，不但攝像機(jī)成本和攝像機(jī)安裝成本大大增加，存儲、顯示等設(shè)備的成本也隨著攝像機(jī)路數(shù)的增加而大幅增加。
為了實現(xiàn)全景監(jiān)控，還可以使用旋轉(zhuǎn)成像系統(tǒng)。旋轉(zhuǎn)成像系統(tǒng)獲取全景圖像的方法是繞投影中心旋轉(zhuǎn)成像裝置，獲取場景各個方向的圖像，然后將這些圖像拼接成場景的全景圖像。這種方法的缺點是成像裝置需要進(jìn)行旋轉(zhuǎn)運(yùn)動的活動部件，系統(tǒng)難以準(zhǔn)確定位；同時，為獲得全景圖像，成像裝置必須得旋轉(zhuǎn)一周，花費的時間較長；另外，圖像拼接的方法一般都非常復(fù)雜，而且耗時；更重要的是，旋轉(zhuǎn)成像系統(tǒng)每一時刻也只能觀察一個方向，無法同時獲得大面積全方位監(jiān)控效果，可能由于成像裝置觀察其它方向而錯過另一方向上發(fā)生的事件，使得監(jiān)控系統(tǒng)的可靠性大大降低。
基于以上原因，已經(jīng)開始出現(xiàn)使用廣角攝像頭等獲取全景圖像的視頻監(jiān)控系統(tǒng)，但是，由于所述視頻監(jiān)控系統(tǒng)所提供的全景圖像為場景360°的完整影像，并不是通常意義上的平面圖像，而是圓形或環(huán)形的圖像，且沒有明確的邊角；人最大的水平視角是180°到200°，而全景相機(jī)的視角是360°，可以同時顯示出前方和后方的圖像。因此，人很難理解場景布局，以及圖像中各類型目標(biāo)之間的空間位置關(guān)系，也無法獲得場景中高清晰的細(xì)節(jié)信息。
再有，目前常規(guī)的視頻監(jiān)控系統(tǒng)僅是將監(jiān)控場景圖像通過數(shù)字視頻服務(wù)器(DVS)傳送到監(jiān)控室，由人來完成對監(jiān)控場景中出現(xiàn)“異常”的判斷，或通過數(shù)字硬盤錄像機(jī)(DVR)完成視頻存儲以實現(xiàn)事后的查看和取證。這些監(jiān)控系統(tǒng)并不具備“智能監(jiān)控”功能，不能根據(jù)所觀察對象的行為特征自動區(qū)分畫面中出現(xiàn)的“異?！?，實施目標(biāo)檢測、跟蹤、分類和行為分析，智能告警，有效地阻止事件發(fā)生。另外，“被動存儲，事后取證”的方法需要占用大量的存儲空間，而且還耗費大量的人力、物力。


發(fā)明內(nèi)容
有鑒于此，本發(fā)明的主要目的在于提供一種全景視頻智能監(jiān)控的方法和系統(tǒng)，其可以得到全景圖像，減少了安裝成本；進(jìn)一步，根據(jù)智能分析結(jié)果自動區(qū)分畫面中出現(xiàn)的“異常”，實施目標(biāo)檢測、跟蹤、分類和行為分析，實現(xiàn)自動告警，有效地阻止事件發(fā)生，節(jié)省了人力和物力。
本發(fā)明的另一目的在于提供一種對于全景圖像進(jìn)行智能分析處理的設(shè)備，所述設(shè)備自動區(qū)分畫面中出現(xiàn)的“異?！?，實施目標(biāo)檢測、跟蹤、分類和行為分析，實現(xiàn)自動告警，有效地阻止事件發(fā)生，節(jié)省了人力和物力。
本發(fā)明的目的還在于提供一種對全景圖像進(jìn)行展開的方法和裝置，使得圖像中的場景信息更加直觀，場景布局更加明顯，方便用戶理解場景布局。
為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實現(xiàn)的 本發(fā)明提供了一種全景視頻智能監(jiān)控方法，該方法包括 A、獲取現(xiàn)場全景圖像； B、展開全景圖像，在全景展開圖像中對運(yùn)動目標(biāo)進(jìn)行智能分析。
其中，步驟B中所述展開全景圖像為 B1、建立以全景圖像中心為原點的新坐標(biāo)系，計算全景圖像中每個像素點在新坐標(biāo)系中的坐標(biāo)； B2、確定展開圖像的形狀特性，以及全景圖像與展開圖像之間的坐標(biāo)對應(yīng)關(guān)系； B3、根據(jù)坐標(biāo)對應(yīng)關(guān)系計算展開圖像中每個像素點所對應(yīng)的全景圖像中的坐標(biāo)； B4、根據(jù)計算出的所述坐標(biāo)，對全景圖像中像素點的像素值進(jìn)行非線性插值計算，得到對應(yīng)展開圖像中每個像素點的像素值。
在所述步驟B1和B2之間進(jìn)一步包括 B11、在全景圖像中去掉一個以原點為圓心的同心圓。
所述展開圖像為矩形展開圖像時，所述步驟B2為確定矩形展開圖像的高度和寬度。
步驟B3中所述坐標(biāo)對應(yīng)關(guān)系為 ρ＝r2+y，
其中，ρ為全景圖像中的像素點與坐標(biāo)原點的距離，θ為全景圖像中像素點與坐標(biāo)軸的夾角，x為展開圖像中像素點的橫坐標(biāo)，y為展開圖像中像素點的縱坐標(biāo)，r2為所述同心圓的半徑，r1為全景圖像的半徑，π為圓周率。
其中，所述步驟B1為 將全景圖像的半徑設(shè)置為1，計算全景圖像中每個像素點在單位圓全景圖像中的坐標(biāo)。
所述步驟B2為 計算展開圖像中每一像素點與原點的距離、與坐標(biāo)軸的夾角以及與原點連線上的像素點的最大拉伸比例。
步驟B3中所述坐標(biāo)對應(yīng)關(guān)系為 r′＝r/Rmax，θ′＝θ 其中，r′為全景圖像中像素點與原點的距離，θ′為全景圖像中像素點與坐標(biāo)軸的夾角，θ為展開圖像中像素點與坐標(biāo)軸的夾角，r為展開圖像中像素點與原點的距離，Rmax為展開圖像中像素點與原點連線上的像素點的最大拉伸比例，Rmax＝1/cosθ。
或者，步驟B3中所述坐標(biāo)對應(yīng)關(guān)系為 其中，r′為全景圖像中像素點與原點的距離，θ′為全景圖像中像素點與坐標(biāo)軸的夾角，θ為展開圖像中像素點與坐標(biāo)軸的夾角，r為展開圖像中像素點與原點的距離，Rmax為展開圖像中像素點與原點連線上的像素點的最大拉伸比例，Rmax＝1/cosθ。
步驟B中所述在全景展開圖像中對運(yùn)動目標(biāo)進(jìn)行智能分析為 對運(yùn)動目標(biāo)進(jìn)行檢測、跟蹤、類型識別以及行為分析。
步驟B之后進(jìn)一步包括 C、確定告警處理的執(zhí)行，并執(zhí)行告警處理。
步驟C中所述告警處理為 控制外部設(shè)備做出相應(yīng)告警處理；或者， 向本地監(jiān)控終端發(fā)送智能分析結(jié)果和現(xiàn)場視頻信息、以及告警信息；或者， 向智能監(jiān)控平臺發(fā)送智能分析結(jié)果和現(xiàn)場視頻信息、以及告警信息； 或者以上任意的組合。
步驟C后進(jìn)一步包括 D、本地監(jiān)控終端根據(jù)接收到的智能分析結(jié)果和現(xiàn)場視頻信息、以及告警信息，對用戶指定區(qū)域進(jìn)行放大顯示；和/或， 本地監(jiān)控終端根據(jù)接收到的智能分析結(jié)果和現(xiàn)場視頻信息、以及告警信息，將檢測到的運(yùn)動目標(biāo)及其運(yùn)動軌跡進(jìn)行標(biāo)識；和， 智能監(jiān)控平臺存儲接收到的智能分析結(jié)果和現(xiàn)場視頻信息、以及告警信息，并對現(xiàn)場視頻信息進(jìn)行顯示、存儲、回放和檢索。
步驟D后進(jìn)一步包括 E、所述智能監(jiān)控平臺向遠(yuǎn)程監(jiān)控終端發(fā)送智能分析結(jié)果和現(xiàn)場視頻信息、以及告警信息，并同時控制現(xiàn)場監(jiān)控設(shè)備聯(lián)動告警。
步驟D與E之間進(jìn)一步包括 E0、遠(yuǎn)程監(jiān)控終端向智能監(jiān)控平臺請求發(fā)送智能分析結(jié)果和現(xiàn)場視頻信息、以及告警信息。
步驟E之后進(jìn)一步包括 F、遠(yuǎn)程監(jiān)控終端根據(jù)接收到的智能分析結(jié)果和現(xiàn)場視頻信息、以及告警信息，對用戶指定區(qū)域進(jìn)行放大顯示；和/或， 本地監(jiān)控終端根據(jù)接收到的智能分析結(jié)果和現(xiàn)場視頻信息、以及告警信息，在全景展開圖像上將檢測到的運(yùn)動目標(biāo)及其運(yùn)動軌跡進(jìn)行標(biāo)識。
所述進(jìn)行標(biāo)識為將檢測到的運(yùn)動目標(biāo)用矩形框框起來，并將運(yùn)動目標(biāo)的運(yùn)動軌跡用一條曲線表示；或者，勾勒出檢測到的煙霧的所在區(qū)域，以及擴(kuò)散形狀。
組成所述曲線的點為檢測到的運(yùn)動目標(biāo)在前面幀中的質(zhì)心位置。
本發(fā)明同時提供了一種全景視頻智能監(jiān)控系統(tǒng)，該系統(tǒng)包括前端全景成像設(shè)備、智能分析處理設(shè)備以及智能監(jiān)控平臺，其中， 前端全景成像設(shè)備，用于獲取現(xiàn)場視頻信息，對場景進(jìn)行360°無盲點監(jiān)測，并將現(xiàn)場視頻信息發(fā)送給智能分析處理設(shè)備； 智能分析處理設(shè)備，用于對所述現(xiàn)場視頻信息進(jìn)行智能分析和處理，并將智能分析處理結(jié)果和現(xiàn)場視頻信息、以及告警信息發(fā)送給智能監(jiān)控平臺以及本地監(jiān)控終端，同時控制外部設(shè)備進(jìn)行告警； 智能監(jiān)控平臺，用于處理所述智能分析處理結(jié)果和現(xiàn)場視頻信息、以及告警信息，對所述現(xiàn)場視頻信息進(jìn)行顯示、存儲、回放和檢索；還用于對本地端的前端全景成像設(shè)備以及智能分析處理設(shè)備進(jìn)行配置和維護(hù)；還用于根據(jù)客戶需求，將所述告警信息及現(xiàn)場視頻信息傳輸給遠(yuǎn)程監(jiān)控終端；還用于控制現(xiàn)場監(jiān)控設(shè)備進(jìn)行聯(lián)動告警。
其中，該系統(tǒng)進(jìn)一步包括 本地監(jiān)控終端，用于接收智能分析處理設(shè)備傳送的智能分析結(jié)果和現(xiàn)場視頻信息、以及告警信息，并將告警信息通知用戶； 遠(yuǎn)程監(jiān)控終端，用于接收智能監(jiān)控平臺傳送的智能分析結(jié)果和現(xiàn)場視頻信息、以及告警信息，并將告警信息通知用戶。
所述智能分析處理設(shè)備包括全景圖像展開處理模塊、運(yùn)動目標(biāo)檢測模塊、運(yùn)動目標(biāo)跟蹤模塊、運(yùn)動目標(biāo)分類模塊、運(yùn)動目標(biāo)行為分析模塊、外部設(shè)備控制模塊以及數(shù)據(jù)通信模塊，其中， 全景圖像展開處理模塊，用于對接收到的全景圖像進(jìn)行展開，得到全景展開圖像； 運(yùn)動目標(biāo)檢測模塊，用于檢測所述全景展開圖像的當(dāng)前幀與背景模型不相符的像素，并將其連貫起來后提取出當(dāng)前幀的前景目標(biāo)； 運(yùn)動目標(biāo)跟蹤模塊，用于對運(yùn)動目標(biāo)檢測模塊提取出的所述前景目標(biāo)進(jìn)行跟蹤； 運(yùn)動目標(biāo)分類模塊，用于對運(yùn)動目標(biāo)跟蹤模塊中的跟蹤目標(biāo)進(jìn)行類型識別； 運(yùn)動目標(biāo)行為分析模塊，綜合利用運(yùn)動目標(biāo)檢測模塊、運(yùn)動目標(biāo)跟蹤模塊以及運(yùn)動目標(biāo)分類模塊中獲得的信息，分析目標(biāo)行為特性，判斷是否有符合告警條件存儲器中存儲的“事件”發(fā)生；如果有符合告警條件的“事件”，則進(jìn)入外部設(shè)備控制模塊和數(shù)據(jù)通信模塊，如果沒有，則進(jìn)入全景圖像展開處理模塊； 外部設(shè)備控制模塊，用于控制外部設(shè)備進(jìn)行相應(yīng)告警處理； 數(shù)據(jù)通信模塊，用于向本地監(jiān)控終端和智能監(jiān)控平臺發(fā)送智能分析處理結(jié)果和現(xiàn)場視頻信息、以及告警信息。
所述全景圖像展開處理模塊包括坐標(biāo)系變換模塊、形狀特性確定模塊、坐標(biāo)計算模塊以及像素值計算模塊，其中， 坐標(biāo)系變換模塊，用于建立以全景圖像中心為原點的新坐標(biāo)系并計算全景圖像中每個像素點在新坐標(biāo)系中的坐標(biāo)，并將得到的每個像素點的坐標(biāo)發(fā)送給坐標(biāo)計算模塊； 形狀特性確定模塊，用于根據(jù)用戶選擇的不同的展開方法，確定相應(yīng)展開圖像的形狀特性，并將所述形狀特性發(fā)送給坐標(biāo)計算模塊； 坐標(biāo)計算模塊，用于根據(jù)所述形狀特性和所述每個像素點的坐標(biāo)計算展開圖像中每個像素點所對應(yīng)的全景圖像中的坐標(biāo)，并將得到的坐標(biāo)發(fā)送給像素值計算模塊； 像素值計算模塊，用于根據(jù)坐標(biāo)計算模塊發(fā)送來的所述坐標(biāo)，通過對全景圖像中像素點的像素值進(jìn)行非線性插值計算，計算每個展開圖像中的像素點對應(yīng)的像素值。
所述智能監(jiān)控平臺，進(jìn)一步包括 數(shù)據(jù)存儲單元，用于存儲所述智能分析處理結(jié)果和現(xiàn)場視頻信息、以及告警信息。
所述本地監(jiān)控終端和遠(yuǎn)程監(jiān)控終端進(jìn)一步包括 虛擬云臺控制模塊，用于對用戶指定區(qū)域進(jìn)行放大顯示；和/或， 檢測事件表示模塊，用于根據(jù)所接收到的智能分析結(jié)果和現(xiàn)場視頻信息、以及告警信息，將檢測到的運(yùn)動目標(biāo)及其運(yùn)動軌跡進(jìn)行標(biāo)識。
本發(fā)明同時提供了一種對全景圖像進(jìn)行智能分析處理的設(shè)備，該設(shè)備包括全景圖像展開處理模塊、運(yùn)動目標(biāo)檢測模塊、運(yùn)動目標(biāo)跟蹤模塊、運(yùn)動目標(biāo)分類模塊、運(yùn)動目標(biāo)行為分析模塊、外部設(shè)備控制模塊以及數(shù)據(jù)通信模塊，其中， 全景圖像展開處理模塊，用于對接收到的全景圖像進(jìn)行展開； 運(yùn)動目標(biāo)檢測模塊，用于檢測全景展開圖像的當(dāng)前幀與背景模型不相符的像素，并將其連貫起來后提取出當(dāng)前幀的前景目標(biāo)； 運(yùn)動目標(biāo)跟蹤模塊，用于對運(yùn)動目標(biāo)檢測模塊提取出的所述前景目標(biāo)進(jìn)行跟蹤； 運(yùn)動目標(biāo)分類模塊，用于對運(yùn)動目標(biāo)跟蹤模塊中的跟蹤目標(biāo)進(jìn)行類型識別； 運(yùn)動目標(biāo)行為分析模塊，綜合利用運(yùn)動目標(biāo)檢測模塊、運(yùn)動目標(biāo)跟蹤模塊以及運(yùn)動目標(biāo)分類模塊中獲得的信息，分析目標(biāo)行為特性，判斷是否有符合告警條件存儲器中存儲的“事件”發(fā)生；如果有符合告警條件的“事件”，則進(jìn)入外部設(shè)備控制模塊和數(shù)據(jù)通信模塊，如果沒有，則進(jìn)入全景圖像展開處理模塊； 外部設(shè)備控制模塊，用于控制外部設(shè)備進(jìn)行相應(yīng)告警處理； 數(shù)據(jù)通信模塊，用于向本地監(jiān)控終端和智能監(jiān)控平臺發(fā)送智能分析結(jié)果和現(xiàn)場視頻信息、以及告警信息。
所述全景圖像展開處理模塊進(jìn)一步包括 坐標(biāo)系變換模塊，用于建立以全景圖像中心為原點的新坐標(biāo)系并計算全景圖像中每個像素點在新坐標(biāo)系中的坐標(biāo)，并將得到的每個像素點的坐標(biāo)發(fā)送給坐標(biāo)計算模塊； 形狀特性確定模塊，用于根據(jù)用戶選擇的不同的展開方法，確定相應(yīng)展開圖像的形狀特性，并將所述形狀特性發(fā)送給坐標(biāo)計算模塊； 坐標(biāo)計算模塊，用于根據(jù)所述形狀特性和所述每個像素點的坐標(biāo)計算展開圖像中每個像素點所對應(yīng)的全景圖像中的坐標(biāo)，并將得到的坐標(biāo)發(fā)送給像素值計算模塊； 像素值計算模塊，用于根據(jù)坐標(biāo)計算模塊發(fā)送來的所述坐標(biāo)，通過對全景圖像中像素點的像素值進(jìn)行非線性插值計算，計算每個展開圖像中的像素點對應(yīng)的像素值。
本發(fā)明同時提供了一種對全景圖像進(jìn)行展開的方法，該方法包括 1)建立以全景圖像中心為原點的新坐標(biāo)系，計算全景圖像中每個像素點在新坐標(biāo)系中的坐標(biāo)； 2)確定展開圖像的形狀特性，以及全景圖像與展開圖像之間的坐標(biāo)對應(yīng)關(guān)系； 3)根據(jù)坐標(biāo)對應(yīng)關(guān)系計算展開圖像中每個像素點所對應(yīng)的全景圖像中像素點的坐標(biāo)； 4)根據(jù)計算出的所述坐標(biāo)，對全景圖像中像素點的像素值進(jìn)行非線性插值計算，得到對應(yīng)展開圖像中每個像素點的像素值。
其中在所述步驟1)和2)之間進(jìn)一步包括 11)在全景圖像中去掉一個以原點為中心的同心圓。
所述展開圖像為矩形展開圖像時，所述步驟2)為確定矩形展開圖像的高度和寬度。
步驟3)中所述坐標(biāo)對應(yīng)關(guān)系為 ρ＝r2+y，
其中，ρ為全景圖像中的像素點與坐標(biāo)原點的距離，θ為全景圖像中像素點與坐標(biāo)軸的夾角，x為展開圖像中像素點的橫坐標(biāo)，y為展開圖像中像素點的縱坐標(biāo)，r2為所述同心圓的半徑，r1為全景圖像的半徑，π為圓周率。
所述步驟1)為 將全景圖像的半徑設(shè)置為1，計算全景圖像中每個像素點在單位圓全景圖像中的坐標(biāo)。
所述步驟2)為 計算展開圖像中每一像素點與原點的距離、與坐標(biāo)軸的夾角以及與原點連線上的像素點的最大拉伸比例。
步驟3)中所述坐標(biāo)對應(yīng)關(guān)系為 r′＝r/Rmax，θ′＝θ 其中，r′為全景圖像中像素點與原點的距離，θ′為全景圖像中像素點與坐標(biāo)軸的夾角，θ為展開圖像中像素點與坐標(biāo)軸的夾角，r為展開圖像中像素點與原點的距離，Rmax為展開圖像中像素點與原點連線上的像素點的最大拉伸比例，Rmax＝1/cosθ。
或者，步驟3)中所述坐標(biāo)對應(yīng)關(guān)系為 其中，r′為全景圖像中像素點與原點的距離，θ′為全景圖像中像素點與坐標(biāo)軸的夾角，θ為展開圖像中像素點與坐標(biāo)軸的夾角，r為展開圖像中像素點與原點的距離，Rmax為展開圖像中像素點與原點連線上的像素點的最大拉伸比例，Rmax＝1/cosθ。
本發(fā)明還提供了一種對全景圖像進(jìn)行展開的裝置，該裝置包括坐標(biāo)系變換模塊、形狀特性確定模塊、坐標(biāo)計算模塊以及像素值計算模塊，其中， 坐標(biāo)系變換模塊，用于建立以全景圖像中心為原點的新坐標(biāo)系并計算全景圖像中每個像素點在新坐標(biāo)系中的坐標(biāo)，并將得到的每個像素點的坐標(biāo)發(fā)送給坐標(biāo)計算模塊； 形狀特性確定模塊，用于根據(jù)用戶選擇的不同的展開方法，確定相應(yīng)展開圖像的形狀特性，并將所述形狀特性發(fā)送給坐標(biāo)計算模塊； 坐標(biāo)計算模塊，用于根據(jù)所述形狀特性和所述每個像素點的坐標(biāo)計算展開圖像中每個像素點所對應(yīng)的全景圖像中的坐標(biāo)，并將得到的坐標(biāo)發(fā)送給像素值計算模塊； 像素值計算模塊，用于根據(jù)坐標(biāo)計算模塊發(fā)送來的所述坐標(biāo)，通過對全景圖像中像素點的像素值進(jìn)行非線性插值計算，計算每個展開圖像中的像素點對應(yīng)的像素值。
本發(fā)明所提供的全景視頻智能監(jiān)控方法和系統(tǒng)，具有如下優(yōu)點和特點 1)由前端全景成像設(shè)備得到全景視頻圖像，實現(xiàn)了連續(xù)監(jiān)控360°全景空間，不會漏掉或錯過任何突發(fā)事件，實現(xiàn)了無盲點、無死角監(jiān)控；無需安裝多臺普通的閉路電視監(jiān)控系統(tǒng)(CCTV)攝像機(jī)，無需圖像拼接就可以得到全景圖像，提高了時效性，節(jié)省了硬件投資；前端全景成像設(shè)備將一個半球視野中的信息壓縮成一副圖像，降低了對顯示和存儲設(shè)備的要求。
2)對于全景圖像進(jìn)行多種模式展開的方法和裝置，使得圖像中的場景信息相較全景圖像更加直觀，場景布局更加明顯，方便用戶理解場景布局，使用戶不僅能辨別圖像中的方向，且更容易理解全景圖像中各目標(biāo)之間的關(guān)系。
3)智能分析處理設(shè)備自動對目標(biāo)進(jìn)行檢測、跟蹤、分類和行為分析，判斷是否有符合告警條件的“事件”發(fā)生，如果有符合告警條件的“事件”發(fā)生，則自動告警，克服了現(xiàn)有技術(shù)中由用戶對監(jiān)控場景異常進(jìn)行判斷的缺點，節(jié)省了人力的同時，能夠有效地阻止事件的發(fā)生。
4)經(jīng)過智能分析處理設(shè)備的智能分析，在事發(fā)前早期預(yù)警，自動進(jìn)行現(xiàn)場場景的錄像及保存，克服了現(xiàn)有技術(shù)中“被動存儲，事后取證”需要占用大量存儲空間、耗費人力和物力的缺點，減少了視頻占用空間，節(jié)省了系統(tǒng)成本，同時節(jié)省了大量的人力和物力。
5)本地監(jiān)控終端及遠(yuǎn)程監(jiān)控終端中的虛擬云臺控制(虛擬PTZ)功能，不需要任何活動的機(jī)械部件，即可對單個目標(biāo)放大，查看高清晰的細(xì)節(jié)圖像，真正同時解決了“看得全”和“看得清”相互矛盾的難題。
6)本地監(jiān)控終端及遠(yuǎn)程監(jiān)控終端中對檢測到的運(yùn)動目標(biāo)用矩形框框起來，并使用曲線表示其運(yùn)動軌跡，對于檢測到的煙霧等，還可以勾勒出其所在區(qū)域，以及擴(kuò)散形狀等，使得用戶對于異常事件的發(fā)現(xiàn)及觀察更加容易。



圖1為本發(fā)明中全景視頻智能監(jiān)控系統(tǒng)結(jié)構(gòu)示意圖； 圖2為本發(fā)明中全景視頻智能監(jiān)控方法流程示意圖； 圖3為本發(fā)明中全景圖像智能分析處理設(shè)備結(jié)構(gòu)示意圖； 圖4為本發(fā)明中全景圖像智能分析處理方法流程示意圖； 圖5為本發(fā)明中全景圖像360°展開方法原理示意圖； 圖6為本發(fā)明中全景圖像360°展開方法流程示意圖； 圖7為本發(fā)明中全景圖像立方展開方法原理示意圖； 圖8為本發(fā)明中全景圖像立方展開方法流程示意圖； 圖9為本發(fā)明中對全景圖像進(jìn)行展開的裝置結(jié)構(gòu)示意圖。

具體實施例方式 本發(fā)明的核心思想是首先運(yùn)用前端全景成像設(shè)備進(jìn)行現(xiàn)場視頻信息的獲取，從而得到全景圖像；之后對全景圖像進(jìn)行展開，并對全景展開圖像進(jìn)行智能分析，如運(yùn)動目標(biāo)的檢測、跟蹤、分類和行為分析等，判斷是否有符合預(yù)先設(shè)定的告警條件中的“事件”發(fā)生；如有符合條件的“事件”發(fā)生，則執(zhí)行告警處理，如沒有則繼續(xù)對前端全景成像設(shè)備傳來的全景圖像進(jìn)行展開及智能分析。
下面結(jié)合具體實施例和附圖進(jìn)一步詳細(xì)說明。
實施例1 圖1所示為全景視頻智能監(jiān)控系統(tǒng)結(jié)構(gòu)示意圖，包括 前端全景成像設(shè)備10，用于獲取現(xiàn)場的全景視頻信息，對場景進(jìn)行360°無盲點監(jiān)測。前端全景成像設(shè)備10將所獲取的現(xiàn)場全景視頻信息傳送給智能分析處理設(shè)備20。
智能分析處理設(shè)備20，用于對從前端全景成像設(shè)備10傳來的現(xiàn)場視頻信息進(jìn)行智能分析和處理，檢測到告警事件后，生成告警信息，并將編碼后的現(xiàn)場視頻信息，與所述智能分析處理結(jié)果和告警信息一起發(fā)送給智能監(jiān)控平臺50以及本地監(jiān)控終端40，同時控制外部設(shè)備30進(jìn)行告警。
本地監(jiān)控終端40，用于接收從智能分析處理設(shè)備20傳送來的編碼的現(xiàn)場視頻信息，以及智能分析處理結(jié)果和告警信息，并將告警信息通知用戶。
外部設(shè)備30，在實際應(yīng)用中，外部設(shè)備30可以根據(jù)不同的需要進(jìn)行不同的配置，可以包括各類型常規(guī)傳感器，用于采集現(xiàn)場的其它各類信息，比如溫度、濕度、大氣壓力等，并將采集到的信息傳送給智能分析處理設(shè)備20，作為判斷告警事件是否產(chǎn)生的輔助信息；防侵入探測傳感器，如周界保護(hù)中常用的紅外傳感器、靜電傳感器以及門磁等傳感器等，將感應(yīng)到的外部信息傳送給智能分析處理設(shè)備20，作為判斷告警事件是否產(chǎn)生的輔助信息；外部告警設(shè)備，包括例如報警燈、揚(yáng)聲器、消防噴淋設(shè)備等，當(dāng)智能分析處理設(shè)備20產(chǎn)生告警信息時，由智能分析處理設(shè)備20控制所述外部告警設(shè)備進(jìn)行聯(lián)動告警；聲音錄入和輸出設(shè)備，用于實現(xiàn)音頻廣播或監(jiān)控終端和監(jiān)控現(xiàn)場之間的語音對話。可見，外部設(shè)備不僅可以作為告警設(shè)備進(jìn)行聯(lián)動告警，其中的各類型常規(guī)傳感器、防侵入探測傳感器以及聲音錄入和輸出設(shè)備等還可以作為信息采集設(shè)備，向智能分析處理設(shè)備20提供現(xiàn)場輔助信息。
智能監(jiān)控平臺50，用于處理智能分析處理設(shè)備20傳來的編碼的現(xiàn)場視頻信息，以及智能分析處理結(jié)果和告警信息，對從智能分析處理設(shè)備20傳來的數(shù)據(jù)進(jìn)行顯示、存儲、回放和檢索；還用于對前端全景成像設(shè)備10以及智能分析處理設(shè)備20進(jìn)行配置和維護(hù)；還用于根據(jù)客戶需求，將智能分析處理設(shè)備20發(fā)送來的編碼的現(xiàn)場視頻信息，以及智能分析處理結(jié)果和告警信息傳輸給遠(yuǎn)程監(jiān)控終端60；還用于控制現(xiàn)場監(jiān)控設(shè)備進(jìn)行聯(lián)動告警；智能監(jiān)控平臺50包括一數(shù)據(jù)存儲單元(圖中未示出)，用于存儲智能分析處理設(shè)備20發(fā)送來的智能分析處理結(jié)果、現(xiàn)場視頻信息以及告警信息等數(shù)據(jù)。
其中，智能監(jiān)控平臺50向遠(yuǎn)程監(jiān)控終端60發(fā)送的數(shù)據(jù)，可以由智能監(jiān)控平臺50自主發(fā)送，也可以由遠(yuǎn)程監(jiān)控終端60向智能監(jiān)控平臺50請求發(fā)送。
遠(yuǎn)程監(jiān)控終端60用于接收從智能監(jiān)控平臺50傳送來的編碼的現(xiàn)場視頻信息，以及智能分析處理結(jié)果和告警信息，并將告警信息通知用戶。
同時，在本地監(jiān)控終端40和遠(yuǎn)程監(jiān)控終端60中，還具有 PTZ功能模塊(圖中未示出)，用于對用戶指定區(qū)域進(jìn)行放大顯示；和/或 檢測事件表示模塊(圖中未示出)，用于根據(jù)所接收到的編碼的現(xiàn)場視頻信息，以及智能分析處理結(jié)果和告警信息，將檢測到的運(yùn)動目標(biāo)及其運(yùn)動軌跡進(jìn)行標(biāo)識，向用戶突出顯示。
結(jié)合圖1，全景視頻智能監(jiān)控方法流程示意圖如圖2所示，具體流程如下 步驟201由前端全景成像設(shè)備10獲取現(xiàn)場的全景視頻信息，得到現(xiàn)場全景圖像，并發(fā)送到智能分析處理設(shè)備20中進(jìn)行處理。
步驟202～步驟204智能分析處理設(shè)備20接收到全景圖像后，通過對全景圖像的智能分析，對運(yùn)動目標(biāo)進(jìn)行檢測、跟蹤、分類和行為分析，判斷是否有符合預(yù)先設(shè)定告警條件的“事件”發(fā)生，如果有告警，則控制外部設(shè)備30作出相應(yīng)告警處理，并將編碼的現(xiàn)場視頻信息，以及智能分析處理結(jié)果和告警信息一起傳送給本地監(jiān)控終端40，還通過網(wǎng)絡(luò)接口70傳送給智能監(jiān)控平臺50；如果沒有告警則繼續(xù)執(zhí)行步驟202，對前端全景成像設(shè)備10發(fā)送來的全景圖像進(jìn)行智能分析處理。
本地監(jiān)控終端40在接收到智能分析處理結(jié)果和現(xiàn)場視頻信息、以及告警信息后，可以根據(jù)所接收到的信息，對用戶指定區(qū)域進(jìn)行放大顯示，還可以將檢測到的運(yùn)動目標(biāo)以及運(yùn)動軌跡進(jìn)行標(biāo)識。所述標(biāo)識的處理過程具體為檢測事件表示模塊根據(jù)傳送來的智能分析處理結(jié)果(包括目標(biāo)位置、軌跡等信息)將具體標(biāo)識疊加到全景展開圖像上。例如，如果檢測到運(yùn)動目標(biāo)則用矩形框把運(yùn)動目標(biāo)框起來，這個運(yùn)動目標(biāo)可能是人、車等，如果運(yùn)動目標(biāo)是煙霧的話，也可以勾勒出煙霧所在區(qū)域，及其擴(kuò)散形狀等。在跟蹤中還會將運(yùn)動目標(biāo)的運(yùn)動軌跡用一條曲線表示，曲線上的每個點都是運(yùn)動目標(biāo)在前面幀中的質(zhì)心位置。
步驟205～步驟206智能監(jiān)控平臺50根據(jù)接收到的來自智能分析處理設(shè)備20的編碼的現(xiàn)場視頻信息，以及智能分析處理結(jié)果和告警信息，將接收到的數(shù)據(jù)進(jìn)行存儲，并傳送編碼的現(xiàn)場視頻信息，以及智能分析處理結(jié)果和告警信息給遠(yuǎn)程監(jiān)控終端60，同時發(fā)出命令控制現(xiàn)場監(jiān)控設(shè)備實現(xiàn)聯(lián)動告警。
其中，在步驟205中，智能監(jiān)控平臺50還可以由用戶控制，根據(jù)所存儲的數(shù)據(jù)，對現(xiàn)場視頻信息進(jìn)行顯示、存儲、回放和檢索；再有，智能監(jiān)控平臺50向遠(yuǎn)程監(jiān)控終端60傳送上述信息，可以由智能監(jiān)控平臺50自動傳送，也可以由遠(yuǎn)程監(jiān)控終端60向智能監(jiān)控平臺50進(jìn)行請求，然后再由智能監(jiān)控平臺50傳送給遠(yuǎn)程監(jiān)控終端60。
實施例2 對全景圖像進(jìn)行智能分析處理的設(shè)備，包括如圖3所示的模塊 全景圖像展開處理模塊310用于對從前端全景成像設(shè)備10傳來的現(xiàn)場全景圖像進(jìn)行展開，并傳送全景展開圖像到運(yùn)動目標(biāo)檢測模塊320； 運(yùn)動目標(biāo)檢測模塊320用于當(dāng)全景圖像展開處理模塊310傳送來的全景展開圖像發(fā)生變化時進(jìn)行目標(biāo)檢測，提取出當(dāng)前幀的前景目標(biāo)； 運(yùn)動目標(biāo)跟蹤模塊330用于對運(yùn)動目標(biāo)檢測模塊320檢測出的運(yùn)動目標(biāo)進(jìn)行跟蹤； 運(yùn)動目標(biāo)分類模塊340用于對所述運(yùn)動目標(biāo)進(jìn)行類型識別； 其中，所述類型識別是根據(jù)檢測到的運(yùn)動目標(biāo)的位置、大小、顏色等基礎(chǔ)數(shù)據(jù)信息進(jìn)行的，從而確定運(yùn)動目標(biāo)為人、車、動物等類型。
運(yùn)動目標(biāo)行為分析模塊350綜合利用目標(biāo)檢測、跟蹤、分類中獲得的信息，分析目標(biāo)行為特性，判斷是否有符合保存在智能分析處理設(shè)備存儲器中的預(yù)先設(shè)定的告警條件的“事件”發(fā)生。如果有符合告警條件的“事件”，則向外部設(shè)備控制模塊360發(fā)送告警信息，并將編碼的現(xiàn)場視頻信息，與智能分析處理結(jié)果和告警信息一起發(fā)送給數(shù)據(jù)通信模塊370，如果沒有，則進(jìn)入全景圖像展開處理模塊310； 外部設(shè)備控制模塊360用于根據(jù)運(yùn)動目標(biāo)行為分析模塊發(fā)送來的告警信息，控制外部設(shè)備進(jìn)行相應(yīng)告警處理； 數(shù)據(jù)通信模塊370用于發(fā)送編碼的現(xiàn)場視頻信息，以及智能分析處理結(jié)果和告警信息。
以上所述的智能分析處理設(shè)備可以用于實施例1所述的全景視頻智能監(jiān)控系統(tǒng)中，同時，在不同的實際應(yīng)用環(huán)境中，智能分析處理設(shè)備20的具體實現(xiàn)方式還可以有以下三種 嵌入式視頻處理器將智能分析處理設(shè)備集成在視頻采集前端，用于全景視頻信號的實時采集和智能化分析、處理。
智能圖像處理器構(gòu)造獨立的全景圖像智能分析處理設(shè)備，與全景相機(jī)等前端全景成像設(shè)備配合工作，完成所有圖像智能分析和處理功能。
多路全景視頻處理器使用在監(jiān)控中心，將智能分析處理設(shè)備的智能化視頻處理技術(shù)應(yīng)用于智能監(jiān)控平臺服務(wù)器，用于處理多路監(jiān)控現(xiàn)場全景相機(jī)等成像設(shè)備的視頻輸入和各類型外部設(shè)備告警輸入。
如圖4所示為當(dāng)全景圖像進(jìn)入智能分析處理設(shè)備時，智能分析處理設(shè)備對其進(jìn)行智能分析處理的流程圖，步驟如下 步驟401對接收到的全景圖像進(jìn)行展開處理，可以根據(jù)需要選擇360°展開、2×180°展開、4×90°展開或者立方展開。
步驟402運(yùn)動目標(biāo)檢測，即檢測當(dāng)前幀中與背景模型不相符的像素，將所述像素連貫起來提取出當(dāng)前幀的前景目標(biāo)。目標(biāo)檢測是通過例如高斯混合模型方法、幀差法以及動態(tài)自適應(yīng)背景差法等算法實現(xiàn)的。其中的背景模型為所監(jiān)控的現(xiàn)場正常時，得到的全景展開圖像。
步驟403在檢測出運(yùn)動目標(biāo)后，通過例如Kalman濾波法、標(biāo)準(zhǔn)的幀到幀跟蹤算法等對運(yùn)動目標(biāo)進(jìn)行跟蹤，即通過建立幀與幀之間的對應(yīng)關(guān)系，進(jìn)行相似性比較或模板匹配。
步驟404利用支持向量機(jī)、線性分類器等方法對被跟蹤的運(yùn)動目標(biāo)進(jìn)行類型識別。例如，識別出運(yùn)動目標(biāo)為人、車、動物等。
步驟405綜合利用步驟402、403、404中獲得的信息，分析目標(biāo)行為特性，判斷是否有符合保存在智能分析處理設(shè)備存儲器中的預(yù)先設(shè)定的告警條件的“事件”發(fā)生。
其中，告警條件以及告警條件的設(shè)定根據(jù)實際應(yīng)用的不同，有不同的方法和內(nèi)容，比如在入侵檢測中，用戶可以通過圖形界面指定一個警戒區(qū)域、或指定絆線等，有目標(biāo)進(jìn)入該區(qū)域、或通過該絆線則報警。
在實際應(yīng)用中，根據(jù)應(yīng)用的不同，行為分析的內(nèi)容也不盡相同，如在徘徊檢測情況下，主要是分析目標(biāo)的位置和運(yùn)動軌跡，而在遺留物檢測的情況下，主要是分析目標(biāo)的大小、形狀和停放時長。
同時，在具體的實際應(yīng)用環(huán)境中，分析是否有告警事件發(fā)生時，還可以參考外部設(shè)備向智能分析處理設(shè)備所提供的現(xiàn)場輔助信息，例如外部設(shè)備中的各類型常規(guī)傳感器、以及防侵入探測傳感器所采集到的如溫度、濕度等信息。
步驟406有符合告警條件的“事件”發(fā)生，則控制外部設(shè)備作出相應(yīng)的告警處理，同時發(fā)送編碼的現(xiàn)場視頻信息，以及智能分析處理結(jié)果和告警信息。
在實際應(yīng)用中，根據(jù)視頻監(jiān)控系統(tǒng)的組成和結(jié)構(gòu)不同，所述步驟406中的控制外部設(shè)備進(jìn)行告警處理的內(nèi)容，以及發(fā)送編碼的現(xiàn)場視頻信息，以及智能分析處理結(jié)果和告警信息的對象也有所不同，例如外部設(shè)備可以包括各類型常規(guī)傳感器，用于采集現(xiàn)場的其它各類信息，比如溫度、濕度、大氣壓力等，并將采集到的信息傳送給智能分析處理設(shè)備，作為判斷告警事件是否產(chǎn)生的輔助信息；防侵入探測傳感器，如周界保護(hù)中常用的紅外傳感器、靜電傳感器以及門磁等傳感器等，將感應(yīng)到的外部信息傳送給智能分析處理設(shè)備，作為判斷告警事件是否產(chǎn)生的輔助信息；外部告警設(shè)備，包括例如報警燈、揚(yáng)聲器、消防噴淋設(shè)備等，當(dāng)智能分析處理設(shè)備產(chǎn)生告警信息時，由智能分析處理設(shè)備控制所述外部告警設(shè)備進(jìn)行聯(lián)動告警；聲音錄入和輸出設(shè)備，用于實現(xiàn)音頻廣播或監(jiān)控終端和監(jiān)控現(xiàn)場之間的語音對話等等。向外發(fā)送的編碼的現(xiàn)場視頻信息，以及智能分析處理結(jié)果和告警信息可以發(fā)送給本地監(jiān)控終端，或通過網(wǎng)絡(luò)向遠(yuǎn)程的監(jiān)控系統(tǒng)發(fā)送。
實施例3 如圖5所示為全景圖像的360°展開原理示意圖，圖6為360°展開方法流程示意圖，通過圖5和圖6對360°展開的具體流程描述如下 步驟601由于原始全景圖像的原點在o處，所以首先通過坐標(biāo)變換，將坐標(biāo)的原點o轉(zhuǎn)移到圓形全景圖像的中心位置o′處，建立新的坐標(biāo)系。對應(yīng)圖像中的每個像素點，坐標(biāo)變換公式為x′＝x-w/2，y′＝y(tǒng)-h/2，其中x為全景圖像中的像素點在原坐標(biāo)系中的橫坐標(biāo)，x′為全景圖像中的像素點在新坐標(biāo)系中的橫坐標(biāo)，y為全景圖像中的像素點在原坐標(biāo)系中的縱坐標(biāo)，y′為全景圖像中的像素點在新坐標(biāo)系中的縱坐標(biāo)。
步驟602確定展開圖像的高度ht和寬度wt。由于全景圖像為圓形，靠近圖像中心位置的區(qū)域采樣點樣本空間較小，進(jìn)行后續(xù)插值處理會產(chǎn)生較大的失真，所以在全景圖像中去掉一個一定半徑的同心圓，將圓形圖像變?yōu)榄h(huán)形。則，展開圖像的高度ht等于圓形全景圖像半徑r1減去去除的同心圓區(qū)域半徑r2，即ht＝r1-r2，寬度wt等于剩余圓環(huán)區(qū)域的中心圓周c的周長，即wt＝π(r1+r2)。
步驟603根據(jù)坐標(biāo)對應(yīng)關(guān)系計算展開圖像中每個像素點所對應(yīng)的全景圖像中的坐標(biāo)。展開圖像像素點直角坐標(biāo)(x1，y1)與全景圖像像素點極坐標(biāo)(ρ，θ)之間的對應(yīng)關(guān)系為 ρ＝r2+y1，
步驟604通過極坐標(biāo)反變換確定展開圖像中的點在原全景圖像中對應(yīng)的直角坐標(biāo)。
步驟605對全景圖像中的像素點的像素值進(jìn)行非線性插值計算，得到對應(yīng)的展開圖像中像素點的像素值。
以上為全景圖像360°展開方法的具體流程圖。對于2×180°以及4×90°展開，只是在360°展開得到矩形圖像的基礎(chǔ)上，對其進(jìn)行等分處理，即，2等分得到2×180°展開的展開圖像，4等分得到4×90°展開的展開圖像。但是，由于全景圖像為圓形，并沒有分界線，所以在360°展開方法時，其矩形邊界是任意確定的，即全景圖像任意半徑均可作為展開邊界，其可以在實際應(yīng)用中由人為設(shè)定，也可以由系統(tǒng)選擇，從而得到最好的展開效果。
如圖7所示為立方展開的展開原理示意圖，圖8所示為全景圖像立方展開的方法流程示意圖，結(jié)合圖7和圖8，對全景圖像立方展開方法具體描述如下 步驟801建立以全景圖像中心o為原點的新坐標(biāo)系。
步驟802設(shè)全景圖像半徑為1，將全景圖像變化為單位圓，確定每個像素點在單位圓全景圖像中的坐標(biāo)。
步驟803將全景圖像以及對應(yīng)的展開圖像分為八個區(qū)域，對展開圖像某一區(qū)域中的任一點p，設(shè)坐標(biāo)為(x1，y1)，計算其與原點o的距離op，設(shè)為r，以及與坐標(biāo)軸的夾角θ。
步驟804計算點p與原點o連線上的點的最大拉伸比例，即點m沿

拉伸到展開圖像邊緣點n的拉伸比例Rmax＝1/cosθ。
步驟805確定展開圖像點p在對應(yīng)全景圖像中的坐標(biāo)?？梢杂袃煞N方法， a均勻拉伸點p對應(yīng)全景圖像中像素點p′的半徑為r′＝r/Rmax，坐標(biāo)為(r′cosθ，r′sinθ)。
b加權(quán)拉伸計算點p的加權(quán)參數(shù)para＝r/Rmax，則點p對應(yīng)原全景圖像中像素點p′的半徑為 步驟806對全景圖像中的像素點的像素值進(jìn)行非線性插值計算，得到對應(yīng)的展開圖像中像素點的像素值。
實施例4 圖9為本發(fā)明中對全景圖像進(jìn)行展開的裝置，如圖9所示，該裝置包括坐標(biāo)系變換模塊910、形狀特性確定模塊920、坐標(biāo)計算模塊930以及像素值計算模塊940，其中， 坐標(biāo)系變換模塊910，用于建立以全景圖像中心為原點的新坐標(biāo)系并計算全景圖像中每個像素點在新坐標(biāo)系中的坐標(biāo)，并將得到的每個像素點的坐標(biāo)發(fā)送給坐標(biāo)計算模塊930； 形狀特性確定模塊920，用于根據(jù)用戶選擇的不同的展開方法，確定相應(yīng)展開圖像的形狀特性，并將所述形狀特性發(fā)送給坐標(biāo)計算模塊930； 坐標(biāo)計算模塊930，用于根據(jù)所述形狀特性和所述每個像素點的坐標(biāo)計算展開圖像中每個像素點所對應(yīng)的全景圖像中的坐標(biāo)，并將得到的坐標(biāo)發(fā)送給像素值計算模塊940； 像素值計算模塊940，用于根據(jù)坐標(biāo)計算模塊930得到的展開圖像對應(yīng)于全景圖像的坐標(biāo)，通過對全景圖像中像素點的像素值進(jìn)行非線性插值計算，計算每個展開圖像中的像素點對應(yīng)的像素值。
以上所述，僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護(hù)范圍。
權(quán)利要求
1.一種全景視頻智能監(jiān)控方法，其特征在于，該方法包括
A、獲取現(xiàn)場全景圖像；
B、展開全景圖像，在全景展開圖像中對運(yùn)動目標(biāo)進(jìn)行智能分析。
2.根據(jù)權(quán)利要求1所述的全景視頻智能監(jiān)控方法，其特征在于，步驟B中所述展開全景圖像為
B1、建立以全景圖像中心為原點的新坐標(biāo)系，計算全景圖像中每個像素點在新坐標(biāo)系中的坐標(biāo)；
B2、確定展開圖像的形狀特性，以及全景圖像與展開圖像之間的坐標(biāo)對應(yīng)關(guān)系；
B3、根據(jù)坐標(biāo)對應(yīng)關(guān)系計算展開圖像中每個像素點所對應(yīng)的全景圖像中的坐標(biāo)；
B4、根據(jù)計算出的所述坐標(biāo)，對全景圖像中像素點的像素值進(jìn)行非線性插值計算，得到對應(yīng)展開圖像中每個像素點的像素值。
3.根據(jù)權(quán)利要求2所述的全景視頻智能監(jiān)控方法，其特征在于，在所述步驟B1和B2之間進(jìn)一步包括
B11、在全景圖像中去掉一個以原點為圓心的同心圓。
4.根據(jù)權(quán)利要求2或3所述的全景視頻智能監(jiān)控方法，其特征在于，所述展開圖像為矩形展開圖像時，所述步驟B2為確定矩形展開圖像的高度和寬度。
5.根據(jù)權(quán)利要求3所述的全景視頻智能監(jiān)控方法，其特征在于，步驟B3中所述坐標(biāo)對應(yīng)關(guān)系為
ρ＝r2+y，
其中，ρ為全景圖像中的像素點與坐標(biāo)原點的距離，θ為全景圖像中像素點與坐標(biāo)軸的夾角，x為展開圖像中像素點的橫坐標(biāo)，y為展開圖像中像素點的縱坐標(biāo)，r2為所述同心圓的半徑，r1為全景圖像的半徑，π為圓周率。
6.根據(jù)權(quán)利要求2所述的全景視頻智能監(jiān)控方法，其特征在于，所述步驟B1為
將全景圖像的半徑設(shè)置為1，計算全景圖像中每個像素點在單位圓全景圖像中的坐標(biāo)。
7.根據(jù)權(quán)利要求6所述的全景視頻智能監(jiān)控方法，其特征在于，所述步驟B2為
計算展開圖像中每一像素點與原點的距離、與坐標(biāo)軸的夾角以及與原點連線上的像素點的最大拉伸比例。
8.根據(jù)權(quán)利要求7所述的全景視頻智能監(jiān)控方法，其特征在于，步驟B3中所述坐標(biāo)對應(yīng)關(guān)系為
r′＝r/Rmax，θ′＝θ
其中，r′為全景圖像中像素點與原點的距離，θ′為全景圖像中像素點與坐標(biāo)軸的夾角，θ為展開圖像中像素點與坐標(biāo)軸的夾角，r為展開圖像中像素點與原點的距離，Rmax為展開圖像中像素點與原點連線上的像素點的最大拉伸比例，Rmax＝1/cosθ。
9.根據(jù)權(quán)利要求7所述的全景視頻智能監(jiān)控方法，其特征在于，步驟B3中所述坐標(biāo)對應(yīng)關(guān)系為
θ′＝θ
其中，r′為全景圖像中像素點與原點的距離，θ′為全景圖像中像素點與坐標(biāo)軸的夾角，θ為展開圖像中像素點與坐標(biāo)軸的夾角，r為展開圖像中像素點與原點的距離，Rmax為展開圖像中像素點與原點連線上的像素點的最大拉伸比例，Rmax＝1/cosθ。
10.根據(jù)權(quán)利要求1或2所述的全景視頻智能監(jiān)控方法，其特征在于，步驟B中所述在全景展開圖像中對運(yùn)動目標(biāo)進(jìn)行智能分析為
對運(yùn)動目標(biāo)進(jìn)行檢測、跟蹤、類型識別以及行為分析。
11.根據(jù)權(quán)利要求10所述的全景視頻智能監(jiān)控方法，其特征在于，步驟B之后進(jìn)一步包括
C、確定告警處理的執(zhí)行，并執(zhí)行告警處理。
12.根據(jù)權(quán)利要求11所述的全景視頻智能監(jiān)控方法，其特征在于，步驟C中所述告警處理為
控制外部設(shè)備做出相應(yīng)告警處理；或者，
向本地監(jiān)控終端發(fā)送智能分析結(jié)果和現(xiàn)場視頻信息、以及告警信息；或者，向智能監(jiān)控平臺發(fā)送智能分析結(jié)果和現(xiàn)場視頻信息、以及告警信息；
或者以上任意的組合。
13.根據(jù)權(quán)利要求12所述的全景視頻智能監(jiān)控方法，其特征在于，步驟C后進(jìn)一步包括
D、本地監(jiān)控終端根據(jù)接收到的智能分析結(jié)果和現(xiàn)場視頻信息、以及告警信息，對用戶指定區(qū)域進(jìn)行放大顯示；和/或，
本地監(jiān)控終端根據(jù)接收到的智能分析結(jié)果和現(xiàn)場視頻信息、以及告警信息，將檢測到的運(yùn)動目標(biāo)及其運(yùn)動軌跡進(jìn)行標(biāo)識；和，
智能監(jiān)控平臺存儲接收到的智能分析結(jié)果和現(xiàn)場視頻信息、以及告警信息，并對現(xiàn)場視頻信息進(jìn)行顯示、存儲、回放和檢索。
14.根據(jù)權(quán)利要求13所述的全景視頻智能監(jiān)控方法，其特征在于，步驟D后進(jìn)一步包括
E、所述智能監(jiān)控平臺向遠(yuǎn)程監(jiān)控終端發(fā)送智能分析結(jié)果和現(xiàn)場視頻信息、以及告警信息，并同時控制現(xiàn)場監(jiān)控設(shè)備聯(lián)動告警。
15.根據(jù)權(quán)利要求14所述的全景視頻智能監(jiān)控方法，其特征在于，步驟D與E之間進(jìn)一步包括
E0、遠(yuǎn)程監(jiān)控終端向智能監(jiān)控平臺請求發(fā)送智能分析結(jié)果和現(xiàn)場視頻信息、以及告警信息。
16.根據(jù)權(quán)利要求14所述的全景視頻智能監(jiān)控方法，其特征在于，步驟E之后進(jìn)一步包括
F、遠(yuǎn)程監(jiān)控終端根據(jù)接收到的智能分析結(jié)果和現(xiàn)場視頻信息、以及告警信息，對用戶指定區(qū)域進(jìn)行放大顯示；和/或，
本地監(jiān)控終端根據(jù)接收到的智能分析結(jié)果和現(xiàn)場視頻信息、以及告警信息，在全景展開圖像上將檢測到的運(yùn)動目標(biāo)及其運(yùn)動軌跡進(jìn)行標(biāo)識。
17.根據(jù)權(quán)利要求13或16所述的全景視頻智能監(jiān)控方法，其特征在于，所述進(jìn)行標(biāo)識為
將檢測到的運(yùn)動目標(biāo)用矩形框框起來，并將運(yùn)動目標(biāo)的運(yùn)動軌跡用一條曲線表示；或者，
勾勒出檢測到的煙霧的所在區(qū)域，以及擴(kuò)散形狀。
18.根據(jù)權(quán)利要求17所述的全景視頻智能監(jiān)控方法，其特征在于，組成所述曲線的點為檢測到的運(yùn)動目標(biāo)在前面幀中的質(zhì)心位置。
19.一種全景視頻智能監(jiān)控系統(tǒng)，其特征在于，該系統(tǒng)包括前端全景成像設(shè)備、智能分析處理設(shè)備以及智能監(jiān)控平臺，其中，
前端全景成像設(shè)備，用于獲取現(xiàn)場視頻信息，對場景進(jìn)行360°無盲點監(jiān)測，并將現(xiàn)場視頻信息發(fā)送給智能分析處理設(shè)備；
智能分析處理設(shè)備，用于對所述現(xiàn)場視頻信息進(jìn)行智能分析和處理，并將智能分析處理結(jié)果和現(xiàn)場視頻信息、以及告警信息發(fā)送給智能監(jiān)控平臺以及本地監(jiān)控終端，同時控制外部設(shè)備進(jìn)行告警；
智能監(jiān)控平臺，用于處理所述智能分析處理結(jié)果和現(xiàn)場視頻信息、以及告警信息，對所述現(xiàn)場視頻信息進(jìn)行顯示、存儲、回放和檢索；還用于對本地端的前端全景成像設(shè)備以及智能分析處理設(shè)備進(jìn)行配置和維護(hù)；還用于根據(jù)客戶需求，將所述告警信息及現(xiàn)場視頻信息傳輸給遠(yuǎn)程監(jiān)控終端；還用于控制現(xiàn)場監(jiān)控設(shè)備進(jìn)行聯(lián)動告警。
20.根據(jù)權(quán)利要求19所述的全景視頻智能監(jiān)控系統(tǒng)，其特征在于，該系統(tǒng)進(jìn)一步包括
本地監(jiān)控終端，用于接收智能分析處理設(shè)備傳送的智能分析結(jié)果和現(xiàn)場視頻信息、以及告警信息，并將告警信息通知用戶；
遠(yuǎn)程監(jiān)控終端，用于接收智能監(jiān)控平臺傳送的智能分析結(jié)果和現(xiàn)場視頻信息、以及告警信息，并將告警信息通知用戶。
21.根據(jù)權(quán)利要求19或20所述的全景視頻智能監(jiān)控系統(tǒng)，其特征在于，所述智能分析處理設(shè)備包括全景圖像展開處理模塊、運(yùn)動目標(biāo)檢測模塊、運(yùn)動目標(biāo)跟蹤模塊、運(yùn)動目標(biāo)分類模塊、運(yùn)動目標(biāo)行為分析模塊、外部設(shè)備控制模塊以及數(shù)據(jù)通信模塊，其中，
全景圖像展開處理模塊，用于對接收到的全景圖像進(jìn)行展開，得到全景展開圖像；
運(yùn)動目標(biāo)檢測模塊，用于檢測所述全景展開圖像的當(dāng)前幀與背景模型不相符的像素，并將其連貫起來后提取出當(dāng)前幀的前景目標(biāo)；
運(yùn)動目標(biāo)跟蹤模塊，用于對運(yùn)動目標(biāo)檢測模塊提取出的所述前景目標(biāo)進(jìn)行跟蹤；
運(yùn)動目標(biāo)分類模塊，用于對運(yùn)動目標(biāo)跟蹤模塊中的跟蹤目標(biāo)進(jìn)行類型識別；
運(yùn)動目標(biāo)行為分析模塊，綜合利用運(yùn)動目標(biāo)檢測模塊、運(yùn)動目標(biāo)跟蹤模塊以及運(yùn)動目標(biāo)分類模塊中獲得的信息，分析目標(biāo)行為特性，判斷是否有符合告警條件存儲器中存儲的“事件”發(fā)生；如果有符合告警條件的“事件”，則進(jìn)入外部設(shè)備控制模塊和數(shù)據(jù)通信模塊，如果沒有，則進(jìn)入全景圖像展開處理模塊；
外部設(shè)備控制模塊，用于控制外部設(shè)備進(jìn)行相應(yīng)告警處理；
數(shù)據(jù)通信模塊，用于向本地監(jiān)控終端和智能監(jiān)控平臺發(fā)送智能分析處理結(jié)果和現(xiàn)場視頻信息、以及告警信息。
22.根據(jù)權(quán)利要求21所述的全景視頻智能監(jiān)控系統(tǒng)，其特征在于，所述全景圖像展開處理模塊包括坐標(biāo)系變換模塊、形狀特性確定模塊、坐標(biāo)計算模塊以及像素值計算模塊，其中，
坐標(biāo)系變換模塊，用于建立以全景圖像中心為原點的新坐標(biāo)系并計算全景圖像中每個像素點在新坐標(biāo)系中的坐標(biāo)，并將得到的每個像素點的坐標(biāo)發(fā)送給坐標(biāo)計算模塊；
形狀特性確定模塊，用于根據(jù)用戶選擇的不同的展開方法，確定相應(yīng)展開圖像的形狀特性，并將所述形狀特性發(fā)送給坐標(biāo)計算模塊；
坐標(biāo)計算模塊，用于根據(jù)所述形狀特性和所述每個像素點的坐標(biāo)計算展開圖像中每個像素點所對應(yīng)的全景圖像中的坐標(biāo)，并將得到的坐標(biāo)發(fā)送給像素值計算模塊；
像素值計算模塊，用于根據(jù)坐標(biāo)計算模塊發(fā)送來的所述坐標(biāo)，通過對全景圖像中像素點的像素值進(jìn)行非線性插值計算，計算每個展開圖像中的像素點對應(yīng)的像素值。
23.根據(jù)權(quán)利要求19或20所述的全景視頻智能監(jiān)控系統(tǒng)，其特征在于，所述智能監(jiān)控平臺，進(jìn)一步包括
數(shù)據(jù)存儲單元，用于存儲所述智能分析處理結(jié)果和現(xiàn)場視頻信息、以及告警信息。
24.根據(jù)權(quán)利要求20所述的全景視頻智能監(jiān)控系統(tǒng)，其特征在于，所述本地監(jiān)控終端和遠(yuǎn)程監(jiān)控終端進(jìn)一步包括
虛擬云臺控制模塊，用于對用戶指定區(qū)域進(jìn)行放大顯示；和/或，
檢測事件表示模塊，用于根據(jù)所接收到的智能分析結(jié)果和現(xiàn)場視頻信息、以及告警信息，將檢測到的運(yùn)動目標(biāo)及其運(yùn)動軌跡進(jìn)行標(biāo)識。
25.一種對全景圖像進(jìn)行智能分析處理的設(shè)備，其特征在于，該設(shè)備包括全景圖像展開處理模塊、運(yùn)動目標(biāo)檢測模塊、運(yùn)動目標(biāo)跟蹤模塊、運(yùn)動目標(biāo)分類模塊、運(yùn)動目標(biāo)行為分析模塊、外部設(shè)備控制模塊以及數(shù)據(jù)通信模塊，其中，
全景圖像展開處理模塊，用于對接收到的全景圖像進(jìn)行展開；
運(yùn)動目標(biāo)檢測模塊，用于檢測全景展開圖像的當(dāng)前幀與背景模型不相符的像素，并將其連貫起來后提取出當(dāng)前幀的前景目標(biāo)；
運(yùn)動目標(biāo)跟蹤模塊，用于對運(yùn)動目標(biāo)檢測模塊提取出的所述前景目標(biāo)進(jìn)行跟蹤；
運(yùn)動目標(biāo)分類模塊，用于對運(yùn)動目標(biāo)跟蹤模塊中的跟蹤目標(biāo)進(jìn)行類型識別；
運(yùn)動目標(biāo)行為分析模塊，綜合利用運(yùn)動目標(biāo)檢測模塊、運(yùn)動目標(biāo)跟蹤模塊以及運(yùn)動目標(biāo)分類模塊中獲得的信息，分析目標(biāo)行為特性，判斷是否有符合告警條件存儲器中存儲的“事件”發(fā)生；如果有符合告警條件的“事件”，則進(jìn)入外部設(shè)備控制模塊和數(shù)據(jù)通信模塊，如果沒有，則進(jìn)入全景圖像展開處理模塊；
外部設(shè)備控制模塊，用于控制外部設(shè)備進(jìn)行相應(yīng)告警處理；
數(shù)據(jù)通信模塊，用于向本地監(jiān)控終端和智能監(jiān)控平臺發(fā)送智能分析結(jié)果和現(xiàn)場視頻信息、以及告警信息。
26.根據(jù)權(quán)利要求25所述的對全景圖像進(jìn)行智能分析處理的設(shè)備，其特征在于，所述全景圖像展開處理模塊進(jìn)一步包括
坐標(biāo)系變換模塊，用于建立以全景圖像中心為原點的新坐標(biāo)系并計算全景圖像中每個像素點在新坐標(biāo)系中的坐標(biāo)，并將得到的每個像素點的坐標(biāo)發(fā)送給坐標(biāo)計算模塊；
形狀特性確定模塊，用于根據(jù)用戶選擇的不同的展開方法，確定相應(yīng)展開圖像的形狀特性，并將所述形狀特性發(fā)送給坐標(biāo)計算模塊；
坐標(biāo)計算模塊，用于根據(jù)所述形狀特性和所述每個像素點的坐標(biāo)計算展開圖像中每個像素點所對應(yīng)的全景圖像中的坐標(biāo)，并將得到的坐標(biāo)發(fā)送給像素值計算模塊；
像素值計算模塊，用于根據(jù)坐標(biāo)計算模塊發(fā)送來的所述坐標(biāo)，通過對全景圖像中像素點的像素值進(jìn)行非線性插值計算，計算每個展開圖像中的像素點對應(yīng)的像素值。
27.一種對全景圖像進(jìn)行展開的方法，其特征在于，該方法包括
1)建立以全景圖像中心為原點的新坐標(biāo)系，計算全景圖像中每個像素點在新坐標(biāo)系中的坐標(biāo)；
2)確定展開圖像的形狀特性，以及全景圖像與展開圖像之間的坐標(biāo)對應(yīng)關(guān)系；
3)根據(jù)坐標(biāo)對應(yīng)關(guān)系計算展開圖像中每個像素點所對應(yīng)的全景圖像中像素點的坐標(biāo)；
4)根據(jù)計算出的所述坐標(biāo)，對全景圖像中像素點的像素值進(jìn)行非線性插值計算，得到對應(yīng)展開圖像中每個像素點的像素值。
28.根據(jù)權(quán)利要求27所述的對全景圖像進(jìn)行展開的方法，其特征在于，在所述步驟1)和2)之間進(jìn)一步包括
11)在全景圖像中去掉一個以原點為中心的同心圓。
29.根據(jù)權(quán)利要求27或28所述的對全景圖像進(jìn)行展開的方法，其特征在于，所述展開圖像為矩形展開圖像時，所述步驟2)為確定矩形展開圖像的高度和寬度。
30.根據(jù)權(quán)利要求28所述的對全景圖像進(jìn)行展開的方法，其特征在于，步驟3)中所述坐標(biāo)對應(yīng)關(guān)系為
ρ＝r2+y，
其中，ρ為全景圖像中的像素點與坐標(biāo)原點的距離，θ為全景圖像中像素點與坐標(biāo)軸的夾角，x為展開圖像中像素點的橫坐標(biāo)，y為展開圖像中像素點的縱坐標(biāo)，r2為所述同心圓的半徑，r1為全景圖像的半徑，π為圓周率。
31.根據(jù)權(quán)利要求27所述的對全景圖像進(jìn)行展開的方法，其特征在于，所述步驟1)為
將全景圖像的半徑設(shè)置為1，計算全景圖像中每個像素點在單位圓全景圖像中的坐標(biāo)。
32.根據(jù)權(quán)利要求31所述的對全景圖像進(jìn)行展開的方法，其特征在于，所述步驟2)為
計算展開圖像中每一像素點與原點的距離、與坐標(biāo)軸的夾角以及與原點連線上的像素點的最大拉伸比例。
33.根據(jù)權(quán)利要求32所述的對全景圖像進(jìn)行展開的方法，其特征在于，步驟3)中所述坐標(biāo)對應(yīng)關(guān)系為
r′＝r/Rmax，θ′＝θ
其中，r′為全景圖像中像素點與原點的距離，θ′為全景圖像中像素點與坐標(biāo)軸的夾角，θ為展開圖像中像素點與坐標(biāo)軸的夾角，r為展開圖像中像素點與原點的距離，Rmax為展開圖像中像素點與原點連線上的像素點的最大拉伸比例，Rmax＝1/cosθ。
34.根據(jù)權(quán)利要求32所述的對全景圖像進(jìn)行展開的方法，其特征在于，步驟3)中所述坐標(biāo)對應(yīng)關(guān)系為
θ′＝θ
其中，r′為全景圖像中像素點與原點的距離，θ′為全景圖像中像素點與坐標(biāo)軸的夾角，θ為展開圖像中像素點與坐標(biāo)軸的夾角，r為展開圖像中像素點與原點的距離，Rmax為展開圖像中像素點與原點連線上的像素點的最大拉伸比例，Rmax＝1/cosθ。
35.一種對全景圖像進(jìn)行展開的裝置，其特征在于，該裝置包括坐標(biāo)系變換模塊、形狀特性確定模塊、坐標(biāo)計算模塊以及像素值計算模塊，其中，
坐標(biāo)系變換模塊，用于建立以全景圖像中心為原點的新坐標(biāo)系并計算全景圖像中每個像素點在新坐標(biāo)系中的坐標(biāo)，并將得到的每個像素點的坐標(biāo)發(fā)送給坐標(biāo)計算模塊；
形狀特性確定模塊，用于根據(jù)用戶選擇的不同的展開方法，確定相應(yīng)展開圖像的形狀特性，并將所述形狀特性發(fā)送給坐標(biāo)計算模塊；
坐標(biāo)計算模塊，用于根據(jù)所述形狀特性和所述每個像素點的坐標(biāo)計算展開圖像中每個像素點所對應(yīng)的全景圖像中的坐標(biāo)，并將得到的坐標(biāo)發(fā)送給像素值計算模塊；
像素值計算模塊，用于根據(jù)坐標(biāo)計算模塊發(fā)送來的所述坐標(biāo)，通過對全景圖像中像素點的像素值進(jìn)行非線性插值計算，計算每個展開圖像中的像素點對應(yīng)的像素值。
全文摘要
本發(fā)明公開了一種全景視頻智能監(jiān)控方法，包括A.獲取現(xiàn)場全景圖像，并展開；B.在全景展開圖像中對運(yùn)動目標(biāo)進(jìn)行智能分析。本發(fā)明還同時公開了一種全景視頻智能監(jiān)控系統(tǒng)、一種對全景圖像進(jìn)行智能分析處理的設(shè)備、一種對全景圖像進(jìn)行展開的方法和裝置，利用這些方法、系統(tǒng)、設(shè)備和裝置，可以減少安裝成本，自動區(qū)分畫面中出現(xiàn)的“異?！?，并實施運(yùn)動目標(biāo)檢測、跟蹤、分類和行為分析，實現(xiàn)智能告警，有效地阻止事件發(fā)生，節(jié)省人力和物力。
文檔編號G08B13/196GK101123722SQ20071012242
公開日2008年2月13日 申請日期2007年9月25日 優(yōu)先權(quán)日2007年9月25日
發(fā)明者王占寧, 菅云峰, 成 蔡, 曾建平, 楠 孫, 裴保紅 申請人:北京智安邦科技有限公司