專利名稱：一種全景監(jiān)控方法及設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻監(jiān)控技術(shù)，特別是指一種全景監(jiān)控方法及設(shè)備。

背景技術(shù)：
目前的全景監(jiān)控設(shè)備主要是由全景鏡頭和CCD/CMOS成像組件構(gòu)成，將模擬視頻信號(hào)輸出接入到全景視頻服務(wù)器，由全景視頻服務(wù)器將展開的圖像傳到監(jiān)控室或直接接到監(jiān)視器上進(jìn)行顯示。對(duì)于遠(yuǎn)程監(jiān)控系統(tǒng)，全景視頻服務(wù)器不僅要完成圖像的展開，同時(shí)還要實(shí)現(xiàn)視頻壓縮和傳輸，工作壓力較大，而且降低了監(jiān)控的實(shí)時(shí)性。
全景相機(jī)是一種新興的監(jiān)控設(shè)備，無需采用多臺(tái)相機(jī)，一臺(tái)全景相機(jī)就能夠?qū)崿F(xiàn)對(duì)大空間360°的無盲區(qū)監(jiān)控，由于受限于現(xiàn)階段的閉路電視監(jiān)控(CCTV)相機(jī)的分辨率，為了提供高分辨率的監(jiān)控質(zhì)量，常采用全景相機(jī)與云臺(tái)控制相機(jī)(PTZ相機(jī))相配合的工作模式，全景相機(jī)能夠提供監(jiān)控場(chǎng)景的全景，解決“看得全”的問題，PTZ相機(jī)通過控制Pan-Tilt-Zoom，解決“看得清”的問題。如果全景相機(jī)連接有對(duì)目標(biāo)事件自動(dòng)檢測(cè)的智能處理設(shè)備，則可將目標(biāo)的位置、與視場(chǎng)中心的偏差等信息提供給PTZ相機(jī)，使PTZ相機(jī)聚焦到目標(biāo)位置，實(shí)現(xiàn)虛擬PTZ跟蹤。這樣的工作模式，在一段時(shí)間內(nèi)只能實(shí)現(xiàn)對(duì)一個(gè)目標(biāo)做到“看得清”，為了實(shí)現(xiàn)對(duì)多個(gè)目標(biāo)的清晰觀察，必須采用輪詢的方式來實(shí)現(xiàn)，輪詢的方式將導(dǎo)致目標(biāo)的信息不完整，嚴(yán)重時(shí)甚至可能導(dǎo)致丟失對(duì)關(guān)鍵目標(biāo)的檢測(cè)，給事件的事前制止和證據(jù)的事后查證帶來很大的困難。
另外，PTZ相機(jī)本身啟動(dòng)速度慢、低速平移性能差、無反饋等缺點(diǎn)也降低了對(duì)目標(biāo)檢測(cè)、跟蹤的準(zhǔn)確性和可靠性。
綜上所述，目前迫切需要提出更為有效的全景監(jiān)控方案。


發(fā)明內(nèi)容
本發(fā)明的目的在于提供一個(gè)全新的全景監(jiān)控設(shè)備和方法，并建立一個(gè)基于這一設(shè)備而且消除了以上缺點(diǎn)的全景視頻監(jiān)控系統(tǒng)。
本發(fā)明的目的還在于提供一種全新的全景監(jiān)控體系和方法，將全景傳感、智能圖像處理以及視頻服務(wù)等功能進(jìn)行有機(jī)結(jié)合。
本發(fā)明的目的還在于提供一種目標(biāo)事件檢測(cè)和多個(gè)虛擬PTZ跟蹤相結(jié)合的工作模式及算法，突破單一時(shí)段只能對(duì)單一目標(biāo)進(jìn)行跟蹤的缺陷。
本發(fā)明的目的還在于提供一種全景圖像及多個(gè)虛擬PTZ跟蹤目標(biāo)圖像有效壓縮、傳輸、顯示、控制機(jī)制和方法。
為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的 一種全景監(jiān)控設(shè)備，包括全景鏡頭、成像組件、事件檢測(cè)模塊、視頻服務(wù)模塊和接口模塊，其中，所述全景鏡頭和成像組件相結(jié)合用于得到監(jiān)控現(xiàn)場(chǎng)的全景視頻信息；所述事件檢測(cè)模塊用于對(duì)所述全景視頻信息進(jìn)行智能圖像分析，根據(jù)得到智能分析結(jié)果判斷是否有符合預(yù)先設(shè)定告警條件的事件發(fā)生，并生成事件檢測(cè)報(bào)告；所述視頻服務(wù)模塊用于利用所述智能分析結(jié)果獲取檢測(cè)目標(biāo)高分辨率細(xì)節(jié)圖像，實(shí)現(xiàn)方位、高低、變焦三個(gè)方向?qū)δ繕?biāo)的虛擬跟蹤，即虛擬PTZ跟蹤，并根據(jù)聯(lián)動(dòng)預(yù)案控制外部設(shè)備產(chǎn)生各種聯(lián)動(dòng)動(dòng)作，進(jìn)一步提供一種多高分辨率目標(biāo)圖像復(fù)用的壓縮、傳輸機(jī)制；所述接口模塊用于提供全景監(jiān)控設(shè)備與外部設(shè)備連接的全部接口。
所述全景鏡頭為多鏡頭模式的全景鏡頭，或反射式全景鏡頭，或折射式全景鏡頭。
所述成像組件為CCD成像組件，或CMOS成像組件。
所述事件檢測(cè)模塊包括視頻采集模塊、視頻展開/拼接模塊、降分辨率模塊、智能圖像分析模塊和事件生成模塊，其中，所述視頻采集模塊用于接收所述全景視頻信息；所述視頻展開/拼接模塊用于通過坐標(biāo)變化和插值處理對(duì)圓形全方位圖像進(jìn)行展開；降分辨率模塊用于降低全景展開圖像的分辨率；智能圖像分析模塊用于在降分辨率的全景展開圖像中進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)、跟蹤、分類和行為分析，提取目標(biāo)基礎(chǔ)數(shù)據(jù)信息，并應(yīng)用這些信息分析目標(biāo)運(yùn)動(dòng)的空間特性和時(shí)間特性；所述事件生成模塊用于根據(jù)展開的全景視頻信息判斷是否有符合預(yù)先設(shè)定告警條件的事件發(fā)生，在有告警事件發(fā)生時(shí)，生成事件檢測(cè)報(bào)告。
所述事件檢測(cè)模塊進(jìn)一步用于向所述視頻服務(wù)模塊提供高分辨率全景展開圖像以及降分辨率的全景展開圖像。
所述視頻服務(wù)模塊包括高分辨率圖像保存模塊、高分辨率目標(biāo)圖像提取模塊、圖像復(fù)用模塊、視頻壓縮模塊和流媒體傳輸模塊，其中，所述高分辨率圖像保存模塊用于存儲(chǔ)高分辨率全景展開圖像；高分辨率目標(biāo)圖像提取模塊用于根據(jù)事件檢測(cè)模塊的智能分析處理結(jié)果從全景展開圖像中提取目標(biāo)的高分辨率細(xì)節(jié)影像；所述圖像復(fù)用模塊用于將高分辨率目標(biāo)圖像進(jìn)行復(fù)用；所述視頻壓縮模塊用于對(duì)復(fù)用后的高分辨目標(biāo)圖像以及降分辨率的全景展開圖像進(jìn)行視頻壓縮；流媒體傳輸模塊用于根據(jù)網(wǎng)絡(luò)狀況，以相應(yīng)的傳輸幀率和碼率通過網(wǎng)絡(luò)接口向遠(yuǎn)程監(jiān)控中心傳送前端監(jiān)控?cái)?shù)據(jù)。
所述視頻服務(wù)模塊包括視頻采集模塊、視頻展開/拼接模塊、高分辨率圖像保存模塊、高分辨率目標(biāo)圖像提取模塊、圖像復(fù)用模塊、視頻壓縮模塊和流媒體傳輸模塊，其中，所述視頻采集模塊用于接收所述全景視頻信息；所述視頻展開/拼接模塊用于通過坐標(biāo)變化和插值處理對(duì)圓形全方位圖像進(jìn)行展開；所述高分辨率圖像保存模塊用于存儲(chǔ)高分辨率全景展開圖像；高分辨率目標(biāo)圖像提取模塊用于根據(jù)事件檢測(cè)模塊的智能分析處理結(jié)果從全景展開圖像中提取目標(biāo)的高分辨率細(xì)節(jié)影像；所述圖像復(fù)用模塊用于將高分辨率目標(biāo)圖像進(jìn)行復(fù)用；所述視頻壓縮模塊用于對(duì)復(fù)用后的高分辨目標(biāo)圖像以及降分辨率的全景展開圖像進(jìn)行視頻壓縮；流媒體傳輸模塊用于根據(jù)網(wǎng)絡(luò)狀況，以相應(yīng)的傳輸幀率和碼率通過網(wǎng)絡(luò)接口向遠(yuǎn)程監(jiān)控中心傳送前端監(jiān)控?cái)?shù)據(jù)。
所述視頻服務(wù)模塊進(jìn)一步包括降分辨率模塊，用于降低全景展開圖像的分辨率。
所述事件檢測(cè)模塊進(jìn)一步用于向所述視頻服務(wù)模塊提供事件數(shù)據(jù)。
所述事件檢測(cè)模塊進(jìn)一步用于提供目標(biāo)的基礎(chǔ)數(shù)據(jù)信息；進(jìn)一步提供目標(biāo)運(yùn)動(dòng)的預(yù)測(cè)信息。
所述視頻展開/拼接模塊包括坐標(biāo)系變換模塊、形狀特性確定模塊、坐標(biāo)計(jì)算模塊以及像素值計(jì)算模塊，其中，所述坐標(biāo)系變換模塊，用于建立以全景圖像中心為原點(diǎn)的新坐標(biāo)系并計(jì)算全景圖像中每個(gè)像素點(diǎn)在新坐標(biāo)系中的坐標(biāo)，并將得到的每個(gè)像素點(diǎn)的坐標(biāo)發(fā)送給坐標(biāo)計(jì)算模塊；所述形狀特性確定模塊，用于根據(jù)用戶選擇的不同的展開方法，確定相應(yīng)展開圖像的形狀特性，并將所述形狀特性發(fā)送給坐標(biāo)計(jì)算模塊；所述坐標(biāo)計(jì)算模塊，用于根據(jù)所述形狀特性和所述每個(gè)像素點(diǎn)的坐標(biāo)計(jì)算展開圖像中每個(gè)像素點(diǎn)所對(duì)應(yīng)的全景圖像中的坐標(biāo)，并將得到的坐標(biāo)發(fā)送給像素值計(jì)算模塊；所述像素值計(jì)算模塊，用于根據(jù)坐標(biāo)計(jì)算模塊發(fā)送來的所述坐標(biāo)，通過對(duì)全景圖像中像素點(diǎn)的像素值進(jìn)行非線性插值計(jì)算，計(jì)算每個(gè)展開圖像中的像素點(diǎn)對(duì)應(yīng)的像素值。
一種全景監(jiān)控方法，包含獲取監(jiān)控現(xiàn)場(chǎng)的全景視頻信息；對(duì)所述全景視頻信息進(jìn)行智能分析得到智能分析結(jié)果，根據(jù)智能分析結(jié)果判斷是否有符合預(yù)先設(shè)定告警條件的事件發(fā)生，并生成事件檢測(cè)報(bào)告；利用所述智能分析結(jié)果獲取檢測(cè)目標(biāo)高分辨率細(xì)節(jié)圖像，實(shí)現(xiàn)多目標(biāo)虛擬PTZ跟蹤，并根據(jù)聯(lián)動(dòng)預(yù)案控制外部設(shè)備產(chǎn)生各種聯(lián)動(dòng)動(dòng)作，并進(jìn)一步實(shí)現(xiàn)多高分辨率目標(biāo)圖像復(fù)用的壓縮、傳輸機(jī)制。
所述進(jìn)行智能分析，包括通過坐標(biāo)變化和插值處理對(duì)圓形全方位圖像進(jìn)行展開。
所述進(jìn)行智能分析，包括降低全景展開圖像的分辨率。
所述進(jìn)行智能分析，包括檢測(cè)當(dāng)前幀中與背景模型不相符的像素，將所述像素連貫起來后，提取出當(dāng)前幀的前景目標(biāo)。
所述進(jìn)行智能分析，進(jìn)一步包括通過建立幀與幀之間的對(duì)應(yīng)關(guān)系，然后進(jìn)行相似性比較或模板匹配實(shí)現(xiàn)目標(biāo)跟蹤。
所述進(jìn)行智能分析，進(jìn)一步包括提供目標(biāo)的基礎(chǔ)數(shù)據(jù)信息；進(jìn)一步提供目標(biāo)運(yùn)動(dòng)的預(yù)測(cè)信息。
所述利用所述智能分析結(jié)果進(jìn)行操作，包括在高分辨率全景圖像中聚焦每個(gè)檢測(cè)到的目標(biāo)，獲取目標(biāo)的高清晰細(xì)節(jié)圖像；將高分辨率目標(biāo)圖像復(fù)用，在一副圖像中有序排列檢測(cè)到的多個(gè)目標(biāo)圖像。
所述通過坐標(biāo)變化和插值處理對(duì)圓形全方位圖像進(jìn)行展開，包括 A、建立以全景圖像中心為原點(diǎn)的新坐標(biāo)系，計(jì)算全景圖像中每個(gè)像素點(diǎn)在新坐標(biāo)系中的坐標(biāo)； B、確定展開圖像的形狀特性，以及全景圖像與展開圖像之間的坐標(biāo)對(duì)應(yīng)關(guān)系； C、根據(jù)坐標(biāo)對(duì)應(yīng)關(guān)系計(jì)算展開圖像中每個(gè)像素點(diǎn)所對(duì)應(yīng)的全景圖像中的坐標(biāo)； D、根據(jù)計(jì)算出的所述坐標(biāo)，對(duì)全景圖像中像素點(diǎn)的像素值進(jìn)行非線性插值計(jì)算，得到對(duì)應(yīng)展開圖像中每個(gè)像素點(diǎn)的像素值。
所述步驟A與步驟B之間進(jìn)一步包括在全景圖像中去掉一個(gè)以原點(diǎn)為中心的同心圓。
所述展開圖像為矩形展開圖像時(shí)，所述步驟B為確定矩形展開圖像的高度和寬度。
步驟C中所述坐標(biāo)對(duì)應(yīng)關(guān)系為ρ＝r2+y，

其中，ρ為全景圖像中的像素點(diǎn)與坐標(biāo)原點(diǎn)的距離，θ為全景圖像中像素點(diǎn)與坐標(biāo)軸的夾角，x為展開圖像中像素點(diǎn)的橫坐標(biāo)，y為展開圖像中像素點(diǎn)的縱坐標(biāo)，r2為所述同心圓的半徑，r1為全景圖像的半徑，π為圓周率。
所述步驟A為將全景圖像的半徑設(shè)置為1，計(jì)算全景圖像中每個(gè)像素點(diǎn)在單位圓全景圖像中的坐標(biāo)。
所述步驟B為計(jì)算展開圖像中每一像素點(diǎn)與原點(diǎn)的距離、與坐標(biāo)軸的夾角以及與原點(diǎn)連線上的像素點(diǎn)的最大拉伸比例。
步驟C中所述坐標(biāo)對(duì)應(yīng)關(guān)系為r′＝r/Rmax，θ′＝θ，其中，r′為全景圖像中像素點(diǎn)與原點(diǎn)的距離，θ′為全景圖像中像素點(diǎn)與坐標(biāo)軸的夾角，θ為展開圖像中像素點(diǎn)與坐標(biāo)軸的夾角，r為展開圖像中像素點(diǎn)與原點(diǎn)的距離，Rmax為展開圖像中像素點(diǎn)與原點(diǎn)連線上的像素點(diǎn)的最大拉伸比例Rmax＝1/cosθ。
步驟C中所述坐標(biāo)對(duì)應(yīng)關(guān)系為θ′＝θ，其中，r′為全景圖像中像素點(diǎn)與原點(diǎn)的距離，θ′為全景圖像中像素點(diǎn)與坐標(biāo)軸的夾角，θ為展開圖像中像素點(diǎn)與坐標(biāo)軸的夾角，r為展開圖像中像素點(diǎn)與原點(diǎn)的距離，Rmax為展開圖像中像素點(diǎn)與原點(diǎn)連線上的像素點(diǎn)的最大拉伸比例，Rmax＝1/cosθ。
通過本發(fā)明提供的全景監(jiān)控設(shè)備和方法，實(shí)現(xiàn)了連續(xù)監(jiān)控360°全景空間，不會(huì)漏掉或錯(cuò)過任何突發(fā)事件，實(shí)現(xiàn)了無盲點(diǎn)、無死角監(jiān)控；無需安裝多臺(tái)普通的CCTV攝像機(jī)，無需圖像拼接就可以得到全景圖像，提高了時(shí)效性，節(jié)省了硬件投資；前端全景成像設(shè)備將一個(gè)半球視野中的信息壓縮成一副圖像，降低了對(duì)顯示和存儲(chǔ)設(shè)備的要求。
視頻服務(wù)模塊利用事件檢測(cè)模塊的智能分析結(jié)果，在高分辨率全景圖像中聚焦每個(gè)檢測(cè)到的目標(biāo)，獲取目標(biāo)的高清晰細(xì)節(jié)圖像，實(shí)現(xiàn)多目標(biāo)虛擬PTZ跟蹤，并根據(jù)聯(lián)動(dòng)預(yù)案控制外部設(shè)備產(chǎn)生各種聯(lián)動(dòng)動(dòng)作。視頻服務(wù)模塊還進(jìn)一步提供多目標(biāo)圖像有效壓縮、傳輸?shù)奶幚頇C(jī)制，將高分辨率目標(biāo)圖像復(fù)用，在一副圖像中有序排列檢測(cè)到的多個(gè)目標(biāo)圖像，并壓縮復(fù)用圖像和降分辨率的全景展開圖像，將其與事件檢測(cè)模塊獲得的檢測(cè)數(shù)據(jù)一起傳輸給遠(yuǎn)程監(jiān)控中心。這樣，全景監(jiān)控設(shè)備在保證為監(jiān)控中心提供監(jiān)控現(xiàn)場(chǎng)高分辨率全景展開圖像和目標(biāo)圖像的同時(shí)，全景展開圖像降分辨率以及多個(gè)高分辨率目標(biāo)圖像復(fù)用后壓縮傳輸?shù)臋C(jī)制能夠有效地降低對(duì)傳輸帶寬的要求，不僅解決了“看得清”和“看的全”的問題，而且還有效地降低對(duì)傳輸帶寬的要求，實(shí)現(xiàn)高效傳輸。
對(duì)于全景圖像進(jìn)行多種模式展開的方法，使得圖像中的場(chǎng)景信息相對(duì)全景圖像更加直觀，場(chǎng)景布局更加明顯，方便用戶理解場(chǎng)景布局，使用戶不僅能辨別圖像中的方向，且更容易理解全景圖像中各目標(biāo)之間的關(guān)系。



圖1為本發(fā)明中全景監(jiān)控設(shè)備結(jié)構(gòu)示意圖； 圖2A為本發(fā)明中多鏡頭模式全景鏡頭示意圖； 圖2B為本發(fā)明中反射式全景鏡頭示意圖； 圖2C為本發(fā)明中折射式全景鏡頭示意圖； 圖3為本發(fā)明中事件檢測(cè)模塊和視頻服務(wù)模塊處理流程圖； 圖4A為本發(fā)明中360°展開原理示意圖； 圖4B為本發(fā)明中2個(gè)180°展開原理示意圖； 圖4C為本發(fā)明中4個(gè)90°展開原理示意圖； 圖4D為本發(fā)明中立方展開原理示意圖； 圖5為本發(fā)明中虛擬PTZ示意圖； 圖6為本發(fā)明中視頻壓縮原理示意圖； 圖7為本發(fā)明中360°展開示意圖； 圖8為本發(fā)明中立方展開示意圖； 圖9為本發(fā)明中對(duì)全景圖像進(jìn)行展開的裝置結(jié)構(gòu)示意圖； 圖10為本發(fā)明中智能視頻監(jiān)控系統(tǒng)結(jié)構(gòu)示意圖。

具體實(shí)施例方式 圖1為本發(fā)明中全景監(jiān)控設(shè)備結(jié)構(gòu)示意圖，如圖1所示，全景監(jiān)控設(shè)備主要包括全景鏡頭101、CMOS成像組件102、事件檢測(cè)模塊103、視頻服務(wù)模塊104和接口模塊105。
全景鏡頭101具有高分辨率特性，其視場(chǎng)可以覆蓋監(jiān)控現(xiàn)場(chǎng)360°全景空間。CMOS成像組件102具有體積小、集成度高、功耗低等優(yōu)點(diǎn)，而且相對(duì)于CCD成像，使用CMOS成像組件能夠大大節(jié)約成本，更重要的是CMOS成像組件直接輸出數(shù)字視頻信號(hào)，不需要模/數(shù)轉(zhuǎn)換就可以直接進(jìn)行后續(xù)的智能圖像分析，提高了實(shí)時(shí)性。全景鏡頭101和CMOS成像組件102相結(jié)合組成全景視頻傳感設(shè)備，這是一種超寬視野的高分辨率前端成像設(shè)備，可對(duì)監(jiān)控現(xiàn)場(chǎng)進(jìn)行360°無盲點(diǎn)監(jiān)測(cè)，得到監(jiān)控現(xiàn)場(chǎng)的全景視頻信息。
事件檢測(cè)模塊103主要用于完成智能圖像分析得到智能分析結(jié)果，例如，在全景圖像中進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)、跟蹤、分類和行為分析等，提取出目標(biāo)的位置、大小、顏色、形狀、速度、方向、運(yùn)動(dòng)軌跡等基礎(chǔ)數(shù)據(jù)信息，分析目標(biāo)運(yùn)動(dòng)的空間特性和時(shí)間特性，根據(jù)智能分析結(jié)果進(jìn)一步判斷是否有符合預(yù)先設(shè)定告警條件的事件發(fā)生，并生成事件檢測(cè)報(bào)告，即對(duì)所述全景視頻信息進(jìn)行智能圖像分析，根據(jù)得到智能分析結(jié)果判斷是否有符合預(yù)先設(shè)定告警條件的事件發(fā)生，并生成事件檢測(cè)報(bào)告。事件檢測(cè)模塊103還進(jìn)一步為虛擬PTZ的實(shí)現(xiàn)提供目標(biāo)大小、位置、運(yùn)動(dòng)速度、方向、軌跡等基礎(chǔ)數(shù)據(jù)信息，以及有關(guān)目標(biāo)運(yùn)動(dòng)的預(yù)測(cè)信息。
視頻服務(wù)模塊104主要是利用事件檢測(cè)模塊103的智能分析結(jié)果，在高分辨率全景圖像中聚焦每個(gè)檢測(cè)到的目標(biāo)，獲取目標(biāo)的高清晰細(xì)節(jié)圖像，實(shí)現(xiàn)方位、高低、變焦三個(gè)方向?qū)Χ嗄繕?biāo)虛擬PTZ跟蹤，并根據(jù)聯(lián)動(dòng)預(yù)案控制外部設(shè)備產(chǎn)生各種聯(lián)動(dòng)動(dòng)作。視頻服務(wù)模塊104還進(jìn)一步提供多目標(biāo)圖像有效壓縮、傳輸?shù)奶幚頇C(jī)制，將高分辨率目標(biāo)圖像復(fù)用，在一副圖像中有序排列檢測(cè)到的多個(gè)目標(biāo)圖像，并壓縮復(fù)用圖像和降分辨率的全景展開圖像，將其與事件檢測(cè)模塊103獲得的檢測(cè)數(shù)據(jù)一起傳輸給遠(yuǎn)程監(jiān)控中心。這樣，全景監(jiān)控設(shè)備在保證為監(jiān)控中心提供監(jiān)控現(xiàn)場(chǎng)高分辨率全景展開圖像和目標(biāo)圖像的同時(shí)，全景展開圖像降分辨率以及多個(gè)高分辨率目標(biāo)圖像復(fù)用后壓縮傳輸?shù)臋C(jī)制能夠有效地降低對(duì)傳輸帶寬的要求。
接口模塊105提供了全景監(jiān)控設(shè)備與外部設(shè)備連接的全部接口。接口模塊105可以連接視頻顯示終端，實(shí)現(xiàn)模擬視頻輸出；還可以連接音頻輸入輸出設(shè)備，實(shí)現(xiàn)音頻廣播、音頻對(duì)講等；還可以連接各類型常規(guī)傳感器，用于采集現(xiàn)場(chǎng)的其它細(xì)節(jié)信息，如溫度、濕度、大氣壓力等；還可以連接各類型侵入傳感器，如周界保護(hù)中常用的紅外傳感器、靜電傳感器以及門磁等傳感器等，輔助實(shí)現(xiàn)智能監(jiān)控；還可以連接外部告警設(shè)備，如報(bào)警燈、揚(yáng)聲器、消防噴淋設(shè)備等，以實(shí)現(xiàn)聯(lián)動(dòng)告警。接口模塊105還提供了全景監(jiān)控設(shè)備的網(wǎng)絡(luò)接口RJ45，用于經(jīng)由數(shù)據(jù)網(wǎng)絡(luò)(如互聯(lián)網(wǎng)、局域網(wǎng)、無線網(wǎng)、專用網(wǎng)等)實(shí)現(xiàn)監(jiān)控現(xiàn)場(chǎng)與遠(yuǎn)程監(jiān)控中心之間的數(shù)據(jù)/信令傳輸。另外，全景監(jiān)控設(shè)備還可以提供串口RS-485，用于連接搖桿等外部控制設(shè)備，用戶通過控制搖桿來實(shí)現(xiàn)對(duì)目標(biāo)的虛擬PTZ跟蹤。
為獲得監(jiān)控現(xiàn)場(chǎng)的高清晰360°完整影像，全景監(jiān)控設(shè)備可以選用高分辨率的全景鏡頭101進(jìn)行監(jiān)控現(xiàn)場(chǎng)的視頻采集，分辨率可達(dá)到200萬像素、400萬像素，甚至是800萬像素。全景鏡頭101可以有三種實(shí)現(xiàn)形式多鏡頭模式、反射式和折射式。
普通相機(jī)的鏡頭通常只具有一個(gè)圓錐區(qū)域的小視野，多鏡頭模式是由多部普通相機(jī)組成，如圖2A所示，這些普通相機(jī)的鏡頭的視場(chǎng)覆蓋監(jiān)控現(xiàn)場(chǎng)的整個(gè)區(qū)域。多部普通相機(jī)同時(shí)捕捉監(jiān)控現(xiàn)場(chǎng)各區(qū)域的影像，然后通過圖像拼接的方法得到監(jiān)控現(xiàn)場(chǎng)完整的全方位圖像。圖像拼接主要是以普通相機(jī)的空間幾何位置關(guān)系為基礎(chǔ)，利用圖像邊緣區(qū)域的相關(guān)性，找到多部普通相機(jī)同一時(shí)刻拍攝的場(chǎng)景圖像之間的對(duì)應(yīng)關(guān)系，將所有圖像組合到一副圖像中，獲取監(jiān)控現(xiàn)場(chǎng)的全景圖像。但是，因?yàn)槊總€(gè)普通相機(jī)都有不同的投影中心，拼接出無縫圖像的處理會(huì)比較復(fù)雜。
反射式全景鏡頭是以光學(xué)反射原理為基礎(chǔ)，如圖2B所示，應(yīng)用凸面反射鏡來擴(kuò)大相機(jī)的視場(chǎng)，將監(jiān)控現(xiàn)場(chǎng)的全方位影像反射到成像裝置上，以獲取全景信息。但是，由于成像裝置的遮擋，所得到的全景圖像只是一個(gè)環(huán)形圖像，全景圖像中心區(qū)域的信息會(huì)有丟失。
折射式全景鏡頭是以光線折射原理為基礎(chǔ)，如圖2C所示，可以獲取監(jiān)控現(xiàn)場(chǎng)360°完整影像，不丟失任何細(xì)節(jié)信息，實(shí)現(xiàn)無盲點(diǎn)檢測(cè)，是最為理想的全景圖像獲取方式。通過折射式全景鏡頭獲取的全景圖像是圓形的，覆蓋了整個(gè)被監(jiān)控區(qū)域。
下面以折射式全景鏡頭和CMOS成像組件組成的全景視頻傳感設(shè)備為例，介紹全景監(jiān)控設(shè)備的具體工作原理。
所述全景視頻傳感設(shè)備采集監(jiān)控現(xiàn)場(chǎng)360°完整影像，得到全景視頻信息。事件檢測(cè)模塊103接收該全景視頻信息，即視頻采集模塊411的處理，如圖3所示。由于采集的全景視頻圖像是圓形的，沒有明顯的邊角，為明確場(chǎng)景布局，以及圖像中各類型目標(biāo)之間的空間關(guān)系，在進(jìn)行智能分析和處理前，先通過坐標(biāo)變化和插值處理對(duì)圓形全方位圖像進(jìn)行展開，即視頻展開/拼接模塊412的處理。展開模式有四種360°展開、2個(gè)180°展開、4個(gè)90°展開、立方展開。另外，為了加快圖像分析處理的速度，可以根據(jù)全景監(jiān)控設(shè)備的數(shù)據(jù)處理能力，降低全景展開圖像的分辨率413，一般降圖像分辨率為D1或CIF。
全景視頻信息經(jīng)展開、降分辨率處理后，事件檢測(cè)模塊103進(jìn)行智能圖像分析和處理，得到智能分析結(jié)果，即智能圖像分析模塊414的處理，例如，在全景圖像中進(jìn)行目標(biāo)檢測(cè)、跟蹤、分類和行為分析等，提取出目標(biāo)的位置、大小、顏色、形狀、速度、方向、運(yùn)動(dòng)軌跡等基礎(chǔ)數(shù)據(jù)信息，并應(yīng)用這些基礎(chǔ)數(shù)據(jù)信息分析目標(biāo)運(yùn)動(dòng)的空間特性和時(shí)間特性。
根據(jù)智能分析結(jié)果，結(jié)合外部傳感設(shè)備采集的信息，事件檢測(cè)模塊103進(jìn)一步判斷是否有符合預(yù)先設(shè)定告警條件的事件發(fā)生，在有告警事件發(fā)生時(shí)，生成事件檢測(cè)報(bào)告，即事件生成模塊415的處理，并實(shí)時(shí)傳送給視頻服務(wù)模塊104。事件檢測(cè)報(bào)告能夠給出監(jiān)控現(xiàn)場(chǎng)所發(fā)生的告警事件的完整認(rèn)定結(jié)果，提供與告警事件相關(guān)的完整信息。事件檢測(cè)報(bào)告的內(nèi)容包括智能圖像分析得到的告警事件類型、檢測(cè)到目標(biāo)的時(shí)間、目標(biāo)類型、目標(biāo)各種基礎(chǔ)數(shù)據(jù)信息，以及外部傳感器數(shù)據(jù)信息等。
全景監(jiān)控設(shè)備支持的展開模式可以為四種360°展開、2個(gè)180°展開、4個(gè)90°展開、立方展開。
360°展開的基本思想是應(yīng)用坐標(biāo)變化和插值處理等數(shù)學(xué)運(yùn)算，以全景圖像任一半徑為起點(diǎn)，沿圓周方向?qū)A形圖像展開為一個(gè)包含360°所有方向上場(chǎng)景信息的矩形圖像，如圖4A所示，具體實(shí)現(xiàn)后續(xù)會(huì)給出詳細(xì)描述。2個(gè)180°展開或4個(gè)90°展開則是通過將360°展開的矩形圖像二等份或四等分實(shí)現(xiàn)的，如圖4B和圖4C所示。
全景圖像360°展開后得到的矩形圖像看上去像是一個(gè)大范圍的平面影像，但是有兩點(diǎn)特性使其區(qū)別于通常意義上的平面圖像一是這個(gè)圖像顯示了完整的360°影像，就如同一個(gè)人同時(shí)看到了他周圍所有方向上的場(chǎng)景；二是這個(gè)平面圖像中仍然沒有明確的邊角。因此，展開后雖然方便了目標(biāo)檢測(cè)等智能化處理，可對(duì)于觀察者而言，還是很難理解場(chǎng)景布局、及場(chǎng)景中各目標(biāo)間的空間位置關(guān)系。
另外，由于展開前為減少失真，圓形全景圖像中去掉了一個(gè)同心圓區(qū)域，丟失了現(xiàn)場(chǎng)部分?jǐn)?shù)據(jù)，很可能錯(cuò)過真正的告警信息。同心圓半徑小，則展開后失真嚴(yán)重，半徑大，則丟失數(shù)據(jù)增多，錯(cuò)過告警信息的機(jī)率變大，這是一個(gè)相互矛盾的問題。
2個(gè)180°展開或4個(gè)90°展開是通過將360°展開的矩形圖像分割實(shí)現(xiàn)的，所以存在與360°展開時(shí)同樣的問題。
立方展開是將圓形全景圖像沿半徑方向向外拉伸，得到長(zhǎng)寬比為4∶3的矩形全景展開圖像，該展開圖像所表達(dá)的場(chǎng)景信息更加直觀，場(chǎng)景布局更加明顯，更重要的是，展開過程中沒有丟失任何的數(shù)據(jù)信息，重現(xiàn)了監(jiān)控現(xiàn)場(chǎng)的360°完整影像，如圖4D所示。所述圓形全景圖像的拉伸方法有兩種。一種方法是將圓形全景圖像半徑方向上、從原點(diǎn)開始到圖像邊緣的所有像素點(diǎn)均勻拉伸，也就是說圖像中每個(gè)像素點(diǎn)的拉伸權(quán)重都是1，這種拉伸方法使得全景展開圖像的中心區(qū)域失真較為嚴(yán)重。另一種方法是減小中心區(qū)域像素權(quán)重，增大邊緣區(qū)域像素權(quán)重，使圓形全景圖像半徑方向上、從原點(diǎn)開始到圖像邊緣所有像素點(diǎn)的拉伸權(quán)重呈遞增趨勢(shì)，這樣可以獲得失真很小的全景展開圖像。
全景監(jiān)控設(shè)備可以支持所有以上四種全景圖像展開模式，展開模式的選擇可以由用戶配置確定。
圖3中智能圖像分析模塊414的具體處理可包括以下幾個(gè)步驟。
全景視頻傳感設(shè)備拍攝的是一個(gè)相對(duì)靜止的背景，當(dāng)拍攝畫面發(fā)生變化時(shí)，智能圖像分析模塊414進(jìn)行目標(biāo)檢測(cè)。目標(biāo)檢測(cè)主要是檢測(cè)當(dāng)前幀中與背景模型不相符的那些像素，將它們連貫起來后就提取出當(dāng)前幀的前景目標(biāo)。目標(biāo)檢測(cè)是通過如高斯混合模型方法、或幀差法、或動(dòng)態(tài)自適應(yīng)背景差法之類的算法來實(shí)現(xiàn)的。
在檢測(cè)出目標(biāo)后，智能圖像分析模塊414對(duì)目標(biāo)進(jìn)行跟蹤。目標(biāo)跟蹤是通過建立幀與幀之間的對(duì)應(yīng)關(guān)系，然后進(jìn)行相似性比較或模板匹配來實(shí)現(xiàn)，目標(biāo)跟蹤是通過如Kalman濾波法、標(biāo)準(zhǔn)的幀到幀跟蹤算法等來實(shí)現(xiàn)的。
完成了目標(biāo)檢測(cè)和跟蹤之后，就能夠獲得目標(biāo)的位置、大小、顏色、形狀、速度、方向、運(yùn)動(dòng)軌跡等基礎(chǔ)數(shù)據(jù)信息，利用這些基礎(chǔ)數(shù)據(jù)信息，事件生成模塊415自動(dòng)對(duì)目標(biāo)進(jìn)行類型識(shí)別和行為分析。類型識(shí)別是利用如支持向量機(jī)、線性分類器等來實(shí)現(xiàn)的。行為分析是綜合利用目標(biāo)檢測(cè)、跟蹤、分類中獲得的信息，分析是否有符合存儲(chǔ)在全景監(jiān)控設(shè)備的存儲(chǔ)器(圖3中未示出)中的預(yù)先設(shè)定的告警條件的“事件”發(fā)生。根據(jù)應(yīng)用的不同，行為分析的內(nèi)容也不盡相同，例如，在徘徊檢測(cè)情況下，主要是分析目標(biāo)的位置和運(yùn)動(dòng)軌跡；又如，在遺留物檢測(cè)的情況下，主要是分析目標(biāo)的大小、形狀和停放時(shí)長(zhǎng)。
視頻服務(wù)模塊104的工作原理如圖3所示，與事件檢測(cè)模塊103相同，視頻服務(wù)模塊104首先進(jìn)行視頻采集，即視頻采集模塊421的處理，以及圓形全景視頻圖像展開/拼接，即視頻展開/拼接模塊422的處理，得到包含監(jiān)控現(xiàn)場(chǎng)360°所有方向場(chǎng)景信息的全景展開圖像。存儲(chǔ)該高分辨率全景展開圖像，即高分辨率圖像保存模塊423的處理，并根據(jù)事件生成模塊415提供的目標(biāo)大小、位置、運(yùn)動(dòng)速度、方向、軌跡等基礎(chǔ)數(shù)據(jù)信息，從高分辨率全景展開圖像中提取目標(biāo)的高分辨率細(xì)節(jié)影像，即高分辨率目標(biāo)圖像提取模塊424的處理，實(shí)現(xiàn)多目標(biāo)虛擬PTZ跟蹤。如圖5的示例所示，共檢測(cè)到6個(gè)目標(biāo)，分別有人、車、火焰和物品。人和車為運(yùn)動(dòng)目標(biāo)，從視頻幀序列中可提取出一系列的目標(biāo)影像，跟蹤結(jié)果為視頻流?；鹧嫱瑯邮沁\(yùn)動(dòng)目標(biāo)，視頻流可以表示出火焰跳動(dòng)以及其擴(kuò)散性。事件圖片是在視頻幀序列中檢測(cè)到的一個(gè)與背景模型不相符的靜物，可用于實(shí)現(xiàn)被盜物/遺留物檢測(cè)。
為節(jié)約帶寬，實(shí)現(xiàn)高效傳輸，將這些高分辨率目標(biāo)圖像復(fù)用，即圖像復(fù)用模塊425的處理，在一副圖像中顯示所有檢測(cè)到的目標(biāo)，如圖6所示。復(fù)用后的圖像分辨率為D1(704×576)，如果高分辨率目標(biāo)圖像分辨率是QCIF(176×144)，那么復(fù)用圖像中共可以顯示16個(gè)目標(biāo)的細(xì)節(jié)影像，也就是可以同時(shí)實(shí)現(xiàn)對(duì)16個(gè)目標(biāo)的虛擬PTZ跟蹤。
高分辨率全景展開圖像傳輸時(shí)對(duì)帶寬要求太高，不利于高效實(shí)時(shí)地傳輸，所以降全景展開圖像分辨率為CIF(352×288)，即降分辨率模塊426的處理。將降分辨率后的全景展開圖像和復(fù)用后的高分辨目標(biāo)圖像進(jìn)行視頻壓縮，即視頻壓縮模塊427的處理，并將壓縮后的視頻和事件發(fā)生模塊415生成的事件數(shù)據(jù)一起通過流媒體傳輸模塊傳輸給遠(yuǎn)程監(jiān)控中心。壓縮協(xié)議為MPEG4或JPEG，流媒體傳輸協(xié)議可選用RTP/RTCP，TCP/IP。在視頻壓縮和傳輸過程中，全景監(jiān)控系統(tǒng)中的流媒體傳輸模塊會(huì)根據(jù)網(wǎng)絡(luò)狀況，隨時(shí)調(diào)整視頻壓縮時(shí)的量化參數(shù)，以及流媒體傳輸?shù)膸屎痛a率，并通過網(wǎng)絡(luò)接口向遠(yuǎn)程監(jiān)控中心傳送前端監(jiān)控?cái)?shù)據(jù)，實(shí)現(xiàn)有效傳輸。
為縮短視頻處理時(shí)間，提高處理效率，視頻服務(wù)模塊104可以不再重復(fù)進(jìn)行視頻采集和視頻展開/拼接，而是直接接收事件檢測(cè)模塊103中視頻展開/拼接模塊412后得到的高分辨率全景展開圖像進(jìn)行處理；視頻壓縮傳輸所需要的降分辨率全景展開圖像也可通過事件發(fā)生模塊415和視頻服務(wù)模塊104之間的數(shù)據(jù)傳輸?shù)玫?，而無需再次進(jìn)行降分辨率操作。
全景監(jiān)控設(shè)備自身具有針對(duì)異常事件的分析和處理能力，因而在發(fā)生異常事件時(shí)，能夠自動(dòng)做出相應(yīng)處理并且發(fā)出警告，從而解除了監(jiān)控端及其操作人員的工作壓力，同時(shí)確保了發(fā)現(xiàn)異常事件的準(zhǔn)確性，消除了發(fā)生錯(cuò)漏異常事件的可能性。
如圖7所示對(duì)360°展開的具體流程描述如下 步驟11由于原始全景圖像的原點(diǎn)在o處，所以首先通過坐標(biāo)變換，將圖像的原點(diǎn)o轉(zhuǎn)移到圓形全景圖像的中心位置o′處，建立新的坐標(biāo)系。對(duì)應(yīng)圖像中的每個(gè)像素點(diǎn)，坐標(biāo)變換公式為x′＝x-w/2，y′＝y(tǒng)-h/2，其中x為全景圖像中的像素點(diǎn)在原坐標(biāo)系中的橫坐標(biāo)，x′為全景圖像中的像素點(diǎn)在新坐標(biāo)系中的橫坐標(biāo)，y為全景圖像中的像素點(diǎn)在原坐標(biāo)系中的縱坐標(biāo)，y′為全景圖像中的像素點(diǎn)在新坐標(biāo)系中的縱坐標(biāo)。
步驟12確定展開圖像的高度ht和寬度wt。由于全景圖像為圓形，靠近圖像中心位置的區(qū)域采樣點(diǎn)樣本空間較小，進(jìn)行后續(xù)插值處理會(huì)產(chǎn)生較大的失真，所以在全景圖像中去掉一個(gè)一定半徑的同心圓，將圓形圖像變?yōu)榄h(huán)形。則，展開圖像的高度ht等于圓形全景圖像半徑r1減去去除的同心圓區(qū)域半徑r2，即ht＝r1-r2，寬度wt等于剩余圓環(huán)區(qū)域的中心圓周c的周長(zhǎng)，即wt＝π(r1+r2)。
步驟13根據(jù)坐標(biāo)對(duì)應(yīng)關(guān)系計(jì)算展開圖像中每個(gè)像素點(diǎn)所對(duì)應(yīng)的全景圖像中的坐標(biāo)。展開圖像像素點(diǎn)直角坐標(biāo)(x1，y1)與全景圖像像素點(diǎn)極坐標(biāo)(ρ，θ)之間的對(duì)應(yīng)關(guān)系為
步驟14通過極坐標(biāo)反變換確定展開圖像中的點(diǎn)在原全景圖像中對(duì)應(yīng)的直角坐標(biāo)。
步驟15對(duì)全景圖像中的像素點(diǎn)的像素值進(jìn)行非線性插值計(jì)算，得到對(duì)應(yīng)的展開圖像中像素點(diǎn)的像素值。
以上為全景圖像360°展開方法的具體流程。對(duì)于2×180°以及4×90°展開，只是在360°展開得到矩形圖像的基礎(chǔ)上，對(duì)其進(jìn)行等分處理，即，2等分得到2×180°展開的展開圖像，4等分得到4×90°展開的展開圖像。但是，由于全景圖像為圓形，并沒有分界線，所以在360°展開方法時(shí)，其矩形邊界是任意確定的，即全景圖像任意半徑均可作為展開邊界，其可以在實(shí)際應(yīng)用中由人為設(shè)定，也可以由系統(tǒng)選擇，從而得到最好的展開效果。
如圖8所示對(duì)全景圖像立方展開的具體流程描述如下 步驟21建立以全景圖像中心o為原點(diǎn)的新坐標(biāo)系。
步驟22設(shè)全景圖像半徑為1，將全景圖像變化為單位圓，確定每個(gè)像素點(diǎn)在單位圓全景圖像中的坐標(biāo)。
步驟23將全景圖像以及對(duì)應(yīng)的展開圖像分為八個(gè)區(qū)域，對(duì)展開圖像某一區(qū)域中的任一點(diǎn)p，設(shè)坐標(biāo)為(x1，y1)，計(jì)算其與原點(diǎn)o的距離op，設(shè)為r，以及與坐標(biāo)軸的夾角θ。
步驟24計(jì)算點(diǎn)p與原點(diǎn)o連線上的點(diǎn)的最大拉伸比例，即點(diǎn)m沿

拉伸到展開圖像邊緣點(diǎn)n的拉伸比例Rmax＝1/cosθ。
步驟25確定展開圖像點(diǎn)p在對(duì)應(yīng)全景圖像的坐標(biāo)?？梢杂袃煞N方法 a均勻拉伸點(diǎn)p對(duì)應(yīng)全景圖像中點(diǎn)p′的半徑為r′＝r/Rmax，坐標(biāo)為(r′cosθ，r′sinθ)。
b加權(quán)拉伸計(jì)算點(diǎn)p的加權(quán)參數(shù)para＝r/Rmax，則點(diǎn)p對(duì)應(yīng)原全景圖像中點(diǎn)p′的半徑為 步驟26對(duì)全景圖像中的像素點(diǎn)的像素值進(jìn)行非線性插值計(jì)算，得到對(duì)應(yīng)的展開圖像中像素點(diǎn)的像素值。
圖9為本發(fā)明中對(duì)全景圖像進(jìn)行展開的裝置，如圖9所示，該裝置包括坐標(biāo)系變換模塊910、形狀特性確定模塊920、坐標(biāo)計(jì)算模塊930以及像素值計(jì)算模塊940，其中， 坐標(biāo)系變換模塊910，用于建立以全景圖像中心為原點(diǎn)的新坐標(biāo)系并計(jì)算全景圖像中每個(gè)像素點(diǎn)在新坐標(biāo)系中的坐標(biāo)，并將得到的每個(gè)像素點(diǎn)的坐標(biāo)發(fā)送給坐標(biāo)計(jì)算模塊930； 形狀特性確定模塊920，用于根據(jù)用戶選擇的不同的展開方法，確定相應(yīng)展開圖像的形狀特性，并將所述形狀特性發(fā)送給坐標(biāo)計(jì)算模塊930； 坐標(biāo)計(jì)算模塊930，用于根據(jù)所述形狀特性和所述每個(gè)像素點(diǎn)的坐標(biāo)計(jì)算展開圖像中每個(gè)像素點(diǎn)所對(duì)應(yīng)的全景圖像中的坐標(biāo)，并將得到的坐標(biāo)發(fā)送給像素值計(jì)算模塊940； 像素值計(jì)算模塊940，用于根據(jù)坐標(biāo)計(jì)算模塊930得到的展開圖像對(duì)應(yīng)于全景圖像的坐標(biāo)，通過對(duì)全景圖像中像素點(diǎn)的像素值進(jìn)行非線性插值計(jì)算，計(jì)算每個(gè)展開圖像中的像素點(diǎn)對(duì)應(yīng)的像素值。
全景監(jiān)控設(shè)備通過網(wǎng)絡(luò)接口與遠(yuǎn)程監(jiān)控中心服務(wù)器相連，構(gòu)成完整的智能視頻監(jiān)控系統(tǒng)，如圖10所示。前端全景監(jiān)控設(shè)備20，用于獲取現(xiàn)場(chǎng)的全景視頻信息，對(duì)場(chǎng)景進(jìn)行360°無盲點(diǎn)監(jiān)測(cè)，對(duì)現(xiàn)場(chǎng)視頻信息進(jìn)行智能分析和處理，檢測(cè)到告警事件后，生成告警信息，并將編碼的現(xiàn)場(chǎng)視頻信息，與智能分析處理結(jié)果和告警信息一起發(fā)送給智能監(jiān)控平臺(tái)50以及本地監(jiān)控終端40，同時(shí)控制外部設(shè)備30進(jìn)行告警。
本地監(jiān)控終端40，用于接收從全景監(jiān)控設(shè)備20傳送來的編碼的現(xiàn)場(chǎng)視頻信息，以及智能分析處理結(jié)果和告警信息，并將告警信息通知用戶。
外部設(shè)備30，在實(shí)際應(yīng)用中，外部設(shè)備30可以根據(jù)不同的需要進(jìn)行不同的配置，可以包括各類型常規(guī)傳感器，用于采集現(xiàn)場(chǎng)的其它各類信息，比如溫度、濕度、大氣壓力等，并將采集到的信息傳送給全景監(jiān)控設(shè)備20，作為判斷告警事件是否產(chǎn)生的輔助信息；侵入傳感器，如周界保護(hù)中常用的紅外傳感器、靜電傳感器以及門磁等傳感器等，將感應(yīng)到的外部信息傳送給全景監(jiān)控設(shè)備20，作為判斷告警事件是否產(chǎn)生的輔助信息；外部告警設(shè)備，包括例如報(bào)警燈、揚(yáng)聲器、消防噴淋設(shè)備等，當(dāng)全景監(jiān)控設(shè)備20產(chǎn)生告警信息時(shí)，由全景監(jiān)控設(shè)備20控制所述外部告警設(shè)備進(jìn)行聯(lián)動(dòng)告警；聲音錄入和輸出設(shè)備，用于實(shí)現(xiàn)音頻廣播或監(jiān)控終端和監(jiān)控現(xiàn)場(chǎng)之間的語音對(duì)話?？梢姡獠吭O(shè)備不僅可以作為告警設(shè)備進(jìn)行聯(lián)動(dòng)告警，其中的各類型常規(guī)傳感器、侵入傳感器以及聲音錄入和輸出設(shè)備等還可以作為信息采集設(shè)備，向全景監(jiān)控設(shè)備20提供現(xiàn)場(chǎng)輔助信息。
智能監(jiān)控平臺(tái)50，用于處理全景監(jiān)控設(shè)備20傳來的編碼的現(xiàn)場(chǎng)視頻信息，以及智能分析處理結(jié)果和告警信息，對(duì)從全景監(jiān)控設(shè)備20傳來的數(shù)據(jù)進(jìn)行顯示、存儲(chǔ)、回放和檢索；還用于對(duì)全景監(jiān)控設(shè)備20進(jìn)行配置和維護(hù)；還用于根據(jù)客戶需求，將全景監(jiān)控設(shè)備20發(fā)送來的編碼的現(xiàn)場(chǎng)視頻信息，以及智能分析處理結(jié)果和告警信息傳輸給遠(yuǎn)程監(jiān)控終端60；還用于控制現(xiàn)場(chǎng)監(jiān)控設(shè)備進(jìn)行聯(lián)動(dòng)告警。其中，智能監(jiān)控平臺(tái)50向遠(yuǎn)程監(jiān)控終端60發(fā)送的數(shù)據(jù)，可以主動(dòng)發(fā)送，也可以根據(jù)遠(yuǎn)程監(jiān)控終端60的請(qǐng)求發(fā)送。
所述智能監(jiān)控平臺(tái)50還包括一個(gè)數(shù)據(jù)存儲(chǔ)單元，用于存儲(chǔ)各監(jiān)控點(diǎn)傳送來的數(shù)據(jù)，以備用戶進(jìn)行歷史數(shù)據(jù)查詢和取證。
遠(yuǎn)程監(jiān)控終端60用于接收從智能監(jiān)控平臺(tái)50傳送來的編碼的現(xiàn)場(chǎng)視頻信息，以及智能分析處理結(jié)果和告警信息，并將告警信息通知用戶。
基于圖1、圖3和圖9的描述，智能視頻監(jiān)控系統(tǒng)的的具體處理包括以下步驟。
全景鏡頭和CMOS成像組件相結(jié)合組成的全景視頻傳感設(shè)備實(shí)時(shí)采集監(jiān)控現(xiàn)場(chǎng)360°全景信息，輸出數(shù)字視頻信號(hào)給事件檢測(cè)模塊和/或視頻服務(wù)模塊。
事件檢測(cè)模塊接收數(shù)字視頻信號(hào)，進(jìn)行智能圖像分析和處理，從視頻流中檢測(cè)出異常事件，并生成事件檢測(cè)報(bào)告，交由視頻服務(wù)模塊做進(jìn)一步的智能處理。
視頻服務(wù)模塊根據(jù)事件檢測(cè)模塊提供的智能分析結(jié)果實(shí)現(xiàn)多目標(biāo)的虛擬PTZ跟蹤，并以圖像復(fù)用的方法組織高分辨率目標(biāo)圖像，將其和降分辨率的全景圖像一起進(jìn)行視頻壓縮、傳輸。同時(shí)，視頻服務(wù)模塊還分析來自于事件檢測(cè)模塊的事件數(shù)據(jù)，根據(jù)不同的參數(shù)配置控制外部設(shè)備實(shí)現(xiàn)不同情況下各種智能告警和智能處理。
智能監(jiān)控平臺(tái)接收監(jiān)控現(xiàn)場(chǎng)全景監(jiān)控設(shè)備傳送來的事件數(shù)據(jù)和視頻數(shù)據(jù)，實(shí)現(xiàn)對(duì)多路遠(yuǎn)端數(shù)據(jù)的顯示、存儲(chǔ)、回放和檢索，并根據(jù)用戶需求，向不同的監(jiān)控終端發(fā)送告警信息，通知用戶做進(jìn)一步的處理。
下面介紹按照本發(fā)明的全景監(jiān)控設(shè)備的各種功能及應(yīng)用。
1、運(yùn)動(dòng)目標(biāo)識(shí)別和分類 本發(fā)明的全景監(jiān)控設(shè)備能夠智能地識(shí)別不同目標(biāo)的性質(zhì)和類別。檢測(cè)并提取目標(biāo)的基礎(chǔ)數(shù)據(jù)信息后，事件檢測(cè)模塊對(duì)目標(biāo)進(jìn)行類型識(shí)別，準(zhǔn)確區(qū)分人、車、動(dòng)物等。
運(yùn)動(dòng)目標(biāo)識(shí)別和分類可應(yīng)用于人臉識(shí)別領(lǐng)域。檢測(cè)識(shí)別出人體后，獲取人體頭部照片，并根據(jù)生物特征判斷其是否是人臉的正面照片，如果是，則自動(dòng)與預(yù)先定義的檢測(cè)目標(biāo)的臉部模板進(jìn)行比對(duì)，從而識(shí)別出其身份。
運(yùn)動(dòng)目標(biāo)識(shí)別和分類也可應(yīng)用于車輛牌照識(shí)別領(lǐng)域識(shí)別出目標(biāo)是車輛后，自動(dòng)判斷車輛類型，并識(shí)別車輛牌照號(hào)碼。
2、運(yùn)動(dòng)目標(biāo)警戒 本發(fā)明的智能視頻監(jiān)控系統(tǒng)提供一個(gè)圖形用戶界面(GUI)，用戶可以在本地監(jiān)控終端或遠(yuǎn)程監(jiān)控終端上通過鼠標(biāo)、鍵盤等對(duì)安全警戒區(qū)的范圍、目標(biāo)的類型(如人、車、動(dòng)物等)、目標(biāo)運(yùn)動(dòng)方向、目標(biāo)運(yùn)動(dòng)速度等警戒條件進(jìn)行組合設(shè)定。智能視頻監(jiān)控系統(tǒng)檢測(cè)視頻畫面中出現(xiàn)的目標(biāo)，僅在有符合警戒條件的事件發(fā)生時(shí)才發(fā)出告警。
結(jié)合運(yùn)動(dòng)目標(biāo)的識(shí)別和分類，運(yùn)動(dòng)目標(biāo)警戒可用于實(shí)現(xiàn)基于人類身份或車輛類型、牌照號(hào)碼的門禁或警戒功能，還可應(yīng)用非定點(diǎn)停車檢測(cè)、車輛行駛路線界定等領(lǐng)域。
3、運(yùn)動(dòng)目標(biāo)跟蹤 全景監(jiān)控設(shè)備不間斷地監(jiān)測(cè)視頻圖像，檢測(cè)出符合預(yù)先定義的特性的目標(biāo)時(shí)，事件檢測(cè)模塊確定目標(biāo)的位置、大小，在智能視頻監(jiān)控系統(tǒng)的本地監(jiān)控終端或遠(yuǎn)程監(jiān)控終端上以提示框的形式鎖定目標(biāo)，并提取目標(biāo)的運(yùn)動(dòng)軌跡，在本地監(jiān)控終端或遠(yuǎn)程監(jiān)控終端上以曲線的形式顯示。
當(dāng)視頻畫面中出現(xiàn)多個(gè)符合條件的目標(biāo)時(shí)，智能視頻監(jiān)控系統(tǒng)自動(dòng)保持包含全部目標(biāo)的跟蹤畫面，并顯示每個(gè)目標(biāo)的運(yùn)動(dòng)軌跡。
運(yùn)動(dòng)目標(biāo)跟蹤既可應(yīng)用于邊界線、海關(guān)、倉庫、軍事禁區(qū)、使館、內(nèi)保單位等大范圍警戒區(qū)域的保護(hù)，也可應(yīng)用于道路、廣場(chǎng)、車站、碼頭、機(jī)場(chǎng)等人群密集、畫面復(fù)雜的公共場(chǎng)所的監(jiān)視。
4、PTZ跟蹤 全景監(jiān)控設(shè)備提供了外部控制接口RS-485，可以連接搖桿等外部控制設(shè)備。用戶使用普通PTZ相機(jī)云臺(tái)控制方法操縱搖桿，全景監(jiān)控設(shè)備分析搖桿動(dòng)作，控制全景圖像顯示方式，如持續(xù)對(duì)焦并跟蹤運(yùn)動(dòng)目標(biāo)，調(diào)整鏡頭焦距，獲取目標(biāo)近景、遠(yuǎn)景的圖像，實(shí)現(xiàn)虛擬PTZ控制。
全景監(jiān)控設(shè)備中的視頻服務(wù)模塊根據(jù)智能分析結(jié)果可自動(dòng)同時(shí)實(shí)現(xiàn)多目標(biāo)的虛擬PTZ跟蹤，獲得目標(biāo)高分辨率細(xì)節(jié)影像。
5、目標(biāo)行為檢測(cè) 智能視頻監(jiān)控系統(tǒng)利用事件檢測(cè)模塊提取的目標(biāo)基礎(chǔ)數(shù)據(jù)信息，可以實(shí)現(xiàn)目標(biāo)行為分析。如檢測(cè)目標(biāo)為人時(shí)，智能視頻監(jiān)控系統(tǒng)利用目標(biāo)的位置，大小等信息可實(shí)現(xiàn)倒地檢測(cè)，利用目標(biāo)的軌跡、速度等信息可實(shí)現(xiàn)徘徊檢測(cè)；檢測(cè)目標(biāo)為車時(shí)，智能視頻監(jiān)控系統(tǒng)利用運(yùn)動(dòng)方向等信息可實(shí)現(xiàn)車輛逆行檢測(cè)。
6、商業(yè)智能化應(yīng)用 商業(yè)智能化應(yīng)用包括隊(duì)伍長(zhǎng)度檢測(cè)，消費(fèi)者行為跟蹤，流量檢測(cè)、擁擠檢測(cè)等，這些智能分析結(jié)果可以幫助商家實(shí)現(xiàn)商品的最優(yōu)化配置。
商業(yè)智能化應(yīng)用還包括建筑物管理，例如在沒人時(shí)自動(dòng)調(diào)整照明、供暖、空調(diào)系統(tǒng)等。
7、物品檢測(cè) 物品檢測(cè)有兩種主要的應(yīng)用方式，一是被盜物檢測(cè)，一種是遺留物檢測(cè)。
被盜物檢測(cè)時(shí)需要用戶通過視頻監(jiān)控系統(tǒng)的本地監(jiān)控終端或遠(yuǎn)程監(jiān)控終端預(yù)先將靜止監(jiān)測(cè)物品的警戒區(qū)域、被移走時(shí)長(zhǎng)和符合條件告警事件發(fā)生之前的保存錄像時(shí)長(zhǎng)設(shè)置給全景監(jiān)控設(shè)備。智能視頻監(jiān)控系統(tǒng)將對(duì)符合設(shè)置條件的事件自動(dòng)告警并自動(dòng)保存事件完整過程的錄像，并通過提示框顯示被移動(dòng)的靜物原來的位置。靜物檢測(cè)適用于珠寶、文物、展品等的自動(dòng)監(jiān)控。
遺留物檢測(cè)時(shí)需要用戶通過本地監(jiān)控終端或遠(yuǎn)程監(jiān)控終端將禁止放置物品的區(qū)域、物品大小、停放時(shí)長(zhǎng)和符合告警條件事件發(fā)生之前的保存錄像時(shí)長(zhǎng)設(shè)置給全景監(jiān)控設(shè)備的事件檢測(cè)模塊。智能視頻監(jiān)控系統(tǒng)將對(duì)符合設(shè)置條件的事件自動(dòng)告警并保存事件完整過程的錄像，并通過提示框顯示遺留物品的位置。
8、自動(dòng)煙火檢測(cè) 智能視頻監(jiān)控系統(tǒng)根據(jù)目標(biāo)顏色、時(shí)域變化、時(shí)域周期性、空間變化、區(qū)域擴(kuò)展和時(shí)域持續(xù)性、增長(zhǎng)性等信息，自動(dòng)在視頻場(chǎng)景內(nèi)區(qū)分檢測(cè)出火焰和煙霧，在顯示畫面上標(biāo)明火焰和煙霧的位置，并根據(jù)事先指定的煙霧面積大小、火焰面積大小等門限值發(fā)出告警信息；智能視頻監(jiān)控系統(tǒng)也可以自動(dòng)檢測(cè)出監(jiān)控畫面中抽煙的動(dòng)作。有火災(zāi)發(fā)生時(shí)，全景監(jiān)控設(shè)備與其它火災(zāi)傳感器聯(lián)動(dòng)，向消防噴淋系統(tǒng)發(fā)出聯(lián)動(dòng)信號(hào)，形成了全面、可靠的消防系統(tǒng)，可以有效地防止或減緩火勢(shì)蔓延。自動(dòng)煙火檢測(cè)可滿足室內(nèi)防火、室外建筑防火、化學(xué)工廠或倉庫、森林防火的應(yīng)用需求。
9、現(xiàn)場(chǎng)警告 全景監(jiān)控設(shè)備提供了音頻輸入輸出接口，可以連接音頻輸入輸出設(shè)備。有告警情況出現(xiàn)時(shí)，智能視頻監(jiān)控系統(tǒng)可以自動(dòng)播放預(yù)先存儲(chǔ)在全景監(jiān)控設(shè)備中存儲(chǔ)的警告聲音，也可以通過本地監(jiān)控終端或遠(yuǎn)程監(jiān)控終端進(jìn)行控制，播放本地監(jiān)控終端或遠(yuǎn)程監(jiān)控終端中統(tǒng)一存儲(chǔ)的警告聲音，或者進(jìn)行全景監(jiān)控設(shè)備與本地監(jiān)控終端或遠(yuǎn)程監(jiān)控終端之間的語音對(duì)講。這樣可以警告監(jiān)控目標(biāo)立即停止行動(dòng)，以阻止“事件”的發(fā)生。
10、本地監(jiān)控終端或遠(yuǎn)程監(jiān)控終端的視頻顯示、存儲(chǔ)、回放和檢索功能 本地監(jiān)控終端或遠(yuǎn)程監(jiān)控終端接收全景監(jiān)控設(shè)備傳送來的信息，實(shí)現(xiàn)終端顯示和存儲(chǔ)，除視頻數(shù)據(jù)外，本地監(jiān)控終端或遠(yuǎn)程監(jiān)控終端還顯示出全景監(jiān)控設(shè)備的智能分析處理結(jié)果，如疊加運(yùn)動(dòng)目標(biāo)位置提示框、運(yùn)動(dòng)軌跡曲線、煙火位置提示框等。另外用戶還可以回放視頻信息，反復(fù)觀看。本地監(jiān)控終端或遠(yuǎn)程監(jiān)控終端將每次全景監(jiān)控設(shè)備傳送來的告警信息存儲(chǔ)在數(shù)據(jù)庫中，用戶可以在需要時(shí)或按時(shí)間，或按事件類型，或按監(jiān)控現(xiàn)場(chǎng)對(duì)這些信息進(jìn)行檢索。
11、應(yīng)用環(huán)境管理 全景監(jiān)控設(shè)備可以自動(dòng)實(shí)現(xiàn)工作條件檢測(cè)與告警。全景監(jiān)控設(shè)備完整性自檢可以防止偽造監(jiān)控視頻信號(hào)、圖像對(duì)比度過低、視頻信號(hào)強(qiáng)度過弱、攝像鏡頭被遮蓋、丟失視頻信號(hào)、云臺(tái)失控、鏡頭焦長(zhǎng)失控等情況的發(fā)生。全景監(jiān)控設(shè)備10故障自檢防止設(shè)備無響應(yīng)、CPU負(fù)荷過高、設(shè)備溫度過高、部分電路失控等情況的發(fā)生。視頻服務(wù)模塊自檢時(shí)檢測(cè)通信質(zhì)量是否符合最低工作要求。
全景監(jiān)控設(shè)備還可以自動(dòng)實(shí)現(xiàn)監(jiān)測(cè)場(chǎng)景自適應(yīng)與告警。全景監(jiān)控設(shè)備適合陽光下的高亮度環(huán)境和夜間的低光照度環(huán)境的視頻監(jiān)控，適合紅外照明的視頻監(jiān)控，能夠排除各種氣候干擾因素的影響，可靠地提供24小時(shí)全天、全氣候的視頻監(jiān)控服務(wù)。
12、系統(tǒng)自身管理 可以對(duì)全景監(jiān)控設(shè)備進(jìn)行在線遠(yuǎn)程升級(jí)，對(duì)各構(gòu)件進(jìn)行在線遠(yuǎn)程配置，而且其監(jiān)控對(duì)象可以進(jìn)行遠(yuǎn)程裝載。
每個(gè)全景監(jiān)控設(shè)備都支持服務(wù)質(zhì)量(QoS)控制，能夠動(dòng)態(tài)地監(jiān)測(cè)數(shù)據(jù)傳輸網(wǎng)絡(luò)性能，并優(yōu)化調(diào)整視頻、語音數(shù)據(jù)流，能夠動(dòng)態(tài)適應(yīng)數(shù)據(jù)網(wǎng)絡(luò)的傳輸質(zhì)量，提供最佳的監(jiān)視視頻傳輸效果。
以上所述，僅為本發(fā)明的較佳實(shí)施例而已，并非用于限定本發(fā)明的保護(hù)范圍，應(yīng)當(dāng)理解，本發(fā)明并不限于這里所描述的實(shí)現(xiàn)方案，這些實(shí)現(xiàn)方案描述的目的在于幫助本領(lǐng)域中的技術(shù)人員實(shí)踐本發(fā)明。任何本領(lǐng)域中的技術(shù)人員很容易在不脫離本發(fā)明精神和范圍的情況下進(jìn)行進(jìn)一步的改進(jìn)和完善，因此本發(fā)明只受到本發(fā)明權(quán)利要求的內(nèi)容和范圍的限制，其意圖涵蓋所有包括在由所附權(quán)利要求所限定的本發(fā)明精神和范圍內(nèi)的備選方案和等同方案。
權(quán)利要求
1.一種全景監(jiān)控設(shè)備，其特征在于，該設(shè)備包括全景鏡頭、成像組件、事件檢測(cè)模塊、視頻服務(wù)模塊和接口模塊，其中，
所述全景鏡頭和成像組件相結(jié)合用于得到監(jiān)控現(xiàn)場(chǎng)的全景視頻信息；
所述事件檢測(cè)模塊用于對(duì)所述全景視頻信息進(jìn)行智能圖像分析，根據(jù)得到智能分析結(jié)果判斷是否有符合預(yù)先設(shè)定告警條件的事件發(fā)生，并生成事件檢測(cè)報(bào)告；
所述視頻服務(wù)模塊用于利用所述智能分析結(jié)果獲取檢測(cè)目標(biāo)高分辨率細(xì)節(jié)圖像，實(shí)現(xiàn)方位、高低、變焦三個(gè)方向?qū)δ繕?biāo)的虛擬跟蹤，即虛擬PTZ跟蹤，并根據(jù)聯(lián)動(dòng)預(yù)案控制外部設(shè)備產(chǎn)生各種聯(lián)動(dòng)動(dòng)作，進(jìn)一步提供一種多高分辨率目標(biāo)圖像復(fù)用的壓縮、傳輸機(jī)制；
所述接口模塊用于提供全景監(jiān)控設(shè)備與外部設(shè)備連接的全部接口。
2.根據(jù)權(quán)利要求1所述的設(shè)備，其特征在于，所述全景鏡頭為多鏡頭模式的全景鏡頭，或反射式全景鏡頭，或折射式全景鏡頭。
3.根據(jù)權(quán)利要求1所述的設(shè)備，其特征在于，所述成像組件為CCD成像組件，或CMOS成像組件。
4.根據(jù)權(quán)利要求1所述的設(shè)備，其特征在于，所述事件檢測(cè)模塊包括視頻采集模塊、視頻展開/拼接模塊、降分辨率模塊、智能圖像分析模塊和事件生成模塊，其中，
所述視頻采集模塊用于接收所述全景視頻信息；
所述視頻展開/拼接模塊用于通過坐標(biāo)變化和插值處理對(duì)圓形全方位圖像進(jìn)行展開；
降分辨率模塊用于降低全景展開圖像的分辨率；
智能圖像分析模塊用于在降分辨率的全景展開圖像中進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)、跟蹤、分類和行為分析，提取目標(biāo)基礎(chǔ)數(shù)據(jù)信息，并應(yīng)用這些信息分析目標(biāo)運(yùn)動(dòng)的空間特性和時(shí)間特性；
所述事件生成模塊用于根據(jù)展開的全景視頻信息判斷是否有符合預(yù)先設(shè)定告警條件的事件發(fā)生，在有告警事件發(fā)生時(shí)，生成事件檢測(cè)報(bào)告。
5.根據(jù)權(quán)利要求4所述的設(shè)備，其特征在于，所述事件檢測(cè)模塊進(jìn)一步用于向所述視頻服務(wù)模塊提供高分辨率全景展開圖像以及降分辨率的全景展開圖像。
6.根據(jù)權(quán)利要求5所述的設(shè)備，其特征在于，所述視頻服務(wù)模塊包括高分辨率圖像保存模塊、高分辨率目標(biāo)圖像提取模塊、圖像復(fù)用模塊、視頻壓縮模塊和流媒體傳輸模塊，其中，
所述高分辨率圖像保存模塊用于存儲(chǔ)高分辨率全景展開圖像；
高分辨率目標(biāo)圖像提取模塊用于根據(jù)事件檢測(cè)模塊的智能分析處理結(jié)果從全景展開圖像中提取目標(biāo)的高分辨率細(xì)節(jié)影像；
所述圖像復(fù)用模塊用于將高分辨率目標(biāo)圖像進(jìn)行復(fù)用；
所述視頻壓縮模塊用于對(duì)復(fù)用后的高分辨目標(biāo)圖像以及降分辨率的全景展開圖像進(jìn)行視頻壓縮；
流媒體傳輸模塊用于根據(jù)網(wǎng)絡(luò)狀況，以相應(yīng)的傳輸幀率和碼率通過網(wǎng)絡(luò)接口向遠(yuǎn)程監(jiān)控中心傳送前端監(jiān)控?cái)?shù)據(jù)。
7.根據(jù)權(quán)利要求1所述的設(shè)備，其特征在于，所述視頻服務(wù)模塊包括視頻采集模塊、視頻展開/拼接模塊、高分辨率圖像保存模塊、高分辨率目標(biāo)圖像提取模塊、圖像復(fù)用模塊、視頻壓縮模塊和流媒體傳輸模塊，其中，
所述視頻采集模塊用于接收所述全景視頻信息；
所述視頻展開/拼接模塊用于通過坐標(biāo)變化和插值處理對(duì)圓形全方位圖像進(jìn)行展開；
所述高分辨率圖像保存模塊用于存儲(chǔ)高分辨率全景展開圖像；
高分辨率目標(biāo)圖像提取模塊用于根據(jù)事件檢測(cè)模塊的智能分析處理結(jié)果從全景展開圖像中提取目標(biāo)的高分辨率細(xì)節(jié)影像；
所述圖像復(fù)用模塊用于將高分辨率目標(biāo)圖像進(jìn)行復(fù)用；
所述視頻壓縮模塊用于對(duì)復(fù)用后的高分辨目標(biāo)圖像以及降分辨率的全景展開圖像進(jìn)行視頻壓縮；
流媒體傳輸模塊用于根據(jù)網(wǎng)絡(luò)狀況，以相應(yīng)的傳輸幀率和碼率通過網(wǎng)絡(luò)接口向遠(yuǎn)程監(jiān)控中心傳送前端監(jiān)控?cái)?shù)據(jù)。
8.根據(jù)權(quán)利要求7所述的設(shè)備，其特征在于，所述視頻服務(wù)模塊進(jìn)一步包括降分辨率模塊，用于降低全景展開圖像的分辨率。
9.根據(jù)權(quán)利要求1至8任一所述的設(shè)備，其特征在于，所述事件檢測(cè)模塊進(jìn)一步用于向所述視頻服務(wù)模塊提供事件數(shù)據(jù)。
10.根據(jù)權(quán)利要求1至8任一所述的設(shè)備，其特征在于，所述事件檢測(cè)模塊進(jìn)一步用于提供目標(biāo)的基礎(chǔ)數(shù)據(jù)信息；進(jìn)一步提供目標(biāo)運(yùn)動(dòng)的預(yù)測(cè)信息。
11.根據(jù)權(quán)利要求4或7所述的設(shè)備，其特征在于，所述視頻展開/拼接模塊包括坐標(biāo)系變換模塊、形狀特性確定模塊、坐標(biāo)計(jì)算模塊以及像素值計(jì)算模塊，其中，
所述坐標(biāo)系變換模塊，用于建立以全景圖像中心為原點(diǎn)的新坐標(biāo)系并計(jì)算全景圖像中每個(gè)像素點(diǎn)在新坐標(biāo)系中的坐標(biāo)，并將得到的每個(gè)像素點(diǎn)的坐標(biāo)發(fā)送給坐標(biāo)計(jì)算模塊；
所述形狀特性確定模塊，用于根據(jù)用戶選擇的不同的展開方法，確定相應(yīng)展開圖像的形狀特性，并將所述形狀特性發(fā)送給坐標(biāo)計(jì)算模塊；
所述坐標(biāo)計(jì)算模塊，用于根據(jù)所述形狀特性和所述每個(gè)像素點(diǎn)的坐標(biāo)計(jì)算展開圖像中每個(gè)像素點(diǎn)所對(duì)應(yīng)的全景圖像中的坐標(biāo)，并將得到的坐標(biāo)發(fā)送給像素值計(jì)算模塊；
所述像素值計(jì)算模塊，用于根據(jù)坐標(biāo)計(jì)算模塊發(fā)送來的所述坐標(biāo)，通過對(duì)全景圖像中像素點(diǎn)的像素值進(jìn)行非線性插值計(jì)算，計(jì)算每個(gè)展開圖像中的像素點(diǎn)對(duì)應(yīng)的像素值。
12.一種全景監(jiān)控方法，其特征在于，該方法包含
獲取監(jiān)控現(xiàn)場(chǎng)的全景視頻信息；
對(duì)所述全景視頻信息進(jìn)行智能分析得到智能分析結(jié)果，根據(jù)智能分析結(jié)果判斷是否有符合預(yù)先設(shè)定告警條件的事件發(fā)生，并生成事件檢測(cè)報(bào)告；
利用所述智能分析結(jié)果獲取檢測(cè)目標(biāo)高分辨率細(xì)節(jié)圖像，實(shí)現(xiàn)多目標(biāo)虛擬PTZ跟蹤，并根據(jù)聯(lián)動(dòng)預(yù)案控制外部設(shè)備產(chǎn)生各種聯(lián)動(dòng)動(dòng)作，并進(jìn)一步實(shí)現(xiàn)多高分辨率目標(biāo)圖像復(fù)用的壓縮、傳輸機(jī)制。
13.根據(jù)權(quán)利要求12所述的方法，其特征在于，所述進(jìn)行智能分析，包括通過坐標(biāo)變化和插值處理對(duì)圓形全方位圖像進(jìn)行展開。
14.根據(jù)權(quán)利要求12所述的方法，其特征在于，所述進(jìn)行智能分析，包括降低全景展開圖像的分辨率。
15.根據(jù)權(quán)利要求12所述的方法，其特征在于，所述進(jìn)行智能分析，包括檢測(cè)當(dāng)前幀中與背景模型不相符的像素，將所述像素連貫起來后，提取出當(dāng)前幀的前景目標(biāo)。
16.根據(jù)權(quán)利要求15所述的方法，其特征在于，所述進(jìn)行智能分析，進(jìn)一步包括通過建立幀與幀之間的對(duì)應(yīng)關(guān)系，然后進(jìn)行相似性比較或模板匹配實(shí)現(xiàn)目標(biāo)跟蹤。
17.根據(jù)權(quán)利要求12所述的方法，其特征在于，所述進(jìn)行智能分析，進(jìn)一步包括提供目標(biāo)的基礎(chǔ)數(shù)據(jù)信息；進(jìn)一步提供目標(biāo)運(yùn)動(dòng)的預(yù)測(cè)信息。
18.根據(jù)權(quán)利要求12所述的方法，其特征在于，所述利用所述智能分析結(jié)果進(jìn)行操作，包括在高分辨率全景圖像中聚焦每個(gè)檢測(cè)到的目標(biāo)，獲取目標(biāo)的高清晰細(xì)節(jié)圖像；
將高分辨率目標(biāo)圖像復(fù)用，在一副圖像中有序排列檢測(cè)到的多個(gè)目標(biāo)圖像。
19.根據(jù)權(quán)利要求13或所述的方法，其特征在于，所述通過坐標(biāo)變化和插值處理對(duì)圓形全方位圖像進(jìn)行展開，包括
A、建立以全景圖像中心為原點(diǎn)的新坐標(biāo)系，計(jì)算全景圖像中每個(gè)像素點(diǎn)在新坐標(biāo)系中的坐標(biāo)；
B、確定展開圖像的形狀特性，以及全景圖像與展開圖像之間的坐標(biāo)對(duì)應(yīng)關(guān)系；
C、根據(jù)坐標(biāo)對(duì)應(yīng)關(guān)系計(jì)算展開圖像中每個(gè)像素點(diǎn)所對(duì)應(yīng)的全景圖像中的坐標(biāo)；
D、根據(jù)計(jì)算出的所述坐標(biāo)，對(duì)全景圖像中像素點(diǎn)的像素值進(jìn)行非線性插值計(jì)算，得到對(duì)應(yīng)展開圖像中每個(gè)像素點(diǎn)的像素值。
20.根據(jù)權(quán)利要求19所述的方法，其特征在于，所述步驟A與步驟B之間進(jìn)一步包括在全景圖像中去掉一個(gè)以原點(diǎn)為中心的同心圓。
21.根據(jù)權(quán)利要求19所述的方法，其特征在于，所述展開圖像為矩形展開圖像時(shí)，所述步驟B為確定矩形展開圖像的高度和寬度。
22.根據(jù)權(quán)利要求19所述的方法，其特征在于，步驟C中所述坐標(biāo)對(duì)應(yīng)關(guān)系為
ρ＝r2+y，
其中，ρ為全景圖像中的像素點(diǎn)與坐標(biāo)原點(diǎn)的距離，θ為全景圖像中像素點(diǎn)與坐標(biāo)軸的夾角，x為展開圖像中像素點(diǎn)的橫坐標(biāo)，y為展開圖像中像素點(diǎn)的縱坐標(biāo)，r2為所述同心圓的半徑，r1為全景圖像的半徑，π為圓周率。
23.根據(jù)權(quán)利要求19所述的方法，其特征在于，所述步驟A為將全景圖像的半徑設(shè)置為1，計(jì)算全景圖像中每個(gè)像素點(diǎn)在單位圓全景圖像中的坐標(biāo)。
24.根據(jù)權(quán)利要求23所述的方法，其特征在于，所述步驟B為計(jì)算展開圖像中每一像素點(diǎn)與原點(diǎn)的距離、與坐標(biāo)軸的夾角以及與原點(diǎn)連線上的像素點(diǎn)的最大拉伸比例。
25.根據(jù)權(quán)利要求24所述的方法，其特征在于，步驟C中所述坐標(biāo)對(duì)應(yīng)關(guān)系為
r′＝r/Rmax，θ′＝θ
其中，r′為全景圖像中像素點(diǎn)與原點(diǎn)的距離，θ′為全景圖像中像素點(diǎn)與坐標(biāo)軸的夾角，θ為展開圖像中像素點(diǎn)與坐標(biāo)軸的夾角，r為展開圖像中像素點(diǎn)與原點(diǎn)的距離，Rmax為展開圖像中像素點(diǎn)與原點(diǎn)連線上的像素點(diǎn)的最大拉伸比例Rmax＝1/cosθ。
26.根據(jù)權(quán)利要求25所述的方法，其特征在于，步驟C中所述坐標(biāo)對(duì)應(yīng)關(guān)系為
其中，r′為全景圖像中像素點(diǎn)與原點(diǎn)的距離，θ′為全景圖像中像素點(diǎn)與坐標(biāo)軸的夾角，θ為展開圖像中像素點(diǎn)與坐標(biāo)軸的夾角，r為展開圖像中像素點(diǎn)與原點(diǎn)的距離，Rmax為展開圖像中像素點(diǎn)與原點(diǎn)連線上的像素點(diǎn)的最大拉伸比例，Rmax＝1/cosθ。
全文摘要
本發(fā)明公開了一種全景監(jiān)控方法及設(shè)備。其中，設(shè)備包括全景鏡頭和成像組件相結(jié)合用于得到監(jiān)控現(xiàn)場(chǎng)的全景視頻信息；事件檢測(cè)模塊用于對(duì)所述全景視頻信息進(jìn)行智能圖像分析，根據(jù)得到智能分析結(jié)果判斷是否有符合預(yù)先設(shè)定告警條件的事件發(fā)生，并生成事件檢測(cè)報(bào)告；視頻服務(wù)模塊用于利用所述智能分析結(jié)果實(shí)現(xiàn)多目標(biāo)虛擬PTZ跟蹤，并提供一種多高分辨率目標(biāo)圖像復(fù)用的壓縮、傳輸機(jī)制，不僅解決了“看得清”和“看的全”的問題，而且還有效地降低對(duì)傳輸帶寬的要求，實(shí)現(xiàn)高效傳輸；接口模塊用于提供全景監(jiān)控設(shè)備與外部設(shè)備連接的全部接口。根據(jù)本發(fā)明提供的方案，實(shí)現(xiàn)了連續(xù)監(jiān)控360°全景空間，不會(huì)漏掉或錯(cuò)過任何突發(fā)事件，實(shí)現(xiàn)了無盲點(diǎn)、無死角智能監(jiān)控。
文檔編號(hào)G03B37/00GK101119482SQ20071017536
公開日2008年2月6日 申請(qǐng)日期2007年9月28日 優(yōu)先權(quán)日2007年9月28日
發(fā)明者王占寧, 菅云峰, 成 蔡, 曾建平, 楠 孫 申請(qǐng)人:北京智安邦科技有限公司