專利名稱：基于全方位計算機視覺的財產(chǎn)保護裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于光學技術(shù)和計算機視覺技術(shù)在財產(chǎn)保護方面的應(yīng)用，具體適用于開放式大范圍環(huán)境中的財產(chǎn)被盜的檢測裝置。

背景技術(shù)：
在展覽館、博物館、展銷會、商場、庫房重地等需要有一種檢測技術(shù)來保護有價值的財產(chǎn)安全，一旦發(fā)生重要財產(chǎn)被拿走事件，計算機就能立即報警并抓拍盜竊嫌疑者的圖像，以便為案件的快速偵破提供有效線索。
目前的財產(chǎn)保護手段存在著幾個主要問題1)由于攝像裝置的視覺范圍有限，要檢測較大場景范圍的財產(chǎn)必須采用多個攝像裝置；2)缺乏智能化的檢測手段，仍然需要人工緊盯者監(jiān)視屏。


發(fā)明內(nèi)容
為了克服已有的財產(chǎn)保護系統(tǒng)的視覺范圍受限、可靠性差、維護麻煩、智能化程度低的不足，本發(fā)明提供一種具有全方位視覺、可靠性好、維護方便、智能化程度高的基于全方位計算機視覺的財產(chǎn)保護裝置。
本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是 一種基于全方位計算機視覺的財產(chǎn)保護裝置，包括用于監(jiān)視大范圍全景內(nèi)被保護財產(chǎn)情況的視覺傳感器、以及用于根據(jù)視覺傳感器的信號進行財產(chǎn)保護檢測的微處理器，所述視覺傳感器與所述微處理器連接，所述視覺傳感器為全方位視覺傳感器和高速快球抓拍傳感器，所述全方位視覺傳感器包括支架、透明外罩、一次折反射鏡、二次折反射鏡、攝像部件鏡頭和廣角鏡頭，所述透明外罩、一次折反射鏡和攝像部件鏡頭安裝在支架上，所述一次折反射鏡位于所述透明外罩的上部，所述的透明外罩底部中央開口，所述攝像部件鏡頭位于所述一次折反射鏡的上方，所述二次折反射鏡安裝在所述中央開口內(nèi)，所述二次折反射鏡的中部開小孔，在所述小孔內(nèi)安裝所述廣角鏡頭，所述攝像部件鏡頭、一次折反射鏡、二次折反射鏡和廣角鏡頭的中心軸配置在同一軸心線上；將攝像部件鏡頭的焦點距離作為f1、廣角鏡頭的焦點距離作為f2、攝像部件鏡頭與攝像部件鏡頭的焦點的距離作為S1、從攝像部件鏡頭到第一成像點的焦點距離作為S2、從廣角鏡頭到第一成像點的距離作為S3、從廣角鏡頭到實物點的距離作為S4，根據(jù)鏡頭的成像公式得到以下關(guān)系式 d＝S2+S3 (12) 將攝像部件鏡頭與廣角鏡頭的之間的距離d作為一個約束條件，通過設(shè)計廣角鏡頭的焦點距離f2來滿足公式(12)的要求； 將攝像部件鏡頭與廣角鏡頭作為一個組合鏡頭來考慮的話，其焦距f由下式來表示 另外，將合成鏡頭的直徑作為D，其放大倍數(shù)由下式來表示 合成鏡頭滿足以下公式 式(15)中，θ1max是二次反射光線V3與折反射主軸Z的最大夾角； 所述微處理器包括 ODVS圖像獲取模塊，用于獲得監(jiān)控場景的全景視頻圖像，包括有系統(tǒng)初始化單元和圖像獲取單元； 場景內(nèi)對象檢測模塊，用于抽取出監(jiān)控場景內(nèi)的運動對象、遺留物暫時靜止對象和場景靜止對象，包括有 長周期背景建模單元，用于通過采用基于混合高斯分布模型以較小的更新率對背景像素進行建模； 短周期背景建模單元，用于通過采用基于混合高斯分布模型以較大的更新率對背景像素進行建模； 陰影抑制單元，用于有效區(qū)分運動對象和運動陰影，基于HSV顏色空間的檢測方法，在HSV顏色空間中，H分量表示色度，S分量表示飽和度，V分量表示亮度，通過以下決策公式(20)，來判斷某像素點是否屬于陰影

(20) 式中，IV(x，y)、IS(x，y)、IH(x，y)與BV(x，y)、BS(x，y)、BH(x，y)分別表示(x，y)處像素新輸入值I(x，y)與背景像素值H、S、V分量；參數(shù)0<α<β<1，α取值要考慮陰影的強度，當背景上投射的陰影越強時，參數(shù)α要取得越小，參數(shù)β用來增強系統(tǒng)的魯棒性；參數(shù)τS小于零，參數(shù)τH的選取則主要根據(jù)場景的情況進行調(diào)試； 對象區(qū)分單元，用于抽取出監(jiān)控場景內(nèi)的運動對象、特殊背景對象和場景靜止對象，與所述的長周期背景建模單元和所述的短周期背景建模單元中所得到的處理中間結(jié)果BL和BS進行差減運算，得到長周期前景FL、短周期前景FS，接著根據(jù)FL和FS值之間的關(guān)系，歸納出當前幀內(nèi)某像素的四種不同類型，判定結(jié)果如表1所示 表1 構(gòu)造一個基于統(tǒng)計信息的可能性函數(shù)L判斷該像素(x，y)是否屬于特殊背景對象，其定義為
式中，maxe和k都是正數(shù)；maxe是閾值，當L(x，y)>maxe時，該像素就被判定為屬于特殊背景對象；maxe值是根據(jù)系統(tǒng)檢測的靈敏性和準確性而確定的；k表示了可能性函數(shù)的衰減速率； 根據(jù)表1結(jié)合可能性函數(shù)L的判斷，類型1屬于運動對象，L(x，y)>maxe條件的屬于特殊背景對象，類型4屬于場景靜態(tài)對象； 被保護財產(chǎn)檢測模塊，用于檢測出在場景內(nèi)發(fā)生的財產(chǎn)丟失事件以及與該事件相關(guān)的活動對象、時間、地點，包括有 虛擬封閉重點監(jiān)控區(qū)域定制單元，用于定制虛擬封閉的被保護財產(chǎn)所在的區(qū)域； 活動對象接近虛擬封閉重點監(jiān)控區(qū)域檢測單元，用于檢測在虛擬封閉重點監(jiān)控區(qū)域附近或者區(qū)域內(nèi)出現(xiàn)諸如人體的活動對象，首先檢測出是否有活動對象，如果檢測出有活動對象，再計算該活動對象與虛擬封閉重點監(jiān)控區(qū)域外部邊緣的距離，如果計算出來的距離值小于系統(tǒng)所設(shè)定的距離閾值D就判定為活動對象接近虛擬封閉重點監(jiān)控區(qū)域； 特殊背景對象被移出檢測單元，用于檢測在虛擬封閉重點監(jiān)控區(qū)域內(nèi)的特殊背景對象的消失； 被保護財產(chǎn)丟失檢測ID號自動生成單元，用于自動生成一個被保護財產(chǎn)丟失檢測ID號和存放與被保護財產(chǎn)丟失相關(guān)聯(lián)的可疑活動對象特寫圖像文件夾； 可疑活動對象抓拍單元，用于后續(xù)確認被保護財產(chǎn)丟失事件由何人所為，當檢測到有活動對象接近被保護財產(chǎn)所在的區(qū)域，然后又檢測到被保護財產(chǎn)消失情況出現(xiàn)時，從對象區(qū)分單元處理結(jié)果得到活動對象位置信息(Sx，Sy)，然后根據(jù)在所述的系統(tǒng)初始化單元中所建立的映射表，輸出一個與攜帶者位置信息(Sx，Sy)相對應(yīng)的數(shù)字ID給高速快球抓拍傳感器的控制控制端口，指示高速快球抓拍傳感器轉(zhuǎn)動對準該位置進行拍攝，獲得可疑活動對象特寫圖像，并將其保存在被保護財產(chǎn)丟失檢測ID號命名的文件夾內(nèi)。
進一步，全方位視覺傳感器滿足整個監(jiān)控領(lǐng)域頂視的全景視頻圖像不變形要求，用以下方法來進行設(shè)計 根據(jù)成像原理，一次入射光線V1與折反射主軸Z的夾角為Φ，一次反射光線V2與折反射主軸Z的夾角為θ2，過P1點(t1，F(xiàn)1)的切線與t軸的夾角為σ，法線與Z軸的夾角為ε；二次反射光線V3與折反射主軸Z的夾角為θ1，過P2點(t2，F(xiàn)2)的切線與t軸的夾角為σ，法線與Z軸的夾角為ε1，基于上述關(guān)系可以得到公式(1)
其中 式中，F(xiàn)1是一次折反射鏡面曲線，F(xiàn)2是二次折反射鏡面曲線； 利用三角關(guān)系并進行簡化整理，得到公式(2)、(3) 上式中， 解公式(2)、(3)可以得到公式(4)、(5)； 式中F1′為F1曲線的微分，F(xiàn)2′為F2曲線的微分； 在成像平面上的點與水平面上的點之間滿足某種線性關(guān)系，與視點S的距離為C并與Z軸相垂直的水平面L上的任意點P，在成像平面上的有一個對應(yīng)的像素點p，將水平面上的坐標用極坐標表示，這時水平面L上的任意點P(r，z)用以下公式來表示， r＝C*tanφ，z＝s+C (6) 設(shè)計水平面上具有平均分辨率ODVS，即水平方向不變形的ODVS，在水平面L上的任意點P與Z軸相垂直方向的坐標r和像素點p與Z軸的距離t2/F2(t2)之間要保證具有線性關(guān)系；使得以下公式能成立， r＝a*f*t2/F2(t2)+b (7) 根據(jù)成像原理有以下關(guān)系成立，入射角用公式(8)表示， 將公式(6)、(8)代入公式(7)并整理，得到在水平方向不變形的條件，用公式(9)表示， 滿足公式(9)的鏡面曲線設(shè)計符合水平方向平均分辨率要求。
再進一步，在所述活動對象接近虛擬封閉重點監(jiān)控區(qū)域檢測單元中，距離值判定方法是通過活動對象的中心點作為圓心，距離閾值D作為圓半徑作一個圓，如果這個圓與虛擬封閉重點監(jiān)控區(qū)域相交則判定為活動對象接近虛擬封閉重點監(jiān)控區(qū)域。
更進一步，在所述被保護財產(chǎn)丟失檢測ID號自動生成單元中，當檢測到在虛擬封閉重點監(jiān)控區(qū)域內(nèi)的特殊背景對象的消失時刻，自動會產(chǎn)生一個被保護財產(chǎn)丟失檢測ID號并同時生成一個以該被保護財產(chǎn)丟失檢測ID號命名的文件夾，用于存放可疑活動對象的特寫圖像和被保護財產(chǎn)丟失事件的視頻圖像。
在所述系統(tǒng)初始化單元中，通過建立全方位視覺傳感器圖像中的坐標與高速快球抓拍傳感器轉(zhuǎn)動角度信息之間的映射關(guān)系，即通過預(yù)置點定制法將全景視頻圖像分割成一個個小區(qū)域；然后將每個小區(qū)域與控制高速快球的抓拍點之間建立一種映射關(guān)系；抓拍某一個小區(qū)域的特寫圖像時只要給高速快球的控制端口一個對應(yīng)的數(shù)字ID，高速快球就能自動地轉(zhuǎn)到到該小區(qū)域進行抓拍，系統(tǒng)初始化時讀取這張映射表。
本發(fā)明的技術(shù)構(gòu)思為近年發(fā)展起來的全方位視覺傳感器ODVS(OmniDirectional Vision Sensors)為實時獲取場景的全景圖像提供了一種新的解決方案。ODVS的特點是視野廣(360度)，能把一個半球視野中的信息壓縮成一幅圖像，一幅圖像的信息量更大；獲取一個場景圖像時，ODVS在場景中的安放位置更加自由；監(jiān)視環(huán)境時ODVS不用瞄準目標；檢測和跟蹤監(jiān)視范圍內(nèi)的運動物體時算法更加簡單；可以獲得場景的實時圖像。這種ODVS攝像機主要由一個CCD攝像機和正對著攝像頭的一個反光鏡組成。反光鏡面將水平方向一周的圖像反射給CCD攝像機成像，這樣，就可以在一幅圖像中獲取水平方向360°的環(huán)境信息。這種全方位攝像機有著非常突出的優(yōu)點，特別在對全景實時處理要求下，是一種快速、可靠的視覺信息采集途徑。
提供一個獲取實時全方位圖像的攝像裝置，通過基于兩個不同更新率的混合高斯分布模型的建模方法分別建立一個長周期的背景模型和一個短周期的背景模型，然后將所獲得的實時全景圖像分別與長周期的背景模型、短周期的背景模型進行差減運算，接著對運算結(jié)果進行基于統(tǒng)計信息的可能性函數(shù)判斷，得到活動對象、背景變化對象和背景靜止對象的判定結(jié)果；接著考慮視頻圖像的活動對象和背景變化對象的出現(xiàn)、事件發(fā)生的時間序列檢測出在全方位場景內(nèi)的財產(chǎn)被盜；最后通過高速快球抓拍財產(chǎn)被盜可疑者的特寫圖像，來確定財產(chǎn)在何時、由何人所為。
基于全方位計算機視覺的財產(chǎn)保護裝置的核心問題是要檢測出所要保護的財產(chǎn)的周圍出現(xiàn)活動對象并接著要保護的財產(chǎn)消失的事件。本發(fā)明的解決方案是首先，采用無死角的全方位視覺傳感器，其特有的360°的視野能有效地解決財產(chǎn)消失的事件在場景中出現(xiàn)的空間位置和時間的不確定的問題；其次，提出了一種基于兩個不同更新率的混合高斯分布模型的建模方法，可有效地對全景視野的與財產(chǎn)消失事件相關(guān)的人和物進行檢測；再次，為了克服混合高斯分布模型無法有效區(qū)分活動對象和自身運動陰影的缺點，提高檢測裝置的魯棒性，引入了陰影抑制單元；最后，根據(jù)財產(chǎn)消失事件過程，即有人體對象接近保護的財產(chǎn)對象、財產(chǎn)對象消失、人體對象離開場景來做出正確的判斷。
本發(fā)明的有益效果主要表現(xiàn)在1、具有全方位視覺、可靠性好、維護方便、智能化程度高；2、應(yīng)用于展覽館、博物館、展銷會、商場、庫房重地等開放環(huán)境內(nèi)的財產(chǎn)保護。



圖1為無死角的全方位視覺傳感器的結(jié)構(gòu)示意圖； 圖2為全方位視覺傳感器所拍攝的視頻圖像示意圖； 圖3為攝像部件鏡頭與廣角鏡頭進行組合的光學原理圖； 圖4為按二次折反射原理以及水平方向平均分辨率來設(shè)計的ODVS說明圖； 圖5為按水平方向平均分辨率來設(shè)計的成像平面投影原理圖； 圖6為利用4階Runge-Kutta算法求F1和F2的數(shù)字解的折反射鏡面曲線圖； 圖7為基于全方位計算機視覺的財產(chǎn)保護檢測方法示意圖； 圖8為基于全方位計算機視覺的財產(chǎn)保護檢測裝置硬件結(jié)構(gòu)圖； 圖9為判斷前景對象與背景對象的流程圖； 圖10為ODVS與高速快球之間的信息融合示意圖； 圖11為基于全方位計算機視覺的財產(chǎn)保護檢測裝置軟件框圖。

具體實施例方式 下面結(jié)合附圖對本發(fā)明作進一步描述。
實施例1 參照圖1～圖11，財產(chǎn)保護視頻檢測的核心問題是要檢測出被保護的財產(chǎn)的周圍出現(xiàn)活動對象并接著被保護的財產(chǎn)14消失的事件。本發(fā)明的實施方案是首先，采用無死角水平方向不變形的全方位視覺傳感器，其特有的360°的視野能有效地解決活動對象在場景15中出現(xiàn)的空間位置和時間的不確定的問題；接著要在全景視頻圖像中劃分出被保護財產(chǎn)所在的區(qū)域，即定義好虛擬封閉重點監(jiān)控區(qū)域；其次，提出了一種基于兩個不同更新率的混合高斯分布模型的建模方法，可有效地對進入全景視野的活動對象的行為進行檢測；再次，為了克服混合高斯分布模型無法有效區(qū)分活動對象和自身運動陰影的缺點，引入了陰影抑制單元；接著要判斷是否在這個虛擬封閉重點監(jiān)控區(qū)域附近有活動對象出現(xiàn)；然后再判斷在這個虛擬封閉重點監(jiān)控區(qū)域內(nèi)的特殊背景對象是否被移出，當發(fā)現(xiàn)上述情況發(fā)生時裝置自動報警；最后通過高速快球來抓拍移出特殊背景對象的活動對象特寫圖像，為迅速破案提供線索；附圖7表示了在監(jiān)控場景內(nèi)活動對象接近虛擬封閉重點監(jiān)控區(qū)域的一種狀態(tài)，其中監(jiān)控場景15，財產(chǎn)14，運動對象13。
如附圖8所示，基于全方位計算機視覺的財產(chǎn)保護裝置包括有全方位視覺傳感器、高速快球抓拍傳感器和計算機，所述的全方位視覺傳感器用于獲得監(jiān)控場景內(nèi)的全景視頻圖像，所述的高速快球用于抓拍監(jiān)控場景內(nèi)移出特殊背景對象的活動對象的特寫圖像，所述的計算機用于檢測在監(jiān)控場景內(nèi)是否發(fā)生了財產(chǎn)丟失事件； 如附圖11所示，所述的計算機包括有ODVS圖像獲取模塊、場景內(nèi)對象檢測模塊和被保護財產(chǎn)檢測模塊； 所述的ODVS圖像獲取模塊用于獲得監(jiān)控場景的全景視頻圖像，包括有系統(tǒng)初始化單元和圖像獲取單元；所述的場景內(nèi)對象檢測模塊用于在全景視頻序列圖像中分離出活動對象、特殊背景對象與和靜止對象等三個不同的對象，包括有長周期背景建模單元、短周期背景建模單元、陰影抑制單元和對象區(qū)分單元；所述的被保護財產(chǎn)檢測模塊用于檢測財產(chǎn)丟失事件以及與該事件有關(guān)的活動對象、時間、地點，包括虛擬封閉重點監(jiān)控區(qū)域定制單元、活動對象接近虛擬封閉重點監(jiān)控區(qū)域檢測模塊、特殊背景對象被移出檢測單元、被保護財產(chǎn)丟失檢測ID號自動生成單元和可疑活動對象抓拍單元； 所述的系統(tǒng)初始化單元，主要用于ODVS所獲得的全景視頻信息與高速快球的局部圖像信息的融合，這兩種信息的融合是通過建立ODVS圖像中的坐標與高速快球轉(zhuǎn)動角度信息之間的映射關(guān)系來實現(xiàn)的，即通過預(yù)置點定制法將全景視頻圖像分割成一個個小區(qū)域，分割方法見附圖10；然后將每個小區(qū)域與控制高速快球的抓拍點之間建立一種映射關(guān)系；這樣抓拍某一個小區(qū)域的特寫圖像時只要給高速快球的控制端口一個對應(yīng)的數(shù)字ID，高速快球就能自動地轉(zhuǎn)到到該小區(qū)域進行抓拍；這些功能是通過一張ODVS與高速快球之間的映射表來實現(xiàn)的，系統(tǒng)初始化時讀取這張映射表，同時也可以允許使用者重新建立新的映射表；在系統(tǒng)初始化單元中還需要讀取在所述的虛擬封閉重點監(jiān)控區(qū)域定制單元中所定制虛擬封閉重點監(jiān)控區(qū)域的數(shù)據(jù)； 所述的圖像獲取單元，主要用于通過視頻卡或者其他視頻接口讀取ODVS的全景視頻圖像；所獲得的全景視頻圖像輸出給場景內(nèi)對象檢測模塊進行處理； 所述的長周期背景建模單元，用于通過采用基于混合高斯分布模型以較小的更新率對背景像素進行建模，即混合高斯背景建模算法，通過該算法的運算活動對象與暫時靜止的對象都能會被檢測為前景對象； 所述的短周期背景建模單元，用于通過采用基于混合高斯分布模型以較大的更新率對背景像素進行建模，即混合高斯背景建模算法，通過該算法的運算暫時靜止的對象和場景靜態(tài)對象都能會被檢測為背景對象； 所述的混合高斯背景建模算法，其主要思想是對每個像素點采用多個高斯模型的混合表示。設(shè)用來描述每個點顏色分布的高斯分布共有K個，對每一個像素點隨時間變化的序列{Y1，Y2，....，Yn}，用混合高斯模型來為其建模。定義當前觀測點的像素值的概率公式，如公式(16)所示 式中t為時間點；K是高斯模型的數(shù)量(一般取3～5個)；ωn，t為第n個高斯模型的權(quán)值；μn，t和

分別是在t時刻第n個高斯模型的均值和方差；其中概率密度函數(shù)如公式17所示 各個高斯分布分別具有不同的權(quán)值和優(yōu)先級，它們總是按照優(yōu)先級從高到低的次序排序。取適當?shù)谋尘皺?quán)值閾值區(qū)間，只有在此閾值之內(nèi)的前若干個分布才被認為是背景分布，其它則是前景分布。所以，在檢測前景點時，按照優(yōu)先級次序?qū)⑾袼攸cYt與各高斯分布逐一匹配，若沒有表示背景分布的高斯分布與Yt匹配，則判定該點為前景點，否則為背景點； 所述的較小的更新率和較大的更新率，是指公式(18)的更新系數(shù)α，較小的更新率是指更新系數(shù)α具有較小的值，較大的更新率是指更新系數(shù)α具有較大的值，更新系數(shù)的取值范圍0<α<1， 式中，μ和σ2分別是高斯模型的均值和方差，α是更新系數(shù)，Y為像素點。
所述的陰影抑制單元，用于有效區(qū)分活動對象和運動陰影，為了提高裝置的檢測精度這里引入了陰影抑制單元，將陰影檢測算法與混合高斯分布模型相結(jié)合，對于新進入的像素值It，根據(jù)混合高斯背景分布模型判斷該像素是背景還是運動前景，若為前景則進一步采用陰影決策公式判斷其是否屬于運動陰影。具體流程圖如圖9所示。
所述的陰影檢測算法，采用基于HSV顏色空間的檢測方法，HSV顏色空間接近人類視覺感知色彩的方式，比RGB顏色空間更能夠準確地檢測出陰影。在HSV顏色空間中，H分量表示色度，S分量表示飽和度，V分量表示亮度。由于陰影處的亮度和飽和度較背景偏暗，而色度基本保持一致，所以可以通過以下決策公式(20)，來判斷某像素點是否屬于陰影。

式中，IV(x，y)、IS(x，y)、IH(x，y)與BV(x，y)、BS(x，y)、BH(x，y)分別表示(x，y)處像素新輸入值I(x，y)與背景像素值H、S、V分量。參數(shù)0<α<β<1，α取值要考慮陰影的強度，當背景上投射的陰影越強時，參數(shù)α要取得越小，參數(shù)β用來增強系統(tǒng)的魯棒性。參數(shù)τS小于零，參數(shù)τH的選取則主要根據(jù)場景的情況進行調(diào)試。
所述的對象區(qū)分單元，用于抽取出監(jiān)控場景內(nèi)的活動對象、特殊背景對象和場景靜止對象；首先是讀取全景視頻圖像，然后分別與所述的長周期背景建模單元和所述的短周期背景建模單元中所得到的處理中間結(jié)果BL和BS進行差減運算，得到長周期前景(FL，F(xiàn)oreground Long)、短周期前景(FS，F(xiàn)oreground Short)，接著根據(jù)FL和FS值之間的關(guān)系，歸納出當前幀內(nèi)某像素的四種不同類型，判定結(jié)果如表1所示 表1 根據(jù)FL和FS值判斷某像素的類型 類型1如果該像素屬于活動對象，那么在任意背景模型更新率下都是屬于前景； 類型2如果該像素是從運動狀態(tài)轉(zhuǎn)為靜止狀態(tài)，若更新率較大，它將被視為背景，相反，在更新率較小的背景圖像下，它是屬于前景的； 類型3如果該像素是受到外界噪聲干擾或者是背景發(fā)生了變化，更新率較小的背景圖像由于無法做到實時更新，仍然判定該像素為背景，而更新率較大的背景圖像則判定為前景，背景對象被移出就是屬于該類型； 類型4如果某像素是屬于靜態(tài)場景的一部分，那么在不同更新率的背景圖像下都將被視為背景。
從表1中可以知道，只有在類型3，即滿足FL(x，y)＝0∧FS(x，y)＝1條件的像素才有可能是屬于某個特殊的背景對象。出于增強系統(tǒng)檢測魯棒性的目的，本發(fā)明通過構(gòu)造一個基于統(tǒng)計信息的可能性函數(shù)L來判斷該像素(x，y)是否屬于特殊背景對象，其定義為
式中，maxe和k都是正數(shù)。該函數(shù)不僅能夠消減檢測過程中的噪聲，而且可以控制某像素被判定為屬于特殊背景對象的決策時間。對于該像素，可能性函數(shù)將實時地獲取其類型信息并進行相關(guān)統(tǒng)計。maxe是閾值，當L(x，y)>maxe時，該像素就被判定為屬于特殊背景對象；maxe值是根據(jù)系統(tǒng)檢測的靈敏性和準確性而確定的。如果系統(tǒng)要求盡量避免噪聲，那么應(yīng)該采用較大的maxe值以確保檢測精度，但與此同時，較大的maxe值不可避免將導致決策時間的增加。k表示了可能性函數(shù)的衰減速率。
通過上述的計算，從全景視頻圖像序列中分離出活動對象、特殊背景對象與和靜止對象等三個不同的對象，為了減少對被保護財產(chǎn)丟失事件的誤判斷，提高被保護財產(chǎn)報警的準確性；首先要在全景視頻圖像中劃分出被保護財產(chǎn)所在的區(qū)域，即定義好虛擬封閉重點監(jiān)控區(qū)域；接著要判斷是否在這個虛擬封閉重點監(jiān)控區(qū)域附近有活動對象出現(xiàn)；然后再判斷在這個虛擬封閉重點監(jiān)控區(qū)域內(nèi)的特殊背景對象是否被移出，當發(fā)現(xiàn)上述情況發(fā)生時裝置自動報警；最后通過高速快球來抓拍移出特殊背景對象的活動對象特寫圖像，為迅速破案提供線索；本發(fā)明中采用被保護財產(chǎn)檢測模塊進行檢測； 所述的虛擬封閉重點監(jiān)控區(qū)域定制單元，用于定制虛擬封閉的被保護財產(chǎn)所在的區(qū)域，根據(jù)實際被保護財產(chǎn)的分布情況，可以定制若干個虛擬封閉重點監(jiān)控區(qū)域；本發(fā)明中根據(jù)在全景圖像中被保護財產(chǎn)所處的空間位置采用鼠標畫出包容被保護財產(chǎn)的若干個虛擬封閉重點監(jiān)控區(qū)域，如附圖7中的虛線部分所示； 所述的活動對象接近虛擬封閉重點監(jiān)控區(qū)域檢測模塊，用于檢測在虛擬封閉重點監(jiān)控區(qū)域附近或者區(qū)域內(nèi)出現(xiàn)諸如人體的活動對象； 所述的特殊背景對象被移出檢測單元，用于檢測在虛擬封閉重點監(jiān)控區(qū)域內(nèi)的特殊背景對象的消失； 所述的被保護財產(chǎn)丟失檢測ID號自動生成單元，用于自動生成一個被保護財產(chǎn)丟失檢測ID號和存放與被保護財產(chǎn)丟失相關(guān)聯(lián)的可疑活動對象特寫圖像文件夾，被保護財產(chǎn)丟失檢測ID號包含有被保護財產(chǎn)丟失事件發(fā)生的時間信息； 所述的可疑活動對象抓拍單元，用于后續(xù)確認被保護財產(chǎn)丟失事件由何人所為，為迅速破案提供線索；當裝置檢測到有活動對象接近被保護財產(chǎn)所在的區(qū)域，然后又檢測到被保護財產(chǎn)消失情況出現(xiàn)時，從所述的對象區(qū)分單元處理結(jié)果得到活動對象位置信息(Sx，Sy)，然后根據(jù)在所述的系統(tǒng)初始化單元中所建立的映射表，輸出一個與攜帶者位置信息(Sx，Sy)相對應(yīng)的數(shù)字ID給高速快球的控制控制端口，指示高速快球轉(zhuǎn)動對準該位置進行拍攝，獲得可疑活動對象特寫圖像，并將其保存在被保護財產(chǎn)丟失檢測ID號命名的文件夾內(nèi)； 所述的全方位視覺傳感器，用于有效地獲得被保護的財產(chǎn)是在何時、何地、由何人所為的完整全景視頻圖像，需要進行無死角水平方向不變形的全方位視覺傳感器的設(shè)計； 所述的水平方向不變形，需要進行水平方向平均分辨率設(shè)計，以滿足整個監(jiān)控領(lǐng)域頂視的全景視頻圖像不變形要求；在ODVS設(shè)計上可以歸結(jié)于折反射鏡面曲線的設(shè)計，如附圖4所示，空間上的一個光源點P的入射光V1在主反射鏡面(t1，F(xiàn)1)點上進行反射，反射光V2反射到次反射鏡面(t2，F(xiàn)2)點上再進行反射，反射光V3以角度θ1進入攝像裝置的鏡頭，在攝像單元(CCD或者CMOS)上成像。
根據(jù)成像原理，一次入射光線V1與折反射主軸Z的夾角為Φ，一次反射光線V2與折反射主軸Z的夾角為θ2，過P1點(t1，F(xiàn)1)的切線與t軸的夾角為σ，法線與z軸的夾角為ε；二次反射光線V3與折反射主軸z的夾角為θ1，過P2點(t2，F(xiàn)2)的切線與t軸的夾角為σ，法線與Z軸的夾角為ε1，基于上述關(guān)系可以得到公式(1)
其中 式中，F(xiàn)1是一次折反射鏡面曲線，F(xiàn)2是二次折反射鏡面曲線； 利用三角關(guān)系并進行簡化整理，得到公式(2)、(3) 上式中， 解公式(2)、(3)可以得到公式(4)、(5)； 式中F1′為F1曲線的微分，F(xiàn)2′為F2曲線的微分； 所述的成像平面上的點與水平面上的點之間的關(guān)系來說具有某種線性關(guān)系，與視點S的距離為C并與Z軸相垂直的水平面L上的任意點P，在成像平面上的有一個對應(yīng)的像素點p，如附圖4所示，將水平面上的坐標用極坐標表示，這時水平面L上的任意點P(r，z)可以用以下公式來表示， r＝C*tanφ，z＝s+C (6) 為了設(shè)計水平面上具有平均分辨率ODVS，即水平方向不變形的ODVS，在水平面L上的任意點P與Z軸相垂直方向的坐標r和像素點p與Z軸的距離t2/F2(t2)之間要保證具有線性關(guān)系。使得以下公式能成立， r＝a*f*t2/F2(t2)+b (7) 根據(jù)成像原理有以下關(guān)系成立，入射角用公式(8)表示， 將公式(6)、(8)代入公式(7)并整理，得到在水平方向不變形的條件，用公式(9)表示， 滿足公式(9)的鏡面曲線設(shè)計符合水平方向平均分辨率要求； 更進一步，通過對公式(2)、(3)、(9)利用4階Runge-Kutta算法求F1和F2的數(shù)字解，這樣計算得到的一次折反射鏡面和二次折反射鏡面曲線能實現(xiàn)水平方向平均分辨率；圖6是利用4階Runge-Kutta算法求F1和F2的數(shù)字解的折反射鏡面曲線圖； 進一步，所述全方位視覺傳感器包括支架、透明外罩2、一次折反射鏡4、二次折反射鏡5、攝像部件鏡頭3和廣角鏡頭6，所述透明外罩、一次折反射鏡和攝像部件鏡頭安裝在支架上，所述一次折反射鏡位于所述透明外罩的上部，所述的透明外罩底部中央開口，所述攝像部件鏡頭位于所述一次折反射鏡的上方，所述二次折反射鏡安裝在所述中央開口內(nèi)，所述二次折反射鏡的中部開小孔，在所述小孔內(nèi)安裝所述廣角鏡頭，所述攝像部件鏡頭3、一次折反射鏡4、二次折反射鏡5和廣角鏡頭6的中心軸配置在同一軸心線上。設(shè)計透明外罩2，為了使得透明外罩2不會產(chǎn)生內(nèi)壁的反射干擾光，如圖1所示。具體做法是將透明外罩設(shè)計成碗狀，即設(shè)計成半圓球，這樣能避免在透明外罩2發(fā)生反射干擾光，ODVS的結(jié)構(gòu)如圖1所示； 所述的無死角ODVS，用于克服原先ODVS中被二次折反射鏡面所遮擋而造成的死角，在設(shè)計上，本發(fā)明中將廣角鏡頭配置在二次折反射鏡面上，設(shè)計廣角鏡頭以及確定廣角鏡頭的位置是本發(fā)明的一個任務(wù)。圖3是攝像部件鏡頭與廣角鏡頭的位置關(guān)系圖。在圖3中將廣角鏡頭配置在一次折反射鏡的前方和二次折反射鏡面上，攝像部件鏡頭、廣角鏡頭、一次折反射鏡和二次折反射鏡的中心軸配置在同一軸心線上；通過一次折反射鏡上的圓孔在廣角鏡頭與攝像部件鏡頭之間成像，稱為第一成像點，該成像點通過攝像部件鏡頭在視點處成像。這里將攝像部件鏡頭的焦點距離作為f1、廣角鏡頭的焦點距離作為f2、攝像部件鏡頭與攝像部件鏡頭的焦點的距離作為S1、從攝像部件鏡頭到第一成像點的焦點距離作為S2、從廣角鏡頭到第一成像點的距離作為S3、從廣角鏡頭到實物點的距離作為S4，根據(jù)鏡頭的成像公式可以得到以下關(guān)系式 d＝S2+S3 (12) 要使公式(12)成立的話，也就是將圖3中的從第一折反射鏡面后的攝像部件鏡頭距離為d的地方配置廣角鏡頭的話，就可以得到圖2中圖像中部所顯示的廣角成像圖；但是本發(fā)明中是將廣角鏡頭配置在第二折反射鏡面上，因此將攝像部件鏡頭與廣角鏡頭的之間的距離d作為一個約束條件，只有通過設(shè)計廣角鏡頭的焦點距離f2來滿足公式(12)的要求； 進一步，對于圖3中將攝像部件鏡頭與廣角鏡頭作為一個組合鏡頭來考慮的話，其焦距f可以由下式來表示 另外，將合成鏡頭的直徑作為D，其放大倍數(shù)可以由下式來表示 為了將合成鏡頭的視場與ODVS的死角部分相吻合，在設(shè)計合成鏡頭時需要滿足以下公式 式中，θ1max是二次反射光線V3與折反射主軸Z的最大夾角；經(jīng)過上述設(shè)計的ODVS拍攝出來的圖像效果圖如圖2所示，從單個ODVS來說消除了原來ODVS的死角部分，并且通過攝像部件鏡頭與廣角鏡頭的組合方式加上第一折反射鏡面以及第二折反射鏡面的設(shè)計，能有效地覆蓋原來的ODVS的死角部分。
更進一步，所述的第一折反射鏡面、第一折反射鏡面上的小孔、攝像機、透明外罩、第二折反射鏡面、廣角鏡頭在同一中心軸線上；攝像機的鏡頭安置在第一折反射鏡面后部的視點位置上，如圖1所示； 所述的透明外罩，主要用于支撐第一折反射鏡面、第二折反射鏡面、廣角鏡頭以及保護第一折反射鏡面和第二折反射鏡面不受到外界粉塵的污染而影響折反射的質(zhì)量。
實施例2 有時為了節(jié)約系統(tǒng)成本，只檢測在監(jiān)控場景內(nèi)是否有被保護財產(chǎn)丟失事件，可以在硬件上省略掉高速快球，在軟件上省略到抓拍的相關(guān)模塊，其余均于實施例1相同。
上述的實施例1和實施例2所產(chǎn)生的發(fā)明效果是通過全方位計算機視覺檢測使得安防監(jiān)控的范圍更寬廣，提供了一種全新的、維護成本低、維護方便、判斷更可靠的、可視化的、智能化的財產(chǎn)保護監(jiān)控途徑方法與裝置。可應(yīng)用于展覽館、博物館、展銷會、商場、庫房重地等開放環(huán)境內(nèi)的財產(chǎn)保護。
權(quán)利要求
1、一種基于全方位計算機視覺的財產(chǎn)保護裝置，包括用于監(jiān)視大范圍全景內(nèi)被保護財產(chǎn)情況的視覺傳感器，其特征在于所述財產(chǎn)保護裝置還包括用于根據(jù)視覺傳感器的信號進行財產(chǎn)保護檢測的微處理器，所述視覺傳感器與所述微處理器連接，所述視覺傳感器為全方位視覺傳感器和高速快球抓拍傳感器，所述全方位視覺傳感器包括支架、透明外罩、一次折反射鏡、二次折反射鏡、攝像部件鏡頭和廣角鏡頭，所述透明外罩、一次折反射鏡和攝像部件鏡頭安裝在支架上，所述一次折反射鏡位于所述透明外罩的上部，所述的透明外罩底部中央開口，所述攝像部件鏡頭位于所述一次折反射鏡的上方，所述二次折反射鏡安裝在所述中央開口內(nèi)，所述二次折反射鏡的中部開小孔，在所述小孔內(nèi)安裝所述廣角鏡頭，所述攝像部件鏡頭、一次折反射鏡、二次折反射鏡和廣角鏡頭的中心軸配置在同一軸心線上；將攝像部件鏡頭的焦點距離作為f1、廣角鏡頭的焦點距離作為f2、攝像部件鏡頭與攝像部件鏡頭的焦點的距離作為S1、從攝像部件鏡頭到第一成像點的焦點距離作為S2、從廣角鏡頭到第一成像點的距離作為S3、從廣角鏡頭到實物點的距離作為S4，根據(jù)鏡頭的成像公式得到以下關(guān)系式
d＝S2+S3(12)
將攝像部件鏡頭與廣角鏡頭的之間的距離d作為一個約束條件，通過設(shè)計廣角鏡頭的焦點距離f2來滿足公式(12)的要求；
將攝像部件鏡頭與廣角鏡頭作為一個組合鏡頭來考慮的話，其焦距f由下式來表示
另外，將合成鏡頭的直徑作為D，其放大倍數(shù)由下式來表示
合成鏡頭滿足以下公式
式(15)中，θ1max是二次反射光線V3與折反射主軸Z的最大夾角；
所述微處理器包括
ODVS圖像獲取模塊，用于獲得監(jiān)控場景的全景視頻圖像，包括有系統(tǒng)初始化單元和圖像獲取單元；
場景內(nèi)對象檢測模塊，用于抽取出監(jiān)控場景內(nèi)的運動對象、遺留物暫時靜止對象和場景靜止對象，包括有
長周期背景建模單元，用于通過采用基于混合高斯分布模型以較小的更新率對背景像素進行建模；
短周期背景建模單元，用于通過采用基于混合高斯分布模型以較大的更新率對背景像素進行建模；
陰影抑制單元，用于有效區(qū)分運動對象和運動陰影，基于HSV顏色空間的檢測方法，在HSV顏色空間中，H分量表示色度，S分量表示飽和度，V分量表示亮度，通過以下決策公式(20)，來判斷某像素點是否屬于陰影
式中，IV(x，y)、IS(x，y)、IH(x，y)與BV(x，y)、BS(x，y)、BH(x，y)分別表示(x，y)處像素新輸入值I(x，y)與背景像素值H、S、V分量；參數(shù)0<α<β<1，α取值要考慮陰影的強度，當背景上投射的陰影越強時，參數(shù)α要取得越小，參數(shù)β用來增強系統(tǒng)的魯棒性；參數(shù)τS小于零，參數(shù)τH的選取則主要根據(jù)場景的情況進行調(diào)試；
對象區(qū)分單元，用于抽取出監(jiān)控場景內(nèi)的運動對象、特殊背景對象和場景靜止對象，與所述的長周期背景建模模塊和所述的短周期背景建模模塊中所得到的處理中間結(jié)果BL和BS進行差減運算，得到長周期前景FL、短周期前景FS，接著根據(jù)FL和FS值之間的關(guān)系，歸納出當前幀內(nèi)某像素的四種不同類型，判定結(jié)果如表1所示
表1
構(gòu)造一個基于統(tǒng)計信息的可能性函數(shù)L判斷該像素(x，y)是否屬于特殊背景對象，其定義為
式中，maxe和k都是正數(shù)；maxe是閾值，當L(x，y)>maxe時，該像素就被判定為屬于特殊背景對象；maxe值是根據(jù)系統(tǒng)檢測的靈敏性和準確性而確定的；k表示了可能性函數(shù)的衰減速率；
根據(jù)表1結(jié)合可能性函數(shù)L的判斷，類型1屬于運動對象，L(x，y)>maxe條件的屬于特殊背景對象，類型4屬于場景靜態(tài)對象；
被保護財產(chǎn)檢測模塊，用于檢測出在場景內(nèi)發(fā)生的財產(chǎn)丟失事件以及與該事件相關(guān)的活動對象、時間、地點，包括有
虛擬封閉重點監(jiān)控區(qū)域定制單元，用于定制虛擬封閉的被保護財產(chǎn)所在的區(qū)域；活動對象接近虛擬封閉重點監(jiān)控區(qū)域檢測單元，用于檢測在虛擬封閉重點監(jiān)控區(qū)域附近或者區(qū)域內(nèi)出現(xiàn)諸如人體的活動對象，首先檢測出是否有活動對象，如果檢測出有活動對象，再計算該活動對象與虛擬封閉重點監(jiān)控區(qū)域外部邊緣的距離，如果計算出來的距離值小于系統(tǒng)所設(shè)定的距離閾值D就判定為活動對象接近虛擬封閉重點監(jiān)控區(qū)域；
特殊背景對象被移出檢測單元，用于檢測在虛擬封閉重點監(jiān)控區(qū)域內(nèi)的特殊背景對象的消失；
被保護財產(chǎn)丟失檢測ID號自動生成單元，用于自動生成一個被保護財產(chǎn)丟失檢測ID號和存放與被保護財產(chǎn)丟失相關(guān)聯(lián)的可疑活動對象特寫圖像文件夾；
可疑活動對象抓拍單元，用于后續(xù)確認被保護財產(chǎn)丟失事件由何人所為，當檢測到有活動對象接近被保護財產(chǎn)所在的區(qū)域，然后又檢測到被保護財產(chǎn)消失情況出現(xiàn)時，從對象區(qū)分單元處理結(jié)果得到活動對象位置信息(Sx，Sy)，然后根據(jù)在所述的系統(tǒng)初始化模塊中所建立的映射表，輸出一個與攜帶者位置信息(Sx，Sy)相對應(yīng)的數(shù)字ID給高速快球抓拍傳感器的控制控制端口，指示高速快球抓拍傳感器轉(zhuǎn)動對準該位置進行拍攝，獲得可疑活動對象特寫圖像，并將其保存在被保護財產(chǎn)丟失檢測ID號命名的文件夾內(nèi)。
2、如權(quán)利要求1所述的基于全方位計算機視覺的財產(chǎn)保護裝置，其特征在于全方位視覺傳感器滿足整個監(jiān)控領(lǐng)域頂視的全景視頻圖像不變形要求，用以下方法來進行設(shè)計
根據(jù)成像原理，一次入射光線V1與折反射主軸Z的夾角為Φ，一次反射光線V2與折反射主軸Z的夾角為θ2，過P1點(t1，F(xiàn)1)的切線與t軸的夾角為σ，法線與Z軸的夾角為ε；二次反射光線V3與折反射主軸Z的夾角為θ1，過P2點(t2，F(xiàn)2)的切線與t軸的夾角為σ，法線與Z軸的夾角為ε1，基于上述關(guān)系可以得到公式(1)
其中
式中，F(xiàn)1是一次折反射鏡面曲線，F(xiàn)2是二次折反射鏡面曲線；
利用三角關(guān)系并進行簡化整理，得到公式(2)、(3)
上式中，
解公式(2)、(3)可以得到公式(4)、(5)；
式中
為F1曲線的微分，
為F2曲線的微分；
在成像平面上的點與水平面上的點之間滿足某種線性關(guān)系，與視點S的距離為C并與Z軸相垂直的水平面L上的任意點P，在成像平面上的有一個對應(yīng)的像素點p，將水平面上的坐標用極坐標表示，這時水平面L上的任意點P(r，z)用以下公式來表示，
r＝C*tanφ，z＝s+C (6)
設(shè)計水平面上具有平均分辨率ODVS，即水平方向不變形的ODVS，在水平面L上的任意點P與Z軸相垂直方向的坐標r和像素點p與Z軸的距離t2/F2(t2)之間要保證具有線性關(guān)系；使得以下公式能成立，
r＝a*f*t2/F2(t2)+b (7)
根據(jù)成像原理有以下關(guān)系成立，入射角用公式(8)表示，
將公式(6)、(8)代入公式(7)并整理，得到在水平方向不變形的條件，用公式(9)表示，
滿足公式(9)的鏡面曲線設(shè)計符合水平方向平均分辨率要求。
3、如權(quán)利要求1或2所述的基于全方位計算機視覺的財產(chǎn)保護裝置，其特征在于在所述活動對象接近虛擬封閉重點監(jiān)控區(qū)域檢測單元中，距離值判定方法是通過活動對象的中心點作為圓心，距離閾值D作為圓半徑作一個圓，如果這個圓與虛擬封閉重點監(jiān)控區(qū)域相交則判定為活動對象接近虛擬封閉重點監(jiān)控區(qū)域。
4、如權(quán)利要求3所述的基于全方位計算機視覺的財產(chǎn)保護裝置，其特征在于在所述被保護財產(chǎn)丟失檢測ID號自動生成單元中，當檢測到在虛擬封閉重點監(jiān)控區(qū)域內(nèi)的特殊背景對象的消失時刻，自動會產(chǎn)生一個被保護財產(chǎn)丟失檢測ID號并同時生成一個以該被保護財產(chǎn)丟失檢測ID號命名的文件夾，用于存放可疑活動對象的特寫圖像和被保護財產(chǎn)丟失事件的視頻圖像。
5、如權(quán)利要求4所述的基于全方位計算機視覺的財產(chǎn)保護裝置，其特征在于在所述系統(tǒng)初始化單元中，通過建立全方位視覺傳感器圖像中的坐標與高速快球抓拍傳感器轉(zhuǎn)動角度信息之間的映射關(guān)系，即通過預(yù)置點定制法將全景視頻圖像分割成一個個小區(qū)域；然后將每個小區(qū)域與控制高速快球的抓拍點之間建立一種映射關(guān)系；抓拍某一個小區(qū)域的特寫圖像時只要給高速快球的控制端口一個對應(yīng)的數(shù)字ID，高速快球就能自動地轉(zhuǎn)到到該小區(qū)域進行抓拍，系統(tǒng)初始化時讀取這張映射表。
全文摘要
一種基于全方位計算機視覺的財產(chǎn)保護裝置，包括用于監(jiān)視大范圍全景內(nèi)被保護財產(chǎn)情況的視覺傳感器和用于進行財產(chǎn)保護檢測的微處理器，視覺傳感器為全方位視覺傳感器和高速快球抓拍傳感器，微處理器包括ODVS圖像獲取模塊，場景內(nèi)對象檢測模塊，用于抽取出監(jiān)控場景內(nèi)的運動對象、特殊背景對象和場景靜止對象，被保護財產(chǎn)檢測模塊，用于檢測出發(fā)生的財產(chǎn)丟失事件以及與該事件的活動對象、時間、地點，包括包括虛擬封閉重點監(jiān)控區(qū)域定制單元、活動對象接近虛擬封閉重點監(jiān)控區(qū)域檢測單元、特殊背景對象被移出檢測單元、被保護財產(chǎn)丟失檢測ID號自動生成單元和可疑活動對象抓拍單元。本發(fā)明具有全方位視覺、可靠性好、維護方便、智能化程度高。
文檔編號H04N7/18GK101533548SQ20091009751
公開日2009年9月16日 申請日期2009年4月3日 優(yōu)先權(quán)日2009年4月3日
發(fā)明者湯一平, 龐成俊 申請人:浙江工業(yè)大學, 湯一平