專利名稱：球型攝影機自動追蹤的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及ー種球型攝影機自動追蹤的方法,尤指ー種利用運動向量(motionvector)來協(xié)助作前景物的切割方式，進而能降低硬件的負擔，讓球型攝影機的運行更為流暢，并具有優(yōu)異的追蹤效果，而適用于監(jiān)視器、攝錄機、球型攝影機或類似裝置。
背景技術(shù)：
目前監(jiān)控系統(tǒng)相當多祥化，許多室內(nèi)或室外的影像監(jiān)控系統(tǒng)在現(xiàn)有的固定式攝影機無法涵蓋所有監(jiān)視范圍的限制下多使用環(huán)場攝影機，而環(huán)場攝影機其監(jiān)控的范圍雖然比傳統(tǒng)固定式攝影機大上許多，但是隨著監(jiān)控范圍的變大，在影像品質(zhì)控制上的困難也隨的増加。其困難來自于環(huán)場攝影機的鏡頭無法放大或縮小，對于監(jiān)控畫面中的移動物體經(jīng)常 無法正確的擷取，導致影像可能過小或是模糊不清。因而進ー步發(fā)展出具有旋轉(zhuǎn)變焦式PTZ (Pan-Tilt-Zoom)攝影機，所謂的PTZ是表示攝影機的鏡頭可以進行左右轉(zhuǎn)動(Pan)、上下傾斜(Tilt)與改變焦距、放大(Zoom)等不同功能，通過PTZ攝影機不僅可以隨時改變拍攝的角度與所涵蓋的范圍，更能通過焦距的改變調(diào)整影像的大小與清晰程度，相較于環(huán)場攝影機可以獲得更好的監(jiān)控效果與品質(zhì)的維持。而在現(xiàn)有的目標物體追蹤技術(shù)中，最傳統(tǒng)且研發(fā)歷程也最長的是自動目標物體特征追蹤技術(shù)(automatic object feature tracking technique),其主要利用特征抽取(feature extraction)及特征比對(feature matching)的方法,從目標物體中擷取出影像特征，再根據(jù)影像特征鎖定并追蹤目標物體，然而在目標物體的移動中，監(jiān)視區(qū)域的背景通常也跟著變化，而目標物體轉(zhuǎn)動吋，影像特征也會變化，加上PTZ攝影機持續(xù)掃瞄動作，種種的上述因素皆會造成特征比對方法在實際操作上的困難度。而另ー種現(xiàn)有的目標物體追蹤技術(shù)，運用兩部攝影機，利用外極對應(yīng)法則(epipolar rule),根據(jù)相對應(yīng)的成像面的特征點(feature points)以求出投影基本矩陣(projection fundamental matrix),用以鎖定并追蹤目標物體,但當其中一部攝影機執(zhí)行掃描而轉(zhuǎn)動時，對應(yīng)的成像面也跟著改變，兩部攝影機的架設(shè)對應(yīng)關(guān)系已經(jīng)改變，要利用外極對應(yīng)法則來計算出精準的特征點對應(yīng)，并不容易。再者，從關(guān)于追蹤(tracking)的演算法發(fā)展歷史來看，也有許多有效的方法被提出，而其中的CamShift演算法是以顏色機率分布來追蹤，憑借計算出色彩機率分布并不斷的迭代收斂后，以找出該目標的中心及尺寸，進而找出欲追蹤的目標物，但其缺點為如果遇到相近顔色的物體，例如追蹤中的人物，顔色為紅色，而椅子的顏色剛好是紅色，當人走到椅子附近，則CamShift演算法可能會跳至顏色相近的椅子上，造成追蹤的錯誤，而且CamShift演算法因需計算色彩機率分布，故需要大量的資料處理及運算，因此需要額外的信號處理集成電路(DSP，Digital Signal Processing數(shù)字信號處理)來輔助或是用高效能的電腦來協(xié)助運算。因此，本發(fā)明人有鑒于上述缺點，期能提出通過利用運動向量(motionvector)來協(xié)助做前景物的切割方式的球型攝影機自動追蹤的方法，以降低硬件的負擔，讓攝影機運行更為流暢，乃潛心研思、設(shè)計組制，以提供消費大眾使用。

發(fā)明內(nèi)容
本發(fā)明的主要目的在提供ー種球型攝影機自動追蹤的方法，通過利用運動向量(motion vector)來協(xié)助作前景 物的切割方式,使能快速發(fā)現(xiàn)欲追蹤的目標物,進而能控制球型攝影機的方向、速度以及焦距來自動跟拍目標物，使具有優(yōu)異的目標物自動追蹤的效果，進而増加整體的實用性及優(yōu)異性。本發(fā)明的次一目的在提供ー種球型攝影機自動追蹤的方法，通過場景圖像ニ值化，再從場景圖像ニ值化的雛型中分割出具有運動向量的連通物件(connectedcomponents),且憑借影像分析來排除掉雜訊，以形成欲追蹤的目標物，進而增加整體的便利性及快速性。為達上述的目的，本發(fā)明其主要步驟包括取得ー張影像通過PTZ鏡頭所監(jiān)視的畫面中擷取出一張靜態(tài)影像；取得影像的運動向量將影像切割成多個巨集區(qū)塊(macroblock),并由影像中姆一個巨集區(qū)塊(macroblock)取得一個運動向量(motionvector);判斷目前球型攝影機的運動狀態(tài)當球型攝影機為移動狀態(tài)時，能配合球型攝影機目前的運動方向及速度等資訊，將移動中場景的運動向量還原；場景圖像進行ニ值化當運動向量還原后，即進行場景圖像ニ值化，以能看出場景中物件的雛型；分割運動向量中的連通物件從場景圖像ニ值化的雛型中分割出具有運動向量的連通物件(connectedcomponents);分析并追蹤所分割出的連通物件再將連通物件(connected components)以影像分析來排除掉雜訊，以形成欲追蹤的目標物；以及目標物追蹤當目標物成為追蹤目標后，即通過控制球型攝影機的方向、速度及焦距來自動跟拍目標物，以利進行目標物的追蹤。本發(fā)明的具有如下的優(yōu)點I、該欲追蹤的目標物即使突然加速、減速、被障礙物遮蔽或是跟另一物件交錯，都可以有很優(yōu)異的追蹤效果。2、本發(fā)明的方法適合實現(xiàn)在硬件效能較差的嵌入式平臺中，且不需要額外的信號處理集成電路(DSP)輔助，就能讓球型攝影機運行的更流暢。本發(fā)明的其他特點及具體實施例，可于以下列配合附圖的詳細說明中，進ー步了解。


圖I為本發(fā)明的主要步驟流程示意圖；圖2為本發(fā)明的追蹤目標步驟流程示意圖；圖3為本發(fā)明的實施狀態(tài)示意圖。附圖標記說明10_球型攝影機；11_PTZ鏡頭；20_目標物；30_場景影像；步驟S100 :取得ー張影像；步驟SllO :取得影像的運動向量；步驟S120 :判斷目前球型攝影機的運動狀態(tài)；
步驟S130 :場景圖像進行ニ值化；步驟S140 :分割運動向量中的連通物件；步驟S150 :分析并追蹤所分割出的連通物件；步驟S160 :目標物追蹤；步驟S161 :判斷目標物是否為追蹤目標；步驟S1611 :判斷失去追蹤目標時間是否超過臨界值；步驟S162 :判斷追蹤目標于畫面中大??；步驟S163 :判斷追蹤目標是否接近畫面邊緣。
具體實施例方式請參考圖I至圖3所示，為本發(fā)明球型攝影機自動追蹤的方法的流程示意圖及實施狀態(tài)示意圖。本發(fā)明追蹤的方法主要步驟包括步驟SlOO取得ー張影像通過PTZ鏡頭11所監(jiān)視的畫面中擷取出一張靜態(tài)影像；步驟SllO取得影像的運動向量將影像切割成多個巨集區(qū)塊(macroblock)，并由影像中姆一個巨集區(qū)塊(macroblock)取得一個運動向量(motion vector)；步驟S120判斷目前球型攝影機的運動狀態(tài)當球型攝影機10為移動狀態(tài)時，能配合球型攝影機10目前的運動方向及速度等資訊，將移動中場景的運動向量還原；步驟S130場景圖像進行ニ值化當運動向量還原后，即進行場景圖像ニ值化，以能看出場景中物件的雛型；步驟S140分割運動向量中的連通物件從場景圖像ニ值化的雛型中分割出具有運動向量的連通物件(connected components)；步驟S150分析并追蹤所分割出的連通物件再將連通物件(connectedcomponents)以影像分析來排除掉雜訊，以形成欲追蹤的目標物20 ；步驟S160目標物追蹤當目標物20成為追蹤目標后，即透過控制球型攝影機10的方向、速度及焦距來自動跟拍目標物20，以利進行目標物20的追蹤。其中該步驟S160目標物追蹤進一歩含有下列步驟步驟S161判斷目標物是否為追蹤目標確認目標物20為欲追蹤目標，并開始進行追蹤；步驟S162判斷追蹤目標于畫面中大小當追蹤目標于畫面中太大或太小時，即調(diào)整球型攝影機10的倍率以能符合畫面的視窗；步驟S163判斷追蹤目標是否接近畫面邊緣當追蹤目標太接近畫面邊緣時，即調(diào)整球型攝影機10速度來跟隨追蹤目標；其中當步驟S161判斷目標物不是追蹤目標時，即進行下ー步驟步驟S1611判斷失去追蹤目標時間是否超過臨界值當超過臨界值時即追蹤目標遺失而結(jié)束追蹤，反之未超過臨界值時，當追蹤目標出現(xiàn)時即降低球型攝影機10速度來跟隨追蹤目標移動；而該影像分析進ー步包含該目標物20的位置(position)、大小(size)、行進方向(direction)、色彩(color)或紋理(texture)等分析，以能更提升目標物20判斷的精準；另外，該姆ー個巨集區(qū)塊(macroblock)為NxN像素點，且N為8、16、32或其他數(shù)字；再者，該運動向量進ー步包含有位置向量、位移向量、速度向量及加速度向量；另外，該步驟S120判斷目前球型攝影機的運動狀態(tài)進ー步為靜止狀態(tài)時，即進行下ー步驟S130的場景圖像進行ニ值化。請參考圖I至圖3所示，為本發(fā)明球型攝影機自動追蹤的方法的流程示意圖及實施狀態(tài)示意圖。本發(fā)明最佳操作原理為應(yīng)用在球型攝影機10自動追蹤移動物體(本發(fā)明的目標物20為汽車)上，經(jīng)由PTZ鏡頭11快速移動以攝錄場景影像30，而通過本發(fā)明的方法的PTZ鏡頭11于一秒內(nèi)可以攝錄出Y張靜態(tài)影像來分析及追蹤，所以一張靜態(tài)影像只需不到1/Y秒內(nèi)(Y可為15或其他數(shù)字)就可以完成所有步驟流程(如圖I所示)，所以在步驟SlOO中取得ー張影像通過PTZ鏡頭10所監(jiān)視的畫面中擷取出一張靜態(tài)影像；在將攝錄的場景影像30投射在影像感應(yīng)器上，而該影像感應(yīng)器為電荷耦合元件感應(yīng)器(CCD，Charge-coupled Device)或互補式金氧半導體影像感應(yīng)器(CMOS, ComplementaryMetalOxide Semiconductor)其中ー種，以從影像感應(yīng)器中擷取出ー張張的靜態(tài)影像以能進行下一步驟的分析及追蹤，而在步驟SllO取得影像的運動向量將影像切割成多個巨集區(qū)塊(macroblock),并由影像中姆一個巨集區(qū)塊(macroblock)取得一個運動向量(motionvector);當從影像感應(yīng)器中擷取出ー張的靜態(tài)影像后即將影像切割成多個巨集區(qū)塊(macroblock),其中該姆一個巨集區(qū)塊(macroblock)為NxN像素點，且N為8、16、32或其他數(shù)字，再從巨集區(qū)塊(macroblock)中取得運動向量,該運動向量包含X分量及Y分量，而每ー個分量都有正負之分，且運動向量包含有位置向量、位移向量、速度向量及加速度向 量，其中位置向量由坐標原點指向質(zhì)點位置(X，y)的向量，F(xiàn) =ゴ+アフ、大小ドI = ^x2 + V2、方向為與X軸夾角P =而位移向量為位置向量的變化量，由初位置指向末位置
ズ，
的向量，Ar = r2 - ^ = (x2 -X1)! + ( V2 -y^)] ^ Axi +Aアフ，再者，該速度向量又分有平均速
丄 _Ar Ax-Ay--マ.一マ ^、士士 ^Ar ax - , av -マ，t
度=スpi" +TtJ+ V，及 _ 時速度7 +7 u +V,
而加速度向量又分有平均加速度フ=3ブ+ろ7及瞬時加速度
Av 一-一
5 = "^T = + ayj因此通過巨集區(qū)塊(macroblock)中的運動向量可以得知場景影像
30中哪邊有物體在運動，并估算出其運動的方向及速度，以使能判斷出場景影像30中是否有物體在移動，而能進行下一步驟，而步驟S120判斷目前球型攝影機的運動狀態(tài)當球型攝影機10為移動狀態(tài)時，能配合球型攝影機10目前的運動方向及速度等資訊，將移動中場景的運動向量還原；由于球型攝影機10經(jīng)常快速移動PTZ鏡頭11，會讓影像的運動向量變成無用的資訊，于是配合球型攝影機10目前的運動(移動)方向及速度(轉(zhuǎn)速)等資訊，以使能將場景影像30中的運動向量還原來判斷出物體真正的運動向量，其中該步驟S120判斷目前球型攝影機的運動狀態(tài)如為靜止狀態(tài)時，即能判斷出場景影像30中的物體是在移動中，且能算出其運動的方向及速度，因此當目前球型攝影機10的運動狀態(tài)判斷出后即能進行下ー步驟，步驟S130場景圖像進行ニ值化當運動向量還原后，即進行場景圖像ニ值化，以能看出場景中物件的雛型；當從姆ー巨集區(qū)塊(macroblock)中的運動向量判斷出場景影像30中哪邊有物體在運動，并估算出其運動的方向及速度后，即利用灰階影像ニ值化(黑與白)來將場景影像中形成物件(Object)圖像和背景(Background)圖像的顯現(xiàn)，其場景圖像ニ值化時把大于某個臨界灰度值的像素灰度設(shè)為灰度極大值，把小于這個值的像素灰度設(shè)為灰度極小值，從而實現(xiàn)ニ值化，而這個工作主要的任務(wù)是正確地找出物件(Object)的邊緣和線條，以便于看出場景中物件的雛型，因此當物件的雛型顯現(xiàn)時即能進行下ー步驟，步驟S140分割運動向量中的連通物件從場景圖像ニ值化的雛型中分割出具有運動向量的連通物件(connectedcomponents);當姆一巨集區(qū)塊(macroblock)經(jīng)由場景圖像ニ值化后，將具有運動向量的物件雛型顯現(xiàn)出來，進而能進行分割出具有運動向量的連通物件(connected components),以取得連通物件的外貌及型態(tài),便于判斷連通物件是否為欲追蹤的目標物20,因此當具有運動向量的連通物件(connectedcomponents)分割下來后即能進行下一步驟，步驟S150分析并追蹤所分割出的連通物件再將連通物件(connected components)以影像分析來排除掉雜訊，以形成欲追蹤的目標物20 ;然而分割出連通物件因包含有大量的雜訊，使得分割出來的連通物件不夠確實及可靠，而容易造成欲追蹤的目標物20追蹤錯誤的現(xiàn)象，故需再通過影像分析來排除掉雜訊，其中該影像分析包含有該目標物20的位置(position)、大小(size)、行進方向(direction)、色彩(color)或紋理(texture)等分析,使將雜訊濾掉而能呈現(xiàn)出較具確實及可靠的連通物件,進而能更提升目標物20判斷的精準，以便于判斷出是否為欲追蹤的目標物20，因此當影像分析完成后即進行下ー步驟，步驟S160目標物追蹤當目標物20成為追蹤目標后，即通過控制球型攝影機10的方向、速度及焦距來自動跟拍目標物20，以利進行目標物20的追蹤；而當連通物件經(jīng)將雜訊濾掉成為一目標物20后，即進行分析是否為欲追蹤的目標物20，因此當分 析后其欲追蹤的目標物20確認為追蹤目標吋，即能立即通過控制球型攝影機10的方向、速度及焦距來自動跟拍該追蹤目標，以利進行目標物20的自動追蹤。而當欲追蹤的目標物20確認為追蹤目標時即能進行下列步驟(如圖2所示)，步驟S161判斷目標物是否為追蹤目標確認目標物20為欲追蹤目標，并開始進行追蹤；經(jīng)確認目標物20為欲追蹤目標后，即能立即通過控制球型攝影機10的方向、速度及焦距來自動跟拍該追蹤目標，而當步驟S161判斷目標物20不是追蹤目標吋，即進行另ー步驟，步驟S1611判斷失去追蹤目標時間是否超過臨界值當超過臨界值時即追蹤目標遺失而結(jié)束追蹤，故一般臨界值的時間大約都設(shè)為3至5秒，所以一旦超過臨界值的時間該追蹤目標極有可能已不在球型攝影機10所能攝錄的范圍內(nèi)，或是被障礙物所遮蔽，或是跟物件交錯等即喪失了追蹤目標，而結(jié)束了本次追蹤目標的追蹤，以便重新進行新追蹤目標的追蹤，反之，未超過所設(shè)定臨界值時間時，其追蹤目標出現(xiàn)于球型攝影機10所能攝錄的范圍內(nèi)時，立即以降低球型攝影機10的速度來跟隨追蹤目標移動，使球型攝影機10能攝錄到該追蹤目標，而當追蹤目標出現(xiàn)于球型攝影機10的PTZ鏡頭11中(如圖3所示)即進行下ー步驟，步驟S162判斷追蹤目標于畫面中大小當追蹤目標于畫面中太大或太小吋，即調(diào)整球型攝影機10的倍率以能符合畫面的視窗；經(jīng)由目標物20成為追蹤目標后，該PTZ鏡頭11即會跟著追蹤目標的方位、位移、速度來移動及調(diào)整，而當發(fā)現(xiàn)追蹤目標于畫面中太大時，該球型攝影機10即能自動調(diào)整縮小倍率，以便追蹤目標能位于PTZ鏡頭11的正中央，反之，當發(fā)現(xiàn)追蹤目標于畫面中太小吋，該球型攝影機10亦能自動調(diào)整放大倍率，以便追蹤目標能位于PTZ鏡頭11的正中央，使追蹤目標不管遠或近，其球型攝影機10的PTZ鏡頭11均能追蹤到該追蹤目標，而當追蹤目標位于PTZ鏡頭11中時即進行下一步驟，步驟S163判斷追蹤目標是否接近畫面邊緣當追蹤目標太接近畫面邊緣吋，即調(diào)整球型攝影機10速度來跟隨追蹤目標；而球型攝影機10的PTZ鏡頭11在攝錄追蹤目標時，有時因為追蹤目標本身的速度忽快忽慢，以使PTZ鏡頭11在追蹤過程中其追蹤目標會因太接近畫面邊緣而快要跑出PTZ鏡頭11タト，此時需通過調(diào)整加快球型攝影機10的速度，使PTZ鏡頭11能加快往追蹤目標方向移動，以能跟上該追蹤目標，反之，如追蹤目標沒有接近畫面邊緣快的話，只要微調(diào)球型攝影機10的速度，使PTZ鏡頭11能跟隨追蹤目標方向移動，一直到追蹤目標已不在球型攝影機10所能攝錄的范圍內(nèi)，而喪失了追蹤目標，進而結(jié)束本次追蹤目標的追蹤。由以上可知，本發(fā)明的追蹤的方法，具有如下的優(yōu)點I、該欲追蹤的目標物即使突然加速、減速、被障礙物遮蔽或是跟另一物件交錯，都可以有很優(yōu)異的追蹤效果者。2、本發(fā)明的方法適合實現(xiàn)在硬件效能較差的嵌入式平臺中，且不需要額外的信號處理集成電路(DSP)輔助，就能讓球型攝影機運行的更流暢者。通過以上詳細說明，可使熟知本項技藝者明了本發(fā)明的確可達成前述目的，已符合專利法的規(guī)定，爰提出專利申請。惟以上所述者，僅為本發(fā)明的較佳實施例而已，當不能以此限定本發(fā)明實施的范 圍；故，凡依本發(fā)明申請專利范圍及說明書內(nèi)容所作的簡單的等效變化與修飾，皆應(yīng)仍屬本發(fā)明專利涵蓋的范圍內(nèi)。
權(quán)利要求
1.ー種球型攝影機自動追蹤的方法，其特征在干，該追蹤的方法主要步驟包括 取得ー張影像從PTZ鏡頭所監(jiān)視的畫面中擷取出一張靜態(tài)影像； 取得影像的運動向量將影像切割成多個巨集區(qū)塊，并由影像中每ー個巨集區(qū)塊取得一個運動向量； 判斷目前球型攝影機的運動狀態(tài)當球型攝影機為移動狀態(tài)時，能配合球型攝影機目前的運動方向及速度，將移動中場景的運動向量還原； 場景圖像進行ニ值化當運動向量還原后，即進行場景圖像ニ值化，以能看出場景中物件的雛型； 分割運動向量中的連通物件從場景圖像ニ值化的雛型中分割出具有運動向量的連通物件； 分析并追蹤所分割出的連通物件再將連通物件以影像分析來排除掉雜訊，以形成欲追蹤的目標物；以及 目標物追蹤當目標物成為追蹤目標后，即通過控制球型攝影機的方向、速度及焦距來自動跟拍目標物。
2.如權(quán)利要求I所述的球型攝影機自動追蹤的方法，其特征在干，該目標物追蹤進ー步含有下列步驟 判斷目標物是否為追蹤目標確認目標物為欲追蹤目標，并開始進行追蹤； 判斷追蹤目標于畫面中大小當追蹤目標于畫面中太大或太小時，即調(diào)整球型攝影機的倍率以能符合畫面的視窗；以及 判斷追蹤目標是否接近畫面邊緣當追蹤目標接近畫面邊緣時，即調(diào)整球型攝影機速度來跟隨追蹤目標。
3.如權(quán)利要求2所述的球型攝影機自動追蹤的方法，其特征在干，當判斷目標物不是追蹤目標時，即進行下一步驟判斷失去追蹤目標時間是否超過臨界值當超過臨界值時即追蹤目標遺失而結(jié)束追蹤，反之未超過臨界值時，當追蹤目標出現(xiàn)時即降低球型攝影機速度來跟隨追蹤目標移動。
4.如權(quán)利要求I所述的球型攝影機自動追蹤的方法，其特征在于，該影像分析進ー步包含該目標物的位置、大小、行進方向、色彩或紋理分析。
5.如權(quán)利要求I所述的球型攝影機自動追蹤的方法，其特征在于，該每ー個巨集區(qū)塊為NxN像素點，且N為8、16或32。
6.如權(quán)利要求I所述的球型攝影機自動追蹤的方法，其特征在干，該運動向量進ー步包含有位置向量、位移向量、速度向量及加速度向量。
7.如權(quán)利要求I所述的球型攝影機自動追蹤的方法，其特征在于，該判斷目前球型攝影機的運動狀態(tài)進ー步為靜止狀態(tài)時，即進行下ー步驟的場景圖像進行ニ值化。
全文摘要
本發(fā)明提供了一種球型攝影機自動追蹤的方法，其包括步驟取得一張影像；取得影像的運動向量；判斷目前球型攝影機的運動狀態(tài)；場景圖像進行二值化；分割運動向量中的連通物件；分析并追蹤所分割出的連通物件；以及目標物追蹤。本發(fā)明利用運動向量來協(xié)助做前景物的切割方式，以巨集區(qū)塊大小為NxN像素點來說，其所需處理的像素點只有原始圖像的1/(NxN)，且在自動追蹤的應(yīng)用上，一次只需追蹤一個目標物，此方法已可達到需求，故可以大量降低硬件負擔，適合實現(xiàn)在硬件效能較差的嵌入式平臺中，且不需要額外的信號處理集成電路輔助，就能讓球型攝影機運行的更流暢，即使目標物突然加速、減速、被障礙物遮蔽或是跟另一物件交錯，都可以有很優(yōu)異的追蹤效果。
文檔編號G06T7/20GK102737384SQ20111008766
公開日2012年10月17日 申請日期2011年4月8日 優(yōu)先權(quán)日2011年4月8日
發(fā)明者許諾白 申請人:慧友電子股份有限公司