一種基于tof 3d攝像機的智能跟蹤系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于TOF3D攝像機的智能跟蹤系統(tǒng)，包括定位系統(tǒng)、處理系統(tǒng)和拍攝系統(tǒng)，定位系統(tǒng)采用了基于TOF的3D攝像機，處理系統(tǒng)為主機服務(wù)器；并依據(jù)該設(shè)備，制定了兩種方案，一種為通過3D攝像機獲取深度圖像，經(jīng)過分析選定跟蹤目標后，對目標人物的坐標進行轉(zhuǎn)換及距離計算，再由拍攝攝像機進行拍攝，另一種即在通過3D攝像機獲取深度圖像，并進行分析后，通過給人物標定ID，根據(jù)ID鎖定目標，并存儲軌跡，經(jīng)過一系列的處理，實時地、準確地將信息傳遞給主機服務(wù)器，可以實現(xiàn)對目標的跟蹤，并且可以得到目標的活動軌跡，這樣的方式不受外界因素的影響，且為全自動跟蹤，精度高，操作簡單方便。
【專利說明】
-種基于TOF 3D攝像機的智能跟蹤系統(tǒng)
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及一種錄播跟蹤技術(shù)領(lǐng)域，尤其設(shè)及一種基于TOF 3時暴像機的智能跟蹤 系統(tǒng)。
【背景技術(shù)】
[0002] 隨著新課改的深入，教師課堂教學越來越追求可視化，學生課堂學習要求探究合 作化，然而運些要求的實現(xiàn)，很大程度上要借助于現(xiàn)代化的信息技術(shù)設(shè)施，特別是課堂教學 的可視化。運種課堂教學的可視化，一般通過錄像來實現(xiàn)，從而促成全自動錄播跟蹤系統(tǒng)技 術(shù)的發(fā)展。
[0003] 目前市場上的錄播跟蹤系統(tǒng)基本上有巧巾控制原理:超聲波跟蹤切換技術(shù)、紅外跟 蹤技術(shù)和圖像識別分析技術(shù)。超聲波定位模式的缺點是當老師離開講臺到臺下和學生進行 互動時，攝像機就會失去跟蹤目標;學生走上講臺和老師進行互動時，跟蹤系統(tǒng)無法同時獲 取兩個目標，造成跟蹤錯誤。紅外跟蹤定位模式的問題是外界射入的光線會導(dǎo)致跟蹤定位 系統(tǒng)失靈，其他遮擋物，如講臺上放置的水杯、粉筆盒等也會導(dǎo)致定位錯誤。圖像識別跟蹤 方法的缺點是容易受到周圍環(huán)境的影響，如講臺上如果放著一張凳子，就可能會造成跟蹤 不準確，使跟蹤系統(tǒng)誤判;容易受到觸摸屏、投影機的光線干擾，導(dǎo)致跟蹤不準確;對光線的 要求較高，容易受日光管或者陽光的影響，其影子容易造成跟蹤產(chǎn)生多目標的誤判，導(dǎo)致跟 蹤不準確;學生跟蹤尤其復(fù)雜，學生的高度和行為都不一樣，圖像算法沒有辦法明確區(qū)分運 些細節(jié)，導(dǎo)致跟蹤不準確。

【發(fā)明內(nèi)容】

[0004] 針對上述技術(shù)中存在的不足之處，本發(fā)明提供本發(fā)明提供一種基于T0F3時暴像機 的智能跟蹤系統(tǒng)，包括
[0005] 定位系統(tǒng)：利用安裝在拍攝區(qū)域的中間位置上方的基于T0F3時暴像機拍攝區(qū)域內(nèi) 的深度圖像，采用骨骼跟蹤法，識別動作達到閥值的目標人物，并確定該目標人物與3時暴像 機之間的距離，并將坐標信息發(fā)送至處理系統(tǒng)；
[0006] 處理系統(tǒng)：由主機服務(wù)器接收目標人物的坐標信息，判斷所屬區(qū)域，同時進行坐標 轉(zhuǎn)換，將目標人物的位置信息傳遞給所屬區(qū)域的拍攝攝像機；
[0007] 拍攝系統(tǒng)：由固定在拍攝區(qū)域的不同的拍攝攝像機組成，位于所屬區(qū)域的拍攝攝 像機接收到主機服務(wù)器的信號，對目標人物進行拍攝，并將拍攝的圖像回傳至主機服務(wù)器 中保存W供遠程客戶端讀取圖像信息。
[0008] 其中，所述定位系統(tǒng)識別目標人物包括：
[0009] 深度圖像獲?。河?時暴像機獲取拍攝區(qū)域內(nèi)所有目標人物的深度圖像，并確定各 個目標人物與3時暴像機之間的距離；
[0010] 深度數(shù)據(jù)分析:3時暴像機內(nèi)部控制系統(tǒng)采用骨骼跟蹤法，對目標人物的深度圖像 進行數(shù)據(jù)分析，得到人體骨架模型；
[0011] 選定跟蹤目標:選定具有行為特征的目標進行跟蹤，設(shè)定具有起立、走動、舉手的 行為作為跟蹤的目標，并將坐標信息傳送到處理系統(tǒng)中。
[0012] 其中，所述主機服務(wù)器根據(jù)坐標信息判斷出目標人物所屬區(qū)域，W3時暴像機為原 點0,通過空間幾何轉(zhuǎn)換，將接收到的坐標轉(zhuǎn)換成W拍攝攝像機為原點0'的坐標，并計算出 距離，所獲得的坐標信息傳送給拍攝系統(tǒng)。
[0013] 其中，所述拍攝攝像機接收到主機服務(wù)器的信號，自動將畫面縮放到合適的比例， 對目標人物進行特寫攝像，圖像數(shù)據(jù)實時傳送到主機服務(wù)器中。
[0014] 其中，所述人體骨架模型的獲取步驟為：
[0015] 提取特征:從深度圖像中將人體從背景環(huán)境中區(qū)分出來，并逐點掃描，將人體的各 個部位識別出來；
[0016] 構(gòu)造人體骨架:進一步識別人體的關(guān)節(jié)點，根據(jù)骨骼跟蹤的關(guān)節(jié)點生成一幅骨架 系統(tǒng)W用來判斷人體的實際位置；
[0017] 數(shù)據(jù)濾波:進行噪聲濾除，判斷人體表面特征點是噪聲還是真實存在，并得到人的 頭部、肩部、手臂的部位；
[0018] 數(shù)據(jù)篩選:通過對人體關(guān)節(jié)角度的計算，采用空間向量法，針對具有起立、走動和 舉手的目標人物進行跟蹤。
[0019] 本發(fā)明還提供一種基于T0F3時暴像機的智能跟蹤系統(tǒng)，
[0020] 定位系統(tǒng):采用安裝在拍攝區(qū)域的中間位置上方的基于T0P3時暴像機拍攝區(qū)域內(nèi) 的深度圖像，采用骨骼跟蹤法，構(gòu)造出區(qū)域內(nèi)所有人物目標的人體模型，同時對每個目標人 物的行為進行分析，所述3時暴像機內(nèi)保存有所述拍攝區(qū)域內(nèi)每位真實人物的標定ID號，所 述3時暴像機將目標人物的ID號W及行為分析信息發(fā)送到處理系統(tǒng)。
[0021 ]處理系統(tǒng)：由主機服務(wù)器接收目標人物的行為分析信息，并保存目標人物的行為 軌跡，W供遠程客戶端讀取查詢。
[0022] 其中，所述定位系統(tǒng)識別目標人物包括：
[0023] 深度圖像獲?。河?時暴像機獲取拍攝區(qū)域內(nèi)所有目標人物的深度圖像，并確定各 個目標人物與3時暴像機之間的距離；
[0024] 深度數(shù)據(jù)分析:3時暴像機內(nèi)部控制系統(tǒng)采用骨骼跟蹤法，對目標人物的深度圖像 進行數(shù)據(jù)分析，得到人體骨架模型，同時對每個目標人物的行為進行分析；
[0025] 目標標定:根據(jù)目標人物的特征，匹配所述目標人物的ID號，將運個ID號和目標人 物對應(yīng)的行為軌跡信息傳送到處理系統(tǒng)的主機服務(wù)器中。
[0026] 其中，所述真實人物的ID號的人物特征包括該人物的人體輪廓、=維位置及其活 動軌跡的信息。
[0027] 其中，所述主機服務(wù)器與遠程客戶端無線連接，遠程客戶端通過ID號查詢該ID號 被拍攝的信息。
[0028] 本發(fā)明的有益效果是:與現(xiàn)有技術(shù)相比，本發(fā)明提供的基于T0F3時暴像機的智能跟 蹤系統(tǒng)，通過基于TOF技術(shù)的3時暴像機，且3時暴像機與拍攝攝像機結(jié)合起來，由3時暴像機進 行定位跟蹤，傳遞定位信號給主機服務(wù)器，主機服務(wù)器將定位信號轉(zhuǎn)化成拍攝攝像機的坐 標，驅(qū)動相應(yīng)區(qū)域的拍攝攝像機進行拍攝，拍攝攝像機依據(jù)物體的距離放大到合適的倍數(shù)， 并對目標進行快速定位拍攝，各個攝像機分工合作，不受外界射入的光線W及燈光的影響， 大大提高了拍攝的精準度，且多個攝像機同時工作，同時拍攝圖像，并統(tǒng)一進行合成處理， 拍攝范圍更大。3時暴像機利用人體骨骼跟蹤法對目標人物進行行為分析，極大地保護了個 人隱私。
【附圖說明】
[0029] 圖1為本發(fā)明的第一實施例的各系統(tǒng)設(shè)備關(guān)系圖；
[0030] 圖2為本發(fā)明的第一實施例的步驟示意圖；
[0031 ]圖3為本發(fā)明的第一實施例工作流程示意圖；
[0032] 圖4為本發(fā)明的實施例中骨架系統(tǒng)關(guān)節(jié)點結(jié)構(gòu)示意圖；
[0033] 圖5為本發(fā)明的實施例中的空間坐標系示意圖；
[0034] 圖6為本發(fā)明的第一實施例的幾何空間坐標轉(zhuǎn)換圖；
[0035] 圖7為本發(fā)明的第二實施例的各系統(tǒng)設(shè)備關(guān)系圖；
[0036] 圖8為本發(fā)明的第二實施例的步驟示意圖；
[0037] 圖9為本發(fā)明的第二實施例的工作流程示意圖。
[0038] 主要元件符號說明如下：
[0039] 1、3D攝像機2、主機服務(wù)器
[0040] 3、拍攝攝像機。
【具體實施方式】
[0041] 鑒于現(xiàn)有技術(shù)存在的問題，我們提出一種新的應(yīng)用，采用基于T0F(Time Of flight的簡寫，直譯為飛行時間的意思)技術(shù)開發(fā)的3時暴像機與拍攝攝像機搭配，在教室、 培訓室中應(yīng)用。TOF 3時暴像機采用主動光探測方式，利用入射光信號與反射光信號的變化 來進行距離測量，TOF的照射單元都是對光進行高頻調(diào)制之后再進行發(fā)射，比如采用Lm)或 激光二極管發(fā)射的脈沖光，脈沖可達到IOOMHz。與普通攝像機類似，T0F3時暴像機忍片前端 需要一個捜集光線的鏡頭，需要加一個帶通濾光片來保證只有與照明光源波長相同的光才 能進入。作為TOF攝像機的核屯、，TOF忍片每一個像元對入射光往返相機與物體之間的相位 分別進行紀錄。照射單元和TOF傳感器都需要高速信號控制，運樣才能達到高的深度測量精 度。比如，照射光與TOF傳感器之間同步信號發(fā)生IOps的偏移，就相當于1.5mm的位移。運算 單元主要是完成數(shù)據(jù)校正和計算工作，通過計算入射光與反射光相對相移關(guān)系，即可求取 距離信息。
[0042] 利用LED或激光作為發(fā)射光源，在現(xiàn)有TOF技術(shù)下，現(xiàn)慢距離只有5米左右，距離比 較短。而教室的空間較大，提高發(fā)射光源的功率可W提升測量的距離，但運樣使得整個設(shè)備 的功率加大，溫度過高，會影響設(shè)備的受命，不能通過增強發(fā)射光源的功率來提升測量距 離。本發(fā)明采用基于T0F3時暴像機的智能跟蹤系統(tǒng)，通過3時暴像機為拍攝攝像機提供物體的 深度信息，拍攝攝像機根據(jù)物體的距離放大到合適的倍數(shù)，并且對目標進行快速定位跟蹤。
[0043] 為了更清楚地表述本發(fā)明，下面結(jié)合附圖對本發(fā)明作進一步地描述。
[0044] 請參閱圖1，本發(fā)明的基于T0F3時暴像機的智能跟蹤系統(tǒng)包括定位系統(tǒng)、處理系統(tǒng) 和拍攝系統(tǒng)，定位系統(tǒng)與處理系統(tǒng)無線通訊，處理系統(tǒng)與拍攝系統(tǒng)無線通訊，定位系統(tǒng)采用 了基于TOF的3時暴像機，拍攝系統(tǒng)采用了拍攝攝像機，拍攝攝像機不少于一臺，可W根據(jù)室 內(nèi)空間的大小W及布局，自由確定和安裝拍攝攝像機的位置，本發(fā)明中的處理系統(tǒng)為主機 服務(wù)器，主機服務(wù)器與遠程客戶端進行無線通訊。
[0045] 請參閱圖2-圖3,依據(jù)上述設(shè)備，本發(fā)明提供了兩種實現(xiàn)方法，本實施例一采用基 于TOF 3時暴像機捕獲到場景內(nèi)所有目標的深度圖像數(shù)據(jù)，3時暴像機經(jīng)過一系列處理，得到 人體骨架模型，然后選定具有起立、走動、舉手的行為作為跟蹤的目標，并將該目標的坐標 傳給主機服務(wù)器，主機服務(wù)器經(jīng)過坐標轉(zhuǎn)換，得到W拍攝攝像機為原點的坐標，并驅(qū)動目標 所在區(qū)域的拍攝攝像機進行拍攝。拍攝攝像機根據(jù)坐標信息，將該區(qū)域的跟蹤目標縮放到 合適的比例，并且進行拍攝，圖像數(shù)據(jù)傳送回主機服務(wù)器。
[0046] 其具體的工作步驟為：
[0047] AU深度圖像獲取
[0048] 系統(tǒng)開始工作后，首先3時暴像機獲取到教室內(nèi)目標的深度圖像;3時暴像機對區(qū)域 內(nèi)的目標進行拍攝，得到區(qū)域內(nèi)所有目標的圖像，同時也得到了所有目標與3時暴像機之間 的距離。
[0049] A2、深度數(shù)據(jù)進行分析
[0050] 采用骨骼跟蹤法，對深度數(shù)據(jù)進行分析，分為四步:提取特征;構(gòu)造人體骨架;數(shù)據(jù) 濾波;數(shù)據(jù)篩選，經(jīng)過運四個步驟的數(shù)據(jù)分析，可W得到基本的人體骨架模型。
[0化1] 1)提取特征
[0052] 識別人體的第一步是從深度圖像中將人體從背景環(huán)境中區(qū)分出來，運是一個從噪 聲中提煉有用信息的過程，系統(tǒng)會首先分析比較接近的區(qū)域。接著逐點掃描運些區(qū)域深度 圖像的像素，從深度圖像中將人體各個部位識別出來，人體部位是通過特征值來快速分類 的。
[0053] 2)構(gòu)造人體骨架
[0054] 接下來要進一步識別人體的關(guān)節(jié)點，系統(tǒng)根據(jù)"骨骼跟蹤"的20個關(guān)節(jié)點來生成一 幅骨架系統(tǒng)，請參閱圖4,通過運種方式能夠基于充分的信息最準確地評估人體實際所處的 位置。
[0化日]關(guān)于人體關(guān)節(jié)點的識別，采用的是化enNKOpen Na化ral Interaction,開放式的 自然交互)提供的骨骼算法庫予W完成，其識別算法依賴于所采集到的深度圖像，OpenNI骨 骼識別算法庫內(nèi)部實現(xiàn)原理為根據(jù)獲取到的深度圖像，分離前景與背景，并利用模版匹配 的方式，定位人體不同的關(guān)節(jié)。
[0056] 通過化enNI骨骼算法庫獲取到的人體關(guān)節(jié)點包括兩部分內(nèi)容，一部分是骨骼點的 空間坐標，另一部分是運個關(guān)節(jié)點的確認度。
[0057] 3)數(shù)據(jù)濾波：
[0058] 從深度圖像中識別出人體骨骼后，可W進一步構(gòu)造豐滿的肢體，構(gòu)建的整個過程 類似人體素描，先勾勒出人體骨骼，再畫出肌肉。采用泊松方程等算法進行噪聲濾除，通過 運種方法可判斷人體表面特征點是噪聲還是真實存在。從技術(shù)算法層面上來看，先抓取特 征點周邊表面的角度和朝向，進而判斷該點可能存在于空間的位置。同時根據(jù)朝向判斷，在 特征點周圍形成一個虛擬的距離場。再利用平滑算法，判斷漏桐附近的表面朝向，進而實現(xiàn) 自動修補，從而粗糖變平滑、缺陷自動補齊。運樣就可W得到虛擬人，關(guān)鍵是得到人體的頭 部、肩部、手臂部位。
[0化9] 4)數(shù)據(jù)篩選
[0060] 人的行為具有多樣性，有針對性的對某些行為進行過濾，要不然就會容易出現(xiàn)跟 蹤畫面來回切換，只針對起立、走動、舉手進行跟蹤。
[0061] 對人體關(guān)節(jié)角度的計算，采用空間向量法。所使用的空間坐標系不同于常見的空 間坐標系，其X軸與y軸的零點與傳統(tǒng)空間坐標系相同，但其Z軸坐標零點3D攝像機，正方向 為傳感器指向的正前方。
[0062] 具體地，請參閱圖5,由向量的可平移性質(zhì)及方向性，可W推導(dǎo)出坐標系中任意兩 個不重合的坐標點A(Xi，yi，Zi)，B(X2，y2，Z2)，經(jīng)過變換，可轉(zhuǎn)化到傳統(tǒng)空間坐標系中，對其 組成的向量/公，可W認為是從坐標軸零點引出。轉(zhuǎn)化公式為：
[0063]
[0064] 根據(jù)上述性質(zhì)，可W將人體關(guān)節(jié)角度計算簡化為對空間向量夾角的計算。
[00化]A3、選定跟蹤目標
[0066] 3時暴像機通過計算關(guān)節(jié)角度可W判斷人的行為變化，同時設(shè)定起立、走動、舉手作 為跟蹤閥值，3時暴像機捕捉到運些行為后，將有該行為的人作為跟蹤的目標，并主動跟蹤目 標。3時暴像機選定跟蹤目標后，實時地將該目標的坐標信息傳送到主機服務(wù)器。
[0067] A4、坐標轉(zhuǎn)換及距離計算
[0068] 請參閱圖6,主機服務(wù)器根據(jù)坐標信息可W判斷出目標所在的區(qū)域，W3時暴像機為 原點0,通過空間幾何轉(zhuǎn)換，將接收到的坐標轉(zhuǎn)換成W拍攝攝像機為原點0,的坐標，并計算 出距罔。
[0069] 具體換算方法如下：
[0070] 假設(shè)空間長為L，寬為胖，〇，0，5，^>為〉〇且《1的常數(shù)，具體數(shù)值與TOF 3時暴像機和 拍攝攝像機的安裝位置來確定。
[0071] 假定目標在3時暴像機上的坐標為：（xo，yo，zo)，映射到拍攝攝像機上的坐標則為 (x'o，y'o，z'o)，因為同一個目標相對3時暴像機和拍攝攝像機的高度是一樣的，所Wz軸的坐 標存在固定的關(guān)系，
當I XOI <aW-削時，經(jīng)坐標轉(zhuǎn)換，可W得到W拍攝攝像機原點的 坐標為
，并得到目標的距離為：
O
[0072] 當 I XO I^aW-削時
[0073] 拍攝攝像機原點的坐標為
，并得到目 標的距離為：
[0074]
[0075] 主機服務(wù)器將換算后的坐標和距離傳送給目標所在區(qū)域的拍攝攝像機進行拍攝 并存儲于主機服務(wù)器中。
[0076] A5、拍攝目標
[0077] 拍攝攝像機接收到主機服務(wù)器的信號，根據(jù)坐標和距離，將畫面縮放到合適的比 例，對目標進行特寫攝像，圖像數(shù)據(jù)實時傳送到主機服務(wù)器。
[0078] 請參閱圖7,本發(fā)明還提供另一種基于T0F3時暴像機的智能跟蹤系統(tǒng)實現(xiàn)方法，即 實施例二，在本實施例中，3時暴像機捕獲到場景內(nèi)所有目標的深度圖像數(shù)據(jù)，3時暴像機經(jīng)過 一系列處理，得到人體骨架模型，并對每個目標人物的行為進行分析，同時將所有人體模型 分配一個ID號，再經(jīng)過存儲模塊，只有深度數(shù)據(jù)描繪的人體輪廓及其活動軌跡，按ID號，將 每個目標=圍位置及其活動軌跡獨立保存起來，可W通過ID號來查詢各個目標的活動軌 跡。
[0079] 具體步驟和工作流程圖請參閱圖8-圖9，
[0080] Bl、深度圖像獲?。?br>[0081] 系統(tǒng)開始工作后，首先3時暴像機獲取到教室內(nèi)目標的深度圖像;3時暴像機對區(qū)域 內(nèi)的目標進行拍攝，得到區(qū)域內(nèi)所有目標的圖像，同時也得到了所有目標與3時暴像機之間 的距離。
[0082] B2、深度數(shù)據(jù)進行分析：
[0083] 采用骨骼跟蹤法，對深度數(shù)據(jù)進行分析，分為四步:提取特征;構(gòu)造人體骨架;數(shù)據(jù) 濾波;行為分析。經(jīng)過運四個步驟的數(shù)據(jù)分析，可W得到基本的人體骨架模型。
[0084] 1)提取特征：
[0085] 識別人體的第一步是從深度圖像中將人體從背景環(huán)境中區(qū)分出來，運是一個從噪 聲中提煉有用信息的過程，系統(tǒng)會首先分析比較接近的區(qū)域。接著逐點掃描運些區(qū)域深度 圖像的像素，從深度圖像中將人體各個部位識別出來，人體部位是通過特征值來快速分類 的。
[00化]2)構(gòu)造人體骨架：
[0087] 接下來要進一步識別人體的關(guān)節(jié)點，系統(tǒng)根據(jù)"骨骼跟蹤"的20個關(guān)節(jié)點來生成一 幅骨架系統(tǒng)，通過運種方式能夠基于充分的信息最準確地評估人體實際所處的位置。
[0088] 關(guān)于人體關(guān)節(jié)點的識別，采用的是化enNI提供的骨骼算法庫予W完成，其識別算 法依賴于所采集到的深度圖像，OpenNI骨骼識別算法庫內(nèi)部實現(xiàn)原理為根據(jù)獲取到的深度 圖像，分離前景與背景，并利用模版匹配的方式，定位人體不同的關(guān)節(jié)。
[0089] 通過化enNI骨骼算法庫獲取到的人體關(guān)節(jié)點包括兩部分內(nèi)容，一部分是骨骼點的 空間坐標，另一部分是運個關(guān)節(jié)點的確認度。
[0090] 3)數(shù)據(jù)濾波：
[0091] 從深度圖像中識別出人體骨骼后，可W進一步構(gòu)造豐滿的肢體，構(gòu)建的整個過程 類似人體素描，先勾勒出人體骨骼，再畫出肌肉。采用泊松方程等算法進行噪聲濾除，通過 運種方法可判斷人體表面特征點是噪聲還是真實存在。從技術(shù)算法層面上來看，先抓取特 征點周邊表面的角度和朝向，進而判斷該點可能存在于空間的位置。同時根據(jù)朝向判斷，在 特征點周圍形成一個虛擬的距離場。再利用平滑算法，判斷漏桐附近的表面朝向，進而實現(xiàn) 自動修補，從而粗糖變平滑、缺陷自動補齊。運樣就可W得到虛擬人。關(guān)鍵是得到人體的頭 部、肩部、手臂部位。
[0092] 4)行為分析：
[0093] 對人體關(guān)節(jié)角度的計算，采用空間向量法。所使用的空間坐標系不同于常見的空 間坐標系，其X軸與y軸的零點與傳統(tǒng)空間坐標系相同，但其Z軸坐標零點第一攝像機，正方 向為傳感器指向的正前方?？臻g坐標系參閱圖5:
[0094] 由向量的可平移性質(zhì)及方向性，可W推導(dǎo)出坐標系中任意兩個不重合的坐標點A (xi，yi，zi)，B(X2，y2，Z2)，經(jīng)過變換，可轉(zhuǎn)化到傳統(tǒng)空間坐標系中，對其組成的向量^乂S，可 W認為是從坐標軸零點引出。轉(zhuǎn)化公式為：
[0095]
[0096] 根據(jù)上述性質(zhì)
，可W將人體關(guān)節(jié)角度計算簡化為對空間向量夾角的計算。
[0097] 運樣得到人體的關(guān)節(jié)角度，可W對人體的各個行為進行識別、分析。
[009引 B3、目標標定：
[0099] 將人體模型標定ID號，利于目標的區(qū)分。
[0100] B4、存儲軌跡：
[0101] 將已標定ID號的目標的=維位置及其活動軌跡保存，W便做查詢用，
[0102] 本發(fā)明的優(yōu)勢在于：
[0103] 1)定位準確，快速:通過基于TOF技術(shù)的3時暴像機，且3時暴像機與拍攝攝像機結(jié)合 起來，由3時暴像機進行定位跟蹤，傳遞定位信號給拍攝攝像機進行拍攝，拍攝攝像機依據(jù)物 體的距離放大到合適的倍數(shù)，并對目標進行快速定位跟蹤拍攝，各個攝像機分工合作，不受 外界射入的光線W及燈光的影響，大大提高了拍攝的精準度；
[0104] 2)且多個攝像機同時工作，同時拍攝圖像，并統(tǒng)一進行合成處理，拍攝范圍更大。
[0105] 3)3時暴像機利用人體骨骼跟蹤法對目標人物進行行為分析，極大地保護了個人隱 私。
[0106] W上公開的僅為本發(fā)明的幾個具體實施例，但是本發(fā)明并非局限于此，任何本領(lǐng) 域的技術(shù)人員能思之的變化都應(yīng)落入本發(fā)明的保護范圍。
【主權(quán)項】
1. 一種基于T0F3D攝像機的智能跟蹤系統(tǒng)，其特征在于，包括 定位系統(tǒng):利用安裝在拍攝區(qū)域的中間位置上方的基于T0F3D攝像機拍攝區(qū)域內(nèi)的深 度圖像，采用骨骼跟蹤法，識別動作達到閥值的目標人物，并確定該目標人物與3D攝像機之 間的距離，并將坐標信息發(fā)送至處理系統(tǒng)； 處理系統(tǒng)：由主機服務(wù)器接收目標人物的坐標信息，判斷所屬區(qū)域，同時進行坐標轉(zhuǎn) 換，將目標人物的位置信息傳遞給所屬區(qū)域的拍攝攝像機； 拍攝系統(tǒng)：由固定在拍攝區(qū)域的不同的拍攝攝像機組成，位于所屬區(qū)域的拍攝攝像機 接收到主機服務(wù)器的信號，對目標人物進行拍攝，并將拍攝的圖像回傳至主機服務(wù)器中保 存以供遠程客戶端讀取圖像信息。2. 根據(jù)權(quán)利要求1所述的一種基于T0F3D攝像機的智能跟蹤系統(tǒng)，其特征在于，所述定 位系統(tǒng)識別目標人物包括： 深度圖像獲取：由3D攝像機獲取拍攝區(qū)域內(nèi)所有目標人物的深度圖像，并確定各個目 標人物與3D攝像機之間的距離； 深度數(shù)據(jù)分析:3D攝像機內(nèi)部控制系統(tǒng)采用骨骼跟蹤法，對目標人物的深度圖像進行 數(shù)據(jù)分析，得到人體骨架模型； 選定跟蹤目標:選定具有行為特征的目標進行跟蹤，設(shè)定具有起立、走動、舉手的行為 作為跟蹤的目標，并將坐標信息傳送到處理系統(tǒng)中。3. 根據(jù)權(quán)利要求1所述的一種基于T0F3D攝像機的智能跟蹤系統(tǒng)，其特征在于，所述主 機服務(wù)器根據(jù)坐標信息判斷出目標人物所屬區(qū)域，以3D攝像機為原點0,通過空間幾何轉(zhuǎn) 換，將接收到的坐標轉(zhuǎn)換成以拍攝攝像機為原點〇,的坐標，并計算出距離，所獲得的坐標信 息傳送給拍攝系統(tǒng)。4. 根據(jù)權(quán)利要求1所述的一種基于T0F3D攝像機的智能跟蹤系統(tǒng)，其特征在于，所述拍 攝攝像機接收到主機服務(wù)器的信號，自動將畫面縮放到合適的比例，對目標人物進行特寫 攝像，圖像數(shù)據(jù)實時傳送到主機服務(wù)器中。5. 根據(jù)權(quán)利要求2所述的一種基于T0F3D攝像機的智能跟蹤系統(tǒng)，其特征在于，所述人 體骨架模型的獲取步驟為： 提取特征:從深度圖像中將人體從背景環(huán)境中區(qū)分出來，并逐點掃描，將人體的各個部 位識別出來； 構(gòu)造人體骨架:進一步識別人體的關(guān)節(jié)點，根據(jù)骨骼跟蹤的關(guān)節(jié)點生成一幅骨架系統(tǒng) 以用來判斷人體的實際位置； 數(shù)據(jù)濾波：進行噪聲濾除，判斷人體表面特征點是噪聲還是真實存在，并得到人的頭 部、肩部、手臂的部位； 數(shù)據(jù)篩選:通過對人體關(guān)節(jié)角度的計算，采用空間向量法，針對具有起立、走動和舉手 的目標人物進行跟蹤。6. -種基于T0F3D攝像機的智能跟蹤系統(tǒng)，其特征在于， 定位系統(tǒng):采用安裝在拍攝區(qū)域的中間位置上方的基于T0P3D攝像機拍攝區(qū)域內(nèi)的深 度圖像，采用骨骼跟蹤法，構(gòu)造出區(qū)域內(nèi)所有人物目標的人體模型，同時對每個目標人物的 行為進行分析，所述3D攝像機內(nèi)保存有所述拍攝區(qū)域內(nèi)每位真實人物的標定ID號，所述3D 攝像機將目標人物的ID號以及行為分析信息發(fā)送到處理系統(tǒng)。 處理系統(tǒng)：由主機服務(wù)器接收目標人物的行為分析信息，并保存目標人物的行為軌跡， 以供遠程客戶端讀取查詢。7. 根據(jù)權(quán)利要求6所述的一種基于T0F3D攝像機的智能跟蹤系統(tǒng)，其特征在于，所述定 位系統(tǒng)識別目標人物包括： 深度圖像獲?。河?D攝像機獲取拍攝區(qū)域內(nèi)所有目標人物的深度圖像； 深度數(shù)據(jù)分析:3D攝像機內(nèi)部控制系統(tǒng)采用骨骼跟蹤法，對目標人物的深度圖像進行 數(shù)據(jù)分析，得到人體骨架模型，并對目標人物的行為進行分析； 目標標定:根據(jù)目標人物的特征，匹配所述目標人物的ID號，將這個ID號和目標人物對 應(yīng)的行為軌跡信息傳送到處理系統(tǒng)的主機服務(wù)器中。8. 根據(jù)權(quán)利要求7所述的一種基于T0F3D攝像機的智能跟蹤系統(tǒng)，其特征在于，所述真 實人物的ID號的人物特征包括該人物的人體輪廓、三維位置及其活動軌跡的信息。9. 根據(jù)權(quán)利要求6所述的一種基于T0F3D攝像機的智能跟蹤系統(tǒng)，其特征在于，所述主 機服務(wù)器與遠程客戶端無線連接，遠程客戶端通過ID號查詢該ID號被拍攝的信息。
【文檔編號】H04N7/18GK105956586SQ201610565051
【公開日】2016年9月21日
【申請日】2016年7月15日
【發(fā)明人】江應(yīng)華
【申請人】瑞勝科信息（深圳）有限公司