本發(fā)明涉及視頻監(jiān)控領(lǐng)域，具體涉及一種面向特定目標(biāo)的智能檢測(cè)追蹤及時(shí)空軌跡的生成方法。
背景技術(shù)：
隨著對(duì)智慧城市要求的提高，越來(lái)越多的攝像頭布設(shè)在城市的大街小巷用于實(shí)時(shí)監(jiān)控預(yù)警以及后期檢索。為了檢索出特定目標(biāo)并分析出其運(yùn)動(dòng)軌跡，需要將多個(gè)視頻源作為一個(gè)系統(tǒng)進(jìn)行檢索。人臉具有穩(wěn)定、可靠、安全、便利等特點(diǎn)，人臉識(shí)別技術(shù)在軌跡搜索方面應(yīng)用廣泛。如申請(qǐng)?zhí)?01510102708.2為“一種動(dòng)態(tài)人臉識(shí)別方法及系統(tǒng)”，其采用提取監(jiān)控視頻中最優(yōu)人臉特征與重點(diǎn)人群數(shù)據(jù)庫(kù)進(jìn)行實(shí)時(shí)的比對(duì)計(jì)算，若具有高相似度的人員則實(shí)時(shí)發(fā)出預(yù)警提示。又譬如申請(qǐng)?zhí)?01510908108.5的“分布式人臉識(shí)別軌跡搜索系統(tǒng)和方法”，其通過(guò)對(duì)客戶(hù)端輸入人臉圖片以及相似度閾值，在子庫(kù)中進(jìn)行特征對(duì)比搜索，對(duì)各個(gè)子庫(kù)返回的結(jié)果進(jìn)行聚合排序后得到人臉特征軌跡記錄。在偵查時(shí)，采用現(xiàn)有軌跡搜索具有很多劣勢(shì)，譬如：采用以圖搜圖的方式，在實(shí)際偵查中存在一些局限性，比如嫌疑人在某個(gè)時(shí)間段內(nèi)的軌跡。
技術(shù)實(shí)現(xiàn)要素：
本發(fā)明為了解決上述技術(shù)問(wèn)題提供一種面向特定目標(biāo)的智能檢測(cè)追蹤及時(shí)空軌跡的生成方法。
本發(fā)明通過(guò)下述技術(shù)方案實(shí)現(xiàn)：
面向特定目標(biāo)的智能檢測(cè)追蹤及時(shí)空軌跡的生成方法，包括以下步驟，
a、獲取具有追蹤目標(biāo)人臉的圖像；
b、對(duì)圖像進(jìn)行人臉檢測(cè)，提取人臉特征獲得特征數(shù)據(jù)；
c、并行計(jì)算搜索時(shí)間范圍內(nèi)待搜索監(jiān)控設(shè)備的視頻的人臉特征，計(jì)算在該搜索時(shí)間范圍內(nèi)特征數(shù)據(jù)與待搜索監(jiān)控設(shè)備的人臉特征的歐式距離；
d、提取各待搜索監(jiān)控設(shè)備歐式距離小于閾值的目標(biāo)，并返回目標(biāo)的時(shí)空軌跡點(diǎn)，所述時(shí)空軌跡點(diǎn)包括時(shí)間序列、監(jiān)控視頻編號(hào)、視頻幀原圖、相似度；其中，軌跡點(diǎn)的時(shí)間序列、監(jiān)控編號(hào)、相似度將在步驟e中用于軌跡點(diǎn)再確認(rèn)；上述所返回的參數(shù)均將用于最后的結(jié)果展示；
e、根據(jù)時(shí)間序列對(duì)時(shí)空軌跡點(diǎn)進(jìn)行排序，并根據(jù)監(jiān)控編號(hào)、相似度、視頻幀原圖排除干擾項(xiàng)；
f、將時(shí)空軌跡點(diǎn)連線(xiàn)得到軌跡。
本發(fā)明可用于事后偵查，對(duì)各待搜索監(jiān)控設(shè)備圖像進(jìn)行人臉識(shí)別后根據(jù)時(shí)間對(duì)識(shí)別后的結(jié)果進(jìn)行排序生成時(shí)空軌跡點(diǎn)，有助于實(shí)際偵查使用，且對(duì)生成的時(shí)空軌跡點(diǎn)進(jìn)行干擾項(xiàng)排除，提高了其準(zhǔn)確性。
排序后的時(shí)空軌跡點(diǎn)為目標(biāo)人的初步軌跡圖，但是由于人臉比對(duì)過(guò)程中存在微小誤檢率，可能導(dǎo)致對(duì)時(shí)空軌跡點(diǎn)的誤判，其對(duì)軌跡的生成影響大，故在排序后還需排除干擾項(xiàng)。排除干擾項(xiàng)的方法為：根據(jù)各待搜索監(jiān)控設(shè)備安裝的地理位置，判斷兩相鄰兩個(gè)時(shí)空軌跡點(diǎn)的時(shí)間差內(nèi)目標(biāo)是否可以在兩者之間轉(zhuǎn)移，若不可以，則舍棄該時(shí)空軌跡點(diǎn)；若可以，則計(jì)算兩者的特征距離，若特征距離大于閾值，則舍棄該時(shí)空軌跡點(diǎn)，若特征距離小于閾值，則保留該時(shí)空軌跡點(diǎn)。
為了滿(mǎn)足事后偵查，我們需要將具體時(shí)間、人臉特征、原始視頻幀圖像等進(jìn)行保存。一路監(jiān)控設(shè)備每秒可產(chǎn)生幾十幀圖像，每一幀圖像又會(huì)有多張人臉，當(dāng)對(duì)多路監(jiān)控視頻數(shù)據(jù)進(jìn)行存儲(chǔ)時(shí)，磁盤(pán)每秒的寫(xiě)入將會(huì)非常大，比如，假設(shè)每秒30幀，每幀1張人臉，1000路監(jiān)控設(shè)備每秒的寫(xiě)入量將達(dá)到30*1*1000＝3萬(wàn)；在搜索查詢(xún)時(shí)，需要對(duì)滿(mǎn)足時(shí)間區(qū)間的記錄進(jìn)行遍歷計(jì)算，即時(shí)間區(qū)間內(nèi)的順序讀。
作為優(yōu)選，在步驟c中，待搜索監(jiān)控設(shè)備的視頻的人臉特征采用rocksdb進(jìn)行存儲(chǔ)，每一個(gè)監(jiān)控設(shè)備將數(shù)據(jù)存入各自的數(shù)據(jù)庫(kù)內(nèi)，彼此之間獨(dú)立。rocksdb是key-value鍵值數(shù)據(jù)庫(kù)，nosql中的一種，nosql即notonlysql，非關(guān)系型數(shù)據(jù)庫(kù)。存儲(chǔ)系統(tǒng)的性能瓶頸主要在于磁盤(pán)的隨機(jī)讀寫(xiě)，由于rocksdb采用的是lsm存儲(chǔ)引擎，其優(yōu)勢(shì)在于通過(guò)批量轉(zhuǎn)儲(chǔ)技術(shù)，有效地規(guī)避了磁盤(pán)隨機(jī)寫(xiě)入問(wèn)題，且存入的記錄是按照key值進(jìn)行有序存儲(chǔ)，非常適合大量寫(xiě)順序讀的場(chǎng)景，若是搭配ssd固態(tài)硬盤(pán)，其讀寫(xiě)性能將會(huì)更佳。lsm即log-structuredmerge，日志結(jié)構(gòu)的合并樹(shù)。除此之外，rocksdb提供了多種壓縮算法，可選式的對(duì)數(shù)據(jù)進(jìn)行壓縮，從而減少存儲(chǔ)空間。rocksdb上述的特性，正好能滿(mǎn)足我們的場(chǎng)景需求。
進(jìn)一步的，人臉特征的存儲(chǔ)方式具體為：以時(shí)間戳為key即數(shù)據(jù)庫(kù)內(nèi)的數(shù)據(jù)將按照key時(shí)間戳排序，人臉特征、原始視頻幀圖像、監(jiān)控設(shè)備信息等為value，將人臉特征與其他信息分別存到不同的columnfamily列族。
rocksdb中的columnfamily有利于不同字段的數(shù)據(jù)既保持關(guān)聯(lián)即都存儲(chǔ)在同一個(gè)數(shù)據(jù)庫(kù)又互相隔離，并且當(dāng)對(duì)多個(gè)columnfamily進(jìn)行寫(xiě)入時(shí)，rocksdb是保持原子性的。比如在存儲(chǔ)人臉特征數(shù)據(jù)庫(kù)時(shí)，整個(gè)計(jì)算過(guò)程只需要讀取人臉特征，也就是說(shuō)在計(jì)算時(shí)，每次只需將人臉特征從磁盤(pán)上讀入內(nèi)存，并不需要將原始圖像也讀入，為了減少磁盤(pán)io，又不失數(shù)據(jù)之間的關(guān)聯(lián)性，故而將人臉特征與其他信息分別存到不同的columnfamily。之所以沒(méi)有采用建多個(gè)庫(kù)將人臉特征與其他信息存到不同的數(shù)據(jù)庫(kù)里，是因?yàn)橐粭l人臉特征記錄必然要對(duì)應(yīng)一條其他信息或原始圖等，即要保持寫(xiě)入的原子性。
本發(fā)明與現(xiàn)有技術(shù)相比，具有如下的優(yōu)點(diǎn)和有益效果：
本發(fā)明的方法對(duì)各待搜索監(jiān)控設(shè)備圖像進(jìn)行人臉識(shí)別后根據(jù)時(shí)間對(duì)識(shí)別后的結(jié)果進(jìn)行排序生成時(shí)空軌跡點(diǎn)，并對(duì)時(shí)空軌跡點(diǎn)進(jìn)行干擾項(xiàng)排除，生成的軌跡不僅可用于偵查使用，且其準(zhǔn)確度高。
附圖說(shuō)明
圖1是本發(fā)明的流程圖。
具體實(shí)施方式
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，下面結(jié)合實(shí)施例，對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說(shuō)明，本發(fā)明的示意性實(shí)施方式及其說(shuō)明僅用于解釋本發(fā)明，并不作為對(duì)本發(fā)明的限定。
實(shí)施例1
如圖1所示，面向特定目標(biāo)的智能檢測(cè)追蹤及時(shí)空軌跡的生成方法，從多攝像頭的海量歷史數(shù)據(jù)中智能檢測(cè)追蹤目標(biāo)，并得到其時(shí)空軌跡，包括以下步驟，
a、獲取具有追蹤目標(biāo)人臉的圖像；
b、對(duì)圖像進(jìn)行人臉檢測(cè)，提取人臉特征獲得特征數(shù)據(jù)；
c、并行計(jì)算搜索時(shí)間范圍內(nèi)待搜索監(jiān)控設(shè)備的視頻的人臉特征，搜索時(shí)間范圍可以根據(jù)需求設(shè)定，譬如，時(shí)間鎖定粒度在小時(shí)，2017年01月01日至2017年01月07日，這7天內(nèi)每天下午的14:00～16:00，或者是范圍查詢(xún)，時(shí)間鎖定粒度在天數(shù)，查詢(xún)2017年01月01日20:00至2017年01月02日08:00這12個(gè)小時(shí)內(nèi)的軌跡；計(jì)算在該搜索時(shí)間范圍內(nèi)特征數(shù)據(jù)與待搜索監(jiān)控設(shè)備的人臉特征的歐式距離，由于提取到的人臉特征都是一個(gè)n維向量，將目標(biāo)特征數(shù)據(jù)的每一維與庫(kù)中特征的每一維進(jìn)行計(jì)算，設(shè)目標(biāo)人的特征為
其中，k表示向量的第k維。
distance歐式距離越小，說(shuō)明兩個(gè)向量在特征空間的距離越近，也就是說(shuō)，兩者所代表的人臉越相似。當(dāng)distance小于某個(gè)閾值時(shí)，當(dāng)前環(huán)節(jié)將認(rèn)為此人可能是目標(biāo)人。
d、提取各待搜索監(jiān)控設(shè)備歐式距離小于閾值的目標(biāo)，并返回目標(biāo)的時(shí)空軌跡點(diǎn)，所述時(shí)空軌跡點(diǎn)包括時(shí)間序列、監(jiān)控視頻編號(hào)、視頻幀原圖、相似度；
e、根據(jù)時(shí)間序列對(duì)時(shí)空軌跡點(diǎn)進(jìn)行排序，并根據(jù)監(jiān)控編號(hào)、相似度、視頻幀原圖排除干擾項(xiàng)；
f、將時(shí)空軌跡點(diǎn)連線(xiàn)得到軌跡。
得到軌跡后，將各個(gè)時(shí)空軌跡點(diǎn)對(duì)應(yīng)的待搜索監(jiān)控設(shè)備連線(xiàn)，并將每一個(gè)軌跡點(diǎn)的時(shí)間序列timestamp，監(jiān)控視頻編號(hào)videono、視頻幀原圖picture，一起返回。
實(shí)施例2
本實(shí)施例在上述實(shí)施例的基礎(chǔ)上多各步驟做了細(xì)化。
排除干擾項(xiàng)的方法很多，現(xiàn)舉例說(shuō)明。
排序后的時(shí)空軌跡點(diǎn)即為目標(biāo)人的初步軌跡圖，排除初步軌跡圖中干擾項(xiàng)的方法為：根據(jù)各待搜索監(jiān)控設(shè)備安裝的地理位置，判斷兩相鄰兩個(gè)時(shí)空軌跡點(diǎn)的時(shí)間差內(nèi)目標(biāo)是否可以在兩者之間轉(zhuǎn)移，若不可以在兩者之間轉(zhuǎn)移，則舍棄該時(shí)空軌跡點(diǎn)，此處的不行指無(wú)論采用何種交通工具都不可以在兩者之間轉(zhuǎn)移，譬如步行、搭乘交通工具；若可以在兩者之間轉(zhuǎn)移，則計(jì)算兩者的特征距離，若特征距離大于閾值，則舍棄該時(shí)空軌跡點(diǎn)，若特征距離小于閾值，則說(shuō)明這兩個(gè)相鄰的時(shí)空軌跡點(diǎn)很有可能是同一個(gè)人，這兩個(gè)時(shí)空軌跡點(diǎn)是可取的。
采用上述方法可能存在誤刪的可能，使得軌跡點(diǎn)不準(zhǔn)確，對(duì)后續(xù)目標(biāo)跟蹤監(jiān)測(cè)造成誤導(dǎo)，為了提高對(duì)干擾項(xiàng)排除的準(zhǔn)確性，現(xiàn)公開(kāi)另一實(shí)施方式。
所述步驟e具體方法為，
e1、根據(jù)各待搜索監(jiān)控設(shè)備的時(shí)間序列對(duì)其進(jìn)行排序，計(jì)算相鄰兩個(gè)待搜索監(jiān)控設(shè)備之間的時(shí)間差δt和兩者之間的距離差δs；
e2、根據(jù)時(shí)間差δt、距離差δs，判斷目標(biāo)是否可以在兩者之間轉(zhuǎn)移，若可以，則進(jìn)入步驟e5；若不可以，則進(jìn)入步驟e3；
e3、分別計(jì)算相鄰兩個(gè)待搜索監(jiān)控設(shè)備與后一個(gè)待搜索監(jiān)控設(shè)備的時(shí)間差δt和距離差δs，并根據(jù)步驟e2的方法與判斷目標(biāo)是否可在兩者之間轉(zhuǎn)移，若均可以，則進(jìn)入步驟e4；若一個(gè)待搜索監(jiān)控設(shè)備與后一個(gè)待搜索監(jiān)控設(shè)備時(shí)間差內(nèi)目標(biāo)不能轉(zhuǎn)移，則舍棄該待搜索監(jiān)控設(shè)備，進(jìn)入步驟e5；若兩者與后一個(gè)待搜索監(jiān)控設(shè)備在時(shí)間差內(nèi)目標(biāo)均不能轉(zhuǎn)移，則將兩者與排在后的第二個(gè)待搜索監(jiān)控設(shè)備按此方法進(jìn)行比對(duì)；若兩者與排在后的第二個(gè)待搜索監(jiān)控設(shè)備在時(shí)間差內(nèi)目標(biāo)均不能轉(zhuǎn)移，則將兩者與排在后的第三個(gè)待搜索監(jiān)控設(shè)備按此方法進(jìn)行比對(duì)；若兩者與排在后的第三個(gè)待搜索監(jiān)控設(shè)備在時(shí)間差內(nèi)目標(biāo)均不能轉(zhuǎn)移，則保留兩者中相似度最高的待搜索監(jiān)控設(shè)備，進(jìn)入步驟e5；
e4、分別計(jì)算相鄰兩個(gè)待搜索監(jiān)控設(shè)備與后一個(gè)待搜索監(jiān)控設(shè)備的原始圖中人臉的特征距離，得到相似度，結(jié)合與目標(biāo)的相似度、以及與后一個(gè)待搜索監(jiān)控設(shè)備軌跡點(diǎn)的相似度，取綜合相似度最高的點(diǎn)對(duì)應(yīng)的待搜索監(jiān)控設(shè)備；
e5、是否是最后一個(gè)軌跡點(diǎn)，若是，則連接剩余的軌跡點(diǎn)；若不是，則繼續(xù)步驟e1至e4。
現(xiàn)以具體實(shí)施例對(duì)上方法進(jìn)行詳細(xì)說(shuō)明。
假設(shè)按照時(shí)間升序后的軌跡點(diǎn)序列為a、b、c、d、……、n，這些軌跡點(diǎn)均是滿(mǎn)足特征距離小于閾值的，每一個(gè)軌跡點(diǎn)包含時(shí)間戳、原始圖、監(jiān)控設(shè)備編號(hào)、與輸入的目標(biāo)人的相似度等。
e1、我們從最早的軌跡點(diǎn)開(kāi)始，比較a與b，計(jì)算兩者之間的時(shí)間差δt，兩者所述監(jiān)控實(shí)際地理距離δs。
e2、先判斷在δt時(shí)間內(nèi)，目標(biāo)人是否能移動(dòng)δs的距離，不管是采用步行還是交通工具都考慮在內(nèi)；
i)若存在空間的可移動(dòng)性，ab兩點(diǎn)均保留，進(jìn)入e5；
ii)若不可能，進(jìn)入下一步e3。
e3、空間上ab兩點(diǎn)是沖突的，此時(shí)加入額外軌跡點(diǎn)參與判斷。
i)先根據(jù)步驟e2判斷ac、bc的空間可行性，若ac沖突且bc不沖突，則剔除a保留b，進(jìn)入e5；
ii)若ac、bc空間上均不沖突，進(jìn)入下一步e4；
iii)若ac、bc空間上均沖突，將a、b與軌跡點(diǎn)d進(jìn)行比對(duì)，重復(fù)步驟e2；最多額外與三個(gè)軌跡點(diǎn)進(jìn)行比對(duì)，如：最多與c、d、e三個(gè)點(diǎn)比對(duì)；若仍然無(wú)法判定ab，則保留相似度最高的，即max{相似度(a,目標(biāo)人),相似度(b,目標(biāo)人)}；跳到步驟e5。
e4、比對(duì)ac、bc，計(jì)算ac、bc的原始圖中人臉的特征距離distance，得出a與c、b與c的相似度，也就是判斷a和c的原始視頻幀中的人臉是不是同一個(gè)人；
結(jié)合與目標(biāo)對(duì)象的相似度、以及與軌跡點(diǎn)c的相似度；取綜合相似度最高的點(diǎn)如：若{相似度(a,目標(biāo)人)+相似度(a,c)}<{相似度(b,目標(biāo)人)+相似度(b,c)}，則剔除點(diǎn)軌跡點(diǎn)a，保留軌跡點(diǎn)b；
e5、是否是最后一個(gè)軌跡點(diǎn)，若是，判定流程結(jié)束，將剩余的軌跡點(diǎn)連線(xiàn)；
若不是，繼續(xù)判定下一個(gè)軌跡點(diǎn)，將其與臨近的已保留軌跡點(diǎn)進(jìn)行比對(duì)，重復(fù)e1；例如：已保留軌跡點(diǎn)中有ab，下一軌跡點(diǎn)d，假設(shè)排除了c,，比較的將是d和b。
實(shí)施例3
本實(shí)施例在上述實(shí)施例的基礎(chǔ)上公開(kāi)一監(jiān)控視頻歷史數(shù)據(jù)的存儲(chǔ)方案。
待搜索監(jiān)控設(shè)備的監(jiān)控視頻歷史數(shù)據(jù)量大，為了滿(mǎn)足按時(shí)間、地點(diǎn)范圍搜索的需求，采用下列存儲(chǔ)方案：在步驟c中，待搜索監(jiān)控設(shè)備的視頻的人臉特征采用rocksdb按照時(shí)間進(jìn)行存儲(chǔ)。
使用rocksdb存儲(chǔ)人臉特征數(shù)據(jù)庫(kù)，rocksdb是個(gè)key-value鍵-值數(shù)據(jù)庫(kù)，能有效解決高并發(fā)隨機(jī)寫(xiě)，以及海量存儲(chǔ)的需要，配合ssd能提供非常高的隨機(jī)讀，并且存入時(shí)key有序；而columnfamily列族有利于隔離數(shù)據(jù)，但是存儲(chǔ)在同一個(gè)數(shù)據(jù)庫(kù)中，比如在存儲(chǔ)人臉特征數(shù)據(jù)庫(kù)時(shí)，整個(gè)計(jì)算過(guò)程只需要人臉特征，而原始視頻幀圖像只用于在返回結(jié)果展示。人臉特征數(shù)據(jù)庫(kù)和原始視頻幀圖像均使用rocksdb存儲(chǔ)，存在不同的列族之中。以下面的例子說(shuō)明，先創(chuàng)建監(jiān)控x的數(shù)據(jù)庫(kù)，比如名字就叫db_x，在這個(gè)數(shù)據(jù)庫(kù)中，每一條記錄會(huì)有兩個(gè)columnfamily——人臉特征、其他信息。
人臉特征的存儲(chǔ)方式具體為：以時(shí)間戳為key，人臉特征、原始視頻幀圖像為value，人臉特征、原始圖像各屬不同的columnfamily進(jìn)行存儲(chǔ)。
如下所示，假設(shè)在2017年1月1日早上10:10:10，監(jiān)控x捕獲到了甲和乙二人，在監(jiān)控x的數(shù)據(jù)庫(kù)里，實(shí)際的存儲(chǔ)將會(huì)如下：
以上所述的具體實(shí)施方式，對(duì)本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說(shuō)明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施方式而已，并不用于限定本發(fā)明的保護(hù)范圍，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。