基于聚類的目標(biāo)分類的制作方法
【專利摘要】根據(jù)本公開的用于識別在視頻內(nèi)容中的目標(biāo)的一種方法示例包括：接收被攝像機(jī)捕捉的場景的視頻內(nèi)容；檢測在視頻內(nèi)容中的目標(biāo)；識別目標(biāo)在一系列幀的視頻內(nèi)容上沿著的蹤跡；將關(guān)于目標(biāo)的目標(biāo)特征從視頻內(nèi)容中提取出來；和基于目標(biāo)特征對目標(biāo)進(jìn)行分類。對目標(biāo)進(jìn)行分類還包括：使用空間不變目標(biāo)特征確定關(guān)于目標(biāo)的跟蹤級別分類；使用空間變化特征確定關(guān)于目標(biāo)的全局聚類分類；和基于關(guān)于目標(biāo)的跟蹤級別分類和關(guān)于目標(biāo)的全局聚類分類確定關(guān)于目標(biāo)的目標(biāo)類型。
【專利說明】基于聚類的目標(biāo)分類
[0001]背景
[0002]視頻監(jiān)控系統(tǒng)用于捕捉大量公共場所、私人場所和政府場所的視頻內(nèi)容。例如，視頻監(jiān)控系統(tǒng)通常用于飛機(jī)場、火車站、商店和購物中心、工廠和有人、車輛等出現(xiàn)的其它場所。相機(jī)可以捕捉大量的視頻內(nèi)容并且內(nèi)容可以被監(jiān)控系統(tǒng)進(jìn)行記錄和存儲一段時間，使得曾經(jīng)出現(xiàn)的人和車輛等可以被識別。手動搜索記錄的被視頻監(jiān)控系統(tǒng)捕捉的視頻內(nèi)容可能是極其勞動密集和耗費時間的。視頻分析算法已經(jīng)被開發(fā)出，其可以用于將高級別的信息從已經(jīng)開發(fā)出來的攝像機(jī)捕捉的視頻內(nèi)容中提取出來。視頻分析算法可以用于在這個已經(jīng)被捕捉的視頻內(nèi)容中識別目標(biāo)。如果用戶想能夠在視頻內(nèi)容上進(jìn)行搜索，在視頻內(nèi)容中的目標(biāo)必須是被識別的和分類的。例如，用戶可能希望搜索顯示在預(yù)定一段時間期間車輛進(jìn)入或離開工廠的視頻內(nèi)容。如果例如車輛和人的目標(biāo)已經(jīng)在捕捉的視頻內(nèi)容中被識別，那么搜索算法可以被用于識別潛在的相關(guān)內(nèi)容，而不需要用戶手動檢查在感興趣期間捕捉的所有視頻內(nèi)容。
[0003]視頻分析算法可以幫助自動進(jìn)行目標(biāo)分類。目標(biāo)分類可以包括一些方面:(I)特征計算和(2)基于特征的分類。一般而言，各種目標(biāo)特征可以被用于目標(biāo)分類。目標(biāo)分類的常規(guī)方法的示例可以在授予Venetianer等人的名稱為“Spur1us Object Detect1n ina Video Surveillance System”的美國專利7，391，907中找到，其論述了使用關(guān)于目標(biāo)特征的整套度量的系統(tǒng)，包括:形狀一致性度量、大小一致性度量、大小度量、結(jié)構(gòu)一致性度量、顏色一致性度量、速度一致性度量、移動方向一致性度量、顯著移動度量、絕對移動度量和持續(xù)移動度量。在沒有相機(jī)校準(zhǔn)信息的情況下，有效考慮到關(guān)于目標(biāo)分類的所有這些度量是非常困難的。因此，僅僅少數(shù)選擇的特征被經(jīng)常在實際應(yīng)用中使用。通常在常規(guī)系統(tǒng)中使用的特征是目標(biāo)大小和目標(biāo)縱橫比(高度與寬度的比例)和目標(biāo)形狀。例如，人的目標(biāo)縱橫比和汽車的目標(biāo)縱橫比通常是非常不同的，并且可以用作判別特征以在視頻內(nèi)容中的人和汽車之間進(jìn)行區(qū)分。目標(biāo)縱橫比可以視作簡化的形狀特征，如果它被看作目標(biāo)的擬合橢圓的長軸長度和目標(biāo)的擬合橢圓的短軸長度的比值的近似。
[0004]在計算機(jī)視覺領(lǐng)域，關(guān)于目標(biāo)檢測、分類越來越對復(fù)雜的特征感興趣，包括，小波(即，哈爾特征)、視覺詞袋、尺度不變特征變換(SHIFT)特征(或其簡化版本SURF)、HoF (光流直方圖)、HoG(梯度方向直方圖)。這些特征已經(jīng)被證明在包括視頻監(jiān)控的廣闊應(yīng)用范圍中理論上有效。然而，可能由于復(fù)雜、效率低下或者不適合，到目前為止在視頻監(jiān)控領(lǐng)域很少有使用這些特征的實用的系統(tǒng)的存在。
[0005]公布的Brown等人的名稱為“Video Object classificat1n”的美國專利申請?zhí)朥S2010/0054535A1討論了，計算關(guān)于視頻序列上的每個被跟蹤目標(biāo)的梯度方向直方圖(HoG)的差值，和監(jiān)視車輛和人之間的變形級別(人的變形級別被認(rèn)為高于車輛的變形級別)、并且通過最大后驗(MAP)方法對被跟蹤目標(biāo)進(jìn)行分類。這種方法要求被跟蹤和分類的目標(biāo)具有相當(dāng)大的尺寸以容許直方圖的計算，其不適合于其中目標(biāo)是小的或者目標(biāo)遠(yuǎn)離相機(jī)的應(yīng)用。這種方法要求校準(zhǔn)信息。此外，由于MAP的使用，在一開始就需要關(guān)于每個目標(biāo)類型的場景上的可能性和先驗概率，這對涉及大量相機(jī)的許多監(jiān)控應(yīng)用其是不切實際的。此外，這種方法并不對目標(biāo)進(jìn)行分類直到對目標(biāo)的跟蹤完成，即正當(dāng)目標(biāo)消失時。因此，這種方法不適用于對需要對目標(biāo)類型進(jìn)行實時報警的應(yīng)用。
[0006]在目標(biāo)類型分類中，主要存在兩類用于視頻監(jiān)控應(yīng)用的方法:非基于學(xué)習(xí)型和基于學(xué)習(xí)型，其被應(yīng)用于一組選定的目標(biāo)特征。非基于學(xué)習(xí)分類器假定用于每個感興趣的目標(biāo)類型的選定特征的可用粒度，并且計算在特征值和參考(原形)值之間的距離并做出相應(yīng)的分類決定。非基于學(xué)習(xí)分類器易于對相機(jī)的設(shè)置、采光和圖像噪聲中的變化敏感，并且當(dāng)運用到視頻監(jiān)控應(yīng)用時可能設(shè)置系統(tǒng)規(guī)定的參數(shù)。
[0007]基于學(xué)習(xí)的分類器包括監(jiān)督方法和非監(jiān)督方法。監(jiān)督方法(例如最近鄰、神經(jīng)網(wǎng)絡(luò)和支持向量機(jī))要求訓(xùn)練關(guān)于每一類的數(shù)據(jù)。訓(xùn)練過程可能使耗時的并且要求對監(jiān)控相機(jī)中的每一個實施離線。為了使得現(xiàn)有分類器對系統(tǒng)中涉及的變化起作用，例如由于移動、光照條件、視頻噪聲或添加新的目標(biāo)特征，需要用于監(jiān)督方法的新的或附加的訓(xùn)練過程。這可能限制基于學(xué)習(xí)的分類器的應(yīng)用為通常在處理功率和存儲器方面具有限制資源的基于邊緣設(shè)備的視頻應(yīng)用。
[0008]例如自組織映射(SOM)、自適應(yīng)共振理論(ART)網(wǎng)絡(luò)的無監(jiān)督方法不需要訓(xùn)練數(shù)據(jù)。該種方法能動態(tài)建立分類器，并且這種類型的分類器提供比監(jiān)督和非學(xué)習(xí)方法兩者更好的適應(yīng)性，但是非監(jiān)督方法能遭受在目標(biāo)分類中的漂移的問題，并且需要特別的小心以防止在目標(biāo)分類中的漂移的發(fā)生。
[0009]公布的Cobb 等人的名稱為 “Visualizing and Updating Classificat1n in aVideo Surveillance System”的美國專利申請?zhí)?011/0050897A1討論了通過將自適應(yīng)共振理論(ART)網(wǎng)絡(luò)應(yīng)用到從自組織映射(SOM)神經(jīng)網(wǎng)絡(luò)產(chǎn)生的節(jié)點的目標(biāo)分類的方法。SOM-ART網(wǎng)絡(luò)處理像素級微觀特征以自適應(yīng)學(xué)習(xí)和組織微觀特征為目標(biāo)類型聚類。這是非監(jiān)督學(xué)習(xí)方法，并且不需要訓(xùn)練數(shù)據(jù)。除了在處理功率和存儲器方面的它的高資源的要求之外，這種方法不能提供有效的方式來利用重要屬性:被跟蹤的目標(biāo)在現(xiàn)場具有相同的目標(biāo)類型。此外，它需要手動分配以從產(chǎn)生的聚類映射到有意義的目標(biāo)類型。
[0010]概要
[0011]根據(jù)本公開的用于識別在視頻內(nèi)容中的目標(biāo)的示例方法包括:接收由攝像機(jī)捕捉的場景的視頻內(nèi)容；檢測在視頻內(nèi)容中的目標(biāo)；識別目標(biāo)在一系列視頻內(nèi)容的幀上遵循的蹤跡；從視頻內(nèi)容中提取關(guān)于目標(biāo)的目標(biāo)特征；以及基于目標(biāo)特征對目標(biāo)進(jìn)行分類。對目標(biāo)進(jìn)行分類還包括:使用空間不變的目標(biāo)特征確定關(guān)于目標(biāo)的跟蹤級別分類；使用空間變化特征確定關(guān)于目標(biāo)的全局聚類分類；并且基于關(guān)于目標(biāo)的跟蹤級別分類和關(guān)于目標(biāo)的全局聚類分類確定關(guān)于目標(biāo)的目標(biāo)類型。
[0012]實現(xiàn)這樣的方法可以包括一個或多個以下特征。確定關(guān)于目標(biāo)的跟蹤級別分類還包括:基于與目標(biāo)相關(guān)聯(lián)的縱橫比確定關(guān)于目標(biāo)的跟蹤級別分類。確定關(guān)于目標(biāo)的跟蹤級別分類還包括:基于與目標(biāo)相關(guān)聯(lián)的縱橫比和與目標(biāo)相關(guān)聯(lián)的定向縱橫比確定關(guān)于目標(biāo)的跟蹤級別分類。確定關(guān)于目標(biāo)的跟蹤級別分類包括:構(gòu)建與關(guān)于被跟蹤的目標(biāo)的縱橫比相關(guān)聯(lián)的定向聚類；和構(gòu)建與關(guān)于被跟蹤的目標(biāo)的定向縱橫比相關(guān)聯(lián)的定向聚類；和基于與縱橫比相關(guān)聯(lián)的定向聚類和與定向縱橫比相關(guān)聯(lián)的定向聚類確定關(guān)于目標(biāo)的跟蹤級別分類；和基于跟蹤級別分類更新關(guān)于被跟蹤的目標(biāo)的跟蹤級別分類結(jié)果的直方圖。確定關(guān)于目標(biāo)的全局聚類分類還包括基于目標(biāo)的大小確定關(guān)于目標(biāo)的全局聚類分類。確定關(guān)于目標(biāo)的全局聚類分類還包括:更新關(guān)于被持續(xù)被跟蹤的目標(biāo)訪問的位置的目標(biāo)大小的本地模型；通過將全局聚類與本地模型相關(guān)聯(lián)更新全局聚類，本地模型具有與全局聚類相關(guān)聯(lián)的目標(biāo)大小匹配的目標(biāo)大小并且被持續(xù)被跟蹤的目標(biāo)訪問。更新全局聚類包括:更新與相匹配的目標(biāo)相關(guān)聯(lián)的跟蹤級別分類結(jié)果的直方圖；基于匹配的目標(biāo)更新定向聚類，定向聚類與被跟蹤目標(biāo)的定向縱橫比和縱橫比相關(guān)聯(lián)；創(chuàng)建關(guān)于每個全局聚類的目標(biāo)大小的特征映射以解決在全局聚類合并中的沖突；，并創(chuàng)建聚類-類型映射以將全局聚類轉(zhuǎn)換為確定的目標(biāo)類型。確定目標(biāo)是否已經(jīng)在一個方向連續(xù)移動了至少預(yù)定閾值距離，并且如果目標(biāo)已經(jīng)移動的距離還沒有大于預(yù)定閾值距離，基于關(guān)于目標(biāo)的全局聚類分類而不是基于關(guān)于目標(biāo)的跟蹤級別分類確定關(guān)于目標(biāo)的目標(biāo)類型。
[0013]根據(jù)本公開的被配置為識別在被攝像機(jī)捕捉的視頻內(nèi)容中的目標(biāo)的監(jiān)控系統(tǒng)示例包括:用于接收被攝像機(jī)捕捉的場景的視頻內(nèi)容的裝置；用于檢測在視頻內(nèi)容中的目標(biāo)的裝置；用于識別目標(biāo)在一系列幀的視頻內(nèi)容上遵循的蹤跡的裝置；用于從視頻內(nèi)容中提取出關(guān)于目標(biāo)的目標(biāo)特征的裝置；和基于目標(biāo)特征對目標(biāo)進(jìn)行分類的裝置。對目標(biāo)進(jìn)行分類包括:用于使用空間不變的目標(biāo)特征確定關(guān)于目標(biāo)的跟蹤級別分類的裝置；用于使用空間變化特征確定關(guān)于目標(biāo)的全局聚類分類的裝置；和用于基于關(guān)于目標(biāo)的跟蹤級別分類和基于關(guān)于目標(biāo)的全局聚類分類確定關(guān)于目標(biāo)的目標(biāo)類型的裝置。
[0014]這樣的監(jiān)控系統(tǒng)的實現(xiàn)可以包括一個或多個以下特征。用于確定關(guān)于目標(biāo)的跟蹤級別分類的裝置還包括:用于基于與目標(biāo)相關(guān)聯(lián)的縱橫比確定關(guān)于目標(biāo)的跟蹤級別分類的裝置。用于確定關(guān)于目標(biāo)的跟蹤級別分類的裝置還包括用于基于與目標(biāo)相關(guān)聯(lián)的縱橫比和與目標(biāo)相關(guān)聯(lián)的定向縱橫比確定關(guān)于目標(biāo)的跟蹤級別分類的裝置。用于確定關(guān)于目標(biāo)的跟蹤級別分類的裝置包括:用于構(gòu)建與關(guān)于被跟蹤的目標(biāo)的縱橫比相關(guān)聯(lián)的定向聚類的裝置；用于構(gòu)建與被跟蹤的目標(biāo)的定向縱橫比相關(guān)聯(lián)的定向聚類的裝置；和用于基于與縱橫比相關(guān)聯(lián)的定向聚類和與定向縱橫比相關(guān)聯(lián)的定向聚類確定關(guān)于目標(biāo)的跟蹤級別分類的裝置；和用于基于跟蹤級別分類更新關(guān)于被跟蹤的目標(biāo)的跟蹤級別分類結(jié)果的直方圖的裝置。用于確定關(guān)于目標(biāo)的全局聚類分類的裝置包括用于基于目標(biāo)大小確定關(guān)于目標(biāo)的全局聚類分類的裝置。用于確定關(guān)于目標(biāo)的全局聚類分類的裝置包括:用于更新關(guān)于被持續(xù)被跟蹤的目標(biāo)訪問的位置的目標(biāo)大小的本地模型的裝置；用于通過將本地模型與全局聚類相關(guān)聯(lián)更新全局聚類的裝置，本地模型具有與全局聚類相關(guān)聯(lián)的目標(biāo)大小匹配的目標(biāo)大小并且被持續(xù)被跟蹤目標(biāo)訪問。用于更新全局聚類的裝置包括:用于更新與相匹配的目標(biāo)相關(guān)聯(lián)的跟蹤級別分類結(jié)果的直方圖的裝置；用于基于相匹配的目標(biāo)更新定向聚類的裝置，定向聚類與被跟蹤目標(biāo)的定向縱橫比和縱橫比相關(guān)聯(lián)；用于創(chuàng)建關(guān)于每個全局聚類的目標(biāo)大小的特征映射，以解決在全局聚類合并中的沖突的裝置；和用于創(chuàng)建聚類-類型映射以將全局聚類轉(zhuǎn)換為確定目標(biāo)類型的裝置。用于確定所述目標(biāo)是否已經(jīng)在一個方向連續(xù)移動至少預(yù)定閾值距離的裝置；和用于如果目標(biāo)移動的距離沒有大于預(yù)定閾值距離，基于關(guān)于目標(biāo)的全局聚類分類而不是基于關(guān)于目標(biāo)的跟蹤級別分類確定關(guān)于目標(biāo)的目標(biāo)類型的裝置。
[0015]根據(jù)本公開的被配置為識別在被攝像機(jī)捕捉的視頻內(nèi)容中的目標(biāo)的監(jiān)控系統(tǒng)的示例包括:有形的、非暫時性計算機(jī)可讀存儲器、存儲在存儲器中的包含處理器可執(zhí)行代碼的多個模塊、連接到存儲器和被配置為訪問存儲在存儲器中的多個模塊的處理器、視頻處理模塊。視頻處理模塊被配置為:接收被攝像機(jī)捕捉的場景的視頻內(nèi)容；檢測在視頻內(nèi)容中的目標(biāo)；識別目標(biāo)在一系列幀的視頻內(nèi)容上遵循的蹤跡；將關(guān)于目標(biāo)的目標(biāo)特征從視頻內(nèi)容中提取出來；并基于目標(biāo)特征對目標(biāo)進(jìn)行分類。為了對目標(biāo)進(jìn)行分類，視頻處理模塊還被配置為:使用空間不變目標(biāo)特征確定關(guān)于目標(biāo)的跟蹤級別分類；使用空間變化特征確定關(guān)于目標(biāo)的全局聚類分類；和基于關(guān)于目標(biāo)的跟蹤級別分類和關(guān)于目標(biāo)的全局聚類分類確定關(guān)于目標(biāo)的目標(biāo)類型。
[0016]這樣的監(jiān)控系統(tǒng)的實現(xiàn)可以包括一個或多個以下特征。被配置為確定關(guān)于目標(biāo)的跟蹤級別分類的視頻處理模塊還被配置為基于與目標(biāo)相關(guān)聯(lián)的縱橫比確定關(guān)于目標(biāo)的跟蹤級別分類。被配置為確定關(guān)于目標(biāo)的跟蹤級別分類的視頻處理模塊還被配置為基于與目標(biāo)相關(guān)聯(lián)的縱橫比和與目標(biāo)相關(guān)聯(lián)的定向縱橫比確定關(guān)于目標(biāo)的跟蹤級別分類。被配置為確定關(guān)于目標(biāo)的跟蹤級別分類的視頻處理模塊還被配置為:構(gòu)建與關(guān)于被跟蹤的目標(biāo)的縱橫比相關(guān)聯(lián)的定向聚類；和構(gòu)建與關(guān)于被跟蹤的目標(biāo)的定向縱橫比相關(guān)聯(lián)的定向聚類；和基于與縱橫比相關(guān)聯(lián)的定向聚類和與定向縱橫比相關(guān)聯(lián)的定向聚類確定關(guān)于目標(biāo)的跟蹤級別分類；和基于跟蹤級別分類更新關(guān)于被跟蹤的目標(biāo)的跟蹤級別分類結(jié)果的直方圖。被配置為確定關(guān)于目標(biāo)的全局聚類分類的視頻處理模塊還被配置為基于目標(biāo)大小確定關(guān)于目標(biāo)的全局聚類分類。被配置為確定關(guān)于目標(biāo)的全局聚類分類的視頻處理模塊還被配置為:更新關(guān)于被持續(xù)被跟蹤的目標(biāo)訪問的位置的目標(biāo)大小的本地模型，通過將本地模型與全局聚類相關(guān)聯(lián)更新本地聚類，本地模型具有與全局聚類相關(guān)聯(lián)的目標(biāo)大小匹配的目標(biāo)大小并且被持續(xù)被跟蹤的目標(biāo)訪問。被配置為更新全局聚類的視頻處理模塊還被配置為:更新與相匹配目標(biāo)相關(guān)聯(lián)的跟蹤級別分類結(jié)果的直方圖；基于相匹配的目標(biāo)更新定向聚類，定向聚類與被跟蹤的目標(biāo)的定向縱橫比和被跟蹤目標(biāo)的縱橫比相關(guān)聯(lián)；創(chuàng)建關(guān)于每個全局聚類的目標(biāo)大小的特征映射以解決在全局聚類合并中的沖突；和創(chuàng)建聚類-類型映射以將全局聚類轉(zhuǎn)換為確定的目標(biāo)類型。視頻處理模塊還被配置為:確定目標(biāo)是否已經(jīng)在一個方向連續(xù)移動至少預(yù)定閾值距離；和如果目標(biāo)已經(jīng)移動的距離沒有大于預(yù)定閾值距離，基于目標(biāo)的全局聚類分類而不是基于目標(biāo)的跟蹤級別分類確定關(guān)于目標(biāo)的目標(biāo)類型。
[0017]根據(jù)本公開的具有在其上存儲有識別在視頻內(nèi)容中的目標(biāo)的計算機(jī)可讀指令的有形的計算機(jī)可讀介質(zhì)的示例包括被配置為引起計算機(jī)執(zhí)行以下操作的指令:接收被攝像機(jī)捕捉的場景的視頻內(nèi)容；檢測在視頻內(nèi)容中的目標(biāo)；識別目標(biāo)在一系列幀的視頻內(nèi)容上遵循的蹤跡；將關(guān)于目標(biāo)的目標(biāo)特征從視頻內(nèi)容中提取出來；和基于目標(biāo)特征對目標(biāo)進(jìn)行分類。對目標(biāo)進(jìn)行分類的指令包括實現(xiàn)以下操作的指令:使用空間不變目標(biāo)特征確定關(guān)于目標(biāo)的跟蹤級別分類；使用空間變化特征確定關(guān)于目標(biāo)的全局聚類分類；和基于關(guān)于目標(biāo)的跟蹤級別分類和關(guān)于目標(biāo)的全局聚類分類確定關(guān)于目標(biāo)的目標(biāo)類型。
[0018]這樣的監(jiān)控系統(tǒng)的實現(xiàn)可以包括一個或多個以下特征。引起計算機(jī)確定關(guān)于目標(biāo)的跟蹤級別分類的代碼還包括引起計算機(jī)基于與目標(biāo)相關(guān)聯(lián)的縱橫比確定關(guān)于目標(biāo)的跟蹤級別分類的代碼。引起計算機(jī)確定關(guān)于目標(biāo)的跟蹤級別分類的代碼還包括引起計算機(jī)基于與目標(biāo)相關(guān)聯(lián)的縱橫比和與目標(biāo)相關(guān)聯(lián)的定向縱橫比確定關(guān)于目標(biāo)的跟蹤級別分類的代碼。引起計算機(jī)確定關(guān)于目標(biāo)的跟蹤級別分類的代碼還包括引起計算機(jī)進(jìn)行以下操作的代碼:構(gòu)建與關(guān)于被跟蹤目標(biāo)的縱橫比相關(guān)聯(lián)的定向聚類；構(gòu)建與關(guān)于被跟蹤目標(biāo)的定向縱橫比相關(guān)聯(lián)的定向聚類；基于與縱橫比相關(guān)聯(lián)的定向聚類和與定向縱橫比相關(guān)聯(lián)的定向聚類確定關(guān)于目標(biāo)的跟蹤級別分類；和基于跟蹤級別分類更新關(guān)于被跟蹤目標(biāo)的跟蹤級別分類結(jié)果的直方圖。引起計算機(jī)確定關(guān)于目標(biāo)的全局聚類分類的代碼還包括引起計算機(jī)基于目標(biāo)大小確定關(guān)于目標(biāo)的全局聚類分類的代碼。引起計算機(jī)確定關(guān)于目標(biāo)的全局聚類分類的代碼包括引起計算機(jī)執(zhí)行以下操作的代碼:更新關(guān)于被持續(xù)被跟蹤目標(biāo)訪問的位置的目標(biāo)大小的本地模型；通過將本地模型與全局聚類相關(guān)聯(lián)來更新全局聚類，本地模型具有與全局聚類相關(guān)聯(lián)的目標(biāo)大小匹配的目標(biāo)大小并且被持續(xù)被跟蹤目標(biāo)訪問。更新全局聚類的代碼還包括實現(xiàn)以下操作的代碼:更新與相匹配的目標(biāo)相關(guān)聯(lián)的跟蹤級別分類結(jié)果的直方圖；基于相匹配的目標(biāo)更新定向聚類，定向聚類與被跟蹤目標(biāo)的定向縱橫比和被跟蹤目標(biāo)的縱橫比相關(guān)聯(lián)；創(chuàng)建關(guān)于每個全局聚類的目標(biāo)大小的特征映射以解決在全局聚類合并中的沖突；和創(chuàng)建聚類-類型映射以將全局聚類轉(zhuǎn)換為確定的目標(biāo)類型。引起計算機(jī)確定以下內(nèi)容的代碼:確定目標(biāo)是否已經(jīng)在一個方向連續(xù)移動預(yù)定閾值距離；和如果目標(biāo)已經(jīng)移動的距離沒有大于預(yù)定閾值距離，基于目標(biāo)的全局聚類分類而不是基于目標(biāo)的跟蹤級別分類確定關(guān)于目標(biāo)的目標(biāo)類型。
[0019]附圖簡述
[0020]圖1是可以用于實現(xiàn)本文公開的技術(shù)的視頻監(jiān)控系統(tǒng)100的框圖。
[0021]圖2是可以用于實現(xiàn)圖1中示出的視頻分析服務(wù)器的服務(wù)器的框圖。
[0022]圖3是可以用于實現(xiàn)圖1中示出的攝像機(jī)的攝像機(jī)的框圖。
[0023]圖4是用于通過攝像機(jī)捕捉的視頻內(nèi)容中的目標(biāo)分類的方法的流程圖。
[0024]圖5是示出了關(guān)于使用目標(biāo)特征的目標(biāo)分類的示例技術(shù)的步驟的框圖。
[0025]圖6是關(guān)于目標(biāo)分類方法的流程圖。
[0026]圖7提供了示出了圖6中示出的技術(shù)可以如何應(yīng)用于傳送目標(biāo)的跟蹤信息以獲得全局聚類的示例。
[0027]圖8是示出了全局聚類和本地模型之間的關(guān)系的示例圖。
[0028]圖9是示出了關(guān)于基于跟蹤級別結(jié)果(在跟蹤取得的目標(biāo)類型方面)和全局聚類結(jié)果(在基于目標(biāo)類型的聚類方面)確定最終目標(biāo)分類結(jié)果的方法的流程圖
[0029]圖10A、圖1OB和圖1OC示出了示例特征映射。
[0030]圖11A、圖1IB和圖1lC示出了示例目標(biāo)分類結(jié)果。
[0031]詳細(xì)描述
[0032]用于固定位置監(jiān)控相機(jī)的基于聚類的目標(biāo)分類的技術(shù)在本文進(jìn)行了公開。確定出現(xiàn)在監(jiān)控相機(jī)視野的目標(biāo)的目標(biāo)類型是被監(jiān)控相機(jī)捕捉的視頻內(nèi)容的視頻分析處理的重要方面。視頻監(jiān)控應(yīng)用可以使用被檢測的目標(biāo)的目標(biāo)類型以響應(yīng)被檢測的目標(biāo)來確定監(jiān)控系統(tǒng)應(yīng)采用哪種處理和/或響應(yīng)。例如，視頻監(jiān)控軟件可以被配置觸發(fā)警報以響應(yīng)于在被監(jiān)視的特定位置檢測某些類型的目標(biāo)。在一個示例中，視頻監(jiān)控軟件可以被配置為檢測有人在銀行金庫或其它限制區(qū)域的出現(xiàn)，其中出現(xiàn)人應(yīng)該觸發(fā)警報或向保安人員報警未經(jīng)授權(quán)的出現(xiàn)。視頻監(jiān)控軟件也可以被配置為搜索與特定類型目標(biāo)相關(guān)的事件。例如，視頻監(jiān)控軟件可以被配置為識別在特定位置出現(xiàn)和離開的大型卡車。在另一個示例中，視頻監(jiān)控軟件可以被配置為對在零售店出現(xiàn)的人的數(shù)目進(jìn)行計數(shù)或?qū)υ谕＼噲龅能囕v的數(shù)目進(jìn)行計數(shù)。
[0033]對在視頻內(nèi)容中的進(jìn)行目標(biāo)分類的常規(guī)方法需要花費用戶的大量手工勞動。常規(guī)方法的有效性通常取決于預(yù)置參數(shù)，其必須被限定為與每個感興趣的目標(biāo)類型相關(guān)聯(lián)的選擇的特征。例如，這些參考值可以包括人、汽車、廂式貨車或卡車的平均尺寸大小的大小和縱橫比。為了使用這些參考值，通常做出某些假設(shè)。例如，在常規(guī)系統(tǒng)中視頻監(jiān)控軟件通常需要相機(jī)的設(shè)置保持不變使得從視頻內(nèi)容中提取的關(guān)于目標(biāo)的數(shù)據(jù)不會被場景中的噪聲污染。即使輕微移動相機(jī)使得預(yù)置參考值無效，因為預(yù)置參考值可能不再與新的相機(jī)設(shè)置—致。
[0034]此外，大的陰影和反射能干擾常規(guī)技術(shù)對被監(jiān)視的場景中的目標(biāo)進(jìn)行提取和分類。例如，用于檢測在室外場景中的目標(biāo)的一組參考值，例如，大小尺寸和縱橫比的參數(shù)，在陰天起作用但是在晴天有可能不起作用，因為陰影可能引起在目標(biāo)大小和縱橫比方面與視頻分析算法所考慮到的存在顯著差異。在另一個示例中，針對白天場景選擇的參考特征值可能不適用于夜間場景。來自過往車輛的燈光可能引起在由常規(guī)視頻分析算法進(jìn)行的目標(biāo)檢測中的誤差。在目標(biāo)特征中的大的改變也可以引起常規(guī)算法不能正確進(jìn)行目標(biāo)分類。
[0035]目標(biāo)特征
[0036]本文公開的技術(shù)通過使用兩種不同類型的視覺特征((I)空間變化特征，和(2)空間不變特征)對目標(biāo)進(jìn)行分類提供了改進(jìn)的目標(biāo)分類。空間變化特征相對于正在被監(jiān)視場景內(nèi)的目標(biāo)位置而變化。空間變化特征的示例包括目標(biāo)大小、寬度和高度。在許多視頻監(jiān)控應(yīng)用中，相機(jī)被定向向下向前，意味著相機(jī)向下成一定的角度對著相機(jī)前面的場景(例如，如相對于面向垂直向下或垂直向上朝著場景)。由于場景的相機(jī)的透視圖，空間變化特征例如目標(biāo)大小、寬度、和高度能隨著目標(biāo)相對于相機(jī)移動而變化?？臻g不變特征是與隨著在場景中的目標(biāo)位置相對于相機(jī)變化而不發(fā)生變化的目標(biāo)相關(guān)的特征?？臻g不變特征的示例包括目標(biāo)的形狀和目標(biāo)的縱橫比。
[0037]本文公開的目標(biāo)分類技術(shù)能基于與從視頻內(nèi)容中提取的目標(biāo)相關(guān)聯(lián)的空間不變特征的跟蹤級別總結(jié)(summarizat1n)對目標(biāo)進(jìn)行分類。蹤跡代表，從目標(biāo)在相機(jī)的視野首次出現(xiàn)到目標(biāo)在相機(jī)的視野消失的時間，在相機(jī)視野中的相同主體的可視目標(biāo)的序列。在示例中，攝像機(jī)可以被定位以監(jiān)視停車場，并且監(jiān)控系統(tǒng)的視頻分析算法，可以被配置為當(dāng)汽車進(jìn)入相機(jī)的視野時，基于縱橫比、形狀和/或其它不變特征來識別被相機(jī)捕捉的視頻內(nèi)容中的汽車。
[0038]使用觀察到的不變特征，視頻分析算法可以建立代表在被攝像機(jī)捕捉的視頻內(nèi)容的幀中檢測的可視的目標(biāo)的序列的蹤跡。通過比較在兩個幀中的目標(biāo)的不變特征，視頻分析算法可以通過識別在不同幀的視頻內(nèi)容中檢測的可視目標(biāo)之間的關(guān)聯(lián)構(gòu)建蹤跡。如果可視目標(biāo)的不變特征相匹配，那么在每個幀中的可視目標(biāo)很有可能代表來自場景的相同目標(biāo)。返回到其中汽車進(jìn)入攝像機(jī)的視野的示例，視頻分析算法可以構(gòu)建代表汽車前進(jìn)通過被攝像機(jī)捕捉的在一系列幀的視頻內(nèi)容上的正被監(jiān)視的場景的蹤跡。視頻分析算法能識別在一系列幀的視頻內(nèi)容上代表汽車的可視目標(biāo)，并通過比較可視目標(biāo)的例如可視目標(biāo)的縱橫比和/或形狀的不變特征來確定可視目標(biāo)表示相同目標(biāo)，進(jìn)行確定那些可視目標(biāo)代表相同目標(biāo)，汽車。
[0039]本文公開的目標(biāo)分類技術(shù)也可以通過場景級別目標(biāo)聚類對目標(biāo)進(jìn)行分類。在視頻內(nèi)容中檢測的可視目標(biāo)可以通過確定目標(biāo)屬于哪種聚類進(jìn)行分類。視頻分析算法可以通過檢查目標(biāo)的空間變化特征將可視目標(biāo)與聚類相關(guān)聯(lián)。例如，目標(biāo)大小、寬度、和高度可以用于確定目標(biāo)屬于哪種聚類。
[0040]本文公開的技術(shù)可以使用基于蹤跡的分類和基于聚類的分類兩者以提供關(guān)于在被攝像機(jī)捕捉的視頻內(nèi)容中識別的目標(biāo)類型穩(wěn)健決策。
[0041]本文公開的技術(shù)可以使用各種目標(biāo)特征用于對進(jìn)行目標(biāo)分類，包括:(1)目標(biāo)大小:代表在特定時間點的視頻內(nèi)容中的特定目標(biāo)的區(qū)域(像素數(shù))；(2)目標(biāo)縱橫比:目標(biāo)的高度與目標(biāo)的寬度的比值(高度和寬度可以表示為像素數(shù))；和(3)目標(biāo)定向縱橫比:在垂直方向的目標(biāo)長度與目標(biāo)顯著移動方向上在平行方向的目標(biāo)長度的比值。關(guān)于目標(biāo)的顯著移動方向代表目標(biāo)在一個方向上沿著連續(xù)移動顯著距離的方向。在目標(biāo)被認(rèn)為已經(jīng)移動了被認(rèn)為是顯著移動的足夠距離之前，目標(biāo)必須移動的閥值距離可以被限定用于每個實現(xiàn)。目標(biāo)可以由邊界框或其輪廓代表，其可以得出以上關(guān)于目標(biāo)的三個特征。
[0042]系統(tǒng)圖
[0043]圖1是可以用于實現(xiàn)本文公開的技術(shù)的視頻監(jiān)控系統(tǒng)100的框圖。視頻監(jiān)控系統(tǒng)100包括攝像機(jī)105。攝像機(jī)105被配置為捕捉場景視頻，量化數(shù)據(jù)，并通過網(wǎng)絡(luò)115將數(shù)據(jù)傳送到視頻分析服務(wù)器120。網(wǎng)絡(luò)115可以包括一個或多個局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)、或其組合。網(wǎng)絡(luò)115可以是因特網(wǎng)。視頻分析服務(wù)器120可以被配置為執(zhí)行視頻分析算法，其實現(xiàn)在本文公開的用于對由攝像機(jī)105捕捉的視頻內(nèi)容中的被識別進(jìn)行目標(biāo)分類的技術(shù)。在圖1中示出的示例中，視頻監(jiān)控系統(tǒng)100包括單個攝像機(jī)105，但是視頻監(jiān)控系統(tǒng)可包括多個攝像機(jī)105。
[0044]攝像機(jī)105可以被布置在要被監(jiān)視的固定位置。例如，攝像機(jī)105可以布置在娛樂場所、商店、大型購物中心、政府設(shè)施、工業(yè)園區(qū)、飛機(jī)場、或通向被監(jiān)控位置的其它位置。攝像機(jī)105可以安裝在室內(nèi)或室外，并且可以被配置為監(jiān)視人、車輛交通、或移動穿過相機(jī)的視野的其它目標(biāo)。典型的視頻監(jiān)控系統(tǒng)可以包括被放置在遍布開始被監(jiān)視的設(shè)施的數(shù)以百計的相機(jī)。
[0045]視頻分析服務(wù)器120可以位于和攝像機(jī)105相同的位置或遠(yuǎn)程位置。視頻分析服務(wù)器120可以位于安全操作中心或位于不受天氣和環(huán)境條件影響的位置的其他位置，但是攝像機(jī)105可以位于相機(jī)容易遭受熱應(yīng)力、風(fēng)、雨、灰塵、煙、污染和其它環(huán)境條件的位置。
[0046]視頻分析服務(wù)器120可以被配置為關(guān)于被攝像機(jī)105捕捉到視頻內(nèi)容執(zhí)行視頻分析算法。視頻分析算法可以實現(xiàn)本文公開的用于對由攝像機(jī)105捕捉的視頻內(nèi)容中的被識別的目標(biāo)進(jìn)行分類的技術(shù)。視頻分析算法可以被配置為建立正在被攝像機(jī)105監(jiān)視的場景的背景的模型。場景的背景的模型可以由視頻分析算法用于在接收來自攝像機(jī)的視頻內(nèi)容中的背景目標(biāo)和前景目標(biāo)之間進(jìn)行區(qū)分。視頻分析算法可以被配置為在初始化期間通過分析由攝像機(jī)105捕捉的視頻內(nèi)容構(gòu)建背景模型以識別包含場景背景的目標(biāo)。視頻分析服務(wù)器120可以被配置為定期更新背景的模型。更新背景可以使得分析算法能夠適應(yīng)照明情況(例如白天和夜晚)的改變或天氣情況(例如陰天和晴天)的改變。
[0047]例如，前景目標(biāo)可以包括監(jiān)控系統(tǒng)100被配置監(jiān)視的人、車輛、或其它目標(biāo)。由視頻分析服務(wù)器120采用的分析算法也可以識別背景目標(biāo)，例如巖石、樹木、建筑物和是背景的一部分的和不應(yīng)當(dāng)觸發(fā)警告的已經(jīng)被檢測的可疑目標(biāo)的其它目標(biāo)。分析算法可以從前景目標(biāo)例如出現(xiàn)在場景中的人、動物或車輛中區(qū)分這樣的背景目標(biāo)。
[0048]分析算法也可以被配置為識別是背景的一部分的移動。例如，分析算法可以識別在風(fēng)中移動的樹木或在微風(fēng)中擺動的旗幟并且可以從在前景中的移動區(qū)分這種移動。因此，分析算法可以在是前景的一部分的移動和是背景的一部分的移動之間進(jìn)行區(qū)分，并允許分析算法識別潛在的威脅或感興趣的事件而不會創(chuàng)建由在場景的背景中的移動引起的錯誤警報。
[0049]圖2是圖1中示出的視頻分析服務(wù)器120的示例的框圖。視頻分析服務(wù)器120包括處理器205、存儲器220、數(shù)據(jù)存儲230、和網(wǎng)絡(luò)接口 240。存儲器220包括網(wǎng)絡(luò)接口模塊222、視頻處理模塊224、和數(shù)據(jù)存取模塊226。存儲器220可以包括一種或多種類型的有形的、非暫時性的計算機(jī)可讀存儲器，例如隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、閃存、或其組合。模塊222、模塊224、和模塊226可以包括可以由處理器205執(zhí)行的處理器可執(zhí)行指令。
[0050]處理器205可以包括被配置為訪問存儲器220的一個或多個微處理器。處理器205可以從存儲器220中讀取數(shù)據(jù)和將數(shù)據(jù)寫入到存儲器220。處理器205也可以從存儲器220中讀取可執(zhí)行程序代碼并執(zhí)行程序代碼。
[0051]數(shù)據(jù)存儲230可以包括可以被用于存儲通過網(wǎng)絡(luò)115從攝像機(jī)105接收的視頻數(shù)據(jù)、量化數(shù)據(jù)、和/或其它相關(guān)數(shù)據(jù)的有形的、非暫時性存儲器。數(shù)據(jù)存儲230也可以用于存儲由在存儲器220中實現(xiàn)的各種模塊產(chǎn)生的數(shù)據(jù)和/或接收來自攝像機(jī)105的視頻內(nèi)容。在替代實施方式中，數(shù)據(jù)存儲230可以在存儲器230中實現(xiàn)。
[0052]網(wǎng)絡(luò)接口模塊222可以被配置為通過網(wǎng)絡(luò)接口 240接收來自網(wǎng)絡(luò)115的數(shù)據(jù)。網(wǎng)絡(luò)接口模塊222也可以被配置為通過網(wǎng)絡(luò)115將信息傳送到攝像機(jī)105或其它網(wǎng)絡(luò)連接的設(shè)備。
[0053]視頻處理模塊224被配置為處理接收的來自攝像機(jī)105的視頻內(nèi)容。視頻處理模塊224可以被配置為從攝像機(jī)105接收視頻內(nèi)容和將視頻內(nèi)容存儲在數(shù)據(jù)存儲230中。
[0054]視頻處理模塊224可以將一種或多種視頻分析算法應(yīng)用于從攝像機(jī)105接收的視頻內(nèi)容。視頻分析算法可以實現(xiàn)本文公開的目標(biāo)分類技術(shù)。視頻分析算法也可以被配置為識別事件，例如在正被監(jiān)視的位置的人、車輛或動物的出現(xiàn)，并且對事件觸發(fā)響應(yīng)，例如，發(fā)出警報或觸發(fā)繼電器以執(zhí)行一些動作，例如關(guān)門。
[0055]視頻處理模塊224也可以被配置為將來自攝像機(jī)105的視頻內(nèi)容存儲在數(shù)據(jù)存儲230中。視頻處理模塊224也可以被配置為將目標(biāo)分類數(shù)據(jù)存儲在數(shù)據(jù)存儲230中。例如，視頻處理模塊224可以被配置為關(guān)于從攝像機(jī)105接收的視頻內(nèi)容執(zhí)行視頻分析算法以對在視頻內(nèi)容中發(fā)現(xiàn)的目標(biāo)進(jìn)行分類。視頻處理模塊224可以在數(shù)據(jù)存儲230中存儲與視頻內(nèi)容相關(guān)的目標(biāo)類型以便于在存儲的視頻內(nèi)容中搜索特定類型的目標(biāo)。
[0056]數(shù)據(jù)存取模塊226可以被配置為訪問在數(shù)據(jù)230中存儲的數(shù)據(jù)并且將數(shù)據(jù)寫入到數(shù)據(jù)存儲230。數(shù)據(jù)存取模塊226可以被配置為從存儲器220中讀取數(shù)據(jù)和/或?qū)?shù)據(jù)寫入存儲器220。數(shù)據(jù)存儲230可以用于訪問由視頻處理模塊224根據(jù)從攝像機(jī)105接收的數(shù)據(jù)導(dǎo)出的存儲的圖像模型和存儲的背景模型。
[0057]圖3是在圖1中示出的攝像機(jī)105的示例的框圖。攝像機(jī)105包括處理器305、存儲器320、圖像傳感器330、鏡頭335、和網(wǎng)絡(luò)接口 340。存儲器320包括網(wǎng)絡(luò)接口模塊322和視頻量化模塊324。存儲器320可以包括一種或多種類型的有形的、非暫時性計算機(jī)可讀存儲器，例如隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、閃存、或其組合。模塊可以包括可以被處理器305執(zhí)行的處理器可執(zhí)行指令。
[0058]鏡頭335被配置為捕捉從正被攝像機(jī)105監(jiān)視的場景接收的光。鏡頭335可以將接收的光集中在圖像傳感器330上。
[0059]圖像傳感器330可以被配置為檢測被鏡頭335捕捉的光。圖像傳感器330可以包括各種類型的圖像傳感器，例如數(shù)字電荷耦合設(shè)備(CCD)或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)有源像素傳感器。也可以使用其它類型的圖像傳感器。
[0060]處理器305可以包括被配置為訪問存儲器320的一個或多個微處理器。處理器305可以從存儲器320中讀取數(shù)據(jù)和將數(shù)據(jù)寫入存儲器320。處理器305也可以從存儲器320中讀取可執(zhí)行程序代碼并執(zhí)行程序代碼。存儲器320可以包括一組模塊，其包含可以被處理器305執(zhí)行的可執(zhí)行程序代碼。
[0061]網(wǎng)絡(luò)接口模塊322被配置為通過網(wǎng)絡(luò)接口 340從網(wǎng)絡(luò)115接收數(shù)據(jù)。網(wǎng)絡(luò)接口模塊322也可以被配置為通過網(wǎng)絡(luò)115傳送信息到視頻分析服務(wù)器120或其它網(wǎng)絡(luò)連接的設(shè)備。
[0062]視頻量化模塊324被配置為處理從圖像傳感器330接收的傳感器數(shù)據(jù)以創(chuàng)建代表正被攝像機(jī)105監(jiān)視的場景的視頻內(nèi)容。
[0063]視頻量化模塊324可以被配置為將高位視頻內(nèi)容轉(zhuǎn)換為可以被由視頻分析服務(wù)器120執(zhí)行的視頻分析算法處理的低位視頻內(nèi)容。例如，視頻量化模塊324可以被配置為將由熱傳感器產(chǎn)生的例如12位或16位數(shù)據(jù)的大于8位的視頻數(shù)據(jù)轉(zhuǎn)換為分析算法所期望的8位數(shù)據(jù)。
[0064]目標(biāo)分類
[0065]圖4是用于對由攝像機(jī)捕捉的視頻內(nèi)容進(jìn)行目標(biāo)分類的方法的流程圖。視頻內(nèi)容的幀由攝像機(jī)(例如攝像機(jī)105)捕捉(階段401)。捕捉的圖像幀被處理為以對相機(jī)的視野的背景建模(階段402)?？梢员粍?chuàng)建的背景的模型以識別在相機(jī)視野中的哪些項目屬于背景和識別相機(jī)視野中的哪些項目在前景中。在背景中的項目，例如樹木、巖石、標(biāo)牌、家具、和不需要被視頻分析算法進(jìn)行跟蹤或分類的其它這樣的背景項目。各種技術(shù)可以被用于開發(fā)例如混合高斯模型、移動平均、和非參數(shù)方法的背景的模型。其它技術(shù)也可以被用于創(chuàng)建背景的模型。一旦已經(jīng)開發(fā)出來背景的模型，前景像素則可以從被攝像機(jī)105捕捉的視頻內(nèi)容提取出來，并且前景像素然后可以聚集在一起以形成運動塊(階段403)。目標(biāo)然后可以被在連續(xù)幀的視頻內(nèi)容上被跟蹤(階段404)，并且可以提取關(guān)于每個被跟蹤目標(biāo)的目標(biāo)特征(階段405)。然后可以使用被提取的目標(biāo)特征對目標(biāo)進(jìn)行分類(階段406)。
[0066]圖5是示出了關(guān)于使用目標(biāo)特征進(jìn)行目標(biāo)分類的示例技術(shù)的步驟的框圖。方法包括目標(biāo)跟蹤(階段501)，然后是基于目標(biāo)大小的全局聚類(階段502)和基于縱橫比的跟蹤級別分類(階段503)。基于目標(biāo)大小的全局聚類和基于縱橫比的跟蹤級別分類的結(jié)果然后融合為最終的目標(biāo)類型決定(階段504)。這些階段中的每一個將在隨后的附圖中在示例中更加詳細(xì)地進(jìn)行描述。
[0067]對每個被跟蹤的目標(biāo)而言，當(dāng)使用以下分類步驟時可以識別目標(biāo)類型:(I)使用與目標(biāo)相關(guān)聯(lián)的目標(biāo)大小信息確定目標(biāo)屬于哪個聚類；(2)使用顯著移動方向的目標(biāo)縱橫比和定向目標(biāo)縱橫比識別目標(biāo)類型(如果可能)；和(3)融合全局聚類和跟蹤級別分類的結(jié)果以確定關(guān)于目標(biāo)的目標(biāo)類型?；谂c已經(jīng)出現(xiàn)在場景中的被跟蹤目標(biāo)相關(guān)聯(lián)的目標(biāo)大小識別全局聚類，并且全局聚類中的每一個可以被映射到某些類型的目標(biāo)(例如，人、車輛或其它類型的目標(biāo))。聚類到目標(biāo)類型的映射是自動完成的。用戶不需要選擇目標(biāo)屬于哪種聚類。
[0068]圖6是關(guān)于目標(biāo)分類方法的流程圖。在圖6中示出的方法可以被視頻分析服務(wù)器120的視頻處理模塊224執(zhí)行。方法包括兩個主要部分，跟蹤級別分類部分和基于全局聚類的分類部分。
[0069]方法開始于接收被攝像機(jī)105捕捉的視頻的幀(階段601)。攝像機(jī)105可以捕捉視頻內(nèi)容并通過網(wǎng)絡(luò)115將視頻內(nèi)容傳送到視頻分析服務(wù)器120。
[0070]在場景中的目標(biāo)然后可以被提取出和被跟蹤(階段602)。本領(lǐng)域的各種已知技術(shù)可以用于從接收的來自攝像機(jī)的視頻的幀中提取和用于跟蹤通過場景的被提取的目標(biāo)。關(guān)于從連續(xù)幀的視頻內(nèi)容中提取的目標(biāo)中的每一個可以保持歷史軌跡。歷史軌跡代表目標(biāo)已經(jīng)接管時間的路徑。
[0071]然后可以做出確定是否存在還沒有被處理的任何持續(xù)的目標(biāo)蹤跡(階段603)。從視頻內(nèi)容中提取的目標(biāo)中的每一個的歷史軌跡可以被檢查以確定目標(biāo)是否有持續(xù)的蹤跡?？梢曰趶膸綆哪繕?biāo)的大小確定蹤跡的持續(xù)。蹤跡，可以基于目標(biāo)是否仍然落入目標(biāo)的平均大小的左右的預(yù)定范圍內(nèi)，而被識別為是持續(xù)的。目標(biāo)的平均大小可以通過預(yù)定的幀的數(shù)量被計算出。例如，通過視頻內(nèi)容的至少最近的五個幀可以確定目標(biāo)的平均大小。如果目標(biāo)的大小保持恒定或幀到幀漸變(小于預(yù)定閾值)，目標(biāo)被確定具有幀到幀的持續(xù)的蹤跡。否則，如果目標(biāo)大小中的變化超出閾值，蹤跡被確定為是不持續(xù)的。目標(biāo)將連續(xù)被跟蹤，并且在后續(xù)幀的視頻內(nèi)容的上將開發(fā)新的平均值，但是，在這個點，出于目標(biāo)分類的目的，可以作為噪聲丟棄。一些攝像機(jī)以每秒三十幀的速度捕捉視頻內(nèi)容。例如，如果目標(biāo)沒有在最小數(shù)量的幀中出現(xiàn)，目標(biāo)不太可能是場景中的真實物體并且可以作為噪聲丟棄。
[0072]尚未被處理的持續(xù)目標(biāo)蹤跡⑴被選擇(階段604)，針對目標(biāo)的當(dāng)前位置是否支持目標(biāo)縱橫比和目標(biāo)定向縱橫比的更新做出確定(階段605)。如果目標(biāo)滿足所有以下條件，則執(zhí)行更新:1)目標(biāo)已經(jīng)出現(xiàn)在關(guān)于至少某些數(shù)量的幀(例如，5幀)的場景中；2)目標(biāo)沒有在場景的任何邊界區(qū)域內(nèi)，也沒有鄰近用戶想要排除的任何區(qū)域；3)目標(biāo)已經(jīng)離開目標(biāo)首次在場景中出現(xiàn)的位置至少預(yù)定距離；4)目標(biāo)的大小已經(jīng)被確定為是持續(xù)的。
[0073]如果目標(biāo)的當(dāng)前位置支持目標(biāo)縱橫比和目標(biāo)定向縱橫比的更新，目標(biāo)的蹤跡可以被檢查以確定目標(biāo)是否正在進(jìn)行顯著的移動(階段606)。顯著的移動是目標(biāo)已經(jīng)在一個方向上持續(xù)移動了至少預(yù)定閾值距離的移動。關(guān)于目標(biāo)的顯著移動方向代表目標(biāo)已經(jīng)持續(xù)移動顯著距離所沿著的方向。目標(biāo)可以或者由邊界框或者由其輪廓來代表，并且邊界框或者輪廓的位置可以幀到幀進(jìn)行比較以確定目標(biāo)是否已經(jīng)做出了顯著的移動。
[0074]如果目標(biāo)沒有做出顯著的移動，目標(biāo)的縱橫比和目標(biāo)的定向縱橫比將不會被計算出，并且方法繼續(xù)階段603以進(jìn)行處理下一個未處理的蹤跡。如果目標(biāo)沒有做出顯著的移動，目標(biāo)在這個幀將不會被分類(因為在階段604中它還沒有被證明作為持續(xù)被跟蹤的目標(biāo))。但是，目標(biāo)不會被認(rèn)為是背景的一部分，并且如果目標(biāo)變得持續(xù)，目標(biāo)將可以在以后的幀中被分類。
[0075]如果目標(biāo)已經(jīng)做出了顯著的移動，計算出目標(biāo)的縱橫比(階段608)并且計算出目標(biāo)的定向縱橫比(階段609)。目標(biāo)的縱橫比是在二維圖形幀中目標(biāo)的高度與目標(biāo)的寬度的比值。目標(biāo)的定向縱橫比代表就顯著移動方向而言在垂直方向的目標(biāo)的長度與在水平方向的目標(biāo)的長度的比值。一些目標(biāo)的縱橫比可以隨著目標(biāo)方向的改變而改變。例如，如果在幀中車輛轉(zhuǎn)彎并且開始或者向上移動或者向下移動，從左到右行駛穿過幀的車輛的縱橫比可能改變。大多數(shù)的車輛長于它們的寬度。因此，車輛的縱橫比很有可能取決于車輛行駛的方向而改變。當(dāng)車輛水平移動穿過幀時，代表車輛的目標(biāo)寬度很有可能大于高度，當(dāng)車輛垂直沿著幀移動時，代表車輛的目標(biāo)高度很有可能較大。然而，不考慮車輛在場景中移動的方向，車輛的定向縱橫比很有可能保持恒定。作為對比，對于出現(xiàn)在被監(jiān)控的場景中的人而言，人的縱橫比很有可能顯得相對恒定。不考慮人出現(xiàn)在場景中的地點或者人行進(jìn)的方向，人的縱橫比很有可能不會改變。然而，人的定向縱橫比很有可能隨著人改變運動的方向而改變。在目標(biāo)的縱橫比和目標(biāo)的定向縱橫比之間的差值可以用于幫助對目標(biāo)進(jìn)行分類。
[0076]蹤跡⑴的定向聚類然后可以被用于對與目標(biāo)相關(guān)聯(lián)的縱橫比信息(階段611)和與目標(biāo)相關(guān)聯(lián)的定向縱橫比信息(階段610)進(jìn)行更新。目標(biāo)可以具有與目標(biāo)的縱橫比相關(guān)聯(lián)的定向聚類和具有與目標(biāo)的定向縱橫比相關(guān)聯(lián)的定向聚類。如果目標(biāo)不具有關(guān)于與該目標(biāo)相關(guān)聯(lián)的縱橫比的定向聚類，那么可以為該目標(biāo)創(chuàng)建關(guān)于縱橫比的定向聚類。此外，如果目標(biāo)不具有關(guān)于與該目標(biāo)相關(guān)聯(lián)的定向縱橫比的定向聚類，那么關(guān)于該目標(biāo)的定向縱橫比的定向聚類可以被創(chuàng)建。
[0077]定向聚類可以使用三高斯混合模型進(jìn)行更新，其自動學(xué)習(xí)與目標(biāo)的移動方向相關(guān)聯(lián)的這兩個縱橫比的統(tǒng)計數(shù)據(jù)。例如，360度(從-180度到180度)的全方向范圍可以被量化為18個容器，每個容器覆蓋兩個相反的10度范圍(例如，第一方向容器在直角坐標(biāo)系中范圍從-5度到5度，和從-175度到175度)。每個方向容器可以具有三個高斯模型，每個高斯模型特征在于三個值:計數(shù)(概率)、平均值、和關(guān)于蹤跡的顯著移動方向的(定向)目標(biāo)縱橫比的標(biāo)準(zhǔn)差。
[0078]然后可以基于蹤跡的定向聚類對目標(biāo)進(jìn)行分類(階段613)。如果蹤跡的定向聚類具有關(guān)于所有獲得的方向容器(包括離垂直方向的大于45度的至少一個方向容器)的在預(yù)先設(shè)定范圍(例如范圍從2到5)內(nèi)的相對相似的目標(biāo)縱橫比的平均值，則目標(biāo)可以識別為人，因為不考慮目標(biāo)的移動方向目標(biāo)縱橫比保持恒定。類似地，如果蹤跡的定向聚類具有在所有獲得的定向容器中在另一個預(yù)先設(shè)定范圍(例如范圍從0.25到0.5)中的相似的定向縱橫比的平均值，則目標(biāo)可以被識別為汽車。
[0079]然后可以使用目標(biāo)的兩個縱橫比對目標(biāo)進(jìn)行分類(階段613)。當(dāng)使用目標(biāo)的兩個縱橫比對目標(biāo)進(jìn)行分類時，可以更新跟蹤級別分類結(jié)果的直方圖。在這個直方圖中具有最大計數(shù)的類別容器可以用于確定跟目標(biāo)的蹤級別分類的當(dāng)前暫時結(jié)果。目標(biāo)跟蹤級別分類結(jié)果也可以用于更新目標(biāo)(如果有的話)屬于哪一個全局聚類的統(tǒng)計數(shù)據(jù)，其為包括跟蹤級別分類結(jié)果的直方圖和兩個縱橫比的定向聚類(階段615)。跟蹤級別分類結(jié)果可以用于將全局聚類映射到真實的目標(biāo)類型。這種映射在下面進(jìn)行詳細(xì)討論。全局聚類的形成也在下文進(jìn)行詳細(xì)討論。
[0080]聚類處理也被執(zhí)行以基于目標(biāo)大小組合目標(biāo)成聚類。聚類信息可以用于幫助對目標(biāo)進(jìn)行分類。聚類處理包括兩種類型的聚類:網(wǎng)格級聚類和場景級聚類。對計算效率而言，相機(jī)的整個視野可以通過或者均勻縮小或者根據(jù)相機(jī)的遠(yuǎn)景信息(如果有的話)減小為網(wǎng)格陣列(網(wǎng)格映射)。例如，640x480像素的場景可以通過8x8縮小使用80x60網(wǎng)格映射來表示。在映射中的每個網(wǎng)格對應(yīng)一個本地場景區(qū)域并且具有與該網(wǎng)格相關(guān)聯(lián)的高斯混合模型。每當(dāng)持續(xù)被跟蹤的目標(biāo)訪問網(wǎng)格區(qū)域時，與該網(wǎng)格相關(guān)聯(lián)的高斯混合模型可以用目標(biāo)大小信息進(jìn)行更新。
[0081]聚類處理開始于計算關(guān)于與蹤跡(T)相關(guān)聯(lián)的的目標(biāo)的目標(biāo)大小(階段609)。與被目標(biāo)訪問的網(wǎng)格區(qū)域相關(guān)聯(lián)的高斯混合模型可以基于與目標(biāo)相關(guān)聯(lián)的目標(biāo)大小進(jìn)行更新(階段612)。
[0082]目標(biāo)大小可以用于在蹤跡的目標(biāo)中心查找匹配的高斯模型(M)(階段614)。當(dāng)被跟蹤的目標(biāo)與在目標(biāo)中心的位置的本地網(wǎng)格模型匹配時，蹤跡和匹配的本地網(wǎng)格可以交互以初始化或更新全局聚類(階段616)。在蹤跡和本地網(wǎng)格模型之間的交互在下文進(jìn)行詳細(xì)的描述。
[0083]一旦被跟蹤的目標(biāo)與就其目標(biāo)大小特征而言的全局聚類相匹配，目標(biāo)被分配目標(biāo)類型(階段617)。通過現(xiàn)有的聚類到類型映射(如果有的話)給目標(biāo)分配目標(biāo)類型，并且得出尺寸大小的目標(biāo)還與得出目標(biāo)的跟蹤級別的目標(biāo)類型相結(jié)合為關(guān)于與目標(biāo)相關(guān)聯(lián)的確定的目標(biāo)類型的最終分類決定(階段618)。
[0084]律立全局聚類
[0085]圖7提供了示出了圖6中示出的技術(shù)可以如何被應(yīng)用于傳送目標(biāo)的蹤跡信息以獲得全局聚類的示例。圖7中示出的基于聚類的處理，是通過識別和維護(hù)在相機(jī)(場景)的整個視野上的目標(biāo)大小的空間本地(本地)聚類進(jìn)行操作的。這些本地聚類可以連接在一起或鏈接在一起以形成基于目標(biāo)蹤跡的全局聚類。在圖7中示出的示例中，被跟蹤的目標(biāo)的蹤跡⑴已經(jīng)訪問了四個網(wǎng)格(Gl、G2、G3和G4)。網(wǎng)格G1、網(wǎng)格G2、網(wǎng)格G3和網(wǎng)格G4中的每一個具有與根據(jù)目標(biāo)大小的三高斯模型表示的它們相關(guān)聯(lián)的本地聚類。與蹤跡T(由以粗線示出的峰表示)相匹配的那些模型形成全局聚類并且攜帶統(tǒng)計信息，例如，在被識別的網(wǎng)格區(qū)域中蹤跡T屬于的聚類的目標(biāo)大小的概率、平均值和標(biāo)準(zhǔn)差。
[0086]審新全局聚類
[0087]本部分描述了用于可以與圖4到圖6中示出的方法一起使用的更新全局聚類的技術(shù)。如果網(wǎng)格落在距離蹤跡的目標(biāo)中心的預(yù)定距離內(nèi)，則網(wǎng)格被認(rèn)為是被蹤跡“擊中”。如果網(wǎng)格落在該預(yù)定距離內(nèi)，則與該網(wǎng)格相關(guān)聯(lián)的本地模型可以使用高斯混合模型的機(jī)理進(jìn)行更新。
[0088]本部分重點介紹如何建立和維護(hù)關(guān)于被監(jiān)視場景的全局聚類的列表。下文定義在本文使用的術(shù)語。已經(jīng)被分配給全局聚類的目標(biāo)蹤跡(或本地模型)在本文被稱為聚類蹤跡(或聚類模型)。目標(biāo)蹤跡(或本地模型)持有蹤跡所屬的聚類的標(biāo)識符。否則，如果蹤跡(或本地模型)還沒有被分配給全局聚類，那么目標(biāo)蹤跡(或本地模型)被稱為非聚類目標(biāo)蹤跡(或非聚類模型)。
[0089]如果非聚類蹤跡擊中聚類模型，非聚類蹤跡持有聚類模型的聚類標(biāo)識符。如果非聚類蹤跡根據(jù)其計數(shù)(概率)擊中持續(xù)足夠長(大于預(yù)定的時間長度)的非聚類模型，則創(chuàng)建關(guān)于這個模型的新的全局聚類并且蹤跡也采取表示蹤跡被分配這個新的聚類的這個新的聚類標(biāo)識符。如果蹤跡然后訪問在場景中的其它位置，與蹤跡相關(guān)聯(lián)的新的聚類標(biāo)識符可以被傳送到被蹤跡訪問的那些位置。
[0090]如果被聚類的蹤跡擊中非聚類模型，非聚類模型持有被聚類蹤跡的聚類標(biāo)識符，同時相匹配的模型被推入全局聚類的組成模型列表。這種方法提供一種通過蹤跡分配在場景上的全局聚類標(biāo)識符的方法。
[0091]在圖8中出現(xiàn)的說明性示例以說明在全局聚類和它們的組成本地模型之間的關(guān)系。對給定的全局聚類而言，屬于聚類的相關(guān)聯(lián)的本地模型被保持如從圖8中的聚類開始的有向線所表示。對給定的聚類的本地模型而言，記錄本地模型所屬的全局聚類。在圖8中示出的示例中，存在兩個可視的全局聚類，全局聚類I和全局聚類η。與這些全局聚類中的每一個相關(guān)聯(lián)的本地模型被從全局聚類指向他們的組成本地模型的雙向箭頭識別。在全局聚類和全局聚類的各自的本地模型之間的雙向鏈接提供靈活的方式以支持全局聚類的操作和修改。
[0092]如果聚類蹤跡擊中與不同聚類相關(guān)聯(lián)的聚類模型(其中聚類標(biāo)識符不同)，兩個全局聚類則可以合并。例如，如果與聚類(參見圖6的階段615)相關(guān)聯(lián)的縱橫比和定向縱橫比與在兩縱橫比的它們的定向聚類中互相一致，那么兩個全局聚類可以被合并。然而，如果任一蹤跡目標(biāo)的縱橫比超出距離與被聚類蹤跡(在標(biāo)準(zhǔn)偏差的相對意義上)擊中的聚類模型相關(guān)聯(lián)的全局聚類的平均值的預(yù)定距離，則在被聚類的蹤跡和被聚類的模型之間已經(jīng)發(fā)生沖突，并且被聚類的蹤跡和被聚類的模型沒有被合并。
[0093]在處理合并兩個全局聚類期間，通過分析關(guān)于與當(dāng)前蹤跡相關(guān)的全局聚類要被合并到的聚類的目標(biāo)大小的特征映射，來監(jiān)視潛在的沖突。特征映射是顯示了穿越關(guān)于全局聚類的場景的目標(biāo)大小特征的平均值的圖像。例如，對被定位以向下看和向前看的靜止相機(jī)而言，隨著目標(biāo)移動遠(yuǎn)離相機(jī)目標(biāo)可以顯得逐漸變小。因此，在遠(yuǎn)離相機(jī)的位置中的目標(biāo)類型的平均目標(biāo)大小值應(yīng)該小于當(dāng)目標(biāo)更靠近相機(jī)時的目標(biāo)類型的平均目標(biāo)大小值。為了說明這個影響，創(chuàng)建關(guān)于每個全局聚類的特征映射，其每個像素值指示了在場景中的在相關(guān)網(wǎng)格的平均大小。如果兩個不相關(guān)的全局聚類被合并，合并器可能引入噪聲到特征圖像，導(dǎo)致像素相比于相鄰的像素具有顯著高或顯著低的值。如果彼此接近的兩個全局聚類具有非常不同的特征值，則這可以指示聚類是不合適用于合并的候選者，并且潛在的合并誤差可以通過避免在這些情況下的合并來避免。鑒于此，可以定期進(jìn)行噪聲去除處理以去除那些與它們的周圍的區(qū)域不兼容的網(wǎng)格模型以減少在鄰近的網(wǎng)格之間的沖突。
[0094]全局聚類中的每一個可以維護(hù)以組成蹤跡所屬的目標(biāo)類型的直方圖形式的跟蹤級別分類結(jié)果的記錄。如果蹤跡是全局聚類的被聚類的蹤跡，蹤跡則被認(rèn)為是全局聚類的組成蹤跡?？梢圆捎么蠖鄶?shù)表決方案以將全局聚類映射到具有最大計數(shù)的目標(biāo)類型。因此，可以自動建立在全局聚類和目標(biāo)類型之間的映射。
[0095]確定最終目標(biāo)分類結(jié)果
[0096]如何確定最終目標(biāo)分類結(jié)果可以取決于以上描述的兩種分類結(jié)果的可用性:跟蹤級別結(jié)果(在跟蹤取得的目標(biāo)類型方面)和全局聚類結(jié)果(在基于聚類的目標(biāo)類型方面)。如果分類結(jié)果中只有一個是可用的，可用的結(jié)果用作最終的目標(biāo)分類結(jié)果。如果兩個分類結(jié)果都是可用的并且兩個結(jié)果與跟蹤目標(biāo)類型相吻合，任何一種結(jié)果可以被選作最終目標(biāo)分類結(jié)果。
[0097]如果兩個分類結(jié)果是可用的，但是結(jié)果相沖突，全局聚類得出的結(jié)果被選作最終目標(biāo)分類結(jié)果超過跟蹤級別結(jié)果被選作最終目標(biāo)分類結(jié)果。選擇全局聚類得出的結(jié)果，因為在對目標(biāo)進(jìn)行分類中，由于視頻分析算法如何能夠穩(wěn)健地確定這些特征，目標(biāo)大小通常是比兩個縱橫比(即目標(biāo)縱橫比和定向目標(biāo)縱橫比)更可靠的特征。在實施方式中，其中視頻分析算法能夠更加穩(wěn)健地確定目標(biāo)縱橫比和發(fā)生結(jié)果沖突，跟蹤級別結(jié)果可以被選作最終目標(biāo)分類。由于在場景中的目標(biāo)大小的空間變化性質(zhì)，目標(biāo)大小特征識別目標(biāo)類型可以次于兩個縱橫比。
[0098]圖9是示出了用于基于跟蹤級別結(jié)果(在跟蹤取得的目標(biāo)類型方面)和全局聚類結(jié)果(在基于聚類的目標(biāo)類型方面)確定最終目標(biāo)分類結(jié)果的方法的流程圖。圖9中示出的方法對應(yīng)于圖6中示出的方法的步驟618。被跟蹤的目標(biāo)從被攝像機(jī)105捕捉的視頻內(nèi)容中提取的目標(biāo)中挑選出來用于分類(階段901)。針對是否存在可用于匹配被跟蹤目標(biāo)的全局聚類數(shù)據(jù)做出確定(階段902)。如果存在可用的全局聚類數(shù)據(jù)，針對被跟蹤的目標(biāo)是否是與被跟蹤目標(biāo)相關(guān)聯(lián)的全局?jǐn)?shù)據(jù)做出確定(階段903)。對于在階段902和階段903中的確定，如果答案是否定的，那么聚類得出的目標(biāo)類型不能被分配到目標(biāo)。因此，使用跟蹤級別分類可以做出最終目標(biāo)類型確定。如果存在可用的全局聚類數(shù)據(jù)，并且被跟蹤的目標(biāo)與全局聚類相關(guān)聯(lián)，那么基于聚類的目標(biāo)類型可以通過聚類到類型映射從全局聚類信息中獲得(階段904)?；诰垲惖哪繕?biāo)類型然后可以被輸出為最終目標(biāo)分類結(jié)果(階段905)。
[0099]也可以執(zhí)行跟蹤級別分類步驟?？梢垣@得與目標(biāo)相關(guān)聯(lián)的跟蹤取得的目標(biāo)類型(階段906)。針對跟蹤取得的目標(biāo)類型是否被確定關(guān)于目標(biāo)做出確定(階段907)。如果跟蹤取得的目標(biāo)類型是可用的，那么跟蹤取得的目標(biāo)類型可以輸出為最終目標(biāo)分類結(jié)果(階段908)。否則，跟蹤取得的目標(biāo)類型是不可用的，并且沒有確定輸出(階段909)。
[0100]通過以上決定規(guī)則，當(dāng)被監(jiān)控的場景涉及陰影和光的反射的逐步變化時，仍然可以獲得正確的分類，如通常在晴天的門外場景的情況下或者被過往車輛燈光的反射影響的夜間場景的情況下。在有了陰影和反射的情況下，從視頻分析方法獲得的目標(biāo)縱橫比和目標(biāo)定向縱橫比可以與典型目標(biāo)類型的所期待范圍極大地不同，其將使得在跟蹤級別分類中使用的先前的假設(shè)無效。然而，隨著全局聚類適應(yīng)在場景中的目標(biāo)大小的逐步變化，由于使用學(xué)習(xí)方案和演化變化的參數(shù)的能力，相同類型的目標(biāo)仍然能夠被聚類為相同的全局聚類。只要從全局聚類到目標(biāo)類型的映射是有效的，基于全局聚類的分類仍然可以產(chǎn)生正確的結(jié)果。
[0101]為了建立從全局聚類到目標(biāo)類型的正確映射，通過僅僅考慮高度可信的跟蹤級別分類結(jié)果可以采用保守的策略用于更新全局聚類的統(tǒng)計數(shù)據(jù)(目標(biāo)類型的直方圖)。因此，更新的全局聚類可以仍然保持先前(具有高度可信度)跟蹤級別分類結(jié)果的記錄，同時更新其大小特征到噪聲場景以確保來自全局聚類的分類的正確性。
[0102]此外，例如一群人的非單一目標(biāo)類型，可以通過比較地分析兩個縱橫比，和通過參考全局聚類的目標(biāo)大小值，以及通過考慮附加特征(例如目標(biāo)形狀)(如果可能的話)，進(jìn)行檢測?；旧?，本發(fā)明提供了一種用于向下向前看的靜止相機(jī)來將目標(biāo)分類為根據(jù)目標(biāo)大小的場景級別聚類，同時使用兩個縱橫比進(jìn)行目標(biāo)分類的方法。然而，本文公開的技術(shù)可以以各種不同的方式進(jìn)行使用以有益于視頻監(jiān)控應(yīng)用。例如，全局聚類方法可以應(yīng)用于任何目標(biāo)特征(而不是僅僅目標(biāo)大小)以形成場景級別聚類，其可以提供用于選擇特征的統(tǒng)計數(shù)據(jù)總結(jié)和有益于提取關(guān)于場景活動的語義信息。在另一個示例中，有了在場景中對已知的目標(biāo)類型(例如人)的學(xué)習(xí)聚類，相機(jī)可以被自動校準(zhǔn)。
[0103]最終目標(biāo)分類結(jié)果示例
[0104]圖1OA-圖1OC和圖1lA-圖1lC不出了根據(jù)本文公開的各種技術(shù)的特征映射和目標(biāo)分類結(jié)果的一些示例。圖1OA示出了在處理被攝像機(jī)捕捉的視頻內(nèi)容的圖像幀558之后獲得的特征映射。圖1lA示出了連同分類結(jié)果的被攝像機(jī)捕捉的幀558的相應(yīng)圖像。圖1OB示出了在處理在相同場景被相同攝像頭捕捉的視頻內(nèi)容的圖像幀1174之后獲得的特征映射。圖1lB示出了幀1174的相應(yīng)圖像和在該幀的分類結(jié)果。圖1OC示出了關(guān)于幀數(shù)量5462的特征映射，并且圖1lC示出了被攝像機(jī)捕捉的幀5462的圖像和在該幀的分類結(jié)果。圖10A、圖10B、和圖1OC中的每一個包括四個特征映射。在特征映射中的每個像素值指示在關(guān)于相關(guān)聯(lián)的全局聚類的相關(guān)網(wǎng)格的目標(biāo)大小的平均值，使得較亮的值對應(yīng)于更大的目標(biāo)大小。左上的特征映射對應(yīng)于全局聚類1，右上的特征映射對應(yīng)于全局聚類2，左下的特征映射對應(yīng)于全局聚類3，并且右下的特征映射對應(yīng)于全局聚類4。
[0105]一般而言，在運行以上所述的提出的目標(biāo)分類技術(shù)之初，全局聚類是脆弱的、小的并且空間在場景中延伸。隨著學(xué)習(xí)過程進(jìn)行和在場景中更多活動的發(fā)生，全局聚類逐步合并并且變得更大，且聚類的數(shù)量可以保持減少并收斂到已經(jīng)在場景中出現(xiàn)的目標(biāo)類型的真實數(shù)量。在該示例中，聚類I代表通過自動獲得的聚類到類型的映射的目標(biāo)類型“人”，聚類2代表目標(biāo)類型“汽車”，以及聚類3關(guān)于目標(biāo)類型“廂式貨車”，而聚類O指示到目前為止還沒有被識別或未知的目標(biāo)類型，其可以被分類為特定的類別或取決于它的將來目標(biāo)和在場景中它們將訪問的位置永遠(yuǎn)保持未分類。這些映射可以通過在圖11A、圖1lB和圖1lC中的放在被跟蹤目標(biāo)上的目標(biāo)類型標(biāo)識符證明。
[0106]描述的各種示例性邏輯塊、模塊、和算法階段可以被實現(xiàn)為電子硬件、計算機(jī)軟件、或兩者的組合。為了清楚說明硬件和軟件的交互性，各種說明性組件、塊、模塊和階段已經(jīng)在以上概括地描述了它們的功能方面。這樣的功能是否實現(xiàn)為硬件或軟件取決于施加在整個系統(tǒng)上的設(shè)計約束。描述的功能可以以變化的方式實現(xiàn)。此外，在模塊、塊或階段內(nèi)的分組功能是為了便于說明。特定的功能可以從一個模塊或塊中移去而不脫離本公開的內(nèi)容。
[0107]描述的各種示例性的邏輯塊和模塊可以用通用處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)、或其它可編程邏輯設(shè)備、分立門或晶體管邏輯、離散硬件組件、或被設(shè)計為執(zhí)行本文描述的功能的其任何組合，來實現(xiàn)或執(zhí)行。通用處理器可以是微處理器，但是在替代方案中，處理器可以是任何處理器、控制器、微控制器、或狀態(tài)機(jī)。處理器也可以被實現(xiàn)為計算設(shè)備的組合，例如，DSP和微處理器、多個微處理器、與DSP核心合作的一個或多個微處理器、或任何其它此類配置的組合。
[0108]描述的方法或算法的操作可以直接在硬件、被處理器執(zhí)行的軟件模塊、或在兩者的組合中執(zhí)行。軟件模塊可以存在于RAM存儲器、閃存、ROM存儲器、EPROM存儲器、EERPR0M存儲器、寄存器、硬盤、可移動硬盤、CD-ROM、或任何其它形式的存儲介質(zhì)中。示例性存儲介質(zhì)可以耦合到處理器，使得處理器可以從存儲介質(zhì)中讀取信息和向存儲介質(zhì)中寫入信息。在替代方案中，存儲介質(zhì)可以集成到處理器。處理器和存儲介質(zhì)可以存在于ASIC中。
[0109]可以對以上提供的描述做出各種變化和修改而不脫離本公開或所附權(quán)利要求的范圍。例如，盡管元件可能以單數(shù)描述或要求，也可包括復(fù)數(shù)。此外，所有的或部分的方面和/或?qū)嵤├梢耘c其它方面和/或?qū)嵤├黄鸨焕谩?br> 【權(quán)利要求】
1.一種用于識別在視頻內(nèi)容中的目標(biāo)的方法，包括: 接收被攝像機(jī)捕捉的場景的視頻內(nèi)容； 檢測在所述視頻內(nèi)容中的目標(biāo)； 識別所述目標(biāo)在所述視頻內(nèi)容的一系列幀上所遵循的蹤跡； 將關(guān)于所述目標(biāo)的目標(biāo)特征從所述視頻內(nèi)容中提取出來；以及 基于所述目標(biāo)特征對所述目標(biāo)進(jìn)行分類，其中對所述目標(biāo)進(jìn)行分類還包括: 使用空間不變目標(biāo)特征確定關(guān)于所述目標(biāo)的跟蹤級別分類； 使用空間變化特征確定關(guān)于所述目標(biāo)的全局聚類分類；以及 基于關(guān)于所述目標(biāo)的所述跟蹤級別分類和關(guān)于所述目標(biāo)的所述全局聚類分類確定關(guān)于所述目標(biāo)的目標(biāo)類型。
2.根據(jù)權(quán)利要求1所述的方法，其中確定關(guān)于所述目標(biāo)的跟蹤級別分類還包括:基于與所述目標(biāo)相關(guān)聯(lián)的縱橫比確定關(guān)于所述目標(biāo)的所述跟蹤級別分類。
3.根據(jù)權(quán)利要求2所述的方法，其中確定關(guān)于所述目標(biāo)的所述跟蹤級別分類還包括:基于與所述目標(biāo)相關(guān)聯(lián)的所述縱橫比和與所述目標(biāo)相關(guān)聯(lián)的定向縱橫比確定關(guān)于所述目標(biāo)的所述跟蹤級別分類。
4.根據(jù)權(quán)利要求2所述的方法，其中確定關(guān)于所述目標(biāo)的所述跟蹤級別分類還包括: 構(gòu)建與關(guān)于被跟蹤目標(biāo)的所述縱橫比相關(guān)聯(lián)的定向聚類； 構(gòu)建與關(guān)于所述被跟蹤目標(biāo)的定向縱橫比相關(guān)聯(lián)的定向聚類； 基于與所述縱橫比相關(guān)聯(lián)的所述定向聚類和與所述定向縱橫比相關(guān)聯(lián)的所述定向聚類確定關(guān)于所述目標(biāo)的所述跟蹤級別分類；以及 基于所述跟蹤級別分類更新關(guān)于所述被跟蹤目標(biāo)的跟蹤級別分類結(jié)果的直方圖。
5.根據(jù)權(quán)利要求1所述的方法，其中確定關(guān)于所述目標(biāo)的所述全局聚類分類還包括:基于所述目標(biāo)的大小確定關(guān)于所述目標(biāo)的所述全局聚類分類。
6.根據(jù)權(quán)利要求5所述的方法，其中確定關(guān)于所述目標(biāo)的所述全局聚類分類還包括: 更新關(guān)于持續(xù)被跟蹤目標(biāo)所訪問的位置的目標(biāo)大小的本地模型； 通過將本地模型與全局聚類相關(guān)聯(lián)來更新所述全局聚類，所述本地模型具有與所述全局聚類相關(guān)聯(lián)的目標(biāo)大小相匹配的目標(biāo)大小并且被所述持續(xù)被跟蹤目標(biāo)訪問，并且其中更新所述全局聚類還包括: 更新與相匹配的目標(biāo)相關(guān)聯(lián)的跟蹤級別分類結(jié)果的直方圖； 基于所述相匹配的目標(biāo)更新定向聚類，所述定向聚類與被跟蹤目標(biāo)的定向縱橫比和被跟蹤目標(biāo)的縱橫比相關(guān)聯(lián)； 創(chuàng)建關(guān)于每個全局聚類的目標(biāo)大小的特征映射以解決在全局聚類合并中的沖突；以及 創(chuàng)建聚類到類型映射以將全局聚類轉(zhuǎn)換為確定的目標(biāo)類型。
7.根據(jù)權(quán)利要求1所述的方法，還包括: 確定所述目標(biāo)是否已經(jīng)在一個方向上連續(xù)移動了至少預(yù)定閾值距離；以及如果所述目標(biāo)已經(jīng)移動的距離還沒有大于所述預(yù)定閾值距離，則基于所述目標(biāo)的所述全局聚類分類而不是基于所述目標(biāo)的跟蹤級別分類確定關(guān)于所述目標(biāo)的所述目標(biāo)類型。
8.—種監(jiān)控系統(tǒng)，其被配直為識別在被攝像機(jī)捕捉的視頻內(nèi)各中的目標(biāo)，所述系統(tǒng)包括: 用于接收被攝像機(jī)捕捉的場景的視頻內(nèi)容的裝置； 用于檢測在所述視頻內(nèi)容中的目標(biāo)的裝置； 用于識別所述目標(biāo)在所述視頻內(nèi)容的一系列幀上所遵循的蹤跡的裝置； 用于將關(guān)于所述目標(biāo)的目標(biāo)特征從所述視頻內(nèi)容中提取出來的裝置；和 用于基于所述目標(biāo)特征對所述目標(biāo)進(jìn)行分類的裝置，其中對所述目標(biāo)進(jìn)行分類還包括: 用于使用空間不變目標(biāo)特征確定關(guān)于所述目標(biāo)的跟蹤級別分類的裝置； 用于使用空間變化特征確定關(guān)于所述目標(biāo)的全局聚類分類的裝置；和用于基于關(guān)于所述目標(biāo)的所述跟蹤級別分類和關(guān)于所述目標(biāo)的所述全局聚類分類確定關(guān)于所述目標(biāo)的目標(biāo)類型的裝置。
9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中用于確定關(guān)于所述目標(biāo)的跟蹤級別分類的所述裝置還包括:用于基于與所述目標(biāo)相關(guān)聯(lián)的縱橫比確定關(guān)于所述目標(biāo)的所述跟蹤級別分類的>j-U ρ?α裝直。
10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中用于確定關(guān)于所述目標(biāo)的所述跟蹤級別分類的所述裝置還包括:用于基于與所述目標(biāo)相關(guān)聯(lián)的所述縱橫比和與所述目標(biāo)相關(guān)聯(lián)的定向縱橫比確定關(guān)于所述目標(biāo)的所述跟蹤級別分類的裝置。
11.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中用于確定關(guān)于所述目標(biāo)的所述跟蹤級別分類的所述裝置還包括: 用于構(gòu)建與關(guān)于所述被跟蹤目標(biāo)的所述縱橫比相關(guān)聯(lián)的定向聚類的裝置；和用于構(gòu)建與關(guān)于所述被跟蹤目標(biāo)的定向縱橫比相關(guān)聯(lián)的定向聚類的裝置；和用于基于與所述縱橫比相關(guān)聯(lián)的所述定向聚類和與定向縱橫比相關(guān)聯(lián)的所述定向聚類確定關(guān)于所述目標(biāo)的所述跟蹤級別分類的裝置；和 用于基于所述跟蹤級別分類更新關(guān)于所述被跟蹤目標(biāo)的跟蹤級別分類結(jié)果的直方圖的裝置。
12.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中用于確定關(guān)于所述目標(biāo)的所述全局聚類分類的所述裝置還包括:用于基于所述目標(biāo)的大小確定關(guān)于所述目標(biāo)的所述全局聚類分類的裝置。
13.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中用于確定關(guān)于所述目標(biāo)的所述全局聚類分類的所述裝置還包括: 用于更新關(guān)于持續(xù)被跟蹤目標(biāo)訪問的位置的目標(biāo)大小的本地模型的裝置； 用于通過將本地模型與全局聚類相關(guān)聯(lián)來更新所述全局聚類的裝置，所述本地模型具有與所述全局聚類相關(guān)聯(lián)的目標(biāo)大小相匹配的目標(biāo)大小并且被所述持續(xù)被跟蹤目標(biāo)訪問，并且其中用于更新所述全局聚類的所述裝置還包括: 用于更新與相匹配的目標(biāo)相關(guān)聯(lián)的跟蹤級別分類結(jié)果的直方圖的裝置； 用于基于所述相匹配的目標(biāo)更新定向聚類的裝置，所述定向聚類與被跟蹤目標(biāo)的定向縱橫比和被跟蹤目標(biāo)的縱橫比相關(guān)聯(lián)； 用于創(chuàng)建關(guān)于每個全局聚類的目標(biāo)大小的特征映射以解決在全局聚類合并中的沖突的裝置；和 用于創(chuàng)建聚類到類型映射以將全局聚類轉(zhuǎn)換為確定的目標(biāo)類型的裝置。
14.根據(jù)權(quán)利要求8所述的系統(tǒng)，還包括: 用于確定所述目標(biāo)是否已經(jīng)在一個方向上連續(xù)移動了至少預(yù)定閾值距離的裝置；和用于如果所述目標(biāo)已經(jīng)移動的距離還沒有大于所述預(yù)定閾值距離，基于所述目標(biāo)的所述全局聚類分類而不是基于所述目標(biāo)的所述跟蹤級別分類確定關(guān)于所述目標(biāo)的所述目標(biāo)類型的裝置。
15.一種用于識別在被攝像機(jī)捕捉的視頻內(nèi)容中的目標(biāo)的監(jiān)控系統(tǒng)，所述系統(tǒng)包括: 有形的、非暫時性計算機(jī)可讀存儲器； 多個模塊，所述多個模塊包含處理器可執(zhí)行代碼，被存儲在所述存儲器中； 處理器，所述處理器被連接到所述存儲器并且被配置為訪問在所述存儲器中存儲的所述多個模塊；以及 視頻處理模塊，其被配置為: 接收被攝像機(jī)捕捉的場景的視頻內(nèi)容； 檢測在所述視頻內(nèi)容中的目標(biāo)； 識別所述目標(biāo)在所述視頻內(nèi)容的一系列幀上所遵循的蹤跡； 將關(guān)于所述目標(biāo)的目標(biāo)特征從所述視頻內(nèi)容中提取出來；以及基于所述目標(biāo)特征對所述目標(biāo)進(jìn)行分類，其中，為了對所述目標(biāo)進(jìn)行分類，所述視頻處理模塊還被配置為: 使用空間不變目標(biāo)特征確定關(guān)于所述目標(biāo)的跟蹤級別分類； 使用空間變化特征確定關(guān)于所述目標(biāo)的全局聚類分類；以及 基于關(guān)于所述目標(biāo)的所述跟蹤級別分類和關(guān)于所述目標(biāo)的所述全局聚類分類確定關(guān)于所述目標(biāo)的目標(biāo)類型。
16.根據(jù)權(quán)利要求15所述的系統(tǒng)，其中被配置為確定關(guān)于所述目標(biāo)的跟蹤級別分類的所述視頻處理模塊還被配置為基于與所述目標(biāo)相關(guān)聯(lián)的縱橫比確定關(guān)于所述目標(biāo)的所述跟蹤級別分類。
17.根據(jù)權(quán)利要求16所述的系統(tǒng)，其中被配置為確定關(guān)于所述目標(biāo)的所述跟蹤級別分類的所述視頻處理模塊還被配置為基于與所述目標(biāo)相關(guān)聯(lián)的所述縱橫比和與所述目標(biāo)相關(guān)聯(lián)的定向縱橫比確定關(guān)于所述目標(biāo)的所述跟蹤級別分類。
18.根據(jù)權(quán)利要求16所述的系統(tǒng)，其中被配置為確定關(guān)于所述目標(biāo)的所述跟蹤級別分類的所述視頻處理模塊還被配置為: 構(gòu)建與關(guān)于所述被跟蹤目標(biāo)的所述縱橫比相關(guān)聯(lián)的定向聚類； 構(gòu)建與關(guān)于所述被跟蹤目標(biāo)的定向縱橫比相關(guān)聯(lián)的定向聚類； 基于與所述縱橫比相關(guān)聯(lián)的所述定向聚類和與定向縱橫比相關(guān)聯(lián)的所述定向聚類確定關(guān)于所述目標(biāo)的所述跟蹤級別分類；和 基于所述跟蹤級別分類更新關(guān)于所述被跟蹤目標(biāo)的跟蹤級別分類結(jié)果的直方圖。
19.根據(jù)權(quán)利要求15所述的系統(tǒng)，其中，被配置為確定關(guān)于所述目標(biāo)的所述全局聚類分類的所述視頻處理模塊還被配置為基于所述目標(biāo)的大小確定關(guān)于所述目標(biāo)的所述全局聚類分類。
20.根據(jù)權(quán)利要求19所述的系統(tǒng)，其中，被配置為確定關(guān)于所述目標(biāo)的所述全局聚類分類的所述視頻處理模塊還被配置為: 更新關(guān)于持續(xù)被跟蹤目標(biāo)訪問的位置的目標(biāo)大小的本地模型； 通過將本地模型與全局聚類相關(guān)聯(lián)來更新所述全局聚類，所述本地模型具有與所述全局聚類相關(guān)聯(lián)的目標(biāo)大小相匹配的目標(biāo)大小并且被所述持續(xù)被跟蹤目標(biāo)訪問，并且其中被配置為更新所述全局聚類的所述視頻處理模塊還被配置為: 更新與相匹配的目標(biāo)相關(guān)聯(lián)的跟蹤級別分類結(jié)果的直方圖； 基于所述相匹配的目標(biāo)更新定向聚類，所述定向聚類與被跟蹤目標(biāo)的定向縱橫比和被跟蹤目標(biāo)的縱橫比相關(guān)聯(lián)； 創(chuàng)建關(guān)于每個全局聚類的目標(biāo)大小的特征映射以解決在全局聚類合并中的沖突；和 創(chuàng)建聚類到類型映射以將全局聚類轉(zhuǎn)換為確定的目標(biāo)類型。
21.根據(jù)權(quán)利要求15所述的系統(tǒng)，其中所述視頻處理模塊還被配置為: 確定所述目標(biāo)是否已經(jīng)在一個方向上連續(xù)移動了至少預(yù)定閾值距離；和 如果所述目標(biāo)已經(jīng)移動的距離還沒有大于所述預(yù)定閾值距離，則基于所述目標(biāo)的所述全局聚類分類而不是基于所述目標(biāo)的所述跟蹤級別分類確定關(guān)于所述目標(biāo)的所述目標(biāo)類型。
22.—種有形的計算機(jī)可讀介質(zhì)，其在其上存儲有識別在視頻內(nèi)容中的目標(biāo)的計算機(jī)可讀指令，所述指令包括被配置為弓I起計算機(jī)進(jìn)行以下操作的指令: 接收被攝像機(jī)捕捉的場景的視頻內(nèi)容； 檢測在所述視頻內(nèi)容中的目標(biāo)； 識別所述目標(biāo)在所述視頻內(nèi)容的一系列幀上所遵循的蹤跡； 將關(guān)于所述目標(biāo)的目標(biāo)特征從所述視頻內(nèi)容中提取出來；以及基于所述目標(biāo)特征對所述目標(biāo)進(jìn)行分類，其中引起所述計算機(jī)對所述目標(biāo)進(jìn)行分類的所述指令還包括引起計算機(jī)進(jìn)行以下操作的指令: 使用空間不變目標(biāo)特征確定關(guān)于所述目標(biāo)的跟蹤級別分類； 使用空間變化特征確定關(guān)于所述目標(biāo)的全局聚類分類；和 基于關(guān)于所述目標(biāo)的所述跟蹤級別分類和關(guān)于所述目標(biāo)的所述全局聚類分類確定關(guān)于所述目標(biāo)的目標(biāo)類型。
23.根據(jù)權(quán)利要求22所述的介質(zhì)，其中引起所述計算機(jī)確定關(guān)于所述目標(biāo)的跟蹤級別分類的代碼還包括引起所述計算機(jī)基于與所述目標(biāo)相關(guān)聯(lián)的縱橫比確定關(guān)于所述目標(biāo)的所述跟蹤級別分類的代碼。
24.根據(jù)權(quán)利要求23所述的介質(zhì)，其中引起所述計算機(jī)確定關(guān)于所述目標(biāo)的所述跟蹤級別分類的所述代碼還包括引起所述計算機(jī)基于與所述目標(biāo)相關(guān)聯(lián)的所述縱橫比和與所述目標(biāo)相關(guān)聯(lián)的定向縱橫比確定關(guān)于所述目標(biāo)的所述跟蹤級別分類的代碼。
25.根據(jù)權(quán)利要求23所述的介質(zhì)，其中引起所述計算機(jī)確定關(guān)于所述目標(biāo)的所述跟蹤級別分類的所述代碼還包括引起所述計算機(jī)進(jìn)行以下操作的代碼: 構(gòu)建與關(guān)于所述被跟蹤目標(biāo)的所述縱橫比相關(guān)聯(lián)的定向聚類； 構(gòu)建與關(guān)于所述被跟蹤目標(biāo)的定向縱橫比相關(guān)聯(lián)的定向聚類； 基于與所述縱橫比相關(guān)聯(lián)的所述定向聚類和與定向縱橫比相關(guān)聯(lián)的所述定向聚類確定關(guān)于所述目標(biāo)的所述跟蹤級別分類；和 基于所述跟蹤級別分類更新關(guān)于所述被跟蹤目標(biāo)的跟蹤級別分類結(jié)果的直方圖。
26.根據(jù)權(quán)利要求22所述的介質(zhì)，其中引起所述計算機(jī)確定關(guān)于所述目標(biāo)的所述全局聚類分類的所述代碼還包括引起所述計算機(jī)基于所述目標(biāo)的大小確定關(guān)于所述目標(biāo)的所述全局聚類分類的代碼。
27.根據(jù)權(quán)利要求26所述的介質(zhì)，其中引起所述計算機(jī)確定關(guān)于所述目標(biāo)的所述全局聚類分類的所述代碼還包括引起所述計算機(jī)進(jìn)行以下操作的代碼: 更新關(guān)于持續(xù)被跟蹤目標(biāo)訪問的位置的目標(biāo)大小的本地模型；和通過將本地模型與全局聚類相關(guān)聯(lián)更新所述全局聚類，所述本地模型具有與所述全局聚類相關(guān)聯(lián)的目標(biāo)大小相匹配的目標(biāo)大小并且被所述持續(xù)被跟蹤目標(biāo)訪問，并且其中更新所述全局聚類的所述代碼還包括引起所述計算機(jī)進(jìn)行以下操作的代碼: 更新與相匹配的目標(biāo)相關(guān)聯(lián)的跟蹤級別分類結(jié)果的直方圖； 基于所述相匹配的目標(biāo)更新定向聚類，所述定向聚類與被跟蹤目標(biāo)的定向縱橫比和被跟蹤目標(biāo)的縱橫比相關(guān)聯(lián)； 創(chuàng)建關(guān)于每個全局聚類的目標(biāo)大小的特征映射以解決在全局聚類合并中的沖突；和 創(chuàng)建聚類到類型映射以將全局聚類轉(zhuǎn)換為確定的目標(biāo)類型。
28.根據(jù)權(quán)利要求22所述的介質(zhì)，還包括引起所述計算機(jī)進(jìn)行以下確定操作的代碼: 確定所述目標(biāo)是否已經(jīng)在一個方向上連續(xù)移動了至少預(yù)定閾值距離；和 如果所述目標(biāo)已經(jīng)移動的距離還沒有大于所述預(yù)定閾值距離，則基于所述目標(biāo)的所述全局聚類分類而不是基于所述目標(biāo)的所述跟蹤級別分類確定關(guān)于所述目標(biāo)的所述目標(biāo)類型。
【文檔編號】G06K9/68GK104303193SQ201280065011
【公開日】2015年1月21日 申請日期:2012年12月12日 優(yōu)先權(quán)日:2011年12月28日
【發(fā)明者】朱紅衛(wèi), 法曾·艾格達(dá)斯, 格雷格·米勒 申請人:派爾高公司