本發(fā)明涉及檢測異常情形的方法和裝置，更具體地，本發(fā)明涉及根據(jù)所檢測的對象是否持有物體來檢測異常情形的方法和裝置。

背景技術(shù)：

隨著技術(shù)的發(fā)展和人民安全意識的提高，越來越多的公共場所(例如車站、機場、銀行、寫字樓的公共區(qū)域等)中安裝了監(jiān)控系統(tǒng)。發(fā)現(xiàn)并識別出這些公共場所中存在的異常情形對建立有效的監(jiān)控系統(tǒng)起著至關(guān)重要的作用。這種識別異常情形的能力可以幫助人們檢測出公共場所里的潛在安全風(fēng)險，并為對此做出快速反應(yīng)以避免對人和設(shè)施的損害提供了可能性。檢測對象(例如人類)的異常行為是異常情形識別中非常重要的一部分。檢測對象的異常行為可以包括，例如，破壞公物、在墻面上張貼廣告、以及對其他人構(gòu)成威脅的動作等。

已經(jīng)提出了通過對監(jiān)控系統(tǒng)的相機所采集的圖像進行識別來獲取檢測對象的當(dāng)前動作，并且將檢測對象的當(dāng)前動作與預(yù)先定義的異常動作模板進行匹配，從而確定檢測對象的當(dāng)前動作是否為特定的異常動作的方法。然而，在該方法中，通常需要對希望識別出的各種異常動作分別預(yù)先定義模板。例如，對于檢測對象揮舞的動作、扔?xùn)|西的動作、射擊的動作分別預(yù)先定義模板。將檢測對象的當(dāng)前動作分別與所建立的模板進行比對，以確定其是否屬于異常動作。這導(dǎo)致需要預(yù)先進行復(fù)雜的模板定義以及訓(xùn)練過程。此外，通過該方法難以識別出不屬于預(yù)先定義的異常動作模板的危險動作。

此外，目前監(jiān)控系統(tǒng)的相機所采集的圖像容易受到光照、視角變化等因素的影響，并且在所采集的圖像中檢測對象常常受到障礙物的遮擋。這導(dǎo)致所采集的圖像往往不能準(zhǔn)確地反應(yīng)檢測對象的危險性。

技術(shù)實現(xiàn)要素：

本發(fā)明實施例的目的在于提供一種確定物體危險性的方法和裝置，以解 決上述問題。

本發(fā)明的一個實施例提供了一種檢測異常情形的方法，包括：識別所采集的圖像中是否存在檢測對象；當(dāng)存在檢測對象時，根據(jù)所采集的圖像生成所采集的圖像中的檢測對象的三維點云；根據(jù)所生成的三維點云獲得檢測對象的當(dāng)前姿態(tài)特征；以及根據(jù)當(dāng)前姿態(tài)特征和預(yù)先確定的姿態(tài)特征標(biāo)準(zhǔn)確定是否存在異常情形，其中姿態(tài)特征標(biāo)準(zhǔn)是預(yù)先根據(jù)檢測對象在進行多種異常動作時的共同特征來確定的。

本發(fā)明的另一實施例提供了一種檢測異常情形的裝置，包括：對象識別單元，配置來識別所采集的圖像中是否存在檢測對象；點云生成單元，配置來當(dāng)存在檢測對象時，根據(jù)所采集的圖像生成所采集的圖像中的檢測對象的三維點云；特征獲取單元，配置來根據(jù)所生成的三維點云獲得檢測對象的當(dāng)前姿態(tài)特征；以及情形確定單元，配置來根據(jù)當(dāng)前姿態(tài)特征和預(yù)先確定的姿態(tài)特征標(biāo)準(zhǔn)確定是否存在異常情形，其中姿態(tài)特征標(biāo)準(zhǔn)是預(yù)先根據(jù)檢測對象在進行多種異常動作時的共同特征來確定的。

公共場所發(fā)生的異常情形常常是由檢測對象的異常動作所導(dǎo)致的。根據(jù)本發(fā)明實施例的方案根據(jù)檢測對象在進行多種異常動作時的共同特征來判斷是否存在異常情形，從而避免了復(fù)雜的異常動作模板建立和訓(xùn)練過程，易于部署和實施，并且在實際使用中不需要與多個異常動作模板分別進行比較，因此能夠準(zhǔn)確快速地確定是否存在異常情形。此外，與只能識別出特定異常動作的傳統(tǒng)方法相比，根據(jù)本發(fā)明實施例的方案不會受到特定異常動作模板的局限，可對檢測對象的任意姿態(tài)進行評估。因此根據(jù)本發(fā)明實施例的檢測異常情形的方法和裝置可更加靈活、有效地應(yīng)用于可能出現(xiàn)大量的、變化的異常情形的實際監(jiān)控場景中。

附圖說明

圖1是描述了根據(jù)本發(fā)明一個實施例的檢測異常情形的方法的流程圖。

圖2是示出了根據(jù)本發(fā)明一個示例的檢測對象的三維點云的示意圖。

圖3a是示出了根據(jù)本發(fā)明一個示例的持有物體的檢測對象的深度圖。

圖3b是示出了根據(jù)本發(fā)明另一示例的持有物體的檢測對象的深度圖。

圖4a是示出了根據(jù)本發(fā)明一個示例的檢測對象的三維點云的正視圖。

圖4b是示出了根據(jù)三維點云生成的在正視圖中的投影映射。

圖5a是示出了根據(jù)本發(fā)明一個示例的檢測對象的三維點云的側(cè)視圖。

圖5b是示出了根據(jù)三維點云生成的在側(cè)視圖中的投影映射。

圖6a是示出了根據(jù)本發(fā)明一個示例的檢測對象的三維點云的頂視圖。

圖6b是示出了根據(jù)三維點云生成的在側(cè)視圖中的投影映射。

圖7是示出了根據(jù)本發(fā)明的一個實施例的檢測異常情形的裝置的示范性結(jié)構(gòu)框圖。

圖8是示出按照本發(fā)明實施例的檢測異常情形的系統(tǒng)的總體硬件框圖。

具體實施方式

為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，將參考附圖詳細(xì)描述本發(fā)明的優(yōu)選實施例。注意，在本說明書和附圖中，具有基本上相同步驟和元素用相同的附圖標(biāo)記來表示，且對這些步驟和元素的重復(fù)解釋將被省略。

根據(jù)本發(fā)明的實施例的檢測異常情形的方法和裝置可應(yīng)用于包括相機設(shè)備的監(jiān)控系統(tǒng)。例如，相機設(shè)備可以是例如雙目相機之類的立體相機。此外，立體相機的具體形式不限于此，其還可以是例如三目相機或者由基于TOF或者主動光模式的相機等能夠獲得圖像中對象的深度信息的任何其他相機。此外在根據(jù)本發(fā)明的實施例中，監(jiān)控系統(tǒng)中的相機設(shè)備可對所監(jiān)控的特定場景進行拍攝，并且所采集的圖像為通過相機設(shè)備獲取的關(guān)于特定場景的圖像。

圖1是描述了根據(jù)本發(fā)明一個實施例的檢測異常情形的方法100的流程圖。下面，將參照圖1來描述根據(jù)本發(fā)明實施例的檢測異常情形的方法。如圖1所示，在步驟S101中，識別所采集的圖像中是否存在檢測對象?？深A(yù)先設(shè)置希望識別出的圖像中的檢測對象。例如，檢測對象可以是人，也可以是能夠做出動作的其他對象。當(dāng)存在檢測對象時，在步驟S102中，根據(jù)所采集的圖像生成所采集的圖像中的檢測對象的三維點云。

根據(jù)本發(fā)明的一個示例，可使用根據(jù)相機設(shè)備獲取的深度信息生成的深度圖像進行背景建模，以提取前景。具體地，可利用相機設(shè)備獲取的深度信息確定檢測對象(例如人)在所采集的圖像中的位置，并將所確定的該檢測對象作為前景?？赏ㄟ^常規(guī)的背景建模方法來生成圖像的背景模型。背景模型可以是靜態(tài)背景建模，此外，也可以是使用混合高斯模型等建立的動態(tài)背景建模。然后在步驟S102中利用背景減除的方法，分別提取視覺圖像和深度 圖像中的前景像素，以生成檢測對象的三維點云。

可選擇地，根據(jù)本發(fā)明的一個示例可對三維點云進行降噪處理，以方便進行后續(xù)處理?？梢栽谶@里使用針對三維點云的已知的降噪方法。例如，可使用局部優(yōu)化投影降噪算法。

然后在步驟S103中，根據(jù)所生成的三維點云獲得檢測對象的當(dāng)前姿態(tài)特征。并且在步驟S104中根據(jù)在步驟S103中獲得的當(dāng)前姿態(tài)特征和預(yù)先確定的姿態(tài)特征標(biāo)準(zhǔn)確定是否存在異常情形，其中姿態(tài)特征標(biāo)準(zhǔn)是預(yù)先根據(jù)檢測對象在進行多種異常動作時的共同特征來確定的。

根據(jù)本發(fā)明的一個示例，多種異常動作可以是類型不同的多個動作，例如，揮舞動作、投擲動作、射擊動作、跳躍動作等。發(fā)明人在對各種動作研究的過程中得到在進行這些異常動作時，諸如人之類的檢測對象通常呈現(xiàn)肢體展開、肢體外接多邊形體積增加、姿勢對稱性變差、以及持有物體等共同的特征。因此可根據(jù)這些共同姿態(tài)特征來生成用于確定異常動作的姿態(tài)特征標(biāo)準(zhǔn)。

例如，用于確定姿態(tài)特征標(biāo)準(zhǔn)的共同特征可包括檢測對象的大小、肢體展開程度、肢體高度、姿勢對稱性、以及檢測對象持有物體的大小中的一個或多個。相應(yīng)地，根據(jù)這些共同特征來預(yù)先確定的姿態(tài)特征標(biāo)準(zhǔn)可包括對于檢測對象的外接立方體體積的標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)可指示檢測對象的大小、肢體展開程度和肢體高度等；對于檢測對象的中心位置的標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)可指示檢測對象的肢體高度、姿勢對稱性等；對于檢測對象在三個相鄰視圖上的投影映射的標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)可指示檢測對象的大小、肢體展開程度、肢體高度、姿勢對稱性以及檢測對象的持有物體等；和/或?qū)τ跈z測對象的頂視圖投影對稱性的標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)可指示檢測對象的姿勢對稱性等。

在此情況下，在步驟S103中根據(jù)所生成的三維點云獲得檢測對象的當(dāng)前姿態(tài)特征可包括根據(jù)所生成的三維點云獲得的、檢測對象的當(dāng)前外接立方體體積、當(dāng)前中心位置、當(dāng)前在三個相鄰視圖上的投影映射、以及當(dāng)前頂視圖投影映射對稱性中的一個或多個。并且在步驟S104中，可根據(jù)當(dāng)前姿態(tài)特征和與該當(dāng)前姿態(tài)特征對應(yīng)的、預(yù)先確定的姿態(tài)特征標(biāo)準(zhǔn)確定是否存在異常情形。

例如，檢測對象的當(dāng)前姿態(tài)特征可包括檢測對象的當(dāng)前外接立方體體積。具體地，在步驟S103中，可計算所生成的三維點云的體積作為檢測對象的當(dāng) 前外接立方體的體積。姿態(tài)特征標(biāo)準(zhǔn)可包括對于檢測對象的外接立方體體積的標(biāo)準(zhǔn)。如上所述，當(dāng)檢測對象的肢體(例如人的四肢)展開程度越大或者肢體末端(例如手和腳)高度越高時，進行異常情形存在的可能性越大，相應(yīng)地，其外接立方體體積的體積越大。因此在步驟S103中計算的檢測對象的外接立方體體積的體積越大，在步驟S104中根據(jù)姿態(tài)特征標(biāo)準(zhǔn)，可確定異常情形存在的可能性越大。反之，可確定異常情形存在的可能性越小。

圖2是示出了根據(jù)本發(fā)明一個示例的檢測對象的三維點云200的示意圖。在如圖2所示的x軸、y軸和z軸表示的三維空間中，可通過以下公式(1)來計算檢測對象的三維點云200的外接立方體的體積Score_cubic：

Score_cubic＝(max(X)-min(X))×(max(Y)-min(Y))×(max(Z)-min(Z))……(1)

其中，X表示三維點云200的x坐標(biāo)的集合，Y表示三維點云200的y坐標(biāo)的集合，Z表示三維點云200的z坐標(biāo)的集合。

又例如，檢測對象的當(dāng)前姿態(tài)特征可包括檢測對象的當(dāng)前中心位置。具體地，在步驟S103中，可計算所生成的三維點云的中心位置作為檢測對象的中心位置。姿態(tài)特征標(biāo)準(zhǔn)可包括對于檢測對象的中心位置的標(biāo)準(zhǔn)。如上所述，當(dāng)檢測對象的肢體末端(例如手和腳)高度越高時，進行異常情形存在的可能性越大，相應(yīng)地，其外中心位置越高。此外，當(dāng)檢測對象的持有物體并且物體越重或越大時，進行異常情形存在的可能性越大，相應(yīng)地，其外中心位置越偏離該檢測對象的除了其所持物體以外的部分的中線。

圖3a是示出了根據(jù)本發(fā)明一個示例的持有物體的檢測對象的深度圖。圖3b是示出了根據(jù)本發(fā)明另一示例的持有物體的檢測對象的深度圖。在圖3a和圖3b中，檢測對象均持有物體310。在圖3a所示的示例中，檢測對象的手臂低垂且靠近身體，因此檢測對象的中心位置320較低且靠近除了其所持物體以外的部分的中線。而在圖3b所示的示例中，檢測對象持有物體310的手臂舉起且向外伸展，因此檢測對象的中心位置320’較高且與除了其所持物體以外的部分的中線之間的距離較遠。

因此，可預(yù)先設(shè)置當(dāng)未做出異常動作時檢測對象的基準(zhǔn)中心位置。在步驟S103中計算的檢測對象的當(dāng)前中心位置與基準(zhǔn)中心位置的之間的距離越大和/或檢測對象的當(dāng)前中心位置越高，在步驟S104中根據(jù)姿態(tài)特征標(biāo)準(zhǔn)，可確定異常情形存在的可能性越大。反之，可確定異常情形存在的可能性越小。

在如圖2所示的示例中，可通過以下公式(2)來計算檢測對象的三維點云200的外接立方體的當(dāng)前中心位置與基準(zhǔn)中心位置的之間的距離Score_center：

Score_center＝||p_base-mean(X,Y,Z)||₂……(2)

其中，p_base表示預(yù)先設(shè)置的基準(zhǔn)中心位置。

又例如，檢測對象的當(dāng)前姿態(tài)特征可包括檢測對象的當(dāng)前在三個相鄰視圖上的投影映射。具體地，在步驟S103中，可生成三維點云的在三個相鄰視圖中的投影映射作為檢測對象當(dāng)前在三個相鄰視圖上的投影映射，其中在每個視圖中的投影映射是由在每個投影單元處、三維點云中在與該視圖垂直的方向上距離該視圖最遠的點構(gòu)成的。

根據(jù)本發(fā)明的一個示例，在步驟S103中，可生成三維點云的在正視圖、側(cè)視圖和頂視圖上的投影映射。圖4a是示出了根據(jù)本發(fā)明一個示例的檢測對象的三維點云410的正視圖。圖4b是示出了根據(jù)三維點云410生成的在正視圖中的投影映射420。如圖4b所示，在正視圖中的投影映射420是由在每個投影單元(例如像素點)處、三維點云410中在與正視圖垂直的方向上距離正視圖最遠的點構(gòu)成的。圖5a是示出了根據(jù)本發(fā)明一個示例的檢測對象的三維點云410的側(cè)視圖。圖5b是示出了根據(jù)三維點云410生成的在側(cè)視圖中的投影映射520。如圖5b所示，在側(cè)視圖中的投影映射520是由在每個投影單元處、三維點云410中在與側(cè)視圖垂直的方向上距離側(cè)視圖最遠的點構(gòu)成的。圖6a是示出了根據(jù)本發(fā)明一個示例的檢測對象的三維點云410的頂視圖。圖6b是示出了根據(jù)三維點云410生成的在側(cè)視圖中的投影映射620。如圖6b所示，在頂視圖中的投影映射620是由在每個投影單元處、三維點云410中在與頂視圖垂直的方向上距離頂視圖最遠的點構(gòu)成的。

姿態(tài)特征標(biāo)準(zhǔn)可包括對于檢測對象在三個相鄰視圖上的投影映射的標(biāo)準(zhǔn)。如上所述，當(dāng)檢測對象的肢體(例如人的四肢)展開程度越大、肢體末端(例如手和腳)高度越高或者持有物體越大時，進行異常情形存在的可能性越大，相應(yīng)地，其三個相鄰視圖上的投影映射所圍成的體積也越大。根據(jù)本發(fā)明的一個示例，在S104中可計算檢測對象當(dāng)前在三個相鄰視圖上的投影映射中各個點的像素值(即各個點在垂直于該視圖的方向上的坐標(biāo)值)之和，從而確定三個相鄰視圖上的投影映射所圍成的體積。三個相鄰視圖上的投影映射中各個點的像素值之和越大，在步驟S104中根據(jù)姿態(tài)特征標(biāo)準(zhǔn)，可確定異常情形存在的可能性越大。反之，可確定異常情形存在的可能性越小。

此外在公共場合，除了檢測對象自身之外，可能存在其他人或物對檢測對象造成遮擋。在此情況下，與被遮擋的投影映射相比，未被遮擋的視圖上的投影映射更能夠準(zhǔn)確地反映檢測對象的情況。根據(jù)本發(fā)明的一個示例，可根據(jù)檢測對象在各個視圖中被遮擋的情況生成對于每個視圖上的投影映射的權(quán)重。并且根據(jù)權(quán)重來計算三個相鄰視圖上的投影映射中各個點的像素值之和。具體地，在步驟S104中，可根據(jù)所生成的三維點云確定檢測對象當(dāng)前在三個相鄰視圖中被遮擋的程度。根據(jù)所確定的被遮擋的程度對于當(dāng)前在三個相鄰視圖上的投影映射分別生成權(quán)重。例如，根據(jù)所生成的三維點云確定檢測對象在側(cè)視圖中被遮擋較嚴(yán)重，而在頂視圖和正視圖中未被遮擋。在此情況下，可對側(cè)視圖上的投影映射生成較小的權(quán)重，而對正視圖和頂視圖上的投影映射生成較大的權(quán)重。然后，根據(jù)所生成的權(quán)重和當(dāng)前在三個相鄰視圖上的投影映射，計算當(dāng)前在三個相鄰視圖上的投影映射的像素值之和。例如，可通過以下公式(3)來計算當(dāng)前在三個相鄰視圖上的投影映射的像素值之和Score_3map：

${\mathrm{Score}}_{3\mathrm{map}}=w_f\·S{\mathrm{core}}_{{\mathrm{map}}_f}+w_s\·\mathrm{Scor}{e}_{{\mathrm{map}}_s}+w_t\·{\mathrm{Score}}_{{\mathrm{map}}_t}$

其中w_f表示對正視圖上的投影映射的權(quán)重，w_s表示對側(cè)視圖上的投影映射的權(quán)重，w_t表示對頂視圖上的投影映射的權(quán)重，表示正視圖上的投影映射的像素值之和，表示側(cè)視圖上的投影映射的像素值之和，表示頂視圖上的投影映射的像素值之和。當(dāng)所計算的當(dāng)前在三個相鄰視圖上的投影映射的像素值之和越大時，異常情形存在的可能性越大。

又例如，檢測對象的當(dāng)前姿態(tài)特征可包括檢測對象的當(dāng)前頂視圖投影映射對稱性。具體地，在步驟S103中，可生成三維點云的在頂視圖中的頂視圖投影映射作為檢測對象的當(dāng)前頂視圖投影映射，并且確定所述當(dāng)前頂視圖投影映射的對稱性。在步驟S103中，可旋轉(zhuǎn)所獲得的當(dāng)前頂視圖投影映射，以根據(jù)旋轉(zhuǎn)前的當(dāng)前頂視圖投影映射和旋轉(zhuǎn)后的當(dāng)前頂視圖投影映射確定當(dāng)前頂視圖投影映射的對稱性。例如，在步驟S103中，可將當(dāng)前頂視圖投影映射旋轉(zhuǎn)180度，比較根據(jù)旋轉(zhuǎn)前的當(dāng)前頂視圖投影映射和旋轉(zhuǎn)后的當(dāng)前頂視圖投影映射之間以獲得兩者之間的差值，并且根據(jù)兩者之間的差值確定當(dāng)前頂視圖投影映射的對稱性。可選擇地，可將當(dāng)前頂視圖投影映射進行橢圓擬合，并以垂直于所獲得的橢圓的短軸為旋轉(zhuǎn)軸來旋轉(zhuǎn)當(dāng)前頂視圖投影映射。

姿態(tài)特征標(biāo)準(zhǔn)可包括對于檢測對象的頂視圖投影映射的標(biāo)準(zhǔn)。如上所述， 當(dāng)檢測對象的對稱性越差時，進行異常情形存在的可能性越大。因此，在根據(jù)步驟S103中生成的頂視圖投影映射的對稱性越差，在步驟S104中根據(jù)姿態(tài)特征標(biāo)準(zhǔn)，可確定異常情形存在的可能性越大。反之，可確定異常情形存在的可能性越小。

此外，根據(jù)本發(fā)明的一個示例，在步驟S103中獲得多個當(dāng)前姿態(tài)特征時，可生成對于每個當(dāng)前姿態(tài)特征的權(quán)重。在步驟S104中，首先對于每個當(dāng)前姿態(tài)特征，根據(jù)與該特征對應(yīng)的預(yù)先確定的姿態(tài)特征標(biāo)準(zhǔn)確定是否存在異常情形；然后結(jié)合各個特征的確定結(jié)果和其權(quán)重來最終確定是否存在異常情形。

可預(yù)先設(shè)置對于各個姿態(tài)特征的權(quán)重。例如，由于當(dāng)前外接立方體體積和當(dāng)前在三個相鄰視圖上的投影映射均可表示檢測對象肢體的伸展情況且當(dāng)前在三個相鄰視圖上的投影映射圍成的體積更加準(zhǔn)確，因此可對當(dāng)前在三個相鄰視圖上的投影映射分配較大的權(quán)重，并對當(dāng)前外接立方體體積分配較小的權(quán)重。此外，也可根據(jù)例如遮擋情況等因素實時計算對于各個姿態(tài)特征的權(quán)重。

在根據(jù)本實施例的檢測異常情形的方法中，根據(jù)檢測對象在進行多種異常動作時的共同特征來判斷是否存在異常情形，從而避免了復(fù)雜的異常動作模板建立和訓(xùn)練過程，易于部署和實施，并且在實際使用中不需要與多個異常動作模板分別進行比較，因此能夠準(zhǔn)確快速地確定是否存在異常情形。

此外，與只能識別出特定異常動作的傳統(tǒng)方法相比，根據(jù)本實施例的檢測異常情形的方法不會受到特定異常動作模板的局限，可對檢測對象的任意姿態(tài)進行評估。因此根據(jù)本發(fā)明實施例的檢測異常情形的方法和裝置可更加靈活、有效地應(yīng)用于可能出現(xiàn)大量的、變化的異常情形的實際監(jiān)控場景中。

此外，在根據(jù)本實施例的檢測異常情形的方法中，可僅通過當(dāng)前幀的圖像和預(yù)先確定的姿態(tài)特征標(biāo)準(zhǔn)來確定是否存在異常情形，而不需要先前的檢測對象的歷史數(shù)據(jù)。因此，簡化了為了確定異常情形所需要進行的運算。

下面，參照圖7說明本發(fā)明實施例的檢測異常情形的裝置。圖7是示出了根據(jù)本發(fā)明的一個實施例的檢測異常情形的裝置700的示范性結(jié)構(gòu)框圖。如圖7中所示，本實施例的檢測異常情形的裝置700包括對象識別單元710、點云生成單元720、特征獲取單元730和情形確定單元740。在檢測異常情形的裝置700中的各個單元可分別執(zhí)行上述圖1中的檢測異常情形的方法100 的各個步驟/功能。因此，以下僅對檢測異常情形的裝置700的主要部件進行了描述，而省略了以上已經(jīng)結(jié)合圖1描述過的細(xì)節(jié)內(nèi)容。

具體地，對象識別單元710識別所采集的圖像中是否存在檢測對象?？深A(yù)先設(shè)置希望識別出的圖像中的檢測對象。例如，檢測對象可以是人，也可以是能夠做出動作的其他對象。當(dāng)存在檢測對象時，點云生成單元720根據(jù)所采集的圖像生成所采集的圖像中的檢測對象的三維點云。

根據(jù)本發(fā)明的一個示例，可使用根據(jù)相機設(shè)備獲取的深度信息生成的深度圖像進行背景建模，以提取前景。具體地，可利用相機設(shè)備獲取的深度信息確定檢測對象(例如人)在所采集的圖像中的位置，并將所確定的該檢測對象作為前景。可通過常規(guī)的背景建模方法來生成圖像的背景模型。背景模型可以是靜態(tài)背景建模，此外，也可以是使用混合高斯模型等建立的動態(tài)背景建模。然后點云生成單元720利用背景減除的方法，分別提取視覺圖像和深度圖像中的前景像素，以生成檢測對象的三維點云。

可選擇地，根據(jù)本發(fā)明的一個示例點云生成單元720可對三維點云進行降噪處理，以方便進行后續(xù)處理?？梢栽谶@里使用針對三維點云的已知的降噪方法。例如，可使用局部優(yōu)化投影降噪算法。

然后特征獲取單元730可根據(jù)所生成的三維點云獲得檢測對象的當(dāng)前姿態(tài)特征。并且情形確定單元740根據(jù)特征獲取單元730獲得的當(dāng)前姿態(tài)特征和預(yù)先確定的姿態(tài)特征標(biāo)準(zhǔn)確定是否存在異常情形，其中姿態(tài)特征標(biāo)準(zhǔn)是預(yù)先根據(jù)檢測對象在進行多種異常動作時的共同特征來確定的。

根據(jù)本發(fā)明的一個示例，多種異常動作可以是類型不同的多個動作，例如，揮舞動作、投擲動作、射擊動作、跳躍動作等。發(fā)明人在對各種動作研究的過程中得到在進行這些異常動作時，諸如人之類的檢測對象通常呈現(xiàn)肢體展開、肢體外接多邊形體積增加、姿勢對稱性變差、以及持有物體等共同的特征。因此可根據(jù)這些共同姿態(tài)特征來生成用于確定異常動作的姿態(tài)特征標(biāo)準(zhǔn)。

例如，用于確定姿態(tài)特征標(biāo)準(zhǔn)的共同特征可包括檢測對象的大小、肢體展開程度、肢體高度、姿勢對稱性、以及檢測對象持有物體的大小中的一個或多個。相應(yīng)地，根據(jù)這些共同特征來預(yù)先確定的姿態(tài)特征標(biāo)準(zhǔn)可包括對于檢測對象的外接立方體體積的標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)可指示檢測對象的大小、肢體展開程度和肢體高度等；對于檢測對象的中心位置的標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)可指示檢測 對象的肢體高度、姿勢對稱性等；對于檢測對象在三個相鄰視圖上的投影映射的標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)可指示檢測對象的大小、肢體展開程度、肢體高度、姿勢對稱性以及檢測對象的持有物體等；和/或?qū)τ跈z測對象的頂視圖投影對稱性的標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)可指示檢測對象的姿勢對稱性等。

在此情況下，特征獲取單元730根據(jù)所生成的三維點云獲得檢測對象的當(dāng)前姿態(tài)特征可包括根據(jù)所生成的三維點云獲得的、檢測對象的當(dāng)前外接立方體體積、當(dāng)前中心位置、當(dāng)前在三個相鄰視圖上的投影映射、以及當(dāng)前頂視圖投影映射對稱性中的一個或多個。并且情形確定單元740可根據(jù)當(dāng)前姿態(tài)特征和與該當(dāng)前姿態(tài)特征對應(yīng)的、預(yù)先確定的姿態(tài)特征標(biāo)準(zhǔn)確定是否存在異常情形。

例如，檢測對象的當(dāng)前姿態(tài)特征可包括檢測對象的當(dāng)前外接立方體體積。具體地，特征獲取單元730可計算所生成的三維點云的體積作為檢測對象的當(dāng)前外接立方體的體積。姿態(tài)特征標(biāo)準(zhǔn)可包括對于檢測對象的外接立方體體積的標(biāo)準(zhǔn)。如上所述，當(dāng)檢測對象的肢體(例如人的四肢)展開程度越大或者肢體末端(例如手和腳)高度越高時，進行異常情形存在的可能性越大，相應(yīng)地，其外接立方體體積的體積越大。因此特征獲取單元730計算的檢測對象的外接立方體體積的體積越大，情形確定單元740根據(jù)姿態(tài)特征標(biāo)準(zhǔn)，可確定異常情形存在的可能性越大。反之，情形確定單元740可確定異常情形存在的可能性越小。情形確定單元740可通過上述公式(1)來計算檢測對象的三維點云的外接立方體的體積。

又例如，檢測對象的當(dāng)前姿態(tài)特征可包括檢測對象的當(dāng)前中心位置。具體地，特征獲取單元730可計算所生成的三維點云的中心位置作為檢測對象的中心位置。姿態(tài)特征標(biāo)準(zhǔn)可包括對于檢測對象的中心位置的標(biāo)準(zhǔn)。如上所述，當(dāng)檢測對象的肢體末端(例如手和腳)高度越高時，進行異常情形存在的可能性越大，相應(yīng)地，其外中心位置越高。此外，當(dāng)檢測對象的持有物體并且物體越重或越大時，進行異常情形存在的可能性越大，相應(yīng)地，其外中心位置越偏離該檢測對象的除了其所持物體以外的部分的中線。因此，可預(yù)先設(shè)置當(dāng)未做出異常動作時檢測對象的基準(zhǔn)中心位置。特征獲取單元730計算的檢測對象的當(dāng)前中心位置與基準(zhǔn)中心位置的之間的距離越大和/或檢測對象的當(dāng)前中心位置越高，情形確定單元740根據(jù)姿態(tài)特征標(biāo)準(zhǔn)，可確定異常情形存在的可能性越大。反之，情形確定單元740可確定異常情形存在的 可能性越小。情形確定單元740可通過上述公式(2)來計算檢測對象的三維點云的外接立方體的當(dāng)前中心位置與基準(zhǔn)中心位置的之間的距離。

又例如，檢測對象的當(dāng)前姿態(tài)特征可包括檢測對象的當(dāng)前在三個相鄰視圖上的投影映射。具體地，特征獲取單元730可生成三維點云的在三個相鄰視圖中的投影映射作為檢測對象當(dāng)前在三個相鄰視圖上的投影映射，其中在每個視圖中的投影映射是由在每個投影單元處、三維點云中在與該視圖垂直的方向上距離該視圖最遠的點構(gòu)成的。根據(jù)本發(fā)明的一個示例，特征獲取單元730可生成三維點云的在正視圖、側(cè)視圖和頂視圖上的投影映射。

姿態(tài)特征標(biāo)準(zhǔn)可包括對于檢測對象在三個相鄰視圖上的投影映射的標(biāo)準(zhǔn)。如上所述，當(dāng)檢測對象的肢體(例如人的四肢)展開程度越大、肢體末端(例如手和腳)高度越高或者持有物體越大時，進行異常情形存在的可能性越大，相應(yīng)地，其三個相鄰視圖上的投影映射所圍成的體積也越大。根據(jù)本發(fā)明的一個示例，情形確定單元740可計算檢測對象當(dāng)前在三個相鄰視圖上的投影映射中各個點的像素值(即各個點在垂直于該視圖的方向上的坐標(biāo)值)之和，從而確定三個相鄰視圖上的投影映射所圍成的體積。三個相鄰視圖上的投影映射中各個點的像素值之和越大，情形確定單元740根據(jù)姿態(tài)特征標(biāo)準(zhǔn)，可確定異常情形存在的可能性越大。反之，情形確定單元740可確定異常情形存在的可能性越小。

此外在公共場合，除了檢測對象自身之外，可能存在其他人或物對檢測對象造成遮擋。在此情況下，與被遮擋的投影映射相比，未被遮擋的視圖上的投影映射更能夠準(zhǔn)確地反映檢測對象的情況。根據(jù)本發(fā)明的一個示例，情形確定單元740可根據(jù)檢測對象在各個視圖中被遮擋的情況生成對于每個視圖上的投影映射的權(quán)重。并且根據(jù)權(quán)重來計算三個相鄰視圖上的投影映射中各個點的像素值之和。具體地，情形確定單元740可根據(jù)所生成的三維點云確定檢測對象當(dāng)前在三個相鄰視圖中被遮擋的程度。根據(jù)所確定的被遮擋的程度對于當(dāng)前在三個相鄰視圖上的投影映射分別生成權(quán)重。例如，根據(jù)所生成的三維點云確定檢測對象在側(cè)視圖中被遮擋較嚴(yán)重，而在頂視圖和正視圖中未被遮擋。在此情況下，可對側(cè)視圖上的投影映射生成較小的權(quán)重，而對正視圖和頂視圖上的投影映射生成較大的權(quán)重。然后，根據(jù)所生成的權(quán)重和當(dāng)前在三個相鄰視圖上的投影映射，計算當(dāng)前在三個相鄰視圖上的投影映射的像素值之和。例如，可通過以上公式(3)來計算當(dāng)前在三個相鄰視圖上的 投影映射的像素值之和。當(dāng)所計算的當(dāng)前在三個相鄰視圖上的投影映射的像素值之和越大時，異常情形存在的可能性越大。

又例如，檢測對象的當(dāng)前姿態(tài)特征可包括檢測對象的當(dāng)前頂視圖投影映射對稱性。具體地，特征獲取單元730可生成三維點云的在頂視圖中的頂視圖投影映射作為檢測對象的當(dāng)前頂視圖投影映射，并且確定所述當(dāng)前頂視圖投影映射的對稱性。特征獲取單元730可旋轉(zhuǎn)所獲得的當(dāng)前頂視圖投影映射，以根據(jù)旋轉(zhuǎn)前的當(dāng)前頂視圖投影映射和旋轉(zhuǎn)后的當(dāng)前頂視圖投影映射確定當(dāng)前頂視圖投影映射的對稱性。例如，特征獲取單元730可將當(dāng)前頂視圖投影映射旋轉(zhuǎn)180度，比較根據(jù)旋轉(zhuǎn)前的當(dāng)前頂視圖投影映射和旋轉(zhuǎn)后的當(dāng)前頂視圖投影映射之間以獲得兩者之間的差值，并且根據(jù)兩者之間的差值確定當(dāng)前頂視圖投影映射的對稱性?？蛇x擇地，可將當(dāng)前頂視圖投影映射進行橢圓擬合，并以垂直于所獲得的橢圓的短軸為旋轉(zhuǎn)軸來旋轉(zhuǎn)當(dāng)前頂視圖投影映射。

姿態(tài)特征標(biāo)準(zhǔn)可包括對于檢測對象的頂視圖投影映射的標(biāo)準(zhǔn)。如上所述，當(dāng)檢測對象的對稱性越差時，進行異常情形存在的可能性越大。因此，特征獲取單元730生成的頂視圖投影映射的對稱性越差，情形確定單元740根據(jù)姿態(tài)特征標(biāo)準(zhǔn)，可確定異常情形存在的可能性越大。反之，情形確定單元740可確定異常情形存在的可能性越小。

此外，根據(jù)本發(fā)明的一個示例，當(dāng)特征獲取單元730獲得多個當(dāng)前姿態(tài)特征時，可生成對于每個當(dāng)前姿態(tài)特征的權(quán)重。情形確定單元740可首先對于每個當(dāng)前姿態(tài)特征，根據(jù)與該特征對應(yīng)的預(yù)先確定的姿態(tài)特征標(biāo)準(zhǔn)確定是否存在異常情形；然后結(jié)合各個特征的確定結(jié)果和其權(quán)重來最終確定是否存在異常情形。

可預(yù)先設(shè)置對于各個姿態(tài)特征的權(quán)重。例如，由于當(dāng)前外接立方體體積和當(dāng)前在三個相鄰視圖上的投影映射均可表示檢測對象肢體的伸展情況且當(dāng)前在三個相鄰視圖上的投影映射圍成的體積更加準(zhǔn)確，因此可對當(dāng)前在三個相鄰視圖上的投影映射分配較大的權(quán)重，并對當(dāng)前外接立方體體積分配較小的權(quán)重。此外，也可根據(jù)例如遮擋情況等因素實時計算對于各個姿態(tài)特征的權(quán)重。

在根據(jù)本實施例的檢測異常情形的裝置中，根據(jù)檢測對象在進行多種異常動作時的共同特征來判斷是否存在異常情形，從而避免了復(fù)雜的異常動作模板建立和訓(xùn)練過程，易于部署和實施，并且在實際使用中不需要與多個異 常動作模板分別進行比較，因此能夠準(zhǔn)確快速地確定是否存在異常情形。

此外，與只能識別出特定異常動作的傳統(tǒng)裝置相比，根據(jù)本實施例的檢測異常情形的裝置不會受到特定異常動作模板的局限，可對檢測對象的任意姿態(tài)進行評估。因此根據(jù)本發(fā)明實施例的檢測異常情形的裝置和裝置可更加靈活、有效地應(yīng)用于可能出現(xiàn)大量的、變化的異常情形的實際監(jiān)控場景中。

此外，在根據(jù)本實施例的檢測異常情形的裝置中，可僅通過當(dāng)前幀的圖像和預(yù)先確定的姿態(tài)特征標(biāo)準(zhǔn)來確定是否存在異常情形，而不需要先前的檢測對象的歷史數(shù)據(jù)。因此，簡化了為了確定異常情形所需要進行的運算。

此外，根據(jù)本發(fā)明的另一示例，本發(fā)明還可以通過一種檢測異常情形的系統(tǒng)來實施。圖8是示出按照本發(fā)明實施例的檢測異常情形的系統(tǒng)800的總體硬件框圖。如圖8所示，檢測異常情形的系統(tǒng)800可以包括：輸入設(shè)備810，用于從外部輸入例如通過立體相機采集的圖像，并且例如可以包括圖像傳輸線、圖像輸入端口等等；處理設(shè)備820，用于實施上述的按照本發(fā)明實施例的檢測異常情形的方法，例如可以包括計算機的中央處理器或其它的具有處理能力的芯片等等，此外，處理設(shè)備820還可以連接到諸如因特網(wǎng)的網(wǎng)絡(luò)(未示出)，根據(jù)處理過程的需要向遠程傳送處理后的結(jié)果等等；輸出設(shè)備830，用于向外部輸出實施上述檢測異常情形過程所得的結(jié)果，例如可以包括顯示器以及通信網(wǎng)絡(luò)及其所連接的遠程輸出設(shè)備等等；以及存儲設(shè)備840，用于以易失或非易失的方式存儲上述所采集的圖像、第一對象和物體的運動信息等數(shù)據(jù)，例如可以包括隨機存取存儲器(RAM)、只讀存儲器(ROM)、硬盤、或半導(dǎo)體存儲器等等的各種易失或非易失性存儲器。

所屬技術(shù)領(lǐng)域的技術(shù)人員知道，本發(fā)明可以實現(xiàn)為系統(tǒng)、裝置、方法或計算機程序產(chǎn)品。因此，本發(fā)明可以具體實現(xiàn)為以下形式，即：可以是完全的硬件、也可以是完全的軟件(包括固件、駐留軟件、微代碼等)，還可以是硬件和軟件結(jié)合的形式，本文一般稱為“組件、“模塊”、“裝置”或“系統(tǒng)”。此外，在一些實施例中，本發(fā)明還可以實現(xiàn)為在一個或多個計算機可讀介質(zhì)中的計算機程序產(chǎn)品的形式，該計算機可讀介質(zhì)中包含計算機可讀的程序代碼。

可以采用一個或多個計算機可讀介質(zhì)的任意組合。計算機可讀介質(zhì)可以 是計算機可讀信號介質(zhì)或者計算機可讀存儲介質(zhì)。計算機可讀存儲介質(zhì)例如可以是但不限于電、磁、光、電磁、紅外線、或半導(dǎo)體的系統(tǒng)、裝置或器件，或者任意以上的組合。計算機可讀存儲介質(zhì)的更具體的例子(非窮舉的列表)包括：具有一個或多個導(dǎo)線的電連接、便攜式計算機磁盤、硬盤、隨機存取存儲器(RAM)、只讀存儲器(ROM)、可擦式可編程只讀存儲器(EPROM或閃存)、光纖、便攜式緊湊磁盤只讀存儲器(CD-ROM)、光存儲器件、磁存儲器件、或者上述的任意合適的組合。在本文件中，計算機可讀存儲介質(zhì)可以是任何包含或存儲程序的有形介質(zhì)，該程序可以被指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用。

計算機可讀的信號介質(zhì)可以包括在基帶中或者作為載波一部分傳播的數(shù)據(jù)信號，其中承載了計算機可讀的程序代碼。這種傳播的數(shù)據(jù)信號可以采用多種形式，包括但不限于電磁信號、光信號或上述的任意合適的組合。計算機可讀的信號介質(zhì)還可以是計算機可讀存儲介質(zhì)以外的任何計算機可讀介質(zhì)，該計算機可讀介質(zhì)可以發(fā)送、傳播或者傳輸用于由指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用的程序。

上面參照本發(fā)明實施例的方法、裝置(系統(tǒng))和計算機程序產(chǎn)品的流程圖和/或框圖描述了本發(fā)明。應(yīng)當(dāng)理解，流程圖和/或框圖的每個方框以及流程圖和/或框圖中各方框的組合，都可以由計算機程序指令實現(xiàn)。這些計算機程序指令可以提供給通用計算機、專用計算機或其它可編程數(shù)據(jù)處理裝置的處理器，從而生產(chǎn)出一種機器，這些計算機程序指令通過計算機或其它可編程數(shù)據(jù)處理裝置執(zhí)行，產(chǎn)生了實現(xiàn)流程圖和/或框圖中的方框中規(guī)定的功能/操作的裝置。

也可以把這些計算機程序指令存儲在能使得計算機或其它可編程數(shù)據(jù)處理裝置以特定方式工作的計算機可讀介質(zhì)中，這樣，存儲在計算機可讀介質(zhì)中的指令就產(chǎn)生出一個包括實現(xiàn)流程圖和/或框圖中的方框中規(guī)定的功能/操作的指令裝置(instruction means)的制造品(manufacture)。

也可以把計算機程序指令加載到計算機、其它可編程數(shù)據(jù)處理裝置、或其它設(shè)備上，使得在計算機、其它可編程數(shù)據(jù)處理裝置或其它設(shè)備上執(zhí)行一系列操作步驟，以產(chǎn)生計算機實現(xiàn)的過程，從而使得在計算機或其它可編程裝置上執(zhí)行的指令能夠提供實現(xiàn)流程圖和/或框圖中的方框中規(guī)定的功能/操作的過程。

附圖中的流程圖和框圖顯示了根據(jù)本發(fā)明的多個實施例的系統(tǒng)、方法和計算機程序產(chǎn)品的可能實現(xiàn)的體系架構(gòu)、功能和操作。在這點上，流程圖或框圖中的每個方框可以代表一個模塊、程序段或代碼的一部分，所述模塊、程序段或代碼的一部分包含一個或多個用于實現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。也要注意的是，框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合，可以用執(zhí)行規(guī)定的功能或操作的專用的基于硬件的系統(tǒng)來實現(xiàn)，或者可以用專用硬件與計算機指令的組合來實現(xiàn)。

以上已經(jīng)描述了本發(fā)明的各實施例，上述說明是示例性的，并非窮盡性的，并且也不限于所披露的各實施例。在不偏離所說明的各實施例的范圍和精神的情況下，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說許多修改和變更都是顯而易見的。本文中所用術(shù)語的選擇，旨在最好地解釋各實施例的原理、實際應(yīng)用或?qū)κ袌鲋械募夹g(shù)的改進，或者使本技術(shù)領(lǐng)域的其它普通技術(shù)人員能理解本文披露的各實施例。