本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別是涉及一種人體關(guān)聯(lián)關(guān)系的監(jiān)控方法、系統(tǒng)及存儲裝置。

背景技術(shù)：

深度相機捕獲場景的深度圖像中每一像素具有的深度信息為場景表面到深度相機的距離，從而根據(jù)深度圖像可以獲取場景目標的位置信息。

在現(xiàn)有技術(shù)中，采用2d圖像序列對場景進行監(jiān)控，例如，采用2d視頻進行拍攝，再根據(jù)2d視頻里的圖像信息來獲取視頻內(nèi)的人物的關(guān)聯(lián)信息。對現(xiàn)有技術(shù)的研究和實踐過程中，本發(fā)明的發(fā)明人發(fā)現(xiàn)從2d圖像序列中無法獲得圖像中目標的距離、位置信息，因而也不能分辨前后遮擋的位置關(guān)系，容易導(dǎo)致產(chǎn)生錯誤的關(guān)聯(lián)關(guān)系，從而對場景的監(jiān)控效果不佳。

技術(shù)實現(xiàn)要素：

本發(fā)明提供一種人體關(guān)聯(lián)關(guān)系的監(jiān)控方法、系統(tǒng)及存儲裝置，能夠解決現(xiàn)有技術(shù)存在監(jiān)控效果差的問題。

為解決上述技術(shù)問題，本發(fā)明采用的一個技術(shù)方案是：提供一種人體關(guān)聯(lián)關(guān)系的監(jiān)控方法，該方法包括以下步驟：獲取多人場景的深度圖像序列；通過所述深度圖像序列判斷多個人體之間的關(guān)聯(lián)關(guān)系是否為預(yù)設(shè)的關(guān)聯(lián)關(guān)系；若是，則對所述關(guān)聯(lián)關(guān)系及所述關(guān)聯(lián)關(guān)系相關(guān)的人體進行標記并保存；監(jiān)控已標記的關(guān)聯(lián)關(guān)系及相關(guān)的人體；若所述關(guān)聯(lián)關(guān)系發(fā)生解除，則發(fā)出預(yù)警，并繼續(xù)監(jiān)控該關(guān)聯(lián)關(guān)系相關(guān)的人體。

為解決上述技術(shù)問題，本發(fā)明采用的另一個技術(shù)方案是：提供一種人體關(guān)聯(lián)關(guān)系的監(jiān)控系統(tǒng)，該系統(tǒng)包括至少一個深度相機、處理器和存儲器，所述深度相機和所述存儲器均與所述處理器連接；所述深度相機用于獲取多人場景的深度圖像序列；所述處理器用于通過所述深度圖像序列判斷多個人體之間的關(guān)聯(lián)關(guān)系是否為預(yù)設(shè)的關(guān)聯(lián)關(guān)系；若是，則對所述關(guān)聯(lián)關(guān)系及所述關(guān)聯(lián)關(guān)系相關(guān)的人體進行標記；監(jiān)控已標記的關(guān)聯(lián)關(guān)系及相關(guān)的人體；若所述關(guān)聯(lián)關(guān)系發(fā)生解除，則發(fā)出預(yù)警，并繼續(xù)監(jiān)控該關(guān)聯(lián)關(guān)系相關(guān)的人體；所述存儲器用于對所述處理器所做的標記進行保存。

為解決上述技術(shù)問題，本發(fā)明采用的又一個技術(shù)方案是：提供一種存儲裝置，該存儲裝置存儲有程序數(shù)據(jù)，所述程序數(shù)據(jù)能夠被執(zhí)行以實現(xiàn)上述方法。

本發(fā)明的有益效果是：區(qū)別于現(xiàn)有技術(shù)的情況，本發(fā)明通過深度圖像序列來判斷多個人體之間的關(guān)聯(lián)關(guān)系，因而能做出準確的判斷，規(guī)避誤判，本發(fā)明還對關(guān)聯(lián)關(guān)系和相關(guān)的人體進行標記和監(jiān)控，并在關(guān)聯(lián)關(guān)系發(fā)生解除時發(fā)出預(yù)警，從而能有效防止走失、走散的情況發(fā)生。此外，通過對關(guān)聯(lián)關(guān)系的相關(guān)的人體進行標記和監(jiān)控，還能夠在發(fā)生走失、走散的情況之后，快速地尋找到走失的人。因而，本發(fā)明能提高、改善監(jiān)控效果。

附圖說明

為了更清楚地說明本發(fā)明實施例中的技術(shù)方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是本發(fā)明提供的一種人體關(guān)聯(lián)關(guān)系的監(jiān)控方法實施例的流程示意圖；

圖2是本發(fā)明提供的一種人體關(guān)聯(lián)關(guān)系的監(jiān)控方法另一實施例的流程示意圖；

圖3是圖2中步驟s22實施例的流程示意圖；

圖4是本發(fā)明實施例的一個場景的俯視圖；

圖5是圖3中步驟s223實施例的流程示意圖；

圖6是本發(fā)明提供的一種人體關(guān)聯(lián)關(guān)系的監(jiān)控方法又一實施例的流程示意圖；

圖7是圖6中步驟s32實施例的流程示意圖；

圖8是本發(fā)明另一實施例的一個場景的俯視圖；

圖9是圖7中步驟s323實施例的流程示意圖；

圖10是圖6中步驟s34實施例的流程示意圖；

圖11是本發(fā)明提供的一種人體關(guān)聯(lián)關(guān)系的監(jiān)控系統(tǒng)實施例的結(jié)構(gòu)示意圖；

圖12是本發(fā)明提供的一種人體關(guān)聯(lián)關(guān)系的監(jiān)控系統(tǒng)另一實施例的結(jié)構(gòu)示意圖。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅是本發(fā)明的一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其它實施例，都屬于本發(fā)明保護的范圍。

本發(fā)明提供的人體關(guān)聯(lián)關(guān)系的監(jiān)控方法可應(yīng)用于車站、游樂場等公共場合的安防監(jiān)控。請參閱圖1，圖1是本發(fā)明提供的一種人體關(guān)聯(lián)關(guān)系的監(jiān)控方法實施例的流程示意圖。圖1所示的人體關(guān)聯(lián)關(guān)系的監(jiān)控方法包括步驟：

s11、獲取多人場景的深度圖像序列。

具體地，深度圖像序列可以通過深度相機來獲取，其中，多人場景可以是例如車站、游樂場等公共場合。深度圖像則不僅包括空間物體的像素信息，還包括每一像素信息的深度信息，即空間內(nèi)物體到深度相機之間的距離信息。深度圖像序列則是指在一個時間段內(nèi)的連續(xù)的深度圖像。

步驟s11中，可以使用單一可移動的深度相機來追蹤獲取所述深度圖，或者，也可以使用多個固定于不同位置的深度相機來追蹤獲取所述深度圖。

s12、通過深度圖像序列判斷多個人體之間的關(guān)聯(lián)關(guān)系是否為預(yù)設(shè)的關(guān)聯(lián)關(guān)系。

步驟s12中，預(yù)設(shè)的關(guān)聯(lián)關(guān)系可以是跟隨，其中，跟隨可以是近距離但沒有接觸的跟隨，當(dāng)然，在一些實施例中，跟隨也可以包括牽手和抱嬰等。

s13、若是，則對關(guān)聯(lián)關(guān)系及關(guān)聯(lián)關(guān)系相關(guān)的人體進行標記并保存。

在判斷人體之間的關(guān)聯(lián)關(guān)系為預(yù)設(shè)的關(guān)聯(lián)關(guān)系之后，則對該關(guān)聯(lián)關(guān)系進行標記并保存，以便于對該關(guān)聯(lián)關(guān)系進行追蹤監(jiān)控，同時，對該關(guān)聯(lián)關(guān)系相關(guān)的人體進行標記并保存，以便于對該人體進行追蹤監(jiān)控。

s14、監(jiān)控已標記的關(guān)聯(lián)關(guān)系及相關(guān)的人體。

具體地，s14中的監(jiān)控為持續(xù)追蹤該標記的關(guān)聯(lián)關(guān)系及相關(guān)的人體，以監(jiān)控該關(guān)聯(lián)關(guān)系是否會解除或者發(fā)生其它變化，或者該關(guān)聯(lián)關(guān)系相關(guān)的人體的走向等信息。

其中，監(jiān)控的方式有多種，例如，在一些實施例中，可以通過深度相機進行移動追蹤，該深度相機可以具有里程記錄功能。當(dāng)然，在另一些實施例中，可以通過在不同的位置固定多個深度相機，以使多個深度相機對多個場景進行拍攝。并且，可以使多個深度相機所拍攝的場景連貫銜接起來，從而減少或者避免盲區(qū)的出現(xiàn)。

s15、若關(guān)聯(lián)關(guān)系發(fā)生解除，則發(fā)出預(yù)警，并繼續(xù)監(jiān)控該關(guān)聯(lián)關(guān)系相關(guān)的人體。

在監(jiān)控的過程中，若標記的關(guān)聯(lián)關(guān)系發(fā)生變化，例如該關(guān)聯(lián)關(guān)系發(fā)生解除，則發(fā)出預(yù)警，例如，如果在游樂場或者車站等公共場所，若監(jiān)控到家長和小孩之間的關(guān)聯(lián)關(guān)系解除，則可以通過廣播提示家長要注意看管好小孩，也可以在監(jiān)控畫面中發(fā)出預(yù)警，以引起公共場所的監(jiān)控工作人員的注意，從而可以通過工作人員進行提示。從而能夠預(yù)防發(fā)生走散、走失的情況。

在關(guān)聯(lián)關(guān)系解除之后，仍繼續(xù)監(jiān)控該關(guān)聯(lián)關(guān)系相關(guān)的人體，從而使得預(yù)警發(fā)出之后，即使相關(guān)的人仍然沒有意識到發(fā)生了走失的情況，也能在發(fā)現(xiàn)走失后能快速獲知該標記的人體的去向，從而能快速尋找到走失的人。

區(qū)別于現(xiàn)有技術(shù)，本發(fā)明通過深度圖像序列來判斷多個人體之間的關(guān)聯(lián)關(guān)系，因而能做出準確的判斷，規(guī)避誤判，本發(fā)明還對關(guān)聯(lián)關(guān)系和相關(guān)的人體進行標記和監(jiān)控，并在關(guān)聯(lián)關(guān)系發(fā)生解除時發(fā)出預(yù)警，從而能有效防止走失、走散的情況發(fā)生。此外，通過對關(guān)聯(lián)關(guān)系的相關(guān)的人體進行標記和監(jiān)控，還能夠在發(fā)生走失、走散的情況之后，快速地尋找到走失的人。因而，本發(fā)明能提高、改善監(jiān)控效果。

請參閱圖2，圖2是本發(fā)明提供的一種人體關(guān)聯(lián)關(guān)系的監(jiān)控方法另一實施例的流程示意圖。

s21、獲取多人場景的深度圖像序列。

s22、通過深度圖像序列判斷多個人體之間的關(guān)聯(lián)關(guān)系是否為跟隨。

具體地，如圖3所示，圖3是圖2中步驟s22實施例的流程示意圖。步驟s22進一步包括：

s221、從深度圖像序列中識別多個人體。

步驟s221中，可以基于深度圖像來獲取該深度圖像中出現(xiàn)的人體的深度圖輪廓，從而識別出人體。

具體地，首先可以除去深度圖像中的背景。例如，可以在深度圖中初步確定一個斑塊(blob，即，具有相似值的像素的連接組)作為對象的身體，然后從該斑塊中去除具有明顯不同深度值的其它斑塊。以這種方式初步確定的斑塊通常必須具有某個最小尺寸。然而，為此，斑塊邊緣處的像素坐標之間的簡單的歐幾里德距離不給出該尺寸的準確測量。該不準確的原因是，與具有給定實際尺寸的物體相對應(yīng)的斑塊的尺寸(以像素為單位)隨著該物體與設(shè)備的距離的變化而增加或減小。

因此，為了確定物體的實際尺寸，首先使用下面的公式將物體的(x，y，深度)坐標變換為“現(xiàn)實世界”坐標(xr，yr，深度)：

xr＝(x-fovx/2)*像素尺寸*深度/參考深度

yr＝(y-fovy/2)*像素尺寸*深度/參考深度

這里，fovx和fovy為x和y方向上的深度圖的視野(以像素為單位)。像素尺寸為，在離繪圖設(shè)備給定距離(參考深度)處像素所對著的長度。然后，斑塊的尺寸可以通過求該斑塊邊緣的現(xiàn)實世界坐標之間的歐幾里德距離來實際確定。

因此，可以通過識別具有所要求的最小尺寸的斑塊來除去深度圖像中的背景，其中，該斑塊在場景中的各斑塊中間具有最小平均深度值?？梢约僭O(shè)，距離深度相機最近的斑塊為人體，深度比該平均深度值大了至少某個閾值的所有像素都被假定屬于背景物體，并將這些像素的深度值設(shè)置為零值。其中，上述閾值可以根據(jù)實際需要來確定。此外，在一些實施例中，還可以將具有明顯小于所述斑塊的平均深度值的深度值的各像素置零。另外，還可以預(yù)先設(shè)定一個最大深度，從而忽略超過該最大深度的物體。

在一些實施例中，還可以動態(tài)地確定深度值，超過該深度值的話，物體就從深度圖中去除。為此，假設(shè)場景中的物體正在移動。因此，在某最小數(shù)目個幀中深度沒有變化的任何像素都被假設(shè)是背景物體。深度值大于該靜態(tài)深度值的像素被認為是屬于背景物體的，因此都被置零。開始，場景中的所有像素可以都被定義為靜態(tài)，或者場景中的所有像素可以都被定義為非靜態(tài)的。在這兩種情形中，一旦對象開始運動，就可以動態(tài)生成實際的深度過濾器。

當(dāng)然，還可以通過現(xiàn)有技術(shù)中已知的其它方法來除去深度圖像中的背景。

在除去背景之后，可以通過邊緣檢測方法在深度圖中找出身體的外部輪廓。本實施例中，采用兩步閾值化機制來找出人體的輪廓：

首先，遍歷深度圖像中與人形相對應(yīng)的斑塊中的所有像素，并且，如果任何給定像素具有有效深度值，并且如果該像素與其四個相連的鄰近像素(右、左、上和下)中的至少一個像素之間的深度值之差大于第一閾值，則將其標記為輪廓位置。(其中，有效深度值和零值之間的差被認為是無窮大)。

然后，在完成了上一步驟之后，再次遍歷該斑塊，并且如果在任何像素(該像素還沒有被標記為輪廓位置)的八個相連的鄰近像素之中有輪廓像素，并且如果當(dāng)前像素和剩下的相連鄰近位置中的至少一個像素之間的深度值之差大于第二閾值(低于所述第一閾值)，則將其標記為輪廓位置。

在找出人體的外輪廓之后，再識別身體的各個部位，例如，頭部、軀干和四肢。

先旋轉(zhuǎn)深度圖像，使得身體輪廓處于豎直位置。該轉(zhuǎn)動的目的是為了通過將身體的縱軸與y坐標(垂直)軸對齊來簡化下述步驟中的計算?？蛇x擇地，下述計算可以相對于身體的縱軸來執(zhí)行，而不需要進行該轉(zhuǎn)動，如本領(lǐng)域技術(shù)人員所了解的。

在識別身體的各個部位之前，可以先找出身體的3d軸。具體地，找出身體的3d軸可以采用以下方法：

將原始深度圖像下采樣(down-sample)為節(jié)點柵格，其中，在x方向和y方向上隔n個像素取一個節(jié)點。基于以節(jié)點為中心的n×n方塊中的深度值來計算每個節(jié)點的深度值。如果方塊中多于半數(shù)像素具有零值，則將相應(yīng)節(jié)點設(shè)置為零值。否則，將該節(jié)點設(shè)置為n×n方塊中的有效深度值的平均值。

然后，可以基于鄰近節(jié)點的值來進一步“清理”該下采樣的深度圖像：如果給定節(jié)點的大部分相鄰節(jié)點具有零值，則將該節(jié)點也設(shè)置為零值(即使在前述步驟之后它具有有效的深度值)。

在上述步驟完成時，找出下采樣的圖中所剩節(jié)點的縱軸。為此，可以進行線性最小二乘擬合來找出最擬合各節(jié)點的線?？蛇x擇地，可以擬合圍繞各節(jié)點的一個橢圓并找出其主軸。

在找出身體的3d軸之后，通過在平行和垂直于縱軸的方向上測量身體輪廓的厚度來識別身體的軀干。為此，可以在身體輪廓的周圍限定約束框，然后可以對該框中的像素值進行二值化：將具有零深度值的像素設(shè)為0，而將具有非零深度值的像素設(shè)為1。

然后，通過沿著相應(yīng)的垂直線對二進制像素值進行相加，對框內(nèi)的每個x值計算縱向厚度值，并通過沿著相應(yīng)的水平線對二進制像素值進行加和，對每個y值計算橫向厚度值。對所得到的值應(yīng)用閾值，以便識別沿著哪些條垂直線和水平線輪廓相對厚。

當(dāng)輪廓某一水平區(qū)域的橫向厚度超過x閾值，某一垂直區(qū)域的縱向厚度超過y閾值時，該水平區(qū)域和垂直區(qū)域的交集可以確定為軀干。

在確定了軀干之后，可以基于幾何考慮來識別身體的頭部和四肢。手部手臂是連接到軀干區(qū)域的左側(cè)和右側(cè)的區(qū)域；頭部是軀干區(qū)域上方的連接區(qū)域；腿部是軀干區(qū)域下方的連接區(qū)域。還可以將軀干區(qū)域的左上角和右上角初步識別為肩膀。

當(dāng)輪廓以及人體的各個部位均識別出來之后，即可在深度圖像中識別出人體。

s222、獲取多個人體在深度圖像序列中的空間位置信息。

具體而言，空間位置信息包括在深度相機的相機坐標系中的第一坐標，以及在場景所在的世界坐標系中的第二坐標。例如，人體在以深度相機所在位置為原點的相機坐標系中的位置為第一坐標，人體在以場景空間中某個特定點為原點的世界坐標系中的位置為第二坐標。

在本實施例中，空間位置信息為人體位置信息，即人體在相機坐標系和世界坐標系中位置信息。

當(dāng)步驟s221識別出人體之后，可以根據(jù)步驟s221中識別出的人體輪廓、人體部位等信息獲取人體的特定點的位置，即該點在相機坐標系中的坐標。

人體位置信息可以是人體的軀干的質(zhì)心的位置信息。例如，人體的軀干的質(zhì)心在相機坐標系中的坐標。步驟s221中，當(dāng)從輪廓中識別出軀干、頭部、右壁、左臂、右腿和左腿之后，可以確定身體每個區(qū)域的質(zhì)心。其中，區(qū)域的質(zhì)心指該區(qū)域的代表深度或位置。為此，例如，可以生成區(qū)域內(nèi)深度值的直方圖，并將具有最高頻率的深度值(或具有最高頻率的兩個或多個深度值的平均值)設(shè)為該區(qū)域的質(zhì)心。確定了軀干的質(zhì)心之后，即可確定人體的軀干的質(zhì)心在相機坐標系中的坐標。

值得一提的是，本發(fā)明中的質(zhì)心是指通過深度圖像處理所獲取的質(zhì)心，而并非物理質(zhì)心。本發(fā)明的質(zhì)心可以通過質(zhì)心法獲取，也可以通過其它方法獲取，本發(fā)明不做限定。

如圖4所示，圖4是本發(fā)明實施例的一個場景的俯視圖。深度相機10所拍攝的場景內(nèi)有人體a、人體b和人體c，根據(jù)深度相機10拍攝的深度圖像可以確定人體a的軀干的質(zhì)心在相機坐標系中的坐標為(x1,y1,z1)，人體a的軀干的質(zhì)心在世界坐標系中的坐標為(x1’,y1’,z1’)，人體b的軀干的質(zhì)心在相機坐標系中的坐標為(x2,y2,z2)，人體b的軀干的質(zhì)心在世界坐標系中的坐標為(x2’,y2’,z2’)，人體c的軀干的質(zhì)心在相機坐標系中的坐標為(x3,y3,z3)，人體c的軀干的質(zhì)心在世界坐標系中的坐標為(x3’,y3’,z3’)。

當(dāng)然，在其它一些實施例中，人體位置信息還可以是人體輪廓上特定點的位置信息，可以通過步驟s221識別的人體的輪廓來確定人體的輪廓上特定點，從而確定其在相機坐標系上的坐標。在另一些實施例中，人體位置信息還可以是人體的部位或者該部位的質(zhì)心(或中心)的位置信息，可以通過驟s221識別的人體頭部、肩膀、四肢等部位，從而確定該人體部位在相機坐標系上的坐標，或者通過上述方法確定該人體部位的質(zhì)心，從而確定該人體部位的質(zhì)心在相機坐標系上的坐標。

s223、根據(jù)多個人體的空間位置信息及多個人體的空間位置信息之間的關(guān)系所持續(xù)的時長來判斷多個人體之間的關(guān)聯(lián)關(guān)系。

具體而言，根據(jù)多個人體的空間位置信息可以獲取多個人體之間的位置關(guān)系，從而可以根據(jù)該位置關(guān)系以及持續(xù)的時長來判斷多個人體之間的關(guān)聯(lián)關(guān)系。

請參閱圖5，圖5是圖3中步驟s223實施例的流程示意圖。本實施例的步驟s223包括：

s2231、根據(jù)人體位置信息計算多個人體之間的人體距離信息。

具體地，可以通過各人體在相機坐標系中的坐標值來計算多個人體之間的人體距離信息。其中，人體距離信息可以是多個人體的輪廓邊緣之間的距離，人體距離信息還可以是多個人體的人體質(zhì)心或者人體中心之間的距離，此外，人體距離信息還可以是多個人體的某個人體部位，例如，人體的頭部、肩膀等或者該部位的質(zhì)心或中心的距離。

舉例而言，圖4中的人體a和人體b之間的距離信息s1是人體a的質(zhì)心和人b的質(zhì)心之間的距離，其計算方法為：

同理，人體a的軀干的質(zhì)心和人體c的軀干的質(zhì)心之間的距離信息s2的計算方法為：

人體b的軀干的質(zhì)心和人體的軀干的質(zhì)心c之間的距離信息s3的計算方法為：

值得一提的是，當(dāng)識別出多個人體的時候，人體距離信息包括多個人體中兩兩人體之間的距離信息。

當(dāng)然，在其它一些實施例中，也可以通過世界坐標系中的坐標來計算人體之間的距離。

s2232、將人體距離信息與預(yù)設(shè)的人體距離閾值比較。

具體地，步驟s2232之前，可以預(yù)設(shè)一人體距離閾值以使實際人體距離信息與該人體距離閾值比較，從而作為判斷人體關(guān)聯(lián)關(guān)系的一個標準。

人體距離閾值s0可以是0-1m，例如，0-0.6m，具體可以是0.2m，0.3m，0.4m或者0.5m，可以理解地，在其它一些實施例中，人體距離閾值還可以是其它值，可以根據(jù)實際需求設(shè)定，本發(fā)明不做限定。

例如，本實施例中，s0＝0.5m，s1＝0.2m，s2＝1.5m，s3＝1.2m，可以得出比較結(jié)果：s1＜s0，s2＞s0，s3＞s0，即，人體a和人體b之間的距離信息小于人體距離閾值，表示人體a和人體b的距離較近，并且可能是跟隨關(guān)系，但人體a和人體b的近距離關(guān)系有可能為偶然發(fā)生的，因而需要進入步驟s2233-s2234排除此種偶然發(fā)生的近距離關(guān)系。而人體b和人體c之間的距離較遠，人體a和人體c之間的距離也較遠，因而認為人體b和人體c之間、人體a和人體c之間均不是跟隨關(guān)系。

s2233、若人體距離信息小于或等于人體距離閾值，則檢測人體距離信息小于或等于人體距離閾值的狀態(tài)的第一持續(xù)時長。

檢測第一持續(xù)時長可以從檢測到人體距離信息小于或等于人體距離閾值時開始進行計時。

s2234、當(dāng)?shù)谝怀掷m(xù)時長達到預(yù)設(shè)的第一時間閾值時，則判斷多個人體之間的關(guān)聯(lián)關(guān)系為跟隨。

步驟s2234即從開始計時到所計時長達到預(yù)設(shè)的第一時間閾值時即做出判斷。

其中，第一時間閾值可以在步驟s2234前預(yù)先設(shè)定，以將人體距離信息小于或等于人體距離閾值的狀態(tài)的第一持續(xù)時長與預(yù)設(shè)的第一時間閾值進行比較，從而作為判斷人體關(guān)聯(lián)關(guān)系的另一個標準。

具體地，該第一時間閾值t0可以是30-90s，例如，30-70s，具體可以是45s，50s或者60s等。當(dāng)然，在其它一些實施例中，第一時間閾值還可以是其它數(shù)值，具體根據(jù)實際需要而設(shè)定，本發(fā)明不做限定。

當(dāng)該第一持續(xù)時長達到第一時間閾值時，表示人體之間在較長的時間段內(nèi)維持了較近距離的位置關(guān)系，因而可以判斷該人體之間的關(guān)聯(lián)關(guān)系為跟隨。

例如，本實施例中，t0＝60s，當(dāng)檢測到人體a和人體b的距離信息小于人體距離閾值的狀態(tài)所維持的第一持續(xù)時長達到60s時，表示人體a和人體b在較長的時間內(nèi)保持較近的距離，則判斷人體a和人體b之間的關(guān)聯(lián)關(guān)系為跟隨。從而進入步驟s23。

可以理解地，若第一持續(xù)時長未達到第一時間閾值，表示人體a和人體b之間近距離狀態(tài)持續(xù)的時間并不長，表示人體a和人體b之間僅是偶然地發(fā)生近距離狀態(tài)，因而可以認為人體a和人體b之間并不是跟隨關(guān)系，因而不會進入步驟s23。

s23、若是，則對關(guān)聯(lián)關(guān)系及關(guān)聯(lián)關(guān)系相關(guān)的人體進行標記并保存。

例如，本實施例在判斷人體a和人體b之間是跟隨關(guān)系之后，可以將該跟隨的關(guān)聯(lián)關(guān)系進行標記，同時對該人體a和人體b分別進行標記，并保存，以便于后期對該關(guān)聯(lián)關(guān)系及相關(guān)的人體進行跟蹤監(jiān)控。

s24、監(jiān)控已標記的關(guān)聯(lián)關(guān)系及相關(guān)的人體。

本實施例中，通過在公共場所的不同位置設(shè)置多個深度相機，從而能監(jiān)控已標記的跟隨的關(guān)聯(lián)關(guān)系，同時監(jiān)控已標記的人體a和人體b。

監(jiān)控已標記的關(guān)聯(lián)關(guān)系可以是監(jiān)控關(guān)聯(lián)關(guān)系是否發(fā)生變化，例如是否發(fā)生解除。

值得一提的是，由于在步驟s222中同時獲取了人體的第二坐標，因此，在步驟s24中，可以通過多個相機所拍攝的深度圖像中的場景內(nèi)的特定的點作為標記，將多個深度相機所拍攝的場景歸一化為一個世界坐標系，從而得出人體a和人體b在各個深度相機所拍攝的深度圖像中的第二坐標。

s25、若關(guān)聯(lián)關(guān)系發(fā)生解除，則發(fā)出預(yù)警，并繼續(xù)監(jiān)控該關(guān)聯(lián)關(guān)系相關(guān)的人體。

舉例而言，人體a和人體b之間的跟隨關(guān)系是否發(fā)生解除，可以根據(jù)人體a和人體b之間的距離信息來判斷，例如，如果人體a和人體b之間的距離信息s1大于人體距離閾值s0，則判斷，人體a和人體b之間的跟隨關(guān)系發(fā)生解除。

當(dāng)該關(guān)聯(lián)關(guān)系發(fā)生解除時，即發(fā)出預(yù)警，以提示人們注意看管好跟隨關(guān)系的人，或者注意保持跟隨關(guān)系。例如，人體a為家長，人體b為該家長的小孩，當(dāng)家長接收到預(yù)警信息之后，會即刻注意看管好小孩，保持小孩與其的跟隨關(guān)系。

若預(yù)警均未引起人體a和人體b的注意，各深度相機還會繼續(xù)監(jiān)控人體a和人體b，并從深度圖像序列中獲取人體a和人體b在世界坐標中的位置，例如，(x1’,y1’,z1’)和(x2’,y2’,z2’)，從而便于尋找到人體a和人體b，防止走失。

請參閱圖6，圖6是本發(fā)明提供的一種人體關(guān)聯(lián)關(guān)系的監(jiān)控方法又一實施例的流程示意圖。

s31、獲取多人場景的深度圖像序列。

s32、通過深度圖像序列判斷多個人體之間的關(guān)聯(lián)關(guān)系是否為跟隨。

具體而言，如圖7所示，圖7是圖6中步驟s32實施例的流程示意圖。步驟s32進一步包括：

s321、從深度圖像序列中識別多個人體，并根據(jù)識別出的多個人體進一步識別人體部位。

步驟s321中，可以基于深度圖像來獲取該深度圖像中出現(xiàn)的人體的深度圖輪廓，從而識別出人體。

具體地，人體部位可以是人體的軀干或者四肢等部位，其中，人體部位可以通過上一實施例中的方法來識別，在此不再贅述。例如，本實施例中的人體部位為手部，手部可以在識別出左、右臂之后，識別左、右臂的外端部為手部。在深度圖像序列中通過人體的輪廓識別出人體之后，可以進一步通過該人體的部位的輪廓來識別出人體的部位。例如，通過手部的輪廓信息來識別人體的手部。

s322、獲取多個人體部位在深度圖像序列中的部位位置信息。

具體而言，部位位置信息包括人體部位在深度相機的相機坐標系中的第一坐標，以及在場景所在的世界坐標系中的第二坐標。例如，人體部位在以深度相機所在位置為原點的相機坐標系中的位置為第一坐標，人體部位在以場景空間中某個特定點為原點的世界坐標系中的位置為第二坐標。

其中，部位位置信息可以是人體部位的輪廓上特定點在在相機坐標系中的坐標，還可以是人體部位的質(zhì)心或中心在相機坐標系中的坐標。人體部位的輪廓以及人體部位的質(zhì)心的獲取可以通過上一實施例中所述的方法，在此不再贅述。

例如，如圖8所示，圖8是本發(fā)明另一實施例的一個場景的俯視圖。圖5中深度相機10所拍攝的場景內(nèi)有人體d和人體e，通過深度相機10拍攝的深度圖像可以確定，人體d的手的質(zhì)心在相機坐標系中的坐標為(x4,y4,z4)，人體d的手的質(zhì)心在世界坐標系中的坐標為(x4’,y4’,z4’)。人體e的手的質(zhì)心在相機坐標系中的坐標為(x5,y5,z5)，人體e的手的質(zhì)心在世界坐標系中的坐標為(x5’,y5’,z5’)。

s323、根據(jù)多個人體的部位位置信息及多個人體的部位位置信息之間的關(guān)系所持續(xù)的時長來判斷多個人體之間的關(guān)聯(lián)關(guān)系。

請參閱圖9，圖9是圖7中步驟s323實施例的流程示意圖。具體地，步驟s323包括：

s3231、根據(jù)部位位置信息計算多個人體的人體部位之間的部位距離信息。

具體地，可以通過各人人體部位在相機坐標系中的坐標值來計算多個人體部位之間的部位距離信息。部位距離信息可以是人體部位的輪廓的特定點之間的距離，也可以是人體部位的質(zhì)心或者中心之間的距離。

舉例而言，圖8中的人體d的手的質(zhì)心和人體e的手的質(zhì)心之間的距離信息s4的計算方法為：

當(dāng)然，在其它實施例中，也可以通過人體d的手和人體e的手的世界坐標來計算。

s3232、將部位距離信息與預(yù)設(shè)的部位距離閾值比較。

其中，部位距離閾值可以在步驟s3232之前預(yù)先設(shè)置好，以作為判斷人體關(guān)聯(lián)關(guān)系的一個標準。

部位距離閾值s0’可以是0-0.03m，例如，0.01m，0.02m，或者0.03m，可以理解地，在其它一些實施例中，部位距離閾值還可以是其它值，可以根據(jù)實際需求設(shè)定，本發(fā)明不做限定。

本實施例中，s0’＝0.02m，s4＝0m，即人體d的手部和人體e的手部之間的距離信息小于部位距離閾值，s4＜s0’，表示人體d的手部和人體e的手部距離較近，本實施例中，s4＝0m，可表示人體d的手部和人體e的手部接觸，但是人體d的手部和人體e的手部的近距離的關(guān)系有可能為偶然發(fā)生的狀態(tài)，因而需要進入步驟s3233-s3234排除此種偶然發(fā)生的近距離關(guān)系。

s3233、若部位距離信息小于或等于部位距離閾值，則檢測部位距離信息小于或等于部位閾值距離的狀態(tài)的第二持續(xù)時長。

步驟s3233中，在檢測到部位距離信息小于或等于部位距離閾值時即開始計時，以檢測第二持續(xù)時長。

s3234、當(dāng)?shù)诙掷m(xù)時長達到預(yù)設(shè)的第二時間閾值時，則判斷多個人體之間的關(guān)聯(lián)關(guān)系為跟隨。

步驟s3234即從開始計時到所計時長達到第二時間閾值時即做出判斷。

其中，第二時間閾值可以在步驟s3233前預(yù)先設(shè)定，以將部位距離信息小于或等于部位距離閾值的狀態(tài)的第二持續(xù)時長與預(yù)設(shè)的第二時間閾值進行比較，從而作為判斷人體關(guān)聯(lián)關(guān)系的另一個標準。

具體地，該第二時間閾值t0’可以是1-10s，例如，1-4s，或者5s-9s，具體可以是2s，3s，4s，6s或者8s等?？梢岳斫獾?，在其它一些實施例中，第二時間閾值還可以是其它數(shù)值，具體根據(jù)實際需要而設(shè)定，本發(fā)明不做限定。

當(dāng)該第二持續(xù)時長達到第二時間閾值時，表示人體部位之間在較長的時間段內(nèi)維持了相互接觸的關(guān)系，因而可以判斷該兩個人體之間的關(guān)聯(lián)關(guān)系為跟隨。

例如，本實施例中，t0’＝2s，人體d的手部和人體e的手部的距離信息小于部位距離閾值的狀態(tài)的第二持續(xù)時長達到2s時，表示人體d的手部和人體e的手部在較長的時間內(nèi)保持接觸的關(guān)系，表示人體d和人體e之間的關(guān)聯(lián)關(guān)系為牽手，本實施例將牽手作為跟隨關(guān)系的一種情況，因此，判斷人體d和人體e之間的關(guān)聯(lián)關(guān)系為跟隨，然后進入步驟s33。

可以理解地，若第二持續(xù)時長未達到第二時間閾值，則表示人體d的手部和人體e的手部之間僅是偶然地發(fā)生接觸，該接觸狀態(tài)持續(xù)的時間并不長，因而可以認為人體d和人體e之間并不是跟隨關(guān)系，因而不會進入步驟s33。

s33、若是，則對關(guān)聯(lián)關(guān)系及關(guān)聯(lián)關(guān)系相關(guān)的人體進行標記并保存。

判斷人體d和人體e之間是跟隨關(guān)系之后，可以將該跟隨的關(guān)聯(lián)關(guān)系進行標記，同時對該人體d和人體e分別進行標記并保存，以便于后期對該關(guān)聯(lián)關(guān)系及相關(guān)的人體進行跟蹤監(jiān)控。

可以理解地，在其它一些實施例中，人體d和人體e之間還可能是其它狀態(tài)，例如抱嬰狀態(tài)。此時，人體d和人體e之間，不管是人體之間的人體距離信息還是人體部位之間的部位距離信息均為0，再結(jié)合持續(xù)時長，則可以通過深度圖像序列準確地進行判斷。

在本發(fā)明的一些實施例中，可以直接通過人體之間的距離及該距離維持的時間來判斷人體的關(guān)聯(lián)關(guān)系。在另一些實施例中，也可以至二級通過人體部位之間的距離及該距離維持的時間來判斷人體的關(guān)聯(lián)關(guān)系。在又一些實施例中，還可以是結(jié)合人體之間的距離及其持續(xù)時間以及通過人體部位之間的距離及其持續(xù)時間進行判斷，例如，先通過人體之間的距離及其持續(xù)時間進行判斷，若判斷為非跟隨關(guān)系，則再通過人體部位之間的距離及其持續(xù)時間進行判斷，以使判斷結(jié)果更加準確。

s34、監(jiān)控已標記的關(guān)聯(lián)關(guān)系及相關(guān)的人體。

步驟s33已對人體d和人體e進行標記，并標記了人體d和人體e之間的關(guān)聯(lián)關(guān)系為跟隨，則對人體d和人體e進行監(jiān)控，同時監(jiān)控人體d和人體e之間的跟隨關(guān)系。

具體地，如圖10所示，圖10是圖6中步驟s34實施例的流程示意圖。本實施例的步驟s34還包括以下步驟：

s341、持續(xù)獲取不同場景的深度圖像序列。

例如，通過單個深度相機對人體進行追蹤拍攝，或者，也可以通過將多個深度相機設(shè)置在場所的不同位置，以持續(xù)跟蹤拍攝已標記人體及關(guān)聯(lián)關(guān)系，從而進行監(jiān)控。

舉例而言，在車站中，不同的位置設(shè)置有多個深度相機，以形成連續(xù)的監(jiān)控區(qū)，因而，人體d和人體e無論走到監(jiān)控區(qū)內(nèi)的任何位置，均會出現(xiàn)在深度圖像序列中。

s342、檢測深度圖像序列中是否包含已標記的人體。

檢測不同場景獲取的深度圖像序列，以確定該深度圖像序列中是否包括已標記的人體。

例如，在某一場景中檢測該場景的深度圖像序列內(nèi)是否包含人體d和人體e。

s343、若包含所述已標記的人體，則檢測深度圖像序列中是否包含該已標記的人體的關(guān)聯(lián)關(guān)系。

如果在步驟s342中檢測到人體d和人體e，則進一步檢測人體d和人體e之間的關(guān)聯(lián)關(guān)系是否包含已標記的跟隨的關(guān)聯(lián)關(guān)系。

s344、若不包含所述關(guān)聯(lián)關(guān)系，則表示關(guān)聯(lián)關(guān)系發(fā)生解除。

如果步驟s343中檢測到人體d和人體e之間沒有跟隨的關(guān)聯(lián)關(guān)系，則表示關(guān)聯(lián)關(guān)系發(fā)生解除，從而進入步驟s35。

s35、若關(guān)聯(lián)關(guān)系發(fā)生解除，則發(fā)出預(yù)警，并繼續(xù)監(jiān)控該關(guān)聯(lián)關(guān)系相關(guān)的人體。

當(dāng)步驟s344判斷出關(guān)聯(lián)關(guān)系發(fā)生解除，則發(fā)出預(yù)警，以提示人們注意看管好跟隨關(guān)系的人，或者注意保持跟隨關(guān)系。例如，人體d為家長，人體e為該家長的小孩，當(dāng)家長接收到預(yù)警信息之后，會即刻注意看管好小孩，保持小孩與其的跟隨關(guān)系。

如果預(yù)警并未引起人體d和人體e的注意，各個位置處的深度相機還會繼續(xù)監(jiān)控人體d和人體e，并通過歸一化后的世界坐標獲取人體d和人體e在該世界坐標中的位置，以便于快速尋找到人體d或人體e，防止走失。

請參閱圖11和圖12，圖11是本發(fā)明提供的一種人體關(guān)聯(lián)關(guān)系的監(jiān)控系統(tǒng)實施例的結(jié)構(gòu)示意圖，圖12是本發(fā)明提供的一種人體關(guān)聯(lián)關(guān)系的監(jiān)控系統(tǒng)另一實施例的結(jié)構(gòu)示意圖。其中，人體關(guān)聯(lián)關(guān)系的監(jiān)控系統(tǒng)包括至少一個深度相機10、處理器11和存儲器12，深度相機10和存儲器12均與處理器11連接。圖11所示的人體關(guān)聯(lián)關(guān)系的監(jiān)控系統(tǒng)包括一個深度相機10，圖12所示的人體關(guān)聯(lián)關(guān)系的監(jiān)控系統(tǒng)包括多個深度相機10。

具體地，深度相機10用于獲取多人場景的深度圖像序列。其中，深度圖像序列可以通過深度相機來獲取，其中，多人場景可以是例如車站、游樂場等公共場合。深度圖像則不僅包括空間物體的像素信息，還包括每一像素信息的深度信息，即空間內(nèi)物體到深度相機之間的距離信息。深度圖像序列則是指在一個時間段內(nèi)的連續(xù)的深度圖像。

處理器11用于通過深度圖像序列判斷多個人體之間的關(guān)聯(lián)關(guān)系是否為預(yù)設(shè)的關(guān)聯(lián)關(guān)系；若是，則對關(guān)聯(lián)關(guān)系及關(guān)聯(lián)關(guān)系相關(guān)的人體進行標記；監(jiān)控已標記的關(guān)聯(lián)關(guān)系及相關(guān)的人體；若關(guān)聯(lián)關(guān)系發(fā)生解除，則發(fā)出預(yù)警，并繼續(xù)監(jiān)控該關(guān)聯(lián)關(guān)系相關(guān)的人體。

存儲器用于對處理器所做的標記進行保存。

舉例而言，預(yù)設(shè)的關(guān)聯(lián)關(guān)系可以是跟隨，其中，跟隨可以是近距離但沒有接觸的跟隨，當(dāng)然，在一些實施例中，跟隨也可以包括牽手和抱嬰等。在判斷人體之間的關(guān)聯(lián)關(guān)系為預(yù)設(shè)的關(guān)聯(lián)關(guān)系之后，則對該關(guān)聯(lián)關(guān)系進行標記并保存，以便于對該關(guān)聯(lián)關(guān)系進行追蹤監(jiān)控，同時，對該關(guān)聯(lián)關(guān)系相關(guān)的人體進行標記并保存，以便于對該人體進行追蹤監(jiān)控。監(jiān)控為持續(xù)追蹤該標記的關(guān)聯(lián)關(guān)系及相關(guān)的人體，以監(jiān)控該關(guān)聯(lián)關(guān)系是否會解除或者發(fā)生其它變化，或者該關(guān)聯(lián)關(guān)系相關(guān)的人體的走向等信息。

其中，空間位置信息可以包括在深度相機的相機坐標系中的第一坐標，以及在場景所在的世界坐標系中的第二坐標。

監(jiān)控的方式有多種，例如，在一些實施例中，可以通過一個深度相機進行移動追蹤，該深度相機可以具有里程記錄功能。當(dāng)然，在另一些實施例中，可以通過在不同的位置固定多個深度相機，以使多個深度相機對多個場景進行拍攝。并且，可以使多個深度相機所拍攝的場景連貫銜接起來，從而減少或者避免盲區(qū)的出現(xiàn)。

在監(jiān)控的過程中，若標記的關(guān)聯(lián)關(guān)系發(fā)生變化，例如該關(guān)聯(lián)關(guān)系發(fā)生解除，則發(fā)出預(yù)警，例如，如果在游樂場或者車站等公共場所，若監(jiān)控到家長和小孩之間的關(guān)聯(lián)關(guān)系解除，則可以通過廣播提示家長要注意看管好小孩，也可以在監(jiān)控畫面中發(fā)出預(yù)警，以引起公共場所的監(jiān)控工作人員的注意，從而可以通過工作人員進行提示。從而能夠預(yù)防發(fā)生走散、走失的情況。

在關(guān)聯(lián)關(guān)系解除之后，仍繼續(xù)監(jiān)控該關(guān)聯(lián)關(guān)系相關(guān)的人體，從而使得預(yù)警發(fā)出之后，即使相關(guān)的人仍然沒有意識到發(fā)生了走失的情況，也能在發(fā)現(xiàn)走失后能快速獲知該標記的人體的去向，從而能快速尋找到走失的人。

在一實施例中，深度相機10還用于持續(xù)獲取不同場景的深度圖像序列。處理器11還用于檢測深度圖像序列中是否包含已標記的人體；若包含所述已標記的人體，則檢測深度圖像序列中是否包含該已標記的人體的關(guān)聯(lián)關(guān)系；若不包含所述關(guān)聯(lián)關(guān)系，則表示關(guān)聯(lián)關(guān)系發(fā)生解除。

在另一實施例中，處理器11還用于從深度圖像序列中識別多個人體；獲取多個人體在深度圖像序列中的空間位置信息；根據(jù)多個人體的空間位置信息及多個人體的空間位置信息之間的關(guān)系所持續(xù)的時長來判斷多個人體之間的關(guān)聯(lián)關(guān)系。

在又一實施例中，預(yù)設(shè)的關(guān)聯(lián)關(guān)系為跟隨，空間位置信息為人體位置信息。處理器11還用于根據(jù)人體位置信息計算多個人體之間的人體距離信息；將人體距離信息與預(yù)設(shè)的人體距離閾值比較；若人體距離信息小于或等于人體距離閾值，則檢測人體距離信息小于或等于人體距離閾值的狀態(tài)的第一持續(xù)時長；當(dāng)?shù)谝怀掷m(xù)時長達到預(yù)設(shè)的第一時間閾值時，則判斷多個人體之間的關(guān)聯(lián)關(guān)系為跟隨。

在另一實施例中，述預(yù)設(shè)的關(guān)聯(lián)關(guān)系為跟隨，空間位置信息為人體部位位置信息。

處理器11還用于根據(jù)識別出的多個人體進一步識別人體部位；獲取多個人體部位在深度圖像序列中的部位位置信息；根據(jù)部位位置信息計算多個人體的人體部位之間的部位距離信息；將部位距離信息與預(yù)設(shè)的部位距離閾值比較；若部位距離信息小于或等于部位距離閾值，則檢測部位距離信息小于或等于部位閾值距離的狀態(tài)的第二持續(xù)時長；當(dāng)?shù)诙掷m(xù)時長達到預(yù)設(shè)的第二時間閾值時，則判斷多個人體之間的關(guān)聯(lián)關(guān)系為跟隨。

本發(fā)明還提供了一種存儲裝置，該存儲裝置存儲有程序數(shù)據(jù)，該程序數(shù)據(jù)能夠被執(zhí)行以實現(xiàn)上述任一實施例的人體關(guān)聯(lián)關(guān)系的監(jiān)控方法。

舉例而言，該存儲裝置可以是便攜式存儲介質(zhì)，例如u盤、移動硬盤、只讀存儲器(rom，read-onlymemory)、隨機存取存儲器(ram，randomaccessmemory)、磁碟或者光盤等?？梢岳斫獾?，存儲裝置還可以是服務(wù)器等各種可以存儲程序代碼的介質(zhì)。

綜上所述，本發(fā)明能有效防止走失、走散的情況發(fā)生，還能夠在發(fā)生走失、走散之后，快速地尋找到走失的人，因而本發(fā)明能提高、改善監(jiān)控效果。

以上所述僅為本發(fā)明的實施方式，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說明書及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換，或直接或間接運用在其他相關(guān)的技術(shù)領(lǐng)域，均同理包括在本發(fā)明的專利保護范圍內(nèi)。