專利名稱：標(biāo)簽傳感器系統(tǒng)、傳感器裝置、物體位置推測裝置及物體位置推測方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種具有無線終端裝置和傳感器裝置的位置確定系 統(tǒng)，尤其涉及使用與無線終端裝置的無線通信及監(jiān)視對象的拍攝圖像， 來確定監(jiān)視對象的位置的技術(shù)。并且，本發(fā)明涉及根據(jù)定位坐標(biāo)的概 率密度推測對象的位置的物體位置推測裝置及方法。
背景技術(shù)：
現(xiàn)有技術(shù)中，使用RFID定位裝置和防盜相機(jī)的位置檢測系統(tǒng)為 世人所知。例如日本特開2006-311111號公報中公開了該系統(tǒng)。在現(xiàn)有 的系統(tǒng)中，認(rèn)證者具有有源標(biāo)簽。并且，用防盜相機(jī)拍攝進(jìn)行監(jiān)視的 區(qū)域，并且以RFID定位裝置進(jìn)行有源標(biāo)簽的檢測。并且，通過比較由 防盜相機(jī)取得的相機(jī)定位數(shù)據(jù)、及由RFID定位裝置取得的RFID定位 數(shù)據(jù)，確定區(qū)域內(nèi)的可疑人員的位置。
但在現(xiàn)有的系統(tǒng)中，例如監(jiān)視對象進(jìn)入到防盜相機(jī)的死角時等、 無法用防盜相機(jī)拍攝監(jiān)視對象并無法獲得相機(jī)定位數(shù)據(jù)的情況下，無 法確定圖像內(nèi)的監(jiān)視對象的位置，難以追蹤監(jiān)視對象的移動。
并且，目前作為這種技術(shù)例如包括日本特開2005-141687號公報
公開的技術(shù)。
日本特開2005-141687號公報記載有使用從圖像信息獲得的時 刻t下的對象的位置的概率密度分布Ptv、從聲音信息獲得的時刻t下 的對象的位置的概率密度分布PtA、及加權(quán)系數(shù)ki (t)，通過下述公式 1求出綜合了概率密度分布PtV和概率密度分布PtA的似然比分布F。(數(shù)學(xué)式1)
F,)if+(1-柳尸/ ……(1)
在日本特開2005-141687號公報中，將加權(quán)系數(shù)k！ (t)設(shè)定為由 下述公式2表示的值，從而在概率密度分布的概率密度的最大值越大 時，越增大該輸入信息(圖像信息或聲音信息)的權(quán)重，相反當(dāng)概率 密度分布的概率密度的最大值越小，減小該輸入信息(圖像信息或聲 音信息)的權(quán)重。
(數(shù)學(xué)式2)
— max(,(州
maxO, O》+ maxO, W》 ......(2)
艮P，將概率密度分布的概率密度的最大值作為可靠性標(biāo)準(zhǔn)使用， 獲得綜合了圖像信息的概率密度分布和聲音信息的概率密度分布的概 率密度分布。并且，根據(jù)該綜合的概率密度分布推測物體的位置，從 而可提高物體位置的推測精度。
參照圖30說明日本特開2005-141687號公報中的綜合處理的圖像。
圖30 (A)表示作為觀測位置數(shù)據(jù)(即對某一個對象的測定結(jié)果) 而獲得1個點的位置坐標(biāo)時的概率密度分布的例子，圖30 (B)表示作 為觀測位置數(shù)據(jù)而獲得對象存在的可能性大致相同的2點位置坐標(biāo)時 的概率密度分布的例子。此外，在物體位置的推測中，求出本來是二 維平面上的物體位置，因此獲得二維平面上的觀測位置數(shù)據(jù)，由觀測 位置數(shù)據(jù)求出的概率密度分布也分布在二維平面上，但圖30為了簡化 表示一維線段上的定位的例子。以后的例子中，為了簡化也存在將二維平面上的定位以一維線段上的定位例來說明的情況。
其中，例如圖像信息及聲音信息兩者獲得圖30 (A)所示的觀測
位置數(shù)據(jù)，作為基于觀測位置數(shù)據(jù)的概率密度分布，如果獲得了圖30 (A)所示的概率密度分布，則圖像信息的概率密度分布和聲音信息的 概率密度分布基本使用相同的加權(quán)系數(shù)來綜合。
另一方面，例如圖像信息的概率密度分布如圖30 (A)所示，從 聲音信息獲得圖30 (B)所示的觀測位置數(shù)據(jù)，作為基于觀測位置數(shù)據(jù) 的概率密度分布，如果獲得了圖30 (B)所示的概率密度分布，則兩個 概率密度分布使用從聲音信息獲得的概率密度分布上所相乘的加權(quán)系 數(shù)、小于從圖像信息獲得的概率密度分布上所相乘的加強(qiáng)系數(shù)的系數(shù)
來綜合o
而日本特開2005-141687號公報的技術(shù)使用與可靠度對應(yīng)的權(quán)重 來綜合通過不同傳感器取得的多個概率密度分布，因此在切實提高物 體位置的推測精度這一點上有效。
但日本特開2005-141687號公報所示的加權(quán)系數(shù)是僅由概率密度 分布中的最大密度決定的，作為綜合源的各概率密度分布本身錯誤時， 加權(quán)本身也是錯誤的，結(jié)果導(dǎo)致位置推測精度下降。

發(fā)明內(nèi)容
本發(fā)明在上述背景下產(chǎn)生，其目的在于提供一種位置確定系統(tǒng)， 能夠抑制有源標(biāo)簽等無線通信終端的耗電，并且即使在拍攝圖像的定 位失敗時，也能夠使用無線通信的定位信息提高監(jiān)視精度，切實進(jìn)行 監(jiān)視對象的追蹤。
并且，本發(fā)明在上述背景下產(chǎn)生，其目的在于提供一種物體位置 推測裝置及物體位置推測方法，當(dāng)使用概率密度分布推測對象的位置
11時，能夠提高位置推測精度。
本發(fā)明的一個方式是一種位置確定系統(tǒng)。該位置確定系統(tǒng)包括 監(jiān)視對象所保持的無線終端裝置；和傳感器裝置，具有與無線終端裝 置進(jìn)行無線通信的無線通信部及拍攝監(jiān)視對象的圖像的攝像部，無線 終端裝置具有標(biāo)識信息保存部，保存無線終端裝置所固有的標(biāo)識信 息；和發(fā)送部，將用于檢測無線終端裝置的位置的檢測用信息和標(biāo)識 信息一起發(fā)送，傳感器裝置還具有無線定位部，根據(jù)由無線通信部 接收的包括標(biāo)識信息在內(nèi)的檢測用信號，檢測出無線終端裝置的位置； 圖像定位部，根據(jù)由攝像部拍攝的圖像，計算監(jiān)視對象的位置；以及 綜合位置確定部，結(jié)合由圖像定位部計算出的位置、由無線定位部檢 測出的位置、標(biāo)識信息，確定監(jiān)視對象的位置。
本發(fā)明的其他方式是一種傳感器裝置，該傳感器裝置具有無線 通信部，與監(jiān)視對象所保持的無線終端裝置進(jìn)行無線通信，無線終端 裝置將檢測信號和標(biāo)識信息一起發(fā)送；攝像部，拍攝監(jiān)視對象的圖像； 無線定位部，根據(jù)由無線通信部接收的包括標(biāo)識信息在內(nèi)的檢測用信 號，檢測出無線終端裝置的位置；圖像定位部，根據(jù)由攝像部拍攝的 圖像，計算監(jiān)視對象的位置；以及綜合位置確定部，結(jié)合由圖像定位 部計算出的位置、由無線定位部檢測出的位置、標(biāo)識信息，確定上述 監(jiān)視對象的位置。
本發(fā)明的其他方式是一種物體位置推測裝置，該物體位置推測裝 置具有第1概率密度分布形成部，根據(jù)由相機(jī)拍攝的拍攝圖像，形 成對象的坐標(biāo)的第1概率密度分布；第2概率密度分布形成部，根據(jù) 對象所附帶的傳感器的信號，形成對象的坐標(biāo)的第2概率密度分布； 概率密度綜合部，綜合第1概率密度分布和第2概率密度分布；檢測 部，根據(jù)拍攝圖像檢測對象的周邊狀況；以及概率密度分布變更部， 根據(jù)檢測到的周邊狀況，變更對第2概率密度分布形成部中的概率密 度分布或概率密度綜合部中的第2概率密度分布的加權(quán)系數(shù)。本發(fā)明的其他方式是一種物體位置推測方法，該物體位置推測方 法，根據(jù)含有對象的拍攝圖像形成對象的第1概率密度分布，根據(jù)對 象所附帶的傳感器的信號，形成對象的第2概率密度分布，根據(jù)拍攝 圖像檢測對象的周邊狀況，根據(jù)檢測到的周邊狀況，變更第2概率密
度分布，綜合第1概率密度分布和上述第2概率密度分布。
如下文進(jìn)行的說明，本發(fā)明還存在其他方式。因此，本發(fā)明僅是 公開一部分方式，而不會限制本發(fā)明的范圍。


圖1是表示本實施方式中的位置確定系統(tǒng)的構(gòu)成的框圖。
圖2是說明本實施方式中的位置確定系統(tǒng)的概要的圖。
圖3是本實施方式中的傳感器裝置的各構(gòu)成的框圖。
圖4是第1標(biāo)識信息內(nèi)插處理的說明圖。
圖5是圖像內(nèi)插處理的說明圖。
圖6是使標(biāo)簽裝置中止的控制的說明圖。
圖7是起動標(biāo)簽裝置的控制的說明圖。
圖8是標(biāo)簽定位和圖像定位的時序的說明圖。
圖9是第2標(biāo)識信息內(nèi)插處理的說明圖。
圖10是表示其他實施方式的位置確定系統(tǒng)中的位置確定部的構(gòu) 成的框圖。
圖11是表示時刻tl下的位置確定部中的處理的一例的圖。
圖12是表示時刻t2下的位置確定部中的處理的一例的圖。
圖13是表示制作帶似然比的候選信息的一例的圖。
圖14是表示根據(jù)帶似然比的候選信息建立對應(yīng)的一例的圖。
圖15是表示其他實施方式的位置確定系統(tǒng)的變形例1的構(gòu)成的框圖。
圖16是表示其他實施方式的位置確定系統(tǒng)的變形例2的構(gòu)成的框圖。
13圖17是表示其他實施方式的位置確定系統(tǒng)的變形例3的構(gòu)成的框圖。
圖18是說明圖像位置附近搜索部的變形例的圖。 圖19是表示本發(fā)明的實施方式涉及的物體位置推測裝置的構(gòu)成 的框圖。
圖20 (A)是表示從拍攝圖像檢測出三個對象的候選時的存在概 率的圖。
圖20 (B)是表示概率密度分布的圖。
圖21 (A)是表示從拍攝圖像檢測出一個對象的候選的例子的圖。 圖21 (B)是表示概率密度分布的圖。
圖22是表示檢測出兩個拍攝圖像中存在概率不同的對象的候選 位置(觀測位置)時的概率密度分布的圖。
圖23 (A)是表示因不存在障礙物而減小概率密度分布的方差值 的例子的圖。
圖23 (B)是表示因存在障礙物而增大概率密度分布的方差值的 例子的圖。
圖24 (A)是表示無線標(biāo)簽帶在對象的頭上的情況的圖。 圖24 (B)是表示無線標(biāo)簽從對象的頭部下降的情況的圖。 圖25 (A)是表示由相機(jī)拍攝的拍攝圖像的畫面的圖。 圖25 (B)是表示將拍攝圖像變換為平面圖像坐標(biāo)系的畫面的圖。 圖26是表示障礙物的位置即x》20的概率密度為0的概率密度分 布的圖。
圖27是表示沒有障礙物時的概率密度分布的圖。 圖28是表示對象位于路徑上的畫面的圖。
圖29是表示將路徑以外的概率密度設(shè)為0的概率密度分布的圖。 圖30 (A)是表示觀測位置(即對某一個對象的測定結(jié)果)為1 個點時的概率密度分布的例子的圖。
圖30 (B)是表示觀測位置為2點時的概率密度分布的例子的圖。
附圖標(biāo)號1位置確定系統(tǒng) 2標(biāo)簽裝置
3傳感器裝置 6無線通信部 7電源控制部 8存儲器 9無線通信部
10 相機(jī)部
11 綜合處理部 14無線定位部 16 圖像定位部 17位置確定部 18 內(nèi)插處理部 21圖像內(nèi)插部
22標(biāo)識信息內(nèi)插部
23位置確定是否成功判斷部
24圖像定位是否成功判斷部
25 中止請求部
26 發(fā)送請求部
100物體位置推測裝置
101 相機(jī)
102拍攝圖像取得部
103圖像坐標(biāo)概率密度分布形成部
111標(biāo)簽信號接收機(jī)
112標(biāo)簽信息取得部
113標(biāo)簽坐標(biāo)概率密度分布形成部
120概率密度綜合部
121 加權(quán)確定部
122 綜合部 130判斷部132概率密度分布變更控制部200 對象201 無線標(biāo)簽具體實施方式
以下詳細(xì)說明本發(fā)明。但以下詳細(xì)說明和附圖不限定本發(fā)明。發(fā) 明的范圍由權(quán)利要求范圍限定。本發(fā)明的一種位置確定系統(tǒng)，包括監(jiān)視對象所保持的無線終端 裝置；和傳感器裝置，具有與無線終端裝置進(jìn)行無線通信的無線通信 部及拍攝監(jiān)視對象的圖像的攝像部，無線終端裝置具有標(biāo)識信息保 存部，保存無線終端裝置所固有的標(biāo)識信息；和發(fā)送部，將用于檢測 無線終端裝置的位置的檢測用信息和標(biāo)識信息一起發(fā)送，傳感器裝置 還具有無線定位部，根據(jù)由無線通信部接收的包括標(biāo)識信息在內(nèi)的 檢測用信號，檢測出無線終端裝置的位置；圖像定位部，根據(jù)由攝像 部拍攝的圖像，計算監(jiān)視對象的位置；以及綜合位置確定部，結(jié)合由 圖像定位部計算出的位置、由無線定位部檢測出的位置、標(biāo)識信息， 確定監(jiān)視對象的位置。根據(jù)該構(gòu)成，結(jié)合根據(jù)拍攝的圖像測定的位置(也稱為圖像位置) 和根據(jù)無線終端裝置的檢測信號檢測出的位置(也稱為標(biāo)簽位置)， 確定監(jiān)視對象(監(jiān)視對象者、監(jiān)視對象物等)的位置。這種情況下， 監(jiān)視對象保持無線終端裝置。因此， 一旦確定了監(jiān)視對象的位置，即 使之后無法拍攝監(jiān)視對象時，也可根據(jù)無線終端裝置的檢測用信號檢 測出監(jiān)視對象的位置，可追蹤監(jiān)視對象的移動。并且，本發(fā)明的位置確定系統(tǒng)也可以是如下構(gòu)成，傳感器裝置還 具有位置確定是否成功判斷部，判斷由綜合位置確定部進(jìn)行的監(jiān)視 對象的位置確定是否成功；和中止請求部，當(dāng)判斷為監(jiān)視對象的位置確定成功時，向無線終端裝置發(fā)送用于降低檢測用信號的發(fā)送頻度的 發(fā)送中止請求。根據(jù)該構(gòu)成，通過圖像位置和標(biāo)簽位置的結(jié)合(也稱綜合)確定 了監(jiān)視對象的位置時，中止無線終端裝置發(fā)送檢測用信號。這樣一來， 可實現(xiàn)無線終端裝置的節(jié)電化。這種情況下，根據(jù)拍攝的圖像計算監(jiān) 視對象的位置，因此可追蹤監(jiān)視對象的移動。在現(xiàn)有的系統(tǒng)中，未考慮有源標(biāo)簽的耗電，在始終比較相機(jī)定位數(shù)據(jù)和RFID定位數(shù)據(jù)并進(jìn)行人物追蹤時，存在有源標(biāo)簽的電池壽命不長的問題。與之相對，本發(fā) 明的位置確定系統(tǒng)下，能夠盡可能抑制無線終端裝置的耗電。并且，本發(fā)明的位置確定系統(tǒng)也可以是如下構(gòu)成，傳感器裝置還具有圖像定位是否成功判斷部，判斷由圖像定位部進(jìn)行的監(jiān)視對象 的圖像定位是否成功；和第1發(fā)送請求部，在圖像定位是否成功判斷 部判斷為監(jiān)視對象的圖像定位失敗時，向無線終端裝置發(fā)送檢測用信 號的發(fā)送請求。根據(jù)該構(gòu)成，根據(jù)拍攝的圖像無法計算監(jiān)視對象的位置時(丟失 監(jiān)視對象時)，無線終端裝置重新發(fā)送檢測用信號。這樣一來，當(dāng)無 法拍攝監(jiān)視對象時，根據(jù)無線終端裝置的檢測用信號檢測監(jiān)視對象的 位置，因此可繼續(xù)進(jìn)行監(jiān)視對象移動的追蹤。并且，本發(fā)明的位置確定系統(tǒng)也可以是如下構(gòu)成，傳感器裝置還 具有第2發(fā)送請求部，在發(fā)送中止請求發(fā)送后由位置確定是否成功判 斷部判斷為監(jiān)視對象的位置確定失敗時，向無線終端裝置發(fā)送檢測用 信號的發(fā)送請求。根據(jù)該構(gòu)成，在降低標(biāo)簽裝置的檢測用信號的發(fā)送頻度后，當(dāng)綜 合位置確定部無法確定監(jiān)視對象的位置時，使無線終端裝置發(fā)送檢測 用信號。這樣一來，當(dāng)監(jiān)視對象的位置確定失敗時，根據(jù)無線終端裝置的檢測用信號檢測監(jiān)視對象的位置，因此可繼續(xù)進(jìn)行監(jiān)視對象的移 動追蹤。并且，本發(fā)明的位置確定系統(tǒng)也可以是如下構(gòu)成，傳感器裝置還 具有第1標(biāo)識信息內(nèi)插部，在位置確定是否成功判斷部判斷為由綜合 位置確定部進(jìn)行的監(jiān)視對象的位置確定失敗后，判斷為由綜合位置確 定部進(jìn)行的監(jiān)視對象的位置確定再次成功時，對位置確定失敗時的監(jiān) 視對象的圖像附加在綜合位置確定部中再次與監(jiān)視對象結(jié)合的無線終 端裝置的標(biāo)識信息。根據(jù)該構(gòu)成，對監(jiān)視對象無法正確進(jìn)行標(biāo)識信息附加時(例如多 個監(jiān)視對象交錯之后等)，之后監(jiān)視對象的位置確定(綜合)成功的 結(jié)果的標(biāo)識信息追溯附加到位置確定失敗時的圖像。這樣一來，可連 續(xù)掌握監(jiān)視對象的移動。并且，本發(fā)明的位置確定系統(tǒng)也可以是如下構(gòu)成，傳感器裝置還 具有圖像內(nèi)插部，在監(jiān)視對象的圖像定位失敗后、圖像定位再次成功 時，根據(jù)上次圖像定位的位置和本次圖像定位的位置，內(nèi)插圖像定位 失敗時的監(jiān)視對象的圖像。根據(jù)該構(gòu)成，在根據(jù)拍攝的圖像無法計算監(jiān)視對象的位置時，根 據(jù)其前后的圖像內(nèi)插其間的位置和圖像。這樣一來，可連續(xù)掌握監(jiān)視 對象的移動。并且，本發(fā)明的位置確定系統(tǒng)也可以是如下構(gòu)成，無線終端裝置 的檢測用信號的發(fā)送頻度及由無線定位部進(jìn)行的無線終端裝置的無線 定位的頻度，被設(shè)定為小于由圖像定位部進(jìn)行的監(jiān)視對象的圖像定位 的頻度，傳感器裝置還具有第2標(biāo)識信息內(nèi)插部，對綜合位置確定部 進(jìn)行監(jiān)視對象的位置確定之前、由攝像部拍攝的圖像內(nèi)的監(jiān)視對象的 圖像，附加在確定監(jiān)視對象的位置時或確定監(jiān)視對象的位置以后、通過綜合位置確定部與監(jiān)視對象的圖像結(jié)合的無線終端裝置的標(biāo)識信 息。根據(jù)該構(gòu)成，通過減小無線終端裝置的檢測用信號的發(fā)送頻度， 可使無線終端裝置節(jié)電化。這種情況下，存在根據(jù)拍攝的圖像計算位 置(圖像位置)的時序、與根據(jù)無線終端裝置的檢測用信號計算位置 (標(biāo)簽位置)的時序產(chǎn)生偏差的情況。例如，在監(jiān)視對象的位置確定 (圖像位置和標(biāo)簽位置與標(biāo)識信息結(jié)合)前，由可能不檢測標(biāo)簽位置， 而僅計算圖像位置。這種情況下，根據(jù)監(jiān)視對象的位置確定之后的圖 像位置和標(biāo)簽位置，附加監(jiān)視對象的位置確定前的圖像內(nèi)的監(jiān)視對象 的標(biāo)識信息(追溯過去)。這樣一來，可連續(xù)掌握監(jiān)視對象的移動。并且，本發(fā)明的位置確定系統(tǒng)也可以是如下構(gòu)成，具有對應(yīng)建立 部，根據(jù)由圖像定位部計算出的位置與由無線定位部檢測出的位置的 距離，將監(jiān)視對象的圖像定位和無線定位的結(jié)果建立對應(yīng)。根據(jù)該構(gòu)成，根據(jù)由圖像定位部計算出的位置(圖像位置)和由 無線定位部檢測出的位置(標(biāo)簽位置)的距離，可使監(jiān)視對象的圖像 定位和無線定位的結(jié)果適當(dāng)?shù)亟?yīng)。例如，圖像位置和標(biāo)簽位置 接近時，該圖像定位和無線定位的結(jié)果作為同一監(jiān)視對象而建立對應(yīng)。 這樣一來，可提高監(jiān)視對象的位置確定精度。并且，本發(fā)明的位置確定系統(tǒng)也可以是如下構(gòu)成，在以圖像定位 部所計算出的位置為中心的預(yù)定搜索區(qū)域內(nèi)存在由無線定位部檢測出的位置時，對應(yīng)建立部將監(jiān)視對象的圖像定位和無線定位的結(jié)果建立 對應(yīng)。根據(jù)該構(gòu)成，在以圖像定位部計算出的位置(圖像位置)為中心 的預(yù)定的搜索區(qū)域內(nèi)(例如預(yù)定半徑內(nèi))，存在由無線定位部檢測出 的位置(標(biāo)簽位置)時，監(jiān)視對象的圖像定位和無線定位的結(jié)果作為19一個相同的監(jiān)視對象而被適當(dāng)?shù)亟?yīng)。并且，本發(fā)明的位置確定系統(tǒng)也可以是如下構(gòu)成，在以無線定位 部所檢測出的位置為中心的預(yù)定搜索區(qū)域內(nèi)存在由圖像定位部計算出 的位置時，對應(yīng)建立部將監(jiān)視對象的圖像定位和無線定位的結(jié)果建立 對應(yīng)。根據(jù)該構(gòu)成，在以無線定位部計算出的位置(標(biāo)簽位置)為中心 的預(yù)定搜索區(qū)域內(nèi)(例如預(yù)定半徑內(nèi))，存在由圖像定位部計算出的 位置(圖像位置)時，監(jiān)視對象的圖像定位和無線定位的結(jié)果作為一 個相同的監(jiān)視對象而被適當(dāng)?shù)亟?yīng)。并且本發(fā)明的位置確定系統(tǒng)也可以是如下構(gòu)成，具有定位精度比 較部，比較監(jiān)視對象的圖像定位和無線定位的定位精度，對應(yīng)建立部， 根據(jù)定位精度的比較結(jié)果，在圖像定位的定位精度一方高的情況下， 當(dāng)以圖像定位部所計算出的位置為中心的預(yù)定搜索區(qū)域內(nèi)存在由無線 定位部檢測出的位置時，將監(jiān)視對象的圖像定位和無線定位的結(jié)果建 立對應(yīng)，在無線定位的定位精度一方高的情況下，當(dāng)以無線定位部所 檢測出的位置為中心的預(yù)定搜索區(qū)域內(nèi)存在由圖像定位部計算出的位 置時，將監(jiān)視對象的圖像定位和無線定位的結(jié)果建立對應(yīng)。根據(jù)該構(gòu)成，比較圖像定位和無線定位的定位精度，在以定位精 度高的一方求得的位置為中心的預(yù)定搜索區(qū)域內(nèi)(例如預(yù)定半徑內(nèi)) 存在定位精度低的一方求得的位置時，監(jiān)視對象的圖像定位和無線定 位的結(jié)果作為一個相同的監(jiān)視對象而被適當(dāng)?shù)亟?yīng)。并且，本發(fā)明的位置確定系統(tǒng)也可以是如下構(gòu)成，根據(jù)監(jiān)視對象 的圖像定位的定位精度，設(shè)定以圖像定位部所計算出的位置為中心的 預(yù)定搜索區(qū)域的大小。根據(jù)該構(gòu)成，根據(jù)監(jiān)視對象的圖像定位的定位精度，適當(dāng)設(shè)定以 圖像定位部計算出的位置為中心的搜索區(qū)域的大小。例如，當(dāng)定位精 度高時，搜索區(qū)域的大小設(shè)定得較小，當(dāng)定位精度低時，搜索區(qū)域的 大小設(shè)定得較大。并且，本發(fā)明的位置確定系統(tǒng)也可具有歷史保存部，當(dāng)以圖像定 位部所計算出的位置為中心的預(yù)定搜索區(qū)域內(nèi)存在由無線定位部檢測出的多個位置時，將與多個位置相關(guān)的信息作為候選信息而保存。恨慣談T厶j"乂， 4土iiA閨'i豕疋1乂部》T畀mtrj1乂直(圖1家^hi置)為中七、 的預(yù)定搜索區(qū)域內(nèi)存在由無線定位部檢測出的多個位置(標(biāo)簽位置) 時，可將與該多個位置相關(guān)的信息作為候選信息來處理。并且，在本發(fā)明的位置確定系統(tǒng)中，對應(yīng)建立部根據(jù)歷史保存部 中保存的候選信息，將監(jiān)視對象的圖像定位和無線定位的結(jié)果建立對 應(yīng)。根據(jù)該構(gòu)成，在以圖像定位部計算出的位置(圖像位置)為中心 的預(yù)定搜索區(qū)域內(nèi)存在由無線定位部檢測出的多個位置(標(biāo)簽位置) 時，根據(jù)歷史保存部保存的候選信息，可將監(jiān)視對象的圖像定位和無 線定位的結(jié)果適當(dāng)建立對應(yīng)。并且，本發(fā)明的位置確定系統(tǒng)也可以是如下構(gòu)成，根據(jù)監(jiān)視對象 的無線定位的定位精度，設(shè)定以無線定位部所計算出的位置為中心的 預(yù)定搜索區(qū)域的大小。根據(jù)該構(gòu)成，根據(jù)監(jiān)視對象的無線定位的定位精度，適當(dāng)設(shè)定以 無線定位部計算出的位置為中心的搜索區(qū)域的大小。例如，當(dāng)定位精 度高時，搜索區(qū)域的大小設(shè)定得較小，當(dāng)定位精度低時，搜索區(qū)域的 大小設(shè)定得較大。說明書第14/45頁并且，本發(fā)明的位置確定系統(tǒng)也可具有歷史保存部，當(dāng)以無線定 位部所計算出的位置為中心的預(yù)定搜索區(qū)域內(nèi)存在由圖像定位部檢測 出的多個位置時，將與多個位置相關(guān)的信息作為候選信息而保存。根據(jù)該構(gòu)成，在以無線定位部計算出的位置(標(biāo)簽位置)為中心 的預(yù)定搜索區(qū)域內(nèi)存在由圖像定位部檢測出的多個位置(圖像位置) 時，可將與該多個位置相關(guān)的信息作為候選信息來處理。、！ZF- z,、 上L /丄ron卞/r ■^"^ /.i- r"^X 4413 rr^ /門~str 士17升且，仕斗、僅明H'、J1AI直倆疋^玩T ，別/M廷AL部々K^貝丈1木1f誹 中保存的候選信息，將監(jiān)視對象的圖像定位和無線定位的結(jié)果建立對應(yīng)。根據(jù)該構(gòu)成，在以無線定位部計算出的位置(標(biāo)簽位置)為中心 的預(yù)定搜索區(qū)域內(nèi)存在由圖像定位部檢測出的多個位置(圖像位置) 時，根據(jù)歷史保存部保存的候選信息，可將監(jiān)視對象的無線定位和圖 像定位的結(jié)果適當(dāng)建立對應(yīng)。并且，在本發(fā)明的位置確定裝置中，對應(yīng)建立部具有組合計算部， 計算出由圖像定位部計算出的位置與由無線定位部檢測出的位置的距 離之差的平方和為最小的組合。根據(jù)該構(gòu)成，計算出由圖像定位部計算出的位置(圖像位置)和 由無線定位部檢測出的位置(標(biāo)簽位置)的距離之差的平方和最小的 組合，用于監(jiān)視對象的圖像定位和無線定位的結(jié)果建立對應(yīng)。這樣一 來，可將監(jiān)視對象的圖像定位和無線定位的結(jié)果適當(dāng)?shù)亟?yīng)。 且，在本發(fā)明的位置確定系統(tǒng)中，綜合位置確定部將由圖像定 位部計算出的位置和由無線定位部檢測出的位置的平均位置確定為監(jiān) 視對象的位置。22定位部檢測出 的位置的平均位置被確定為監(jiān)視對象的位置。這樣一來可適當(dāng)進(jìn)行監(jiān) 視對象的位置確定。并且，在本發(fā)明的位置確定系統(tǒng)中，平均是與監(jiān)視對象的圖像定 位和無線定位的定位精度對應(yīng)的加權(quán)平均。根據(jù)該構(gòu)成，使用和監(jiān)視對象的圖像定位及無線定位的定位精度 對應(yīng)的加權(quán)平均，適當(dāng)進(jìn)行監(jiān)視對象的位置確定。并且，在本發(fā)明的位置確定系統(tǒng)中，由圖像定位部計算出的位置 和由無線定位部檢測出的位置配置在被分割為多個單元的單元空間 內(nèi)，位置確定系統(tǒng)還具有對應(yīng)建立部，根據(jù)由圖像定位部計算出的位 置所屬的單元與由無線定位部檢測出的位置所屬的單元的位置關(guān)系， 將監(jiān)視對象的圖像定位和無線定位的結(jié)果建立對應(yīng)。根據(jù)該構(gòu)成，根據(jù)由圖像定位部計算出的位置(圖像位置)所屬 的單元和由無線定位部檢測出的位置(標(biāo)簽位置)所屬的單元的位置 關(guān)系，可將監(jiān)視對象的圖像定位和無線定位的結(jié)果適當(dāng)建立對應(yīng)。例 如，當(dāng)圖像位置和標(biāo)簽位置屬于同一單元時，該圖像定位和無線定位 的結(jié)果作為同一監(jiān)視對象而建立對應(yīng)。這樣一來，和對所有圖像位置 和標(biāo)簽位置進(jìn)行距離計算時相比，可減少計算量，提高處理速度。并且，本發(fā)明的位置確定系統(tǒng)還可具有警告部，在以圖像定位部 所計算出的位置為中心的預(yù)定搜索區(qū)域內(nèi)不存在由無線定位部檢測出 的位置時，進(jìn)行發(fā)出警告的處理。根據(jù)該構(gòu)成，在以圖像定位部計算出的位置(圖像位置)為中心 的預(yù)定搜索區(qū)域內(nèi)(例如預(yù)定半徑內(nèi))不存在由無線定位部檢測出的位置(標(biāo)簽位置)時，可發(fā)出警告來引起用戶注意。
本發(fā)明的一種傳感器裝置，具有無線通信部，與監(jiān)視對象所保 持的無線終端裝置進(jìn)行無線通信，無線終端裝置將檢測信號和標(biāo)識信 息一起發(fā)送；攝像部，拍攝監(jiān)視對象的圖像；無線定位部，根據(jù)由無 線通信部接收的包括標(biāo)識信息在內(nèi)的檢測用信號，檢測出無線終端裝 置的位置；圖像定位部，根據(jù)由攝像部拍攝的圖像，計算監(jiān)視對象的 位置；以及綜合位置確定部，結(jié)合由圖像定位部計算出的位置、由無 線定位部檢測出的位置、標(biāo)識信息，確定監(jiān)視對象的位置。
根據(jù)該構(gòu)成，和上述系統(tǒng)同樣，結(jié)合根據(jù)拍攝的圖像計算出的位 置(圖像位置)和根據(jù)無線終端裝置的檢測用信號檢測出的位置(標(biāo) 簽位置)，確定監(jiān)視對象(監(jiān)視對象者、監(jiān)視對象物等)的位置。這 種情況下，監(jiān)視對象保持無線終端裝置。因此， 一旦確定了監(jiān)視對象 的位置，即使之后無法拍攝到監(jiān)視對象時，也可根據(jù)無線終端裝置的 檢測用信號檢測出監(jiān)視對象的位置，可追蹤監(jiān)視對象的移動。
本發(fā)明通過結(jié)合根據(jù)拍攝的圖像計算出的位置(圖像位置)和根 據(jù)無線終端裝置的檢測用信號檢測出的位置(標(biāo)簽位置)，即使在無 法拍攝到監(jiān)視對象的圖像，也能夠確定監(jiān)視對象的位置而追蹤監(jiān)視對 象的移動。
本發(fā)明的物體位置推測裝置的一個方式，具有第1概率密度分 布形成部，根據(jù)由相機(jī)拍攝的拍攝圖像，形成對象的坐標(biāo)的第1概率 密度分布；第2概率密度分布形成部，根據(jù)對象所附帶的傳感器的信 號，形成對象的坐標(biāo)的第2概率密度分布；概率密度綜合部，綜合第1 概率密度分布和第2概率密度分布；檢測部，根據(jù)拍攝圖像檢測對象 的周邊狀況；以及概率密度分布變更部，根據(jù)檢測到的周邊狀況，變 更對第2概率密度分布形成部中的概率密度分布或概率密度綜合部中 的第2概率密度分布的加權(quán)系數(shù)。
24并且，本發(fā)明的物體位置推測方法的一個方式中，根據(jù)含有對象 的拍攝圖像形成對象的第1概率密度分布，根據(jù)對象所附帶的傳感器 的信號，形成對象的第2概率密度分布，根據(jù)拍攝圖像檢測對象的周 邊狀況，根據(jù)檢測到的周邊狀況，變更第2概率密度分布，綜合第1
概率密度分布和第2概率密度分布。
根據(jù)本發(fā)明，根據(jù)拍攝圖像檢測對象的周邊狀況，根據(jù)檢測出的
周邊狀況變更第2概率密度分布的概率密度分布，因此能夠有效利用 拍攝圖像，使作為綜合源的第2概率密度分布本身更接近現(xiàn)實。結(jié)果 能夠提高位置推測精度。
(位置確定系統(tǒng))
以下參照

本發(fā)明的實施方式的位置確定系統(tǒng)。該位置確 定系統(tǒng)例如用于工廠中分析人的動作線路以改善作業(yè)效率的工廠作 業(yè)效率化系統(tǒng)；時刻監(jiān)視倉庫區(qū)域內(nèi)的人的動作，對倉庫內(nèi)的丟失事 故、錯誤配送事故等盡早發(fā)現(xiàn)、抑制、記錄的物流倉庫內(nèi)丟失監(jiān)視系 統(tǒng)；自動記錄辦公室中的出入歷史的辦公室出入管理系統(tǒng)等，但用途 不限于此。
參照圖1~圖3說明本實施方式的位置確定系統(tǒng)的構(gòu)成。圖1是表 示位 確定系統(tǒng)的構(gòu)成的框圖。圖2是表示位置確定系統(tǒng)的概要的說 明圖。
首先參照圖1及圖2說明位置確定系統(tǒng)1的整體構(gòu)成。如圖2所 示，位置確定系統(tǒng)1具有作為監(jiān)視對象(例如監(jiān)視對象者)所保持 的無線終端裝置的標(biāo)簽裝置2;設(shè)置在監(jiān)視區(qū)域的傳感器裝置3。傳感
器裝置3連接到監(jiān)視室內(nèi)設(shè)置的監(jiān)視控制裝置4和存儲裝置5。
傳感器裝置3例如具有半徑為10m的圓形的監(jiān)視區(qū)域(也稱為傳感區(qū)域)。并且，監(jiān)視控制裝置4例如是控制用計算機(jī)等，存儲裝置5
例如是hdd等。此外，傳感器裝置3除了具有存儲裝置5等外部存儲 裝置外，也可具有內(nèi)部存儲裝置(包括存儲卡等記錄介質(zhì))。
此外，在圖2中為了便于說明，圖示了一個標(biāo)簽裝置2和兩個傳 感器裝置3，但該位置確定系統(tǒng)1具有多個標(biāo)簽裝置2和多個傳感器裝 置3。 S卩，在本實施方式中，多個監(jiān)視對象者分別具有標(biāo)簽裝置2，多 個傳感器裝置3分別設(shè)置在監(jiān)視區(qū)域的多處。
如圖1所示，標(biāo)簽裝置2具有用于進(jìn)行與傳感器裝置3的無線 通信的無線通信部6;用于進(jìn)行電源的功率控制的電源控制部7。其中， 無線通信部6相當(dāng)于本發(fā)明的無線通信部。并且，用于檢測標(biāo)簽裝置2 的位置的信號(檢測用信號)從無線通信部6發(fā)送。因此，無線通信 部6還相當(dāng)于本發(fā)明的發(fā)送部。
該標(biāo)簽裝置2例如是有源標(biāo)簽、半無源標(biāo)簽等。標(biāo)簽裝置2具有 保存固有的標(biāo)識符(標(biāo)識id)的存儲器8，根據(jù)來自傳感器裝置3的 發(fā)送請求，讀出由存儲器8保存的標(biāo)識id，可向傳感器裝置3發(fā)送包 括標(biāo)識id在內(nèi)的檢測用信號?；蛘咭部梢允侨缦聵?gòu)成，與檢測用信號 不同，另行設(shè)置僅通知標(biāo)識id的信號，發(fā)送根據(jù)從傳感器裝置3接收 的標(biāo)識id的發(fā)送請求而通知標(biāo)識id的信號，根據(jù)檢測用信號的發(fā)送 請求發(fā)送檢測用信號。監(jiān)視者根據(jù)傳感器裝置3從標(biāo)簽裝置2接收的 信號，可識別標(biāo)簽裝置2的所有人(監(jiān)視對象者)的屬性及位置。
傳感器裝置3具有無線通信部9，進(jìn)行與標(biāo)簽裝置2的無線通 信，進(jìn)行基于無線的定位；相機(jī)部10，拍攝監(jiān)視對象者的圖像，進(jìn)行 基于圖像的定位；綜合處理部ll，進(jìn)行由無線通信部9和相機(jī)部10分 別定位的監(jiān)視對象者的位置的綜合處理(后述)；通信if部12，將綜 合處理結(jié)果的數(shù)據(jù)輸出到外部裝置(監(jiān)視控制裝置4、存儲裝置5等)。圖3是詳細(xì)說明傳感器裝置3的各構(gòu)成的框圖。無線通信部9具 有收發(fā)部13和無線定位部14。收發(fā)部13向標(biāo)簽裝置2發(fā)送檢測用信 號的發(fā)送請求，接收由接收了該發(fā)送請求的標(biāo)簽裝置2所發(fā)送的檢測 用信號(包括標(biāo)簽裝置2的標(biāo)識ID的信號)。無線定位部14使用從 收發(fā)部13所接收的檢測用信號獲得的信息、例如電波強(qiáng)度、電波到達(dá) 方向、電波傳送時間等信息，按三維定位發(fā)送了檢測用信號的標(biāo)簽裝 置2的相對位置。并且，輸出作為定位結(jié)果的三維坐標(biāo)數(shù)據(jù)、從檢測 用信號取出的標(biāo)簽裝置2的標(biāo)識ID。
在本實施方式中，無線通信部9將以下數(shù)據(jù)輸出到綜合處理部11。
(1) 從標(biāo)簽裝置接收檢測用信號的時間數(shù)據(jù)(例如日期、時、分、
秒)
(2) 標(biāo)簽裝置的標(biāo)識ID
(3) 所定位的標(biāo)簽裝置的三維坐標(biāo)數(shù)據(jù)(實際空間的三維位置坐
標(biāo))
相機(jī)部10具有攝像部15和圖像定位部16。攝像部15例如可使 用可拍攝一定半徑(例如10m)范圍的超廣角(例如36(T )的影像的 立體相機(jī)。圖像定位部16檢測并提取由攝像部15拍攝的圖像中的多 個人物(監(jiān)視對象者)的圖像區(qū)域，測量并輸出傳感器裝置3到人物 為止的三維坐標(biāo)。對于使用圖像的定位方法，例如可使用基于從立體 圖像獲得的兩眼視差信息的深度估算(Depth Estimation)法等。
在本實施方式中，相機(jī)部IO將以下數(shù)據(jù)輸出到綜合處理部11。
(1) 圖像數(shù)據(jù)
(2) 圖像中的人物對象的圖像區(qū)域(例如被圖像中的人物輪廓線 包圍的區(qū)域，或與圖像中的人物外切的四邊形的區(qū)域等)
(3) 人物對象的圖像區(qū)域的代表點(例如圖像區(qū)域的重心等)
(4) 時間數(shù)據(jù)(例如拍攝的圖像的幀號碼等)
(5) 圖像定位的三維坐標(biāo)數(shù)據(jù)(實際空間的三維位置坐標(biāo))并且如圖3所示，綜合處理部11具有位置確定部17、內(nèi)插處理 部18、判斷部19、請求部20。在該綜合處理部11中，綜合從無線通 信部9及相機(jī)部IO分別輸出的數(shù)據(jù)，以盡可能抑制標(biāo)簽裝置2的耗電 的方式控制并執(zhí)行確定監(jiān)視對象的位置及標(biāo)識信息的處理。
位置確定部17通過將從無線通信部9輸出的標(biāo)簽裝置2的位置數(shù) 據(jù)、與從相機(jī)部8輸出的圖像中的人物對象的圖像區(qū)域的位置數(shù)據(jù)建 立對應(yīng)，使標(biāo)簽裝置2的標(biāo)識ID與人物對象的圖像區(qū)域結(jié)合，確定監(jiān) 視對象者的位置及標(biāo)識信息。
內(nèi)插處理部18具有內(nèi)插監(jiān)視對象者的位置及圖像的圖像內(nèi)插部 21、內(nèi)插監(jiān)視對象者的標(biāo)識信息的標(biāo)識信息內(nèi)插部22。此外，稍后論 述這些圖像內(nèi)插處理、標(biāo)識信息內(nèi)插處理的內(nèi)容。
判斷部19具有位置確定是否成功判斷部23，判斷位置確定部 17對監(jiān)視對象者的位置確定是否進(jìn)行；圖像定位是否成功判斷部24， 判斷相機(jī)部IO對監(jiān)視對象者的位置的圖像定位是否成功。
請求部20具有中止請求部25，在由位置確定是否成功判斷部 23判斷為位置確定部17對監(jiān)視對象者的位置確定成功時，向標(biāo)簽裝置 2發(fā)送中止請求(檢測用信號的發(fā)送中止請求)；發(fā)送請求部26，由 圖像定位是否成功判斷部24判斷為相機(jī)部10對監(jiān)視對象者的位置的 圖像定位失敗時、及由位置確定是否成功判斷部23判斷為位置確定部 17對監(jiān)視對象者的位置確定失敗時，向標(biāo)簽裝置2發(fā)送發(fā)送請求(檢 測用信號的發(fā)送請求)。
在本實施方式中，綜合處理部11將以下數(shù)據(jù)輸出到通信IF部12。 其中(2) (6)的數(shù)據(jù)可以說是表示圖像幀的屬性的數(shù)據(jù)。 (1)傳感器裝置的標(biāo)識ID
28(2) 時間數(shù)據(jù)(例如日期、時、分、秒)
(3) 幀圖像數(shù)據(jù)
(4) 人物對象的圖像區(qū)域
(5) 人物對象的圖像區(qū)域的代表點
(6) 標(biāo)簽裝置的標(biāo)識ID
(7) 綜合程度(例如，T:僅標(biāo)簽測量坐標(biāo)，D:僅圖像計算的代表點，C:標(biāo)簽測量坐標(biāo)和圖像計算代表點兩者，P:內(nèi)插計算坐標(biāo)或推測計算坐標(biāo))
監(jiān)視控制裝置4具有用于進(jìn)行監(jiān)視對象的顯示的監(jiān)視器27。并且
該監(jiān)視控制裝置4具有以下功能根據(jù)傳感器裝置3輸出的人物對象
信息生成動作線路圖像的功能；設(shè)定并控制傳感器裝置3的動作的功能；執(zhí)行各種應(yīng)用程序(例如工廠作業(yè)效率化系統(tǒng)、物流倉庫內(nèi)丟失監(jiān)視系統(tǒng)、辦公室出入管理系統(tǒng)的應(yīng)用程序等)的功能。
對如上構(gòu)成的位置確定系統(tǒng)1，參照

其動作。在此以本發(fā)明的特征性動作為中心進(jìn)行說明。
(內(nèi)插處理)
首先說明監(jiān)視對象者的位置的內(nèi)插處理。圖4及圖5是用于說明內(nèi)插處理的圖(監(jiān)視器27的顯示畫面的示意圖)。在圖4、圖5所示的例子中，表示一個人的監(jiān)視對象者(具有"ID: 1"的標(biāo)簽裝置2)從畫面左側(cè)向畫面中央、畫面右側(cè)逐漸移動的情況。
在圖4中，位置確定部17的位置確定成功、即附加了標(biāo)簽裝置2的標(biāo)識ID的監(jiān)視對象者用斜線表示，因某些原因位置確定失敗的監(jiān)視對象者用虛線表示。即，在本例中，當(dāng)監(jiān)視對象者位于畫面左側(cè)和畫面右側(cè)時，監(jiān)視對象者的位置確定成功，當(dāng)監(jiān)視對象者位于畫面中央時，監(jiān)視對象者的位置確定失敗。監(jiān)視對象的位置確定是否成功由位置確定是否成功判斷部22進(jìn)行。作為監(jiān)視對象者的位置確定失敗的例子，例如包括以下情況監(jiān)視對象者隱藏到物體陰影中、或和其他人錯過等，與標(biāo)簽的定位數(shù)據(jù)無法綜合，對拍攝圖像無法附加標(biāo)識ID時。并且還包括因上述原因無法做成監(jiān)視對象者的人物對象的圖像區(qū)域(由輪廓線包圍的區(qū)域、外切的四邊形的區(qū)域)的情況。即，當(dāng)看不到監(jiān)視對象者(丟失)時，判為斷監(jiān)視對象者的確定失敗。
即使監(jiān)視對象者的位置綜合失敗一次，如果可使由相機(jī)部10拍攝的監(jiān)視對象者的位置和與標(biāo)簽裝置2的無線通信所檢測出的監(jiān)視對象者的位置再次綜合并結(jié)合，則對綜合失敗時的監(jiān)視對象的圖像也可追溯標(biāo)簽裝置2的標(biāo)識信息并建立對應(yīng)(第1標(biāo)識信息內(nèi)插處理)，可進(jìn)行追溯監(jiān)視對象者的位置的過去的追蹤。在本例中，當(dāng)監(jiān)視對象者位于畫面中央時，也追溯分配作為由無線通信部9檢測出的標(biāo)簽裝置2
的標(biāo)識ID的"ID: 1"，對綜合失敗時的圖像也能夠?qū)?yīng)標(biāo)簽裝置2的標(biāo)識信息。該第1標(biāo)識信息內(nèi)插處理在標(biāo)識信息內(nèi)插部22中進(jìn)行。因此，該標(biāo)識信息內(nèi)插部22相當(dāng)于本發(fā)明的第l標(biāo)識信息內(nèi)插部。
并且如圖5所示，當(dāng)監(jiān)視對象者的圖像拍攝失敗時，可進(jìn)行使用丟失前后的圖像對相機(jī)部IO所丟失的監(jiān)視對象的圖像執(zhí)行內(nèi)插的處理(圖像內(nèi)插處理)。
在圖5的例子中，通過圖像內(nèi)插處理，相機(jī)部10中丟失的監(jiān)視對象者的圖像(畫面中央的監(jiān)視對象者的圖像)根據(jù)丟失前后的圖像(畫面左側(cè)和畫面右側(cè)的監(jiān)視對象者的圖像)生成。這樣一來，在圖像定位失敗時的圖像內(nèi)，可內(nèi)插監(jiān)視對象的圖像區(qū)域。該圖像內(nèi)插處理在圖像內(nèi)插部21中進(jìn)行。因此，圖像內(nèi)插部21相當(dāng)于本發(fā)明的圖像內(nèi)插部。
(標(biāo)簽裝置的節(jié)電控制(1))
30接著作為標(biāo)簽裝置2的節(jié)電控制的一例，說明標(biāo)簽裝置2的中止
控制。圖6是用于說明標(biāo)簽裝置2的中止控制的圖(監(jiān)視器27的顯示畫面的示意圖)。如上所述， 一旦通過位置確定部17結(jié)合由相機(jī)部10拍攝的監(jiān)視對象者的位置(拍攝位置)和與標(biāo)簽裝置2的無線通信所檢測出的監(jiān)視對象者的位置(標(biāo)簽位置)，則可進(jìn)行基于標(biāo)簽裝置2的監(jiān)視對象者的位置追蹤。
因此如圖6所示，在畫面左側(cè)的位置監(jiān)視對象者的拍攝位置和標(biāo)簽位置結(jié)合時，通過中止標(biāo)簽裝置2，可抑制標(biāo)簽裝置2的耗電。此外在圖6中，中止?fàn)顟B(tài)的標(biāo)簽裝置2的標(biāo)識ID以四邊形的虛線圖示。
該處理(中止請求處理)由中止請求部24執(zhí)行。具體而言，當(dāng)由位置確定是否成功判斷部22判斷為位置確定成功時，從中止請求部24通過無線通信部9發(fā)送對標(biāo)簽裝置2的中止請求信號，從而停止從標(biāo)簽裝置2發(fā)送檢測用信號。其中，檢測用信號的發(fā)送中止是指降低檢測用信號的發(fā)送頻度。此外，檢測用信號的發(fā)送中止還包括檢測用信號的發(fā)送停止(使發(fā)送頻度為0)。
并且，進(jìn)行該中止控制的情況下，相機(jī)部IO丟失監(jiān)視對象者時，無法追蹤監(jiān)視對象者的位置(或難以追蹤)。因此如圖7所示，當(dāng)標(biāo)簽裝置2中止時，相機(jī)部IO丟失監(jiān)視對象者的情況下，即圖像定位是否成功判斷部23判斷為圖像定位失敗時，從發(fā)送請求部25向標(biāo)簽裝置2發(fā)送發(fā)送請求，請求發(fā)送檢測用信號。這樣一來，根據(jù)來自標(biāo)簽裝置2的檢測用信號，使無線定位部14的無線定位信息、及相機(jī)部10的圖像定位部16的圖像定位信息在位置確定部17中綜合，確定監(jiān)視對象者的位置，可繼續(xù)追蹤。該處理(第1發(fā)送請求處理)由發(fā)送請求部26執(zhí)行。因此，該發(fā)送請求部26相當(dāng)于本發(fā)明的第1發(fā)送請求部。
并且，進(jìn)行上述中止控制，來自標(biāo)簽裝置2的檢測用信號的發(fā)送頻度降低時，由位置確定是否成功判斷部22判斷為位置確定失敗時，
從發(fā)送請求部25向標(biāo)簽裝置2發(fā)送發(fā)送請求，請求不等待下一個發(fā)送
時序而發(fā)送檢測用信號(也可替代發(fā)送請求，而發(fā)送增加檢測用信號
的發(fā)送頻度的請求)。這樣一來，根據(jù)來自標(biāo)簽裝置2的檢測用信號，使無線定位部14的無線定位信息、及相機(jī)部10的圖像定位部16的圖像定位信息在位置確定部17中綜合，確定監(jiān)視對象者的位置，可繼續(xù)追蹤。該處理(第2發(fā)送請求處理)由發(fā)送請求部26執(zhí)行。因此，該發(fā)送請求部26相當(dāng)于本發(fā)明的第2發(fā)送請求部。這里說明的標(biāo)簽裝置的節(jié)電控制(1)在標(biāo)簽裝置2是有源標(biāo)簽時特別能夠起到節(jié)電效果。標(biāo)簽裝置2是半無源標(biāo)簽時，標(biāo)簽裝置2不進(jìn)行自發(fā)的(或定期的)檢測用信號的發(fā)送，僅在接收到來自傳感器裝置3的發(fā)送請求時，發(fā)送檢測用信號作為響應(yīng)，因此無需從傳感器裝置3進(jìn)行中止請求而中止標(biāo)簽裝置2的控制。由傳感器裝置3的圖像定位是否成功判斷部23判斷為圖像定位失敗時，以及由位置確定是否成功測定部22判斷為位置確定失敗時，從傳感器裝置3向標(biāo)簽裝置2發(fā)送發(fā)送請求，向標(biāo)簽裝置2發(fā)送檢測用信號，從而可獲得節(jié)電效果。
(標(biāo)簽裝置的節(jié)電控制(2))接著，作為標(biāo)簽裝置2的節(jié)電控制的其他例子，說明無線通信部9對標(biāo)簽裝置2的定位(標(biāo)簽定位)的頻度小于相機(jī)部IO對監(jiān)視對象者的定位(圖像定位的)頻度的情況。
圖8是標(biāo)簽定位和圖像定位的時序的說明圖。如圖8所示，這種情況下，標(biāo)簽定位的頻度設(shè)定為小于圖像定位的頻度。這樣，通過減少標(biāo)簽定位的頻度，可抑制標(biāo)簽裝置2的耗電。標(biāo)簽裝置2為有源標(biāo)簽時，對標(biāo)簽裝置2的無線通信部6設(shè)定定期發(fā)送檢測信號的頻度來實現(xiàn)。并且，標(biāo)簽裝置2為半無源標(biāo)簽時，以比圖像定位頻度小的頻度，從傳感器裝置3向標(biāo)簽裝置2發(fā)送發(fā)送請求，從而實現(xiàn)這一點。
進(jìn)行這種設(shè)定時，持有標(biāo)簽裝置2的監(jiān)視對象者進(jìn)入到傳感器裝置3的監(jiān)視區(qū)域時(進(jìn)入?yún)^(qū)域時)，由于標(biāo)簽定位和圖像定位不同步，因此僅進(jìn)行圖像定位，不進(jìn)行標(biāo)簽定位。即使在這種情況下，在預(yù)定次數(shù)后的圖像定位時，與標(biāo)簽定位的時序?qū)?yīng)，因此匹配。匹配是指，決定與標(biāo)簽定位位置一致的人物對象的圖像區(qū)域，向該人物對象的圖
像區(qū)域附加標(biāo)簽信息(標(biāo)識ID)的處理。匹配是由上述位置確定部17
執(zhí)行的處理。
在本實施方式中，僅進(jìn)行圖像定位而不進(jìn)行標(biāo)簽定位的情況下，在匹配之前的人物對象的圖像區(qū)域中，通過基于匹配以后的標(biāo)簽定位
數(shù)據(jù)及圖像定位數(shù)據(jù)的推測，可進(jìn)行附加標(biāo)簽信息(標(biāo)識ID)的處理(第2標(biāo)識信息內(nèi)插處理)。圖9的例子中，通過第2標(biāo)識信息內(nèi)插處理，在匹配之前(畫面左側(cè))的人物對象的圖像區(qū)域中，附加標(biāo)簽信息"ID: 1"。第2標(biāo)識信息內(nèi)插處理通過標(biāo)識信息內(nèi)插部22執(zhí)行。因此，可以說該標(biāo)識信息內(nèi)插部22相當(dāng)于本發(fā)明的第2標(biāo)識信息內(nèi)插部。
根據(jù)本發(fā)明的實施方式的位置確定系統(tǒng)1，根據(jù)拍攝的圖像計算出的位置(圖像位置)和根據(jù)標(biāo)簽裝置2的檢測用信號檢測出的位置(標(biāo)簽位置)結(jié)合，因此即使在無法拍攝監(jiān)視對象的圖像時，也可確定監(jiān)視對象的位置，追蹤監(jiān)視對象的移動。
艮口，在本實施方式中，如圖7所示，根據(jù)拍攝的圖像無法計算監(jiān)視對象的位置時(丟失監(jiān)視對象時)，再次由標(biāo)簽裝置2發(fā)送檢測用信號。這樣一來，在無法拍攝監(jiān)視對象時，根據(jù)標(biāo)簽裝置2的檢測用信號檢測監(jiān)視對象的位置，因此可繼續(xù)追蹤監(jiān)視對象的移動。
并且，在本實施方式中，如圖4所示，即使在監(jiān)視對象的位置確定失敗、對監(jiān)視對象的圖像無法附加標(biāo)簽裝置2的標(biāo)識信息時，也追溯附加通過之后成功的監(jiān)視對象的位置確定而向圖像附加的標(biāo)簽裝置2的標(biāo)識信息，可內(nèi)插對監(jiān)視對象的標(biāo)識信息的缺失，連續(xù)掌握監(jiān)視對象的移動。
并且在本實施方式中，即使是根據(jù)拍攝的圖像無法計算出監(jiān)視對象的位置的情況下，如圖5所示，也根據(jù)其前后計算出的位置內(nèi)插其間的位置及監(jiān)視對象的圖像區(qū)域。這樣一來可連續(xù)掌握監(jiān)視對象的移動。
并且在本實施方式中，通過減小標(biāo)簽裝置2的檢測用信號的發(fā)送
頻度，可實現(xiàn)標(biāo)簽裝置2的節(jié)電化。這種情況下，如圖8所示，存在基于拍攝的圖像的位置(圖像位置)的計算時序、與基于標(biāo)簽裝置2的檢測用信號的位置(標(biāo)簽位置)的檢測時序產(chǎn)生偏差的情況。例如在監(jiān)視對象的位置確定(圖像位置和標(biāo)簽位置的結(jié)合)前，未檢測出標(biāo)簽位置，僅計算出圖像位置。這種情況下，如圖9所示，根據(jù)監(jiān)視對象的位置確定之后的圖像位置和標(biāo)簽位置，對監(jiān)視對象的位置確定前的監(jiān)視對象的圖像(追溯過去)，附加包括標(biāo)簽裝置2的標(biāo)識ID的標(biāo)簽信息。這樣一來可連續(xù)掌握監(jiān)視對象的移動。
以上示例說明了本發(fā)明的實施方式，但本發(fā)明的范圍不限于此，在權(quán)利要求范圍內(nèi)可根據(jù)目的進(jìn)行變形、變更。
(其他實施方式的位置確定系統(tǒng))
以下參照圖10 圖18說明其他實施方式的位置確定系統(tǒng)。其他實施方式的位置確定系統(tǒng)的特征在于，結(jié)合(匹配)圖像位置和標(biāo)簽位置的動作。因此，在此以作為其他實施方式的位置確定系統(tǒng)的特征的位置確定部的構(gòu)成及動作為中心進(jìn)行說明。如無特別指出，則其他實施方式的位置確定系統(tǒng)的構(gòu)成及動作和上述實施方式相同。
圖10是表示其他實施方式的位置確定系統(tǒng)中的位置確定部的構(gòu)成的框圖。如圖10所示，位置確定部17具有對應(yīng)建立部28，根據(jù)由圖像定位部14計算出的位置(圖像位置)和由無線定位部16檢測出
34的位置(標(biāo)簽位置)的距離，進(jìn)行圖像位置(圖像定位的結(jié)果)和標(biāo) 簽位置(無線定位的結(jié)果)的對應(yīng)建立。
該位置確定部17具有圖像位置附近搜索部29，搜索以圖像位置 為中心的預(yù)定半徑的圓形區(qū)域(搜索區(qū)域)內(nèi)是否存在標(biāo)簽位置。向
圖像位置附近搜索部29輸入某一時刻下的圖像位置和標(biāo)簽位置，如后 文所述，進(jìn)行搜索以圖像位置為中心的預(yù)定搜索區(qū)域內(nèi)的標(biāo)簽位置的 處理。對應(yīng)建立部28根據(jù)該圖像位置附近搜索部29的搜索結(jié)果，進(jìn) 行圖像位置和標(biāo)簽位置的對應(yīng)建立(參照圖ll)。
位置確定部17具有搜索區(qū)域設(shè)定部30，其設(shè)定該搜索區(qū)域的大 小及形狀。并且，位置確定部17具有定位精度檢測部31，其檢測圖像 定位的定位精度，搜索區(qū)域設(shè)定部30根據(jù)由該定位精度檢測部31檢 測的圖像定位的定位精度，設(shè)定搜索區(qū)域的大小。例如圖像定位的精 度是根據(jù)圖像處理中檢測或確定人物(監(jiān)視對象)時的分散程度(和 "人物模塊"匹配時的匹配精度)等決定(匹配精度高時，圖像定位 的精度也是較高的值)。并且，圖像定位的定位精度高時，搜索區(qū)域 的大小(半徑)設(shè)定得較小，當(dāng)圖像定位的定位精度較低時，搜索區(qū) 域的大小(半徑)設(shè)定得較大。此外，作為搜索區(qū)域，說明預(yù)定半徑 的圓形區(qū)域的例子，但搜索區(qū)域的形狀不限于此，例如也可以是四邊 形或六邊形等形狀。
并且，定位精度檢測部31也可具有檢測無線定位的定位精度的功 能。這種情況下，搜索區(qū)域設(shè)定部30根據(jù)由該定位精度檢測部31檢 測出的無線定位的定位精度，設(shè)定搜索區(qū)域的大小。無線定位的精度 例如根據(jù)標(biāo)簽裝置2的檢測用信號的接收質(zhì)量(接收電波強(qiáng)度、錯誤 率)等決定(接收質(zhì)量較高時，無線定位的精度也為較高的值)。
并且，位置確定部17具有歷史保存部32，其在以圖像位置為中 心的搜索區(qū)域內(nèi)存在多個標(biāo)簽位置時，將與該多個位置相關(guān)的信息(例如時間、圖像位置、與圖像位置對應(yīng)的標(biāo)簽位置等)作為候選信息來 保存(參照圖11)。對應(yīng)建立部28具有根據(jù)該歷史保存部32中保存 的候選信息進(jìn)行建立圖像位置和標(biāo)簽位置的對應(yīng)的功能。
并且，位置確定部17具有歷史修正部33，修正該歷史保存部32 中保存的候選信息。例如如下所述，在時刻tl下，即使在多個圖像位 置和標(biāo)簽位置無法建立對應(yīng)時(無法1對1)，之后在時刻t2下，也 可使各圖像位置和標(biāo)簽位置建立對應(yīng)(l對l)。這種情況下，通過該 歷史修正部33改寫歷史保存部32的信息(參照圖12)。
進(jìn)一步，該位置確定部17具有警告部34，其在以圖像位置為中 心的搜索區(qū)域內(nèi)不存在標(biāo)簽位置時，進(jìn)行發(fā)出警告音、警告顯示等的 處理。這樣一來，當(dāng)搜索區(qū)域內(nèi)不存在和圖像位置對應(yīng)的標(biāo)簽位置時， 當(dāng)作發(fā)現(xiàn)了不具有標(biāo)簽裝置2的監(jiān)視對象，發(fā)出警告(警告音、警告 顯示等)，引起用戶的注意。
對上述構(gòu)成的其他實施方式的位置確定系統(tǒng)，參照圖11~圖14說 明其動作。在此具體說明作為該位置確定系統(tǒng)的特征的位置確定部的 處理。
圖11及圖12是表示該位置確定部中的處理的一例的圖。在該例 中，如圖11所示，時刻tl下，由圖像定位部16計算出三個圖像位置 (G1 G3)，并且由無線定位部14檢測出三個標(biāo)簽位置(T1 T3)。 并且，根據(jù)圖像定位的定位精度設(shè)定搜索區(qū)域的半徑，搜索以圖像位 置為中心的搜索區(qū)域內(nèi)的標(biāo)簽位置。例如，在圖11中，以三個圖像位 置為中心的三個搜索區(qū)域以虛線表示。這種情況下，在圖像位置G1的 搜索區(qū)域內(nèi)，存在兩個標(biāo)簽位置T1和T2，圖像位置和標(biāo)簽位置無法l 對l地建立對應(yīng)。因此，這種情況下，歷史保存部32中記錄表示時刻 tl下的圖像位置Gl所對應(yīng)的標(biāo)簽位置是Tl和T2的候選信息。此時， 歷史保存部32中同樣記錄表示時刻tl下的圖像位置G2所對應(yīng)的標(biāo)簽位置是T2和T3、及時刻tl下的圖像位置G3所對應(yīng)的標(biāo)簽位置是Tl 和T3的候選信息。
之后，時刻t2下，如圖12所示，由圖像定位部16計算出兩個圖 像位置(G1和G2)，并且由無線定位部14檢測出兩個標(biāo)簽位置(Tl 和T2)。并和上述內(nèi)容一樣，根據(jù)圖像定位的定位精度設(shè)定搜索區(qū)域 的半徑，搜索以圖像位置為中心的搜索區(qū)域內(nèi)的標(biāo)簽位置。例如在圖 12中，以兩個圖像位置為中心的兩個搜索區(qū)域用虛線表示。此時，圖 像位置Gl的搜索區(qū)域內(nèi)僅存在一個標(biāo)簽位置Tl，圖像位置Gl和標(biāo)簽 位置T1被1對1地建立對應(yīng)。并且，圖像位置G2的搜索區(qū)域內(nèi)，僅 存在一個標(biāo)簽位置T2，圖像位置G2和標(biāo)簽位置T2被1對1地建立對 應(yīng)。此時的歷史保存部32變?yōu)閳D12所示的修正前的狀態(tài)。接著，歷 史修正部33使用時刻t2下獲得的對應(yīng)結(jié)果，進(jìn)行過去的候選信息的縮 小。具體而言，對于時刻tl下的圖像位置Gl所對應(yīng)的候選信息(Tl 和T2)，使用時刻t2下獲得的Gl和標(biāo)簽位置Tl對應(yīng)這一信息，縮 小為在時刻tl下和圖像位置Gl對應(yīng)的標(biāo)簽位置是Tl。同樣縮小為時 刻tl下的圖像位置G2所對應(yīng)的標(biāo)簽位置是T2。進(jìn)一步，時刻tl下的 圖像位置G3的候選信息(Tl和T3)中，對標(biāo)簽位置Tl已經(jīng)進(jìn)行了 與圖像位置Gl的對應(yīng)建立，因此縮小為圖像位置G3和標(biāo)簽位置T3 對應(yīng)。歷史修正部33使用以上結(jié)果，將歷史保存部32的數(shù)據(jù)從圖12 所示的修正前的狀態(tài)修正為修正后的狀態(tài)。
并且，圖像位置和標(biāo)簽位置的對應(yīng)建立也可使用似然比進(jìn)行。以 下參照圖13和圖14詳細(xì)說明利用似然比建立對應(yīng)。
圖13是表示帶似然比的候選信息的作成例的圖。例如，在某一時 刻下，通過圖像定位部16計算出兩個圖像位置(G1和G2)，并且通 過無線定位部14檢測出兩個標(biāo)簽位置(Tl和T2)。設(shè)圖像位置Gl 到標(biāo)簽位置T1、 T2的距離為r11、 r12，圖像位置G2到標(biāo)簽位置Tl、 T2的距離為r21、 r22時，標(biāo)簽位置所對應(yīng)的圖像位置的似然比為距離的倒數(shù)。例如如圖13的例子所示，rll: rl2=l:3時，和圖像位置Gl 對應(yīng)的標(biāo)簽位置的似然比為3: 1 (=75%: 25%)。因此，這種情況下， 歷史保存部32中記錄表示時刻tl下的圖像位置Gl所對應(yīng)的標(biāo)簽位置 是Tl (75%)和T2 (25%)的帶似然比的候選信息。同樣，r21: r22 二l: l時，記錄表示時刻tl下的圖像位置G2所對應(yīng)的標(biāo)簽位置是T1 (50%)和T2 (50%)的帶似然比的候選信息。
圖14是表示根據(jù)帶似然比的候選信息的歷史建立對應(yīng)的一例的 圖。如圖14所示，記錄時刻tl和t2下的帶似然比的候選信息。這種 情況下，可通過貝葉斯估計(Bayes estimation)求出各時刻下的對應(yīng)。 在圖14的例子中，使用貝葉斯定理，在觀測數(shù)據(jù)XI的基礎(chǔ)上計算圖 像位置Gl和標(biāo)簽位置Tl建立對應(yīng)的帶條件的概率(事后概率)P(T！ I X')。
其中，T,是圖像位置G1和標(biāo)簽位置T1建立對應(yīng)的現(xiàn)象，T2是圖 像位置G1和標(biāo)簽位置T2建立對應(yīng)的現(xiàn)象。并且，P (Tt)是圖像位置 G1和標(biāo)簽位置T1建立對應(yīng)的概率(事前概率)。在此為了簡化說明， 假設(shè)標(biāo)簽位置只有兩個的'清況。
因標(biāo)簽只有兩個，因此事前概率是P (T》=P (T2) 二0.5。使用 數(shù)據(jù)進(jìn)行P (T。的更新，當(dāng)P (T。和超過預(yù)定的上限閾值(例如0.95) 時，判斷為圖像位置Gl和標(biāo)簽位置Tl建立對應(yīng)，當(dāng)小于預(yù)定的下限 閾值(例如0.05)時，判斷為圖像位置G1和標(biāo)簽位置T1未建立對應(yīng)。
在本例中，使用數(shù)據(jù)X,的事后概率計算為P (T\ I X,) =0.7，使 用數(shù)據(jù)X2的事后概率計算為P I X2) =0.78。并且，使用數(shù)據(jù)X3 的事后概率計算為P I X3) =0.93。并且，使用數(shù)據(jù)X4的事后概 率計算為P I X4) =0.97。此時，事后概率超過上限閾值(0.95)， 標(biāo)簽位置Tl和圖像位置Gl建立對應(yīng)。
38在其他實施方式的位置確定系統(tǒng)中，根據(jù)圖像位置和標(biāo)簽位置的 距離，可使監(jiān)視對象的圖像定位和無線定位的結(jié)果適當(dāng)建立對應(yīng)。例 如，圖像位置和標(biāo)簽位置接近時，可使該圖像位置和標(biāo)簽位置為相同 的監(jiān)視對象而建立對應(yīng)。這種情況下，以圖像位置為中心的預(yù)定的搜 索區(qū)域內(nèi)(例如預(yù)定半徑內(nèi))存在標(biāo)簽位置時，可視該圖像位置和標(biāo) 簽位置為一個相同的監(jiān)視對象而適當(dāng)?shù)亟?yīng)。這樣一來，提高監(jiān) 視對象的位置確定精度。
并且，這種情況下，通過搜索區(qū)域設(shè)定部30，可根據(jù)監(jiān)視對象的 圖像定位的定位精度適當(dāng)設(shè)定以圖像位置為中心的搜索區(qū)域的大小。 例如，當(dāng)定位精度高時，搜索區(qū)域的大小設(shè)定得較小，當(dāng)定位精度低 時，搜索區(qū)域的大小設(shè)定得較大。
并且，當(dāng)以圖像位置為中心的搜索區(qū)域內(nèi)存在多個標(biāo)簽位置時， 將該多個位置相關(guān)的信息(例如時刻、圖像位置、與圖像位置對應(yīng)的
標(biāo)簽位置等)作為候選信息保存在歷史保存部32中，對應(yīng)建立部28 根據(jù)該歷史保存部32中保存的候選信息，可使監(jiān)視對象的圖像定位和 無線定位的結(jié)果適當(dāng)對應(yīng)。
進(jìn)一步，當(dāng)以圖像位置為中心的搜索區(qū)域內(nèi)(例如預(yù)定半徑內(nèi)) 不存在標(biāo)簽位置時，通過警告部34發(fā)出警告(警告音、警告顯示等)， 可引起用戶注意。
此外，對應(yīng)建立部28除了根據(jù)圖像位置附近搜索部29以外，也 可以根據(jù)下述變形例1所述的標(biāo)簽位置附近搜索部35的搜索結(jié)果，建 立圖像位置和標(biāo)簽位置的對應(yīng)。標(biāo)簽位置附近搜索部35進(jìn)行搜索時， 根據(jù)無線定位精度設(shè)定搜索區(qū)域的大小，或當(dāng)搜索區(qū)域內(nèi)有多個圖像 位置時，作為候選信息由歷史保存部32保存。進(jìn)一步，對應(yīng)建立部28 也可根據(jù)由標(biāo)簽位置附近搜索部35獲得的歷史保存部32中保存的候 選信息，使監(jiān)視對象的圖像定位和無線定位的結(jié)果建立對應(yīng)。這種情 39況下，在以標(biāo)簽位置為中心的預(yù)定的搜索區(qū)域內(nèi)(例如預(yù)定半徑內(nèi)) 存在圖像位置時，可將監(jiān)視對象的圖像定位和無線定位的結(jié)果作為一 個相同的監(jiān)視對象而適當(dāng)對應(yīng)。
(其他實施方式的位置確定系統(tǒng)的變形例1) 圖15是表示其他實施方式的位置確定系統(tǒng)的變形例1的構(gòu)成的框 圖。在此也以變形例1和其他實施方式不同的構(gòu)成及動作為中心進(jìn)行 說明。SP，如無特別指出，變形例1的構(gòu)成及動作和上述其他實施方 式相同。
變形例1的位置確定部17不僅具有圖像位置附近搜索部29，而 且具有標(biāo)簽位置附近搜索部35，其搜索以標(biāo)簽位置為中心的預(yù)定半徑 的圓形區(qū)域(搜索區(qū)域)內(nèi)是否存在標(biāo)簽位置。向標(biāo)簽位置附近搜索 部35輸入某一時刻下的標(biāo)簽位置和圖像位置，進(jìn)行搜索以標(biāo)簽位置為 中心的預(yù)定搜索區(qū)域內(nèi)的圖像位置的處理。并且，該位置確定部17具 有搜索方法變更部36，其根據(jù)圖像定位和無線定位的定位精度，變更 搜索方法(使用圖像位置附近搜索部29或標(biāo)簽位置附近搜索部35)。
此時，位置確定部17的定位精度檢測部31具有檢測圖像定位部 16和無線定位部14兩者的定位精度的功能。例如，圖像定位的精度是 根據(jù)圖像處理中檢測或確定人物(監(jiān)視對象)時的分散程度(和"人 物模塊"匹配時的匹配精度)等決定(匹配精度高時，圖像定位的精 度也變?yōu)檩^高的值)。并且，無線定位的精度例如根據(jù)標(biāo)簽裝置2的 檢測用信號的接收質(zhì)量(接收電波強(qiáng)度、錯誤率)等決定(接收質(zhì)量 高時，無線定位的精度也變?yōu)檩^高的值)。并且，位置確定部17具有 比較圖像定位和無線定位的定位精度的定位精度比較部37。
并且，搜索方法變更部36根據(jù)定位精度的比較結(jié)果變更搜索方 法。具體而言，當(dāng)圖像定位的定位精度較高時，使用圖像位置附近搜 索部29，搜索以圖像位置為中心的搜索區(qū)域內(nèi)是否存在標(biāo)簽位置，當(dāng)標(biāo)簽定位的定位精度較高時，使用標(biāo)簽位置附近搜索部35，搜索以標(biāo) 簽位置為中心的搜索區(qū)域內(nèi)是否存在圖像位置。
根據(jù)該變形例1的位置確定系統(tǒng)，比較圖像定位和無線定位的定 位精度，在以定位精度較高的一方求得的位置為中心的預(yù)定搜索區(qū)域 內(nèi)(例如預(yù)定半徑內(nèi))存在以定位精度低的一方求得的位置時，監(jiān)視 對象的圖像定位和無線定位的結(jié)果作為一個相同的監(jiān)視對象而被適當(dāng) 地建立對應(yīng)。
具體而言，當(dāng)圖像定位的定位精度較高時，以圖像位置為中心的 搜索區(qū)域內(nèi)存在標(biāo)簽位置時，可將該圖像位置和標(biāo)簽位置作為一個相 同的監(jiān)視對象而適當(dāng)?shù)亟?yīng)。并且，當(dāng)無線定位的定位精度較高 時，以標(biāo)簽位置為中心的搜索區(qū)域內(nèi)存在圖像位置時，可將該圖像位 置和標(biāo)簽位置作為一個相同的監(jiān)視對象而適當(dāng)?shù)慕?yīng)。
(其他實施方式的位置確定系統(tǒng)的變形例2)
圖16是表示其他實施方式的位置確定系統(tǒng)的變形例2的構(gòu)成的框 圖。在此也以變形例2和其他實施方式不同的構(gòu)成及動作為中心進(jìn)行 說明。5卩，如無特別指出，變形例2的構(gòu)成及動作和上述其他實施方 式相同。
變形例2的位置確定部17取代圖像位置附近搜索部29而具有組 合計算部38，其計算出圖像位置和標(biāo)簽位置的距離之差的平方和最小 的組合。向該組合計算部38輸入某一時刻下的標(biāo)簽位置和圖像位置， 計算出這些標(biāo)簽位置和圖像位置的最佳組合。作為計算出圖像位置和 標(biāo)簽位置的距離之差的平方和為最小的組合的計算方法，例如使用整 體搜索法、局部搜索法等。
根據(jù)該變形例2的位置確定系統(tǒng)，計算圖像位置和標(biāo)簽位置的距 離之差的平方和最小的最佳組合，據(jù)此結(jié)果建立圖像位置和標(biāo)簽位置的對應(yīng)。這樣一來，可適當(dāng)?shù)貙D像位置和標(biāo)簽位置建立對應(yīng)。
(其他實施方式的位置確定系統(tǒng)的變形例3) 圖17是表示其他實施方式的位置確定系統(tǒng)的變形例3的構(gòu)成的框
圖。在此也以變形例3和其他實施方式不同的構(gòu)成及動作為中心進(jìn)行 說明。即，如無特別指出，變形例3的構(gòu)成及動作和上述其他實施方
式相同。
變形例3的位置確定部17具有平均值計算部39，將建立對應(yīng)的 圖像位置和標(biāo)簽位置的平均位置計算為監(jiān)視對象的位置。向該平均值 計算部39輸入圖像定位和無線定位的定位精度，使用下述公式3，與 定位精度對應(yīng)的加權(quán)平均計算為監(jiān)視對象的平均位置。
(數(shù)學(xué)式3) — "v a,
其中，X是監(jiān)視對象的平均位置(綜合位置坐標(biāo))，Xv是圖像位
置(相機(jī) 位置坐標(biāo))，xt是標(biāo)簽位置(標(biāo)簽位置坐標(biāo))。并且，ay是圖 像定位的定位精度(相機(jī)精度)，ar是無線定位的定位精度(標(biāo)簽精度)。
根據(jù)變形例3的位置確定系統(tǒng)，圖像位置和標(biāo)簽位置的平均位置 被確定為監(jiān)視對象的位置。這樣一來，可適當(dāng)?shù)剡M(jìn)行監(jiān)視對象的位置 確定。具體而言，使用和圖像定位及無線定位的定位精度對應(yīng)的加權(quán) 平均，可適當(dāng)?shù)剡M(jìn)行監(jiān)視對象的位置確定。
(圖像位置附近搜索部的變形例)
圖18是說明圖像位置附近搜索部的變形例的圖。在該變形例中， 如圖18所示，圖像位置和標(biāo)簽位置配置在分割為多個單元(在圖18 中示例A1 D4這16個單元)的單元空間內(nèi)。
42在圖18的例子中，三個圖像位置G1 G3和三個標(biāo)簽位置T1 T3 分別配置在單元空間內(nèi)。具體而言，圖像位置Gl配置在單元B3，標(biāo) 簽位置T1配置在單元B4。并且，圖像位置G2和標(biāo)簽位置T2配置在 單元C2。并且，圖像位置G3配置在單元C3，標(biāo)簽位置T3配置在單 元D4。
并且，在該圖像位置附近搜索部29中，根據(jù)圖像位置所屬的單元 和標(biāo)簽位置所屬的單元的位置關(guān)系，建立圖像位置和標(biāo)簽位置的對應(yīng)。
首先，對圖像位置G1搜索對應(yīng)的標(biāo)簽位置時，搜索在和圖像位置 Gl所屬的單元B3相同的單元(單元B3)中是否存在所屬的標(biāo)簽位置。 此時，單元B3中不存在任何標(biāo)簽位置。這種情況下，擴(kuò)大標(biāo)簽位置的 搜索范圍。例如，向圖像位置Gl所屬的單元B3周圍的單元(單元A2、 B2、 C2、 A3、 C3、 A4、 B4、 C4)擴(kuò)大搜索范圍，搜索是否存在屬于 這些單元的標(biāo)簽位置。此時，存在屬于單元B4的標(biāo)簽位置Tl及屬于 單元C2的標(biāo)簽位置T2。這樣，當(dāng)搜索范圍內(nèi)發(fā)現(xiàn)多個標(biāo)簽位置時， 與圖像位置Gl的距離近的標(biāo)簽位置Tl確定為和圖像位置Gl對應(yīng)的 標(biāo)簽位置(圖像位置G1和標(biāo)簽位置T1建立對應(yīng))。
接著，對圖像位置G2搜索對應(yīng)的標(biāo)簽位置時，標(biāo)簽位置T2屬于 和圖像位置G2所屬的單元C2相同的單元(單元C2)。因此，這種情 況下，標(biāo)簽位置T2確定為和圖像位置G2對應(yīng)的標(biāo)簽位置(圖像位置 G2和標(biāo)簽位置T2建立對應(yīng))。
并且，對圖像位置G3搜索對應(yīng)的標(biāo)簽位置時，搜索和圖像位置 G3所屬的單元Cl相同的單元(單元Cl)中是否存在所屬的標(biāo)簽位置。 此時，單元Cl中不存在任何標(biāo)簽位置。因此，和圖像位置G1的情況 同樣，擴(kuò)大標(biāo)簽位置的搜索范圍。例如，向圖像位置G3所屬的單元 Cl周圍的單元(單元B1、 Dl、 B2、 C2、 D2)擴(kuò)大搜索范圍，搜索是
43否存在屬于這些單元的標(biāo)簽位置。此時，存在屬于單元D1的標(biāo)簽位置
T3及屬于單元C2的標(biāo)簽位置T2。因此，和圖像位置G1的情況同樣， 當(dāng)搜索范圍內(nèi)發(fā)現(xiàn)多個標(biāo)簽位置時，與圖像位置G3的距離近的標(biāo)簽位 置T3確定為和圖像位置G3對應(yīng)的標(biāo)簽位置(圖像位置G3和標(biāo)簽位 置T3建立對應(yīng))。并且這種情況下，標(biāo)簽位置T2已經(jīng)和圖像位置G2 建立了對應(yīng)，因此根據(jù)該信息(不進(jìn)行距離計算)，將標(biāo)簽位置T3確 定為和圖像位置G3對應(yīng)的標(biāo)簽位置。
根據(jù)該圖像位置附近搜索部29的變形例，可根據(jù)圖像位置所屬的 單元和標(biāo)簽位置所屬的單元的位置關(guān)系，使圖像位置和標(biāo)簽位置適當(dāng) 地建立對應(yīng)。例如，圖像位置和標(biāo)簽位置屬于同一單元時，該圖像位 置和標(biāo)簽位置作為(不進(jìn)行圖像位置和標(biāo)簽位置的距離計算)相同的 監(jiān)視對象而建立對應(yīng)。這樣一來，和對所有圖像位置和標(biāo)簽位置進(jìn)行 距離計算時相比，可大幅減少計算量，顯著提高處理速度。
此外，在此說明了圖像位置附近搜索部29的變形例，但該變形例 也可同樣適用于標(biāo)簽位置附近搜索部35。
(物體位置推測裝置)
以下參照附圖詳細(xì)說明本發(fā)明的實施方式。 (整體構(gòu)成)
圖19表示本發(fā)明的實施方式涉及的物體位置推測裝置的構(gòu)成。
物體位置推測裝置100將由相機(jī)101拍攝的拍攝圖像信號輸入到 拍攝圖像取得部102。拍攝圖像取得部102將取得的拍攝圖像發(fā)送到圖 像坐標(biāo)概率密度分布形成部103。
圖像坐標(biāo)概率密度分布形成部103根據(jù)時刻t的拍攝圖像形成推 定位置的對象(圖中為人物)200的坐標(biāo)的概率密度分布PtV。實際上，圖像坐標(biāo)概率密度分布形成部103具有預(yù)先設(shè)定的概率密度分布模型。 圖像坐標(biāo)概率密度分布形成部103首先根據(jù)拍攝圖像檢測出圖像內(nèi)的 對象可能存在的地點，求出各地點的存在概率。該存在概率可根據(jù)對
象200的模塊、與從拍攝屈像檢測出的對象200的一致程度來求出。 接著，圖像坐標(biāo)概率密度分布形成部103使用預(yù)先設(shè)定的概率密度分 布模型，制作各檢測地點處與上述一致程度對應(yīng)的面積的概率密度分 布，通過相加形成概率密度分布PtV。
參照圖20及圖21說明圖像坐標(biāo)概率密度分布形成部103的具體 處理。圖20是從拍攝圖像檢測出三個對象200的候選的例子。如圖20
(A)所示，在與檢測出的各候選中的模塊的一致程度為50%、 75%、 20%時，如圖20(B)所示，圖像坐標(biāo)概率密度分布形成部103使用概 率密度分布模型，做成與檢測出的位置面積比為5: 75: 20的概率密 度分布，將其作為概率密度分布PtV而輸出。具體而言，概率密度分布 模型是正態(tài)分布，使其平均值與檢測位置對應(yīng)，并且根據(jù)一致程度對 正態(tài)分布定標(biāo)即可。圖21 (A)是從拍攝圖像檢測出一個對象200的 候選的例子。這種情況下，圖像坐標(biāo)概率密度分布形成部103使用概 率密度分布模型做成如圖21 (B)所示的概率密度分布，將其作為概率 密度分布PtT輸出。
同樣，在拍攝圖像中檢測出存在概率為相同程度的兩個對象200 的候選位置時，圖像坐標(biāo)概率密度分布形成部103輸出圖30 (B)所示 的概率密度分布。另一方面，在拍攝圖像中檢測出存在概率不同的兩 個對象200的候選位置時，圖像坐標(biāo)概率密度分布形成部103輸出圖 22所示的概率密度分布。
由圖像坐標(biāo)概率密度分布形成部103形成的概率密度分布PtV發(fā)送 到概率密度分布綜合部120的加權(quán)確定部121。
另一方面，物體位置推測裝置IOO將由標(biāo)簽信號接收機(jī)111接收的信號輸入到標(biāo)簽信息取得部112。標(biāo)簽信息取得部112從取得的標(biāo)簽 信息中提取表示標(biāo)簽的坐標(biāo)的信號，將其發(fā)送到標(biāo)簽坐標(biāo)概率密度分 布形成部113。
標(biāo)簽坐標(biāo)概率密度分布形成部113根據(jù)時刻t的標(biāo)簽坐標(biāo)形成標(biāo) 簽201的坐標(biāo)的概率密度分布Pt1?；旧?，標(biāo)簽坐標(biāo)概率密度分布形 成部113和圖像坐標(biāo)概率密度分布形成部103同樣具有預(yù)先設(shè)定的概 率密度分布模型。概率密度分布模型是正態(tài)分布。標(biāo)簽坐標(biāo)概率密度 分布形成部113使正態(tài)分布的平均值和標(biāo)簽坐標(biāo)對應(yīng)，從而做成概率 密度分布，將其作為概率密度分布PtT輸出。但本實施方式的標(biāo)簽坐標(biāo) 概率密度分布形成部113除了該基本處理外，進(jìn)行概率密度分布的變 更處理。稍后對此進(jìn)行詳細(xì)說明。由標(biāo)簽坐標(biāo)概率密度推測部113形 成的概率密度分布PtT發(fā)送到概率密度綜合部120的加權(quán)確定部121。
概率密度綜合部120的綜合部122使用從圖像坐標(biāo)概率密度分布 形成部103輸出的時刻t下的對象201的位置的概率密度分布Ptv、從 標(biāo)簽坐標(biāo)概率密度分布形成部113輸出的時刻t下的標(biāo)簽201的位置的 概率密度分布Pt1、及由加權(quán)確定部121確定的加權(quán)系數(shù)k (t)，通過 以下公式求出綜合了概率密度分布PtV和概率密度分布PtT的概率密度 分布。
(數(shù)學(xué)式4)
丄=柳《+(1-柳《 ……(4)
其中，加權(quán)確定部121將加權(quán)系數(shù)k (t)設(shè)定為下述公式表示的 值，概率密度分布的概率密度的最大值越大則使權(quán)重越大，從而進(jìn)行
對概率密度分布PtV、 PtT的加權(quán)。
(數(shù)學(xué)式5)
46柳= 脂x(,(州
max(/ ,(州+ max(/ ,(州
、"
此外，概率密度分布的綜合方法、及加權(quán)確定的方法不是本發(fā)明 的重要特征，數(shù)學(xué)式4及數(shù)學(xué)式5是概率密度分布的綜合方法及加權(quán) 確定方法的一例。作為概率密度分布的綜合方法及加權(quán)確定方法，即 使適用數(shù)學(xué)式4及5所示的方法以外的、現(xiàn)有的各種方法也可實施本 發(fā)明，并且不會影響本發(fā)明的效果。例如，作為加權(quán)系數(shù)k (t)也可 使用固定值。進(jìn)一步，也可不進(jìn)行加權(quán)而僅綜合概率密度分布PtV和概 率密度分布Pt7 (取和或積)。
由綜合部122獲得的概率密度分布輸入到判斷部130。判斷部130 將概率密度分布中概率密度最大的位置判斷為對象200的位置，將該 位置作為位置推測結(jié)果輸出。
除了上述構(gòu)成外，物體位置推測裝置100具有標(biāo)簽狀況檢測部 131、概率密度分布變更控制部132。
標(biāo)簽狀況檢測部131輸入從拍攝圖像取得部102輸出的拍攝圖像。 標(biāo)簽狀況檢測部131使用拍攝圖像，檢測對象200的周邊狀況。其中， 對象200的周邊狀況可以說是無線標(biāo)簽201的周邊狀況。周邊狀況是 指，對象200的周邊是否存在障礙物，以及存在障礙物時存在于什么 位置。障礙物是指使對象200不能或難以移動的構(gòu)造物、物體等。并 且，障礙物是存在于無線標(biāo)簽201的電波發(fā)送范圍及標(biāo)簽信號接收機(jī) 111的檢測范圍、使無線標(biāo)簽201和標(biāo)簽信號接收機(jī)111之間的通信劣 化的物體。其中，無線標(biāo)簽201和標(biāo)簽信號接收機(jī)111之間存在的物 體使無線標(biāo)簽201和標(biāo)簽信號接收機(jī)111之間的通信劣化的可能性較 高，因此將無線標(biāo)簽201和標(biāo)簽信號接收機(jī)111之間存在的物體檢測 為障礙物是有效的。由標(biāo)簽狀況檢測部131獲得檢測結(jié)果傳送到概率密度分布變更控制部132。
概率密度分布變更控制部132根據(jù)由標(biāo)簽狀況檢測部131檢測的 周邊狀況，進(jìn)行變更標(biāo)簽坐標(biāo)概率密度分布形成部113中的概率密度 分布的控制。具體而言，概率密度分布變更控制部132根據(jù)障礙物的 檢測結(jié)果，進(jìn)行變更正態(tài)分布的方差值、正態(tài)分布的平均值、或與正 態(tài)分布內(nèi)的檢測結(jié)果對應(yīng)的局部區(qū)域的概率密度的控制。
例如，在由標(biāo)簽狀況檢測部131檢測到使對象200不能或難以移 動的構(gòu)造物、物體等時，概率密度分布變更控制部132向標(biāo)簽坐標(biāo)概 率密度分布形成部113發(fā)出指示，以使檢測到障礙物的位置的概率密 度為0，其他部分的概率密度的積分值為1。這樣一來，可使對象200 實際上無法存在的位置的概率密度為0，因此可使概率密度分布Pj進(jìn) 一步接近現(xiàn)實。
并且，在通過標(biāo)簽狀況檢測部131檢測到無線標(biāo)簽201和標(biāo)簽信 號接收機(jī)111的周邊存在使無線標(biāo)簽201和標(biāo)簽信號接收機(jī)111之間 的通信劣化的障礙物時，概率密度分布變更控制部132向標(biāo)簽坐標(biāo)概 率密度分布形成部113發(fā)出指示，以與未檢測到障礙物時進(jìn)行比較， 形成使正態(tài)分布的方差值增大的概率密度分布Pt1。這樣一來，可形成 和無線通信質(zhì)量對應(yīng)的概率密度分布Pt1。并且，除了檢測有無障礙物 外，也可從拍攝圖像檢測障礙物的種類，根據(jù)障礙物的種類變更方差 的值。例如，當(dāng)檢測到金屬等易于成為電波障礙的障礙物時，和檢測 到難以成為電波障礙的障礙物時相比，增大方差的值即可。
并且，概率密度分布變更控制部132也可指示標(biāo)簽坐標(biāo)概率密度 分布形成部113，在檢測到障礙物和未檢測到障礙物時，形成變更了正 態(tài)分布的平均值的概率密度分布PtT。當(dāng)檢測到障礙物時，和未檢測到 障礙物時相比，預(yù)先通過實驗等求出如何變更正態(tài)分布的平均值即可。 例如，在對象200 (無線標(biāo)簽201)的周邊存在壁等時，從無線標(biāo)簽201
48接收的觀測結(jié)果因壁的影響而與真正的位置偏離，因此預(yù)先通過實驗 求出與無線標(biāo)簽201和壁的位置偏差之間的關(guān)系，在周邊檢測到壁時， 使正態(tài)分布的平均值錯開預(yù)先求出的部分即可。
此外，這些變更(校正)可對觀測數(shù)據(jù)中的可能存在對象的各處 分別進(jìn)行，根據(jù)各處的存在概率相加變更(校正)后的各處的概率密 度分布，從而求出最終的概率密度分布PtT。
(周邊狀況的檢測及概率密度分布的變更) 接著列舉具體例說明周邊狀況的檢測、及和檢測結(jié)果對應(yīng)的概率
密度分布的變更處理。
圖23表示根據(jù)無線標(biāo)簽201和標(biāo)簽信號接收機(jī)111的周邊是否存 在障礙物，來變更概率密度分布的方差值的例子。通過標(biāo)簽狀況檢測 部131在無線標(biāo)簽201和標(biāo)簽信號接收機(jī)111周邊未檢測到障礙物時， 如圖23 (A)所示，標(biāo)簽坐標(biāo)概率密度分布形成部113形成并輸出方 差值小的概率密度分布。與之相對，通過標(biāo)簽狀況檢測部131在無線 標(biāo)簽201和標(biāo)簽信號接收機(jī)111的周邊檢測到障礙物時，如圖23 (B) 所示，標(biāo)簽坐標(biāo)概率密度分布形成部113形成并輸出方差值大的概率 密度分布。其中，圖23 (A)及圖23 (B)的概率密度分布均是正態(tài)分 布。
此外，對無線標(biāo)簽201而言，對象200也是障礙物。因此，通過 標(biāo)簽狀況檢測部131檢測對象200對無線標(biāo)簽201的附帶狀況也是有 效的。具體而言，標(biāo)簽狀況檢測部131檢測圖24所示的無線標(biāo)簽201 的附帶狀況，標(biāo)簽坐標(biāo)概率密度分布形成部113輸出和檢測結(jié)果對應(yīng) 的概率密度分布PtT也是有效的。S卩，標(biāo)簽狀況檢測部131檢測到如圖 24 (A)所示無線標(biāo)簽201帶在對象200的頭上時，認(rèn)為無線標(biāo)簽201 和標(biāo)簽信號接收機(jī)111之間不存在障礙物(即人物)，從標(biāo)簽坐標(biāo)概 率密度分布形成部113輸出圖23 (A)所示的方差小的概率密度分布。
49與之相對，標(biāo)簽狀況檢測部131檢測到如圖24 (B)所示無線標(biāo)簽201 從對象200的頭部下降的情況下，認(rèn)為無線標(biāo)簽201和標(biāo)簽信號接收 機(jī)111之間存在障礙物(即人物)，從標(biāo)簽坐標(biāo)概率密度分布形成部 113輸出圖23 (B)這樣方差大的概率密度分布。
以下說明如下示例通過標(biāo)簽狀況檢測部131檢測到使對象200 不能或難以移動的構(gòu)造物、物體等時，通過標(biāo)簽坐標(biāo)概率密度分布形 成部113輸出檢測到障礙物的位置的概率密度為0的概率密度分布Pt1。
圖25(A)表示由相機(jī)101拍攝的拍攝圖像的畫面。并且圖25(B) 表示將拍攝圖像變換為平面圖坐標(biāo)系的情況。標(biāo)簽狀況檢測部131變 換圖25 (A)所示的拍攝圖像的坐標(biāo)系而獲得圖25 (B)所示的檢測結(jié) 果。并且，設(shè)標(biāo)簽的定位位置為(17,25)。這樣一來，概率密度分布 變更控制部132將指示以下內(nèi)容的概率密度分布變更信號輸出到標(biāo)簽 坐標(biāo)概率密度分布形成部113:根據(jù)標(biāo)簽定位結(jié)果對象200的位置是 (17,15);根據(jù)圖像的檢測結(jié)果，使概率密度分布中和障礙物對應(yīng)的 x》20的概率密度為0。這樣一來，標(biāo)簽坐標(biāo)概率密度分布形成部113 如圖26所示輸出以坐標(biāo)(17,15)為正態(tài)分布的平均值、且x》20的概 率密度為0的概率密度分布。
圖27表示不存在障礙物時從標(biāo)簽坐標(biāo)概率密度分布形成部113輸 出的概率密度分布。以坐標(biāo)(17,15)為正態(tài)分布的平均和圖26相同， 但因未考慮障礙物，所以x》20的范圍的概率密度不是0。此外即使如 圖26所示在x^20的概率密度為0時，概率密度的積分值之和必須與 圖27時同樣為l，因此正態(tài)分布的平均(即圖26的例子中坐標(biāo)(17,15)) 的概率密度(z軸的值)大于圖27的正態(tài)分布的平均的概率密度(z 軸的值)。
圖28及圖29表示和圖25及圖26不同的例子。圖28表示對象 200位于兩側(cè)有障礙物的路徑上的畫面。此外，在圖28中，作為障礙物示出了椅子和桌子，當(dāng)然也可以是墻壁等。當(dāng)檢測到圖28的狀況時，
從標(biāo)簽坐標(biāo)概率密度分布形成部113輸出圖29所示的概率密度分布。 圖29的概率密度分布是正態(tài)分布在路徑方向上擴(kuò)大、在和路徑方向垂 直的方向上縮小的形狀。從圖29可知，和障礙物對應(yīng)的位置的概率密 度較小，因此和路徑對應(yīng)的位置的概率密度較大。
(效果)
如上所述，根據(jù)本實施方式，設(shè)有圖像坐標(biāo)概率密度分布形成 部103，其根據(jù)拍攝圖像，形成對象200的坐標(biāo)的第1概率密度分布 Ptv;標(biāo)簽坐標(biāo)概率密度分布形成部113，根據(jù)來自對象200附帶的無 線標(biāo)簽201的信號，形成對象200的坐標(biāo)的第2概率密度分布PtT;標(biāo) 簽狀況檢測部131，根據(jù)拍攝圖像檢測無線標(biāo)簽201的周邊狀況；概率 密度分布變更控制部132，根據(jù)檢測的無線標(biāo)簽201的周邊狀況，變更 標(biāo)簽坐標(biāo)概率密度分布形成部113中的概率密度分布PtT;概率密度綜 合部120，綜合第1概率密度分布PtV和第2概率密度分布PtT，從而有 效利用拍攝圖像，和現(xiàn)有技術(shù)相比，可實現(xiàn)提高了位置推測精度的物 體位置推測裝置100。
艮P，根據(jù)本實施方式，即使無線標(biāo)簽201對對象200的定位位置 相同，也可根據(jù)標(biāo)簽狀況檢測部131的檢測結(jié)果變更概率密度分布本 身，因此可使作為綜合源的概率密度分布本身更接近現(xiàn)實。結(jié)果可提 高位置推測精度。
并且，論述了根據(jù)檢測的周邊狀況變更標(biāo)簽坐標(biāo)概率密度分布形 成部113中的概率密度分布的情況，但也可根據(jù)檢測的周邊狀況變更 對標(biāo)簽坐標(biāo)概率密度分布形成部113所獲得的概率密度分布PtT的加權(quán) 系數(shù)，總之使基于標(biāo)簽坐標(biāo)概率密度分布形成部113的概率密度分布 和上述實施方式一樣變更即可。
并且，本發(fā)明也可適用于利用了粒子濾波器(Particle filter)的物體位置推測裝置。具體而言，由粒子濾波器構(gòu)成標(biāo)簽坐標(biāo)概率密度分 布形成部113，根據(jù)從拍攝圖像檢測到的障礙物選擇粒子濾波器中使用 的似然比及/或排除的粒子。
粒子濾波器從含有噪聲的觀測值推測真值。粒于濾波器設(shè)定多個
粒子(Particle)。粒子具有似然比。并且，粒子濾波器通過反復(fù)進(jìn)行 下述(1) 、 (2)的處理推測真值。
(1)根據(jù)各粒子的時刻t-l下的似然比，推測時刻t下的似然比。 (2)對推測的時刻t下的似然比，使用時刻t下的觀測值，從而排除 不適合的粒子。
其中，在(1)的處理中推測的下一個似然比(時刻t的似然比) 是根據(jù)從拍攝圖像檢測到的障礙物來選擇。并且，在(2)的處理中排 除的粒子是根據(jù)從拍攝圖像檢測的障礙物來變更。具體而言，降低與 障礙物的位置對應(yīng)的似然比，并且/或者排除和障礙物的位置對應(yīng)的粒 子。這樣一來，可提高粒子的噪聲去除能力。
此外，在上述實施方式中，論述了對象200附帶的傳感器是無線 標(biāo)簽201的情況，但也可以是聲波標(biāo)簽、超聲波標(biāo)簽、紅外線標(biāo)簽等。 并且對象200也可以是以下形態(tài)不帶標(biāo)簽等裝置，使用無線、聲波、 超聲波、紅外線等進(jìn)行遠(yuǎn)距離定位。
以上說明了目前考慮到的本發(fā)明的優(yōu)選實施方式，但可以對本實 施方式進(jìn)行多種變形，并且在本發(fā)明的真實精神和范圍內(nèi)的所有變形 均屬于權(quán)利要求范圍。
如上所述，本發(fā)明涉及的位置確定系統(tǒng)具有以下效果，即使在無 法拍攝監(jiān)視對象的圖像時，也可確定監(jiān)視對象的位置，并可追蹤監(jiān)視 對象的移動，例如適用于工廠作業(yè)效率化系統(tǒng)、物流倉庫內(nèi)丟失監(jiān)視系統(tǒng)、辦公室出入管理系統(tǒng)等。并且，本發(fā)明具有可提高使用概率密 度分布推測對象的位置時的位置推測精度的效果，例如適用于物體追 蹤系統(tǒng)等。
權(quán)利要求
1.一種位置確定系統(tǒng)，包括監(jiān)視對象所保持的無線終端裝置；和傳感器裝置，具有與上述無線終端裝置進(jìn)行無線通信的無線通信部以及拍攝上述監(jiān)視對象的圖像的攝像部，上述位置確定系統(tǒng)的特征在于，上述無線終端裝置具有標(biāo)識信息保存部，保存上述無線終端裝置所固有的標(biāo)識信息；和發(fā)送部，將用于檢測上述無線終端裝置的位置的檢測用信號和上述標(biāo)識信息一起發(fā)送，上述傳感器裝置還具有無線定位部，根據(jù)由上述無線通信部接收的包括上述標(biāo)識信息在內(nèi)的上述檢測用信號，檢測出上述無線終端裝置的位置；圖像定位部，根據(jù)由上述攝像部拍攝的圖像，計算上述監(jiān)視對象的位置；以及綜合位置確定部，結(jié)合由上述圖像定位部計算出的位置、由上述無線定位部檢測出的位置以及上述標(biāo)識信息，確定上述監(jiān)視對象的位置。
2. 根據(jù)權(quán)利要求1所述的位置確定系統(tǒng)，其特征在于， 上述傳感器裝置還具有-位置確定是否成功判斷部，判斷由上述綜合位置確定部進(jìn)行的上 述監(jiān)視對象的位置確定是否成功；和中止請求部，當(dāng)判斷上述監(jiān)視對象的位置確定成功時，向上述無 線終端裝置發(fā)送用于降低上述檢測用信號的發(fā)送頻度的發(fā)送中止請 求。
3. 根據(jù)權(quán)利要求2所述的位置確定系統(tǒng)，其特征在于， 上述傳感器裝置還具有圖像定位是否成功判斷部，判斷由上述圖像定位部進(jìn)行的上述監(jiān) 視對象的圖像定位是否成功；和第1發(fā)送請求部，在上述圖像定位是否成功判斷部判斷上述監(jiān)視 對象的圖像定位失敗時，向上述無線終端裝置發(fā)送上述檢測用信號的 發(fā)送請求。
4. 根據(jù)權(quán)利要求2所述的位置確定系統(tǒng)，其特征在于， 上述傳感器裝置還具有第2發(fā)送請求部，在上述發(fā)送中止請求發(fā)送后，由上述位置確定是否成功判斷部判斷上述監(jiān)視對象的位置確定 失敗時，向上述無線終端裝置發(fā)送上述檢測用信號的發(fā)送請求。
5. 根據(jù)權(quán)利要求3所述的位置確定系統(tǒng)，其特征在于， 上述傳感器裝置還具有第1標(biāo)識信息內(nèi)插部，在上述位置確定是否成功判斷部判斷由上述綜合位置確定部迸行的上述監(jiān)視對象的位置 確定失敗后，判斷由上述綜合位置確定部進(jìn)行的上述監(jiān)視對象的位置 確定再次成功時，對上述位置確定失敗時的上述監(jiān)視對象的圖像附加 在上述綜合位置確定部中再次與上述監(jiān)視對象結(jié)合的上述無線終端裝 置的上述標(biāo)識信息。
6. 根據(jù)權(quán)利要求3所述的位置確定系統(tǒng)，其特征在于， 上述傳感器裝置還具有圖像內(nèi)插部，在上述監(jiān)視對象的圖像定位失敗后、上述圖像定位再次成功時，根據(jù)上次圖像定位的位置和本次 圖像定位的位置，內(nèi)插上述圖像定位失敗時的上述監(jiān)視對象的圖像。
7. 根據(jù)權(quán)利要求l所述的位置確定系統(tǒng)，其特征在于， 上述無線終端裝置的檢測用信號的發(fā)送頻度以及由上述無線定位部進(jìn)行的上述無線終端裝置的無線定位的頻度，被設(shè)定為小于由上述 圖像定位部進(jìn)行的上述監(jiān)視對象的圖像定位的頻度，上述傳感器裝置還具有第2標(biāo)識信息內(nèi)插部，對上述綜合位置確 定部進(jìn)行上述監(jiān)視對象的位置確定之前、由上述攝像部拍攝的圖像內(nèi)的上述監(jiān)視對象的圖像，附加在確定上述監(jiān)視對象的位置時或確定上 述監(jiān)視對象的位置以后、通過上述綜合位置確定部與上述監(jiān)視對象的 圖像結(jié)合的上述無線終端裝置的上述標(biāo)識信息。
8. 根據(jù)權(quán)利要求1所述的位置確定系統(tǒng)，其特征在于， 上述位置確定系統(tǒng)還包括對應(yīng)建立部，根據(jù)由上述圖像定位部計算出的位置與由上述無線定位部檢測出的位置之間的距離，將上述監(jiān) 視對象的圖像定位和無線定位的結(jié)果建立對應(yīng)。
9. 根據(jù)權(quán)利要求8所述的位置確定系統(tǒng)，其特征在于，在以上述圖像定位部所計算出的位置為中心的預(yù)定搜索區(qū)域內(nèi)存 在由上述無線定位部檢測出的位置時，上述對應(yīng)建立部將上述監(jiān)視對 象的圖像定位和無線定位的結(jié)果建立對應(yīng)。
10. 根據(jù)權(quán)利要求8所述的位置確定系統(tǒng)，其特征在于， 在以上述無線定位部所檢測出的位置為中心的預(yù)定搜索區(qū)域內(nèi)存 在由上述圖像定位部計算出的位置時，上述對應(yīng)建立部將上述監(jiān)視對 象的圖像定位和無線定位的結(jié)果建立對應(yīng)。
11. 根據(jù)權(quán)利要求8所述的位置確定系統(tǒng)，其特征在于， 上述位置確定系統(tǒng)具有定位精度比較部，比較上述監(jiān)視對象的圖像定位和無線定位的定位精度，上述對應(yīng)建立部，根據(jù)上述定位精度的比較結(jié)果， 在上述圖像定位的定位精度高的情況下，當(dāng)以上述圖像定位部所 計算出的位置為中心的預(yù)定搜索區(qū)域內(nèi)存在由上述無線定位部檢測出 的位置時，將上述監(jiān)視對象的圖像定位和無線定位的結(jié)果建立對應(yīng)，在上述無線定位的定位精度高的情況下，當(dāng)以上述無線定位部所 檢測出的位置為中心的預(yù)定搜索區(qū)域內(nèi)存在由上述圖像定位部計算出 的位置時，將上述監(jiān)視對象的圖像定位和無線定位的結(jié)果建立對應(yīng)。
12. 根據(jù)權(quán)利要求9所述的位置確定系統(tǒng)，其特征在于，根據(jù)上述監(jiān)視對象的圖像定位的定位精度，設(shè)定以上述圖像定位部所計算出的位置為中心的預(yù)定搜索區(qū)域的大小。
13. 根據(jù)權(quán)利要求IO所述的位置確定系統(tǒng)，其特征在于，根據(jù)上述監(jiān)視對象的無線定位的定位精度，設(shè)定以上述無線定位部所計算出的位置為中心的預(yù)定搜索區(qū)域的大小。
14. 根據(jù)權(quán)利要求9所述的位置確定系統(tǒng)，其特征在于，上述位置確定系統(tǒng)還具有歷史保存部，當(dāng)以上述圖像定位部所計算出的位置為中心的預(yù)定搜索區(qū)域內(nèi)存在多個由上述無線定位部檢測出的位置時，將與多個位置相關(guān)的信息作為候選信息而保存。
15. 根據(jù)權(quán)利要求IO所述的位置確定系統(tǒng)，其特征在于，上述位置確定系統(tǒng)還具有歷史保存部，當(dāng)以上述無線定位部所計算出的位置為中心的預(yù)定搜索區(qū)域內(nèi)存在多個由上述圖像定位部檢測出的位置時，將與多個位置相關(guān)的信息作為候選信息而保存。
16. 根據(jù)權(quán)利要求14所述的位置確定裝置，其特征在于，上述對應(yīng)建立部根據(jù)上述歷史保存部中保存的上述候選信息，將上述監(jiān)視對象的圖像定位和無線定位的結(jié)果建立對應(yīng)。
17. 根據(jù)權(quán)利要求15所述的位置確定裝置，其特征在于，上述對應(yīng)建立部根據(jù)上述歷史保存部中保存的上述候選信息，將上述監(jiān)視對象的圖像定位和無線定位的結(jié)果建立對應(yīng)。
18. 根據(jù)權(quán)利要求8所述的位置確定系統(tǒng)，其特征在于，上述對應(yīng)建立部具有組合計算部，計算出由上述圖像定位部計算出的位置與由上述無線定位部檢測出的位置的距離之差的平方和為最小的組合。
19. 根據(jù)權(quán)利要求1所述的位置確定系統(tǒng)，其特征在于，上述綜合位置確定部將由上述圖像定位部計算出的位置和由上述無線定位部檢測出的位置的平均位置確定為上述監(jiān)視對象的位置。
20. 根據(jù)權(quán)利要求19所述的位置確定系統(tǒng)，其特征在于，上述平均是與上述監(jiān)視對象的圖像定位和無線定位的定位精度對應(yīng)的加權(quán)平均。
21. 根據(jù)權(quán)利要求1所述的位置確定系統(tǒng)，其特征在于，由上述圖像定位部計算出的位置和由上述無線定位部檢測出的位置配置在被分割為多個單元的單元空間內(nèi)，上述位置確定系統(tǒng)還具有對應(yīng)建立部，根據(jù)由上述圖像定位部計算出的位置所屬的單元與由上述無線定位部檢測出的位置所屬的單元的位置關(guān)系，將上述監(jiān)視對象的圖像定位和無線定位的結(jié)果建立對應(yīng)。
22. 根據(jù)權(quán)利要求l所述的位置確定系統(tǒng)，其特征在于，上述位置確定系統(tǒng)還具有警告部，在以上述圖像定位部所計算出的位置為中心的預(yù)定搜索區(qū)域內(nèi)不存在由上述無線定位部檢測出的位置時，進(jìn)行發(fā)出警告的處理。
23. —種傳感器裝置，其特征在于，具有無線通信部，與監(jiān)視對象所保持的無線終端裝置進(jìn)行無線通信，上述無線終端裝置將檢測信號和標(biāo)識信息一起發(fā)送；攝像部，拍攝上述監(jiān)視對象的圖像；無線定位部，根據(jù)由上述無線通信部接收的包括上述標(biāo)識信息在內(nèi)的上述檢測用信號，檢測出上述無線終端裝置的位置；圖像定位部，根據(jù)由上述攝像部拍攝的圖像，計算上述監(jiān)視對象的位置；以及綜合位置確定部，結(jié)合由上述圖像定位部計算出的位置、由上述無線定位部檢測出的位置以及上述標(biāo)識信息，確定上述監(jiān)視對象的位置。
24. —種物體位置推測裝置，其特征在于，具有第1概率密度分布形成部，根據(jù)由相機(jī)拍攝的拍攝圖像，形成對象的坐標(biāo)的第1概率密度分布；第2概率密度分布形成部，根據(jù)上述對象所附帶的傳感器的信號，形成上述對象的坐標(biāo)的第2概率密度分布；概率密度綜合部，綜合上述第1概率密度分布和上述第2概率密度分布；檢測部，根據(jù)上述拍攝圖像檢測上述對象的周邊狀況；以及概率密度分布變更部，根據(jù)檢測到的上述周邊狀況，變更對上述第2概率密度分布形成部中的概率密度分布或上述概率密度綜合部中的上述第2概率密度分布的加權(quán)系數(shù)。
25. 根據(jù)權(quán)利要求24所述的物體位置推測裝置，其特征在于，上述第2概率密度分布是正態(tài)分布，上述概率密度分布變更部根據(jù)上述檢測結(jié)果，變更正態(tài)分布的方差值、正態(tài)分布的平均值、或與正態(tài)分布內(nèi)的上述檢測結(jié)果對應(yīng)的局部區(qū)域的概率密度。
26. 根據(jù)權(quán)利要求25所述的物體位置推測裝置，其特征在于，上述檢測部檢測上述對象的周邊的障礙物作為上述周邊狀況，上述概率密度分布變更部將檢測到上述障礙物的位置的概率密度設(shè)為0。
27. 根據(jù)權(quán)利要求25所述的物體位置推測裝置，其特征在于，上述對象所附帶的傳感器是無線標(biāo)簽，上述檢測部檢測上述無線標(biāo)簽與本檢測部之間是否存在障礙物，在檢測到障礙物時和未檢測到障礙物時相比，上述概率密度分布變更部增大正態(tài)分布的方差值。
28. 根據(jù)權(quán)利要求25所述的物體位置推測裝置，其特征在于，上述對象所附帶的傳感器是無線標(biāo)簽，上述檢測部檢測上述對象的周邊的障礙物作為上述周邊狀況，在檢測到障礙物時和未檢測到障礙物時，上述概率密度分布變更部變更正態(tài)分布的平均值。
29. 根據(jù)權(quán)利要求24所述的物體位置推測裝置，其特征在于，上述第2概率密度分布形成部具有粒子濾波器，上述概率密度分布變更部根據(jù)上述檢測結(jié)果變更上述粒子濾波器的似然比及/或排除的粒子。
30. —種物體位置推測方法，其特征在于，根據(jù)含有對象的拍攝圖像形成上述對象的第1概率密度分布，根據(jù)上述對象所附帶的傳感器的信號形成上述對象的第2概率密度分布，根據(jù)上述拍攝圖像檢測上述對象的周邊狀況，根據(jù)檢測到的上述周邊狀況變更上述第2概率密度分布，綜合上述第1概率密度分布和上述第2概率密度分布。
全文摘要
一種位置確定系統(tǒng)(1)，具有監(jiān)視對象所保持的無線終端裝置(2)；傳感器裝置(3)，具有與無線終端裝置(2)進(jìn)行無線通信的無線通信部(9)及拍攝監(jiān)視對象的圖像的相機(jī)部(10)。在傳感器裝置(3)中，根據(jù)來自無線終端裝置(2)的檢測用信號檢測無線終端裝置(2)的位置(標(biāo)簽位置)，并且根據(jù)由相機(jī)部(3)拍攝的圖像計算監(jiān)視對象的位置(圖像位置)，通過結(jié)合標(biāo)簽位置和圖像位置，確定監(jiān)視對象的位置。這樣一來，可提供一種位置確定系統(tǒng)，即使在無法拍攝監(jiān)視對象的圖像時，也可確定監(jiān)視對象的位置，追蹤監(jiān)視對象的移動。
文檔編號G06K19/00GK101681549SQ200980000398
公開日2010年3月24日 申請日期2009年2月27日 優(yōu)先權(quán)日2008年3月11日
發(fā)明者上田純子, 向井新太, 木村恭也, 杉浦雅貴, 森岡干夫, 青田一幸 申請人:松下電器產(chǎn)業(yè)株式會社