圖像檢索系統(tǒng)、圖像檢索裝置以及圖像檢索方法
【專利說明】圖像檢索系統(tǒng)、圖像檢索裝置以及圖像檢索方法
[0001 ] 本申請主張平成26年(2014年)1月31日申請的日本申請?zhí)卦?014-16813的優(yōu)先權(quán)，并通過參照其內(nèi)容，將其內(nèi)容結(jié)合在本申請中。
技術(shù)領(lǐng)域
[0002]本發(fā)明涉及一種圖像檢索技術(shù)。
【背景技術(shù)】
[0003]作為本技術(shù)領(lǐng)域的【背景技術(shù)】，有日本特開2013-150218號公報(專利文獻I)。在專利文獻I中記載了如下的內(nèi)容在動畫檢索裝置中，接收部接收靜止圖像、靜止圖像內(nèi)的2個參照位置、動畫幀內(nèi)的2個目標位置的輸入。提取部從靜止圖像中提取出包含2個參照位置的參照圖像。檢索部從運動圖像所包含的幀圖像中檢索出與參照圖像類似的描繪了局部圖像的類似幀圖像，在局部圖像內(nèi)，追蹤在與2個參照位置對應(yīng)的開始位置處描繪的2個關(guān)注像素的、在運動圖像中從類似幀圖像使時間前行或逆行時的2個移動軌跡，來檢索出2個移動軌跡達到2個目標位置近旁的目標幀圖像，將包含類似幀圖像和目標幀圖像的運動圖像設(shè)為檢索結(jié)果”。
[0004]專利文獻I:日本特開2013-150218號公報

【發(fā)明內(nèi)容】

[0005]發(fā)明要解決的課題
[0006]在想要從所拍攝到的影像中例如檢索出可疑人物或可疑車輛等移動物體的圖像的情況下，能夠得到對該移動物體附加了特征的信息，例如該移動物體的移動路徑或外表特征等信息，但實際上有時無法確定拍攝到該移動物體的圖像。在這樣的情況下，無法根據(jù)用戶輸入的該移動物體的特征來檢索該移動物體的圖像。
[0007]用于解決課題的手段
[0008]為了解決上述課題，本發(fā)明的一方式的圖像檢索系統(tǒng)具有:拍攝影像的拍攝部;具有處理器和存儲部，檢索所述影像中包含的圖像的檢索部;接受向所述檢索部輸入的信息的輸入部以及顯示從所述檢索部輸出的信息的顯示部，該圖像檢索系統(tǒng)的特征在于，所述存儲部保持表示軌跡的形狀的信息，該軌跡表示從所述影像提取出的多個移動物體的移動路徑，所述檢索部，在從所述輸入部輸入了表示軌跡的形狀的信息時，從所述存儲部中保持的所述多個移動物體的軌跡中檢索與所述輸入的軌跡形狀類似的軌跡，將沿著所述檢索出的軌跡移動的所述移動物體的圖像顯示在所述顯示部中。
[0009]發(fā)明效果
[0010]根據(jù)本發(fā)明的一方式，不論實際拍攝到作為檢索對象的移動物體的影像的有無，都能夠檢索與用戶指定的軌跡類似的移動物體的軌跡。通過以下的實施方式的說明，能夠明確上述以外的課題、結(jié)構(gòu)以及效果。
【附圖說明】
[0011]圖1是本發(fā)明的實施例1的圖像檢索系統(tǒng)的整體結(jié)構(gòu)圖。
[0012]圖2是本發(fā)明的實施例1的圖像檢索系統(tǒng)的硬件結(jié)構(gòu)圖。
[0013]圖3是本發(fā)明的實施例1的影像數(shù)據(jù)庫的結(jié)構(gòu)以及數(shù)據(jù)例的說明圖。
[0014]圖4是說明本發(fā)明的實施例1的服務(wù)器計算機登記所輸入的影像的處理的流程圖。
[0015]圖5是說明本發(fā)明的實施例1的服務(wù)器計算機檢索軌跡的處理的流程圖。
[0016]圖6是本發(fā)明的實施例1的由服務(wù)器計算機輸出的檢索畫面的說明圖。
[0017]圖7是本發(fā)明的實施例2的圖像檢索系統(tǒng)的整體結(jié)構(gòu)圖。
[0018]圖8A是本發(fā)明的實施例2的影像數(shù)據(jù)庫的結(jié)構(gòu)以及數(shù)據(jù)例的第I說明圖。
[0019]圖SB是本發(fā)明的實施例2的影像數(shù)據(jù)庫的結(jié)構(gòu)以及數(shù)據(jù)例的第2說明圖。
[0020]圖9是說明本發(fā)明的實施例2的服務(wù)器計算機登記所輸入的影像的處理的流程圖。
[0021]圖10是說明本發(fā)明的實施例2的服務(wù)器計算機進行的檢索處理的流程圖。
[0022]圖11是本發(fā)明的實施例2的由服務(wù)器計算機輸出的檢索畫面的說明圖。
[0023]圖12是本發(fā)明的實施例3的由圖像檢索系統(tǒng)執(zhí)行的使用了地圖信息的軌跡檢索的說明圖。
[0024]圖13是本發(fā)明的實施例3的圖像檢索系統(tǒng)執(zhí)行的攝像機圖像上的軌跡變換為地圖上的軌跡的說明圖。
[0025]圖14是本發(fā)明的實施例4的服務(wù)器計算機輸出的檢索畫面的說明圖。
【具體實施方式】
[0026]以下，參照附圖對本發(fā)明的實施例進行說明。
[0027]實施例1
[0028]圖1是本發(fā)明的實施例1的圖像檢索系統(tǒng)100的整體結(jié)構(gòu)圖。
[0029]本實施例的圖像檢索系統(tǒng)100具備影像存儲裝置101、影像拍攝裝置102、輸入裝置103、顯示裝置104以及服務(wù)器計算機105。
[0030]影像存儲裝置101是保存影像數(shù)據(jù)，根據(jù)請求輸出的存儲介質(zhì)，可以使用計算機內(nèi)置的硬盤驅(qū)動器或NAS(Network Attached Storage，網(wǎng)絡(luò)附加存儲)或SAN(Storage AreaNetwork，存儲區(qū)域網(wǎng))等通過網(wǎng)絡(luò)連接的存儲系統(tǒng)而構(gòu)成。
[0031]影像拍攝裝置102是拍攝影像來生成影像數(shù)據(jù)，并輸出該影像數(shù)據(jù)的裝置。
[0032]將從影像存儲裝置101或影像拍攝裝置102輸出的圖像都輸入到服務(wù)器計算機105的影像輸入部106(后述)。圖像檢索系統(tǒng)100既可以如圖1所示具備影像存儲裝置101和影像拍攝裝置102雙方，也可以僅具備任意一方。在圖像檢索系統(tǒng)100具備影像存儲裝置101和影像拍攝裝置102雙方的情況下，可以根據(jù)需要將向影像輸入部106的影像數(shù)據(jù)的輸入源切換為影像存儲裝置101或影像拍攝裝置102，也可以將從影像拍攝裝置102輸出的影像數(shù)據(jù)暫時存儲到影像存儲裝置101中，再從影像存儲裝置101輸入到影像輸入部106。在該情況下，影像存儲裝置101例如也可以是暫存從影像拍攝裝置102持續(xù)輸入的影像數(shù)據(jù)的高速緩沖存儲器。
[0033]另外，保存在影像存儲裝置101中的影像數(shù)據(jù)和由影像拍攝裝置102生成的影像數(shù)據(jù)只要是能夠利用于所拍攝的物體的追蹤，則可以是任何形式的數(shù)據(jù)。例如，影像拍攝裝置102為視頻攝像機，既可以將通過影像拍攝裝置102拍攝的運動圖像數(shù)據(jù)作為影像數(shù)據(jù)而輸出，也可以將這樣的影像數(shù)據(jù)存儲在影像存儲裝置101中?；蛘?，影像拍攝裝置102是靜物攝像機，既可以將通過影像拍攝裝置102以預(yù)定間隔(至少能夠追蹤所拍攝的物體的間隔)拍攝的一連串的靜止圖像數(shù)據(jù)作為影像數(shù)據(jù)而輸出，也可以將這樣的影像數(shù)據(jù)存儲在影像存儲裝置101中。
[0034]輸入裝置103是鼠標、鍵盤、觸摸裝置等用于向服務(wù)器計算機105傳遞用戶的操作的輸入接口。顯示裝置104是液晶顯示器等的輸出接口，用于顯示服務(wù)器計算機105的檢索結(jié)果、與用戶的對話性操作等。例如，也可以通過使用所謂的觸摸面板等，而使輸入裝置103和顯示裝置104成一體。
[0035]服務(wù)器計算機105作為根據(jù)用戶指定的檢索條件，從所輸入的影像數(shù)據(jù)中檢索所希望的圖像的圖像檢索裝置發(fā)揮作用。具體而言，服務(wù)器計算機105跟蹤所給出的影像數(shù)據(jù)的各幀中包含的移動物體，并積累與該移動物體相關(guān)的信息。若用戶指定想從所積累的幀搜索的移動物體的檢索條件，則服務(wù)器計算機105使用所積累的信息檢索圖像。將服務(wù)器計算機105處理的影像假定為在一個位置以上的場拍攝而得的定點觀測的影像。此外，檢索對象的物體為人物或車輛等任意的移動物體。服務(wù)器計算機105具備影像輸入部106、幀登記部107、移動物體追蹤部108、軌跡特征提取部109、軌跡特征登記部110、影像數(shù)據(jù)庫111、軌跡輸入部112、軌跡特征變換部113以及類似向量檢索部114。
[0036]影像輸入部106從影像存儲裝置101讀出影像數(shù)據(jù)，或接收通過影像拍攝裝置102拍攝的影像數(shù)據(jù)，并將這些影像數(shù)據(jù)變換為在服務(wù)器計算機105內(nèi)部使用的數(shù)據(jù)形式。具體而言，影像輸入部106進行將影像(動畫數(shù)據(jù)形式)分解為幀(靜止圖像數(shù)據(jù)形式)的動畫解碼處理。將所得到的幀發(fā)送給幀登記部107以及移動物體追蹤部108。
[0037]幀登記部107將所提取出的幀和提取源的影像信息寫入到影像數(shù)據(jù)庫111。作為圖3的說明后述記錄在影像數(shù)據(jù)庫111中的數(shù)據(jù)的細節(jié)。
[0038]移動物體追蹤部108檢測出影像中的移動物體，進行與前幀的移動物體的對應(yīng)，來進行移動物體的追蹤?？梢允褂萌我夥椒▉韺崿F(xiàn)移動物體的檢測和追蹤。將通過追蹤得到的移動物體的軌跡(即，該移動物體的移動路徑)表現(xiàn)為具有起點和終點的向量，軌跡信息由各幀的移動物體的坐標信息和對各軌跡唯一賦予的(追蹤ID)構(gòu)成。
[0039]軌跡特征提取部109根據(jù)被賦予了相同追蹤ID的移動物體的坐標提取出軌跡的形狀的特征量(以下，也記載為軌跡特征量)，軌跡特征登記部110將所提取出的軌跡特征量登記在影像數(shù)據(jù)庫111。
[0040]影像數(shù)據(jù)庫111是用于保存影像、幀以及移動物體的軌跡信息等的數(shù)據(jù)庫。如后所述，在軌跡信息中包含軌跡特征量，因此服務(wù)器計算機105能夠檢索具有與所輸入的軌跡特征量類似的軌跡特征量的移動物體的圖像。軌跡特征量的檢索功能例如是按照與作為查詢而輸入的軌跡特征量近似的順序排序并輸出數(shù)據(jù)的功能。在軌跡特征量的比較中，例如能夠使用軌跡特征量向量之間的歐幾里德距離。在進行來自幀登記部107和軌跡特征登記部110的登記處理以及來自類似向量檢索部114的檢索處理時，發(fā)生向影像數(shù)據(jù)庫111的存取。作為圖3的說明，在后面詳細敘述影像數(shù)據(jù)庫111的結(jié)構(gòu)。
[0041 ]軌跡輸入部112從輸入裝置103接收用戶輸入的軌跡信息(例如，坐標值的列)。軌跡特征變換部113取得所輸入的軌跡的特征量。類似向量檢索部114從影像數(shù)據(jù)庫111檢索與所輸入的軌跡特征量類似的軌跡特征量，并將其結(jié)果輸出到顯示裝置104。
[0042]圖2是本發(fā)明的實施例1的圖像檢索系統(tǒng)100的硬件結(jié)構(gòu)圖。
[0043]服務(wù)器計算機105例如是具有相互連接的處理器201和存儲裝置202的一般的計算機。存儲裝置202由任意種類的存儲介質(zhì)構(gòu)成。例如，存儲裝置202可以包括半導(dǎo)體存儲器和硬盤驅(qū)動器。
[0044]在該例子中，圖1所示的影像輸入部106、幀登記部107、移動物體追蹤部108、軌跡特征提取部109、軌跡特征登記部110、軌跡輸入部112、軌跡特征變換部113以及類似向量檢索部114這樣的功能部通過處理器201執(zhí)行存儲在存儲裝置202中的處理程序203來實現(xiàn)。換言之，在該例子中，實際上，通過遵從處理程序203中記述的命令的處理器201來執(zhí)行上述各功能部執(zhí)行的處理。此外，影像數(shù)據(jù)庫111被包含在存儲裝置202中。
[0045]服務(wù)器計算機105還包括與處理器連接的網(wǎng)絡(luò)接口裝置(NIF)204。影像拍攝裝置102例如經(jīng)由網(wǎng)絡(luò)接口裝置204與服務(wù)器計算機105連接。影像存儲裝置101既可以是經(jīng)由網(wǎng)絡(luò)接口裝置204與服務(wù)器計算機105連接的NAS或SAN，也可以被包含在存儲裝置202中。
[0046]圖3是本發(fā)明的實施例1的影像數(shù)據(jù)庫111的結(jié)構(gòu)以及數(shù)據(jù)例的說明圖。在此，示出了表格形式的結(jié)構(gòu)例，但數(shù)據(jù)形式也可以是任