圖像識別方法、相機系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明屬于圖像識別的技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] 在圖像識別中，通過對應(yīng)該成為識別對象的圖像進行解析，提取表征該圖像中的 被拍攝體的圖案，并判斷提取出的圖案是否被分類到與通過既存的學(xué)習(xí)得到的樣本集合相 同的集合組。作為識別由相機裝置捕捉的被拍攝體的技術(shù)，可以列舉出利用了機器學(xué)習(xí)的 臉部檢測技術(shù)、臉部識別技術(shù)以及車牌識別技術(shù)等。
[0003] 例如，在臉部檢測技術(shù)、臉部識別技術(shù)中，將通過相機裝置得到的圖像輸入檢測器 函數(shù)，并判斷在圖像中是否包含臉部。一般來說，在利用這樣的檢測器函數(shù)時，在使用檢測 器函數(shù)之前，通過機器學(xué)習(xí)進行檢測器函數(shù)的訓(xùn)練。
[0004] 在先技術(shù)文獻
[0005] 專利文獻
[0006] 專利文獻1 :日本專利第5197737號
[0007] 專利文獻2 :日本特開2013-3751號
[0008] 專利文獻3 :日本專利第4157322號

【發(fā)明內(nèi)容】

[0009] 發(fā)明要解決的問題
[0010] 在設(shè)施、郊外的多個位置的每一個設(shè)置相機裝置，且各相機裝置捕捉到同一人物 的步行的情況下，在以往的使用了檢測器函數(shù)的圖案識別中，存在不少將各圖像所表示的 人物作為完全不同的被拍攝體而做出判斷結(jié)果的事例。這是由于，在利用檢測器函數(shù)的圖 案識別中，識別的成功與否大多受相機的仰角、方位角、周圍的亮度影響，如果它們不同，則 識別結(jié)果就變得完全不同。
[0011] 因此，一般來說，在利用檢測器函數(shù)進行圖案識別時，進行與相機裝置的設(shè)置場 所、圖像識別的用途相應(yīng)的追加學(xué)習(xí)。但是，在該追加學(xué)習(xí)中，由于需要某種程度的學(xué)習(xí)期 間，所以在進行該學(xué)習(xí)的期間，圖像識別不能發(fā)揮充分的功能。
[0012] 在圖像識別使用于防止犯罪等用途的情況下，決不容許圖案識別不能發(fā)揮充分的 功能的狀況。在圖案識別使用于防止犯罪等用途等情況下，強烈要求縮短用于追加學(xué)習(xí)的 訓(xùn)練期間。但是，在以往的圖像識別技術(shù)中，不存在能夠滿足該要求的識別方法。
[0013] 本發(fā)明的目的在于，提供一種在相同的被拍攝體被多個相機裝置拍攝到的情況 下，能夠維持對由各相機裝置拍攝到的圖像的圖像識別結(jié)果的同一性的圖像識別方法和相 機裝置。
[0014] 用于解決問題的手段
[0015] 上述問題由一種包含多個相機裝置的相機系統(tǒng)中的圖像識別方法解決，所述圖像 識別方法中，從所述多個相機裝置中的第一相機裝置取得第一圖像和第一拍攝環(huán)境信息， 所述第一圖像是由該第一相機裝置拍攝到的圖像，所述第一拍攝環(huán)境信息表示拍攝所述第 一圖像時的所述第一相機裝置的第一拍攝環(huán)境，
[0016] 使用參數(shù)表從各識別控制參數(shù)之中選擇第一識別控制參數(shù)，所述參數(shù)表管理拍攝 環(huán)境信息和各識別控制參數(shù)，所述拍攝環(huán)境信息表示所述多個相機裝置中的各相機裝置在 過去拍攝圖像時的各拍攝環(huán)境，所述各識別控制參數(shù)表示與所述各拍攝環(huán)境對應(yīng)的各檢測 器函數(shù)，所述第一識別控制參數(shù)表示與從所述第一相機裝置取得的第一拍攝環(huán)境信息所表 示的第一拍攝環(huán)境相同或類似的拍攝環(huán)境所對應(yīng)的第一檢測器函數(shù)，
[0017] 使用由所述選擇的第一識別控制參數(shù)表示的第一檢測器函數(shù)，識別從所述第一相 機裝置取得的第一圖像。
【附圖說明】
[0018] 圖1表示相機系統(tǒng)的構(gòu)成。
[0019] 圖2是表示實施方式1中的相機系統(tǒng)的整體構(gòu)成的示意圖。
[0020] 圖3是表示了特定圖案識別裝置110的內(nèi)部構(gòu)成的圖。
[0021] 圖4是表示了由參數(shù)表存儲單元130保持的參數(shù)表的一例的圖。
[0022] 圖5A表示由圖1的相機系統(tǒng)中的相機11拍攝到的圖像的一例。
[0023] 圖5B表示由圖1的相機系統(tǒng)中的相機12拍攝到的圖像的一例。
[0024] 圖5C表示由圖1的相機系統(tǒng)中的相機13拍攝到的圖像的一例。
[0025] 圖6A表示由任意的相機裝置進行了拍攝的情況下的、取得照明方向的過程的一 例。
[0026] 圖6B表示由任意的相機裝置進行了拍攝的情況下的、取得對象（object)尺寸的 過程的一例。
[0027] 圖6C表示由任意的相機裝置進行了拍攝的情況下的、取得對象的朝向的過程的 一例。
[0028] 圖7A表示示出折射率變化的變化曲線的一例。
[0029] 圖7B表示透鏡抖動信息作為對象的三維坐標(biāo)系。
[0030] 圖8是表示檢測器函數(shù)的內(nèi)部構(gòu)成和對該檢測器函數(shù)的構(gòu)成要件的處理過程的 圖。
[0031] 圖9表示作為實例空間X的一例的二維特征矢量空間。
[0032] 圖10表示由追加學(xué)習(xí)實現(xiàn)的決定邊界的變化。
[0033] 圖11表示特征矢量的部分集合化（聚類）。
[0034] 圖12是表示了參數(shù)管理裝置140的內(nèi)部構(gòu)成的圖。
[0035] 圖13表示在對相機裝置設(shè)定識別控制參數(shù)時向終端裝置的用戶提示的對話畫 面。
[0036] 圖14是表示將拍攝圖像設(shè)為對象的圖像識別步驟的流程圖。
[0037] 圖15是表示了利用參數(shù)管理裝置140取得識別控制參數(shù)的取得步驟的一例的流 程圖。
[0038] 圖16是表示了追加學(xué)習(xí)的處理步驟的一例的流程圖。
[0039] 圖17是實施方式2中的特定圖案識別裝置110的構(gòu)成圖。
[0040] 圖18是表示伴隨著相機設(shè)定的圖像識別的整體步驟的流程圖。
[0041] 圖19是表示相機設(shè)定的算出步驟的流程圖。
[0042] 圖20是表示照明方向的計算和向特征空間的映射步驟的一例的流程圖。
[0043] 圖21是實施方式3中的參數(shù)管理裝置140的構(gòu)成圖。
[0044] 圖22是表示使用了部分集合化函數(shù)的部分集合化的處理步驟的一例的流程圖。
[0045] 圖23表示以與個人的特征矢量關(guān)聯(lián)的形式管理的多個參數(shù)表。
[0046] 圖24表示用于向用戶提示由圖23的參數(shù)表的檢索得到的拍攝環(huán)境的對話畫面的 一例。
[0047] 圖25是表示識別控制參數(shù)中的小分類的圖。
【具體實施方式】
[0048] (實施方式的序章）
[0049] 在進行具備了利用圖像識別的圖案識別功能的相機系統(tǒng)的實施化時，發(fā)明人進行 了以下的考察。對檢測器函數(shù)提供訓(xùn)練數(shù)據(jù)并進行學(xué)習(xí)是公知的技術(shù)。在這樣的臉部的學(xué) 習(xí)中，當(dāng)假定一般環(huán)境條件并將一般環(huán)境條件下的臉部模型和非臉部模型的樣本集合確定 作為訓(xùn)練數(shù)據(jù)時，通過學(xué)習(xí)得到的檢測器函數(shù)在一般環(huán)境條件下滿足充分的性能。然而，在 假定的環(huán)境條件、樣本集合與實際的拍攝環(huán)境大為不同的情況下，由于環(huán)境和目標(biāo)的變化， 可充分認(rèn)為檢測器函數(shù)不滿足期望的性能。例如，大幅的光線照射的變化大大改變臉部的 模型，成為大大偏離一般環(huán)境條件下的臉部模型的模型。另外，如果沒有設(shè)置相機裝置以使 得能拍攝與作為訓(xùn)練數(shù)據(jù)確定的樣本集合同樣的對象模型，則當(dāng)然不能得到期望的性能。
[0050] 作為降低實際上由從相機裝置得到的影像與假定的一般環(huán)境條件、樣本集合的差 異所導(dǎo)致的影響并提高魯棒性的方法，有兩個解決對策。
[0051] -個是使相機裝置的設(shè)置環(huán)境最優(yōu)化、再現(xiàn)與在學(xué)習(xí)時假定的一般環(huán)境條件同等 的環(huán)境條件的方法。一般來說，設(shè)置專用的相機裝置，并在識別特定圖案時實行該對策。
[0052] 第二個是，追加進行機器學(xué)習(xí)，不是與假定的一般環(huán)境條件而是與現(xiàn)狀的環(huán)境條 件相匹配，使臉部的檢測器函數(shù)、臉部的特征量等識別控制參數(shù)最優(yōu)化下去。在該方法中， 通過在維持對變動的魯棒性的同時進行追加學(xué)習(xí)，生成為特定的目標(biāo)物、拍攝條件特制的 識別控制參數(shù)，能夠期待提高識別性能。例如，專利文獻1提出了利用追加學(xué)習(xí)補充相機裝 置的設(shè)置環(huán)境條件下的樣本集合的不足量，提高檢測器函數(shù)的魯棒性的方法。
[0053] 另外，近年來，開始出售能夠經(jīng)由網(wǎng)絡(luò)動態(tài)地追加應(yīng)用程序的相機裝置。利用該機 制，在從遠程位置追加了識別特定圖案的應(yīng)用程序的情況下，大多不能當(dāng)場確認(rèn)、變更相機 裝置的設(shè)置環(huán)境，利用上述第一個解決對策，人工改善假定的一般環(huán)境條件與實際的拍攝 環(huán)境的差異很困難。
[0054] 同樣地，在利用了多個相機裝置的大規(guī)模相機系統(tǒng)中，與一般環(huán)境條件相匹配而 分別將各個相機裝置最佳地設(shè)置很困難，與所述第一個解決對策相比，能夠容易地判斷所 述第二個解決對策是有希望的。
[0055] 然而，如上所述，在進行追加學(xué)習(xí)的以往的構(gòu)成中，由于拍攝環(huán)境時刻變化，所以 必須始終進行追加學(xué)習(xí)。因此，能設(shè)想由于追加學(xué)習(xí)的方法而導(dǎo)致過大的負(fù)荷，在學(xué)習(xí)上花 費許多時間成為問題。
[0056] 特別是在使用多個相機裝置進行追加學(xué)習(xí)時，按各個相機裝置的每一個進行追加 學(xué)習(xí)，需要與相機裝置的數(shù)量相同數(shù)量的學(xué)習(xí)裝置。因此，通過相機系統(tǒng)導(dǎo)入追加學(xué)習(xí)的機 制，相機系統(tǒng)整體會進一步大規(guī)?；彩菃栴}。另外，在利用多個相機裝置的情況下，由于 每個裝置追加學(xué)習(xí)的訓(xùn)練數(shù)據(jù)不同，所以也可認(rèn)為即使在同樣的拍攝環(huán)境下學(xué)習(xí)結(jié)果也不 同。
[0057] 在專利文獻2中，按每個相機裝置計算每個環(huán)境的識別控制參數(shù)來制作表，進行 與拍攝環(huán)境的變化對應(yīng)的特定圖案的識別，但由于不能在多個相機裝置之間共有計算得到 的識別控制參數(shù)，所以在所述以往的構(gòu)成中，必須按每個相機裝置計算識別控制參數(shù)，不能 解決相機裝置的數(shù)量越增加，則識別控制參數(shù)的計算次數(shù)越增加、由于追加學(xué)習(xí)而圖案識 別系統(tǒng)整體進一步大規(guī)?；膯栴}。
[0058] 對此在專利文獻3中，由于提出了以從終端得到的信息為基礎(chǔ)決定識別控制參 數(shù)，并對設(shè)定為同樣的組的終端應(yīng)用相同的識別控制參數(shù)的機制，所以即使不按每個終端 進行學(xué)習(xí)也沒有問題。然而，在所述方法中，雖然能夠削減學(xué)習(xí)器的數(shù)量，但由于沒有進行 過去的識別控制參數(shù)的管理，所以每當(dāng)從終端得到信息時必須始終進行識別控制參數(shù)的計 算這一點是問題。
[0059] 本申請包括能夠解決上述問題的圖像識別方法、相機系統(tǒng)的各種技術(shù)方案。該多 個技術(shù)方案形成以下的1、2、3…這樣的技術(shù)思想的體系。
[0060] (1.基本的技術(shù)方案）
[0061] 1.是技術(shù)思想的體系的根本，其是一種如下技術(shù)方案的圖像識別方法，從所述多 個相機裝置中的第一相機裝置取得第一圖像和第一拍攝環(huán)境信息，所述第一圖像是由該第 一相機裝置拍攝得到的圖像，所述第一拍攝環(huán)境信息表示拍攝所述第一圖像時的所述第一 相機裝置的第一拍攝環(huán)境，
[0062] 使用參數(shù)表從各識別控制參數(shù)之中選擇第一識別控制參數(shù)，所述參數(shù)表管理拍攝 環(huán)境信息和各識別控制參數(shù)，所述拍攝環(huán)境信息表示所述多個相機裝置中的各相機裝置在 過去拍攝圖像時的各拍攝環(huán)境，所述各識別控制參數(shù)表示與所述各拍攝環(huán)境對應(yīng)的各檢測 器函數(shù)，所述第一識別控制參數(shù)表示與從所述第一相機裝置取得的第一拍攝環(huán)境信息所表 示的第一拍攝環(huán)境相同或類似的拍攝環(huán)境所對應(yīng)的第一檢測器函數(shù)，
[0063] 使用由所述選擇的第一識別控制參數(shù)表示的第一檢測器函數(shù)，識別從所述第一相 機裝置取得的第一圖像。
[0064] 根據(jù)本技術(shù)方案，能夠從參數(shù)表選擇并利用與設(shè)置了相機裝置的拍攝環(huán)境對應(yīng)的 識別控制參數(shù)，抑制由與假定的一般環(huán)境條件的差異導(dǎo)致的影響并進行特定圖案的識別。 由此，能夠提高識別性能而無需人工調(diào)整各個相機裝置的設(shè)置環(huán)境、無需始終通過機器學(xué) 習(xí)來計算識別控制參數(shù)。
[0065] (2.圖像識別的下位概念化）
[0066] 針對圖像識別，能夠進行以下的下位概念化。該下位概念化是指，使用所述選擇的 第一識別控制參數(shù)所表示的第一檢測器函數(shù)，對表示從所述第一圖像提取的所述第一圖像 的特征矢量的圖案信息進行所述第一圖像的識別。由于通過對從第一圖像提取的特征矢量 應(yīng)用第一檢測器函數(shù)，進行在第一圖像中是否出現(xiàn)期望的對象物的檢測，所以能夠使圖像 識別的精度提尚。
[0067] (3.拍攝環(huán)境發(fā)生了變動時的處理）
[0068] 針對圖像識別方法，能夠追加拍攝環(huán)境發(fā)生了變動時的處理。該拍攝環(huán)境發(fā)生了 變化時的處理是指，從第一相機裝置取得第二圖像和第二拍攝環(huán)境信息，所述第二圖像是 由所述第一相機裝置拍攝得到的圖像，所述第二拍攝環(huán)境信息表示拍攝所述第二圖像時的 所述第一相機裝置的第二拍攝環(huán)境，
[0069] 在所述第一環(huán)境信息與所述第二環(huán)境信息不同的情況下，使用所述參數(shù)表選擇第 二識別控制參數(shù)，所述第二識別控制參數(shù)表示與第二拍攝環(huán)境信息所表示的第二拍攝環(huán)境 相同或類似的拍攝環(huán)境所對應(yīng)的第二檢測器函數(shù)，
[0070] 使用由所述選擇的第二識別控制參數(shù)表示的第二檢測器函數(shù)，識別從所述第一相 機裝置取得的第二圖像。在用相同的相機拍攝不同的拍攝環(huán)境的情況下，由于選擇了與該 不同的拍攝環(huán)境對應(yīng)的第二檢測器函數(shù)，所以能夠提高圖像識別的精度。
[0071] (4.不存在對應(yīng)的識別控制參數(shù)的情況下的處理）
[0072] 針對圖像識別方法，能夠追加對應(yīng)的識別控制參數(shù)不存在的情況下的處理。該識 別控制參數(shù)不存在的情況下的處理是指，在所述參數(shù)表中不存在表示與所述第一圖像的拍 攝時的第一拍攝環(huán)境相同或類似的拍攝環(huán)境所對應(yīng)的第一檢測器函數(shù)的第一識別控制參 數(shù)的情況下，進一步使用預(yù)定的學(xué)習(xí)算法生成所述第一識別控制參數(shù)，并使用所述生成的 第一識別控制參數(shù)更新所述參數(shù)表。
[0073] 由于識別控制參數(shù)的生成限于在參數(shù)表中不存在對應(yīng)的拍攝環(huán)境信息的情況，所 以識別控制參數(shù)的生成被抑制為必要最低限度。由于參數(shù)生成的次數(shù)變少，所以能夠降低 系統(tǒng)的負(fù)荷。
[0074] (5.第二識別控制參數(shù)不存在的情況下的處理）
[0075] 針對圖像識別方法，能夠追加對應(yīng)的識別控制參數(shù)不存在的情況下的處理。該識 別控制參數(shù)不存在的情況下的處理是指，在與所述第一拍攝環(huán)境不同的第二拍攝環(huán)境下第 一相機裝置拍攝了第二圖像的情況下，所述圖像識別方法中，從所述第一相機裝置取得第 二圖像和第二拍攝環(huán)境信息，所述第二拍攝環(huán)境信息表示拍攝所述第二圖像時的所述第一 相機裝置的第二拍攝環(huán)境，
[0076] 使用所述參數(shù)表，搜索表示與第二拍攝環(huán)境相同或類似的拍攝環(huán)境所對應(yīng)的第二 檢測器函數(shù)的第二識別控制參數(shù)，
[0077] 在所述參數(shù)表中不存在所述第二識別控制參數(shù)的情況下，使用預(yù)定的學(xué)習(xí)算法生 成所述第二識別控制參數(shù)，并使用所述生成的第二識別控制參數(shù)更新所述參數(shù)表。
[0078] 由于識別控制參數(shù)的生成限于在參數(shù)表中不存在拍攝環(huán)境發(fā)生了變化后的拍攝 環(huán)境信息的情況，所以識別控制參數(shù)的生成被抑制為必要最低限度。由于參數(shù)生成的次數(shù) 變少，所以能夠降低系統(tǒng)的負(fù)荷。
[0079] (6.對第一相機的處理）
[0080] 針對所述圖像識別方法，能夠追加對相機的處理。該處理是指，在所述第一識別控 制參數(shù)表示與所述第一拍攝環(huán)境不相同而類似的拍攝環(huán)境所對應(yīng)的第一檢測器函數(shù)的情 況下，進一步，為了在所述類似的拍攝環(huán)境下進行圖像的拍攝而將變更所述第一相機裝置 的設(shè)定的指示向所述第一相機裝置發(fā)送，
[0081] 從所述第一相機裝置取得在所述類似環(huán)境下拍攝得到的第三圖像，
[0082] 使用由所述第一識別控制參數(shù)表示的第一檢測器函數(shù)，識別從所述第一相機裝置 取得的第三圖像。在第一識別控制參數(shù)與不同于所述第一拍攝環(huán)境而與所述第一拍攝環(huán)境 類似的拍攝環(huán)境對應(yīng)的情況下，由于將相機的拍攝環(huán)境變更為該類似的拍攝環(huán)境并用于由 以后的拍攝得到的圖像的識別，所以即使未發(fā)現(xiàn)相同的拍攝環(huán)境本身，也能夠以識別控制 參數(shù)所表示的檢測器函數(shù)為基礎(chǔ)，維持相應(yīng)的識別精度。
[0083] (7.類似度的導(dǎo)入）
[0084] 在選擇識別控制參數(shù)時，能夠?qū)腩愃贫?。以類似度為基礎(chǔ)的識別控制參數(shù)的選 擇是指，根據(jù)表示所述第一拍攝環(huán)境的拍攝環(huán)境信息與表示所述參數(shù)表所管理的所述各拍 攝環(huán)境的拍攝環(huán)境信息的差，算出類似度，
[0085] 在所述參數(shù)表中存在多個表示具有超過預(yù)定的閾值的類似度的拍攝環(huán)境的拍攝 環(huán)境信息的情況下，選擇表示與類似度最高的拍攝環(huán)境對應(yīng)的檢測器函數(shù)的識別控制參數(shù) 作為所述第一識別控制參數(shù)。由于將根據(jù)識別控制參數(shù)的差算出的類似度作為識別控制參 數(shù)的選擇的基礎(chǔ)，所以識別控制參數(shù)的選擇變得適當(dāng)。
[0086] (8.成為識別控制參數(shù)生成的基礎(chǔ)的參數(shù)選擇）
[0087] 在識別控制參數(shù)生成時，能夠以既存的識別控制參數(shù)為基礎(chǔ)。以既存的識別控制 參數(shù)為基礎(chǔ)的識別控制參數(shù)生成是指，根據(jù)表示所述第一圖像的拍攝時的拍攝環(huán)境的第一 拍攝環(huán)境信息與表示所述參數(shù)表所管理的所述各拍攝環(huán)境的拍攝環(huán)境信息的差，算出類似 度，
[0088] 在所述參數(shù)表中不存在表示具有超過預(yù)定的閾值的類似度的拍攝環(huán)境的拍攝環(huán) 境信息的情況下，選擇表示與在低于預(yù)定的閾值的類似度中類似度最高的拍攝環(huán)境對應(yīng)的 檢測器函數(shù)的第三識別控制參數(shù)，以所述選擇的第三識別控制參數(shù)為基礎(chǔ)，使用預(yù)定的學(xué) 習(xí)算法，生成用于新取