一種可用于非特定人的雙目視覺圖像合成裝置與方法
【專利摘要】本發(fā)明提供一種可用于非特定人的雙目視覺圖像合成裝置與方法，所述裝置包括雙目視覺采集模塊、相機(jī)姿態(tài)調(diào)整模塊、控制模塊、人臉識(shí)別模塊、人臉對(duì)齊模塊、存儲(chǔ)模塊及圖像合成模塊，其中人臉識(shí)別模塊捕獲雙目視覺采集模塊所采集圖像中的人臉信息，控制模塊根據(jù)人臉在圖像中的位置驅(qū)動(dòng)相機(jī)姿態(tài)調(diào)整模塊跟蹤人臉，穩(wěn)定后拍攝立體人臉圖像，并將對(duì)齊后的立體人臉圖像保存到存儲(chǔ)模塊中，最后通過圖像合成模塊將同一使用者在不同時(shí)間拍攝的立體人臉圖像按時(shí)間順序連續(xù)播放。本發(fā)明使用雙目攝像頭拍攝立體人臉圖像，通過長(zhǎng)時(shí)間多次拍攝實(shí)現(xiàn)自動(dòng)記錄一個(gè)或多個(gè)使用者不同時(shí)期的面部圖像，可用于個(gè)性化的成長(zhǎng)記錄或個(gè)人檔案。
【專利說明】
一種可用于非特定人的雙目視覺圖像合成裝置與方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及雙目立體圖像采集、處理與合成技術(shù)，尤其涉及一種可用于非特定人 的雙目視覺圖像合成裝置與方法。
【背景技術(shù)】
[0002] 雙目立體視覺技術(shù)是指在雙目定位過程中，兩部相機(jī)處于同一平面上，并且光軸 相互平行，其生成的帶有深度信息的立體圖像與人的兩只眼睛觀測(cè)角度一致，利用特殊的 工具(如3D眼鏡)就可以在觀測(cè)者眼中復(fù)現(xiàn)出立體圖像的技術(shù)。由于該技術(shù)可重構(gòu)出場(chǎng)景的 三維幾何信息，并且具有精度高、識(shí)別率高、展示效果好等特點(diǎn)，被廣泛應(yīng)用于移動(dòng)機(jī)器人 的自主導(dǎo)航、航空及遙感測(cè)量、工業(yè)自動(dòng)化等領(lǐng)域中。特別是在工業(yè)自動(dòng)化領(lǐng)域，該技術(shù)已 成功應(yīng)用于絲網(wǎng)印刷、貼合、切割、PCB補(bǔ)線機(jī)、PCB打孔機(jī)、玻璃割片機(jī)、點(diǎn)膠機(jī)、SMT檢測(cè)、貝占 版機(jī)等對(duì)工業(yè)精密對(duì)位、定位、零件確認(rèn)、尺寸測(cè)量、工業(yè)顯微等有顯著需求的產(chǎn)品中，產(chǎn)生 了巨大的經(jīng)濟(jì)效益。
[0003] 隨著圖像處理技術(shù)的迅猛發(fā)展，人臉識(shí)別技術(shù)也越來越成熟，應(yīng)用也越來越廣泛。 該技術(shù)具有非強(qiáng)制性、非接觸性和并發(fā)性等優(yōu)點(diǎn)，在企業(yè)管理、住宅安全門禁、電子護(hù)照及 身份證、公安及司法刑偵、自助服務(wù)、信息安全等多方面相繼取得成功應(yīng)用，在娛樂領(lǐng)域也 產(chǎn)生了如笑臉檢測(cè)、人臉自動(dòng)對(duì)焦、尋找相似明星臉等成熟應(yīng)用。
[0004] 近年來，三維人臉識(shí)別技術(shù)逐漸發(fā)展，其中一種低成本的方案采用雙目攝像頭，利 用一側(cè)攝像頭的圖片進(jìn)行人臉檢測(cè)和關(guān)鍵特征點(diǎn)（如眼睛)定位，同時(shí)利用兩側(cè)攝像頭圖片 進(jìn)行立體融合，生成立體人臉圖像。目前，三維人臉識(shí)別技術(shù)主要用于考勤、自助服務(wù)等身 份認(rèn)證領(lǐng)域，尚未在娛樂領(lǐng)域?qū)崿F(xiàn)成功應(yīng)用。
[0005] 目前主流人臉識(shí)別應(yīng)用均重視識(shí)別結(jié)果，而忽視了注冊(cè)之后歷次識(shí)別的圖像信 息。事實(shí)上這些圖像信息是極具個(gè)性化的成長(zhǎng)記錄或個(gè)人檔案，其價(jià)值尚未被發(fā)掘。曾有人 連續(xù)多年每天為自己的女兒拍攝一張照片，再手工拼接為視頻，雖然耗費(fèi)了大量的時(shí)間精 力，但視頻的效果極佳，完整地展現(xiàn)出女兒的成長(zhǎng)過程，因此吸引了大量的網(wǎng)絡(luò)用戶。如果 保存歷次人臉識(shí)別的圖像信息，并結(jié)合人臉采集、對(duì)齊與合成等技術(shù)，將這些圖像按照時(shí)間 順序合成為可連續(xù)播放的動(dòng)態(tài)圖像或視頻，將成為一種新型的人臉識(shí)別應(yīng)用方式。
[0006] 因此，需要一種可以通過雙目視覺解決非特定人的長(zhǎng)周期人臉圖像合成的技術(shù)。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明所述一種可用于非特定人的雙目視覺圖像合成裝置與方法，其目的是使用 雙目攝像頭拍攝立體人臉圖像，通過長(zhǎng)時(shí)間多次拍攝實(shí)現(xiàn)自動(dòng)記錄一個(gè)或多個(gè)使用者不同 時(shí)期的面部圖像，從而用于個(gè)性化的成長(zhǎng)記錄或個(gè)人檔案。
[0008] 本發(fā)明所述一種可用于非特定人的雙目視覺圖像合成裝置與方法，其原理是由雙 目攝像頭拍攝人臉圖像，通過舵機(jī)控制雙目攝像頭調(diào)整姿態(tài)始終跟蹤人臉，直到拍攝到穩(wěn) 定的正面立體人臉圖像，經(jīng)過裁剪和對(duì)齊處理后進(jìn)行保存，最后根據(jù)需要將同一使用者在 不同時(shí)間拍攝的立體人臉圖像按時(shí)間順序進(jìn)行連續(xù)播放。
[0009]為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：
[0010]根據(jù)本發(fā)明的一方面，提出一種可用于非特定人的雙目視覺圖像合成裝置，所述 裝置包括雙目視覺采集模塊、相機(jī)姿態(tài)調(diào)整模塊、控制模塊、人臉識(shí)別模塊、人臉對(duì)齊模塊、 存儲(chǔ)模塊及圖像合成模塊，其中：
[0011] 所述雙目視覺采集模塊與相機(jī)姿態(tài)調(diào)整模塊連接，兩個(gè)模塊相互配合采集立體圖 像，并將采集到的圖像數(shù)據(jù)傳輸?shù)娇刂颇K；
[0012] 所述相機(jī)姿態(tài)調(diào)整模塊與控制模塊連接，用于根據(jù)控制模塊的指令驅(qū)動(dòng)雙目視覺 采集模塊在多個(gè)自由度上進(jìn)行運(yùn)動(dòng)；
[0013] 所述控制模塊分別與雙目視覺采集模塊、相機(jī)姿態(tài)調(diào)整模塊、存儲(chǔ)模塊、人臉識(shí)別 模塊和圖像合成模塊連接，用于對(duì)各模塊的動(dòng)作或處理方式進(jìn)行控制；
[0014] 所述人臉識(shí)別模塊與控制模塊、人臉對(duì)齊模塊和存儲(chǔ)模塊連接，用于檢測(cè)所述雙 目視覺采集模塊采集到的圖像數(shù)據(jù)中是否包含人臉，并根據(jù)檢測(cè)到的立體人臉圖像中的人 臉生物特征在所述存儲(chǔ)模塊所存儲(chǔ)的已注冊(cè)人臉數(shù)據(jù)庫(kù)中尋找所述立體人臉圖像的匹配 結(jié)果；
[0015] 所述人臉對(duì)齊模塊分別與人臉識(shí)別模塊和存儲(chǔ)模塊連接，用于將人臉識(shí)別模塊檢 測(cè)到的立體人臉圖像進(jìn)行裁剪和對(duì)齊，使人臉部分固定于圖像中指定的區(qū)域中，并將對(duì)齊 后的立體人臉圖像發(fā)送給所述存儲(chǔ)模塊；
[0016] 所述存儲(chǔ)模塊與控制模塊、人臉識(shí)別模塊、人臉對(duì)齊模塊和圖像合成模塊連接，用 于存儲(chǔ)對(duì)齊后的立體人臉圖像；
[0017] 所述圖像合成模塊與控制模塊和存儲(chǔ)模塊連接，用于根據(jù)控制模塊的指令從存儲(chǔ) 模塊中提取指定人的立體人臉圖像，并按照時(shí)間順序合成為可連續(xù)播放的動(dòng)態(tài)圖像或視頻 進(jìn)行輸出。
[0018] 根據(jù)本發(fā)明的另一方面，還提出一種利用所述可用于非特定人的雙目視覺圖像合 成裝置進(jìn)行雙目視覺圖像合成的方法，所述方法包括以下步驟：
[0019] 步驟301:雙目視覺采集模塊按照設(shè)定采樣頻率進(jìn)行采樣，并將采集到的圖像數(shù)據(jù) 經(jīng)控制模塊傳輸給人臉識(shí)別模塊，所述人臉識(shí)別模塊4檢測(cè)圖像中是否存在人臉圖像并將 檢測(cè)結(jié)果以及人臉在圖像中的位置信息發(fā)送給控制模塊3;
[0020] 步驟302:所述控制模塊根據(jù)人臉在圖像中的位置計(jì)算姿態(tài)調(diào)整角度生成姿態(tài)調(diào) 整命令，并將所述姿態(tài)調(diào)整命令發(fā)送給相機(jī)姿態(tài)調(diào)整模塊，對(duì)所述雙目視覺采集模塊進(jìn)行 姿態(tài)調(diào)整，以持續(xù)追蹤正面人臉；
[0021] 步驟303:若判斷在連續(xù)多次采集的圖像中，人臉位置居中且偏移量小于某一指定 閾值，則所述控制模塊向雙目視覺采集模塊發(fā)出拍照指令，否則返回所述步驟302;
[0022] 步驟304:人臉識(shí)別模塊對(duì)所采集圖像中的人臉進(jìn)行識(shí)別，得到立體人臉圖像，并 將其與存儲(chǔ)模塊存儲(chǔ)的已注冊(cè)人臉數(shù)據(jù)庫(kù)進(jìn)行比對(duì)，尋找所述立體人臉圖像的匹配結(jié)果；
[0023] 步驟305:通過提取所述立體人臉圖像中的人臉關(guān)鍵點(diǎn)將人臉位置固定于立體人 臉圖像中指定的相同區(qū)域內(nèi)；
[0024] 步驟306:將對(duì)齊后的立體人臉圖像進(jìn)行儲(chǔ)存，并在存儲(chǔ)模塊的使用數(shù)據(jù)庫(kù)中添加 一條包含用戶ID、立體人臉圖像存儲(chǔ)位置、圖像采集時(shí)間信息的數(shù)據(jù)記錄；
[0025] 步驟307:根據(jù)控制模塊的指令從存儲(chǔ)模塊的使用數(shù)據(jù)庫(kù)中提取指定用戶ID的全 部立體人臉圖像，并按照時(shí)間順序合成為可連續(xù)播放的動(dòng)態(tài)圖像或視頻進(jìn)行輸出
[0026] 從上述技術(shù)方案可以看出，本發(fā)明具有以下有益效果：
[0027] 1、本發(fā)明在傳統(tǒng)二維人臉識(shí)別的基礎(chǔ)上，根據(jù)立體視覺原理設(shè)計(jì)雙目視覺采集模 塊提取人臉的三維信息，對(duì)于左右兩個(gè)攝像頭的輸入圖像，依據(jù)相關(guān)系數(shù)和約束關(guān)系找到 兩幅圖中的每個(gè)點(diǎn)的對(duì)應(yīng)關(guān)系，從而表征出深度信息，進(jìn)一步利用深度數(shù)據(jù)組成不同于傳 統(tǒng)二維人臉識(shí)別的新的判別依據(jù)，增加了人臉識(shí)別的準(zhǔn)確性和魯棒性。
[0028] 2、本發(fā)明通過保存人臉注冊(cè)之后歷次識(shí)別的圖像信息，并結(jié)合人臉采集、對(duì)齊與 合成等技術(shù)，將這些圖像按照時(shí)間順序合成為可連續(xù)播放的動(dòng)態(tài)圖像或視頻，形成一類極 具個(gè)性化的成長(zhǎng)記錄或個(gè)人檔案，成為一種新型的人臉識(shí)別應(yīng)用方式。
[0029] 3、本發(fā)明完全自動(dòng)化操作，全程無需人的參與，在歷次使用過程中就可通過人臉 跟蹤、人臉識(shí)別、人臉對(duì)齊、人臉合成等技術(shù)輕松記錄成長(zhǎng)過程，克服了傳統(tǒng)手工合成方式 周期長(zhǎng)、耗時(shí)費(fèi)力等問題。
[0030] 4、本發(fā)明采用雙目攝像頭進(jìn)行長(zhǎng)周期的非特定人人臉識(shí)別及圖像合成，具有廣泛 的應(yīng)用價(jià)值，例如集成在學(xué)校班級(jí)門口的人臉考勤機(jī)中，可方便師生進(jìn)行身份認(rèn)證，并可在 學(xué)生畢業(yè)時(shí)自動(dòng)生成一份個(gè)人成長(zhǎng)記錄視頻;集成到家庭中的寫字臺(tái)、浴室鏡、電視中也可 長(zhǎng)時(shí)間紀(jì)錄具有紀(jì)念意義的家庭成員生活軌跡;應(yīng)用到理發(fā)店、健身房等服務(wù)性行業(yè)中，可 為客人定做個(gè)人發(fā)型或體型紀(jì)念冊(cè)，從而帶來更好的用戶體驗(yàn)，起到更大的市場(chǎng)宣傳作用。
【附圖說明】
[0031] 圖1是根據(jù)本發(fā)明一實(shí)施例的可用于非特定人的雙目視覺圖像合成裝置的組成框 圖；
[0032] 圖2是根據(jù)本發(fā)明一實(shí)施例的可用于非特定人的雙目視覺圖像合成裝置中人臉識(shí) 別模塊的工作流程圖；
[0033] 圖3是根據(jù)本發(fā)明一實(shí)施例的可用于非特定人的雙目視覺圖像合成方法的流程 圖。
【具體實(shí)施方式】
[0034] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照 附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說明。
[0035] 圖1是根據(jù)本發(fā)明一實(shí)施例的可用于非特定人的雙目視覺圖像合成裝置的組成框 圖，如圖1所示，所述可用于非特定人的雙目視覺圖像合成裝置包括雙目視覺采集模塊1、相 機(jī)姿態(tài)調(diào)整模塊2、控制模塊3、人臉識(shí)別模塊4、人臉對(duì)齊模塊5、存儲(chǔ)模塊6及圖像合成模塊 7,其中：
[0036] 所述雙目視覺采集模塊1與相機(jī)姿態(tài)調(diào)整模塊2連接，兩個(gè)模塊相互配合采集立體 圖像，并將采集到的圖像數(shù)據(jù)傳輸?shù)娇刂颇K3;
[0037] 所述相機(jī)姿態(tài)調(diào)整模塊2與控制模塊3連接，用于根據(jù)控制模塊3的指令驅(qū)動(dòng)雙目 視覺采集模塊1在多個(gè)自由度上進(jìn)行運(yùn)動(dòng)；
[0038] 所述控制模塊3分別與雙目視覺采集模塊1、相機(jī)姿態(tài)調(diào)整模塊2、存儲(chǔ)模塊6、人臉 識(shí)別模塊4和圖像合成模塊7連接，用于對(duì)各模塊的動(dòng)作或處理方式進(jìn)行控制，在本發(fā)明一 實(shí)施例中，所述控制模塊3根據(jù)預(yù)先設(shè)置的算法及規(guī)則對(duì)各模塊的動(dòng)作或處理方式進(jìn)行控 制；
[0039] 所述人臉識(shí)別模塊4與控制模塊3、人臉對(duì)齊模塊5和存儲(chǔ)模塊6連接，用于檢測(cè)所 述雙目視覺采集模塊1采集到的圖像數(shù)據(jù)中是否包含人臉，并根據(jù)檢測(cè)到的立體人臉圖像 中的人臉生物特征在所述存儲(chǔ)模塊6所存儲(chǔ)的已注冊(cè)人臉數(shù)據(jù)庫(kù)中尋找所述立體人臉圖像 的匹配結(jié)果；
[0040] 所述人臉對(duì)齊模塊5分別與人臉識(shí)別模塊4和存儲(chǔ)模塊6連接，用于將人臉識(shí)別模 塊4檢測(cè)到的立體人臉圖像進(jìn)行裁剪和對(duì)齊，使人臉部分固定于圖像中指定的區(qū)域中，并將 對(duì)齊后的立體人臉圖像發(fā)送給所述存儲(chǔ)模塊6,其中，所述指定的區(qū)域根據(jù)實(shí)際應(yīng)用的需要 來確定，本發(fā)明對(duì)其不作具體限定；
[0041 ]所述存儲(chǔ)模塊6與控制模塊3、人臉識(shí)別模塊4、人臉對(duì)齊模塊5和圖像合成模塊7連 接，用于存儲(chǔ)對(duì)齊后的立體人臉圖像；
[0042]所述圖像合成模塊7與控制模塊3和存儲(chǔ)模塊6連接，用于根據(jù)控制模塊3的指令從 存儲(chǔ)模塊6中提取指定人的立體人臉圖像，并按照時(shí)間順序合成為可連續(xù)播放的動(dòng)態(tài)圖像 或視頻進(jìn)行輸出。
[0043] 其中，所述相機(jī)姿態(tài)調(diào)整模塊2由不少于一個(gè)舵機(jī)組成，可以根據(jù)控制模塊3的指 令，對(duì)每個(gè)舵機(jī)分別進(jìn)行特定角度的調(diào)整。
[0044] 在本發(fā)明的一個(gè)實(shí)施例中，所述相機(jī)姿態(tài)調(diào)整模塊2包括2臺(tái)RDS3115型號(hào)舵機(jī)和 一個(gè)STM32F103C8T6單片機(jī)，舵機(jī)單個(gè)重量60g，工作電壓5V至7.2V，工作在7.2V電壓時(shí)堵轉(zhuǎn) 扭矩17kg/cm，速度0.16sec/60度，可控角度范圍180度。舵機(jī)由單片機(jī)STM32F103C8T6輸出 的HVM波控制角度，控制模塊3通過RS232 口給單片機(jī)STM32F103C8T6發(fā)送指令MMab(指令標(biāo) 示符麗以ASCII碼形式發(fā)送即0x4D4D; a和b為數(shù)值，各占16位，數(shù)值以0.1為單位)可實(shí)現(xiàn)俯 仰a度左右搖頭b度，發(fā)送指令M00可實(shí)現(xiàn)初始化回到原點(diǎn)。安裝時(shí)兩個(gè)舵機(jī)旋轉(zhuǎn)軸互相垂 直，負(fù)責(zé)左右搖擺的舵機(jī)在下旋轉(zhuǎn)軸豎直，上面舵機(jī)以下面舵機(jī)的舵盤為底座，上面舵機(jī)旋 轉(zhuǎn)軸上安裝U型支架用以固定相機(jī)，如此可以實(shí)現(xiàn)雙目視覺采集模塊1的2個(gè)自由度運(yùn)動(dòng)即 實(shí)現(xiàn)俯仰、左右搖頭。
[0045] 具體地，所述控制模塊3,采集時(shí)用于接收雙目視覺采集模塊1采集得到的圖像，再 將圖像轉(zhuǎn)發(fā)給人臉識(shí)別模塊4,并根據(jù)人臉識(shí)別模塊4返回的偏移參數(shù)計(jì)算相機(jī)姿態(tài)調(diào)整模 塊2的調(diào)整角度，然后將該調(diào)整角度發(fā)送給相機(jī)姿態(tài)調(diào)整模塊2,帶動(dòng)雙目視覺采集模塊1持 續(xù)追蹤人臉，直到采集到正面清晰人臉圖像;展示時(shí)用于向圖像合成模塊7發(fā)出從存儲(chǔ)模塊 6提取指定人立體人臉圖像的指令。
[0046]在本發(fā)明的一個(gè)實(shí)施例中，控制模塊3采用英特爾的i5_4590型號(hào)的處理器作為核 心控制器，通過RGB888接口獲取雙目視覺采集模塊1采集得到的圖像?？刂颇K3將采集到 的圖像發(fā)送給人臉識(shí)別模塊4并接收處理結(jié)果，并根據(jù)該處理結(jié)果給相機(jī)姿態(tài)調(diào)整模塊2發(fā) 出動(dòng)作指令，例如人臉識(shí)別模塊4返回的偏移參數(shù)水平偏移量為x，垂直偏移量為y，設(shè)定調(diào) 整系數(shù)為k(k為一個(gè)定值，需根據(jù)實(shí)際相機(jī)的不同進(jìn)行實(shí)驗(yàn)調(diào)整），則雙目視覺采集模塊1需 要調(diào)整的俯仰角度指令為m = -10*y*k，左右旋轉(zhuǎn)角度指令為n = -10*x*k，則控制模塊3通過 串口給相機(jī)姿態(tài)調(diào)整模塊2發(fā)送指令MMmn，然后繼續(xù)采集圖像并發(fā)送給人臉識(shí)別模塊4并接 收處理結(jié)果，如此反復(fù)進(jìn)行調(diào)整，直到返回結(jié)果連續(xù)5次有人臉且偏移量小于閾值為止，此 時(shí)認(rèn)為人臉位于中心位置，停止調(diào)整。當(dāng)人臉位于中心位置時(shí)，進(jìn)行拍照，并將照片發(fā)送到 人臉識(shí)別模塊進(jìn)行后續(xù)處理。
[0047]所述人臉識(shí)別模塊4,如圖2本發(fā)明提供的可用于非特定人的雙目視覺圖像合成裝 置中人臉識(shí)別模塊的工作流程圖所示，從控制模塊3接收?qǐng)D像后首先判斷圖像中是否包含 人臉信息，如果包含則計(jì)算人臉中心點(diǎn)與圖像中心點(diǎn)之間的偏移，并將該偏移參數(shù)返回給 控制模塊3,直至連續(xù)多次采集到的人臉中心點(diǎn)與圖像中心點(diǎn)之間的偏移小于預(yù)先設(shè)定的 閾值，以確保雙目視覺采集模塊1拍攝到穩(wěn)定的人臉圖像;進(jìn)而分析該人臉圖像中的生物特 征，并與存儲(chǔ)模塊6所存儲(chǔ)的已注冊(cè)人臉數(shù)據(jù)庫(kù)進(jìn)行比對(duì)，判斷是否為已注冊(cè)用戶，若已注 冊(cè)則將該人臉圖像和注冊(cè)用戶ID發(fā)送到人臉對(duì)齊模塊5進(jìn)行后續(xù)處理，若為未注冊(cè)用戶則 進(jìn)入注冊(cè)模式，為使用者創(chuàng)建新的用戶ID。
[0048]在本發(fā)明的一個(gè)實(shí)施例中，調(diào)整系數(shù)k為0.01，偏移參數(shù)閾值T = 20，第一張檢測(cè)到 人臉圖像的偏移參數(shù)1=100,7 = 150，則調(diào)整參數(shù)111 = -15，11 = -10，控制模塊3則發(fā)送指令 0x4D4DFFFlFFF6給相機(jī)姿態(tài)調(diào)整模塊2，相機(jī)姿態(tài)調(diào)整模塊2根據(jù)指令執(zhí)行動(dòng)作俯仰1.5度， 左右旋轉(zhuǎn)1度;第二張檢測(cè)到的人臉圖像的偏移參數(shù)x = 95，y= 143,然后繼續(xù)按照公式調(diào) 節(jié)，最后在第16次調(diào)節(jié)后，偏移參數(shù)x=13，y = 15,均小于閾值T，并且此后連續(xù)4次有人臉且 偏移參數(shù)都在閾值范圍內(nèi)，此時(shí)完成調(diào)節(jié)，進(jìn)行拍照。
[0049]所述存儲(chǔ)模塊6,其中包含已注冊(cè)人臉數(shù)據(jù)庫(kù)和使用數(shù)據(jù)庫(kù)，已注冊(cè)人臉數(shù)據(jù)庫(kù)中 保存使用者注冊(cè)信息，使用數(shù)據(jù)庫(kù)的數(shù)據(jù)結(jié)構(gòu)中至少包括用戶ID、立體人臉圖像存儲(chǔ)位置、 圖像采集時(shí)間三個(gè)字段，可用于存儲(chǔ)多個(gè)使用者的人臉數(shù)據(jù)。
[0050]在本發(fā)明的一個(gè)實(shí)施例中，已注冊(cè)人臉數(shù)據(jù)庫(kù)的數(shù)據(jù)結(jié)構(gòu)表示為
[0053]使用數(shù)據(jù)庫(kù)的數(shù)據(jù)結(jié)構(gòu)表示為：
[0055]所述人臉對(duì)齊模塊5,能夠通過提取人臉圖像中的特征關(guān)鍵點(diǎn)，并將其在圖像中的 坐標(biāo)位置與模板位置進(jìn)行比較，利用裁剪、縮放、拉伸、平移等處理方式將人臉位置固定于 立體人臉圖像中指定的相同區(qū)域內(nèi)，以使未來圖像合成模塊7輸出的動(dòng)態(tài)圖像或視頻中，人 臉的位置和大小保持基本穩(wěn)定。
[0056]在本發(fā)明的一個(gè)實(shí)施例中，設(shè)置人臉模板的大小為分辨率640*480,人臉對(duì)齊模塊 5采取只保留臉部不留背景的方式。在圖像中以包含人臉的最小矩形框位置為基準(zhǔn)，上下各 增加人臉高度的5%，左右各增加人臉寬度的5%，然后以增大后的矩形框截取人臉圖像，超 出原來圖像部分以白色補(bǔ)齊。然后將截取的人臉圖像縮放到人臉模板大小即640*480,然后 將此圖像保存，并將儲(chǔ)存信息添加到使用數(shù)據(jù)庫(kù)中。
[0057] 根據(jù)本發(fā)明的另一方面，還提出一種可用于非特定人的雙目視覺圖像合成方法， 如圖3本發(fā)明提供的可用于非特定人的雙目視覺圖像合成方法的流程圖所示，該方法應(yīng)用 于包含雙目視覺采集模塊1、相機(jī)姿態(tài)調(diào)整模塊2、控制模塊3、人臉識(shí)別模塊4、人臉對(duì)齊模 塊5、存儲(chǔ)模塊6及圖像合成模塊7的非特定人雙目視覺圖像合成裝置，該方法包括以下步 驟：
[0058] 步驟301:檢測(cè)人臉:開機(jī)后由雙目視覺采集模塊1按照設(shè)定采樣頻率，比如3幀/ 秒，進(jìn)行采樣，并將采集到的圖像數(shù)據(jù)經(jīng)控制模塊3傳輸給人臉識(shí)別模塊4，所述人臉識(shí)別模 塊4檢測(cè)圖像中是否存在人臉圖像并將檢測(cè)結(jié)果以及人臉在圖像中的位置信息發(fā)送給控制 豐旲塊3;
[0059] 步驟302:人臉追蹤:所述控制模塊3根據(jù)人臉在圖像中的位置計(jì)算姿態(tài)調(diào)整角度 生成姿態(tài)調(diào)整命令，并將所述姿態(tài)調(diào)整命令發(fā)送給相機(jī)姿態(tài)調(diào)整模塊2，對(duì)所述雙目視覺采 集模塊1進(jìn)行姿態(tài)調(diào)整，以持續(xù)追蹤正面人臉；
[0060] 在本發(fā)明的一個(gè)實(shí)施例中：
[0061 ] 相機(jī)姿態(tài)調(diào)整模塊2包括2臺(tái)RDS3115型號(hào)舵機(jī)和一個(gè)STM32F103C8T6單片機(jī)，舵機(jī) 單個(gè)重量60g，工作電壓5V至7.2V，工作在7.2V電壓時(shí)堵轉(zhuǎn)扭矩17kg/cm，速度0.16sec/60 度，可控角度范圍180度。舵機(jī)由單片機(jī)STM32F103C8T6輸出的PWM波控制角度，控制模塊3通 過RS232 口給單片機(jī)STM32F103C8T6發(fā)送指令MMab(指令標(biāo)示符MM以ASCII碼形式發(fā)送即 0x4D4D; a和b為數(shù)值，各占16位，數(shù)值以0.1為單位)可實(shí)現(xiàn)俯仰a度左右搖頭b度，發(fā)送指令 M00可實(shí)現(xiàn)初始化回到原點(diǎn)。安裝時(shí)兩個(gè)舵機(jī)旋轉(zhuǎn)軸互相垂直，負(fù)責(zé)左右搖擺的舵機(jī)在下旋 轉(zhuǎn)軸豎直，上面舵機(jī)以下面舵機(jī)的舵盤為底座，上面舵機(jī)旋轉(zhuǎn)軸上安裝U型支架用以固定相 機(jī)，如此可以實(shí)現(xiàn)雙目視覺采集模塊1的2個(gè)自由度運(yùn)動(dòng)即實(shí)現(xiàn)俯仰、左右搖頭；
[0062]控制模塊3采用英特爾的i5-4590型號(hào)的處理器作為核心控制器，通過RGB888接口 獲取雙目視覺采集模塊1采集得到的圖像?？刂颇K3將采集到的圖像發(fā)送給人臉識(shí)別模塊 4并接收處理結(jié)果，并根據(jù)該處理結(jié)果給相機(jī)姿態(tài)調(diào)整模塊2發(fā)出動(dòng)作指令，例如人臉識(shí)別 模塊4返回的偏移參數(shù)水平偏移量為x，垂直偏移量為y，設(shè)定調(diào)整系數(shù)為k(k為一個(gè)定值，需 根據(jù)實(shí)際相機(jī)的不同進(jìn)行實(shí)驗(yàn)調(diào)整），則雙目視覺采集模塊1需要調(diào)整的俯仰角度指令為m = -10*y*k，左右旋轉(zhuǎn)角度指令為n = -10*x*k，則控制模塊3通過串口給相機(jī)姿態(tài)調(diào)整模塊2 發(fā)送指令MMmn，然后繼續(xù)采集圖像并發(fā)送給人臉識(shí)別模塊4并接收處理結(jié)果，如此反復(fù)進(jìn)行 調(diào)整，以追蹤人臉。
[0063]步驟303:人臉拍照:若判斷在連續(xù)多次采集的圖像中，人臉位置居中且沒有發(fā)生 較大偏移，則所述控制模塊3向雙目視覺采集模塊1發(fā)出拍照指令，否則返回所述步驟302; [0064]在本發(fā)明的一個(gè)實(shí)施例中，調(diào)整系數(shù)k為0.01，偏移參數(shù)閾值T = 20，設(shè)定控制模塊 3接收到人臉識(shí)別模塊4返回結(jié)果連續(xù)5次有人臉且偏移量小于閾值時(shí)進(jìn)行拍照。第一張檢 測(cè)到人臉圖像的偏移參數(shù)1=100,7=150，則調(diào)整參數(shù)111 = -15，11 = -10，控制模塊3則發(fā)送指 令0x4D4DFFFlFFF6給相機(jī)姿態(tài)調(diào)整模塊2，相機(jī)姿態(tài)調(diào)整模塊2根據(jù)指令執(zhí)行動(dòng)作俯仰1.5 度，左右旋轉(zhuǎn)1度;第二張檢測(cè)到的人臉圖像的偏移參數(shù)x = 95，y=143,然后繼續(xù)按照公式 調(diào)節(jié)，最后在第16次調(diào)節(jié)后，偏移參數(shù)x=13，y=15,均小于閾值T，并且此后連續(xù)4次有人臉 且偏移參數(shù)都在閾值范圍內(nèi)，此時(shí)完成調(diào)節(jié)，進(jìn)行拍照。
[0065]步驟304:人臉識(shí)別:人臉識(shí)別模塊4對(duì)所采集圖像中的人臉進(jìn)行識(shí)別，得到立體人 臉圖像，并將其與存儲(chǔ)模塊6存儲(chǔ)的已注冊(cè)人臉數(shù)據(jù)庫(kù)進(jìn)行比對(duì)，尋找所述立體人臉圖像的 匹配結(jié)果；
[0066]在新采集的圖像NewPicture . jpg發(fā)送到人臉識(shí)別模塊4后，采用特征臉方法對(duì) NewPicture. jpg進(jìn)行識(shí)別，根據(jù)已注冊(cè)人臉數(shù)據(jù)庫(kù)中的數(shù)據(jù)，將圖片NewPicture . jpg逐個(gè) 與每個(gè)用戶ID的注冊(cè)圖片進(jìn)行識(shí)別。首先計(jì)算NewPicture. jpg以及每張注冊(cè)圖片的特征向 量，然后分別計(jì)算NewPicture. jpg與每個(gè)用戶ID的注冊(cè)圖片中的最近鄰，并取其中的最小 值，當(dāng)最小值小于閾值1 〇 〇時(shí)，識(shí)別為對(duì)應(yīng)ID的用戶，否則為新用戶。在該實(shí)施例中， NewPicture. jpg與各個(gè)用戶ID中的注冊(cè)圖片最小臨近分別為2390,60,3120,即 NewPicture. jpg是ID為000002的用戶照片。
[0067] 步驟305:人臉對(duì)齊:通過提取所述立體人臉圖像中的人臉關(guān)鍵點(diǎn)將人臉位置固定 于立體人臉圖像中指定的相同區(qū)域內(nèi)；
[0068] 步驟306:存儲(chǔ)圖像:將對(duì)齊后的立體人臉圖像進(jìn)行儲(chǔ)存，并在使用數(shù)據(jù)庫(kù)中添加 一條包含用戶ID、立體人臉圖像存儲(chǔ)位置、圖像采集時(shí)間信息的數(shù)據(jù)記錄；
[0069] 步驟307:合成輸出：根據(jù)控制模塊3的指令從存儲(chǔ)模塊6的使用數(shù)據(jù)庫(kù)中提取指定 用戶ID的全部立體人臉圖像，并按照時(shí)間順序合成為可連續(xù)播放的動(dòng)態(tài)圖像或視頻進(jìn)行輸 出。
[0070] 所述人臉識(shí)別模塊4將得到立體人臉圖像與存儲(chǔ)模塊6存儲(chǔ)的已注冊(cè)人臉數(shù)據(jù)庫(kù) 進(jìn)行比對(duì)的步驟包括：
[0071] 步驟3041:判斷當(dāng)前用戶是否為已注冊(cè)用戶；
[0072]步驟3042:若為已注冊(cè)用戶則將該立體人臉圖像和注冊(cè)用戶ID發(fā)送到人臉對(duì)齊模 塊5進(jìn)行后續(xù)處理；
[0073]步驟3043:若為未注冊(cè)用戶則進(jìn)入注冊(cè)模式，為當(dāng)前用戶創(chuàng)建新的用戶ID，并采集 其多幅人臉圖像存儲(chǔ)到已注冊(cè)人臉數(shù)據(jù)庫(kù)中。
[0074] 所述提取所述立體人臉圖像中的人臉關(guān)鍵點(diǎn)將人臉位置固定于立體人臉圖像中 指定的相同區(qū)域內(nèi)，其流程包括：
[0075] 步驟3051:比較當(dāng)前立體人臉圖像中人臉關(guān)鍵特征點(diǎn)與模板圖像人臉關(guān)鍵特征點(diǎn) 的位置和偏差；
[0076] 步驟3052:對(duì)當(dāng)前立體人臉圖像進(jìn)行裁剪、縮放、拉伸、平移等處理，使當(dāng)前圖像與 模板圖像中的人臉關(guān)鍵特征點(diǎn)對(duì)齊。
[0077]以上所述的具體實(shí)施例，對(duì)本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳 細(xì)說明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施例而已，并不用于限制本發(fā)明，凡 在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保 護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種可用于非特定人的雙目視覺圖像合成裝置，其特征在于:所述裝置包括雙目視 覺采集模塊、相機(jī)姿態(tài)調(diào)整模塊、控制模塊、人臉識(shí)別模塊、人臉對(duì)齊模塊、存儲(chǔ)模塊及圖像 合成模塊，其中： 所述雙目視覺采集模塊與相機(jī)姿態(tài)調(diào)整模塊連接，兩個(gè)模塊相互配合采集立體圖像， 并將采集到的圖像數(shù)據(jù)傳輸?shù)娇刂颇K； 所述相機(jī)姿態(tài)調(diào)整模塊與控制模塊連接，用于根據(jù)控制模塊的指令驅(qū)動(dòng)雙目視覺采集 模塊在多個(gè)自由度上進(jìn)行運(yùn)動(dòng)； 所述控制模塊分別與雙目視覺采集模塊、相機(jī)姿態(tài)調(diào)整模塊、存儲(chǔ)模塊、人臉識(shí)別模塊 和圖像合成模塊連接，用于對(duì)各模塊的動(dòng)作或處理方式進(jìn)行控制； 所述人臉識(shí)別模塊與控制模塊、人臉對(duì)齊模塊和存儲(chǔ)模塊連接，用于檢測(cè)所述雙目視 覺采集模塊采集到的圖像數(shù)據(jù)中是否包含人臉，并根據(jù)檢測(cè)到的立體人臉圖像中的人臉生 物特征在所述存儲(chǔ)模塊所存儲(chǔ)的已注冊(cè)人臉數(shù)據(jù)庫(kù)中尋找所述立體人臉圖像的匹配結(jié)果； 所述人臉對(duì)齊模塊分別與人臉識(shí)別模塊和存儲(chǔ)模塊連接，用于將人臉識(shí)別模塊檢測(cè)到 的立體人臉圖像進(jìn)行裁剪和對(duì)齊，使人臉部分固定于圖像中指定的區(qū)域中，并將對(duì)齊后的 立體人臉圖像發(fā)送給所述存儲(chǔ)模塊； 所述存儲(chǔ)模塊與控制模塊、人臉識(shí)別模塊、人臉對(duì)齊模塊和圖像合成模塊連接，用于存 儲(chǔ)對(duì)齊后的立體人臉圖像； 所述圖像合成模塊與控制模塊和存儲(chǔ)模塊連接，用于根據(jù)控制模塊的指令從存儲(chǔ)模塊 中提取指定人的立體人臉圖像，并按照時(shí)間順序合成為可連續(xù)播放的動(dòng)態(tài)圖像或視頻進(jìn)行 輸出。2. 根據(jù)權(quán)利要求1所述的可用于非特定人的雙目視覺圖像合成裝置，其特征在于:所述 相機(jī)姿態(tài)調(diào)整模塊由不少于一個(gè)舵機(jī)組成，所述控制模塊能夠?qū)γ總€(gè)舵機(jī)分別進(jìn)行特定角 度的調(diào)整。3. 根據(jù)權(quán)利要求1所述的可用于非特定人的雙目視覺圖像合成裝置，其特征在于:所述 控制模塊，在采集圖像時(shí)接收雙目視覺采集模塊采集得到的圖像，將其轉(zhuǎn)發(fā)給人臉識(shí)別模 塊，并根據(jù)人臉識(shí)別模塊返回的偏移參數(shù)計(jì)算相機(jī)姿態(tài)調(diào)整模塊的調(diào)整角度，然后將該調(diào) 整角度發(fā)送給相機(jī)姿態(tài)調(diào)整模塊，帶動(dòng)雙目視覺采集模塊持續(xù)追蹤人臉，直到采集到正面 清晰人臉圖像;在展示時(shí)向圖像合成模塊發(fā)出從存儲(chǔ)模塊提取特定人立體人臉圖像的指 令。4. 根據(jù)權(quán)利要求1所述的可用于非特定人的雙目視覺圖像合成裝置，其特征在于:所述 人臉識(shí)別模塊從控制模塊接收?qǐng)D像后首先判斷圖像中是否包含人臉信息，如果包含則計(jì)算 人臉中心點(diǎn)與圖像中心點(diǎn)之間的偏移，并將該偏移參數(shù)返回給控制模塊，直至連續(xù)多次采 集到的人臉中心點(diǎn)與圖像中心點(diǎn)之間的偏移小于預(yù)先設(shè)定的閾值，確保雙目視覺采集模塊 拍攝到穩(wěn)定的人臉圖像;進(jìn)而分析該人臉圖像中的生物特征，并與存儲(chǔ)模塊所存儲(chǔ)的已注 冊(cè)人臉數(shù)據(jù)庫(kù)進(jìn)行比對(duì)，判斷是否為已注冊(cè)用戶，若已注冊(cè)則將該人臉圖像和注冊(cè)用戶ID 發(fā)送到人臉對(duì)齊模塊進(jìn)行后續(xù)處理，若為未注冊(cè)用戶則進(jìn)入注冊(cè)模式，為使用者創(chuàng)建新的 用戶ID。5. 根據(jù)權(quán)利要求1所述的可用于非特定人的雙目視覺圖像合成裝置，其特征在于:所述 存儲(chǔ)模塊包括已注冊(cè)人臉數(shù)據(jù)庫(kù)和使用數(shù)據(jù)庫(kù)，所述已注冊(cè)人臉數(shù)據(jù)庫(kù)用于保存使用者注 冊(cè)信息，所述使用數(shù)據(jù)庫(kù)的數(shù)據(jù)結(jié)構(gòu)中至少包括用戶ID、立體人臉圖像存儲(chǔ)位置和圖像采 集時(shí)間，以存儲(chǔ)多個(gè)使用者的人臉數(shù)據(jù)。6. 根據(jù)權(quán)利要求1所述的可用于非特定人的雙目視覺圖像合成裝置，其特征在于:所述 人臉對(duì)齊模塊提取立體人臉圖像中的特征關(guān)鍵點(diǎn)，并將其在圖像中的坐標(biāo)位置與模板位置 進(jìn)行比較，利用裁剪、縮放、拉伸、平移將人臉位置固定于立體人臉圖像中指定的相同區(qū)域 內(nèi)。7. -種利用權(quán)利要求1所述可用于非特定人的雙目視覺圖像合成裝置進(jìn)行雙目視覺圖 像合成的方法，其特征在于，所述方法包括以下步驟： 步驟301:雙目視覺采集模塊按照設(shè)定采樣頻率進(jìn)行采樣，并將采集到的圖像數(shù)據(jù)經(jīng)控 制模塊傳輸給人臉識(shí)別模塊，所述人臉識(shí)別模塊4檢測(cè)圖像中是否存在人臉圖像并將檢測(cè) 結(jié)果以及人臉在圖像中的位置信息發(fā)送給控制模塊3; 步驟302:所述控制模塊根據(jù)人臉在圖像中的位置計(jì)算姿態(tài)調(diào)整角度生成姿態(tài)調(diào)整命 令，并將所述姿態(tài)調(diào)整命令發(fā)送給相機(jī)姿態(tài)調(diào)整模塊，對(duì)所述雙目視覺采集模塊進(jìn)行姿態(tài) 調(diào)整，以持續(xù)追蹤正面人臉； 步驟303:若判斷在連續(xù)多次采集的圖像中，人臉位置居中且偏移量小于一指定閾值， 則所述控制模塊向雙目視覺采集模塊發(fā)出拍照指令，否則返回所述步驟302; 步驟304:人臉識(shí)別模塊對(duì)所采集圖像中的人臉進(jìn)行識(shí)別，得到立體人臉圖像，并將其 與存儲(chǔ)模塊存儲(chǔ)的已注冊(cè)人臉數(shù)據(jù)庫(kù)進(jìn)行比對(duì)，尋找所述立體人臉圖像的匹配結(jié)果； 步驟305:通過提取所述立體人臉圖像中的人臉關(guān)鍵點(diǎn)將人臉位置固定于立體人臉圖 像中指定的相同區(qū)域內(nèi)； 步驟306:將對(duì)齊后的立體人臉圖像進(jìn)行儲(chǔ)存，并在存儲(chǔ)模塊的使用數(shù)據(jù)庫(kù)中添加一條 包含用戶ID、立體人臉圖像存儲(chǔ)位置、圖像采集時(shí)間信息的數(shù)據(jù)記錄； 步驟307:根據(jù)控制模塊的指令從存儲(chǔ)模塊的使用數(shù)據(jù)庫(kù)中提取指定用戶ID的全部立 體人臉圖像，并按照時(shí)間順序合成為可連續(xù)播放的動(dòng)態(tài)圖像或視頻進(jìn)行輸出。8. 根據(jù)權(quán)利要求7所述的方法，其特征在于:所述步驟304中所述人臉識(shí)別模塊4將得到 立體人臉圖像與存儲(chǔ)模塊6存儲(chǔ)的已注冊(cè)人臉數(shù)據(jù)庫(kù)進(jìn)行比對(duì)的步驟進(jìn)一步包括： 步驟3041:判斷當(dāng)前用戶是否為已注冊(cè)用戶； 步驟3042:若為已注冊(cè)用戶則將該立體人臉圖像和注冊(cè)用戶ID發(fā)送到人臉對(duì)齊模塊進(jìn) 行后續(xù)處理； 步驟3043:若為未注冊(cè)用戶則進(jìn)入注冊(cè)模式，為當(dāng)前用戶創(chuàng)建新的用戶ID，并采集其多 幅人臉圖像存儲(chǔ)到已注冊(cè)人臉數(shù)據(jù)庫(kù)中。9. 根據(jù)權(quán)利要求7所述的方法，其特征在于:所述步驟305進(jìn)一步包括： 步驟3051:比較當(dāng)前立體人臉圖像中人臉關(guān)鍵特征點(diǎn)與模板圖像人臉關(guān)鍵特征點(diǎn)的位 置和偏差； 步驟3052:對(duì)當(dāng)前立體人臉圖像進(jìn)行裁剪、縮放、拉伸、平移處理，使當(dāng)前立體人臉圖像 與模板圖像中的人臉關(guān)鍵特征點(diǎn)對(duì)齊。
【文檔編號(hào)】G06K9/00GK105893965SQ201610197497
【公開日】2016年8月24日
【申請(qǐng)日】2016年3月31日
【發(fā)明人】劉東昌, 呂石磊, 郭宇智, 倪晚成, 劉禹
【申請(qǐng)人】中國(guó)科學(xué)院自動(dòng)化研究所