用于檢測(cè)和跟蹤一個(gè)物體上多個(gè)部位的系統(tǒng)和方法
【專利摘要】本發(fā)明披露了一種檢測(cè)一個(gè)物體至少一個(gè)預(yù)定部位的姿勢(shì)的系統(tǒng)和方法，包括步驟：從由第一圖像傳感器拍攝的第一圖像中，提取出第一物體形狀；計(jì)算所述第一物體形狀一個(gè)預(yù)定區(qū)域內(nèi)的所述預(yù)定部位的一個(gè)特征尺寸值；根據(jù)所述特征尺寸值，構(gòu)建一個(gè)掩膜；通過(guò)將所述掩膜應(yīng)用在所述第一物體形狀上，從所述第一物體形狀中提取出所述預(yù)定部位的一個(gè)輪廓；在所述預(yù)定部位的所述輪廓中，找到至少一個(gè)預(yù)定特征點(diǎn)，從而檢測(cè)出所述預(yù)定部位的所述姿勢(shì)。本發(fā)明還可以包括第二圖像傳感器，其同時(shí)拍攝第二圖像，執(zhí)行以上相同步驟而找到第二特征點(diǎn)位置；根據(jù)所述第一特征點(diǎn)位置和所述第二特征點(diǎn)位置，確定每個(gè)特征點(diǎn)的三維坐標(biāo)。
【專利說(shuō)明】用于檢測(cè)和跟蹤一個(gè)物體上多個(gè)部位的系統(tǒng)和方法
【【技術(shù)領(lǐng)域】】
[0001]本發(fā)明涉及一種跟蹤或檢測(cè)物體姿勢(shì)的方法，特別涉及一種實(shí)時(shí)跟蹤或檢測(cè)人手姿勢(shì)的方法以及一種用于實(shí)施該方法的系統(tǒng)。
【【背景技術(shù)】】
[0002]許多先進(jìn)的圖像處理應(yīng)用程序都會(huì)要求有一個(gè)物體跟蹤模塊，該模塊可以可靠和迅速地跟蹤物體上一個(gè)或多個(gè)特征點(diǎn)。其中一個(gè)這樣的應(yīng)用程序就是手勢(shì)識(shí)別，這是一種先進(jìn)的人機(jī)界面技術(shù)，用戶甚至沒(méi)有觸摸計(jì)算設(shè)備，就可以命令和控制該設(shè)備來(lái)執(zhí)行某些操作。用戶只要以一定的模式來(lái)?yè)]舞他/她的一只或兩只手，計(jì)算設(shè)備就依靠該物體跟蹤模塊來(lái)檢測(cè)和跟蹤手部運(yùn)動(dòng)。
【
【發(fā)明內(nèi)容】
】
[0003]根據(jù)上述背景情況，本發(fā)明的一個(gè)目的是提供一種跟蹤或檢測(cè)物體的方法，如檢測(cè)一個(gè)手勢(shì)。
[0004]因此在一個(gè)方面，本發(fā)明是一種檢測(cè)一個(gè)物體至少一個(gè)預(yù)定部位的姿勢(shì)的方法。它包括步驟:從由第一圖像傳感器拍攝的第一圖像中提取第一物體的形狀；計(jì)算第一物體形狀的一個(gè)預(yù)定區(qū)域內(nèi)的預(yù)定部位的特征尺寸值；根據(jù)特征尺寸值構(gòu)建掩膜；通過(guò)將掩膜應(yīng)用在第一物體形狀上，從第一物體形狀中提取出預(yù)定部位的輪廓；識(shí)別出預(yù)定部位的輪廓中的至少一個(gè)預(yù)定特征點(diǎn)；從而檢測(cè)出預(yù)定部位的姿勢(shì)。
[0005]在一個(gè)實(shí)施例中，計(jì)算特征尺寸值還包括步驟:確定所述物體的一個(gè)參考部位的一個(gè)參考值，其中所述參考部位不同于所述至少一個(gè)預(yù)定部位；根據(jù)參考值計(jì)算多個(gè)閾值。
[0006]在另一個(gè)實(shí)施例中，計(jì)算特征尺寸值還包括步驟:根據(jù)第一組多個(gè)閾值，確定多個(gè)分割邊界；根據(jù)分割邊界，從所述第一物體形狀中提取出預(yù)定區(qū)域；根據(jù)第二組多個(gè)閾值；在所述預(yù)定區(qū)域內(nèi)識(shí)別出所述預(yù)定部位；在所述預(yù)定區(qū)域內(nèi)測(cè)量所述預(yù)定部位的尺寸值；根據(jù)所述預(yù)定區(qū)域內(nèi)的所述預(yù)定部位的尺寸值，計(jì)算特征尺寸值。
[0007]在另一個(gè)實(shí)施例中，計(jì)算特征尺寸值還包括步驟:根據(jù)所述預(yù)定區(qū)域內(nèi)的所述預(yù)定部位的尺寸值，計(jì)算一組識(shí)別因子；計(jì)算特征尺寸值，即為所述尺寸值的加權(quán)平均，其中加權(quán)平均的加權(quán)因子是基于所述組區(qū)別因子和裕度系數(shù)。
[0008]在另一個(gè)實(shí)施例中，檢測(cè)一個(gè)物體至少一個(gè)預(yù)定部位的姿勢(shì)的方法還包括步驟:根據(jù)所述特征尺寸，更新所述第一組和第二組的多個(gè)閾值。
[0009]在另一個(gè)實(shí)施例中，構(gòu)建步驟還包括以下步驟:在第一個(gè)物體形狀上進(jìn)行腐蝕操作，從而形成腐蝕形狀；在腐蝕形狀上進(jìn)行膨脹操作，形成掩膜；其中腐蝕操作和膨脹操作的結(jié)構(gòu)元素大小是基于特征尺寸值的。在又一實(shí)施例中，所述結(jié)構(gòu)元素的大小是特征尺寸值的一半。
[0010]在另一個(gè)實(shí)施例中，所述識(shí)別步驟還包括以下步驟:在所述預(yù)定部位的輪廓中，識(shí)別出所述物體的每個(gè)預(yù)定部位；對(duì)所述第一圖像中的每個(gè)預(yù)定特征點(diǎn)，確定至少一個(gè)第一特征點(diǎn)位置。
[0011]在另一個(gè)實(shí)施例中，所述物體是人手；所述至少一個(gè)預(yù)定部位是人手手指，所述至少一個(gè)預(yù)定特征點(diǎn)是手指指尖。該方法還包括步驟:建立一個(gè)感興趣區(qū)域，所述感興趣區(qū)域即是包圍住所述第一圖像輪廓中的手指的區(qū)域；通過(guò)搜索感興趣區(qū)域內(nèi)的凸點(diǎn)，找到指尖的坐標(biāo)。
[0012]在另一個(gè)實(shí)施例中，檢測(cè)一個(gè)物體至少一個(gè)預(yù)定部位的姿勢(shì)的方法還包括步驟:從由第二圖像傳感器拍攝的第二圖像中，提取出所述物體的第二物體形狀；計(jì)算第二物體形狀的第二預(yù)定區(qū)域內(nèi)的所述預(yù)定部位的第二特征尺寸值；根據(jù)所述第二特征尺寸值構(gòu)建第二掩膜；通過(guò)將所述第二掩膜應(yīng)用在第二物體形狀上，從第二物體形狀中提取出所述預(yù)定部位的第二輪廓；識(shí)別出所述預(yù)定部位的第二輪廓中的至少一個(gè)預(yù)定特征點(diǎn)；確定第二圖像中每個(gè)預(yù)定特征點(diǎn)的第二特征點(diǎn)位置；根據(jù)所述第一特征點(diǎn)位置和所述第二特征點(diǎn)位置，確定每個(gè)特征點(diǎn)的三維坐標(biāo)；其中所述第一圖像和第二圖像是同時(shí)拍攝的，所述第二圖像傳感器和所述第一圖像傳感器相隔一個(gè)預(yù)定距離。在另一個(gè)實(shí)施例中，確定三維坐標(biāo)的步驟是基于三角測(cè)量方法的。
[0013]根據(jù)本發(fā)明的另一個(gè)方面，披露了一種識(shí)別一個(gè)物體的至少一個(gè)預(yù)定部位的方法，包括步驟:獲得所述物體的一個(gè)模型的；從第一圖像中提取出所述物體的一個(gè)物體形狀；根據(jù)所述模型，計(jì)算所述物體形狀中的至少一個(gè)預(yù)定部位的一個(gè)特征尺寸值；根據(jù)所述特征尺寸值構(gòu)建掩膜；通過(guò)將所述掩膜應(yīng)用在所述物體上，從所述物體形狀中提取出至少一個(gè)預(yù)定部位的輪廓；從所述輪廓中識(shí)別出所述至少一個(gè)預(yù)定部位。在一個(gè)實(shí)施例中，所述模型描述的是至少一個(gè)預(yù)定部位和所述物體之間的至少一個(gè)關(guān)系。
[0014]根據(jù)本發(fā)明的又一個(gè)方面，披露了一種檢測(cè)一個(gè)物體的至少一個(gè)預(yù)定部位的姿勢(shì)的系統(tǒng)。該系統(tǒng)包括:第一圖像傳感器，其被設(shè)置成從第一視角拍攝所述預(yù)定部位的至少一個(gè)第一圖像；圖像處理子系統(tǒng)，其連接到所述第一圖像傳感器，其中所述圖像處理子系統(tǒng)接收所述至少一個(gè)第一圖像作為輸入，產(chǎn)生至少一個(gè)第一特征點(diǎn)位置作為輸出。圖像處理子系統(tǒng)還包括以下:物體提取模塊，其被配置為從所述輸入中提取出物體的一個(gè)物體形狀；主體部位定位模塊，其被配置成在所述物體形狀的一個(gè)預(yù)定區(qū)域內(nèi)找到至少一個(gè)預(yù)定部位，其中所述主體部位定位模塊還確定所述至少一個(gè)預(yù)定部位的特征尺寸值；特征點(diǎn)定位模塊，其被配置為在一個(gè)輪廓的至少一個(gè)預(yù)定部位內(nèi)識(shí)別出至少一個(gè)特征點(diǎn)位置。根據(jù)所述特征尺寸值而構(gòu)建一個(gè)掩膜，然后將掩膜應(yīng)用在所述第一物體形狀上，就得到所述輪廓。所述特征點(diǎn)定位模塊還將所述至少一個(gè)第一特征點(diǎn)位置傳遞到所述圖像處理子系統(tǒng)的輸出，因此所述姿勢(shì)可以通過(guò)跟蹤從所述圖像處理子系統(tǒng)得到的至少一個(gè)第一特征點(diǎn)位置而被檢測(cè)出來(lái)。
[0015]在一個(gè)實(shí)施例中，檢測(cè)一個(gè)物體的至少一個(gè)預(yù)定部位的姿勢(shì)的系統(tǒng)還包括:連接到所述圖像傳感器的一個(gè)微處理器；和連接到所述微處理器的非暫態(tài)具體介質(zhì)，其中所述非暫態(tài)具體介質(zhì)是用計(jì)算機(jī)可讀指令編碼的，用于實(shí)施所述物體提取模塊、所述主體部位定位模塊和所述特征點(diǎn)定位模塊中至少一個(gè)模塊的功能，因此當(dāng)所述計(jì)算機(jī)可讀指令被執(zhí)行時(shí)，所述微處理器就執(zhí)行相應(yīng)的功能。
[0016]在另一個(gè)實(shí)施例中，所述特征點(diǎn)定位模塊還包括一個(gè)形態(tài)學(xué)掩膜模塊。所述物體提取模塊、所述主體部位定位模塊、所述特征點(diǎn)定位模塊和所述形態(tài)學(xué)掩膜模塊中至少一個(gè)模塊是通過(guò)專用硬件來(lái)實(shí)現(xiàn)的。
[0017]在另一個(gè)實(shí)施例中，檢測(cè)一個(gè)物體的至少一個(gè)預(yù)定部位的姿勢(shì)的系統(tǒng)還包括--第二圖像傳感器，其被配置為從第二視角拍攝所述物體的至少一個(gè)第二圖像，其中所述第二圖像傳感器和所述第一圖像傳感器相隔一個(gè)預(yù)定距離，所述第二圖像和所述第一圖像是同時(shí)拍攝的。所述圖像處理子系統(tǒng)還被配置成:交替地，采取所述第一圖像作為輸入，以產(chǎn)生至少一個(gè)第一特征點(diǎn)位置，采取所述第二圖像作為輸入，以產(chǎn)生至少一個(gè)第二特征點(diǎn)位置。一個(gè)三維位置檢測(cè)模塊也集成到所述系統(tǒng)中，并連接到所述圖像處理子系統(tǒng)的輸出。該模塊根據(jù)所述至少一個(gè)第一特征點(diǎn)位置和所述至少一個(gè)第二特征點(diǎn)位置，確定所述物體的至少一個(gè)預(yù)定部位的至少一個(gè)特征點(diǎn)的至少一個(gè)三維坐標(biāo)。
[0018]在另一個(gè)實(shí)施例中，所述第一圖像和所述第二圖像是二進(jìn)制圖像。
[0019]本發(fā)明有許多優(yōu)點(diǎn)。特別是，本發(fā)明提供了一種自適應(yīng)的、準(zhǔn)確的、快速跟蹤或檢測(cè)方法，該方法能夠很好地適用于實(shí)際環(huán)境中，尤其是物體的任意姿勢(shì)。在各種不同的背景環(huán)境、照明條件和不同的物體尺寸和方向的情況下，本發(fā)明都能可靠運(yùn)行。換句話說(shuō)，當(dāng)物體移近相機(jī)(因此圖像尺寸變大)，或遠(yuǎn)離相機(jī)(圖像尺寸變小)，以及關(guān)于所述相機(jī)在不同的方向上時(shí)，本發(fā)明都可以穩(wěn)健和準(zhǔn)確地運(yùn)行。
[0020]本發(fā)明的另一個(gè)優(yōu)點(diǎn)是，只需要最小計(jì)算資源。因此，整個(gè)算法可以在低成本微型計(jì)算機(jī)系統(tǒng)上來(lái)實(shí)現(xiàn)。
[0021]使用本發(fā)明，在使用前也不需要精心校準(zhǔn)。只要物體是在相機(jī)的視野內(nèi)，本發(fā)明可以連續(xù)地調(diào)整其內(nèi)部參數(shù)，以適應(yīng)不同的物體幾何配置。 【【專利附圖】

【附圖說(shuō)明】】
[0022]圖1是本發(fā)明一個(gè)實(shí)施例的部位檢測(cè)活跟蹤系統(tǒng)的功能方框圖。
[0023]圖2是本發(fā)明一個(gè)實(shí)施例的在圖像處理子系統(tǒng)和其中模塊內(nèi)實(shí)施的檢測(cè)方法的流程圖。
[0024]圖3是本發(fā)明一個(gè)實(shí)施例的在三維位置檢測(cè)模塊內(nèi)實(shí)施的三維位置檢測(cè)方法的流程圖。
[0025]圖4a是本發(fā)明一個(gè)實(shí)施例的由第一圖像傳感器拍攝的第一圖像。
[0026]圖4b是本發(fā)明另一個(gè)實(shí)施例的由第一圖像傳感器拍攝的另一個(gè)第一圖像。
[0027]圖5a_5c是本發(fā)明一個(gè)實(shí)施例的在提取人手形狀時(shí)的一系列中間圖像。
[0028]圖6a顯示本發(fā)明一個(gè)實(shí)施例的在提取人手形狀時(shí)的多個(gè)分割邊界。
[0029]圖6b是本發(fā)明一個(gè)實(shí)施例的分割算法的詳細(xì)方法。
[0030]圖6c顯示本發(fā)明一個(gè)實(shí)施例的人手形狀在一個(gè)預(yù)定區(qū)域內(nèi)的手指，所述預(yù)定區(qū)域是在多個(gè)分割邊界內(nèi)提取出的。
[0031]圖7a_7d顯示本發(fā)明一個(gè)實(shí)施例的在構(gòu)建掩膜、將該掩膜應(yīng)用在人手形狀上、并從人手形狀中提取出至少一個(gè)手指的輪廓時(shí)的一系列中間圖像。
[0032]圖8a顯示本發(fā)明一個(gè)實(shí)施例的找到的手指的輪廓。
[0033]圖Sb顯示本發(fā)明一個(gè)實(shí)施例的在找到手指的輪廓上識(shí)別出一個(gè)特征點(diǎn)。
【【具體實(shí)施方式】】[0034]在本說(shuō)明書中和權(quán)利要求中使用的“包含”，是指包括以下要素，但不排除其他要素。
[0035]本發(fā)明的系統(tǒng)和方法可用于檢測(cè)或跟蹤物體的至少一個(gè)預(yù)定部位，只要該至少一個(gè)預(yù)定部位是從該物體上延伸出來(lái)的。舉個(gè)例子，在下文中描述的該系統(tǒng)和方法是用于檢測(cè)或跟蹤人手(即物體)的至少一個(gè)手指(即至少一個(gè)預(yù)定部位)。但應(yīng)理解，本發(fā)明的檢測(cè)或跟蹤系統(tǒng)并不局限于此。例如，本發(fā)明可以適用于檢測(cè)動(dòng)物的肢體，檢測(cè)飛機(jī)的機(jī)翼等等，本領(lǐng)域普通技術(shù)人員應(yīng)該清楚，即使對(duì)以下描述的具體細(xì)節(jié)做些變化，也可以實(shí)現(xiàn)本發(fā)明。
[0036]圖1是本發(fā)明一個(gè)實(shí)施例的檢測(cè)跟蹤系統(tǒng)的功能方框圖。該系統(tǒng)包括多個(gè)圖像傳感器(20a和20b)、一個(gè)圖象處理子系統(tǒng)22和一個(gè)三維位置檢測(cè)模塊32。圖像處理子系統(tǒng)22的輸入端和輸出端分別連接到多個(gè)圖像傳感器(20a的和20b)和三維位置檢測(cè)模塊32。在一個(gè)實(shí)施例中，每個(gè)圖像傳感器(20a和20b)都被設(shè)置成同時(shí)拍攝運(yùn)動(dòng)中的手的多個(gè)圖像。圖像處理子系統(tǒng)22被設(shè)置成獨(dú)立處理來(lái)自各圖像傳感器(20a和20b)的至少一個(gè)圖像。圖像處理子系統(tǒng)22包括一個(gè)物體提取模塊24、一個(gè)主體部位定位模塊26和一個(gè)特征點(diǎn)定位模塊28。從圖像處理系統(tǒng)22的輸入端接收的所述至少一個(gè)圖像被傳遞到物體提取模塊24，所述物體提取模塊24被設(shè)置成提取手的形狀，然后被傳遞到主體部位定位模塊26，主體部位定位模塊26被設(shè)置成在人手形狀的預(yù)定區(qū)域找到至少一個(gè)手指。主體部位定位模塊26還確定所述至少一個(gè)手指的一個(gè)特征尺寸值(WF)。特征點(diǎn)定位模塊28使用該特征尺寸值(Wf)以分析原始輸入圖像。特征點(diǎn)定位模塊28還包括一個(gè)形態(tài)掩膜(morphologicalmasking)模塊30,形態(tài)掩膜模塊30被設(shè)置成,通過(guò)一個(gè)掩膜(mask)而掩蔽第一個(gè)人手形狀，以獲得至少一個(gè)手指的輪廓形狀，所述掩膜是基于特征尺寸值(Wf)而形成的。特征點(diǎn)定位模塊28被設(shè)置成識(shí)別至少一個(gè)手指輪廓中的至少一個(gè)特征點(diǎn)位置(如圖Sb中的界標(biāo)76)，并生成所述至少一個(gè)特征點(diǎn)76作為圖像處理子系統(tǒng)22的一個(gè)輸出。因此，圖像處理子系統(tǒng)22接受一個(gè)輸入圖像作為輸入，以產(chǎn)生至少一個(gè)特征點(diǎn)位置76作為輸出。
[0037]在一個(gè)示例性實(shí)施例中，所述第一圖像傳感器20a和第二圖像傳感器20b相互間隔一個(gè)預(yù)定距離，它們從不同的視角拍攝同一物體。在一個(gè)實(shí)施例中，第一圖像傳感器20a和第二圖像傳感器20b相互間隔一個(gè)預(yù)定距離，彼此平行。第一圖像傳感器20a和第二圖像傳感器20b之間的距離取決于預(yù)期的工作范圍和本發(fā)明檢測(cè)或跟蹤系統(tǒng)的準(zhǔn)確度。在一個(gè)實(shí)施例中，第一圖像傳感器20a和第二圖像傳感器20b之間的距離為40mm。在另一實(shí)施例中，第一圖像傳感器20a和第二圖像傳感器20b是紅外圖像傳感器。圖像處理子系統(tǒng)22還被設(shè)置成獨(dú)立地處理來(lái)自第一圖像傳感器20a的第一圖像，以產(chǎn)生至少一個(gè)第一特征點(diǎn)位置，以及處理來(lái)自第二圖像傳感器20b的第二圖像，以產(chǎn)生至少一個(gè)第二特征點(diǎn)位置。至少一個(gè)第一特征點(diǎn)位置和至少一個(gè)第二特征點(diǎn)位置兩者都被傳遞到三維位置檢測(cè)模塊32，三維位置檢測(cè)模塊32被設(shè)置成，根據(jù)所述至少第一特征點(diǎn)位置和所述至少第二特征點(diǎn)位置以確定至少一個(gè)興趣點(diǎn)的三維位置(即至少一個(gè)特征點(diǎn))。通過(guò)檢測(cè)或跟蹤特征點(diǎn)位置76，可以跟蹤和檢測(cè)至少一個(gè)手指的姿勢(shì)。在圖像處理子系統(tǒng)和模塊中實(shí)施的檢測(cè)或跟蹤方法的細(xì)節(jié)將在下面的段落中進(jìn)行描述。
[0038]圖像處理子系統(tǒng)22和其中任一模塊(24、26、28、30和32)，或其中一部分，可以通過(guò)專用硬件、或純軟件、或部分硬件和軟件來(lái)實(shí)現(xiàn)。如果圖象處理子系統(tǒng)22和模塊(24、26、28,30和32)是通過(guò)軟件或部分硬件和軟件來(lái)實(shí)現(xiàn)的，那么圖像處理子系統(tǒng)22和模塊(24、
26、28、30和32)還包括至少一個(gè)微處理器和至少一個(gè)連接到所述至少一個(gè)微處理器的非暫態(tài)具體介質(zhì)，其中所述至少一個(gè)非暫態(tài)具體介質(zhì)，被計(jì)算機(jī)可讀指令編碼，用于使所述至少一個(gè)微處理器執(zhí)行如上所述模塊和子系統(tǒng)的至少部分功能和/或如下描述的方法過(guò)程中的步驟。所述至少一個(gè)微處理器還連接到第一圖像傳感器20a和/或第二圖像傳感器20b。
[0039]現(xiàn)在來(lái)看上述圖象處理子系統(tǒng)22和模塊(24、26、28、30和32)的詳細(xì)過(guò)程方法。圖2顯示在圖像處理子系統(tǒng)22和模塊(24、26、28和30)中實(shí)施的檢測(cè)或跟蹤方法34的流程圖。檢測(cè)或跟蹤方法34首先由第一圖像傳感器20a拍攝第一圖像，包括一個(gè)人手(即物體)，然后轉(zhuǎn)發(fā)所述第一圖像到圖像處理子系統(tǒng)22的輸入端。與此同時(shí)，第二圖像傳感器20b也拍攝包含該人手的第二圖像，并被轉(zhuǎn)發(fā)到圖像處理子系統(tǒng)22的輸入端。每個(gè)圖像都由圖像處理處理子系統(tǒng)22和其中模塊(24、26、28和30)獨(dú)立處理。在一個(gè)實(shí)施例中，圖象處理子系統(tǒng)22將輸入圖像轉(zhuǎn)換為二進(jìn)制圖像。在另一個(gè)實(shí)施例中，人手是由圖像中最大亮度值(即白色)表示，其余的背景則由最小亮度值(即黑色)表示。
[0040]在步驟36，提取圖像中的人手形狀(即物體的形狀)，而且，如果圖像中有至少一個(gè)手指伸出的話，也找到伸出最長(zhǎng)手指的指尖。在一個(gè)實(shí)施例中，所提取的人手形狀指向上，意思是伸出最長(zhǎng)手指的指尖觸及人手形狀的頂邊界。步驟36由圖象處理子系統(tǒng)22的物體提取模塊24執(zhí)行。之后在步驟38，在人手形狀的一個(gè)預(yù)定區(qū)域內(nèi)計(jì)算人手形狀的特征尺寸值(WF)。步驟38是由圖象處理子系統(tǒng)22的主體部位定位模塊26執(zhí)行的，主體部位定位模塊26從物體提取模塊24接收人手形狀。
[0041]在一個(gè)實(shí)施例中，特征尺寸值(Wf)的計(jì)算是通過(guò)首先找到一個(gè)參考值(WMf)。在另一個(gè)實(shí)施例中，所述參考值是人的手掌寬度或手腕寬度。如何確定該參考值將在后面詳細(xì)敘述。
[0042]在一個(gè)實(shí)施例中，一個(gè)普通用戶的可能的手指大小被定義為人手指模型，該模型包括典型手指幾何形狀的屬性和參數(shù)，以及與參考值Wref有關(guān)的如手指寬度和手指高度通常范圍的參數(shù)和其他相關(guān)的預(yù)定值。換言之，參考值(WMf)是用來(lái)指定可能的手指寬度和可能的手指長(zhǎng)度的范圍。在一個(gè)具體實(shí)施例中，單個(gè)手指寬度的范圍被指定在K1.Wref到K2 -Wref的范圍內(nèi)，其中K1和K2是第一和第二預(yù)定值。在另一個(gè)具體實(shí)施例中，手指高度范圍是從K3 -Wref到K4 4%，其中K3和K4是第三和第四預(yù)定值。在另一具體實(shí)施例中，Kpκ2、K3、K4 分別是 0.1、0.6、0.3 和 1.5。
[0043]在又一個(gè)實(shí)施例中，根據(jù)至少一個(gè)閾值，確定多個(gè)分割邊界(如圖6a中的56a和56b)。在一個(gè)實(shí)施例中，閾值是基于手指高度范圍的。分割邊界的最小和的最大高度分別是從指尖到手掌的垂直距離K3.Wref和K4.Wref0在確定兩分割邊界(56a和56b)后，人手形狀的一個(gè)預(yù)定區(qū)域(如圖6c中提取出的圖像)就被提取出來(lái)。在一個(gè)實(shí)施例中，預(yù)定區(qū)域的下邊界是在分段邊界(56a和56b)內(nèi)隨機(jī)選擇的。在另一實(shí)施例中，在分割邊界(56a和56b)內(nèi)執(zhí)行收斂分割算法，直到找到手指的最大數(shù)目。然后具有最大數(shù)目手指的那條線被定義為預(yù)定區(qū)域的下邊界。在后者的情況下，單個(gè)手指寬度范圍是用來(lái)識(shí)別合格手指的數(shù)目，以便預(yù)定區(qū)域能包含輸入圖像中的大部分手指(如果不是全部的話)。在另一個(gè)實(shí)施例中，采用快速分割算法，比如二值分割算法和黃金分割算法。將在圖6b-6c以及以下段落中詳細(xì)描述一個(gè)具體實(shí)施的快速分割算法。
[0044]在確定預(yù)定區(qū)域后，測(cè)量預(yù)定區(qū)域內(nèi)找到的每個(gè)手指的尺寸值，特別是寬度。為了確定找到的手指是否包含一個(gè)以上的手指(如有時(shí)在圖像中兩個(gè)手指并攏一起，沒(méi)有分開(kāi))，將找到的手指中測(cè)量的最小寬度與找到的其他手指的寬度相比。比較是通過(guò)計(jì)算一組區(qū)別因子來(lái)執(zhí)行的，區(qū)別因子定義如下:
ai = round (WiZffmin)
其中％是第i個(gè)區(qū)別因子，Wi是第i個(gè)找到的手指，Wmin是找到的手指中測(cè)量的最小寬度。％值要被四舍五入到最近整數(shù)。因此，如果第i個(gè)找到的手指的％等于2，那么就有兩個(gè)手指并攏在一起，在圖像中的第i個(gè)手指位置。
[0045]然后，計(jì)算至少一個(gè)手指的特征尺寸值(WF)，即預(yù)定區(qū)域內(nèi)找到手指的尺寸值(特別是寬度)的加權(quán)平均，其中加權(quán)平均的加權(quán)系數(shù)是基于那組區(qū)別因子％和裕度系數(shù)K的。在一個(gè)實(shí)施例中，至少一個(gè)手指的特征尺寸值(Wf)由下式計(jì)算:
【權(quán)利要求】
1.一種檢測(cè)一個(gè)物體的至少一個(gè)預(yù)定部位的姿勢(shì)的方法，包括步驟: a)從由第一圖像傳感器拍攝的第一圖像中，提取出第一物體形狀； b)計(jì)算所述第一物體形狀一個(gè)預(yù)定區(qū)域內(nèi)的所述預(yù)定部位的一個(gè)特征尺寸值； c)根據(jù)所述特征尺寸值，構(gòu)建一個(gè)掩膜； d)通過(guò)將所述掩膜應(yīng)用在所述第一物體形狀上，從所述第一物體形狀中提取出所述預(yù)定部位的一個(gè)輪廓； e)在所述預(yù)定部位的所述輪廓中，找到至少一個(gè)預(yù)定特征點(diǎn)，從而檢測(cè)出所述預(yù)定部位的所述姿勢(shì)。
2.根據(jù)權(quán)利要求1所述的方法，還包括步驟: a)從所述第一圖像傳感器獲得一系列幀； b)在所述多個(gè)幀上，重復(fù)權(quán)利要求1的步驟(b)、(C)、(d)和(e)； 其中，對(duì)于每個(gè)所述幀，所述特征尺寸值是重新計(jì)算的，所述掩膜是重新構(gòu)建的。
3.根據(jù)權(quán)利要求1所述的方法，其中所述計(jì)算特征尺寸值的步驟還包括以下步驟: a)確定所述物體的一個(gè)參考部位的參考值；所述參考部位不同于所述至少一個(gè)預(yù)定部位； b)根據(jù)所述參考值，計(jì)算多個(gè)閾值。
4.根據(jù)權(quán)利要求3所述的方法，其中所述計(jì)算特征尺寸值的步驟還包括以下步驟: a)根據(jù)第一組所述多個(gè)閾值，確定多個(gè)分割邊界； b)根據(jù)所述分割邊界，從所述第一物體形狀中提取出所述預(yù)定區(qū)域； c)根據(jù)第二組所述多個(gè)閾值，識(shí)別出所述預(yù)定區(qū)域內(nèi)的所述至少一個(gè)預(yù)定部位； d)測(cè)量所述預(yù)定區(qū)域內(nèi)的所述至少一個(gè)預(yù)定部位的尺寸值； e)根據(jù)所述預(yù)定區(qū)域內(nèi)的所述預(yù)定部位的所述尺寸值，計(jì)算所述特征尺寸值。
5.根據(jù)權(quán)利要求4所述的方法，還包括步驟:將掃描線放在所述多個(gè)分割邊界之間，使用快速分割算法；其中所述預(yù)定區(qū)域是在所述掃描線和所述第一物體形狀的頂邊界之間的一個(gè)區(qū)域。
6.根據(jù)權(quán)利要求5所述的方法，其中所述快速分割算法選自以下:二進(jìn)制分割算法、黃金分割算法。
7.根據(jù)權(quán)利要求4所述的方法，其中所述計(jì)算特征尺寸值的步驟還包括以下步驟: a)根據(jù)所述預(yù)定區(qū)域內(nèi)的所述至少一個(gè)預(yù)定部位的所述尺寸值，計(jì)算一組區(qū)別因子； b)計(jì)算所述特征尺寸值，即所述尺寸值的加權(quán)平均，其中所述加權(quán)平均的加權(quán)因子是基于所述組區(qū)別因子和裕度系數(shù)的。
8.根據(jù)權(quán)利要求4所述的方法，還包括步驟:根據(jù)所述特征尺寸值，更新所述第一組和所述第二組多個(gè)閾值。
9.根據(jù)權(quán)利要求1所述的方法，其中所述構(gòu)建掩膜的步驟還包括以下步驟: a)在所述第一物體形狀上執(zhí)行腐蝕操作，因而生成一個(gè)腐蝕形狀； b)在所述腐蝕形狀上執(zhí)行膨脹操作，因而生成所述掩膜； 其中所述腐蝕操作和所述膨脹操作的結(jié)構(gòu)元素的大小是基于所述特征尺寸值的。
10.根據(jù)權(quán)利要求9所述的方法，其中所述結(jié)構(gòu)元素的大小是所述特征尺寸值的一半。
11.根據(jù)權(quán)利要求1所述的方法，其中所述找到至少一個(gè)預(yù)定特征點(diǎn)的步驟還包括以下步驟: a)在所述預(yù)定部位的所述輪廓中，找到所述物體的每個(gè)預(yù)定部位； b)對(duì)于所述第一圖像中的所述每個(gè)預(yù)定特征點(diǎn)，確定至少一個(gè)第一特征點(diǎn)位置。
12.根據(jù)權(quán)利要求11所述的方法，還包括以下步驟: a)從由第二圖像傳感器拍攝的第二圖像中，提取出所述物體的第二物體形狀； b)計(jì)算所述第二物體形狀第二預(yù)定區(qū)域內(nèi)的所述預(yù)定部位的第二特征尺寸值； c)根據(jù)所述第二特征尺寸值，構(gòu)建第二掩膜； d)通過(guò)將所述第二掩膜應(yīng)用在所述第二物體形狀上，從所述第二物體形狀中提取出所述預(yù)定部位的第二輪廓； e)在所述預(yù)定部位的所述第二輪廓中，找到至少一個(gè)預(yù)定特征點(diǎn)； f)對(duì)于所述第二圖像內(nèi)的每個(gè)所述預(yù)定特征點(diǎn)，確定至少一個(gè)第二特征點(diǎn)位置； g)根據(jù)所述第一特征點(diǎn)位置和所述第二特征點(diǎn)位置，確定每個(gè)所述特征點(diǎn)的三維坐標(biāo)。 其中所述第一圖像和所述第二圖像是同時(shí)拍攝的，所述第二圖像傳感器和所述第一圖像傳感器相隔一個(gè)預(yù)定距離。
13.根據(jù)權(quán)利要求12所述的方法，其中所述確定三維坐標(biāo)的步驟是基于三角測(cè)量方法的。
14.根據(jù)權(quán)利要求1所述的方法，其中所述物體是人手；所述至少一個(gè)預(yù)定部位是所述人手的手指；所述至少一個(gè)預(yù)定特征點(diǎn)是所述手指指尖，還包括以下步驟: a)建立一個(gè)感興趣區(qū)域，所述感興趣區(qū)域是在所述預(yù)定部位的所述輪廓中包圍住所述手指的一個(gè)區(qū)域； b)通過(guò)搜索所述感興趣區(qū)域內(nèi)的凸點(diǎn)，找到所述指尖的坐標(biāo)。
15.一種識(shí)別一個(gè)物體的至少一個(gè)預(yù)定部位的方法，包括步驟: a)獲得所述物體的一個(gè)模型；所述模型描述所述至少一個(gè)預(yù)定部位和所述物體之間的至少一個(gè)關(guān)系； b)從第一圖像中提取出所述物體的一個(gè)物體形狀； c)根據(jù)所述模型，計(jì)算所述物體形狀的所述至少一個(gè)預(yù)定部位的特征尺寸值； d)根據(jù)所述特征尺寸值，構(gòu)建一個(gè)掩膜； e)通過(guò)將所述掩膜應(yīng)用到所述物體上，從所述物體形狀中提取出所述至少一個(gè)預(yù)定部位的輪廓； f)從所述輪廓中找出所述至少一個(gè)預(yù)定部位。
16.根據(jù)權(quán)利要求15所述的方法，還包括步驟: a)從所述第一圖像傳感器獲得一系列幀； b)在所述多個(gè)幀上，重復(fù)權(quán)利要求15的步驟(C)、(d)、(e)和⑴； 其中，對(duì)于每個(gè)所述幀，所述特征尺寸值是重新計(jì)算的，所述掩膜是重新構(gòu)建的。
17.根據(jù)權(quán)利要求15所述的方法，其中所述計(jì)算步驟還包括以下步驟: a)根據(jù)所述模型，確定所述物體形狀的一個(gè)參考值； b)根據(jù)所述參考值，計(jì)算所述特征尺寸值。
18.根據(jù)權(quán)利要求17所述的方法，還包括以下步驟:a)找出所述輪廓的所述預(yù)定部位內(nèi)的至少一個(gè)預(yù)定特征點(diǎn)； b)根據(jù)所述至少一個(gè)特征點(diǎn)，檢測(cè)所述預(yù)定部位的姿勢(shì)。
19.根據(jù)權(quán)利要求18所述的方法，其中所述物體是人手；所述至少一個(gè)預(yù)定部位是所述人手的手指；所述至少一個(gè)預(yù)定特征點(diǎn)是所述手指指尖，所述模型包括所述手指和所述人手之間的至少一個(gè)幾何關(guān)系和至少一個(gè)參數(shù)。
20.一種檢測(cè)一個(gè)物體的至少一個(gè)預(yù)定部位的姿勢(shì)的系統(tǒng)，包括: a)第一圖像傳感器，其被設(shè)置為從第一視角拍攝所述預(yù)定部位的至少一個(gè)第一圖像； b)圖像處理子系統(tǒng)，其連接到所述第一圖像傳感器，其中所述圖像處理子系統(tǒng)接收所述至少一個(gè)第一圖像作為輸入，產(chǎn)生至少一個(gè)第一特征點(diǎn)位置作為輸出；所述圖像處理子系統(tǒng)還包括: i)物體提取模塊，其被設(shè)置成從所述輸入提取出所述物體的一個(gè)物體形狀； ?)主體部位定位模塊，其被設(shè)置成，在所述物體形狀的一個(gè)預(yù)定區(qū)域內(nèi)找出所述至少一個(gè)預(yù)定部位，所述主體部位定位模塊還確定所述至少一個(gè)預(yù)定部位的特征尺寸值； iii)特征點(diǎn)定位模塊，其被設(shè)置成，在一個(gè)輪廓的所述至少一個(gè)預(yù)定部位內(nèi)，找到至少一個(gè)第一特征點(diǎn)位置， 所述輪廓是通過(guò)在所述第一物體形狀上使用掩膜而得到的，所述掩膜是根據(jù)所述特征尺寸值而構(gòu)建的； 其中所述特征點(diǎn)定位模塊還將所述至少一個(gè)第一特征點(diǎn)位置傳遞到所述圖像處理子系統(tǒng)的所述輸出；因此，所述姿勢(shì)可以通過(guò)跟蹤從所述圖像處理子系統(tǒng)得到的至少一個(gè)第一特征點(diǎn)位置而被檢測(cè)出來(lái)。
21.根據(jù)權(quán)利要求20所述的方法，還包括: a)連接到所述圖像傳感器的一個(gè)微處理器；和 b)連接到所述微處理器的非暫態(tài)具體介質(zhì)，其中所述非暫態(tài)具體介質(zhì)是用計(jì)算機(jī)可讀指令編碼的，用于實(shí)施所述物體提取模塊、所述主體部位定位模塊和所述特征點(diǎn)定位模塊中至少一個(gè)模塊的功能； 因此當(dāng)所述計(jì)算機(jī)可讀指令被執(zhí)行時(shí)，所述微處理器就執(zhí)行相應(yīng)的功能。
22.根據(jù)權(quán)利要求20所述的系統(tǒng)，其中所述特征點(diǎn)定位模塊還包括一個(gè)形態(tài)學(xué)掩膜模塊；其中所述物體提取模塊、所述主體部位定位模塊、所述特征點(diǎn)定位模塊和所述形態(tài)學(xué)掩膜模塊中的至少一個(gè)模塊是通過(guò)專用硬件來(lái)實(shí)施的。
23.根據(jù)權(quán)利要求20所述的系統(tǒng)，其中所述第一圖像是一個(gè)二進(jìn)制圖像。
24.根據(jù)權(quán)利要求20所述的系統(tǒng)，還包括: a)第二圖像傳感器，其被配置為從第二視角拍攝所述物體的至少一個(gè)第二圖像；其中所述第二圖像傳感器和所述第一圖像傳感器相隔一個(gè)預(yù)定距離，所述至少一個(gè)第二圖像和所述第一圖像是同時(shí)拍攝的；其中所述圖像處理子系統(tǒng)還被配置成:交替地，采取所述第一圖像作為輸入，以產(chǎn)生至少一個(gè)第一特征點(diǎn)位置，采取所述第二圖像作為輸入，以產(chǎn)生至少一個(gè)第二特征點(diǎn)位置； b)三維位置檢測(cè)模塊，其連接到所述圖像處理子系統(tǒng)的輸出，其中所述三維位置檢測(cè)模塊根據(jù)所述至少一個(gè)第一特征點(diǎn)位置和所述至少一個(gè)第二特征點(diǎn)位置，確定所述物體的所述至少一個(gè)預(yù)定部位的至少一個(gè)特征點(diǎn)的至少一個(gè)三維坐標(biāo)。
25.根據(jù)權(quán)利要求24所述的系統(tǒng)，其中所述第一圖像和第二圖像是二進(jìn)制圖像。
【文檔編號(hào)】G06T7/00GK103996019SQ201410135793
【公開(kāi)日】2014年8月20日 申請(qǐng)日期:2014年4月4日 優(yōu)先權(quán)日:2014年2月24日
【發(fā)明者】唐學(xué)燕, 丁游 申請(qǐng)人:香港應(yīng)用科技研究院有限公司