用于從多個(gè)連續(xù)拍攝圖像提取峰圖像的設(shè)備和方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理技術(shù)，更具體地講，涉及用于從連續(xù)拍攝圖像提取峰圖像的設(shè)備和方法。
【背景技術(shù)】
[0002]當(dāng)使用連續(xù)拍攝圖像執(zhí)行識(shí)別處理時(shí)，除了包括將被識(shí)別的圖像之外，還可包括各種圖像。為了提高識(shí)別性能，需要觀察圖像中的對(duì)象的變化，并且所述觀察需要除靜止圖像識(shí)別之外的學(xué)習(xí)配置。盡管學(xué)習(xí)配置適用于識(shí)別，但是對(duì)顯著提高識(shí)別精度來說是個(gè)挑戰(zhàn)。此外，與靜止圖像識(shí)別相比，使用學(xué)習(xí)配置的識(shí)別需要更多的處理，因此使用學(xué)習(xí)配置的識(shí)別不適宜被用于移動(dòng)裝置(諸如，智能電話和平板PC)中。

【發(fā)明內(nèi)容】

[0003]技術(shù)問題
[0004]本發(fā)明的目的是提供一種從連續(xù)拍攝圖像中提取峰圖像(peak image)的設(shè)備和方法。
[0005]技術(shù)方案
[0006]在一個(gè)總體方面，提供一種用于提取峰圖像的設(shè)備，包括:圖像選擇器，被配置為選擇連續(xù)拍攝圖像之一；基礎(chǔ)圖像確定器，被配置為根據(jù)預(yù)定標(biāo)準(zhǔn)確定至少一個(gè)基礎(chǔ)圖像；差值計(jì)算器，被配置為計(jì)算所述至少一個(gè)基礎(chǔ)圖像與選擇的圖像之間的差值；峰圖像確定器，被配置為基于計(jì)算的差值從所述連續(xù)拍攝圖像中確定峰圖像。
[0007]基礎(chǔ)圖像確定器還可被配置為:從具有選擇的圖像的幀之前或之后的幀的圖像、由用戶注冊(cè)為基礎(chǔ)圖像的圖像、所述多個(gè)連續(xù)拍攝圖像中的任意一個(gè)以及基于用戶的使用日志來被考慮為用戶展現(xiàn)最頻繁的面部表情或最不頻繁的面部表情的圖像中確定所述至少一個(gè)基礎(chǔ)圖像。
[0008]差值計(jì)算器還可被配置為:分別從所述至少一個(gè)基礎(chǔ)圖像和選擇的圖像提取特征值，并基于提取的特征值計(jì)算所述至少一個(gè)基礎(chǔ)圖像與選擇的圖像之間的差值。
[0009]差值計(jì)算器還可被配置為:響應(yīng)于確定了多個(gè)基礎(chǔ)圖像，對(duì)選擇的圖像與多個(gè)基礎(chǔ)圖像中的每個(gè)基礎(chǔ)圖像之間的計(jì)算的差值進(jìn)行累積，或者將所述多個(gè)基礎(chǔ)圖像的平均特征值與選擇的圖像的特征值進(jìn)行比較。
[0010]差值計(jì)算器還可被配置為:通過將權(quán)重值施加于圖像中對(duì)象的特定區(qū)域來計(jì)算所述至少一個(gè)基礎(chǔ)圖像與選擇的圖像之間的差值。
[0011]峰圖像確定器還可被配置為:從所述連續(xù)拍攝圖像中確定具有大于預(yù)定閾值的差值的圖像或者具有最大差值或最小差值的圖像為峰圖像。
[0012]所述設(shè)備還可包括:連續(xù)拍攝圖像產(chǎn)生器，被配置為通過對(duì)對(duì)象進(jìn)行連續(xù)拍攝來產(chǎn)生所述連續(xù)拍攝圖像。
[0013]在另一總體方面，提供一種用于提取峰圖像的方法，包括:選擇連續(xù)拍攝圖像之一；根據(jù)預(yù)定標(biāo)準(zhǔn)確定至少一個(gè)基礎(chǔ)圖像；計(jì)算所述至少一個(gè)基礎(chǔ)圖像與選擇的圖像之間的差值；基于計(jì)算的差值從所述連續(xù)拍攝圖像中確定峰圖像。
[0014]確定所述至少一個(gè)基礎(chǔ)圖像的步驟可包括:從具有選擇的圖像的幀之前或之后的幀的圖像、由用戶注冊(cè)為基礎(chǔ)圖像的圖像、所述多個(gè)連續(xù)拍攝圖像中的任意一個(gè)以及基于用戶的使用日志來被考慮為用戶展現(xiàn)最頻繁的面部表情或最不頻繁的面部表情的圖像中確定所述至少一個(gè)基礎(chǔ)圖像。
[0015]計(jì)算差值的步驟可包括:分別從所述至少一個(gè)基礎(chǔ)圖像和選擇的圖像提取特征值，基于提取的特征值計(jì)算所述至少一個(gè)基礎(chǔ)圖像與選擇的圖像之間的差值。
[0016]計(jì)算差值的步驟可包括:響應(yīng)于確定了多個(gè)基礎(chǔ)圖像，累積計(jì)算的選擇的圖像與多個(gè)基礎(chǔ)圖像中的每個(gè)之間的差值，或者將多個(gè)基礎(chǔ)圖像之間的平均特征值與選擇的圖像的特征值進(jìn)行比較。
[0017]計(jì)算差值的步驟可包括:通過將權(quán)重值施加于圖像中對(duì)象的特定區(qū)域來計(jì)算所述至少一個(gè)基礎(chǔ)圖像與選擇的圖像之間的差值。
[0018]確定峰圖像的步驟可包括:將所述多個(gè)連續(xù)拍攝圖像中具有大于預(yù)定閾值的差值的圖像或者具有最大差值或最小差值的圖像確定為峰圖像。
[0019]所述方法還可包括:通過對(duì)對(duì)象進(jìn)行連續(xù)拍攝來產(chǎn)生所述多個(gè)連續(xù)拍攝圖像。
[0020]有益效果
[0021]通過檢測(cè)對(duì)象的面部表情或手勢(shì)的改變并提取具有已經(jīng)發(fā)生的最大改變或開始改變的幀的圖像，可選擇被認(rèn)為對(duì)面部表情識(shí)別、手勢(shì)識(shí)別和面部識(shí)別重要的圖像，從而提尚識(shí)別性能。
[0022]此外，通過計(jì)算面部表情持續(xù)的時(shí)間，可檢測(cè)額外的信息(諸如，用戶的專注程度)。
【附圖說明】
[0023]圖1是示出根據(jù)本發(fā)明示例性實(shí)施例的用于提取峰圖像的設(shè)備的配置圖。
[0024]圖2是用于解釋用于根據(jù)基礎(chǔ)圖像確定峰圖像的方法的示圖。
[0025]圖3是示出根據(jù)本發(fā)明示例性實(shí)施例的用于提取峰圖像的方法的流程圖。
【具體實(shí)施方式】
[0026]將在下文中參照附圖更全面地描述本發(fā)明，本發(fā)明的示例性實(shí)施例在附圖中被示出。在以下描述中，當(dāng)在此包括的已知功能和配置可能在不必要的細(xì)節(jié)上模糊主題時(shí)，將省略已知功能和配置的詳細(xì)描述。此外，考慮根據(jù)示例性實(shí)施例的功能定義以下術(shù)語(yǔ)，并可根據(jù)用戶或管理者的目的或者先例等而變化地定義以下術(shù)語(yǔ)。因此，應(yīng)該基于整體內(nèi)容來定義術(shù)語(yǔ)。
[0027]在下文中，峰圖像(peak image)指具有對(duì)象的姿勢(shì)或手勢(shì)改變最顯著的幀的圖像，或者具有發(fā)生這樣的改變的幀的圖像。
[0028]圖1是示出根據(jù)本發(fā)明示例性實(shí)施例的用于提取峰圖像的設(shè)備的配置圖。
[0029]這里，以下示例性實(shí)施例中的配置單元按其功能被劃分，而并不意味著每個(gè)配置單元是相互獨(dú)立的硬件元件或軟件元件。即，為了方便解釋起見來描述每個(gè)配置單元。因此，至少兩個(gè)配置單元可被集成到一個(gè)主體中，或者一個(gè)配置單元可被劃分為多個(gè)配置單元來執(zhí)行相同的功能。在由權(quán)利要求確定的本發(fā)明的精神和范圍內(nèi)，配置單元之間的集成或劃分是可行的。
[0030]參照?qǐng)D1，用于提取峰圖像的設(shè)備100包括:連續(xù)拍攝圖像產(chǎn)生器110、圖像選擇器120、基礎(chǔ)圖像確定器130、差值計(jì)算器140和峰圖像確定器150。
[0031]連續(xù)拍攝圖像產(chǎn)生器110可對(duì)對(duì)象進(jìn)行連續(xù)拍攝，從而產(chǎn)生連續(xù)拍攝圖像。連續(xù)拍攝圖像產(chǎn)生器110可以是數(shù)碼相機(jī)、攝像機(jī)、移動(dòng)電話、便攜式多媒體播放器(PMP)、網(wǎng)絡(luò)相機(jī)和能夠拍攝對(duì)對(duì)象進(jìn)行拍攝從而產(chǎn)生連續(xù)拍攝圖像的任何裝置。
[0032]同時(shí)，連續(xù)拍攝圖像產(chǎn)生器110可包括在設(shè)備100中，或者連續(xù)拍攝圖像產(chǎn)生器110可以是與設(shè)備100分離的外部裝置。
[0033]圖像選擇器120可選擇連續(xù)拍攝圖像之一。在一個(gè)實(shí)施例中，圖像選擇器120可根據(jù)產(chǎn)生的時(shí)間點(diǎn)順序地從連續(xù)拍攝圖像中選擇圖像。
[0034]基礎(chǔ)圖像確定器130可根據(jù)預(yù)定標(biāo)準(zhǔn)確定基礎(chǔ)圖像。在一個(gè)實(shí)施例中，基礎(chǔ)圖像確定器130可從具有由圖像選擇器120選擇的圖像的幀之前或之后的幀的圖像、由用戶注冊(cè)為基礎(chǔ)圖像的圖像、連續(xù)拍攝圖像中的任意一個(gè)以及基于用戶的使用日志而被考慮為用戶展現(xiàn)的最頻繁的面部表情或最不頻繁的面部表情的圖像中確定基礎(chǔ)圖像。然而，以上僅是示例性的，基礎(chǔ)圖像確定器130可根據(jù)各種類型的標(biāo)準(zhǔn)確定基礎(chǔ)圖像。例如，基礎(chǔ)圖像確定器130可將特定范圍內(nèi)存在的多個(gè)連續(xù)拍攝圖像確定為基礎(chǔ)圖像。
[0035]在基礎(chǔ)圖像確定器130將基于用戶的使用日志而被考慮為用戶展現(xiàn)的最頻繁的面部表情或最不頻繁的面部表情的圖像確定為基礎(chǔ)圖像的情況下，設(shè)備100還可包括用于存儲(chǔ)用戶的使用日志信息的使用日志存儲(chǔ)器(未示出)。
[0036]在一個(gè)實(shí)施例中，基礎(chǔ)圖像確定器130可根據(jù)本發(fā)明的使用或目的或功能來確定單個(gè)基礎(chǔ)圖像或多個(gè)基礎(chǔ)圖像。如以下描述，在基礎(chǔ)圖像確定器130確定多個(gè)基礎(chǔ)圖像的情況下，每個(gè)基礎(chǔ)圖像被分配不同的權(quán)重值，因此不同的權(quán)重值被施加于針對(duì)每個(gè)不同的基礎(chǔ)圖像的差值，從而可基于施加了不同權(quán)重值的差值確定峰圖像。
[0037]差值計(jì)算器140可計(jì)算由圖像選擇器120選擇的圖像與由圖像確定器130確定的基礎(chǔ)圖像之間的差值。
[0038]差值計(jì)算器140可對(duì)由圖像選擇器120選擇的圖像和由基礎(chǔ)圖像確定器130確定的每個(gè)基礎(chǔ)圖像進(jìn)行分析。然后，差值計(jì)算器140分別從選擇的圖像和每個(gè)確定的基礎(chǔ)圖像提取特征值，并將每個(gè)基礎(chǔ)圖像的提取的特征值與選擇的圖像的提取的特征值進(jìn)行比較，來確定每個(gè)基礎(chǔ)圖像與選擇的圖像之間的相似度，以計(jì)算它們之間的差值。這里，可通過使用針對(duì)定義的區(qū)域的每個(gè)像素的邊緣直方圖、使用針對(duì)面部標(biāo)識(shí)的主動(dòng)形狀模型、將兩個(gè)圖像之間的顏色直方圖進(jìn)行比較、將兩個(gè)圖像之間的顏色變化進(jìn)行比較、使用標(biāo)量不變特征變換(SIFT)算法并使用加速魯棒特征(SURF)確定相似度。
[0039]在基礎(chǔ)圖像確定器130確定單個(gè)基礎(chǔ)圖像的一個(gè)實(shí)施例中，差值計(jì)算器140可將權(quán)重值施加于基礎(chǔ)圖像和由圖像選擇器選擇的圖像兩者中的對(duì)象的特定區(qū)域，從而計(jì)算兩個(gè)圖像之間的差值。即，差值計(jì)算器140可將不同的權(quán)重值施加于圖像中對(duì)象的眼睛、鼻子和嘴巴，然后基于不同的權(quán)重值計(jì)算基礎(chǔ)圖像與選擇的圖像之間的差值。
[0040]在基礎(chǔ)圖像確定器130確定多個(gè)基礎(chǔ)圖像的一個(gè)實(shí)施例中，當(dāng)計(jì)算多個(gè)基礎(chǔ)圖像中的每個(gè)基礎(chǔ)圖像與由圖像選擇器120選擇的圖像之間差值時(shí)，差值計(jì)算器140對(duì)多個(gè)基礎(chǔ)圖像中的每個(gè)基礎(chǔ)圖像與選擇的圖像之間的計(jì)算的差值進(jìn)行累積，或者計(jì)算多個(gè)基礎(chǔ)圖像之間的平均特征值，然后將計(jì)算的平均特征值與選擇的圖像的特征值進(jìn)行比較。在這種情況下，可為每個(gè)基礎(chǔ)圖像分配不同的權(quán)重值，因此，不同的權(quán)重值可被施加于基于選擇的圖像和多個(gè)基礎(chǔ)圖像中的每個(gè)的差值。
[0041]峰圖像確定器150可基于由差值計(jì)算器140計(jì)算的差值來從多個(gè)連續(xù)拍攝圖像中確定峰圖像。在一個(gè)實(shí)施例中，峰圖像確定器150可具有大于預(yù)定閾值的差值的圖像或者由連續(xù)拍攝圖像產(chǎn)生器110產(chǎn)生的連續(xù)拍攝圖像中具有最大差值或最小差值的圖像確定為峰圖像。
[0042]圖2是