專利名稱:圖像獲取和處理設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像獲取和處理設(shè)備。
技術(shù)背景
盡管在未使用如美國專利No. 6，407，777以及美國公布申請No. 2005/0140801、 No. 2005/004112UNO. 2006/0093212和No. 2006/0204054中所述的技術(shù)優(yōu)點(diǎn)進(jìn)行操作的攝影機(jī)中紅眼缺陷非常普遍，但所拍攝的數(shù)碼相片被丟棄或毀掉的最普通的原因之一是因?yàn)橄嗥械囊粋€或多個面部區(qū)域具有除紅眼缺陷之外的攝影缺陷，上述這些申請指定了同一代理人，本文以引用的方式合并上述申請。最常見的例子就是人們移動或搖頭時(shí)；某人閉眼或眨眼時(shí)或者某人打哈欠時(shí)。在一幅相片中存在若干臉時(shí)，一張臉有“缺陷”則足以毀掉整個相片。盡管數(shù)碼攝影機(jī)允許用戶對同一場景快速拍攝若干相片。通常，這些攝影機(jī)不提供面部錯誤的警告，在不重復(fù)拍攝相片的構(gòu)成階段(例如，再次將每個人組合在一起)并重新拍攝所述場景的情況下也不提供校正這種錯誤的方法。這類問題對于經(jīng)常以不能復(fù)制的獨(dú)特的自然姿勢拍照的兒童來說尤其難于解決。由于兒童在拍攝時(shí)移動了頭而毀掉了照片時(shí)，這對攝影師來說是非常令人失望的。
通過引用的方式合并的美國專利No. 6，301，440公開了一種圖像拍攝裝置，其中曝光時(shí)刻由圖像內(nèi)容控制。當(dāng)觸發(fā)器被激活時(shí)，分析用戶所推薦的圖像并且在所述裝置對圖像進(jìn)行拍攝之前改變成像參數(shù)，以獲得最佳的圖像質(zhì)量。例如，所述裝置可以延遲對圖像的拍攝，直至圖像中的每個人都處于微笑狀態(tài)。

發(fā)明內(nèi)容
為了實(shí)現(xiàn)上述以及其它優(yōu)點(diǎn)，根據(jù)第一方面，提供了一種圖像獲取和處理設(shè)備，包括
處理器(120)；
電連接到所述處理器的圖像拍攝裝置(60)，所述圖像拍攝裝置包括聚焦機(jī)構(gòu) (50)和光敏元件(40)，所述圖像拍攝裝置配置用于獲取場景的主像；
電連接到所述圖像拍攝裝置的存儲器(82)，所述存儲器配置用于存儲所獲取的主像；
電連接到所述存儲器的臉檢測及跟蹤模塊(130)，所述臉檢測及跟蹤模塊配置用于確定所述主像中的一個或多個面部區(qū)域；
圖像校正模塊(90)，配置用于電連接到所述臉檢測及跟蹤模塊(130)，所述圖像校正模塊(90)配置用于對所述一個或多個面部區(qū)域進(jìn)行分析以確定所述面部區(qū)域中的任意一個是否包含缺陷；
所述圖像拍攝裝置(60)還配置用于在不包括獲取所述主像的時(shí)間的時(shí)間段內(nèi)獲取所述場景名義上的一系列較低分辨率圖像；
所述臉檢測及跟蹤模塊(130)還配置用于確定所述一系列低分辨率圖像中的一個或多個低分辨率面部區(qū)域組；
所述圖像校正模塊(90)還配置用于對所述面部區(qū)域組進(jìn)行分析以確定對應(yīng)于所述主像的有缺陷的面部區(qū)域的組中的任意面部區(qū)域是否包含缺陷；
組合所述相應(yīng)組中的無缺陷面部區(qū)域以提供高質(zhì)量無缺陷的面部區(qū)域；以及
通過使用來自相應(yīng)高質(zhì)量無缺陷的面部區(qū)域的圖像信息來對所述主像的任意有缺陷的面部區(qū)域的至少一部分進(jìn)行校正，以生成校正圖像；和
電連接到所述臉檢測及跟蹤模塊(130)的圖像顯示器(100)，所述圖像顯示器配置用于顯示所述主像，并且還配置用于接收響應(yīng)于用戶交互的輸入。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像校正模塊(90)進(jìn)一步包括用于在包括獲取所述主像的所述時(shí)間之前或之后的一個或多個時(shí)間段內(nèi)獲取所述場景名義上的一系列較低分辨率圖像的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像校正模塊進(jìn)一步包括用于對每個高質(zhì)量無缺陷的面部區(qū)域以及相應(yīng)的有缺陷的面部區(qū)域應(yīng)用包括限定面部區(qū)域外圍的多個頂點(diǎn)的模型的裝置，以及
用于根據(jù)所述各區(qū)域的頂點(diǎn)的對應(yīng)性來將所述高質(zhì)量無缺陷的面部區(qū)域的像素映射至所述有缺陷的面部區(qū)域的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像校正模塊進(jìn)一步包括用于應(yīng)用主動外觀模型(AAM)的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像拍攝裝置進(jìn)一步包括用于以不同于所述低分辨率圖像的曝光級的曝光級來獲取所述主像的裝置，并且
其中所述圖像校正模塊包括用于將所述高質(zhì)量無缺陷的面部區(qū)域的亮度級映射至所述有缺陷的面部區(qū)域的亮度級的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述存儲器進(jìn)一步包括用于將來自所述一系列低分辨率圖像的低分辨率面部區(qū)域組存儲于所述主像的圖像頭文件中的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像校正模塊進(jìn)一步包括用于從所述面部區(qū)域組刪除包括超過面部區(qū)域組中臉的平均尺寸門限量的臉的面部區(qū)域的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像校正模塊進(jìn)一步包括用于從所述面部區(qū)域組刪除包括具有超出面部區(qū)域組中臉的平均方向門限量的方向的臉的面部區(qū)域的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像顯示器進(jìn)一步包括用于顯示所述主像的裝置，以及用于接收響應(yīng)于用戶交互的輸入的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述臉檢測及跟蹤模塊進(jìn)一步包括用于在所述獲取所述主像之前的一個時(shí)間確定所述主像中的一個或多個面部區(qū)域的裝置。
根據(jù)本發(fā)明的實(shí)施方式，所述圖像顯示器進(jìn)一步包括用于顯示所述校正圖像的裝置，以及用于響應(yīng)于用戶交互從而能夠?qū)⑺鲂Ｕ龍D像保存到所述存儲器中的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像校正模塊還包括[0031]主動外觀模型模塊(150)，用于對面部區(qū)域組中的每張臉應(yīng)用主動外觀模型 (AAM)；
電連接到所述主動外觀模型模塊的圖像質(zhì)量模塊(140)，所述圖像質(zhì)量模塊配置用于對面部區(qū)域組中的每張臉的AAM參數(shù)進(jìn)行分析以提供面部表情的表示；
其中所述圖像校正模塊進(jìn)一步包括用于從所述面部區(qū)域組刪除具有有缺陷表情的臉的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像校正模塊包括
主動外觀模型模塊，用于對面部區(qū)域組中的每張臉應(yīng)用主動外觀模型(AAM)；
電連接到所述主動外觀模型模塊的圖像質(zhì)量模塊，所述圖像質(zhì)量模塊配置用于對面部區(qū)域組中的每張臉的AAM參數(shù)進(jìn)行分析以提供面部方向的表示；
其中所述圖像校正模塊進(jìn)一步包括用于從所述面部區(qū)域組刪除具有不希望的方向的臉的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像校正模塊包括
主動外觀模型模塊，用于對每個面部區(qū)域應(yīng)用主動外觀模型(AAM)；以及
電連接到所述主動外觀模型模塊的圖像質(zhì)量模塊，所述圖像質(zhì)量模塊配置用于對每個面部區(qū)域的AAM參數(shù)進(jìn)行分析以提供面部表情的表示。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像校正模塊進(jìn)一步包括用于針對對比度、銳度、結(jié)構(gòu)、亮度級或膚色中的一個或多個來對每個面部區(qū)域進(jìn)行分析的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像校正模塊進(jìn)一步包括用于對每個面部區(qū)域進(jìn)行分析以確定所述面部區(qū)域中的任意眼睛是否是閉著的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像校正模塊進(jìn)一步包括用于對每個面部區(qū)域進(jìn)行分析以確定所述面部區(qū)域的任意嘴是否是張開的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像校正模塊進(jìn)一步包括用于對每個面部區(qū)域進(jìn)行分析以確定所述面部區(qū)域的任意嘴是否是微笑的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像校正模塊進(jìn)一步包括用于當(dāng)所述面部區(qū)域組超過給定數(shù)量時(shí)啟動分析、組合和校正的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像校正模塊進(jìn)一步包括用于對所述面部區(qū)域組的臉進(jìn)行調(diào)整大小和對準(zhǔn)的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像校正模塊進(jìn)一步包括用于根據(jù)所述面部區(qū)域組的臉的基本點(diǎn)來對所述面部區(qū)域組的臉進(jìn)行對準(zhǔn)的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像校正模塊進(jìn)一步包括用于使用所述主像的剩余部分來對所述主像的校正區(qū)域進(jìn)行混合和/或填充的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像顯示器進(jìn)一步包括用于顯示所述校正圖像，以及用于響應(yīng)于用戶交互來調(diào)整所述校正圖像的校正的裝置。
根據(jù)第二方面，提供了一種圖像獲取和處理設(shè)備，包括
處理器；
電連接到所述處理器的圖像拍攝裝置，所述圖像拍攝裝置包括聚焦機(jī)構(gòu)和光敏元件，所述圖像拍攝裝置配置用于獲取場景的主像；
電連接到所述圖像拍攝裝置的存儲器，所述存儲器配置用于存儲所獲取的主像；[0054]電連接到所述存儲器的臉檢測及跟蹤模塊，所述臉檢測及跟蹤模塊配置用于確定所述主像中的一個或多個面部區(qū)域；
圖像校正模塊，配置用于電連接到所述臉檢測及跟蹤模塊，所述圖像校正模塊配置用于針對缺陷來對所述一個或多個主像面部區(qū)域進(jìn)行分析，并且確定一個或多個是有缺陷的；
所述圖像拍攝裝置還配置用于獲取所述場景名義上的一系列較低分辨率圖像；
所述臉檢測及跟蹤模塊還配置用于確定所述一系列低分辨率圖像中的一個或多個低分辨率面部區(qū)域組；
所述圖像校正模塊還配置用于
對所述一個或多個低分辨率面部區(qū)域組進(jìn)行分析以確定對應(yīng)于有缺陷的主像面部區(qū)域的一個或多個組；并且
通過用于使用來自一個或多個相應(yīng)的低分辨率面部區(qū)域的圖像信息來對有缺陷的主像面部區(qū)域的至少一部分進(jìn)行校正，以生成校正圖像，所述一個或多個相應(yīng)的低分辨率面部區(qū)域不包括與所述有缺陷的主像面部區(qū)域的所述部分相同的缺陷；以及
電連接到所述臉檢測及跟蹤模塊的圖像顯示器，所述圖像顯示器配置用于顯示基于所述校正的校正圖像，并且還配置用于響應(yīng)于用戶交互從而能夠?qū)⑿Ｕ龍D像保存到所述存儲器中。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像校正模塊進(jìn)一步包括用于對一個或多個不包括所述相同缺陷的低分辨率面部區(qū)域以及相應(yīng)的有缺陷的主像面部區(qū)域應(yīng)用包括限定面部區(qū)域的外圍的多個頂點(diǎn)的模型的裝置，以及用于根據(jù)各區(qū)域的頂點(diǎn)的對應(yīng)性來將所述一個或多個低分辨率面部區(qū)域的像素映射至所述相應(yīng)的有缺陷的主像面部區(qū)域的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像校正模塊進(jìn)一步包括用于應(yīng)用主動外觀模型(AAM)的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像拍攝裝置進(jìn)一步包括用于以不同于所述低分辨率圖像的曝光級的曝光級來獲取所述主像的裝置，并且其中所述圖像校正模塊進(jìn)一步包括用于將不具有所述相同缺陷的一個或多個低分辨率面部區(qū)域的亮度級映射至所述有缺陷的主像面部區(qū)域的亮度級的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述存儲器進(jìn)一步包括用于將來自所述一系列低分辨率圖像的低分辨率面部區(qū)域組存儲于所述主像的圖像頭文件中的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像校正模塊進(jìn)一步包括用于從至少一個面部區(qū)域組刪除包括超過所述至少一個面部區(qū)域組中臉的平均尺寸門限量的臉的面部區(qū)域的
直ο
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像校正模塊進(jìn)一步包括用于從面部區(qū)域組刪除包括具有超出所述面部區(qū)域組中臉的平均方向門限量的方向的臉的面部區(qū)域的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像顯示器進(jìn)一步包括用于顯示所述主像的裝置，以及用于用戶交互從而通過所述圖像校正模塊啟動對所述一個或多個組進(jìn)行分析，對有缺陷的主像的至少一個部分進(jìn)行校正，或者二者的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像顯示器進(jìn)一步包括用于顯示基于所述校正的校正圖像的裝置；以及所述存儲器進(jìn)一步包括用于響應(yīng)于用戶交互以保存所述校正圖像的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像校正模塊還包括
主動外觀模型模塊，用于對面部區(qū)域組中的每張臉應(yīng)用主動外觀模型(AAM)；
電連接到所述主動外觀模型模塊的圖像質(zhì)量模塊，所述圖像質(zhì)量模塊配置用于對面部區(qū)域組中的每張臉的AAM參數(shù)進(jìn)行分析以提供面部表情的表示；
其中所述圖像校正模塊進(jìn)一步包括用于從所述面部區(qū)域組刪除具有有缺陷表情的臉的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像校正模塊包括
主動外觀模型模塊，用于對面部區(qū)域組中的每張臉應(yīng)用主動外觀模型(AAM)；
電連接到所述主動外觀模型模塊的圖像質(zhì)量模塊，所述圖像質(zhì)量模塊配置用于對面部區(qū)域組中的每張臉的AAM參數(shù)進(jìn)行分析以提供面部方向的表示；
其中所述圖像校正模塊進(jìn)一步包括用于從所述面部區(qū)域組刪除具有不希望的方向的臉的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像校正模塊包括
主動外觀模型模塊，用于對每個面部區(qū)域應(yīng)用主動外觀模型(AAM)；以及
電連接到所述主動外觀模型模塊的圖像質(zhì)量模塊，所述圖像質(zhì)量模塊配置用于對每個面部區(qū)域的AAM參數(shù)進(jìn)行分析以提供面部表情的表示。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像校正模塊進(jìn)一步包括用于確定所述面部區(qū)域的眼睛是否是閉著的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像校正模塊進(jìn)一步包括用于確定所述面部區(qū)域的嘴是否是張開的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像校正模塊進(jìn)一步包括用于確定所述面部區(qū)域的嘴是否是微笑的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像顯示器進(jìn)一步包括用于顯示校正圖像的裝置，以及用于響應(yīng)于用戶交互來調(diào)整所述校正圖像的校正的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像拍攝裝置進(jìn)一步包括用于在不包括獲取所述主像的時(shí)間的時(shí)間段內(nèi)獲取所述一系列低分辨率圖像的裝置。
根據(jù)本發(fā)明的實(shí)施方式，其中所述圖像校正裝置進(jìn)一步包括用于將無缺陷的低分辨率的面部區(qū)域組合成組合圖像的裝置，以及用于使用來自組合圖像的圖像信息來對所述有缺陷的主像面部區(qū)域的所述至少一部分進(jìn)行校正的裝置。


下文將參考附圖，通過示例的方式來描述實(shí)施例，其中
圖1是根據(jù)本發(fā)明實(shí)施例進(jìn)行操作的圖像處理設(shè)備的框圖；
圖2是根據(jù)本發(fā)明優(yōu)選實(shí)施例的圖像處理方法的流程圖；以及
圖3和圖4是已經(jīng)對其應(yīng)用了主動外觀模型的示例圖像組。 具體實(shí)施方式
可以使用數(shù)碼攝影機(jī)來實(shí)施某些實(shí)施例，該數(shù)碼攝影機(jī)包括(i)對預(yù)覽圖像流進(jìn)行操作的臉跟蹤器；(ii)超分辨率處理模塊，其被配置用于根據(jù)若干低分辨率圖像的組合來創(chuàng)建較高分辨率的圖像；以及(iii)面部區(qū)域質(zhì)量分析模塊，其用于確定各面部區(qū)域的質(zhì)。
優(yōu)選地，將超分辨率應(yīng)用于臉跟蹤期間提取所得的預(yù)覽面部區(qū)域。
這些實(shí)施例使得可以通過使用預(yù)覽圖像數(shù)據(jù)并采用超分辨率技術(shù)來對數(shù)碼攝影機(jī)內(nèi)所獲取的圖像的面部區(qū)域中的錯誤和缺陷進(jìn)行校正。
圖1是根據(jù)某些實(shí)施例進(jìn)行操作的圖像獲取裝置20的方框圖，其在本實(shí)施例中為便攜式數(shù)碼攝影機(jī)。應(yīng)該理解，數(shù)碼攝影機(jī)中實(shí)現(xiàn)的許多處理在運(yùn)行在微處理器、中央處理單元、控制器、數(shù)字信號處理器和/或?qū)Ｓ眉呻娐?它們統(tǒng)稱為處理器120)之上的軟件中實(shí)現(xiàn)，或者由該軟件進(jìn)行控制。諸如按鈕和顯示器的外圍部件的所有用戶接口以及控制均由微控制器122控制。
在操作中，處理器120響應(yīng)于用戶在122的輸入(諸如半按快門按鈕(預(yù)拍攝模式32))啟動并控制數(shù)碼攝影處理。使用光敏元件40來確定環(huán)境光的曝光，以自動地確定是否將使用閃光。使用聚焦機(jī)構(gòu)50來確定對象的距離，所述聚焦機(jī)構(gòu)還使圖像聚焦于圖像獲取裝置60之上。如果要使用閃光，處理器120就在完全按下快門按鈕時(shí)使閃光裝置70 產(chǎn)生與圖像拍攝裝置60對圖像進(jìn)行記錄基本一致的攝影閃光。所述圖像拍攝裝置60對彩色圖像進(jìn)行數(shù)碼記錄。所述圖像拍攝裝置已為本領(lǐng)域技術(shù)人員所公知，并且其包括有利于數(shù)碼記錄的CCD(電荷耦合器件)或CMOS?？蛇x地，可以響應(yīng)于光敏元件40或者來自攝影機(jī)用戶的人工輸入72來產(chǎn)生閃光。圖像拍攝裝置60所記錄的高分辨率圖像被存儲在圖像存儲器80中，該圖像存儲器可以包括諸如動態(tài)隨機(jī)存取存儲器或非易失性存儲器的計(jì)算機(jī)存儲器。所述攝影機(jī)裝配有諸如IXD的顯示器100，用于顯示預(yù)覽圖像并且顯示攝影機(jī)控制軟件的用戶界面。
在隨著快門按鈕被半按下而在預(yù)拍攝模型32中產(chǎn)生的預(yù)覽圖像的情況中，顯示器100可以幫助用戶構(gòu)成圖像，也可以用于確定聚焦和曝光。暫時(shí)存儲器82用于存儲一個或多個預(yù)覽圖像流，并且其可以為圖像存儲器80的一部分或者為獨(dú)立部件。所述預(yù)覽圖像通常由圖像拍攝裝置60產(chǎn)生。出于速度以及存儲效率的原因，預(yù)覽圖像通常具有比在完全按下快門按鈕時(shí)拍攝的主像低的像素分辨率，并且可以使用軟件1 對所拍攝的原始圖像進(jìn)行子采樣來產(chǎn)生，所述軟件可以是通用處理器120或?qū)Ｓ糜布蚱浣M合的一部分。
在本實(shí)施例中，諸如本文通過引用的方式合并的2006年8月11日提交的美國申請No. 11/464，083中所述的臉檢測及跟蹤模塊130可操作地連接至子采樣器124，以根據(jù)臉檢測及跟蹤模塊的要求來控制預(yù)覽圖像的子采樣分辨率。存儲于暫時(shí)存儲器82中的預(yù)覽圖像可用于記錄在預(yù)覽圖像流中跟蹤和檢測到的臉的位置的模塊130。在一個實(shí)施例中，模塊130可操作地連接至顯示器100，以使檢測和跟蹤到的臉區(qū)域的邊界可以在預(yù)覽期間在顯示器上疊加在臉周圍。
在圖1的實(shí)施例中，臉跟蹤模塊130被安排用于提取跟蹤到的面部區(qū)域并以較低分辨率將其存儲到諸如存儲器82的存儲緩沖區(qū)中，也可能將其存儲為存儲于存儲器80中的所獲取的圖像頭文件中的元數(shù)據(jù)。當(dāng)跟蹤多個臉區(qū)域時(shí)，為每個跟蹤的臉區(qū)域建立一個緩沖區(qū)。這些緩沖區(qū)為有限大小(在優(yōu)選實(shí)施例中為10-20個所提取的臉區(qū)域的大小)并且通?；谙冗M(jìn)先出(FIFO)進(jìn)行操作。
根據(jù)優(yōu)選實(shí)施例，裝置20還包括圖像校正模塊90。其中模塊90被安排用于在諸如臺式計(jì)算機(jī)、彩色打印機(jī)或照片沖洗機(jī)的外部處理裝置10中對所獲取的圖像進(jìn)行脫機(jī)校正，優(yōu)選地，預(yù)覽圖像中檢測和/或跟蹤到的臉區(qū)域被存儲為圖像頭文件中的元數(shù)據(jù)。但是，當(dāng)模塊90在攝影機(jī)20中實(shí)現(xiàn)時(shí)，其可以對存儲有預(yù)覽圖像和/或臉區(qū)域信息的緩沖區(qū) 82直接進(jìn)行存取。
在該實(shí)施例中，模塊90從存儲器80接收所拍攝的高分辨率數(shù)碼圖像，并對其進(jìn)行分析，以檢測缺陷。如以下實(shí)施例中所述來進(jìn)行所述分析。如果發(fā)現(xiàn)缺陷，該模塊可以修改圖像來消除缺陷。該修改后的圖像可以顯示在圖像顯示器100上、保存在內(nèi)部或可以為諸如CF卡、SD卡的可移動存儲器的永久性存儲器112上，或者也可以通過可以為有線或無線的圖像輸出裝置110來下載至另一裝置。模塊90可以在每次拍攝圖像時(shí)自動地、或者根據(jù)通過輸入端30輸入的用戶命令開始工作。盡管模塊90被示為單獨(dú)的零件，但是當(dāng)其為攝影機(jī)的一部分時(shí)，其可以由處理器120上的適當(dāng)軟件來實(shí)現(xiàn)。
圖像校正模塊的主要部件包括質(zhì)量模塊140，其被安排用于分析來自低分辨率圖像或高分辨率圖像的臉區(qū)域，以確定這些臉區(qū)域是否包含有臉缺陷。超分辨率模塊160被安排用于將同一對象(通常具有相同的姿勢和期望的面部表情)的多個低分辨率臉區(qū)域進(jìn)行組合，以提供用于校正處理的高質(zhì)量的臉區(qū)域。在本實(shí)施例中，主動外觀模型(AAM)模塊 150再次根據(jù)低分辨率圖像或高分辨率圖像來產(chǎn)生臉區(qū)域的AAM參數(shù)。
AAM模塊是眾所周知的，并且2004年8月由F Dornaika和JAhlberg發(fā)表于IEEE Transactions on Systems, Man, andCybernetics-Part B !Cybernetics, Vol. 34 No. 4, pg 1838-1853 ^11 "Fast and Reliable Active Appearance Model Search for 3-D hceTracking”中公開了本實(shí)施例的適當(dāng)模型，盡管也可以使用基于TF Cootes等發(fā)表 -f' Proc. European Conf. Computer Vision, 1998, pp484-498 1 ' !! "Active Appearance Models"的原始論文的其他模型。
優(yōu)選地，AAM模塊150可以與質(zhì)量模塊140合作來提供姿勢和/或表情指示，以允許在分析中以及可選地在下文所述的校正處理中對圖像進(jìn)行選擇。此外，AAM模塊150還可以優(yōu)選地與超分辨率模塊160合作來提供姿勢指示，以允許在校正處理中對圖像進(jìn)行選擇，下文也將對其進(jìn)行詳細(xì)描述。
現(xiàn)在參考示出了某些實(shí)施例的示例處理流程的圖2，當(dāng)獲取了主像(步驟230)時(shí)， 模塊90將從模塊130獲知所獲取的主像(高分辨率)中任意檢測/跟蹤到的臉區(qū)域的位置和大小?？梢灾苯訉λ@取的圖像應(yīng)用臉檢測，和/或預(yù)覽圖像流中先前檢測和/或跟蹤到的臉區(qū)域的信息可以用于主像中的臉檢測(由從步驟220延伸的虛線表示)。在步驟 250中，面部區(qū)域質(zhì)量分析模塊140提取并分析主像中在步驟MO中跟蹤/檢測到的臉區(qū)域，以確定所獲取的各臉區(qū)域的質(zhì)量。例如，模塊140可以進(jìn)行預(yù)分析，以測量所檢測到的臉區(qū)域的總的對比度、銳度和/或結(jié)構(gòu)。這可以表明整個臉區(qū)域是否由于對象在獲取時(shí)間移動而模糊。如果面部區(qū)域不能被很好地限定，則將其標(biāo)記為模糊缺陷。除此之外或可選地，分析的另一階段可以集中于臉的眼部區(qū)域，以確定是否存在一只或兩只眼睛在獲取時(shí)間完全或部分地閉著，并且相應(yīng)地對臉區(qū)域進(jìn)行分類。如上所述，如果對圖像執(zhí)行了 AAM分析，則AAM參數(shù)可用于表示對象的眼睛是否處于睜開狀態(tài)。應(yīng)該注意，在上述分析中，模塊 90檢測由于對象的局部移動而造成的眨眼或模糊，而不檢測全局圖像的模糊。
分析的另一或可選階段集中于嘴部區(qū)域，并確定嘴是否由于打哈欠而張開或者實(shí)際上并不是微笑；再次相應(yīng)地對臉區(qū)域進(jìn)行分類。如上所述，如果對圖像執(zhí)行了 AAM分析，則AAM參數(shù)可用于表示對象的嘴的狀態(tài)。
其他示例測試可以包括亮度級、膚色以及結(jié)構(gòu)直方圖、可引起面部特征(嘴形、額頭皺紋)顯著改變的意外面部表情(微笑、皺眉)。專門的測試可以被實(shí)現(xiàn)為另外的或可選的圖像分析濾波器，例如Hough變換濾波器可以用于檢測臉區(qū)域中眼睛上方的表示“帶有皺紋的額頭”的平行線。也可以采用諸如本領(lǐng)域技術(shù)人員已知的以及US6，301，440中所公開的其他圖像分析技術(shù)來對主像的臉區(qū)域進(jìn)行分類。
在該分析之后，確定是否存在所出現(xiàn)的這些缺陷中的任何一個(步驟沈0)，并且攝影機(jī)或外部處理裝置用戶可以提供有基于緩存的(低分辨率的)臉區(qū)域數(shù)據(jù)來修復(fù)缺陷的選項(xiàng)(步驟265)。
當(dāng)用戶啟動修復(fù)選項(xiàng)時(shí)，首先由臉區(qū)域質(zhì)量分析器來分析每個低分辨率的臉區(qū)域 (步驟270)。由于該分析對步驟200/210中獲取并存儲的低分辨率圖像進(jìn)行操作，因此該分析可以不同于在步驟250中對所獲取的主像中的臉區(qū)域進(jìn)行的分析。但是，這些分析步驟的類似之處在于對每個低分辨率的臉區(qū)域進(jìn)行分析以確定其是否存在圖像缺陷，當(dāng)其存在缺陷時(shí)，則在280步驟中不應(yīng)該選擇該臉區(qū)域來重建主像中有缺陷的臉區(qū)域。在該分析和選擇之后，如果從低分辨率圖像流中不能得到對應(yīng)于有缺陷的臉區(qū)域的足夠“好”的臉區(qū)域，則向用戶傳遞圖像修復(fù)不可行的指示。如果存在足夠“好”的臉區(qū)域，則對其進(jìn)行傳遞， 以進(jìn)行調(diào)整尺寸和對準(zhǔn)(步驟觀5)。
該步驟調(diào)整每張臉區(qū)域的大小，并且對某些局部的基本臉點(diǎn)執(zhí)行對準(zhǔn)，以校正姿勢的改變并且確保低分辨率的臉區(qū)域中的每一個盡可能一致地進(jìn)行互相重疊以用于以后的處理。
還應(yīng)該注意，由于這些圖像區(qū)域是連續(xù)地并在相對較短的時(shí)間內(nèi)拍攝的，因此期望其具有大致相同的大小以及方向。因此，可以使用基本的臉點(diǎn)來實(shí)現(xiàn)圖像對準(zhǔn)，尤其是使用涉及到眼睛、嘴、通常由明顯的邊界邊緣描繪的下臉(下巴區(qū)域)、以及通常由明顯的發(fā)際線邊緣描繪的上臉的那些臉點(diǎn)。所提取的臉區(qū)域的一些輕微的縮放以及變形可用于實(shí)現(xiàn)合理的對準(zhǔn)，但是這些圖像的非常精確的對準(zhǔn)不可取的，這是因?yàn)檫@不利于能根據(jù)若干低分辨率圖像來確定較高分辨率圖像的超分辨率技術(shù)。
應(yīng)該注意，可以在獲取主像之前的時(shí)間段或者從獲取主像之后的時(shí)間段(由從步驟230延伸的虛線表示)來拍攝在步驟200/210拍攝并存儲的低分辨率圖像。例如，可以在緊接著主像拍攝以后對象停止移動/眨眼等之后的時(shí)間段內(nèi)拍攝合適的無缺陷的低分辨率圖像。
接著，將該組所選擇的無缺陷的臉區(qū)域傳遞至超分辨率模塊160，超分辨率模塊使用已知的超分辨率方法將它們組合，以產(chǎn)生與所獲取的主像的相應(yīng)區(qū)域一致的高分辨率臉區(qū)域。
此時(shí)，系統(tǒng)可以使用通常的相應(yīng)的有缺陷的臉區(qū)域來獲得高質(zhì)量無缺陷的組合臉區(qū)域以及高分辨率的主像。
如果還沒有執(zhí)行質(zhì)量分析，則對有缺陷的臉區(qū)域以及相應(yīng)的高質(zhì)量無缺陷的臉區(qū)域進(jìn)行AAM分析(步驟300)。此時(shí)參考圖3(a)至圖3 (d)，它們示出了包括已由AAM模塊 150處理了的臉區(qū)域的一些圖像。在這種情況下，盡管可以部署用于傾斜的臉或側(cè)臉的單獨(dú)的模型，但是仍然將由疊加在臉上的線框表示的模型進(jìn)行調(diào)整為大體為臉向前及直立的臉。一旦應(yīng)用了該模型，則返回所述線框各頂點(diǎn)的一組坐標(biāo)；并且返回由相鄰頂點(diǎn)限定的每個三角形單元的結(jié)構(gòu)參數(shù)。這些頂點(diǎn)的相對坐標(biāo)以及結(jié)構(gòu)參數(shù)轉(zhuǎn)而可以提供與用于上述質(zhì)量分析的臉的表情以及傾向相聯(lián)系的指示。
因此，可以看出，AAM模塊150也可用于面部區(qū)域分析步驟250/270中，以提供嘴或眼睛是否張開(即微笑并不眨眼)的指示；并且還有助于在步驟觀5/四0中由超分辨率模塊160執(zhí)行的對用于超分辨率之前選擇的面部區(qū)域是否類似地對準(zhǔn)或傾斜進(jìn)行確定。
因此，使用圖3(a)作為由低分辨率圖像的超分辨率產(chǎn)生的面部區(qū)域的示例，可以看到，包括AAM模型的外圍的一組頂點(diǎn)限定了可以被映射至圖3(b)至圖3(d)的相應(yīng)的外圍頂點(diǎn)組，其中圖3(b)至圖3(d)中的這些圖像已分類并且已被用戶確認(rèn)為有缺陷的面部區(qū)域和供校正的候選。
關(guān)于圖4，圖4(a)或圖4(b)的可表示超分辨率無缺陷臉區(qū)域的模型參數(shù)可以表明這些臉區(qū)域的左右方向?qū)⒉荒苁顾鼈兂蔀橛糜谛Ｕ龍D4(c)的臉區(qū)域的適當(dāng)候選。類似地， 與圖4(e)的臉區(qū)域相比，圖4(f)的臉區(qū)域是用于校正圖4(d)的臉區(qū)域的更適合的候選。
在任意情況下，如果認(rèn)為超分辨率臉區(qū)域與有缺陷的臉區(qū)域一致，則可以通過任意適當(dāng)?shù)募夹g(shù)來將來自超分辨率臉區(qū)域的信息貼在主像之上，以對主像的臉區(qū)域進(jìn)行校正 (步驟320)。在最終接受或拒絕校正圖像之前，可以查看該校正圖像，并且用戶可以根據(jù)映射性質(zhì)來對校正圖像進(jìn)行調(diào)整(步驟330)。因此，例如，其中將校正臉區(qū)域外圍周圍的的抖色處理用作校正處理的一部分(步驟320)，抖色處理的程度可以調(diào)整。類似地，用戶可以人工調(diào)整校正區(qū)域中的亮度級或結(jié)構(gòu)參數(shù)，或者實(shí)際上甚至可以在用戶最終接受或拒絕之前人工調(diào)整校正區(qū)域和映射處理的任意參數(shù)。
雖然AAM提供了一種確定面部區(qū)域的外邊界的方法，但是除了或替代AAM，還可以使用諸如邊緣檢測、區(qū)域生長以及膚色分析的其他已知的圖像處理技術(shù)。但是，這些方法可能不具有可用于分析臉區(qū)域的缺陷和/或姿勢信息的優(yōu)點(diǎn)。其他有用的技術(shù)包括在運(yùn)行臉檢測之前，將前景/背景分離應(yīng)用于低分辨率圖像或者主像，從而通過僅分析前景區(qū)域以及特定的前景皮膚部分來減小總的處理時(shí)間?？缭角熬?背景輪廓的邊界應(yīng)用的本色段 (local colour segmentation)有助于進(jìn)一步地細(xì)化面部區(qū)域的邊界。
用戶一旦對重建的臉區(qū)域的布局滿意，則可以選擇將其與主像合并；可替換地，如果用戶不滿意，則可以取消重建處理。通常，通過攝影機(jī)用戶界面上的按鈕來選擇這些動作，其中在獲取裝置20上實(shí)現(xiàn)校正模塊。
作為實(shí)際示例，我們考慮用于校正眼睛缺陷的系統(tǒng)示例。一個示例可用于由于獲取期間對象“眨眼”所引起的主像幀中的一只眼睛閉著的缺陷。在主像獲取之后，用戶立即確定他們是否希望對該缺陷進(jìn)行校正。如果用戶確認(rèn)要對該缺陷進(jìn)行校正，則攝影機(jī)從對所存儲的來源于緊接主像獲取之前所獲取的預(yù)覽圖像的臉區(qū)域組進(jìn)行分析開始。假設(shè)在緊接圖像獲取之前的一秒內(nèi)保存了一組(比方說)20幅圖像。由于缺陷為眨眼，因此初始測試確定這些預(yù)覽圖像中的最后的(比方說)10幅圖像是無用的。但是，前10副圖像被確定為合適的。這些圖像的其他測試可以包括面部姿勢的確定，刪去其面部姿勢相對于所有預(yù)覽圖像的平均姿勢改變超出5%的圖像；面部區(qū)域大小的確定，刪去其平均大小相對于所有圖像的平均大小改變超出25%的圖像。對于后面的測試來說門限較大的原因在于改變臉區(qū)域的尺寸比校正姿勢的改變更容易。[0124]在上述實(shí)施例的變型中，被組合的區(qū)域可以包括主臉區(qū)域周圍的背景區(qū)域的多個部分。這在所獲取的主像中將要校正的缺陷是由于圖像曝光期間臉移動而產(chǎn)生的情況下尤其重要。這將導(dǎo)致主像中具有不明確的外邊界的臉區(qū)域以及疊加在其上的超分辨率圖像通常包含用于適當(dāng)校正該臉移動缺陷的背景的多個部分。是否包括用于臉重建的背景區(qū)域的確定可以由用戶進(jìn)行，或者可以在對所獲取的主像執(zhí)行缺陷分析之后自動地進(jìn)行確定。在后一種情況下，缺陷包括由于臉移動產(chǎn)生的模糊，因此在超分辨率重建處理中通常包括背景區(qū)域。在替換實(shí)施例中，可以通過使用如下技術(shù)來創(chuàng)建重建的背景(i)區(qū)域填充技術(shù)，其用于具有相對均勻的顏色和結(jié)構(gòu)特征的背景區(qū)域；或者(ii)使用圖像對準(zhǔn)和超分辨率技術(shù)直接根據(jù)預(yù)覽圖像流來進(jìn)行。在后一種情況下，將重建的背景合并到通過將前景與背景分離而創(chuàng)建的主像背景中的間隙中；接下來將重建的臉區(qū)域合并到分離后的前景區(qū)域中，具體地，將重建的臉區(qū)域合并到前景的面部區(qū)域中以及最后將前景與加強(qiáng)的背景區(qū)域重新結(jié)合到一起。
在應(yīng)用超分辨率方法來從多個低分辨率預(yù)覽圖像創(chuàng)建更高分辨率的臉區(qū)域之后， 通常涉及到一些額外的縮放以及對準(zhǔn)操作。此外，可以使用一些混合、填充以及形態(tài)學(xué)操作來確保新構(gòu)建的超分辨率臉區(qū)域與所獲取的主像的背景之間的平滑過渡。尤其是在將要校正的缺陷為圖像曝光期間臉移動而造成的情況下。在運(yùn)動缺陷的情況下，在將重建的臉區(qū)域合并到主像中之前重建圖像背景的多個部分也是比較理想的。
使新的臉區(qū)域的總亮度級與舊的臉區(qū)域的總亮度級匹配也是比較理想的，并且通過使舊區(qū)域與新構(gòu)建區(qū)域之間的膚色匹配來實(shí)現(xiàn)最佳。預(yù)覽圖像在固定攝影機(jī)設(shè)置的情況下被獲取并且可以曝光過度/曝光不足。這可能不會在超分辨率處理期間被完全補(bǔ)償，從而可能會涉及其他圖像處理操作。
雖然上述實(shí)施例是針對替換圖像內(nèi)的臉區(qū)域的，但是可以看出，可以使用AAM來模擬任意類型的圖像特征。因此，在某些實(shí)施例中，用于超分辨率重建的補(bǔ)丁可以是臉區(qū)域內(nèi)的子區(qū)域。例如，可以期望僅對臉區(qū)域的一部分(諸如眼睛或嘴區(qū)域)而不是整個臉區(qū)域進(jìn)行重建。在這種情況下，由于子區(qū)域?qū)⒁缓喜⒌筋伾徒Y(jié)構(gòu)(即膚色和結(jié)構(gòu))基本類似的周圍區(qū)域，因此該子區(qū)域的精確邊界的確定就不太重要。因此，集中于將要組合的眼睛區(qū)域或者對準(zhǔn)嘴區(qū)域的角以及依賴于將周圍的膚色區(qū)域混合到主像中已經(jīng)足夠。
在上述一個或多個實(shí)施例中，分離的臉區(qū)域可以分別被跟蹤(還可參見本文以引用的方式合并的美國申請No. 11/464，08 ?？梢砸詭綆姆绞礁欉@些區(qū)域。可以對預(yù)覽或立即預(yù)覽(Post View，拍攝后立即顯示圖像)的臉區(qū)域進(jìn)行提取、分析，并且可以使其相互對準(zhǔn)以及與獲取的主像中或最終獲取的圖像中的臉區(qū)域?qū)?zhǔn)。此外，在根據(jù)某些實(shí)施例的技術(shù)中，可以在幀之間對臉進(jìn)行跟蹤，以發(fā)現(xiàn)預(yù)覽或立即預(yù)覽之間關(guān)于臉的更小的細(xì)節(jié)并將這些細(xì)節(jié)進(jìn)行關(guān)聯(lián)。例如，預(yù)覽N中的Joe的臉的左眼可以與預(yù)覽N+1中的Joe的臉的左眼相關(guān)聯(lián)。這可以一起用于形成一個或多個Joe的眼睛的質(zhì)量提高了的圖像。這是有利的，這是因?yàn)樾〉奶卣?眼睛、嘴、鼻子、諸如眼瞼或眼眉或瞳孔或虹膜的眼睛部件、或耳朵、下巴、下巴上的胡須、胡子、前額、發(fā)型等)不像較大的特征(它們在幀與幀之間的絕對或相對位移相對于其大小來說趨向于更大)一樣容易在幀間進(jìn)行跟蹤。
本發(fā)明不限于本文中的上述實(shí)施例，在不脫離所附權(quán)利要求
、其結(jié)構(gòu)以及其功能等同物所限定的本發(fā)明的范圍的情況下，可以對上述實(shí)施例進(jìn)行修改或改進(jìn)。[0130]在可以根據(jù)本申請中的優(yōu)選實(shí)施例執(zhí)行的、以及以上描述的和/或以下要求保護(hù)的方法中，各操作是按照選擇的印刷順序來描述的。但是，為了印刷的方便選擇了上述順序并進(jìn)行排序，而不旨在暗示執(zhí)行這些操作的任何特定順序。
此外，除了背景技術(shù)以及其
發(fā)明內(nèi)容
之外，本文中所引用的所有參考文獻(xiàn)在公開可替換實(shí)施例和部件的同時(shí)均通過引用的方式并入本文中優(yōu)選實(shí)施例的詳細(xì)描述中。為此，也通過引用的方式將以下申請并入本文美國專利申請No. 60/829，127、 No. 60/804，546、No.60/821，165、No. 11/554，539、No. 11/464，083、No. 11/027，001、 No. 10/842，244、No. 11/024，046、No. 11/233，513、No. 11/460，218、No. 11/573，713、 No. 11/319，766、No. 11/464，083、No. 11/744，020 和 No. 11/460，218、以及美國公布申請 No.2006/0285754。
權(quán)利要求
1.一種圖像獲取和處理設(shè)備，包括 處理器(120)；電連接到所述處理器的圖像拍攝裝置(60)，所述圖像拍攝裝置包括聚焦機(jī)構(gòu)(50)和光敏元件(40)，所述圖像拍攝裝置配置用于獲取場景的主像；電連接到所述圖像拍攝裝置的存儲器(82)，所述存儲器配置用于存儲所獲取的主像； 電連接到所述存儲器的臉檢測及跟蹤模塊(130)，所述臉檢測及跟蹤模塊配置用于確定所述主像中的一個或多個面部區(qū)域；圖像校正模塊(90)，配置用于電連接到所述臉檢測及跟蹤模塊(130)，所述圖像校正模塊(90)配置用于對所述一個或多個面部區(qū)域進(jìn)行分析以確定所述面部區(qū)域中的任意一個是否包含缺陷；所述圖像拍攝裝置(60)還配置用于在不包括獲取所述主像的時(shí)間的時(shí)間段內(nèi)獲取所述場景名義上的一系列較低分辨率圖像；所述臉檢測及跟蹤模塊(130)還配置用于確定所述一系列低分辨率圖像中的一個或多個低分辨率面部區(qū)域組；所述圖像校正模塊(90)還配置用于對所述面部區(qū)域組進(jìn)行分析以確定對應(yīng)于所述主像的有缺陷的面部區(qū)域的組中的任意面部區(qū)域是否包含缺陷；組合所述相應(yīng)組中的無缺陷面部區(qū)域以提供高質(zhì)量無缺陷的面部區(qū)域；以及通過使用來自相應(yīng)高質(zhì)量無缺陷的面部區(qū)域的圖像信息來對所述主像的任意有缺陷的面部區(qū)域的至少一部分進(jìn)行校正，以生成校正圖像；和電連接到所述臉檢測及跟蹤模塊(130)的圖像顯示器(100)，所述圖像顯示器配置用于顯示所述主像，并且還配置用于接收響應(yīng)于用戶交互的輸入。
2.根據(jù)權(quán)利要求
1所述的設(shè)備，其中所述圖像校正模塊(90)進(jìn)一步包括用于在包括獲取所述主像的所述時(shí)間之前或之后的一個或多個時(shí)間段內(nèi)獲取所述場景名義上的一系列較低分辨率圖像的裝置。
3.根據(jù)權(quán)利要求
1所述的設(shè)備，其中所述圖像校正模塊進(jìn)一步包括用于對每個高質(zhì)量無缺陷的面部區(qū)域以及相應(yīng)的有缺陷的面部區(qū)域應(yīng)用包括限定面部區(qū)域外圍的多個頂點(diǎn)的模型的裝置，以及用于根據(jù)所述各區(qū)域的頂點(diǎn)的對應(yīng)性來將所述高質(zhì)量無缺陷的面部區(qū)域的像素映射至所述有缺陷的面部區(qū)域的裝置。
4.根據(jù)權(quán)利要求
3所述的設(shè)備，其中所述圖像校正模塊進(jìn)一步包括用于應(yīng)用主動外觀模型(AAM)的裝置。
5.根據(jù)權(quán)利要求
1所述的設(shè)備，其中所述圖像拍攝裝置進(jìn)一步包括用于以不同于所述低分辨率圖像的曝光級的曝光級來獲取所述主像的裝置，并且其中所述圖像校正模塊包括用于將所述高質(zhì)量無缺陷的面部區(qū)域的亮度級映射至所述有缺陷的面部區(qū)域的亮度級的直ο
6.根據(jù)權(quán)利要求
1所述的設(shè)備，其中所述存儲器進(jìn)一步包括用于將來自所述一系列低分辨率圖像的低分辨率面部區(qū)域組存儲于所述主像的圖像頭文件中的裝置。
7.根據(jù)權(quán)利要求
1所述的設(shè)備，其中所述圖像校正模塊進(jìn)一步包括用于從所述面部區(qū)域組刪除包括超過面部區(qū)域組中臉的平均尺寸門限量的臉的面部區(qū)域的裝置。
8.根據(jù)權(quán)利要求
1所述的設(shè)備，其中所述圖像校正模塊進(jìn)一步包括用于從所述面部區(qū)域組刪除包括具有超出面部區(qū)域組中臉的平均方向門限量的方向的臉的面部區(qū)域的裝置。
9.根據(jù)權(quán)利要求
1所述的設(shè)備，其中所述圖像顯示器進(jìn)一步包括用于顯示所述主像的裝置，以及用于接收響應(yīng)于用戶交互的輸入的裝置。
10.根據(jù)權(quán)利要求
1所述的設(shè)備，其中所述臉檢測及跟蹤模塊進(jìn)一步包括用于在所述獲取所述主像之前的一個時(shí)間確定所述主像中的一個或多個面部區(qū)域的裝置。
11.根據(jù)權(quán)利要求
1所述的設(shè)備，所述圖像顯示器進(jìn)一步包括用于顯示所述校正圖像的裝置，以及用于響應(yīng)于用戶交互從而能夠?qū)⑺鲂Ｕ龍D像保存到所述存儲器中的裝置。
12.根據(jù)權(quán)利要求
1所述的設(shè)備，其中所述圖像校正模塊還包括主動外觀模型模塊(150)，用于對面部區(qū)域組中的每張臉應(yīng)用主動外觀模型(AAM)；電連接到所述主動外觀模型模塊的圖像質(zhì)量模塊(140)，所述圖像質(zhì)量模塊配置用于對面部區(qū)域組中的每張臉的AAM參數(shù)進(jìn)行分析以提供面部表情的表示；其中所述圖像校正模塊進(jìn)一步包括用于從所述面部區(qū)域組刪除具有有缺陷表情的臉的裝置。
13.根據(jù)權(quán)利要求
1所述的設(shè)備，其中所述圖像校正模塊包括主動外觀模型模塊，用于對面部區(qū)域組中的每張臉應(yīng)用主動外觀模型(AAM)；電連接到所述主動外觀模型模塊的圖像質(zhì)量模塊，所述圖像質(zhì)量模塊配置用于對面部區(qū)域組中的每張臉的AAM參數(shù)進(jìn)行分析以提供面部方向的表示；其中所述圖像校正模塊進(jìn)一步包括用于從所述面部區(qū)域組刪除具有不希望的方向的臉的裝置。
14.根據(jù)權(quán)利要求
1所述的設(shè)備，其中所述圖像校正模塊包括主動外觀模型模塊，用于對每個面部區(qū)域應(yīng)用主動外觀模型(AAM)；以及電連接到所述主動外觀模型模塊的圖像質(zhì)量模塊，所述圖像質(zhì)量模塊配置用于對每個面部區(qū)域的AAM參數(shù)進(jìn)行分析以提供面部表情的表示。
15.根據(jù)權(quán)利要求
1所述的設(shè)備，其中所述圖像校正模塊進(jìn)一步包括用于針對對比度、 銳度、結(jié)構(gòu)、亮度級或膚色中的一個或多個來對每個面部區(qū)域進(jìn)行分析的裝置。
16.根據(jù)權(quán)利要求
1所述的設(shè)備，其中所述圖像校正模塊進(jìn)一步包括用于對每個面部區(qū)域進(jìn)行分析以確定所述面部區(qū)域中的任意眼睛是否是閉著的裝置。
17.根據(jù)權(quán)利要求
1所述的設(shè)備，其中所述圖像校正模塊進(jìn)一步包括用于對每個面部區(qū)域進(jìn)行分析以確定所述面部區(qū)域的任意嘴是否是張開的裝置。
18.根據(jù)權(quán)利要求
1所述的設(shè)備，其中所述圖像校正模塊進(jìn)一步包括用于對每個面部區(qū)域進(jìn)行分析以確定所述面部區(qū)域的任意嘴是否是微笑的裝置。
19.根據(jù)權(quán)利要求
1所述的設(shè)備，其中所述圖像校正模塊進(jìn)一步包括用于當(dāng)所述面部區(qū)域組超過給定數(shù)量時(shí)啟動分析、組合和校正的裝置。
20.根據(jù)權(quán)利要求
1所述的設(shè)備，其中所述圖像校正模塊進(jìn)一步包括用于對所述面部區(qū)域組的臉進(jìn)行調(diào)整大小和對準(zhǔn)的裝置。
21.根據(jù)權(quán)利要求
20所述的設(shè)備，其中所述圖像校正模塊進(jìn)一步包括用于根據(jù)所述面部區(qū)域組的臉的基本點(diǎn)來對所述面部區(qū)域組的臉進(jìn)行對準(zhǔn)的裝置。
22.根據(jù)權(quán)利要求
1所述的設(shè)備，其中所述圖像校正模塊進(jìn)一步包括用于使用所述主像的剩余部分來對所述主像的校正區(qū)域進(jìn)行混合和/或填充的裝置。
23.根據(jù)權(quán)利要求
1所述的設(shè)備，其中所述圖像顯示器進(jìn)一步包括用于顯示所述校正圖像，以及用于響應(yīng)于用戶交互來調(diào)整所述校正圖像的校正的裝置。
24.—種圖像獲取和處理設(shè)備，包括 處理器；電連接到所述處理器的圖像拍攝裝置，所述圖像拍攝裝置包括聚焦機(jī)構(gòu)和光敏元件， 所述圖像拍攝裝置配置用于獲取場景的主像；電連接到所述圖像拍攝裝置的存儲器，所述存儲器配置用于存儲所獲取的主像； 電連接到所述存儲器的臉檢測及跟蹤模塊，所述臉檢測及跟蹤模塊配置用于確定所述主像中的一個或多個面部區(qū)域；圖像校正模塊，配置用于電連接到所述臉檢測及跟蹤模塊，所述圖像校正模塊配置用于針對缺陷來對所述一個或多個主像面部區(qū)域進(jìn)行分析，并且確定一個或多個是有缺陷的；所述圖像拍攝裝置還配置用于獲取所述場景名義上的一系列較低分辨率圖像； 所述臉檢測及跟蹤模塊還配置用于確定所述一系列低分辨率圖像中的一個或多個低分辨率面部區(qū)域組；所述圖像校正模塊還配置用于對所述一個或多個低分辨率面部區(qū)域組進(jìn)行分析以確定對應(yīng)于有缺陷的主像面部區(qū)域的一個或多個組；并且通過用于使用來自一個或多個相應(yīng)的低分辨率面部區(qū)域的圖像信息來對有缺陷的主像面部區(qū)域的至少一部分進(jìn)行校正，以生成校正圖像，所述一個或多個相應(yīng)的低分辨率面部區(qū)域不包括與所述有缺陷的主像面部區(qū)域的所述部分相同的缺陷；以及電連接到所述臉檢測及跟蹤模塊的圖像顯示器，所述圖像顯示器配置用于顯示基于所述校正的校正圖像，并且還配置用于響應(yīng)于用戶交互從而能夠?qū)⑿Ｕ龍D像保存到所述存儲器中。
25.根據(jù)權(quán)利要求
M所述的設(shè)備，其中所述圖像校正模塊進(jìn)一步包括用于對一個或多個不包括所述相同缺陷的低分辨率面部區(qū)域以及相應(yīng)的有缺陷的主像面部區(qū)域應(yīng)用包括限定面部區(qū)域的外圍的多個頂點(diǎn)的模型的裝置，以及用于根據(jù)各區(qū)域的頂點(diǎn)的對應(yīng)性來將所述一個或多個低分辨率面部區(qū)域的像素映射至所述相應(yīng)的有缺陷的主像面部區(qū)域的裝置。
26.根據(jù)權(quán)利要求
25所述的設(shè)備，其中所述圖像校正模塊進(jìn)一步包括用于應(yīng)用主動外觀模型(AAM)的裝置。
27.根據(jù)權(quán)利要求
M所述的設(shè)備，其中所述圖像拍攝裝置進(jìn)一步包括用于以不同于所述低分辨率圖像的曝光級的曝光級來獲取所述主像的裝置，并且其中所述圖像校正模塊進(jìn)一步包括用于將不具有所述相同缺陷的一個或多個低分辨率面部區(qū)域的亮度級映射至所述有缺陷的主像面部區(qū)域的亮度級的裝置。
28.根據(jù)權(quán)利要求
M所述的設(shè)備，其中所述存儲器進(jìn)一步包括用于將來自所述一系列低分辨率圖像的低分辨率面部區(qū)域組存儲于所述主像的圖像頭文件中的裝置。
29.根據(jù)權(quán)利要求
M所述的設(shè)備，其中所述圖像校正模塊進(jìn)一步包括用于從至少一個面部區(qū)域組刪除包括超過所述至少一個面部區(qū)域組中臉的平均尺寸門限量的臉的面部區(qū)域的裝置。
30.根據(jù)權(quán)利要求
M所述的設(shè)備，其中所述圖像校正模塊進(jìn)一步包括用于從面部區(qū)域組刪除包括具有超出所述面部區(qū)域組中臉的平均方向門限量的方向的臉的面部區(qū)域的裝置。
31.根據(jù)權(quán)利要求
M所述的設(shè)備，其中所述圖像顯示器進(jìn)一步包括用于顯示所述主像的裝置，以及用于用戶交互從而通過所述圖像校正模塊啟動對所述一個或多個組進(jìn)行分析，對有缺陷的主像的至少一個部分進(jìn)行校正，或者二者的裝置。
32.根據(jù)權(quán)利要求
M所述的設(shè)備，其中所述圖像顯示器進(jìn)一步包括用于顯示基于所述校正的校正圖像的裝置；以及所述存儲器進(jìn)一步包括用于響應(yīng)于用戶交互以保存所述校正圖像的裝置。
33.根據(jù)權(quán)利要求
M所述的設(shè)備，其中所述圖像校正模塊還包括主動外觀模型模塊，用于對面部區(qū)域組中的每張臉應(yīng)用主動外觀模型(AAM)；電連接到所述主動外觀模型模塊的圖像質(zhì)量模塊，所述圖像質(zhì)量模塊配置用于對面部區(qū)域組中的每張臉的AAM參數(shù)進(jìn)行分析以提供面部表情的表示；其中所述圖像校正模塊進(jìn)一步包括用于從所述面部區(qū)域組刪除具有有缺陷表情的臉的裝置。
34.根據(jù)權(quán)利要求
M所述的設(shè)備，其中所述圖像校正模塊包括主動外觀模型模塊，用于對面部區(qū)域組中的每張臉應(yīng)用主動外觀模型(AAM)；電連接到所述主動外觀模型模塊的圖像質(zhì)量模塊，所述圖像質(zhì)量模塊配置用于對面部區(qū)域組中的每張臉的AAM參數(shù)進(jìn)行分析以提供面部方向的表示；其中所述圖像校正模塊進(jìn)一步包括用于從所述面部區(qū)域組刪除具有不希望的方向的臉的裝置。
35.根據(jù)權(quán)利要求
M所述的設(shè)備，其中所述圖像校正模塊包括主動外觀模型模塊，用于對每個面部區(qū)域應(yīng)用主動外觀模型(AAM)；以及電連接到所述主動外觀模型模塊的圖像質(zhì)量模塊，所述圖像質(zhì)量模塊配置用于對每個面部區(qū)域的AAM參數(shù)進(jìn)行分析以提供面部表情的表示。
36.根據(jù)權(quán)利要求
M所述的設(shè)備，其中所述圖像校正模塊進(jìn)一步包括用于確定所述面部區(qū)域的眼睛是否是閉著的裝置。
37.根據(jù)權(quán)利要求
M所述的設(shè)備，其中所述圖像校正模塊進(jìn)一步包括用于確定所述面部區(qū)域的嘴是否是張開的裝置。
38.根據(jù)權(quán)利要求
M所述的設(shè)備，其中所述圖像校正模塊進(jìn)一步包括用于確定所述面部區(qū)域的嘴是否是微笑的裝置。
39.根據(jù)權(quán)利要求
M所述的設(shè)備，其中所述圖像顯示器進(jìn)一步包括用于顯示校正圖像的裝置，以及用于響應(yīng)于用戶交互來調(diào)整所述校正圖像的校正的裝置。
40.根據(jù)權(quán)利要求
M所述的設(shè)備，其中所述圖像拍攝裝置進(jìn)一步包括用于在不包括獲取所述主像的時(shí)間的時(shí)間段內(nèi)獲取所述一系列低分辨率圖像的裝置。
41.根據(jù)權(quán)利要求
M所述的設(shè)備，其中所述圖像校正裝置進(jìn)一步包括用于將無缺陷的低分辨率的面部區(qū)域組合成組合圖像的裝置，以及用于使用來自組合圖像的圖像信息來對所述有缺陷的主像面部區(qū)域的所述至少一部分進(jìn)行校正的裝置。
專利摘要
一種圖像處理技術(shù)，包括獲取場景的主像以及確定所述主像中的一個或多個面部區(qū)域。對各面部區(qū)域進(jìn)行分析，以確定所述面部區(qū)域中的任意一個是否包含缺陷。名義上獲取相同場景的一系列較低分辨率圖像。針對缺陷來確定并分析所述一系列低分辨率圖像中的一個或多個低分辨率面部區(qū)域組。組合所述組中的各無缺陷面部區(qū)域，以提供高質(zhì)量無缺陷的面部區(qū)域。使用來自相應(yīng)高質(zhì)量無缺陷的面部區(qū)域的圖像信息來對所述主像的任意有缺陷的面部區(qū)域的至少一部分進(jìn)行校正。
文檔編號G06K9/36GKCN202018662SQ200790000136
公開日2011年10月26日 申請日期2007年5月24日
發(fā)明者埃蘭·斯坦伯格, 彼得·科科倫, 彼得羅內(nèi)爾·比焦伊 申請人:德薩拉技術(shù)愛爾蘭有限公司導(dǎo)出引文BiBTeX, EndNote, RefMan