專利名稱：數(shù)字圖像中的前景/背景分割的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于識(shí)別數(shù)字圖像的前景圖區(qū)和背景圖區(qū) 的方法，即，進(jìn)行前景/背景分割的方法。
背景技術(shù)：
對(duì)于某些應(yīng)用，能夠在圖像上實(shí)現(xiàn)前景/背景分離是有用的。
在第PCT/EP2006/005109號(hào)PCT專利申請(qǐng)中，討論了基于對(duì)圖像 的閃光版和非閃光版的分析進(jìn)行分離。然而，例如，在明亮的 陽光下，存在不能充分識(shí)別圖像的閃光版和非閃光版的情況。
離焦深度法(Depth from de-focus)是眾所周知的圖像處 理技術(shù)，它根據(jù)不同焦距的兩個(gè)或者兩個(gè)以上圖像創(chuàng)建深度圖 (depth map)。關(guān)于該技術(shù)的概況可以參見
http://homepages, inf.ed.ac.uk/rbf/CVonline/ LOCAL—COPIES/FAVAROl/dfdtutorial. html
Favaro基于對(duì)兩個(gè)或者兩個(gè)以上各自散焦的圖像的輻射率的統(tǒng) 計(jì)分析，確定圖像的特征深度(depth of feature)。 Favaro 是基于認(rèn)識(shí)到像素模糊對(duì)應(yīng)于給定的高斯巻積核，因此應(yīng)用反 巻積表示像素的離焦程度，并且，這也可以被用于構(gòu)建深度圖。 Favaro要求， 一旦獲得圖像，就利用專用方法進(jìn)行深度計(jì)算， 因?yàn)楸仨殞?duì)用于深度計(jì)算的每個(gè)圖像創(chuàng)建單獨(dú)輻射圖。與現(xiàn)有 圖像采集處理相比，這意味著顯著的附加處理開銷。
授予惠普公司(Hewlett-Packard)的US 2003/0052991公開了，對(duì)于在不同聚焦距離處分別拍攝的一系列圖像中的每一幅 圖像，根據(jù)像素周圍的像素亮度差的積，創(chuàng)建每個(gè)像素的襯比 圖。亮度差的積越大，認(rèn)為像素更可能在焦點(diǎn)上。拍攝像素襯 比度最大的圖像，以指出該像素離開取景器的距離。這使得照 相機(jī)能夠創(chuàng)建景物的深度圖。然后，照相機(jī)應(yīng)用程序根據(jù)該距 離信息實(shí)現(xiàn)模擬輔助閃光。在此，尤其需要?jiǎng)?chuàng)建襯比圖，與現(xiàn) 有圖像采集處理相比，這也意味著顯著的附加處理開銷。
授予Epson的US 2004/0076335描述了一種小景深圖像分割的 方法。Epson是基于認(rèn)識(shí)到清晰聚焦區(qū)含有高頻分量。授予 Philips的US 2003/0219172公開了 ，根據(jù)其離散余弦變換(DCT)
系數(shù)的突出度(分布形狀)，計(jì)算單幅圖像的清晰度。授予 Xiao-Fan Feng的US 2004/0120598還公開了 ，利用單幅圖像的 DCT塊檢測(cè)該圖像中的模糊。Epson、 Phi 1 ips以及Feng分別基于 對(duì)單幅圖像的分析，而且不能可靠識(shí)別圖像的前景圖區(qū)和后景 圖區(qū)。
另一種現(xiàn)有技術(shù)包括US 2003/0091225，它描述了根據(jù)兩個(gè) "立體"圖像創(chuàng)建深度圖。
本發(fā)明的目的是提供一種用于識(shí)別數(shù)字圖像的前景圖區(qū)和 后景圖區(qū)的改進(jìn)方法。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的第一方面，提供了一種用于識(shí)別景物的數(shù)字圖
像的前景圖區(qū)和背景圖區(qū)的方法，該方法包括捕獲名義上為
同一個(gè)景物的第一圖像和第二圖像并以DCT編碼格式存儲(chǔ)該捕
獲圖像，利用比該背景更靠近焦點(diǎn)的該前景拍攝該第一圖像，
而利用比該前景更靠近焦點(diǎn)的該背景拍攝該第二圖像；以及根據(jù)所選的高階DCT系數(shù)之和對(duì)于該第二圖像的等效圖區(qū)是減小 還是增大，將該第一圖像的圖區(qū)指定為前景或者背景。
在本說明書中，如果在該兩個(gè)圖像具有相同分辨率的情況 下，這兩個(gè)圖區(qū)基本上對(duì)應(yīng)于該景物的同一個(gè)部分，或者如果 在一個(gè)圖像的分辨率高于另一個(gè)圖像的分辨率的情況下，對(duì)應(yīng) 于該高分辨率圖像的圖區(qū)的部分景物基本上完全包含在對(duì)應(yīng)于 該低分辨率圖像的圖區(qū)的部分景物內(nèi)，名義上為同一個(gè)景物的 兩個(gè)圖像的各自圖區(qū)被稱為是等效的。
如果該兩個(gè)圖像基本上不相同，例如由于照相機(jī)稍許運(yùn)動(dòng)， 可能需要調(diào)準(zhǔn)這兩個(gè)圖像的附加歩驟。
優(yōu)選地，如果利用數(shù)字照相機(jī)捕獲該第一圖像和第二圖像， 則該第一圖像是較高分辨率的圖像，而該第二圖像是該第一圖 像的較低分辨率的預(yù)覽圖像或者后覽圖像。
在數(shù)字照相機(jī)捕獲圖像時(shí)，即，當(dāng)存儲(chǔ)了主圖像后，作為后 處理步驟在照相機(jī)內(nèi)執(zhí)行處理，或者作為后處理步驟在其外部 的分立設(shè)備內(nèi)，諸如個(gè)人計(jì)算機(jī)或者服務(wù)器計(jì)算機(jī)中，執(zhí)行后
處理。在前者情況下，可以僅將這兩個(gè)DCT編碼圖像存儲(chǔ)在該照
相機(jī)的易失性存儲(chǔ)器中，因?yàn)閷?duì)于前景/背景分割以及最終圖像 生成才需要它們。然而，在后者情況下，優(yōu)選將兩個(gè)圖像存儲(chǔ) 在非易失性存儲(chǔ)器中。在使用較低分辨率預(yù)覽圖像或者后覽圖 像的情況下，可以存儲(chǔ)較低分辨率圖像，作為較高分辨率圖像 的文件標(biāo)題的一部分。
在某些情況下，僅需要比較這兩個(gè)圖像的所選圖區(qū)。例如， 如果已知該圖像含有面部，例如，正如面部檢測(cè)算法所確定的 那樣，則可以僅對(duì)包括并包圍該面部的圖區(qū)應(yīng)用本技術(shù)，以提 高在背景上界定該面部的精度。本發(fā)明使用DCT塊提供的固有頻率信息，而且采用DCT塊的高
階DCT系數(shù)的和，作為塊是否處于焦點(diǎn)的指示符。在其余塊表示
背景或者邊界區(qū)域的情況下，將在主目標(biāo)移動(dòng)到焦點(diǎn)外時(shí)其高
階頻率系數(shù)降低的塊取為前景。作為圖像采集和存儲(chǔ)處理的中 間步驟，傳統(tǒng)數(shù)字照相機(jī)中的圖像采集和存儲(chǔ)處理以DCT格式對(duì)
捕獲的圖像進(jìn)行編碼，所以在基本上沒有附加處理的情況下， 可以在這種照相機(jī)中實(shí)現(xiàn)本發(fā)明。
如第PCT/EP2006/005109號(hào)PCT專利申請(qǐng)所述，在照相機(jī)閃光
產(chǎn)生的差異不是足夠大的情況下，該技術(shù)有效。這兩種技術(shù)還 可以有利地組合在一起，以互相補(bǔ)充。
由于執(zhí)行此任務(wù)需要的計(jì)算較簡(jiǎn)單，本發(fā)明的方法適于在照 相機(jī)內(nèi)有效實(shí)現(xiàn)。
根據(jù)本發(fā)明的第二方面，提供了一種根據(jù)對(duì)景物的兩個(gè)或者 兩個(gè)以上的圖像所做的前景/背景分析，確定圖像相對(duì)于數(shù)字圖 像采集器件的取向的方法。


現(xiàn)在將利用例子參考附圖描述本發(fā)明實(shí)施例，附圖中 圖l是根據(jù)本發(fā)明實(shí)施例工作的攝像設(shè)備的方框圖。 圖2示出根據(jù)本發(fā)明實(shí)施例的方法的工作流。
圖3示出豎式圖像的前景圖/后景圖。
具體實(shí)施例方式
圖l示出根據(jù)本發(fā)明實(shí)施例工作的圖像采集器件20的方框 圖。在本實(shí)施例中，圖像采集器件20是便攜式數(shù)字照相機(jī)，它 包括處理器120。我們知道，在該數(shù)字照相機(jī)內(nèi)執(zhí)行的許多處理都可以利用被共同表示為標(biāo)記了 "處理器"的方框120的微處理 器、中央處理單元、控制器、數(shù)字信號(hào)處理器和/或者專用集成
電路內(nèi)運(yùn)行的軟件來實(shí)現(xiàn)或者控制。通常，微控制器122對(duì)所有
用戶界面以及諸如按鈕和顯示器的外圍部件的控制進(jìn)行控制。
響應(yīng)122的用戶輸入，例如，半按下快門按鈕(預(yù)捕像模式32)， 處理器120啟動(dòng)并控制數(shù)字照相過程。利用光傳感器40確定背景
光曝光量，以自動(dòng)確定是否使用閃光。利用還將圖像聚焦在捕 像器件60上的調(diào)焦機(jī)構(gòu)50，確定到目標(biāo)的距離。如果使用閃光， 則處理器120使閃光裝置70產(chǎn)生與完全按下快門按鈕時(shí)捕像器 件60記錄圖像基本上一致的照相閃光。捕像器件60利用數(shù)字方 法以彩色記錄該圖像。該捕像器件為熟悉本技術(shù)領(lǐng)域的技術(shù)人 員所公知，而且它可以包括CCD (電荷耦合器件)或者CMOS，以 便于數(shù)字記錄。閃光可以選擇性地響應(yīng)光傳感器40，或者響應(yīng) 該照相機(jī)用戶的手動(dòng)輸入72產(chǎn)生。捕像器件60記錄的高清晰度 圖像存儲(chǔ)在圖像存儲(chǔ)器80內(nèi)，圖像存儲(chǔ)器80可以包括計(jì)算機(jī)內(nèi) 存，諸如動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器或者非易失性存儲(chǔ)器。該照相機(jī) 裝備有諸如LCD的顯示器IOO，用于預(yù)覽和后覽圖像。
對(duì)于在半按下快門按鈕情況下以預(yù)捕像模式32產(chǎn)生的預(yù)覽 圖像，顯示器100可以支持用戶合成圖像以及用于確定聚焦和曝 光。暫存器82用于存儲(chǔ)一個(gè)或者多個(gè)預(yù)覽圖像，而且它可以作 為圖像存儲(chǔ)器80的一部分，也可以作為分立部件。該預(yù)覽圖像 通常由捕像器件60產(chǎn)生。因?yàn)樗俣群痛鎯?chǔ)效率的原因，預(yù)覽圖
像的像素分辨率通常比快門按鈕被完全按下時(shí)拍攝的主圖像的 分辨率低，而且該預(yù)覽圖像是通過利用可以作為通用處理器120 一部分的軟件124或者專用硬件或者它們的組合對(duì)原始捕獲的 圖像進(jìn)行分抽樣產(chǎn)生的。根據(jù)該硬件子系統(tǒng)的設(shè)置，預(yù)采集圖像處理可以先滿足某些預(yù)定測(cè)試判據(jù)，然后存儲(chǔ)預(yù)覽圖像。這 種測(cè)試判據(jù)可以是時(shí)序的，例如，在預(yù)捕像模式32期間，始終 每隔O. 5秒利用新捕獲的預(yù)覽圖像代替先前存儲(chǔ)的預(yù)覽圖像，直 到最終，通過完全按下快門按鈕捕獲到高清晰度圖像。更復(fù)雜 的判據(jù)可以包括對(duì)預(yù)覽圖像內(nèi)容的分析，例如，檢驗(yàn)發(fā)生變化 的圖像，然后，決定該新預(yù)覽圖像是否應(yīng)該替換先前存儲(chǔ)的圖 像。其他判據(jù)可以基于諸如銳度的圖像分析，或者諸如曝光條 件、是否對(duì)最終圖像使用閃光、到目標(biāo)的估計(jì)距離等的元數(shù)據(jù) 分析。
如果沒有滿足測(cè)試判據(jù)，照相機(jī)通過捕獲下一個(gè)預(yù)覽圖像而 廢棄先前捕獲的預(yù)覽圖像繼續(xù)工作。繼續(xù)執(zhí)行該處理，直到通 過完全按下快門按鈕，獲取并保存最終的高清晰度圖像。
如果可以存儲(chǔ)保存多個(gè)預(yù)覽圖像，則可以將新預(yù)覽圖像放置
在時(shí)序先進(jìn)先出(FIFO)堆棧上，直到用戶拍攝到最終圖片。
存儲(chǔ)多個(gè)預(yù)覽圖像的理由是，例如在紅眼校正處理中或者在本 實(shí)施例中的肖像模式處理中，與最終高清晰度圖像相比，最終 預(yù)覽圖像，或者任意一個(gè)預(yù)覽圖像可以不是最佳基準(zhǔn)圖像。通 過存儲(chǔ)多個(gè)圖像，可以獲得較佳基準(zhǔn)圖像，而且在后面討論的 調(diào)準(zhǔn)階段，可以實(shí)現(xiàn)預(yù)覽圖像與最終捕獲的圖像更接近的調(diào)準(zhǔn)。 如下所述，當(dāng)該照相機(jī)處于肖像模式下時(shí)，該照相機(jī)也能夠 捕獲一個(gè)或者多個(gè)低分辨率后覽圖像，然后，將它們存儲(chǔ)在暫
存器82內(nèi)。除了后覽圖像在捕獲了高分辨率的主圖像之后出現(xiàn) 外，該后覽圖像與預(yù)覽圖像基本相同。
在該實(shí)施例中，照相機(jī)20具有用戶可選模式30。作為較大處 理的一部分，用戶模式30是一種需要對(duì)圖像進(jìn)行前景/背景分割 的模式，例如對(duì)該圖像應(yīng)用特技濾波器或者修改或校正圖像。因此，在用戶模式30中，進(jìn)行前景/背景分割本身不是目的，但
是，只有模式30的分割方面與本發(fā)明有關(guān)，因此，在此僅描述
這些方面。
如果選擇用戶模式30，則在按下快門按鈕時(shí)，使照相機(jī)以緊 密間隔自動(dòng)捕獲并存儲(chǔ)一系列圖像，因此，這些圖像名義上是 同一個(gè)景物的。圖像的特定數(shù)量、分辨率和順序以及圖像的不 同部分聚焦或者散焦的程度取決于特定實(shí)施例，下面將做說明。 用戶模式處理器90根據(jù)要描述的工作流分析并處理該存儲(chǔ)圖 像。處理器90可以集成在照相機(jī)20上，的確，它可以是被適當(dāng) 編程的處理器120，它也可以是諸如臺(tái)式計(jì)算機(jī)的外部處理設(shè)備 IO的一部分。在該實(shí)施例中，處理器90以DCT格式處理該捕獲圖 像。如上所述，傳統(tǒng)數(shù)字照相機(jī)中的圖像采集與存儲(chǔ)處理以DCT 格式編碼并暫存該捕獲圖像，作為該處理的中間步驟，最終， 例如以jpg格式，存儲(chǔ)該圖像。因此，使得處理器90可以輕而易 舉地獲得中間DCT編碼圖像。
圖2示出根據(jù)本發(fā)明的用戶模式處理實(shí)施例的工作流。 首先，在步驟200，選擇用戶模式30?，F(xiàn)在，當(dāng)快門按鈕被 完全按下時(shí)，照相機(jī)自動(dòng)以DCT格式捕獲并存儲(chǔ)兩個(gè)數(shù)字圖像
一在步驟202，高像素分辨率圖像(圖像A)。該圖像具有處于焦 點(diǎn)的，或者至少與背景相比實(shí)際上更接近處于焦點(diǎn)的感興趣前 景目標(biāo)。
一在步驟204，低像素分辨率后覽圖像(圖像B)。該圖像具有處 于焦點(diǎn)，或者至少與感興趣前景目標(biāo)相比實(shí)際上更接近焦點(diǎn)的 背景。數(shù)字照相機(jī)中的自動(dòng)聚焦算法通常支持偏心多點(diǎn)聚焦， 可以利用該偏心多點(diǎn)聚焦在該背景上獲得良好聚焦。如果這種支持不可用，照相機(jī)可能聚焦在無窮遠(yuǎn)。
迅速連續(xù)拍攝這兩個(gè)圖像，以便名義上每個(gè)圖像捕獲的景物 是同一個(gè)景物。
在該實(shí)施例中，在照相機(jī)20內(nèi)需要執(zhí)行剛描述的步驟200至
206?？梢栽谠撜障鄼C(jī)或者外部設(shè)備10內(nèi)執(zhí)行現(xiàn)在將要描述的其
余步驟。
在步驟206，對(duì)圖像A和B進(jìn)行調(diào)準(zhǔn)，以補(bǔ)償在拍攝這些圖像
期間該目標(biāo)或者照相機(jī)發(fā)生的稍許運(yùn)動(dòng)。調(diào)準(zhǔn)準(zhǔn)算法是眾所周 知的。然后，在步驟208，通過對(duì)該圖像的每個(gè)DCT塊或者至少 該圖像的大多數(shù)DCT塊，求得選擇的高階DCT系數(shù)和，構(gòu)建前景 聚焦圖像A的高頻(HF)圖。作為背景，對(duì)于8X8像素塊，產(chǎn)生 一組從第一 (直流(d. c.))分量到最高頻率分量的64個(gè)DCT系 數(shù)。在該實(shí)施例中，對(duì)于塊附加最多25X的DCT系數(shù)，以提供該 塊的總HF指數(shù)。如果沒有使用該圖像的全部DCT塊構(gòu)建該圖，這 些DCT塊應(yīng)該集中在期望含有感興趣前景目標(biāo)的該圖區(qū)上。例 如，通?？梢允÷栽搱D像的超邊緣，因?yàn)樗鼈儙缀跏冀K是背景。 在此，將所獲得的圖稱為圖A。
接著，在步驟210，通過利用與圖A相同的過程計(jì)算DCT塊的 HF指數(shù)，構(gòu)建背景聚焦圖像B的HF圖(圖B)。
現(xiàn)在，在步驟212，通過將圖A減圖B，構(gòu)建差圖(difference nrnp)。這是通過將在步驟210獲得的HF指數(shù)分別減去在步驟208 獲得的HF指數(shù)實(shí)現(xiàn)的。由于圖像A比圖像B的像素分辨率高，所 以與圖像A中的DCT塊相比，圖像B中的DCT塊對(duì)應(yīng)更大的景物區(qū) 域。因此，將圖B的HF指數(shù)，其對(duì)應(yīng)于景物區(qū)域的DCT塊包含或
者允許該目標(biāo)或者照相機(jī)在拍攝圖像期間稍許運(yùn)動(dòng)，減去基本 上含有對(duì)應(yīng)于圖A的DCT塊的景物區(qū)域的圖A的每個(gè)HF指數(shù)。這意味著，圖像A上幾個(gè)相鄰DCT塊的HF指數(shù)，將從對(duì)應(yīng)于圖像B 的一個(gè)DCT塊的圖B的相同HF指數(shù)中減去。
在步驟214，利用差圖中的值，構(gòu)建數(shù)字前景/背景圖，其中 根據(jù)其HF指數(shù)與在步驟212中減去它的圖像B的DCT塊的HF指數(shù) 之間的差分別為負(fù)或?yàn)檎?，指定圖像A的每個(gè)DCT塊對(duì)應(yīng)于該圖 像的前景或者背景圖區(qū)。
最后，在步驟216，附加形態(tài)、圖區(qū)填充以及相關(guān)圖像處理 技術(shù)，單獨(dú)或者與其他前景/背景分割技術(shù)組合，可以進(jìn)一步改 進(jìn)并增強(qiáng)最終前景/背景圖。
現(xiàn)在，根據(jù)用戶可選模式30執(zhí)行的功能，該最終前景/背景 圖218可以應(yīng)用于DCT編碼版或者jpg版的圖像A，用于處理該圖 像。
如果處理器90集成在照相機(jī)20上，則可以將最終處理的jpg 圖像顯示在圖像顯示器100上，將它存儲(chǔ)在可以是諸如CF卡、SD 卡等的內(nèi)部存儲(chǔ)器或者可移動(dòng)存儲(chǔ)器的長(zhǎng)久存儲(chǔ)器112上，也可 以通過系留的或者是無線的圖像輸出設(shè)備110，將它下載到諸如
個(gè)人計(jì)算機(jī)、服務(wù)器或者打印機(jī)的另一個(gè)設(shè)備上。在在諸如臺(tái) 式計(jì)算機(jī)的外部設(shè)備10上實(shí)現(xiàn)處理器90的實(shí)施例中，最終處理 過的圖像可以返回照相機(jī)20中進(jìn)行如上所述的存儲(chǔ)和顯示，或 者在照相機(jī)外存儲(chǔ)并顯示它。
上述實(shí)施例可能存在變型。例如，圖像B可以是低分辨率預(yù) 覽圖像，而非后覽圖像。作為一種選擇，圖像A和B可以是分辨 率相同的高分辨率圖像。在這種情況下，圖像B上的DCT塊與圖 像A上的DCT塊對(duì)應(yīng)于相同的區(qū)域。因此，在步驟212，通過將圖 B的相應(yīng)不同HF指數(shù)，即，對(duì)應(yīng)于該景物的相同區(qū)域，或者在拍 攝該圖像期間允許該目標(biāo)或者照相機(jī)稍許運(yùn)動(dòng)的基本相同區(qū)域的圖B的HF指數(shù)，減去圖A的每個(gè)HF指數(shù)，構(gòu)建該差圖。在另一 個(gè)實(shí)施例中，圖像A和B都是具有相同分辨率的低分辨率預(yù)覽和/ 或者后覽圖像，而且將由其獲得的前景/背景圖應(yīng)用于名義上同 一個(gè)景物的第三高分辨率圖像。在又一個(gè)實(shí)施例中，圖像A和B 具有不同像素分辨率，而且在進(jìn)行DCT編碼之前，通過增抽樣
(up-sampling)低分辨率圖像和/或者分抽樣高分辨率圖像， 使這兩個(gè)圖像的像素分辨率匹配。
盡管上面描述的實(shí)施例設(shè)想創(chuàng)建并存儲(chǔ)數(shù)字前景/背景圖， 但是在另一種算法中，還可以使用直接對(duì)相應(yīng)于每個(gè)DCT塊的圖
區(qū)指定的前景/背景，因此，不需要正式地創(chuàng)建并存儲(chǔ)數(shù)字圖。 在另一個(gè)實(shí)施例中，可以首先對(duì)每個(gè)圖進(jìn)行預(yù)處理，以提供 分別具有類似HF特性的圖區(qū)，而不是采用塊分析使這些圖及其 比較基于DCT塊。例如，將具有大于給定閾值的HF分量的鄰接塊 編在一組，而將具有小于給定閾值的HF分量的鄰接塊編在一組。 然后，將前景圖像中和背景圖像中的圖區(qū)進(jìn)行比較，以確定它 們是前景還是背景。
如上所述，在許多應(yīng)用中，在圖像中實(shí)現(xiàn)前景/背景分離的 能力是有用的。
根據(jù)本發(fā)明的又一個(gè)方面，使用無論是利用上面描述的實(shí)施 例還是利用例如PCT/EP2006/005109的基于閃光技術(shù)計(jì)算的圖 像的前景圖/背景圖的特定應(yīng)用是，探測(cè)圖像相對(duì)于照相機(jī)的取 向。(當(dāng)然，該技術(shù)可以應(yīng)用于任意數(shù)字圖像采集器件。)對(duì)于 大多數(shù)情況，當(dāng)在不需要附加機(jī)械裝置的情況下拍攝圖像時(shí)， 這還暗示了照相機(jī)的取向。
請(qǐng)參考圖3，本發(fā)明的該方面基于觀察到，對(duì)于正常取向景 物，在正常取向照相機(jī)中，近圖像前景(在這種情況下是目標(biāo)30)處于該圖像的底部，而遠(yuǎn)背景處于其頂部。
利用基于閃光的前景/背景分割，如果更靠近照相機(jī)，則與 遠(yuǎn)背景相比，近前景30反映更多的閃光。因此，通過計(jì)算該景 物的閃光版圖像與非閃光版圖像的差，可以探測(cè)到圖像取向， 而且可以暗示照相機(jī)取向。(與在上述實(shí)施例中相同，在分析兩
個(gè)圖像的DCT系數(shù)時(shí)，應(yīng)用相應(yīng)的分析。)
典型實(shí)現(xiàn)使用兩個(gè)基準(zhǔn)圖像(或者預(yù)覽圖像或者分辨率適配 的先前圖像與主圖像的組合)， 一個(gè)是閃光圖像， 一個(gè)是非閃光 圖像，而且將它們變換為灰度級(jí)。
對(duì)于每個(gè)像素，對(duì)應(yīng)于閃光圖像的灰度級(jí)減去非閃光圖像的 灰度級(jí)，以提供差圖像。在其他實(shí)現(xiàn)中，可以利用求比代替求 減。
對(duì)于每種可能的圖像/照相機(jī)取向，在差圖像中取圖框 (box)。這樣，對(duì)于直立照相機(jī)中的圖像感測(cè)陣列IO，圖框12 與該照相機(jī)的直立取向相關(guān)，圖框16與該照相機(jī)的反向取向相 關(guān)，圖框14與該照相機(jī)相對(duì)于景物的順時(shí)針旋轉(zhuǎn)相關(guān)，圖框18
與該照相機(jī)相對(duì)于景物的逆時(shí)針旋轉(zhuǎn)相關(guān)。
對(duì)于每個(gè)圖框12至18，計(jì)算差圖像的平均值。這樣，可以看 出，在某些實(shí)現(xiàn)中，對(duì)于對(duì)應(yīng)于圖框12至18的各部分圖像，僅 需要計(jì)算該差。
為了簡(jiǎn)潔起見，圖3所示的圖框沒有延伸到該圖像的邊緣， 然而，在典型實(shí)現(xiàn)中，如果圖框尺寸二dim，則圖框18可以從 左側(cè)=0 、頂部=0延伸到右側(cè)=d i m和底部=圖像高度。在其他 實(shí)現(xiàn)中，圖框可以使其他適當(dāng)圖區(qū)與給定取向，或者實(shí)際上與 其他測(cè)量單元相關(guān)，而非與平均值相關(guān)(即，直方圖)。
計(jì)算圖框12至18的平均值中的最大值，而且對(duì)應(yīng)于該最大值的圖框被認(rèn)為是最大程度對(duì)著其余圖區(qū)的前景的圖區(qū)?？梢哉J(rèn) 為這指出該圖區(qū)位于(各)基準(zhǔn)圖像的底部。在圖3所示的例子
中，該圖框的差圖像中的最大差值出現(xiàn)在圖框12中，這表示直
立目標(biāo)，而且暗示了給出目標(biāo)的正常姿態(tài)的直立照相機(jī)取向。 在某些實(shí)現(xiàn)中，不需要使用圖框16，因?yàn)樗皇钦障鄼C(jī)內(nèi)的實(shí) 際取向。
在某些實(shí)現(xiàn)中，為了使推定的圖像取向有效，執(zhí)行一些檢驗(yàn) 有好處。例如，檢驗(yàn)平均值的最大值，以確定它是否相對(duì)于其 他值具有主導(dǎo)作用，而且該主導(dǎo)作用暗示了可信度，反之亦然。
對(duì)于不同類型的圖像(正如PCT/EP2006/0055109描述的室內(nèi)/ 室外，白天/晚上)，通過實(shí)驗(yàn)，改變要求的主導(dǎo)度。在該步驟， 可以將來自該照相機(jī)內(nèi)使用的其他圖像分析部件的信息組合在 一起，以確定可信度。 一個(gè)典型的圖像分析部件是面部跟蹤模 塊，它可以對(duì)預(yù)覽圖像流起作用。該部件存儲(chǔ)與跟蹤的面部區(qū) 域相關(guān)的歷史數(shù)據(jù)，包括圖區(qū)是面部的可信度以及相關(guān)取向。 如果存在多個(gè)面部，則可以將其數(shù)據(jù)組合在一起，以確定可信 度。
如果推定的左側(cè)圖像和右側(cè)圖像的差值接近并小于推定的 底部圖像的垂直而大于推定的頂部圖像的差值，則它更可能正 確檢測(cè)到該取向。
因?yàn)楦鶕?jù)該圖是利用基于閃光還是基于非閃光的分割創(chuàng)建 的，可以對(duì)室內(nèi)圖像和室外圖像提供前景/背景圖，所以在許多 其他照相機(jī)應(yīng)用中，知道圖像取向可能有用。例如，知道物體 在圖像中的可能取向減小了試圖識(shí)別處于每個(gè)可能取向上的物 體所需的處理開銷。
本發(fā)明并不局限于在此描述的實(shí)施例，在不脫離本發(fā)明范圍的情況下，可以對(duì)該實(shí)施例進(jìn)行修改和變更
權(quán)利要求
1. 一種用于識(shí)別景物的數(shù)字圖像的前景圖區(qū)和背景圖區(qū)的方法，該方法包括捕獲名義上為同一個(gè)景物的第一圖像和第二圖像并以DCT編碼格式存儲(chǔ)該捕獲圖像，利用比該背景更靠近焦點(diǎn)的該前景拍攝該第一圖像，而利用比該前景更靠近焦點(diǎn)的該背景拍攝該第二圖像；以及根據(jù)選擇的高階DCT系數(shù)之和對(duì)于該第二圖像的等效圖區(qū)是減小還是增大，將該第一圖像的圖區(qū)指定為前景或者背景。
2. —種用于識(shí)別景物的數(shù)字圖像的前景圖區(qū)和背景圖區(qū) 的方法，該方法包括如下步驟(a) 捕獲名義上為同一個(gè)景物的第一圖像和第二圖像并以 DCT編碼格式存儲(chǔ)該捕獲圖像，利用比該背景更靠近焦點(diǎn)的該前 景拍攝該第一圖像，而利用比該前景更靠近焦點(diǎn)的該背景拍攝 該第二圖像，(b) 對(duì)該第一圖像的多個(gè)DCT塊，計(jì)算選定的高階系數(shù)之和，(c) 對(duì)該第二圖像的多個(gè)DCT塊，計(jì)算相同高階系數(shù)之和，(d) 將在歩驟(b)對(duì)該第一圖像的每個(gè)DCT塊計(jì)算的和與 在步驟(c)對(duì)該第二圖像的等效圖區(qū)的DCT塊計(jì)算的和進(jìn)行比 較，(e) 如果對(duì)該第一圖像的給定DCT塊計(jì)算的和大于對(duì)該第 二圖像的該等效圖區(qū)的DCT塊計(jì)算的和，則指定所述給定DCT塊為對(duì)應(yīng)于該圖像的前景圖區(qū)，以及(f) 如果對(duì)該第一圖像的給定DCT塊計(jì)算的和小于對(duì)該第 二圖像的該等效圖區(qū)的DCT塊計(jì)算的和，則指定所述給定DCT塊 為對(duì)應(yīng)于該圖像的背景圖區(qū)。
3. 根據(jù)權(quán)利要求2所述的方法，進(jìn)一步包括在步驟(a) 與步驟(b)之間調(diào)準(zhǔn)該第一圖像和第二圖像的步驟。
4. 根據(jù)權(quán)利要求2所述的方法，進(jìn)一步包括，通過指定所述塊為對(duì)應(yīng)于該圖像的背景或者前景圖區(qū)，創(chuàng)建數(shù)字圖。
5. 根據(jù)權(quán)利要求2所述的方法，其中該第一圖像和第二圖像具有不同的像素分辨率。
6. 根據(jù)權(quán)利要求5所述的方法，進(jìn)一步包括在進(jìn)行DCT編碼之前，使該兩個(gè)圖像的像素分辨率匹配。
7. 根據(jù)權(quán)利要求2所述的方法，其中數(shù)字照相機(jī)捕獲該第一圖像和第二圖像。
8. 根據(jù)權(quán)利要求7所述的方法，其中該第一圖像是較高分 辨率圖像，而且其中該第二圖像是該第一圖像的較低分辨率的 預(yù)覽版或者后覽版。
9. 根據(jù)權(quán)利要求7所述的方法，其中作為后處理步驟，在 數(shù)字照相機(jī)之外的設(shè)備內(nèi)執(zhí)行步驟(b)至(f)。
10. 根據(jù)權(quán)利要求7所述的方法，其中作為后處理步驟， 在該數(shù)字照相機(jī)內(nèi)執(zhí)行步驟(b)至(f)。
11. 根據(jù)權(quán)利要求2所述的方法，其中該第一圖像和第二 圖像具有相同的像素分辨率。
12. 根據(jù)權(quán)利要求ll所述的方法，其中數(shù)字照相機(jī)捕獲該 第一圖像和第二圖像，而且該第一圖像和第二圖像是也由該照 相機(jī)捕獲的所述景物的高分辨率圖像的較低分辨率的預(yù)覽版和 /或者后覽版。
13. 根據(jù)權(quán)利要求2所述的方法，其中所選高階系數(shù)是最 多25%的系數(shù)。
14. 一種沒有照相膠片的數(shù)字圖像采集系統(tǒng)，包括用于捕獲名義上為同一個(gè)景物的第一圖像和第二圖像并以DCT編碼格式存儲(chǔ)該捕獲圖像的裝置，利用比該背景更靠近焦點(diǎn)的該前 景拍攝該第一圖像，而利用比該前景更靠近焦點(diǎn)的該背景拍攝該第二圖像；以及用于根據(jù)所選高階DCT系數(shù)之和對(duì)于該第二圖 像的等效圖區(qū)是減小還是增大，將該第一圖像的圖區(qū)指定為前 景或者背景的裝置。
15. —種用于確定圖像相對(duì)于數(shù)字圖像采集器件的取向 的方法，包括利用所述數(shù)字圖像采集器件捕獲兩個(gè)名義上為同一個(gè)景物 的圖像；至少將與所述圖像的相應(yīng)邊緣相鄰的所述兩個(gè)圖像的一部 分進(jìn)行比較，以確定，與背景相比，所述部分是否包括較多的 前景；以及響應(yīng)所述部分包括超過閾值程度的前景，確定利用其底部 的所述部分定向所述圖像。
16. 根據(jù)權(quán)利要求15所述的方法，其中所述圖像包括閃光圖像和非閃光圖像，而且其中所述比較包括比較所述部分的像 素的亮度級(jí)。
17. 根據(jù)權(quán)利要求15所述的方法，其中所述圖像包括非閃 光圖像，而且其中所述比較包括比較所述部分的至少一塊的高 階DCT系數(shù)。
18. 根據(jù)權(quán)利要求15所述的方法，包括根據(jù)所述圖像取 向，暗示所述數(shù)字圖像采集器件的取向。
19. 根據(jù)權(quán)利要求15所述的方法，其中所述比較包括將與所述兩個(gè)圖像的多個(gè)邊緣相鄰的各部分進(jìn)行比較，而且其中與 其他任意部分相比，被確定最大程度包括前景的部分被認(rèn)為位于所述圖像的底部。
20. 根據(jù)權(quán)利要求19所述的方法，其中對(duì)于被認(rèn)為位于所 述圖像的底部的部分，其前景程度必須超過與對(duì)側(cè)邊緣相鄰部 分的背景程度給定閾值。
21. 根據(jù)權(quán)利要求20所述的方法，其中所述閾值至少根據(jù) 如下之一改變所述圖像的曝光級(jí)以及所述圖像被分類為室內(nèi) 還是室外。
22. 根據(jù)權(quán)利要求19所述的方法，其中對(duì)于被認(rèn)為位于所 述圖像的底部的部分，其前景程度必須超過至少與相鄰邊緣相 鄰的部分的背景程度，而且與所述相鄰邊緣相鄰的部分的前景 程度必須超過與對(duì)側(cè)邊緣相鄰的部分的前景程度。
23. —種沒有照相膠片的數(shù)字圖像采集系統(tǒng)，包括用于 捕獲名義上為同一個(gè)景物的兩個(gè)圖像的裝置；用于至少將與所 述圖像的對(duì)應(yīng)邊緣相鄰的所述兩個(gè)圖像的一部分進(jìn)行比較，以 確定與背景相比，所述部分包括較多的前景的裝置；以及用于 響應(yīng)所述部分包括超過閾值程度的前景，確定利用其底部的所 述部分對(duì)所述圖像定向的裝置。
全文摘要
用于識(shí)別景物的數(shù)字圖像的前景圖區(qū)和背景圖區(qū)的有效實(shí)施方法包括捕獲名義上為同一個(gè)景物的兩個(gè)圖像并以DCT編碼格式存儲(chǔ)該捕獲圖像，利用比該背景更靠近焦點(diǎn)的該前景拍攝該第一圖像，而利用比該前景更靠近焦點(diǎn)的該背景拍攝該第二圖像。根據(jù)選擇的高階DCT系數(shù)之和對(duì)于該第二圖像的等效圖區(qū)是減小還是增大，將該第一圖像的圖區(qū)指定為前景或者背景。
文檔編號(hào)G06T7/00GK101416219SQ200680054223
公開日2009年4月22日 申請(qǐng)日期2006年8月21日 優(yōu)先權(quán)日2006年2月14日
發(fā)明者埃蘭·斯坦伯格, 彼得·科科倫, 彼得羅內(nèi)爾·比焦伊, 阿德里安·卡帕塔 申請(qǐng)人:快圖影像有限公司