專利名稱：面部圖像校正的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及具有內(nèi)嵌式照相機(jī)的手持無線電通信終端，尤 其涉及用于視頻會(huì)議通信的這種終端的應(yīng)用， 背景技術(shù)蜂窩式電話產(chǎn)業(yè)在過去幾十年中在世界范圍內(nèi)已經(jīng)具有巨大的發(fā)展。從最初的模擬系統(tǒng)(比如通過標(biāo)準(zhǔn)AMPS(高級(jí)移動(dòng)電話系 統(tǒng))和NMT (北歐移動(dòng)電話)所定義的那些模擬系統(tǒng))，發(fā)展在最 近幾年期間幾乎專門地集中于蜂窩式無線電網(wǎng)絡(luò)系統(tǒng)的數(shù)字解決方 案的標(biāo)準(zhǔn)，比如D-AMPS (例如在EIA/TIA-IS-54-B和IS-136中所 規(guī)定的)和GSM (全球移動(dòng)通信系統(tǒng))?，F(xiàn)在，蜂窩式技術(shù)正進(jìn)入所 謂的第3代3G，與前面所述的以前的第2代數(shù)字系統(tǒng)相比具有幾個(gè) 優(yōu)勢(shì)。在移動(dòng)電話技術(shù)中所進(jìn)行的改進(jìn)涉及功能特征，比如更好的顯 示、更有效和更持久的電池、用于產(chǎn)生和弦鈴聲信號(hào)的裝置.已經(jīng) 越來越普遍的一種功能特征是內(nèi)嵌式照相機(jī)。具有視頻照相機(jī)功能 的照相機(jī)現(xiàn)在在幾種移動(dòng)電話中也是可實(shí)現(xiàn)的。隨著高比特率業(yè)務(wù) 的進(jìn)入，比如EDGE(GSM增強(qiáng)數(shù)據(jù)速率)和3G，與視頻相關(guān)的業(yè) 務(wù)的可用性將增加。首先，具有聲音和移動(dòng)圖像的同時(shí)通信的移動(dòng) 視頻電話最近已經(jīng)是商業(yè)上可獲得的。對(duì)于固定的使用，視頻會(huì)議系統(tǒng)通常包括被安裝在諸如個(gè)人計(jì) 算機(jī)PC的通信終端之上或旁邊的或被集成在IP電話中的照相機(jī)。 這樣一種系統(tǒng)的使用是相當(dāng)簡單的，因?yàn)橛脩粑挥诮K端前面，照相 機(jī)對(duì)準(zhǔn)用戶。但是，具有面對(duì)面?zhèn)鬏數(shù)囊苿?dòng)視頻會(huì)議受困于一個(gè)主 要缺點(diǎn)。當(dāng)通過移動(dòng)手持終端通信時(shí)，用戶必須將該終端穩(wěn)定地保 持在面前，使得接收方可以看到用戶、也即發(fā)送方的面部.為了獲 得可用的用戶圖像，該終端必須呈90。左右對(duì)準(zhǔn)面部， 一個(gè)問題在于該用戶將會(huì)感到胳膊累，從而易于搖晃并且還將該終端保持得越來 越低。結(jié)果是所捕獲的圖像將會(huì)顯示膊子和用戶的下巴部分更多， 而不顯示面部的上面部分。由于感到難以使用，所以這降低了業(yè)務(wù) 的價(jià)值。而且，應(yīng)當(dāng)理解的是，頋客當(dāng)參加視頻會(huì)議時(shí)可能想能夠 看到周圍環(huán)境，但是如果移動(dòng)電話必須被保持在面部前面，那么該 移動(dòng)電話將會(huì)阻礙至少部分的視場， 發(fā)明內(nèi)容因此，本發(fā)明的總的目的在于提供利用移動(dòng)手持終端的圖像和 視頻會(huì)議系統(tǒng)用的改進(jìn)的裝置.本發(fā)明的目的尤其在于提供一種更 方便的方法，以用于依靠手持移動(dòng)終端進(jìn)行視頻會(huì)議，其中該方法 克服了現(xiàn)有技術(shù)的確定的缺點(diǎn)，根據(jù)第一方面，該目的通過用于調(diào)節(jié)通過手持無線電通信終端 中的照相機(jī)所捕獲的對(duì)象的圖像的方法來實(shí)現(xiàn)，該方法包括以下步驟-定義對(duì)所述對(duì)象的第一照相機(jī)角度；-通過所述照相機(jī)從對(duì)所述對(duì)象的第二照相機(jī)角度來捕獲所述對(duì) 象的圖像，其中所述第二照相機(jī)角度與所述第 一照相機(jī)角度相偏 移；-存儲(chǔ)關(guān)于所捕獲的圖像的困像數(shù)據(jù)；以及 -根據(jù)所述圖像數(shù)據(jù)以及在所述第一照相機(jī)角度和所述第二照相 機(jī)角度之間的角度關(guān)系產(chǎn)生所述對(duì)象的角度調(diào)節(jié)的圖像。 所述方法優(yōu)選地包括以下的步驟-存儲(chǔ)與所述對(duì)象的來自所述第一照相機(jī)角度的參考圖像有關(guān)的參考圖像數(shù)據(jù)，其中產(chǎn)生所述對(duì)象的角度調(diào)節(jié)的圖像的所述步驟也依賴于所述的參考圖像數(shù)據(jù)，在一個(gè)實(shí)施例中，所述方法包含以下步驟 -從所述笫一照相機(jī)角度捕獲對(duì)象的所述參考圖像。 在一個(gè)實(shí)施例中，所述被捕獲的圖像是移動(dòng)的圖像，并且其中產(chǎn)生角度調(diào)節(jié)的圖像的所述步驟涉及實(shí)時(shí)地產(chǎn)生移動(dòng)的被調(diào)節(jié)的圖像。在一個(gè)實(shí)施例中，產(chǎn)生角度調(diào)節(jié)的圖像的所述步驟包括以下步-以數(shù)字方式識(shí)別在所述被捕獲的圖像中和所述參考圖像中的相 應(yīng)構(gòu)造；-從所述圖像數(shù)據(jù)的和所述參考圖像數(shù)據(jù)的空間圖像數(shù)據(jù)之間的 數(shù)學(xué)關(guān)系為所述的相應(yīng)構(gòu)造建立數(shù)學(xué)變換；以及-通過對(duì)所述困像數(shù)據(jù)應(yīng)用所述的數(shù)學(xué)變換來變換所述所捕獲的 圖像以看起來象從所述第一照相機(jī)角度被捕獲一樣.在一個(gè)實(shí)施例中，產(chǎn)生角度調(diào)節(jié)的圖像的所述步驟包含以下步驟-在所述被捕獲的圖像中和在所述參考圖像中以數(shù)字方式識(shí)別關(guān) 鍵特征；-檢測(cè)所述關(guān)鍵特征在所述被捕獲的圖像中的移動(dòng)； -從所述被捕獲的圖像中濾除所述的移動(dòng)；以及 -將所述移動(dòng)施加于參考圖像中的所述關(guān)鍵特征以獲得被調(diào)節(jié)的 圖像。在一個(gè)實(shí)施例中，產(chǎn)生角度調(diào)節(jié)的圖像的所述步驟包含以下步-使所述被捕獲的圖像傾斜以補(bǔ)償所述第一照相機(jī)角度和所述笫 二照相機(jī)角度之間的差；以及 -縮放并修剪被傾斜的圖像.在一個(gè)實(shí)施例中，所述第一照相機(jī)角度是對(duì)所述對(duì)象的預(yù)先確 定的照相機(jī)角度。在一個(gè)實(shí)施例中，所述笫一照相機(jī)角度是從多個(gè)可選的預(yù)設(shè)角 度中通過對(duì)該終端的輸入命令來選擇的.在一個(gè)實(shí)施例中，所述第二照相機(jī)角度通過所述終端中的角度 傳感器來感測(cè)。在一個(gè)實(shí)施例中，所述第二照相機(jī)角度是從多個(gè)可選的預(yù)設(shè)角 度中通過對(duì)該終端的輸入命令來選擇的.在一個(gè)實(shí)施例中，所述方法包括以下步驟-將所述被調(diào)節(jié)的困像編碼為無線電信號(hào)；以及-從所述終端發(fā)射所述無線電信號(hào)。在一個(gè)實(shí)施例中，所述方法包含以下步驟-將所述被捕獲的圖像的圖像數(shù)據(jù)連同第一照相機(jī)角度和第二照 相機(jī)角度之間的所述角度關(guān)系的數(shù)據(jù)一起編碼為無線電信號(hào)；-從所述終端發(fā)射所述無線電信號(hào)；-在無線電信號(hào)接收裝置中接收所述無線電信號(hào)；以及 -在所述裝置中產(chǎn)生所述對(duì)象的所述角度調(diào)節(jié)的圍像. 在一個(gè)實(shí)施例中，所述對(duì)象是拿著該終端的用戶的面部. 根據(jù)第二方面，上迷的目的通過一種移動(dòng)無線電通信終端來實(shí)現(xiàn)，其中該移動(dòng)無線電通信終端包括用于捕獲圖像的照相機(jī)以及用 于產(chǎn)生并發(fā)射包括被捕獲的圖像的無線電信號(hào)至接收方的裝置，其 特征在于一種圖像調(diào)節(jié)裝置，其包括用于存儲(chǔ)對(duì)對(duì)象的第一照相機(jī)角度的角度值和與所述第一照相機(jī)角度相偏移的笫二照相機(jī)角度的 角度值的存儲(chǔ)器，所述圖像調(diào)節(jié)裝置還包括圖像處理系統(tǒng)，所述圖 像處理系統(tǒng)被設(shè)計(jì)以對(duì)所述對(duì)象的通過所述照相機(jī)從所述笫二照相 機(jī)角度所捕獲的圖像進(jìn)行處理，包括用于根據(jù)所述圖像的困像數(shù)據(jù) 并根據(jù)所述第 一照相機(jī)角度和所述第二照相機(jī)角度之間的角度關(guān)系 來產(chǎn)生所述對(duì)象的角度調(diào)節(jié)的困像的裝置.在一個(gè)實(shí)施例中，所述存儲(chǔ)器還包括與所述對(duì)象的來自所述第 一照相機(jī)角度的參考圖像有關(guān)的參考圖像數(shù)據(jù)，其中圖像處理系統(tǒng) 的所述裝置被設(shè)計(jì)用以根據(jù)所述參考圖像數(shù)據(jù)來產(chǎn)生所述對(duì)象的所 述角度調(diào)節(jié)的圖像.在一個(gè)實(shí)施例中，所述照相機(jī)被設(shè)計(jì)以捕獲移動(dòng)的圖像，并且 其中所述圖像處理系統(tǒng)包括用于實(shí)時(shí)地產(chǎn)生移動(dòng)的被調(diào)節(jié)的正面圖 像的裝置。在一個(gè)實(shí)施例中，所述圖像處理系統(tǒng)包括用于以數(shù)字方式識(shí)別在所述被捕獲的圖像中和所述參考圖像中的相應(yīng)構(gòu)造的裝置；用于 從所述圖像數(shù)據(jù)的和所述參考圖像數(shù)據(jù)的空間圖像數(shù)據(jù)之間的數(shù)學(xué) 關(guān)系為所述相應(yīng)構(gòu)造建立數(shù)學(xué)變換的裝置；以及用于通過對(duì)所述圖所述第一照相機(jī)角度被捕獲一樣的裝置。在一個(gè)實(shí)施例中，所述圖像處理系統(tǒng)包括用于在所述被捕獲的 圖像中和所述參考圖像中以數(shù)字方式識(shí)別關(guān)鍵特征的裝置；用于檢 測(cè)所述關(guān)鍵特征在所述被捕獲的困像中的移動(dòng)的裝置；用于從所述 被捕獲的圖像中濾除所述移動(dòng)的裝置；以及用于將所述移動(dòng)施加給 參考圖像中的所述關(guān)鍵特征以獲得被調(diào)節(jié)的圖像的裝置，在一個(gè)實(shí)施例中，所述困像處理系統(tǒng)包括用于使所述被捕獲圖 像傾斜以補(bǔ)償所述第一照相機(jī)角度和所述第二照相機(jī)角度之間的差
的裝置；以及用于縮放并修剪所述被傾斜的圖像的裝置。在一個(gè)實(shí)施例中，所述笫一照相機(jī)角度是對(duì)所述對(duì)象的預(yù)先確定的照相機(jī)角度。在一個(gè)實(shí)施例中，所述第一照相機(jī)角度是從多個(gè)可選擇的預(yù)設(shè)角度中通過對(duì)該終端的輸入命令來選擇的。在一個(gè)實(shí)施例中，所述第二照相機(jī)角度通過所述終端中的角度傳感器感測(cè)，在一個(gè)實(shí)施例中，所述第二照相機(jī)角度是從多個(gè)可選擇的預(yù)設(shè) 角度中通過對(duì)該終端的輸入命令來選擇的.在一個(gè)實(shí)施例中，所述圖像處理系統(tǒng)包括用于將所述被調(diào)節(jié)的 圖像編碼為無線電信號(hào)的裝置；以及用于從所述終端發(fā)射所述無線 電信號(hào)的裝置。在一個(gè)實(shí)施例中，所述對(duì)象是拿著該終端的用戶的面部。


本發(fā)明的特征和優(yōu)點(diǎn)將根據(jù)參考附圖對(duì)優(yōu)選實(shí)施例的以下描述 來闡明，其中圖1示意性地示出了在典型的視頻會(huì)議模式中手持無線電通信 終端的使用；圖2示出了在根據(jù)圖1的使用一會(huì)之后該終端的典型位置； 圖3示意性地示出了可使用本發(fā)明的無線電通信終端的實(shí)施例；圖4以與本發(fā)明的不同實(shí)施例有關(guān)的功能元件的框圖形式示意 性地示出了圖3的終端；圖5示意性地示出了參考圖像的捕獲和存儲(chǔ)；圖6示意性地示出了參考困像的關(guān)鍵特征的識(shí)別和存儲(chǔ)；圖7示意性地示出了偏移圖像的關(guān)鍵特征的識(shí)別和存儲(chǔ)，以及的應(yīng)用；圖8示意性地示出了對(duì)象的從第一角度被捕獲的困像；圖9示意性地示出了相同對(duì)象的從笫二偏移角度被捕獲的圖像；圖10示意性地示出了圖9的圖像的傾斜圖像；以及 圖11示意性地示出了圖10的傾斜困像的被縮放和修剪的圖像，具體實(shí)施方式
本說明書涉及手持無線電通信終端的領(lǐng)域.術(shù)語"無線電通信 終端"或簡稱的終端包括被設(shè)計(jì)用于與無線電臺(tái)進(jìn)行無線電通信的 所有移動(dòng)設(shè)備，其中所述無線電臺(tái)也可以是移動(dòng)終端或比如固定的 基站.因此，術(shù)語"無線電終端"包括移動(dòng)電話、尋呼機(jī)、發(fā)信機(jī)、電子管理器、智能電話、PDA (個(gè)人數(shù)字助理)和DECT終端(數(shù) 字增強(qiáng)型無繩電話).另外應(yīng)當(dāng)強(qiáng)調(diào)的是，在用在本說明書中以及 所附的權(quán)利要求書中以指示所包括的特征、元件或者步驟時(shí)，術(shù)語 "包括"不應(yīng)當(dāng)被理解為對(duì)與特別所述的那些特征元件或步驟不同 的特征元素或步驟的排除?，F(xiàn)在將參考附圖來描述示例性實(shí)施例。圖1示出了在典型的視頻會(huì)議模式中對(duì)包括內(nèi)嵌式照相機(jī)的手 持無線電通信終端10的使用。用戶A在其前面拿著終端10，以捕獲 他面部的實(shí)時(shí)移動(dòng)圖像。被捕獲的圖像被記錄并以與輸入聲音、典 型的是用戶A的語音同步的方式被編碼。承栽聲音和視頻數(shù)據(jù)的無 線電信號(hào)在終端10中被產(chǎn)生并被發(fā)送至接收方、典型的是具有視頻 通信終端的另一用戶，用戶研究已經(jīng)表明在圖1中所示的顯然不舒 服的姿勢(shì)沒有被長時(shí)間保持，并且在一會(huì)之后用戶A開始將他的終 端IO降低到圖2中所示的位置.結(jié)果是在角度方面與在圖1的姿勢(shì) 中所捕獲的最初圖像相偏移的圖像、瞬象或視頻。在圖2的姿勢(shì)中 所捕獲的圖像將對(duì)準(zhǔn)用戶A的下巴位置，并通常會(huì)被感覺到與從前 面看的整個(gè)面部的期望圖像相比有更少的吸引性。為了克服這個(gè)問題，本發(fā)明在手持無線電通信終端(例如移動(dòng) 電話)中提供一種功能，所述功能允許該終端發(fā)送一個(gè)圖像，其中 盡管該終端的照相機(jī)與面部偏移了一個(gè)角度被放置，但是該圖與前 視圖相比看起來象面部的正面圖像.圖3在翻蓋(clamshell)蜂窩式移動(dòng)電話10的實(shí)施例中示出了 一種無線電通信終端，但是應(yīng)當(dāng)理解為本發(fā)明決不局限于翻蓋終 端。終端10包括機(jī)殼或外殼15，其中下部承栽以麥克風(fēng)11形式的 用戶音頻輸入端，并且其中上部承栽以揚(yáng)聲器12形式的用戶音頻輸
出端.所述上部和下部通過鉸接16相連接， 一組鍵、按鈕或類似物 構(gòu)成數(shù)據(jù)輸入界面13，比如可用于按照已建立的方式來撥號(hào).還包 括具有顯示器14的數(shù)據(jù)輸出界面，該顯示器被設(shè)計(jì)用于以技術(shù)人員 所公知的方式來顯示通信信息、地址列表等.無線電通信終端10還 包括天線和無線電發(fā)射與接收電子裝置(未示出)，優(yōu)選地具有視 頻能力的照相機(jī)17具有與顯示器14相同朝向的鏡頭.圖4示出了終端IO的功能組件，計(jì)算機(jī)處理器系統(tǒng)包括圖像處 理系統(tǒng)20，以處理存儲(chǔ)在存儲(chǔ)器21中的閨像，并尤其處理通過照相 機(jī)17所捕獲的閨像，圖像處理系統(tǒng)20優(yōu)選地通過具有相關(guān)的軟件 的微處理器控制，從而形成終端10的計(jì)算機(jī)處理器系統(tǒng)的一部分。根據(jù)第一概況性實(shí)施例，正面圖像最初在開始視頻會(huì)議時(shí)或之 前從圖1中所示的第一照相機(jī)角度被捕獲。這優(yōu)選地以特定捕獲模 式執(zhí)行，其中該模式可以通過鍵盤13來進(jìn)入。被捕獲的正面圖像的 數(shù)據(jù)被存儲(chǔ)在存儲(chǔ)器21中作為所考慮的對(duì)象的參考圖像數(shù)據(jù)，其中 該對(duì)象是用戶A的面部.該參考圍像數(shù)據(jù)可能包括代表整個(gè)正面圖 像的或僅代表該正面圖像的部分的圖像數(shù)據(jù)，在隨后的視頻會(huì)議期 間，用戶A的面部的移動(dòng)圖像通過照相機(jī)17被捕獲.圖像處理系統(tǒng) 20不斷地監(jiān)控被捕獲的困像并把所述圖像與參考困像進(jìn)行比較。當(dāng) 使終端10并且從而照相機(jī)17傾斜、升高或降低時(shí)，如此使得從與 所述第一照相機(jī)角度偏移至多90°的第二照相機(jī)角度捕獲圖像，設(shè)計(jì)生被調(diào)節(jié)的正面圖像，其中該被調(diào)節(jié)的正面困像看起來象從所述笫 一照相機(jī)角度直接在面部前面被捕獲一樣。該被調(diào)節(jié)的正面圖像隨 后通過無線電收發(fā)器22的信號(hào)編碼裝置被編碼為無線電信號(hào)，并通 過天線23從所述終端被發(fā)射?？纱娴兀徊东@的偏移圖像的調(diào)節(jié) 數(shù)據(jù)作為元數(shù)據(jù)連同參考圖像一起被發(fā)射，其中該調(diào)節(jié)數(shù)據(jù)至少依 賴于第一和第二照相機(jī)角度之間的角度關(guān)系.隨后通過被接收的參 考圖像和調(diào)節(jié)數(shù)據(jù)在接收通信終端或在另一裝置中建立被調(diào)節(jié)的圖 像，在第一特定實(shí)施例中，被調(diào)節(jié)的正面圖像的所述產(chǎn)生是通過圖 像處理系統(tǒng)以數(shù)字方式識(shí)別在所述參考困像和所述被捕獲的困像中 的相應(yīng)構(gòu)造來實(shí)現(xiàn)的。這些構(gòu)造比如可能是如在圖像處理領(lǐng)域中所 公知的輪廓、陰影、色分離等。 一旦所述構(gòu)造已經(jīng)被識(shí)別，那么就 從參考圖像的空間困像數(shù)據(jù)和所述相應(yīng)構(gòu)造的被捕獲的圍像的空間 圖像數(shù)據(jù)之間的數(shù)學(xué)關(guān)系來產(chǎn)生數(shù)學(xué)變換.所述偏移困像然后通過所述第一角度被捕獲一樣.優(yōu)選地，通過在圖像中的離散點(diǎn)之間的 數(shù)學(xué)關(guān)系以建立所述變換并且隨后對(duì)所述偏移圖像中的每一像素應(yīng) 用所述的變換以執(zhí)行被捕獲的圖像的角度調(diào)節(jié)來建立被調(diào)節(jié)的圖 像。在第二特定實(shí)施例中，如圖5-7所示，所述圖像處理系統(tǒng)利用數(shù) 字過濾功能。用戶的參考圖像50首先被存儲(chǔ)在存儲(chǔ)器21中，如圖5 所示。根據(jù)圖6，關(guān)鍵特征51 (在所示例子中是該用戶的眼睛和嘴) 隨后在參考圖像50中以數(shù)字形式被識(shí)別。所述關(guān)鍵特征的數(shù)字坐標(biāo) 數(shù)據(jù)和信號(hào)數(shù)據(jù)被存儲(chǔ)在存儲(chǔ)器21中，這可以是自動(dòng)處理步驟。可 替代地，這些關(guān)鍵特征可以通過用戶選擇性地進(jìn)行識(shí)別。這可以通 過在顯示器14上顯示參考圖像并且通過由鍵盤13上的按鍵、軌跡特;來實(shí)現(xiàn)。如圖所示，'、對(duì)于視頻會(huì)議的用途:這些關(guān)鍵特征優(yōu)選地包括用戶的眼睛和嘴。當(dāng)在視頻會(huì)議期間實(shí)況移動(dòng)圖像通過照相機(jī)17被捕獲時(shí)，圖像 處理系統(tǒng)20被設(shè)計(jì)用于監(jiān)控和檢測(cè)所述關(guān)鍵特征51的移動(dòng)，如圖7 中所示。所檢測(cè)的移動(dòng)然后通過圖像處理系統(tǒng)20從所述實(shí)況圖像中 被濾除。然后，所檢測(cè)的移動(dòng)被施加給參考圖像50中的關(guān)鍵特征51, 因此，通過將實(shí)況圖像的被選擇的部分的移動(dòng)施加給參考圖像的相 應(yīng)部分51來產(chǎn)生被調(diào)節(jié)的正面困像，特別是即使所述實(shí)況圖像從與 捕獲參考圖像的第一角度相偏移的角度上被拍攝，所產(chǎn)生的被調(diào)節(jié) 的圖像也將會(huì)看起來象從圖1所示的正面被捕獲一樣。在該情況中，還可以使用數(shù)學(xué)變換來相對(duì)于角度偏移來旋轉(zhuǎn)被 選擇的圖像部分.在另一特定實(shí)施例中，形態(tài)技術(shù)代之以用于基于 在所述偏移圖像中在水平和垂直方向上所檢測(cè)的空間移動(dòng)來將移動(dòng) 施加給參考圖像中所選擇的關(guān)鍵特征，用于避免不期望的圖像的第二概括性實(shí)施例在于輕微地傾斜從 偏移角度所拍攝的圖像，這給人以一種被捕獲的圖像的角度調(diào)節(jié)的
視覺印象.這參照?qǐng)D8-ll來描述，在移動(dòng)電話裝設(shè)有某些種類的運(yùn) 動(dòng)傳感器的情況下，該過程可以是手動(dòng)操作或自動(dòng)操作，其中所述 運(yùn)動(dòng)傳感器被設(shè)計(jì)用于感測(cè)該照相機(jī)是如何從最初的垂直位置變化 的。然而優(yōu)選的是手動(dòng)進(jìn)行，因?yàn)楫a(chǎn)生的是主觀圖像。圖8示出了十字形狀的對(duì)象的、在該對(duì)象前面從第一垂直照相 機(jī)角度所捕獲的圖像80.當(dāng)使用于捕獲圖像的照相機(jī)下降時(shí)，該圖 像將反映所討論的第二照相機(jī)角度的透視圖，如圖9所示。然后可 以從所捕獲的圖像90中得出傾斜的圖像，以補(bǔ)償圖像80的和圖像 90的照相機(jī)角度之間的角度差.這樣的一個(gè)傾斜的圖像IOO在圖10 中被示出。最后，所述傾斜的圖像100被縮放并被修剪以避免傾斜 的圖像邊界101，據(jù)此獲得了校正的圖像110，如困ll所示.當(dāng)使用視頻電話時(shí)，經(jīng)常發(fā)生的是用戶的面部移動(dòng)到照相機(jī)取 景器的外邊。該用戶在與所述另一方談話時(shí)可能做其他亊情，并且 不能總是聚焦在移動(dòng)電話照相機(jī)上.根據(jù)本發(fā)明的一個(gè)實(shí)施例，該 問題通過激活該終端中的光學(xué)跟蹤系統(tǒng)以利用取景器圖像數(shù)據(jù)跟蹤 該用戶的移動(dòng)得以解決，跟蹤系統(tǒng)識(shí)別一個(gè)或多個(gè)跟蹤點(diǎn)，并盡可 能地跟蹤它們，比如在圖像中的高對(duì)比度變化可以是有效的跟蹤點(diǎn) 候選對(duì)象。該跟蹤系統(tǒng)可以處理縮放、隨動(dòng)拍攝和旋轉(zhuǎn)，如果除電 動(dòng)照相機(jī)之外還使用所述的跟蹤系統(tǒng)，那么即使用戶面部輕微地移 動(dòng)，用戶面部也可能在焦點(diǎn)上.對(duì)于這樣的一個(gè)實(shí)施例，該照相機(jī) 電機(jī)必須能夠以水平或垂直引導(dǎo)和旋轉(zhuǎn)的方式移動(dòng)其角度。照相機(jī)相對(duì)于對(duì)象的角度移動(dòng)、也即在第一照相機(jī)角度和第二照相機(jī)角度之間的角度移動(dòng)可以例如通過終端鍵盤手動(dòng)地限定，可 替代地，可以結(jié)合角度傳感器，如此使得比如通過加速計(jì)來感測(cè)照 相機(jī)從某一角度的傾斜.另一替代方案是例如通過擺式裝置使用絕 對(duì)角度傳感器，在一個(gè)實(shí)施例中，在終端中可選擇角度預(yù)設(shè)。選擇 比如45°預(yù)設(shè)表明該終端的照相機(jī)將被保持使得所述照相機(jī)從位于 至對(duì)象的水平位置之下45°被對(duì)準(zhǔn).圖像處理系統(tǒng)20從而被布置來 處理被捕獲的圖像以產(chǎn)生被捕獲的困像的被調(diào)節(jié)的閨像，使看起來 象從相對(duì)于對(duì)象的水平位置被拍攝一樣.這樣，在使該終端保持在 45。角的情況下可以進(jìn)行完整的視頻會(huì)議，其中該角度對(duì)于用戶來說 是更舒服的。任何前述方法都可以用于調(diào)節(jié)困像以看起來象從水平
方向被捕獲一樣.不用說，預(yù)設(shè)角度可以從多個(gè)不同的預(yù)設(shè)角度中選擇，比如+45°、 -45°和0?；蛘呃缫?0°的步長更細(xì)分的范圍.對(duì) 于參照?qǐng)D8-11所述的實(shí)施例，困8的參考圖像對(duì)于使用角度預(yù)設(shè)的 這種特定實(shí)施例是不必要的.如果比如在該終端中設(shè)置45°的照相機(jī) 角度預(yù)設(shè)，那么將第一照相機(jī)角度定義為在垂直平面中比捕獲照相 機(jī)角度、也即第二照相機(jī)角度高45°,本發(fā)明的原理已經(jīng)在前文中通過實(shí)施例和搮作模式的例子進(jìn)行 了描述。本發(fā)明的主要優(yōu)點(diǎn)是，在移動(dòng)視頻會(huì)議中的用戶可以持續(xù) 發(fā)送而不必將終端保持在累人的位置，并仍舊提供有吸引力的面部 像。但是應(yīng)當(dāng)注意的是，本發(fā)明并不局限于所捕獲的用戶自己的圖 像。亊實(shí)上，尤其在感興趣的是從某一角度來描繪該對(duì)象的情況下， 本發(fā)明可以用于捕獲任何類型的對(duì)象的困像.從而本發(fā)明不應(yīng)被理 解為局限于上面所討論的特定實(shí)施例，并應(yīng)當(dāng)理解的是，本領(lǐng)域技 術(shù)人員可以在那些實(shí)施例中進(jìn)行變化，而不脫離所附的權(quán)利要求書 所限定的本發(fā)明的范疇.
權(quán)利要求
1. 用于調(diào)節(jié)通過手持無線電通信終端(10)中的照相機(jī)(17) 所捕獲的對(duì)象(A)的像的方法，包括以下步驟-定義對(duì)所述對(duì)象的笫一照相機(jī)角度；-通過所述照相機(jī)從對(duì)所述對(duì)象的第二照相機(jī)角度來捕獲所述對(duì) 象的圖像，其中所述第二照相機(jī)角度與所述第一照相機(jī)角度相偏 移；-存儲(chǔ)關(guān)于所捕獲的圖像的圖像數(shù)據(jù)；以及 -根據(jù)所述圖像數(shù)據(jù)以及在所述第一照相機(jī)角度和所述第二照相 機(jī)角度之間的角度關(guān)系來產(chǎn)生所述對(duì)象的角度調(diào)節(jié)的圖像，
2. 如權(quán)利要求l所述的方法，包括以下步艱 -存儲(chǔ)與所述對(duì)象的來自所述第一照相機(jī)角度的參考圖像有關(guān)的參考圖像數(shù)據(jù)，其中產(chǎn)生所述對(duì)象的角度調(diào)節(jié)的圖像的所述步驟也 依賴于所述的參考圖像數(shù)據(jù)，
3. 如權(quán)利要求2所述的方法，包括以下步驟 -從所述第一照相機(jī)角度捕獲對(duì)象的所述參考圖像。
4. 如權(quán)利要求l所述的方法，其中所述被捕獲的圖像是移動(dòng)的 圖像，并且其中產(chǎn)生角度調(diào)節(jié)的圖像的所述步驟涉及實(shí)時(shí)地產(chǎn)生移 動(dòng)的被調(diào)節(jié)的圖像，
5. 如權(quán)利要求2所述的方法，其中產(chǎn)生角度調(diào)節(jié)的圖像的所述 步驟包括以下步猓-以數(shù)字方式識(shí)別在所述被捕獲的困像和所述參考圖像中的相應(yīng) 構(gòu)造；-從所迷圖像數(shù)據(jù)的和所述參考圖像數(shù)據(jù)的空間圖像數(shù)據(jù)之間的 數(shù)學(xué)關(guān)系為所述的相應(yīng)構(gòu)造建立數(shù)學(xué)變換；以及圖像以看起來象從所述第一照相機(jī)角度被捕獲一樣.
6.如權(quán)利要求2所述的方法，其中產(chǎn)生角度調(diào)節(jié)的圖像的所述步驟包含以下步驟-在所述被捕獲的圖像和所述參考圖像中以數(shù)字方式識(shí)別關(guān)鍵特征；-檢測(cè)所述關(guān)鍵特征在所述被捕獲的圖像中的移動(dòng)； -從所述被捕獲的閨像中濾除所述的移動(dòng)；以及 -將所述移動(dòng)施加給參考圖像中的所述關(guān)鍵特征以獲得被調(diào)節(jié)的 圖像。
7. 如權(quán)利要求l所述的方法，其中產(chǎn)生角度調(diào)節(jié)的圖像的所述 步驟包含以下步驟-使所述被捕獲的圖像傾斜以補(bǔ)償所述第一照相機(jī)角度和所述第 二照相機(jī)角度之間的差；以及 -縮放并修剪被傾斜的圖像，
8. 如權(quán)利要求l所述的方法，其中所述第一照相機(jī)角度是對(duì)所 述對(duì)象的預(yù)先確定的照相機(jī)角度.
9. 如權(quán)利要求l所述的方法，其中所述第一照相機(jī)角度是從多 個(gè)可選的預(yù)設(shè)角度中通過對(duì)該終端的輸入命令來選擇的，
10. 如權(quán)利要求1所述的方法，其中所述第二照相機(jī)角度通過 所述終端中的角度傳感器感測(cè)。
11，如權(quán)利要求1所述的方法，所述第二照相機(jī)角度是從多個(gè) 可選的預(yù)設(shè)角度中通過對(duì)該終端的輸入命令來選擇的，
12. 如前述權(quán)利要求之一所述的方法，包括以下步驟 -將所述被調(diào)節(jié)的圖像編碼為無線電信號(hào)；以及 -從所述終端發(fā)射所述無線電信號(hào)。
13. 如權(quán)利要求1-11之一所迷的方法，包含以下步驟 -將所述被捕獲的圖像的圖像數(shù)據(jù)連同第一照相機(jī)角度和第二照相機(jī)角度之間的所述角度關(guān)系的數(shù)據(jù)一起編碼為無線電信號(hào)； -從所述終端發(fā)射所述無線電信號(hào)； -在無線電信號(hào)接收裝置中接收所述無線電信號(hào)；以及 -在所述裝置中產(chǎn)生所述對(duì)象的角度調(diào)節(jié)的圖像。
14. 如前述權(quán)利要求之一所述的方法，其中所述對(duì)象是拿著該 終端的用戶的面部.
15. 移動(dòng)無線電通信終端(10)，包括用于捕獲圖像的照相機(jī) (17)以及用于產(chǎn)生并發(fā)射包括被捕獲的圖像的無線電信號(hào)至接收方的裝置(22、 23)，其特征在于一種圖像調(diào)節(jié)裝置，其包括用于 存儲(chǔ)對(duì)對(duì)象(A)的第一照相機(jī)角度的角度值以及與所述第一照相機(jī) 角度相偏移的第二照相機(jī)角度的角度值的存儲(chǔ)器(21)，所述圖像 調(diào)節(jié)裝置還包括困像處理系統(tǒng)(20)，所迷圖像處理系統(tǒng)被設(shè)計(jì)用 以對(duì)所述對(duì)象的通過所述照相機(jī)從所述第二照相機(jī)角度所捕獲的圖 像進(jìn)行處理，包括用于根據(jù)所述困像的困像數(shù)據(jù)并根據(jù)所述第一照 相機(jī)角度和所述第二照相機(jī)角度之間的角度關(guān)系來產(chǎn)生所述對(duì)象的 角度調(diào)節(jié)的圖像的裝置.
16. 如權(quán)利要求15所述的移動(dòng)無線電通信終端，其中所述存儲(chǔ)器還包括與所述對(duì)象的來自所述第一照相機(jī)角度的參考圖像有關(guān)的 參考圖像數(shù)據(jù)，其中圖像處理系統(tǒng)的所述裝置被設(shè)計(jì)以根據(jù)所述參 考圖像數(shù)據(jù)來產(chǎn)生所述對(duì)象的所述角度調(diào)節(jié)的圖像.
17. 如權(quán)利要求15所述的移動(dòng)無線電通信終端，其中所述照相 機(jī)被設(shè)計(jì)以捕獲移動(dòng)的圖像，并且其中所述圖像處理系統(tǒng)包括用于 實(shí)時(shí)地產(chǎn)生移動(dòng)的被調(diào)節(jié)的正面困像的裝置。
18. 如權(quán)利要求16所述的移動(dòng)無線電通信終端，其中所迷圖像 處理系統(tǒng)包括用于以數(shù)字方式識(shí)別在所述被捕獲的圖像和所迷參考 圖像中的相應(yīng)構(gòu)造的裝置；用于從所述困像數(shù)據(jù)的和所述參考圖像 數(shù)據(jù)的空間圖像數(shù)據(jù)之間的數(shù)學(xué)關(guān)系為所述的相應(yīng)構(gòu)造建立數(shù)學(xué)變 換的裝置；以及用于通過對(duì)所述困像數(shù)據(jù)應(yīng)用所述數(shù)學(xué)變換來變換 所述被捕獲的圖像以看起來象從所述第一照相機(jī)角度被捕獲一樣的 裝置。
19. 如權(quán)利要求16所述的移動(dòng)無線電通信終端，其中所述圖像 處理系統(tǒng)包括用于在所述被捕獲的圖像中和所述參考圖像中以數(shù)字 方式識(shí)別關(guān)鍵特征的裝置；用于檢測(cè)所述關(guān)鍵特征在所述被捕獲的 圖像中的移動(dòng)的裝置；用于從所述被捕獲的圖像中濾除所述移動(dòng)的 裝置；以及用于將所述移動(dòng)施加給參考圖像中的所述關(guān)鍵特征以獲 得被調(diào)節(jié)的困像的裝置.
20. 如權(quán)利要求15所述的移動(dòng)無線電通信終端，其中所述圖像處理系統(tǒng)包括用于使所述被捕獲的圖像傾斜以補(bǔ)償所述第一照相機(jī) 角度和所述笫二照相機(jī)角度之間的差的裝置；以及用于縮放并修剪 所述被傾斜的圖像的裝置.
21，如權(quán)利要求15所述的移動(dòng)無線電通信終端，其中所述第一照相機(jī)角度是對(duì)所述對(duì)象的預(yù)先確定的照相機(jī)角度.
22.如權(quán)利要求15所述的移動(dòng)無線電通信終端，其中所述笫一照相機(jī)角度是從多個(gè)可選擇的預(yù)設(shè)角度中通過對(duì)該終端的輸入命令 來選擇的.
23. 如權(quán)利要求15所述的移動(dòng)無線電通信終端，其中所述第二 照相機(jī)角度通過所述終端中的角度傳感器感測(cè)，
24. 如權(quán)利要求15所述的移動(dòng)無線電通信終端，其中所述第二照相機(jī)角度是從多個(gè)可選擇的預(yù)設(shè)角度中通過對(duì)該終端的輸入命令 來選擇的.
25. 如權(quán)利要求15所述的移動(dòng)無線電通信終端，其中所述圖像 處理系統(tǒng)包括用于將所述被調(diào)節(jié)的圖像編碼為無線電信號(hào)的裝置； 以及用于從所述終端發(fā)射所述無線電信號(hào)的裝置。
26.如前述權(quán)利要求15-25之一所述的移動(dòng)無線電通信終端，其 中所述對(duì)象是拿著該終端的用戶的面部，
全文摘要
用于在手持無線電通信終端(10)中對(duì)對(duì)象(A)的通過照相機(jī)(17)所捕獲的像進(jìn)行偏移校正的方法，包括以下步驟將該照相機(jī)以第一角度對(duì)準(zhǔn)該對(duì)象；捕獲該對(duì)象的正面圖像；把該正面圖像存儲(chǔ)作為參考圖像；將該照相機(jī)以與所述第一角度相偏移的第二角度對(duì)準(zhǔn)該對(duì)象；捕獲該對(duì)象的偏移圖像；通過使用所述參考圖像從所述偏移圖像中產(chǎn)生如同從所述第一角度被捕獲的被調(diào)節(jié)的正面圖像。該方法典型地用于視頻會(huì)議通信，并使用一種圖像處理系統(tǒng)來產(chǎn)生被調(diào)節(jié)的正面圖像。
文檔編號(hào)H04N1/387GK101124820SQ200580022093
公開日2008年2月13日 申請(qǐng)日期2005年6月2日 優(yōu)先權(quán)日2004年6月30日
發(fā)明者J·內(nèi)爾森, J·古利克森 申請(qǐng)人:索尼愛立信移動(dòng)通訊股份有限公司