專(zhuān)利名稱(chēng)：圖像處理設(shè)備、方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備、方法和程序領(lǐng)域，用于使用圖像和語(yǔ)音信息，利用裝飾(decorative)對(duì)象來(lái)裝飾圖像或利用替代圖像來(lái)替代圖像。
背景技術(shù)：
在傳統(tǒng)圖像裝飾系統(tǒng)中，如圖1所示，操作員針對(duì)原始圖像800從裝飾菜單810中選擇裝飾對(duì)象，然后，輸出裝飾對(duì)象820或替代圖像830。另外，在其中對(duì)圖像進(jìn)行分析的傳統(tǒng)系統(tǒng)中，如圖2所示，分析原始圖像900中的諸如眉毛910或嘴911等部分的動(dòng)作以獲得感情，并且輸出裝飾圖像920或替代圖像930。在其中對(duì)語(yǔ)音進(jìn)行分析的另一個(gè)傳統(tǒng)系統(tǒng)中，如圖3所示，從語(yǔ)音信號(hào)中切出(cut out)語(yǔ)音段，以檢測(cè)感情、分析頻率、音調(diào)、聲調(diào)、音量等，并且輸出裝飾圖像1010或替代圖像1020。
然而，現(xiàn)有技術(shù)具有以下問(wèn)題首先，在僅根據(jù)圖像檢測(cè)感情時(shí)，如果人的表情是單調(diào)的，或圖像是不清楚的或不能夠獲得圖像，則難以確定感情。其次，在僅根據(jù)語(yǔ)音檢測(cè)感情時(shí)，如果夸張地表達(dá)語(yǔ)音，則很可能錯(cuò)誤地確定感情。第三，在根據(jù)靜音(silence)來(lái)切出語(yǔ)音信號(hào)時(shí)，可能的是，由于外部語(yǔ)音的干擾，不能夠適當(dāng)?shù)厍谐稣Z(yǔ)音信號(hào)。為了檢測(cè)語(yǔ)音感情，需要在適當(dāng)?shù)膯卧星谐稣Z(yǔ)音信號(hào)。
日本專(zhuān)利申請(qǐng)待審公開(kāi)No.10-228295通過(guò)對(duì)語(yǔ)音和圖像信息進(jìn)行加權(quán)，設(shè)法識(shí)別感情。其展示了根據(jù)語(yǔ)音和圖像信息來(lái)識(shí)別感情的思想并根據(jù)經(jīng)驗(yàn)對(duì)其進(jìn)行加權(quán)。
如上所述，在僅根據(jù)圖像來(lái)檢測(cè)感情的傳統(tǒng)方式中，如果人的表情是單調(diào)的，或圖像不清楚或無(wú)法獲得，則難以確定該感情。在僅根據(jù)語(yǔ)音檢測(cè)感情時(shí)，如果夸張地表達(dá)語(yǔ)音，則可能會(huì)錯(cuò)誤地確定感情。還存在以下可能在根據(jù)靜音來(lái)切出語(yǔ)音信號(hào)時(shí)，由于外部噪聲的干擾，無(wú)法適當(dāng)?shù)厍谐稣Z(yǔ)音信號(hào)。

發(fā)明內(nèi)容
因此，本發(fā)明的目的是提出根據(jù)通過(guò)安裝在信息處理器上的攝像機(jī)和麥克風(fēng)所獲得的信息來(lái)判別操作員的動(dòng)作，并且還產(chǎn)生根據(jù)判別的結(jié)果處理后的信息，發(fā)送到接收者。特別地，本發(fā)明在判別感情時(shí)并不僅僅利用語(yǔ)音信息和圖像信息之一，而是查閱語(yǔ)音和圖像信息并提高判別精度。此外，當(dāng)分析語(yǔ)音信息時(shí)，本發(fā)明甚至使用圖像信息。
從圖4中可以看到，不僅根據(jù)從圖像100中提取出的諸如眉毛111、眼睛112和嘴巴(嘴唇)113等構(gòu)成元素的動(dòng)作而且根據(jù)語(yǔ)音信息的分析，來(lái)感知感情。通過(guò)對(duì)兩個(gè)結(jié)果的綜合感情確定處理來(lái)輸出具有裝飾對(duì)象140的圖像或替代圖像150。在分析語(yǔ)音信號(hào)時(shí)，必須從語(yǔ)音信號(hào)中切出分析單元。不僅根據(jù)靜音周期而且根據(jù)從圖像中提取的嘴唇113的動(dòng)作來(lái)切割該單元。結(jié)果，即使在噪聲環(huán)境下，也能夠容易地切出該分析單元。
為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的第一方面，提出了一種圖像處理設(shè)備，用于針對(duì)圖像和語(yǔ)音數(shù)據(jù)的輸入，輸出合成圖像或替代圖像，包括圖像分析部分，用于分析圖像數(shù)據(jù)并輸出與圖像數(shù)據(jù)相對(duì)應(yīng)的第一項(xiàng)感情信息；語(yǔ)音分析部分，用于分析語(yǔ)音數(shù)據(jù)并輸出與語(yǔ)音數(shù)據(jù)相對(duì)應(yīng)的第二項(xiàng)感情信息；以及圖像產(chǎn)生部分，用于根據(jù)第一和第二項(xiàng)感情信息來(lái)產(chǎn)生第三項(xiàng)感情信息，并且輸出與第三項(xiàng)感情信息相對(duì)應(yīng)的圖像。
所述圖像分析部分可以從圖像數(shù)據(jù)中提取構(gòu)成元素，并向其中將構(gòu)成元素信息用于分析語(yǔ)音數(shù)據(jù)的所述語(yǔ)音分析部分輸出構(gòu)成元素信息，所述構(gòu)成元素信息包括構(gòu)成元素的動(dòng)作。
此外，無(wú)動(dòng)作嘴唇可以用作所述構(gòu)成元素信息以分割語(yǔ)音數(shù)據(jù)。
另外，所述動(dòng)作信息可以與相應(yīng)輸入數(shù)據(jù)配對(duì)并存儲(chǔ)在存儲(chǔ)設(shè)備中。
為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的第二方面，提出了一種圖像處理方法，包括步驟分析圖像和語(yǔ)音數(shù)據(jù)，并輸出分別與圖像數(shù)據(jù)和語(yǔ)音數(shù)據(jù)相對(duì)應(yīng)的第一項(xiàng)和第二項(xiàng)感情信息；根據(jù)所述第一項(xiàng)和第二項(xiàng)感情信息來(lái)確定第三項(xiàng)感情信息；以及輸出與第三項(xiàng)感情信息相對(duì)應(yīng)的合成圖像或替代圖像。
提取圖像數(shù)據(jù)中的構(gòu)成元素，將包括構(gòu)成元素的動(dòng)作的構(gòu)成元素信息用于分析語(yǔ)音數(shù)據(jù)。
此外，所述構(gòu)成元素信息可以包括圖像數(shù)據(jù)中的嘴唇的動(dòng)作，并且用于語(yǔ)音數(shù)據(jù)的分割點(diǎn)。
另外，所述第一、第二和第三項(xiàng)感情信息可以與相應(yīng)輸入數(shù)據(jù)配對(duì)，并存儲(chǔ)在存儲(chǔ)設(shè)備中。
為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的第三方面，提出了一種在計(jì)算機(jī)可讀介質(zhì)上具體實(shí)現(xiàn)的計(jì)算機(jī)程序，用于使處理器執(zhí)行以下操作，包括分析圖像和語(yǔ)音數(shù)據(jù)，并輸出分別與圖像數(shù)據(jù)和語(yǔ)音數(shù)據(jù)相對(duì)應(yīng)的第一項(xiàng)和第二項(xiàng)感情信息；根據(jù)所述第一項(xiàng)和第二項(xiàng)感情信息來(lái)確定第三項(xiàng)感情信息；以及輸出與第三項(xiàng)感情信息相對(duì)應(yīng)的合成圖像或替代圖像。
提取圖像數(shù)據(jù)中的構(gòu)成元素，包括構(gòu)成元素的動(dòng)作的構(gòu)成元素信息可以用于分析語(yǔ)音數(shù)據(jù)。
此外，所述構(gòu)成元素信息可以包括圖像數(shù)據(jù)中的嘴唇的動(dòng)作，并且用作語(yǔ)音數(shù)據(jù)的分割點(diǎn)。
另外，所述第一、第二和第三項(xiàng)感情信息可以與相應(yīng)輸入數(shù)據(jù)配對(duì)，并存儲(chǔ)在存儲(chǔ)設(shè)備中。


參考附圖，從本發(fā)明的優(yōu)選實(shí)施例的以下詳細(xì)描述中，前述和其他目的、方面和優(yōu)點(diǎn)將得到更好地理解圖1是示出了向圖像添加裝飾對(duì)象的傳統(tǒng)方法的圖；圖2是示出了根據(jù)圖像檢測(cè)感情的傳統(tǒng)方法的圖；
圖3是示出了根據(jù)語(yǔ)音檢測(cè)感情的傳統(tǒng)方法的圖；圖4是示出了優(yōu)選實(shí)施例的概況的圖；圖5是示出了優(yōu)選實(shí)施例的結(jié)構(gòu)的方框圖；圖6是示出了圖像分析部分的操作的流程圖；圖7是示出了語(yǔ)音和感情分析部分的操作的流程圖；圖8是示出了圖像產(chǎn)生部分的操作的流程圖；圖9是示出了第二實(shí)施例中的操作的流程圖；圖10是示出了當(dāng)僅輸入語(yǔ)音時(shí)操作的圖。
具體實(shí)施例方式
這里將描述優(yōu)選實(shí)施例。在以下描述中，闡明了大量具體細(xì)節(jié)來(lái)提供對(duì)本發(fā)明實(shí)施例的完整理解。
圖4示出了根據(jù)圖像和語(yǔ)音信息來(lái)裝飾圖像的第一實(shí)施例。在該實(shí)施例中，分析原始圖像100，并且提取這些部位的位置和動(dòng)作以及臉110、眉毛111、眼睛112和嘴(嘴唇)113等的輪廓。重復(fù)地分析每一個(gè)部位的動(dòng)作，并且輸出輸入的圖像的感情信息。
另外，通過(guò)分析語(yǔ)音信息130的頻率、聲調(diào)或位移，輸出輸入語(yǔ)音信息的感情信息。在分析時(shí)，在必須適當(dāng)?shù)厍谐稣Z(yǔ)音信號(hào)的情況下，如果僅使用靜音周期131作為切割的觸發(fā)，則引起了不能夠在噪聲環(huán)境下切出目標(biāo)單元的問(wèn)題。為了解決該問(wèn)題，本發(fā)明將注意力放在圖像分析時(shí)所獲得的嘴唇的動(dòng)作120，并且利用其中嘴巴不會(huì)在固定時(shí)間段期間運(yùn)動(dòng)的周期131，從語(yǔ)音信號(hào)中提取目標(biāo)單元。
按照該方式，將與感情相對(duì)應(yīng)的裝飾對(duì)象添加到原始圖像中，并且輸出與感情相對(duì)應(yīng)的替代數(shù)據(jù)150。
這里，參考圖5解釋了本發(fā)明的結(jié)構(gòu)。圖像輸入設(shè)備10是攝像機(jī)等，并且獲得圖像數(shù)據(jù)。圖像分析部分200包括圖像感情數(shù)據(jù)庫(kù)201、表情分析部分202和圖像感情分析部分203。部分202從通過(guò)設(shè)備10輸入的圖像數(shù)據(jù)中提取輪廓和構(gòu)成部分，并且分析輪廓和部位的動(dòng)作。部分203根據(jù)部分202處的結(jié)果，參考數(shù)據(jù)庫(kù)201，并且選擇與圖像信息相對(duì)應(yīng)的感情。數(shù)據(jù)庫(kù)201存儲(chǔ)臉上的部位動(dòng)作信息和與其相對(duì)應(yīng)的感情信息。
語(yǔ)音輸入設(shè)備20是麥克風(fēng)等并獲取語(yǔ)音數(shù)據(jù)。語(yǔ)音和感情分析部分210包括語(yǔ)音感情數(shù)據(jù)庫(kù)211、語(yǔ)音分析部分212和語(yǔ)音感情分析部分213。部分212從部分202和語(yǔ)音數(shù)據(jù)中接收嘴唇的動(dòng)作信息，并且切出語(yǔ)音信號(hào)。部分213通過(guò)查閱數(shù)據(jù)庫(kù)211，指定與語(yǔ)音信號(hào)相對(duì)應(yīng)的感情。數(shù)據(jù)庫(kù)211存儲(chǔ)語(yǔ)音的音調(diào)變化和相應(yīng)的感情。
圖像產(chǎn)生部分220包括感情數(shù)據(jù)庫(kù)221、裝飾對(duì)象數(shù)據(jù)庫(kù)222、替代圖像數(shù)據(jù)庫(kù)223、感情確定部分224、圖像合成部分225、替代圖像選擇部分226和圖像輸出部分227。
部分224從部分203中接收輪廓和部位的位置信息和部位的分析結(jié)果，并且還從部分213中接收感情分析的結(jié)果。部分224最后根據(jù)這些結(jié)果來(lái)確定感情。部分225在從部分224中接收到感情信息之后查閱數(shù)據(jù)庫(kù)222，并產(chǎn)生適合于從設(shè)備10和部分202中輸出的數(shù)據(jù)的合成圖像(裝飾圖像)。部分226從數(shù)據(jù)庫(kù)223中選擇適合該感情的替代圖像。部分227輸出從部分225或226中輸出的裝飾圖像或替代圖像。
<圖像分析部分的操作>
這里將參考圖6來(lái)解釋圖像分析部分200的操作。
根據(jù)從設(shè)備10輸入到部分200中的圖像數(shù)據(jù)來(lái)提取臉的輪廓(步驟301)。然后，提取構(gòu)成臉的眉毛、眼睛、鼻子、嘴巴(嘴唇)等的位置信息，并且記錄每一個(gè)部位的動(dòng)作(步驟S302)。這里所分析的信息是輪廓和部位的位置信息及其動(dòng)作信息。該位置信息用于確定在圖像產(chǎn)生部分220處放置裝飾對(duì)象的位置(步驟305)。在這些部位的動(dòng)作信息中，將嘴唇的動(dòng)作信息發(fā)送到部分210，并且其用于從語(yǔ)音數(shù)據(jù)中切出分段。
連續(xù)地監(jiān)視動(dòng)作信息的過(guò)渡，并且將其與數(shù)據(jù)庫(kù)201進(jìn)行比較(步驟303)。然后，將最適當(dāng)感情的信息輸出到部分220(步驟304)。該結(jié)果用于提高感情的判斷精度。例如，將該結(jié)果反饋回感情的確定或與圖像數(shù)據(jù)一起存儲(chǔ)在數(shù)據(jù)庫(kù)中。
<語(yǔ)音和感情分析部分的操作>
還根據(jù)從語(yǔ)音輸入設(shè)備20輸入到語(yǔ)音和感情分析部分210中的語(yǔ)音信息來(lái)確定感情。在語(yǔ)音分析時(shí)，必須將語(yǔ)音數(shù)據(jù)分割為適當(dāng)長(zhǎng)度的分段。在現(xiàn)有技術(shù)中，這些數(shù)據(jù)已經(jīng)由固定時(shí)間或靜音周期所分割。然而，在噪聲環(huán)境下，如果其僅取決于靜音周期，則分割點(diǎn)不可能是適當(dāng)?shù)?。在該?shí)施例中，將在圖像分析部分200中所獲得的嘴唇的動(dòng)作用于該分析。分割點(diǎn)是其中嘴唇在特定時(shí)間內(nèi)無(wú)動(dòng)作的周期。
通過(guò)利用靜音周期和嘴唇的動(dòng)作，更精確地分割語(yǔ)音信號(hào)。參考圖7來(lái)解釋部分210的操作。當(dāng)輸入語(yǔ)音信息時(shí)(步驟401)，在音量低于靜音電平或嘴唇在固定時(shí)間段內(nèi)未運(yùn)動(dòng)的點(diǎn)處切割語(yǔ)音信號(hào)(步驟402)。然后，提取分割的語(yǔ)音信號(hào)的頻率、音調(diào)、聲調(diào)、幅度和其他交變信息(頻率和聲壓的交變(alteration)、交變的梯度等)(步驟403)。將提取的數(shù)據(jù)與數(shù)據(jù)庫(kù)211中所存儲(chǔ)的數(shù)據(jù)進(jìn)行比較(步驟404)。結(jié)果，將最適當(dāng)?shù)母星檩敵龅讲糠?20中(步驟405)?？梢詫⑤敵龃鎯?chǔ)在數(shù)據(jù)庫(kù)中以提高感情檢測(cè)的精度。
<圖像產(chǎn)生部分220的操作>
參考圖8來(lái)解釋圖像產(chǎn)生部分220的操作。
將從部分200和部分210中輸出的每一個(gè)感情信息輸入到部分220中。分別對(duì)每一個(gè)感情信息進(jìn)行加權(quán)(步驟501)。將計(jì)算出的感情和感情強(qiáng)度與數(shù)據(jù)庫(kù)211進(jìn)行比較(步驟502)，并且確定針對(duì)該感情的裝飾對(duì)象(步驟503)。
進(jìn)一步來(lái)解釋在步驟503處確定感情的方式。當(dāng)兩種分析的結(jié)果相一致時(shí)，將結(jié)果之一用作輸出。當(dāng)在部分210處不能夠從可能的感情中選擇一種感情時(shí)，向在部分200處所獲得的結(jié)果提供優(yōu)先級(jí)。按照該方式，即使輸入突然和較短的語(yǔ)音，也會(huì)補(bǔ)充確定感情的過(guò)程并正確地進(jìn)行確定。
另外，當(dāng)語(yǔ)音信號(hào)的幅度未達(dá)到用于在部分210處識(shí)別感情的閾值時(shí)，采用在部分200處所獲得的結(jié)果。按照該方式，部分220補(bǔ)充用于檢測(cè)語(yǔ)音中的受抑制感情的過(guò)程。結(jié)果，還可以表達(dá)抑制的情感。
當(dāng)圖像沒(méi)有足夠信息來(lái)確定感情(根據(jù)部分200中的圖像分析所獲得的值未達(dá)到用于識(shí)別感情的閾值)或圖像較暗以致于不能夠提取有用信息時(shí)，作為替代，使用語(yǔ)音分析的結(jié)果。
如從以上描述中可以看到，使用加權(quán)來(lái)補(bǔ)充未區(qū)別性地判別感情或未適當(dāng)?shù)剡x擇感情的決定。此外，可以預(yù)定采用僅使用來(lái)自部分200或210任一個(gè)中的一個(gè)結(jié)果的規(guī)則。
在向原始圖像添加裝飾對(duì)象(元素)時(shí)，從數(shù)據(jù)庫(kù)222中拾取適當(dāng)?shù)脑?步驟504)。然后，通過(guò)查閱在分析輪廓信息時(shí)所獲得的臉上的部位的位置信息，確定裝飾對(duì)象的位置(步驟505)。將所選的裝飾對(duì)象合成到圖像中所計(jì)算出的位置(步驟506)，并且輸出裝飾圖像(步驟509)。
當(dāng)請(qǐng)求替代圖像時(shí)，從數(shù)據(jù)庫(kù)223中選擇與裝飾元素相匹配的適當(dāng)替代圖像(步驟507和508)，并輸出該替代圖像(步驟509)。如果該輸出不是用戶(hù)所需的，則用戶(hù)可以校正最終輸出以使其更適當(dāng)?？梢詫⒃撔Ｕ答伝馗星榈臎Q定，與輸入信息配對(duì)，例如，用于提高感情確定的精度。按照該方式，從原始圖像中獲得裝飾圖像或替代圖像。
<第二實(shí)施例>
將參考圖9來(lái)描述本發(fā)明的另一實(shí)施例。
在該實(shí)施例中，輸入設(shè)備是電視電話(huà)或視頻，其中以組合的狀態(tài)來(lái)輸入語(yǔ)音和圖像。即使在這種情況下，可以分析和裝飾原始源(電視電話(huà)或視頻數(shù)據(jù)中的圖像和語(yǔ)音)。
該實(shí)施例的操作如下將從電視電話(huà)等中發(fā)送來(lái)的圖像和語(yǔ)音分割為圖像數(shù)據(jù)和語(yǔ)音數(shù)據(jù)(步驟601和602)。對(duì)這兩種數(shù)據(jù)進(jìn)行分析，并且從每一種數(shù)據(jù)中檢測(cè)感情(步驟603和604)。然后，將原始圖像與原始圖像中的感情相匹配的裝飾對(duì)象進(jìn)行合成，并且顯示裝飾圖像并重放語(yǔ)音。作為替代，顯示適合于該感情的替代圖像并重放語(yǔ)音(步驟605和606)。
如圖10所示，當(dāng)語(yǔ)音僅為輸入數(shù)據(jù)或通過(guò)電話(huà)建立了語(yǔ)音通信時(shí)，部分210可以分析語(yǔ)音信號(hào)并顯示替代圖像。按照該方式，實(shí)現(xiàn)了偽視頻電話(huà)。
這些實(shí)施例使電視電話(huà)系統(tǒng)中的消息發(fā)送者能夠?qū)⑦m合于他的/她的當(dāng)前感情的裝飾對(duì)象添加到發(fā)送圖像，或選擇替代圖像。該實(shí)施例還可應(yīng)用于接收到的圖像以形成裝飾圖像。即使僅通過(guò)語(yǔ)音來(lái)建立通信，也可以對(duì)語(yǔ)音進(jìn)行分析以提取感情并顯示替代圖像，從而實(shí)現(xiàn)偽視頻電話(huà)。
如上所闡明的，本發(fā)明將根據(jù)圖像獲得的感情信息與根據(jù)語(yǔ)音獲得的感情信息進(jìn)行組合，并使用組合后的信息，這是更精確的感情信息，以產(chǎn)生裝飾圖像。另外，在分析語(yǔ)音時(shí)，不僅利用靜音周期而且利用作為圖像分析的結(jié)果所獲得的嘴唇的動(dòng)作來(lái)分割語(yǔ)音信號(hào)，從而即使在噪聲環(huán)境下，也適當(dāng)?shù)貙?duì)語(yǔ)音信號(hào)進(jìn)行分割。另外，由于將感情分析的結(jié)果存儲(chǔ)在用于學(xué)習(xí)的數(shù)據(jù)庫(kù)中，提高了對(duì)個(gè)人的特定表情的感情分析的精度。
盡管以一定程度的細(xì)節(jié)按照其優(yōu)選形式對(duì)本發(fā)明進(jìn)行了描述，但是明顯地，許多改變和變化均是可能的，并且對(duì)于閱讀了前面的描述之后的本領(lǐng)域的技術(shù)人員而言是顯而易見(jiàn)的。因此，應(yīng)該理解，在不脫離本發(fā)明的精神和范圍的情況下，本發(fā)明可以由超出這里的具體描述之外的其他方面來(lái)展示。
權(quán)利要求
1.一種圖像處理設(shè)備，用于針對(duì)圖像和語(yǔ)音數(shù)據(jù)的輸入，輸出合成圖像或替代圖像，包括圖像分析部分，用于分析圖像數(shù)據(jù)并輸出與圖像數(shù)據(jù)相對(duì)應(yīng)的第一項(xiàng)感情信息；語(yǔ)音分析部分，用于分析語(yǔ)音數(shù)據(jù)并輸出與語(yǔ)音數(shù)據(jù)相對(duì)應(yīng)的第二項(xiàng)感情信息；以及圖像產(chǎn)生部分，用于根據(jù)第一和第二項(xiàng)感情信息來(lái)產(chǎn)生第三項(xiàng)感情信息，并且輸出與第三項(xiàng)感情信息相對(duì)應(yīng)的圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于所述圖像分析部分從圖像數(shù)據(jù)中提取構(gòu)成元素，并向其中將構(gòu)成元素信息用于分析語(yǔ)音數(shù)據(jù)的所述語(yǔ)音分析部分輸出構(gòu)成元素信息，所述構(gòu)成元素信息包括構(gòu)成元素的動(dòng)作。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其特征在于將無(wú)動(dòng)作嘴唇用作所述構(gòu)成元素信息以分割語(yǔ)音數(shù)據(jù)。
4.根據(jù)權(quán)利要求1到3任一個(gè)所述的圖像處理設(shè)備，其特征在于所述動(dòng)作信息與相應(yīng)輸入數(shù)據(jù)配對(duì)并存儲(chǔ)在存儲(chǔ)設(shè)備中。
5.一種圖像處理方法，包括步驟分析圖像和語(yǔ)音數(shù)據(jù)，并輸出分別與圖像數(shù)據(jù)和語(yǔ)音數(shù)據(jù)相對(duì)應(yīng)的第一項(xiàng)和第二項(xiàng)感情信息；根據(jù)所述第一項(xiàng)和第二項(xiàng)感情信息來(lái)確定第三項(xiàng)感情信息；以及輸出與第三項(xiàng)感情信息相對(duì)應(yīng)的合成圖像或替代圖像。
6.根據(jù)權(quán)利要求5所述的圖像處理方法，其特征在于提取圖像數(shù)據(jù)中的構(gòu)成元素，將包括構(gòu)成元素的動(dòng)作的構(gòu)成元素信息用于分析語(yǔ)音數(shù)據(jù)。
7.根據(jù)權(quán)利要求6所述的圖像處理方法，其特征在于所述構(gòu)成元素信息包括圖像數(shù)據(jù)中嘴唇的動(dòng)作，并且用作語(yǔ)音數(shù)據(jù)的分割點(diǎn)。
8.根據(jù)權(quán)利要求5所述的圖像處理方法，其特征在于所述第一、第二和第三項(xiàng)感情信息與相應(yīng)輸入數(shù)據(jù)配對(duì)，并存儲(chǔ)在存儲(chǔ)設(shè)備中。
9.一種在計(jì)算機(jī)可讀介質(zhì)上具體實(shí)現(xiàn)的計(jì)算機(jī)程序，用于使處理器執(zhí)行以下操作，包括分析圖像和語(yǔ)音數(shù)據(jù)，并輸出分別與圖像數(shù)據(jù)和語(yǔ)音數(shù)據(jù)相對(duì)應(yīng)的第一項(xiàng)和第二項(xiàng)感情信息；根據(jù)所述第一項(xiàng)和第二項(xiàng)感情信息來(lái)確定第三項(xiàng)感情信息；以及輸出與第三項(xiàng)感情信息相對(duì)應(yīng)的合成圖像或替代圖像。
10.根據(jù)權(quán)利要求9所述的計(jì)算機(jī)程序，其特征在于提取圖像數(shù)據(jù)中的構(gòu)成元素，將包括構(gòu)成元素的動(dòng)作的構(gòu)成元素信息用于分析語(yǔ)音數(shù)據(jù)。
11.根據(jù)權(quán)利要求10所述的計(jì)算機(jī)程序，其特征在于所述構(gòu)成元素信息包括圖像數(shù)據(jù)中嘴唇的動(dòng)作，并且用作語(yǔ)音數(shù)據(jù)的分割點(diǎn)。
12.根據(jù)權(quán)利要求9所述的計(jì)算機(jī)程序，其特征在于所述第一、第二和第三項(xiàng)感情信息與相應(yīng)輸入數(shù)據(jù)配對(duì)，并存儲(chǔ)在存儲(chǔ)設(shè)備中。
全文摘要
一種圖像處理設(shè)備，根據(jù)圖像和語(yǔ)音數(shù)據(jù)來(lái)確定感情，然后輸出裝飾圖像或替代圖像。另外，為了對(duì)信號(hào)進(jìn)行分析，精確地確定語(yǔ)音信號(hào)的分段。與提取圖像的構(gòu)成元素和連續(xù)地監(jiān)視元素的動(dòng)作的操作一起來(lái)進(jìn)行感情分析。期間觀察到?jīng)]有嘴唇動(dòng)作的周期和期間未輸入語(yǔ)音的周期用作語(yǔ)音信號(hào)的分割點(diǎn)，并確定語(yǔ)音中的感情。另外，對(duì)根據(jù)圖像數(shù)據(jù)的分析結(jié)果和根據(jù)語(yǔ)音數(shù)據(jù)的分析結(jié)果進(jìn)行加權(quán)以便最終確定感情，并輸出與該感情相對(duì)應(yīng)的合成圖像或替代圖像。
文檔編號(hào)H04N5/262GK1645413SQ20051000474
公開(kāi)日2005年7月27日 申請(qǐng)日期2005年1月18日 優(yōu)先權(quán)日2004年1月19日
發(fā)明者吉村成弘 申請(qǐng)人:日本電氣株式會(huì)社