專利名稱：信息處理裝置、信息處理方法、記錄媒體及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息處理裝置、信息處理方法、記錄媒體及程序。更特別地，本發(fā)明涉及這樣的信息處理裝置、信息處理方法、程序及記錄媒體，它們通過網(wǎng)絡(luò)彼此連接，用于合成裝置所共有的內(nèi)容與操作該裝置的用戶的語音和圖像，并用于同步地再現(xiàn)分析結(jié)果。
背景技術(shù)：
現(xiàn)有技術(shù)中用于彼此分離并處于遠(yuǎn)程位置的人之間進(jìn)行交互的裝置包括電話、所謂的可視電話和視頻會(huì)議系統(tǒng)。目前也存在這樣的方法，個(gè)人計(jì)算機(jī)或類似設(shè)備能夠借以連接到因特網(wǎng)，并用于基于文本的聊天及基于圖像和語音的視頻聊天。這樣的交互在下面稱為遠(yuǎn)程通信。
此外，還提出了這樣的系統(tǒng)，其中彼此之間進(jìn)行遠(yuǎn)程通信的個(gè)人可以使用連接到因特網(wǎng)的個(gè)人計(jì)算機(jī)或類似設(shè)備，通過因特網(wǎng)共享虛擬空間和相同的內(nèi)容。需要有關(guān)此類系統(tǒng)的更多信息，請(qǐng)參考如日本專利公開2003-271530這類文件。

發(fā)明內(nèi)容
現(xiàn)有技術(shù)中的方法允許彼此分離并處于遠(yuǎn)程位置的用戶共享相同的內(nèi)容，然而，用戶主要通過傳輸以某種語言寫出的信息來進(jìn)行彼此間的通信。因此，現(xiàn)有技術(shù)中的方法的一個(gè)問題是，和面對(duì)面的通信相比，向其他用戶表達(dá)用戶的思想和情況更加困難，在面對(duì)面的通信中用戶實(shí)際上面對(duì)通信伙伴本人。
此外，現(xiàn)有技術(shù)中用戶借以查看通信伙伴的圖像并收聽通信伙伴的語音以及與伙伴共享相同內(nèi)容的方法的問題是，由于裝置的復(fù)雜度，通過用戶執(zhí)行的手動(dòng)操作或類似手段，難以操作裝置，而以優(yōu)化的方式合成伙伴的圖像和語音與內(nèi)容的圖像和聲音。
為了處理上述問題，本發(fā)明的發(fā)明人發(fā)明了能夠在用戶執(zhí)行的處理中根據(jù)用戶的狀況容易地設(shè)置多個(gè)圖像和多個(gè)聲音的合成，以在彼此遠(yuǎn)離的遠(yuǎn)程位置查看和收聽相同內(nèi)容的技術(shù)。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供一種信息處理裝置，它包括再現(xiàn)裝置，用于與其他信息處理裝置同步地再現(xiàn)所述信息處理裝置和其他信息處理裝置共有的內(nèi)容數(shù)據(jù)；用戶信息輸入裝置，用于輸入包括操作信息處理裝置的用戶的語音和圖像的第一用戶狀況信息；用戶信息接收器裝置，用于接收包括由其他用戶操作的其他信息處理裝置上的其他用戶的語音和圖像的第二用戶狀況信息；合成裝置，用于合成再現(xiàn)裝置同步地再現(xiàn)的內(nèi)容數(shù)據(jù)中的語音和圖像與用戶信息接收器裝置接收的第二用戶狀況信息中的語音和圖像；信息分析裝置，用于分析用戶信息輸入裝置輸入的第一用戶狀況信息或用戶信息接收器裝置接收的第二用戶狀況信息中的至少一個(gè)；及參數(shù)設(shè)置裝置，用于設(shè)置用于控制處理的控制參數(shù)，合成裝置基于信息分析裝置產(chǎn)生的分析結(jié)果執(zhí)行所述處理來合成語音和圖像。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，也可以提供這樣的配置，其中第一用戶狀況信息也包括有關(guān)用戶所處環(huán)境的信息而第二用戶狀況信息也包括有關(guān)其他用戶所處環(huán)境的信息。
信息處理裝置在本發(fā)明的一個(gè)實(shí)施例中還包括分析對(duì)象確定裝置，用于產(chǎn)生信息分析裝置是否分析用戶信息接收器裝置接收的第二用戶狀況信息的確定結(jié)果，及，如果分析對(duì)象確定裝置產(chǎn)生的確定結(jié)果表明信息分析裝置不用分析第二用戶狀況信息，則信息分析裝置只分析第一用戶狀況信息。
信息處理裝置在本發(fā)明的一個(gè)實(shí)施例中還包括輸出裝置，用于輸出作為合成裝置產(chǎn)生的合成結(jié)果獲得的語音和圖像，其中參數(shù)設(shè)置裝置基于信息分析裝置產(chǎn)生的分析結(jié)果設(shè)置輸出裝置的控制參數(shù)。
也可以提供這樣的配置，其中參數(shù)設(shè)置裝置基于信息分析裝置產(chǎn)生的分析結(jié)果，設(shè)置連接到所述信息處理裝置的電子裝置的控制參數(shù)。
也可以提供這樣的配置，其中參數(shù)設(shè)置裝置基于信息分析裝置產(chǎn)生的分析結(jié)果，設(shè)置其他信息處理裝置的控制參數(shù)，及信息處理裝置還包括發(fā)送器裝置，用于將參數(shù)設(shè)置裝置所設(shè)置的控制參數(shù)傳輸?shù)狡渌畔⑻幚硌b置。
信息處理裝置在本發(fā)明的一個(gè)實(shí)施例中還包括接受確定裝置，用于產(chǎn)生是否接受由其他信息處理裝置傳輸?shù)目刂茀?shù)的確定結(jié)果。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供這樣的信息處理方法，包括下面的步驟與其他信息處理裝置同步地再現(xiàn)信息處理裝置和其他信息處理裝置共有的內(nèi)容數(shù)據(jù)；輸入包括操作信息處理裝置的用戶的語音和圖像的第一用戶狀況信息；接收包括由其他用戶操作的其他信息處理裝置上的其他用戶的語音和圖像的第二用戶狀況信息；合成在再現(xiàn)步驟執(zhí)行的處理中同步地再現(xiàn)的內(nèi)容數(shù)據(jù)中的語音和圖像與在用戶信息接收步驟執(zhí)行的處理中接收的第二用戶狀況信息中的語音和圖像；分析在用戶信息輸入步驟執(zhí)行的處理中輸入的第一用戶狀況信息或在用戶信息接收步驟執(zhí)行的處理中接收的第二用戶狀況信息中的至少一個(gè)；及設(shè)置用于控制處理的控制參數(shù)。所述處理在信息合成步驟執(zhí)行，用于基于在信息分析步驟執(zhí)行的處理中產(chǎn)生的分析結(jié)果，合成語音和圖像。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供這樣的記錄媒體，用于記錄這樣的程序。所述程序包括下面的步驟與其他信息處理裝置同步地再現(xiàn)計(jì)算機(jī)和其他信息處理裝置共有的內(nèi)容數(shù)據(jù)；輸入包括操作計(jì)算機(jī)的用戶的語音和圖像的第一用戶狀況信息；接收包括由其他用戶操作的信息處理裝置上的其他用戶的語音和圖像的第二用戶狀況信息；合成在再現(xiàn)步驟執(zhí)行的處理中同步地再現(xiàn)的內(nèi)容數(shù)據(jù)中的語音和圖像與在用戶信息接收步驟執(zhí)行的處理中接收的第二用戶狀況信息中的語音和圖像；分析在用戶信息輸入步驟執(zhí)行的處理中輸入的第一用戶狀況信息或在用戶信息接收步驟執(zhí)行的處理中接收的第二用戶狀況信息中的至少一個(gè)；及設(shè)置用于控制處理的控制參數(shù)。所述處理在信息合成步驟執(zhí)行，用于基于在信息分析步驟執(zhí)行的處理中產(chǎn)生的分析結(jié)果，合成語音和圖像。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供這樣的程序，所述程序包括下面的步驟
與其他信息處理裝置同步地再現(xiàn)計(jì)算機(jī)和其他信息處理裝置共有的內(nèi)容數(shù)據(jù)；輸入包括操作計(jì)算機(jī)的用戶的語音和圖像的第一用戶狀況信息；接收包括由其他用戶操作的信息處理裝置上的其他用戶的語音和圖像的第二用戶狀況信息；合成在再現(xiàn)步驟執(zhí)行的處理中同步地再現(xiàn)的內(nèi)容數(shù)據(jù)中的語音和圖像與在用戶信息接收步驟執(zhí)行的處理中接收的第二用戶狀況信息中的語音和圖像；分析在用戶信息輸入步驟執(zhí)行的處理中輸入的第一用戶狀況信息或在用戶信息接收步驟執(zhí)行的處理中接收的第二用戶狀況信息中的至少一個(gè)；及設(shè)置用于控制處理的控制參數(shù)。所述處理在信息合成步驟執(zhí)行，用于基于在信息分析步驟執(zhí)行的處理中產(chǎn)生的分析結(jié)果，合成語音和圖像。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供這樣的信息處理裝置，所述信息處理裝置包括再現(xiàn)部，用于與其他信息處理裝置同步地再現(xiàn)信息處理裝置和其他信息處理裝置共有的內(nèi)容數(shù)據(jù)；用戶信息輸入部，用于輸入包括操作信息處理裝置的用戶的語音和圖像的第一用戶狀況信息；用戶信息接收器部，用于接收包括由其他用戶操作的其他信息處理裝置上的其他用戶的語音和圖像的第二用戶狀況信息；合成部，用于合成再現(xiàn)部同步地再現(xiàn)的內(nèi)容數(shù)據(jù)中的語音和圖像與用戶信息接收器部接收的第二用戶狀況信息中的語音和圖像；信息分析部，用于分析用戶信息輸入部輸入的第一用戶狀況信息或用戶信息接收器部接收的第二用戶狀況信息中的至少一個(gè)；及參數(shù)設(shè)置部，用于設(shè)置用于控制處理的控制參數(shù)。所述處理由合成部執(zhí)行，用于基于信息分析部產(chǎn)生的分析結(jié)果，合成語音和圖像。
如上所述，在本發(fā)明中，在所述信息處理裝置中與其他信息處理裝置同步地再現(xiàn)所述信息處理裝置和其他信息處理裝置共有的內(nèi)容。然后，輸入包括操作所述信息處理裝置的用戶的語音和圖像的第一用戶狀況信息。接下來，從其他用戶操作的其他信息處理裝置接收包括另一個(gè)用戶的語音和圖像的第二用戶狀況信息。然后，同步地再現(xiàn)的內(nèi)容中的語音和圖像與第二用戶狀況信息中的語音和圖像合成。接下來，分析輸入的第一用戶狀況信息或接收到的第二用戶狀況信息中的至少一個(gè)。最后，基于分析結(jié)果，設(shè)置用于控制合成語音和圖像的處理的控制參數(shù)。
網(wǎng)絡(luò)是互相連接至少兩個(gè)裝置并將信息從一個(gè)裝置傳播到另一個(gè)裝置的機(jī)制。通過網(wǎng)絡(luò)彼此通信的裝置可以是獨(dú)立的裝置或包含在一個(gè)裝置中的內(nèi)部塊。
當(dāng)然，通信可以是無線或有線通信。另外，通信也可以是互相混合的無線通信和有線通信的組合。即，對(duì)特定區(qū)域采用無線通信而對(duì)其他區(qū)域采用有線通信。另外，無線通信和有線通信也可以通過對(duì)從特定裝置到另一個(gè)裝置的通信應(yīng)用無線通信而對(duì)從其他裝置到所述特定裝置的通信應(yīng)用有線通信來彼此混合。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，可以根據(jù)用戶狀況容易地設(shè)置多個(gè)圖像和多個(gè)語音的合成。此外，根據(jù)本發(fā)明的一個(gè)實(shí)施例，彼此出現(xiàn)在遠(yuǎn)程位置的用戶能夠以生動(dòng)的方式互相通信。


參考說明書及附圖，闡明本發(fā)明的這些和其他目標(biāo)，其中附圖包括圖1為示意圖，展示本發(fā)明一個(gè)實(shí)施例中的通信系統(tǒng)的典型配置；圖2A至2C為示意圖，展示圖1所示通信系統(tǒng)中的內(nèi)容的典型圖像及用戶的典型圖像；圖3A至3C為示意圖，展示內(nèi)容圖像與用戶圖像合成的典型模式；圖4為結(jié)構(gòu)圖，展示圖1所示的通信系統(tǒng)中使用的通信裝置的典型配置；圖5為流程圖，展示由圖4所示的通信裝置執(zhí)行的遠(yuǎn)程通信處理；圖6為結(jié)構(gòu)圖，展示圖4所示的通信裝置中使用的數(shù)據(jù)分析部的詳細(xì)典型配置；圖7為示意圖，展示分析有關(guān)用戶狀況的信息的典型方法；圖8為另一個(gè)示意圖，展示分析有關(guān)用戶狀況的信息的典型方法；圖9為示意圖，展示另一種分析有關(guān)用戶狀況的信息的典型方法；圖10為另一個(gè)示意圖，展示又一種分析有關(guān)用戶狀況的信息的典型方法；圖11為示意圖，展示使用多條實(shí)時(shí)數(shù)據(jù)分析有關(guān)用戶狀況的信息的典型方法；圖12為另一個(gè)示意圖，展示使用多條實(shí)時(shí)數(shù)據(jù)分析有關(guān)用戶狀況的信息的典型方法；圖13為流程圖，展示圖5所示流程圖的步驟S6中執(zhí)行的用戶特征分析混合處理；圖14為流程圖，展示作為圖13所示流程圖的步驟S30中執(zhí)行的處理的對(duì)應(yīng)部分所執(zhí)行的控制信息接收器處理；及圖15為結(jié)構(gòu)圖，展示本發(fā)明一個(gè)實(shí)施例中的個(gè)人計(jì)算機(jī)的典型配置。
具體實(shí)施例方式
在說明本發(fā)明的較佳實(shí)施例之前，在下面的比較說明中解釋所揭示的本發(fā)明和實(shí)施例之間的關(guān)系。即使有在此說明書中描述而未作為對(duì)應(yīng)于某發(fā)明的實(shí)施例包括在下面的比較說明中的實(shí)施例，也不應(yīng)這樣的實(shí)施例解釋為不對(duì)應(yīng)于某個(gè)發(fā)明的實(shí)施例。相反，不應(yīng)將作為對(duì)應(yīng)于特定發(fā)明的實(shí)施例包括在下面的比較說明中的實(shí)施例解釋為不對(duì)應(yīng)于特定發(fā)明之外的某個(gè)發(fā)明的實(shí)施例。
此外，不應(yīng)將下面的比較說明解釋為覆蓋在本說明書中揭示的所有發(fā)明的完全說明。換句話說，下面的比較說明決不否定在本說明書中揭示但未包括在權(quán)利要求中的發(fā)明的存在，因?yàn)閷?duì)這些發(fā)明提交了專利申請(qǐng)。即，下面的比較說明決不否定將包括在單獨(dú)的專利申請(qǐng)中、包括在對(duì)此說明書的修改中，或?qū)砀郊拥陌l(fā)明的存在。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，一種信息處理裝置(如圖1所示的通信裝置1-1)包括再現(xiàn)裝置(如圖4所示的內(nèi)容再現(xiàn)部25)，用于與其他信息處理裝置(如圖1所示的通信裝置1-2)同步地再現(xiàn)所述信息處理裝置和其他信息處理裝置共有的內(nèi)容數(shù)據(jù)；用戶信息輸入裝置(如圖4所示的輸入部22-1)，用于輸入包括操作信息處理裝置的用戶的語音和圖像的第一用戶狀況信息；用戶信息接收器裝置(如圖4所示的通信部23)，用于接收包括由其他用戶操作的其他信息處理裝置上的其他用戶的語音和圖像的第二用戶狀況信息；合成裝置(如圖4所示的音頻/視頻合成部26)，用于合成再現(xiàn)裝置同步地再現(xiàn)的內(nèi)容中的語音和圖像與用戶信息接收器裝置接收的第二用戶狀況信息中的語音和圖像；信息分析裝置(如圖4所示的用戶特征分析部71)，用于分析用戶信息輸入裝置輸入的第一用戶狀況信息或用戶信息接收器裝置接收的第二用戶狀況信息中的至少一個(gè)；及參數(shù)設(shè)置裝置(如圖4所示的控制信息生成部72)，用于設(shè)置用于控制處理的控制參數(shù)，合成裝置基于信息分析裝置產(chǎn)生的分析結(jié)果執(zhí)行所述處理來合成語音和圖像。
也可以提供這樣的配置，其中信息處理裝置在本發(fā)明的一個(gè)實(shí)施例中還包括分析對(duì)象確定裝置(如圖4所示的合成控制部84)，用于產(chǎn)生信息分析裝置是否分析用戶信息接收器裝置接收的第二用戶狀況信息的確定結(jié)果，及，如果分析對(duì)象確定裝置產(chǎn)生的確定結(jié)果表明信息分析裝置不用分析第二用戶狀況信息，則信息分析裝置只分析第一用戶狀況信息。
也可以提供這樣的配置，其中信息處理裝置在本發(fā)明的一個(gè)實(shí)施例中還包括輸出裝置(如圖4所示的輸出部)，用于輸出作為合成裝置產(chǎn)生的合成結(jié)果獲得的語音和圖像，并且參數(shù)設(shè)置裝置也基于信息分析裝置產(chǎn)生的分析結(jié)果設(shè)置輸出裝置的控制參數(shù)。
也可以提供這樣的配置，其中參數(shù)設(shè)置裝置基于信息分析裝置產(chǎn)生的分析結(jié)果，設(shè)置控制其他信息處理裝置的參數(shù)，且信息處理裝置在本發(fā)明的一個(gè)實(shí)施例中還包括發(fā)送器裝置(如圖4所示的操作信息輸出部87)，用于將參數(shù)設(shè)置裝置所設(shè)置的控制參數(shù)傳輸?shù)狡渌畔⑻幚硌b置。
還可以提供這樣的配置，其中信息處理裝置在本發(fā)明的一個(gè)實(shí)施例中還包括接受確定裝置(如圖4所示的會(huì)話管理部81)，用于產(chǎn)生是否接受由其他信息處理裝置傳輸?shù)目刂茀?shù)的確定結(jié)果。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供這樣的信息處理方法，包括下面的步驟與其他信息處理裝置同步地再現(xiàn)信息處理裝置和其他信息處理裝置共有的內(nèi)容數(shù)據(jù)(如圖5所示流程圖中的步驟S4)；輸入包括操作信息處理裝置的用戶的語音和圖像的第一用戶狀況信息(如圖5所示流程圖中的步驟S2中在圖4所示的輸入部22-1中執(zhí)行處理的子步驟)；接收包括由其他用戶操作的其他信息處理裝置上的其他用戶的語音和圖像的第二用戶狀況信息(如圖5所示流程圖中的步驟S2中在圖4所示的通信部23中執(zhí)行處理的子步驟)；合成在再現(xiàn)步驟執(zhí)行的處理中同步地再現(xiàn)的內(nèi)容數(shù)據(jù)中的語音和圖像與在用戶信息接收步驟執(zhí)行的處理中接收的第二用戶狀況信息中的語音和圖像(如圖13所示流程圖中的步驟S28)；分析在用戶信息輸入步驟執(zhí)行的處理中輸入的第一用戶狀況信息或在用戶信息接收步驟執(zhí)行的處理中接收的第二用戶狀況信息中的至少一個(gè)(如圖13所示流程圖中的步驟S23)；及設(shè)置用于控制處理的控制參數(shù)。所述處理在信息合成步驟執(zhí)行，用于基于在信息分析步驟執(zhí)行的處理中產(chǎn)生的分析結(jié)果，合成語音和圖像(如圖13所示流程圖中的步驟S24)。
應(yīng)注意，記錄媒體和實(shí)際實(shí)現(xiàn)之間的關(guān)系在本發(fā)明的一個(gè)實(shí)施例中與上述信息處理方法和實(shí)施例中實(shí)際實(shí)現(xiàn)之間的關(guān)系是相同的?；谙嗤脑?，程序和實(shí)際實(shí)現(xiàn)的之間的關(guān)系在實(shí)施例中與上述信息處理方法和實(shí)施例中的實(shí)際實(shí)現(xiàn)之間的關(guān)系是相同的。因此，為了避免重復(fù)，在此并不解釋記錄媒體和實(shí)施例中的實(shí)際實(shí)現(xiàn)之間的關(guān)系以及程序和實(shí)施例中的實(shí)際實(shí)現(xiàn)之間的關(guān)系。
下面，參考附圖對(duì)本發(fā)明的實(shí)施例進(jìn)行詳細(xì)說明。
圖1為示意圖，展示本發(fā)明的一個(gè)實(shí)施例中的通信系統(tǒng)的典型配置。在此通信系統(tǒng)中，通信裝置1-1通過通信網(wǎng)絡(luò)2連接到另一個(gè)通信裝置1。在圖1所示典型配置的情況下，通信裝置1-2充當(dāng)其他通信裝置1。通信裝置1-1和1-2在彼此之間以類似于所謂電視電話的方式交換它們的用戶的圖像以及伴隨圖像的用戶語音。此外，通信裝置1-1與通信裝置1-2同步地再現(xiàn)通信裝置1-1和1-2共有的內(nèi)容。通過以此方式顯示共有內(nèi)容，支持用戶之間的遠(yuǎn)程通信。在下面的說明中，在不需要彼此區(qū)分通信裝置1-1和1-2的情況下，通信裝置1-1和1-2都簡(jiǎn)單地稱為通信裝置1。
應(yīng)注意，共有內(nèi)容的例子包括作為接收電視廣播的結(jié)果獲取的節(jié)目?jī)?nèi)容、通過下載獲取的電影內(nèi)容等等、在用戶之間交換的隱私內(nèi)容、游戲內(nèi)容、音樂內(nèi)容，及預(yù)先記錄在由DVD(數(shù)字多用途盤)表示的光盤上的內(nèi)容。應(yīng)注意，光盤自身并未在圖中展示。
通信裝置1可以由多個(gè)用戶同時(shí)使用。例如，在圖1所示典型配置的情況下，通信裝置1-1由用戶A和B使用，而通信裝置1-2由用戶X使用。
作為例子，在圖2A中展示共有內(nèi)容的圖像。通信裝置1-1得到的圖像是用戶A的圖像，如圖2B所示的那樣。另一方面，通信裝置1-2得到的圖像是用戶X的圖像，如圖2C所示的那樣。在此情況，圖4所示的在通信裝置1-1中使用的顯示單元41顯示如圖3A所示的畫中畫屏幕、如圖3B所示的交叉淡入淡出屏幕，或如圖3C所示的擦除屏幕。在任何一種情況下，共有內(nèi)容的圖像和用戶的圖像都彼此重疊。
在圖3A所示的畫中畫顯示中，用戶的圖像都作為小屏幕重疊在共有內(nèi)容的圖像上?？梢杂萌我夥绞礁淖兠總€(gè)小屏幕的位置和尺寸。此外，除了顯示兩個(gè)用戶的圖像，即，顯示用戶A自身的圖像和充當(dāng)用戶A的通信伙伴的用戶X的圖像，可以只顯示其中任何一個(gè)用戶的圖像。
在圖3B所示的交叉淡入淡出屏幕中，共有內(nèi)容的圖像與用戶的圖像合成，其中用戶可以是用戶A或X。例如，在用戶指向共有內(nèi)容的圖像上的任意位置或區(qū)域時(shí)，可以使用此交叉淡入淡出屏幕。
在圖3C所示的擦除屏幕中，用戶的圖像出現(xiàn)在屏幕上，同時(shí)以特定方向移動(dòng)，逐漸覆蓋共有內(nèi)容的圖像。在圖3C所示的典型屏幕中，用戶的圖像從右邊出現(xiàn)。
可以不時(shí)地改變上述屏幕合成模式。此外，每個(gè)合成模式都具有合成參數(shù)，如在圖3A至3C所示的合成模式中設(shè)置每個(gè)圖像的透明度的圖像平衡，及設(shè)置內(nèi)容和用戶音量的音量平衡。也可以不時(shí)地改變這些合成參數(shù)。顯示合成模式從一種模式到另一種模式的改變與合成參數(shù)的改變的歷史存儲(chǔ)在圖4所示的合成信息存儲(chǔ)部64中。應(yīng)注意，顯示內(nèi)容的圖像和用戶的圖像的模式并不限于上述合成模式。即，也可以通過上述模式之外的合成模式顯示圖像。
參考圖1。通信網(wǎng)絡(luò)2是典型地由因特網(wǎng)代表的寬帶數(shù)據(jù)通信網(wǎng)絡(luò)。接收到通信裝置1做出的請(qǐng)求時(shí)，內(nèi)容提供服務(wù)器3通過通信網(wǎng)絡(luò)2向通信裝置提供內(nèi)容。在通信裝置1的用戶可以使用通信系統(tǒng)之前，身份驗(yàn)證服務(wù)器4對(duì)用戶進(jìn)行身份驗(yàn)證。此外，身份驗(yàn)證服務(wù)器4也對(duì)身份驗(yàn)證成功的用戶執(zhí)行記賬處理和其他處理。
廣播裝置5是用于傳輸內(nèi)容的單元，所傳輸?shù)膬?nèi)容通常是電視廣播節(jié)目等等。因此，通信裝置1能夠接收并以同步的方式再現(xiàn)來自廣播裝置5的內(nèi)容。應(yīng)注意，廣播裝置5能夠通過無線或有線通信傳輸內(nèi)容到通信裝置1。此外，廣播裝置5也可以通過通信網(wǎng)絡(luò)2傳輸內(nèi)容到通信裝置1。
標(biāo)準(zhǔn)時(shí)間信息廣播裝置6是用于向通信裝置1提供有關(guān)標(biāo)準(zhǔn)時(shí)間的信息的單元。標(biāo)準(zhǔn)時(shí)間信息用于將圖4中所示在每個(gè)通信裝置1中充當(dāng)時(shí)鐘的標(biāo)準(zhǔn)時(shí)間測(cè)量部30正確地同步到標(biāo)準(zhǔn)時(shí)間。由時(shí)鐘測(cè)量的標(biāo)準(zhǔn)時(shí)間通常可以是世界標(biāo)準(zhǔn)時(shí)間或日本標(biāo)準(zhǔn)時(shí)間。應(yīng)注意，標(biāo)準(zhǔn)時(shí)間信息廣播裝置6能夠通過無線或有線通信傳輸有關(guān)標(biāo)準(zhǔn)時(shí)間的信息到通信裝置1。此外，標(biāo)準(zhǔn)時(shí)間廣播裝置6也可以通過通信網(wǎng)絡(luò)2傳輸有關(guān)標(biāo)準(zhǔn)時(shí)間的信息到通信裝置1。
在圖1所示的典型通信系統(tǒng)中，只有兩個(gè)通信裝置1通過通信網(wǎng)絡(luò)2互相連接。然而，也值得注意的是，連接到通信網(wǎng)絡(luò)2的通信裝置1的數(shù)量不限于兩個(gè)。即，任何數(shù)量的通信裝置1，包括通信裝置1-3和1-4，都可以通過通信網(wǎng)絡(luò)2互相連接。
接下來，參考圖4詳細(xì)說明通信裝置1-1的典型配置。
在通信裝置1-1中使用的輸出部21包括顯示單元41和揚(yáng)聲器42。輸出部21在顯示單元41上顯示對(duì)應(yīng)于從音頻/視頻合成部26接收的視頻信號(hào)的圖像，并輸出對(duì)應(yīng)于從音頻/視頻合成部26接收的音頻信號(hào)的聲音到揚(yáng)聲器42。
輸入部22-1包括攝像機(jī)51-1、麥克風(fēng)52-1和傳感器53-1。同樣，輸入部22-2包括攝像機(jī)51-2、麥克風(fēng)52-2和傳感器53-3。在下面的說明中，在不需要彼此區(qū)分輸入部22-1和22-2的情況下，輸入部22-1和22-2都簡(jiǎn)單地稱為輸入部22。同樣，在不需要彼此區(qū)分?jǐn)z像機(jī)51-1和51-2的情況下，攝像機(jī)51-1和51-2都簡(jiǎn)單地稱為攝像機(jī)51。同樣，在不需要彼此區(qū)分麥克風(fēng)52-1和52-2的情況下，麥克風(fēng)52-1和52-2都簡(jiǎn)單地稱為麥克風(fēng)52。同樣，在不需要彼此區(qū)分傳感器53-1和53-2的情況下，傳感器53-1和53-2都簡(jiǎn)單地稱為傳感器53。
攝像機(jī)51是用于取得用戶的圖像的部件。用戶的圖像可以是動(dòng)態(tài)或靜態(tài)圖像。麥克風(fēng)52是用于收集用戶的語音和其他聲音的部件。傳感器53是用于檢測(cè)有關(guān)用戶周圍環(huán)境的信息的部件。有關(guān)環(huán)境的信息包括亮度、環(huán)境溫度及濕度。
輸入部22將獲取的圖像、語音/聲音及有關(guān)環(huán)境的信息作為用戶的RT(實(shí)時(shí))數(shù)據(jù)輸出到通信部23、存儲(chǔ)部27及數(shù)據(jù)分析部28。此外，輸入部22也輸出獲取的用戶圖像和用戶語音到音頻/視頻合成部26。
應(yīng)注意，也可以提供多個(gè)輸入部22，朝向多個(gè)相應(yīng)的用戶。例如，在圖4所示的通信裝置1-1的情況下，提供了兩個(gè)輸入部22，朝向圖1所示的兩個(gè)用戶A和B。
通信部23是用于將輸入部22輸入的實(shí)時(shí)數(shù)據(jù)作為用戶A和/或B的數(shù)據(jù)通過通信網(wǎng)絡(luò)2傳輸?shù)匠洚?dāng)通信伙伴的通信裝置1-2并接收通信裝置1-2上的用戶X的實(shí)時(shí)數(shù)據(jù)的單元。通信部23向音頻/視頻合成部26和存儲(chǔ)部27提供用戶X的實(shí)時(shí)數(shù)據(jù)。此外，通信部23還接收由通信裝置1-2或內(nèi)容提供服務(wù)器3通過通信網(wǎng)絡(luò)2傳輸?shù)膬?nèi)容并提供向內(nèi)容再現(xiàn)部25和存儲(chǔ)部27該內(nèi)容。在下文中，這樣的內(nèi)容也稱為內(nèi)容數(shù)據(jù)。通信部23通過通信網(wǎng)絡(luò)2傳輸內(nèi)容和信息到通信裝置1-2。該內(nèi)容是從存儲(chǔ)部27中讀出的內(nèi)容，且該信息是操作信息輸出部87生成的操作信息和控制信息。
廣播接收器部24是這樣的單元，用于接收由廣播裝置5廣播的電視廣播信號(hào)并將通過信號(hào)傳送的廣播節(jié)目作為內(nèi)容提供給內(nèi)容再現(xiàn)部25，且如果需要的話，也提供給存儲(chǔ)部37的。內(nèi)容再現(xiàn)部25是用于再現(xiàn)內(nèi)容的單元，內(nèi)容是由廣播接收器部24接收的廣播節(jié)目。再現(xiàn)的內(nèi)容也可以是由通信部23接收的內(nèi)容、從存儲(chǔ)部27中讀出的內(nèi)容，或從盤片如光盤中讀出的內(nèi)容。應(yīng)注意，盤片自身并未在附圖中展示。內(nèi)容再現(xiàn)部25向音頻/視頻合成部26和圖像分析部28提供再現(xiàn)的內(nèi)容的聲音和圖像。
音頻/視頻合成部26是這樣的單元，用于混合作為內(nèi)容的圖像和聲音從內(nèi)容再現(xiàn)部25接收的圖像和聲音、作為用戶A的圖像和語音從輸入部22接收的圖像和語音、作為用戶X的圖像和語音從通信部23接收的圖像和語音，以及通常用于提醒用戶A的字符串，并向輸出部21提供作為分析結(jié)果獲取的視頻信號(hào)?；旌咸幚碛梢纛l/視頻合成部26執(zhí)行在下文中稱為合成處理，它是混合及調(diào)整圖像、聲音、語音和字符串的處理。
存儲(chǔ)部27包括內(nèi)容存儲(chǔ)部61、證書存儲(chǔ)部62、用戶信息存儲(chǔ)部63及上述合成信息存儲(chǔ)部64。內(nèi)容存儲(chǔ)部61是這樣的單元，用于存儲(chǔ)作為用戶如用戶A的實(shí)時(shí)數(shù)據(jù)從輸入部22接收的數(shù)據(jù)、作為通信伙伴如用戶X的實(shí)時(shí)數(shù)據(jù)從通信部23接收的數(shù)據(jù)、作為內(nèi)容從廣播接收器部24接收的廣播節(jié)目，及從通信部23接收的內(nèi)容。證書存儲(chǔ)部62是用于存儲(chǔ)作為使用存儲(chǔ)在內(nèi)容存儲(chǔ)部61中的內(nèi)容的證書的信息，如授予通信裝置1-1的證書的單元。用戶信息存儲(chǔ)部63是用于存儲(chǔ)數(shù)據(jù)，如有關(guān)通信裝置1-1所屬的某個(gè)組的隱私信息的單元。合成信息存儲(chǔ)部64是用于存儲(chǔ)每個(gè)合成模式和每個(gè)合成參數(shù)的單元，所存儲(chǔ)的合成模式及合成參數(shù)可以由合成控制部84改變。
數(shù)據(jù)分析部28由用戶特征分析部71和控制信息生成部72組成，它是用于輸入作為用戶如用戶A的實(shí)時(shí)數(shù)據(jù)從輸入部22接收的數(shù)據(jù)、作為通信伙伴如用戶X的實(shí)時(shí)數(shù)據(jù)從通信部23接收的數(shù)據(jù)，及從內(nèi)容再現(xiàn)部25接收的內(nèi)容的單元。
用戶特征分析部71是用于分析包括每個(gè)用戶的姿勢(shì)、用戶數(shù)量、每個(gè)用戶的語音，及用戶狀況的信息的特征，并向控制信息生成部72提供分析結(jié)果的單元。用戶的狀況是有關(guān)包圍每個(gè)用戶的環(huán)境的信息。對(duì)其特征進(jìn)行分析的信息是作為用戶(包括用戶A)的實(shí)時(shí)數(shù)據(jù)從通過輸入部22接收的數(shù)據(jù)中獲取的信息。除信息的特征之外，用戶特征分析部71也分析其他信息的特征，并向控制信息生成部72提供分析結(jié)果。其他信息是作為用戶(如用戶X)的實(shí)時(shí)數(shù)據(jù)從通過通信部23接收的數(shù)據(jù)中獲取的信息。
控制信息生成部72是生成用于根據(jù)從用戶特征分析部71中接收的分析結(jié)果對(duì)通信裝置1-1中使用的各部執(zhí)行控制的控制信息，并向控制部32輸出控制信息的單元。例如，控制信息生成部72生成用于對(duì)音頻/視頻合成部26執(zhí)行控制的控制信息，并向控制部32輸出控制信息。在此情況下，控制音頻/視頻合成部26，以便根據(jù)從用戶特征分析部71接收的分析結(jié)果，基于合成參數(shù)與合成模式，合成作為通信伙伴(如用戶X)的實(shí)時(shí)數(shù)據(jù)從通信部23接收的數(shù)據(jù)中的圖像和語音及從內(nèi)容再現(xiàn)部25接收的內(nèi)容中的圖像和聲音。
此外，控制信息生成部72還根據(jù)從用戶特征分析部71接收的分析結(jié)果生成用于對(duì)充當(dāng)通信伙伴的通信裝置1-2中使用的各部執(zhí)行控制的控制信息，并向控制部32輸出控制信息。
通信環(huán)境檢測(cè)部29是用于監(jiān)控與通信裝置1-2通過通信部23和通信網(wǎng)絡(luò)2通信的環(huán)境，并向控制部32輸出監(jiān)控結(jié)果的單元。通信環(huán)境包括通信速率和通信延時(shí)。標(biāo)準(zhǔn)時(shí)間測(cè)量部30是基于從標(biāo)準(zhǔn)時(shí)間信息廣播裝置6接收的標(biāo)準(zhǔn)時(shí)間，調(diào)整自身測(cè)量得到的標(biāo)準(zhǔn)時(shí)間，并向控制部32提供調(diào)整過的標(biāo)準(zhǔn)時(shí)間的單元。操作輸入部31通常是用于接受用戶執(zhí)行的操作，并向控制部32提交對(duì)應(yīng)于該操作的命令的遠(yuǎn)程控制器。
控制部32是基于如表示作為由用戶執(zhí)行的操作由操作輸入部31接收的操作的信號(hào)，及從數(shù)據(jù)分析部28接收的控制信息這樣的信息，控制通信裝置1-1的其他部件的單元?？刂撇?2包括會(huì)話管理部81、查看/收聽記錄水平設(shè)置部82、再現(xiàn)同步化部83、上述的合成控制部84、再現(xiàn)許可部85、記錄許可部86、上述的操作信息輸出部87，及電子裝置控制部88。應(yīng)注意，在圖4所示的典型配置中，省略了用于從控制部32輸出控制命令到通信裝置1-1的其他部件的控制線。
會(huì)話管理部81是用于控制由通信部23執(zhí)行的處理來通過通信網(wǎng)絡(luò)2連接通信裝置1-1與其他裝置，如通信裝置1-2、內(nèi)容提供服務(wù)器3及身份驗(yàn)證服務(wù)器4的單元。此外，會(huì)話管理部81還確定是否接受作為用于控制通信裝置1-1中使用的各部的信息從其他設(shè)備(如通信裝置1-2)接收的控制信息。
查看/收聽記錄水平設(shè)置部82是用于基于用戶執(zhí)行的操作，確定輸入部22獲取的實(shí)時(shí)數(shù)據(jù)和/或作為用戶的個(gè)人內(nèi)容存儲(chǔ)在內(nèi)容存儲(chǔ)部61中的內(nèi)容是否可以由充當(dāng)通信伙伴的通信裝置1-2再現(xiàn)和記錄的單元。如果確定實(shí)時(shí)數(shù)據(jù)和/或個(gè)人內(nèi)容是可以由通信裝置1-2記錄的數(shù)據(jù)和/或內(nèi)容，則設(shè)置可以記錄數(shù)據(jù)和/或內(nèi)容的最多次數(shù)及其他信息。將設(shè)置的信息作為隱私信息添加到用戶的實(shí)時(shí)數(shù)據(jù)中，并通過通信部23傳輸?shù)酵ㄐ叛b置1-2。再現(xiàn)同步化部83是用于控制內(nèi)容再現(xiàn)部25與充當(dāng)通信伙伴的通信裝置1-2同步地再現(xiàn)與通信裝置1-2共有的內(nèi)容的單元。
合成控制部84是基于用戶執(zhí)行的操作，控制數(shù)據(jù)分析部28分析用戶狀況信息的單元，用戶狀況信息從用戶的實(shí)時(shí)數(shù)據(jù)中獲取。此外，合成控制部84還根據(jù)用戶執(zhí)行的操作或從數(shù)據(jù)分析部28接收的控制信息，控制音頻/視頻合成部26合成內(nèi)容的圖像與用戶的圖像，并合成內(nèi)容的語音與用戶的語音。即，基于從數(shù)據(jù)分析部28接收的控制信息，合成控制部84將合成模式的設(shè)置改變?yōu)閳D3A至3C所示的任何模式和并改變新設(shè)置的合成模式的合成參數(shù)的設(shè)置。然后合成控制部84根據(jù)新設(shè)置的合成模式與合成參數(shù)控制音頻/視頻合成部26。此外，合成控制部84將新設(shè)置的合成模式與合成參數(shù)作為合成信息記錄在合成信息存儲(chǔ)部64中。
再現(xiàn)許可部85是基于如附加到內(nèi)容的證書和/或通過通信伙伴中使用的查看/收聽記錄水平設(shè)置部82設(shè)置的隱私信息這樣的信息，輸出是否可以再現(xiàn)內(nèi)容的確定結(jié)果，并基于確定結(jié)果控制內(nèi)容再現(xiàn)部25的單元。記錄許可部86是基于包括附加到內(nèi)容的證書和/或隱私信息這樣的信息，輸出是否可以記錄內(nèi)容的確定結(jié)果，并基于確定結(jié)果控制存儲(chǔ)部27的單元。
操作信息輸出部87是用于生成用戶執(zhí)行操作的操作信息，并通過通信部23將該信息傳輸?shù)匠洚?dāng)通信伙伴的通信裝置1-2的單元。用戶執(zhí)行的操作可以是改變頻道來接收電視廣播的操作、開始再現(xiàn)內(nèi)容的處理的操作、終止再現(xiàn)內(nèi)容的處理的操作、以快進(jìn)方式再現(xiàn)內(nèi)容的操作，或其他操作。操作信息包括操作的描述及執(zhí)行該操作的時(shí)間。操作信息的細(xì)節(jié)將在后面描述。操作信息在內(nèi)容的同步再現(xiàn)中使用。此外，操作信息輸出部87還將從數(shù)據(jù)分析部28接收的控制信息通過通信部23傳輸?shù)酵ㄐ叛b置1-2。
電子裝置控制部88是用于基于用戶執(zhí)行的操作或從數(shù)據(jù)分析部28接收的控制信息，設(shè)置輸出部21的輸出、設(shè)置輸入部22的輸入，并控制作為外圍設(shè)備連接到通信裝置1-1的預(yù)定電子裝置的單元。預(yù)定的電子裝置的例子包括照明裝置和空調(diào)裝置，它們都未在圖中展示。
應(yīng)注意，由于通信裝置1-2的詳細(xì)典型配置與圖4所示的通信裝置1-1相同，對(duì)通信裝置1-2的詳細(xì)典型配置不做特別解釋。
接下來，參考圖5所示的流程圖說明通信裝置1-1所執(zhí)行用于與通信裝置1-2通信的遠(yuǎn)程通信處理。應(yīng)注意，通信裝置1-2也以與通信裝置1-1相同的方式執(zhí)行此處理。
當(dāng)用戶在操作輸入部31上執(zhí)行開始遠(yuǎn)程通信的操作，且操作輸入部31向控制部32提供對(duì)應(yīng)于該操作的操作信號(hào)時(shí)，與通信裝置1-2通信的遠(yuǎn)程通信處理開始。
圖中所示流程圖開始于步驟S1，其中通信部23基于會(huì)話管理部81執(zhí)行的控制，通過通信網(wǎng)絡(luò)2與通信裝置1-2建立連接，以便通知通信裝置1-2遠(yuǎn)程通信開始。然后，處理流程進(jìn)入步驟S2。為了響應(yīng)此通知，通信裝置1-2向通信裝置1-1返回通知的確認(rèn)，表示接受遠(yuǎn)程通信的開始。
在步驟S2，通信部23開始基于控制部32執(zhí)行的控制，通過通信網(wǎng)絡(luò)2傳輸從輸入部22接收的用戶A的實(shí)時(shí)數(shù)據(jù)及其他實(shí)時(shí)數(shù)據(jù)。通信部23也開始從通信裝置1-2接收用戶X的實(shí)時(shí)數(shù)據(jù)。然后，處理流程進(jìn)入步驟S3。這時(shí)，向數(shù)據(jù)分析部28提供作為用戶A的實(shí)時(shí)數(shù)據(jù)從輸入部22接收的數(shù)據(jù)及其他實(shí)時(shí)數(shù)據(jù)，以及作為用戶X的實(shí)時(shí)數(shù)據(jù)從通信裝置1-2接收的實(shí)時(shí)數(shù)據(jù)。向音頻/視頻合成部26提供包括在用戶A的實(shí)時(shí)數(shù)據(jù)中的圖像和語音及包括在其他實(shí)時(shí)數(shù)據(jù)的圖像和語音，以及包括在用戶X的實(shí)時(shí)數(shù)據(jù)中的圖像和語音。
在步驟S3，通信部23基于由會(huì)話管理部81執(zhí)行的控制與身份驗(yàn)證服務(wù)器4通過通信網(wǎng)絡(luò)2建立連接，以便為獲取內(nèi)容執(zhí)行身份驗(yàn)證處理。在身份驗(yàn)證處理成功完成之后，通信部23通過通信網(wǎng)絡(luò)2訪問內(nèi)容提供服務(wù)器3，以便獲取用戶指定的內(nèi)容。然后，處理流程進(jìn)入步驟S4。同時(shí)，通信裝置1-2執(zhí)行和通信裝置1-1相同的處理來獲取相同的內(nèi)容。
應(yīng)注意，如果指定的內(nèi)容是作為電視廣播接收的內(nèi)容或存儲(chǔ)在存儲(chǔ)部27中并隨時(shí)可以再現(xiàn)的已獲取內(nèi)容，則可以忽略步驟S3的處理。
在步驟S4，內(nèi)容再現(xiàn)部25基于再現(xiàn)同步化部83執(zhí)行的控制開始與通信裝置1-2同步地再現(xiàn)內(nèi)容的處理。然后，處理流程進(jìn)入步驟S5。通過執(zhí)行與通信裝置1-2同步再現(xiàn)內(nèi)容的處理，通信裝置1-1和1-2基于標(biāo)準(zhǔn)時(shí)間測(cè)量部30(或標(biāo)準(zhǔn)時(shí)間信息廣播裝置6)提供的標(biāo)準(zhǔn)時(shí)間以同步的方式再現(xiàn)相同的內(nèi)容。向音頻/視頻合成部26和數(shù)據(jù)合成部28提供再現(xiàn)的內(nèi)容。
在步驟S5，存儲(chǔ)部27開始遠(yuǎn)程通信記錄處理。然后，處理流程進(jìn)入步驟S6。具體來說，音頻/視頻合成部26根據(jù)合成控制部84執(zhí)行的控制合成已開始再現(xiàn)的內(nèi)容、包括在用戶A的實(shí)時(shí)數(shù)據(jù)中的圖像和語音及其他輸入的實(shí)時(shí)數(shù)據(jù)，以及包括在接收到的用戶X的實(shí)時(shí)數(shù)據(jù)中的圖像和語音。然后，音頻/視頻合成部26向輸出部21提供作為分析結(jié)果處理獲取的音頻和視頻信號(hào)。應(yīng)注意，這時(shí)，合成控制部84基于合成模式與該模式的合成參數(shù)，控制由音頻/視頻合成部26執(zhí)行的合成處理。如上所述，事先已根據(jù)用戶執(zhí)行的操作設(shè)置了合成模式與該模式的合成參數(shù)。
輸出部21基于向其提供的視頻信號(hào)顯示圖像，并基于接收到的音頻信號(hào)產(chǎn)生聲音。在此階段，用戶之間的圖像和語音交換及以同步方式再現(xiàn)內(nèi)容的處理均已開始。
然后，在開始用戶之間的圖像和語音交換和以同步方式再現(xiàn)內(nèi)容的處理之后，開始記錄已開始再現(xiàn)的內(nèi)容、包括在用戶A的實(shí)時(shí)數(shù)據(jù)及其他實(shí)時(shí)數(shù)據(jù)中的圖像和語音，以及包括在用戶X的實(shí)時(shí)數(shù)據(jù)中圖像和語音，及包括合成模式與對(duì)該合成模式設(shè)置的合成參數(shù)的合成信息的處理。
在步驟S6，根據(jù)合成控制部84執(zhí)行的控制，數(shù)據(jù)分析部28和音頻/視頻合成部26執(zhí)行用戶特征分析混合處理，該處理的細(xì)節(jié)將在后面說明。更具體地說，在步驟S6，數(shù)據(jù)分析部28分析有關(guān)用戶狀況的信息。有關(guān)用戶狀況的信息從每個(gè)用戶的實(shí)時(shí)數(shù)據(jù)中獲取，它包括有關(guān)每個(gè)用戶的姿勢(shì)的信息、用戶數(shù)量、每個(gè)用戶的語音，及有關(guān)每個(gè)用戶周圍的環(huán)境的信息。然后，數(shù)據(jù)分析部28基于分析結(jié)果生成控制信息，用于控制各部，包括音頻/視頻合成部26。以此方式，通過基于控制信息，而不是根據(jù)用戶執(zhí)行的操作事先確定的合成模式與事先對(duì)所確定的合成模式設(shè)置的合成參數(shù)，來改變合成模式為另一種模式并適當(dāng)?shù)卦O(shè)置新合成模式的合成參數(shù)，合成控制部84執(zhí)行處理來控制音頻/視頻合成部26執(zhí)行合成處理。
然后，在下一個(gè)步驟S7，控制部32產(chǎn)生用戶是否已執(zhí)行請(qǐng)求終止遠(yuǎn)程通信的操作的確定結(jié)果?？刂撇?2重復(fù)執(zhí)行此步驟的處理，直到用戶執(zhí)行這樣的操作。若步驟S7產(chǎn)生的確定結(jié)果表明用戶已執(zhí)行了請(qǐng)求終止遠(yuǎn)程通信的操作，則處理流程進(jìn)入步驟S8。
在步驟S8，通信部23基于會(huì)話管理部81執(zhí)行的控制通過通信網(wǎng)絡(luò)2與通信裝置1-2建立連接，以便通知通信裝置1-2遠(yuǎn)程通信已終止。為了響應(yīng)此通知，通信裝置1-2向通信裝置1-1返回通知的確認(rèn)，表示接受遠(yuǎn)程通信的終止。
然后，在下一個(gè)步驟S9，存儲(chǔ)部27終止遠(yuǎn)程通信記錄處理。應(yīng)注意，以此方式，當(dāng)以后執(zhí)行下一次遠(yuǎn)程通信時(shí)，可以使用對(duì)已終止的遠(yuǎn)程通信存儲(chǔ)的數(shù)據(jù)。對(duì)已終止的遠(yuǎn)程通信存儲(chǔ)的數(shù)據(jù)包括再現(xiàn)的內(nèi)容、包括在用戶A的實(shí)時(shí)數(shù)據(jù)及其他實(shí)時(shí)數(shù)據(jù)中的圖像和語音，以及包括在用戶X的實(shí)時(shí)數(shù)據(jù)中的圖像和語音，及上述合成信息。
上面已對(duì)通信裝置1-1作為通信裝置1-1和通信裝置1-2之間的通信處理所執(zhí)行的遠(yuǎn)程通信處理進(jìn)行了說明。
下面的說明解釋在表示上述遠(yuǎn)程通信處理的流程圖的步驟S6中執(zhí)行的上述用戶特征分析混合處理的細(xì)節(jié)。
圖6為結(jié)構(gòu)圖，展示用于執(zhí)行用戶特征分析混合處理的數(shù)據(jù)分析部28的詳細(xì)配置。應(yīng)注意，在圖6所示的具體配置的各部中，與它們?cè)趫D4所示的配置中使用的對(duì)應(yīng)部分相同的部分由相同的編號(hào)表示，且省略這些具體配置部分的說明，以免重復(fù)。
如圖6所示，用戶特征分析部71的典型配置包括分析控制部101、姿勢(shì)信息分析部102、用戶計(jì)數(shù)分析部103、音頻信息分析部104，及環(huán)境信息分析部105。
分析控制部101是根據(jù)合成控制部84執(zhí)行的控制，控制用于分析信息的各部來分析用戶的狀況信息(或特征)，并向控制信息生成部72提供分析結(jié)果的單元。提供用于分析信息的各部包括姿勢(shì)信息分析部102、用戶計(jì)數(shù)分析部103、音頻信息分析部104及環(huán)境信息分析部105。用戶的狀況信息(或特征)是作為要分析的實(shí)時(shí)數(shù)據(jù)從用戶的實(shí)時(shí)數(shù)據(jù)中獲取的信息。要分析的實(shí)時(shí)數(shù)據(jù)是從輸入的用戶A的實(shí)時(shí)數(shù)據(jù)與接收到的用戶X的實(shí)時(shí)數(shù)據(jù)中抽取的數(shù)據(jù)。
姿勢(shì)信息分析部102是基于有關(guān)用戶的前傾、后傾、左傾、右傾姿勢(shì)的信息執(zhí)行分析處理，并向分析控制部101提供分析結(jié)果處理的單元。有關(guān)用戶的前傾、后傾、左傾、右傾姿勢(shì)的信息是作為要分析的實(shí)時(shí)數(shù)據(jù)從包括在用戶的實(shí)時(shí)數(shù)據(jù)中的圖像中抽取的信息。用戶計(jì)數(shù)分析部103是基于輸入的實(shí)時(shí)數(shù)據(jù)分析參與遠(yuǎn)程通信的用戶的數(shù)量，并向分析控制部101提供分析結(jié)果的單元。音頻信息分析部104是基于從包括在要分析的實(shí)時(shí)數(shù)據(jù)中的聲音中抽取的音頻信息執(zhí)行分析處理，并向分析控制部101提供分析結(jié)果的單元。音頻信息的例子包括音量和聲音頻率。
環(huán)境信息分析部105是基于有關(guān)用戶周圍的環(huán)境信息執(zhí)行分析處理，并向分析控制部101提供分析結(jié)果的單元。從要分析的實(shí)時(shí)數(shù)據(jù)中抽取有關(guān)用戶周圍環(huán)境的信息，這包括亮度和環(huán)境溫度。應(yīng)注意，除亮度和環(huán)境溫度之外，有關(guān)用戶周圍環(huán)境的信息還包括濕度、通信裝置1-1的移動(dòng)加速度、通信裝置1-1的位置，及移動(dòng)時(shí)間。在此情況，可以在輸入部22中對(duì)有關(guān)用戶周圍環(huán)境的每一項(xiàng)輸入信息提供傳感器。另外，也可以在通信裝置1-1中提供內(nèi)置的GIS(地理信息系統(tǒng))功能。
基于根據(jù)分析控制部101執(zhí)行的控制產(chǎn)生的分析結(jié)果，控制信息生成部72生成控制信息，用于控制通信裝置1-1中的各部執(zhí)行的處理。然后控制信息生成部72向合成控制部84或電子裝置控制部88提供控制信息。此外，同樣基于從分析控制部101接收的分析結(jié)果，控制信息生成部72生成控制信息，用于控制在通信裝置1-2中使用的各部執(zhí)行的處理。在此情況，控制信息生成部72向操作信息輸出部87提供控制信息。
參考圖7和圖8，下面的說明具體解釋在用戶特征分析混合處理中使用實(shí)時(shí)數(shù)據(jù)分析有關(guān)用戶狀況的信息的方法。應(yīng)注意，圖7和圖8中的例子展示了由控制信息生成部72執(zhí)行用來基于姿勢(shì)信息分析部102產(chǎn)生的分析結(jié)果生成控制信息的處理。
在圖7所示的例子中，用戶A使用通信裝置1-1采用上面參考圖3A描述的畫中畫方法作為圖5所示流程圖的步驟S5中執(zhí)行遠(yuǎn)程通信記錄處理的方法來與操作通信裝置1-2的用戶X通信。
因此，在通信裝置1-1中使用的輸入部22用于獲取實(shí)時(shí)數(shù)據(jù)，包括用戶A的圖像和語音、亮度以及環(huán)境溫度，并通過通信部23將數(shù)據(jù)傳輸?shù)酵ㄐ叛b置1-2。另一方面，通信裝置1-2將用戶X的實(shí)時(shí)數(shù)據(jù)傳輸?shù)酵ㄐ叛b置1-1中使用的通信部23。應(yīng)注意，在圖7中，攝像機(jī)51作為輸入部22展示。
然后，通信裝置1-1中使用的顯示單元41在子屏幕201上顯示充當(dāng)通信伙伴的用戶X的圖像。在全屏幕的右下角，子屏幕201重疊在當(dāng)前再現(xiàn)的內(nèi)容的圖像202上。應(yīng)注意，子屏幕201的透明度在開始用戶特征分析混合處理之前已設(shè)置為標(biāo)準(zhǔn)透明度。
這時(shí)，用戶A使用操作輸入部31執(zhí)行開始用戶特征分析混合處理的操作。
用戶特征分析部71已接收到用戶A和X的實(shí)時(shí)數(shù)據(jù)。在用戶特征分析部71中使用的姿勢(shì)信息分析部102從攝像機(jī)51取得的圖像211中抽取輪廓信息G1，如圖8所示，作為包括在用戶A的實(shí)時(shí)數(shù)據(jù)中的圖像。然后，姿勢(shì)信息分析部102分析抽取出的輪廓信息G1，通過比較抽取的輪廓信息及用戶A的參考輪廓G0，確定用戶A的前傾/后傾姿勢(shì)信息(或有關(guān)姿勢(shì)特征的信息)是為指示前傾還是后傾姿勢(shì)的信息。即，姿勢(shì)信息分析部102分析抽取出的輪廓信息G1來確定用戶A的姿勢(shì)信息是前傾還是后傾姿勢(shì)，用戶A將該姿勢(shì)作為相對(duì)于顯示單元41的姿勢(shì)進(jìn)行呈現(xiàn)。以此方式，姿勢(shì)信息分析部102能夠?qū)⒂脩鬉表達(dá)的興奮度水平識(shí)別為當(dāng)前再現(xiàn)的內(nèi)容的興奮度。用戶A呈現(xiàn)的前傾/后傾姿勢(shì)是傾向于向前或向后方向的姿勢(shì)。
然后，控制信息生成部72生成控制信息，用于基于姿勢(shì)信息分析部102執(zhí)行的處理產(chǎn)生的結(jié)果，控制在合成的圖像上顯示用戶X的圖像的子屏幕201的透明度，來分析有關(guān)姿勢(shì)的信息。此外，控制信息生成部72還生成控制信息，用于基于姿勢(shì)信息分析部102執(zhí)行的處理產(chǎn)生的結(jié)果，控制用戶A和X的語音音量在合成的聲音中的平衡，來分析有關(guān)姿勢(shì)的信息。
上述參考輪廓G0事先由姿勢(shì)信息分析部102設(shè)置。通常，按如下設(shè)置參考輪廓G0。首先，使用攝像機(jī)51取得包括參考姿勢(shì)的用戶A的圖像。參考姿勢(shì)是這樣的姿勢(shì)，在其中設(shè)置參考輪廓G0。然后通過攝像機(jī)51取得的圖像，采用如移動(dòng)向量分析這樣的方法來確定用戶A的參考姿勢(shì)。最后，獲取到有關(guān)用戶A的參考姿勢(shì)的參考輪廓G0的信息。應(yīng)注意，除了采用移動(dòng)向量分析，參考輪廓G0也可以通過使用戶A確認(rèn)出現(xiàn)在顯示單元41上的用戶自身圖像來設(shè)置。
然后，姿勢(shì)信息分析部102得到輪廓比率e(＝G1/G0)，其中符號(hào)G0表示用戶A的參考輪廓信息，而符號(hào)G1表示用戶A的當(dāng)前輪廓信息。接下來，姿勢(shì)信息分析部102分析計(jì)算出的輪廓e，以基于圖8所示的圖212按如下確定用戶A的姿勢(shì)是前傾還是后傾姿勢(shì)。
右邊的圖表上展示圖8中的圖212，其縱軸表示有關(guān)用戶A的姿勢(shì)的信息?？v軸的中央是對(duì)應(yīng)于參考姿勢(shì)的姿勢(shì)信息。在中央上方的姿勢(shì)信息表示前傾姿勢(shì)，而中央下方的姿勢(shì)信息表示后傾姿勢(shì)。另一方面，橫軸表示輪廓比率e。橫軸中央的輪廓比率e為1。中央右邊的輪廓比率是大于1的輪廓比率e，每個(gè)輪廓比率e都表示在+號(hào)一邊對(duì)應(yīng)于前傾姿勢(shì)的位置。另一方面，在中央左邊的輪廓比率e是小于1的輪廓比率e，每個(gè)輪廓比率e都表示在-號(hào)一邊對(duì)應(yīng)于后傾姿勢(shì)的位置。
因此，對(duì)小于1的輪廓比率e，即，用戶A當(dāng)前的輪廓G1小于參考輪廓G0，姿勢(shì)信息分析部102確定用戶A的姿勢(shì)和參考姿勢(shì)相比是后傾的，得到這樣的分析結(jié)果，表明用戶A對(duì)當(dāng)前再現(xiàn)的內(nèi)容具有低水平的興奮度。在此情況，基于這樣的分析結(jié)果，如顯示用戶X的圖像的子屏幕201B所示，控制信息生成部72將子屏幕201B的透明度降低為小于上述參考子屏幕201的透明度的值。即，姿勢(shì)信息分析部102生成控制信息來突出用戶X的圖像并增加用戶X的音量，以便使用戶更好地查看和收聽用戶X。
如果在數(shù)據(jù)分析部28中輪廓比率e大于1或用戶A當(dāng)前的輪廓G1大于參考輪廓G0，則姿勢(shì)信息分析部102確定用戶A的姿勢(shì)和參考姿勢(shì)相比是前傾的，產(chǎn)生這樣的分析結(jié)果，表明用戶A對(duì)當(dāng)前再現(xiàn)的內(nèi)容具有較高水平的興奮度。在此情況，基于這樣的分析結(jié)果，如顯示用戶X的圖像的子屏幕201F所示，控制信息生成部72將子屏幕201F的透明度提高為大于上述參考子屏幕201的透明度的值。即，姿勢(shì)信息分析部102生成控制信息來減弱用戶X的圖像并降低用戶X的音量，以便使用戶更好地查看和收聽內(nèi)容。
在圖7所示例子的情況下，調(diào)整顯示通信伙伴的圖像的子屏幕201的透明度。然而，應(yīng)注意，也可以調(diào)整子屏幕201的尺寸，而不是調(diào)整透明度。
如上所述，在用戶A為前傾姿勢(shì)的情況下，執(zhí)行合成來產(chǎn)生用戶X的圖像不突出的顯示。因此，用戶A能夠容易地得到這樣的環(huán)境，允許容易地查看和收聽內(nèi)容，而無需由用戶自己設(shè)置子屏幕的顯示。另一方面，在用戶A為后傾姿勢(shì)的情況下，執(zhí)行合成來產(chǎn)生用戶X的圖像突出的顯示。因此，用戶A能夠容易地得到這樣的環(huán)境，允許容易地與用戶X進(jìn)行通信。
在圖8所示例子的情況下，分析從用戶A的圖像中抽取的輪廓來確定用戶A的姿勢(shì)是前傾姿勢(shì)還是后傾姿勢(shì)。然而，應(yīng)注意，分析方法并不僅限于此方法。例如，可以提供這樣的配置，其中在顯示單元41右邊和左邊提供兩個(gè)攝像機(jī)51，并使用攝像機(jī)51取得的圖像生成的立體視圖來抽取有關(guān)姿勢(shì)的信息，以用在對(duì)姿勢(shì)的分析中，而不是從圖像中抽取輪廓。另外，也可以提供這樣的配置，其中在接近顯示單元41的位置安裝紅外線傳感器，并采取使用紅外線的三維測(cè)距方法來抽取要分析的姿勢(shì)信息。
接下來，參考圖9和10，具體地說明使用用戶的實(shí)時(shí)數(shù)據(jù)分析有關(guān)用戶狀況的信息的另一種典型分析方法。應(yīng)注意，圖9和10中所示的例子是上面參考圖7和8說明的處理的其他例子。然而，在圖9和10中的例子情況下，有兩個(gè)通信伙伴，即，用戶X和Y。同樣，在圖9和10所示例子的情況下，控制信息生成部72基于姿勢(shì)信息分析部102產(chǎn)生的分析結(jié)果生成控制信息。
在圖9所示例子的情況下，用戶A使用通信裝置1-1采用上面參考圖3A所述的畫中畫方法作為執(zhí)行在圖5所示流程圖的步驟S5中的遠(yuǎn)程通信記錄處理的方法，來與操作通信裝置1-2的用戶X和操作另一個(gè)通信裝置1-3(未在圖中展示)的用戶Y通信。
因此，通信裝置1-1中使用的輸入部22用于獲取實(shí)時(shí)數(shù)據(jù)，包括用戶A的圖像和語音、亮度和環(huán)境溫度，并通過通信部23傳輸數(shù)據(jù)到通信裝置1-2和1-3。另一方面，通信裝置1-2和1-3傳輸用戶X和Y的實(shí)時(shí)數(shù)據(jù)到在通信裝置1-1中使用的通信部23。應(yīng)注意，在圖9中攝像機(jī)51作為輸入部22展示。
然后，在通信裝置1-1中使用的顯示單元41在圖像223右邊與當(dāng)前再現(xiàn)的內(nèi)容圖像223重疊的子屏幕221上顯示充當(dāng)通信伙伴的用戶X的圖像。同時(shí)，顯示單元41還在圖像223左邊與圖像223重疊的子屏幕222上顯示充當(dāng)另一個(gè)通信伙伴的用戶Y的圖像。應(yīng)注意，在開始用戶特征分析混合處理之前，子屏幕221和222的尺寸都已設(shè)置為標(biāo)準(zhǔn)尺寸。
那時(shí)，用戶A通過使用操作輸入部分31執(zhí)行操作以開始用戶特征分析混合處理。
用戶特征分析部71已接收到用戶A、X和Y的實(shí)時(shí)數(shù)據(jù)。在用戶特征分析部71中使用的姿勢(shì)信息分析部102從圖10所示攝像機(jī)51取得的圖像231中抽取當(dāng)前頭位置H1作為包括在用戶A的實(shí)時(shí)數(shù)據(jù)中的圖像。然后，姿勢(shì)信息分析部102通過比較用戶A的頭位置H1與用戶A的參考頭位置H0分析抽取出的當(dāng)前頭位置H1，以便確定用戶A的姿勢(shì)是右傾還是左傾。即，姿勢(shì)信息分析部102確定用戶A的姿勢(shì)相對(duì)于顯示單元41的屏幕中央是右傾還是左傾。換句話說，姿勢(shì)信息分析部102確定用戶A的姿勢(shì)是朝向子屏幕221還是222的方向的姿勢(shì)。用戶A呈現(xiàn)的左傾/右傾位置是傾向于左邊或右邊方向的位置。
然后，控制信息生成部72生成控制信息，用于基于姿勢(shì)信息分析部102執(zhí)行的處理的結(jié)果，在合成的圖像中控制子屏幕221和222的尺寸，來分析有關(guān)姿勢(shì)的信息。此外，控制信息生成部72還生成控制信息，用于基于姿勢(shì)信息分析部102執(zhí)行的處理的結(jié)果，在合成的聲音中控制用戶X和Y的音量平衡，來分析有關(guān)姿勢(shì)的信息。
參考頭位置H0由姿勢(shì)信息分析部102事先設(shè)置。通常設(shè)置參考頭位置H0的方式和上面參考圖8所述設(shè)置參考輪廓G0的方法相同，如下所述。首先，使用攝像機(jī)51取得具有參考姿勢(shì)的用戶A的圖像。該參考姿勢(shì)是這樣的參考姿勢(shì)，其中如所示將參考頭位置H0設(shè)置為在圖9底部的中間姿勢(shì)。然后，采用如移動(dòng)向量分析這樣的方法，從攝像機(jī)51取得的圖像中識(shí)別用戶A的參考姿勢(shì)。最后，在識(shí)別出的用戶A的參考姿勢(shì)中獲取有關(guān)參考頭位置的信息。
姿勢(shì)信息分析部102通過比較頭位置H1與用戶A的參考頭位置H0，在當(dāng)前姿勢(shì)中分析用戶A的頭位置H1。在圖10中的圖表232展示的圖中，參考頭位置H0對(duì)應(yīng)于橫軸上的值0。
在圖10中的圖表232展示的右邊的圖中，縱軸表示有關(guān)姿勢(shì)的信息。縱軸中央是對(duì)應(yīng)于參考姿勢(shì)的姿勢(shì)信息。在中央上方的姿勢(shì)信息表示右傾姿勢(shì)，而中央下方的姿勢(shì)信息表示左傾姿勢(shì)。另一方面，橫軸表示相對(duì)于參考頭位置H0的當(dāng)前頭位置H1。橫軸中央的0是參考頭位置H0。中央右邊的頭位置H1是大于參考頭位置H0的頭位置H1，每個(gè)頭位置H1都表示在+號(hào)方向上對(duì)應(yīng)于右傾姿勢(shì)的位置。另一方面，中央左邊的頭位置H1是小于參考頭位置H0的頭位置H1，每個(gè)頭位置H1都表示在-號(hào)方向上對(duì)應(yīng)于左傾姿勢(shì)的位置。應(yīng)注意，在圖10中作為用戶A的圖像所示的圖像231中，這里的左右方向和圖9中用戶A查看和收聽顯示41的方向相反。即，圖像231的-號(hào)方向是圖10中的圖表232橫軸的-號(hào)方向，表示圖9中的左邊，而圖像231的+號(hào)方向是圖表232橫軸的+號(hào)方向，表示圖9的右邊。
因此，如果當(dāng)前頭位置H1小于0，即，如果用戶A的當(dāng)前頭位置是在參考位置H0的-號(hào)方向的位置，則姿勢(shì)信息分析部102確定用戶A的姿勢(shì)相對(duì)于參考姿勢(shì)左傾，生成分析結(jié)果，表明用戶A在朝向用戶Y的方向面對(duì)屏幕，用戶Y顯示在上述顯示內(nèi)容圖像的顯示單元41左邊的子屏幕222上。在此情況，基于分析結(jié)果，控制信息生成部72生成這樣的控制信息，用于合成圖像以便按比子屏幕222的尺寸更大的尺寸顯示子屏幕222L，如子屏幕222L所示，并生成這樣的控制信息，用于合成聲音以便按較大音量輸出用戶Y的語音。此外，同時(shí)，控制信息生成部72生成這樣的控制信息，用于合成圖像以便按比上述子屏幕221的尺寸更小的尺寸顯示子屏幕221S，如子屏幕221S所示，并生成這樣的控制信息，用于合成聲音以便以較小的音量輸出用戶X的語音。以此方式，比起查看和收聽用戶X來，用戶A可以更好地查看和收聽用戶Y。
如果當(dāng)前的頭位置H1大于0，即，如果用戶A的當(dāng)前頭位置H1是在參考位置H0的+號(hào)方向的位置，則姿勢(shì)信息分析部102確定用戶A的姿勢(shì)相對(duì)于參考姿勢(shì)是右傾的，并生成分析結(jié)果，表明用戶A在朝向在顯示內(nèi)容圖像的顯示單元41右邊的上述子屏幕221上顯示的用戶X方向上面對(duì)屏幕。在此情況，基于分析結(jié)果，控制信息生成部72生成控制信息，用于合成圖像以便按比子屏幕221的尺寸更大的尺寸顯示子屏幕221L，如子屏幕221L所示，并生成這樣的控制信息，用于合成聲音以便按較大音量輸出用戶X的語音。此外，同時(shí)，控制信息生成部72生成這樣的控制信息，用于合成圖像以便按比上述子屏幕222的尺寸更小的尺寸顯示子屏幕222S，如子屏幕222S所示，并生成這樣的控制信息，用于合成聲音以便以較小的音量輸出用戶Y的語音。以此方式，比起查看和收聽用戶Y來，用戶A可以更好地查看和收聽用戶X。
如上所示，在圖9和10所示例子的情況下，如果用戶A具有左傾的姿勢(shì)，則執(zhí)行合成來產(chǎn)生用戶Y的圖像突出而用戶X的圖像不突出的顯示。因此，用戶A能夠容易地得到這樣的環(huán)境，其中允許與用戶Y容易地進(jìn)行通信，因?yàn)榭梢匀菀椎乜吹脚c用戶A交談的用戶Y的表情、身體語言和姿勢(shì)。另一方面，如果用戶A具有右傾的姿勢(shì)，則執(zhí)行合成來產(chǎn)生用戶X的圖像突出而用戶Y的圖像不突出的顯示。因此，用戶A能夠容易地得到這樣的環(huán)境，其中允許與用戶X容易地進(jìn)行通信，因?yàn)榭梢匀菀椎乜吹脚c用戶A交談的用戶X的表情、身體語言和姿勢(shì)。
因此，可以向用戶提供與實(shí)際的交互通信相同的感覺，在實(shí)際的交互通信中，用戶和與之交談的通信伙伴面對(duì)面地對(duì)話。結(jié)果，可以提供自然生動(dòng)的通信。
在圖10所示例子的情況下，通過抽取從用戶A的圖像中頭位置來分析有關(guān)用戶A的左傾和右傾姿勢(shì)的信息。然而，應(yīng)注意，也可以例如通過檢測(cè)有關(guān)視線的信息和有關(guān)用戶A的眼睛、鼻子和嘴的布局的信息來分析有關(guān)用戶A的左傾和右傾姿勢(shì)的信息。
參考圖7至10所示的例子，上面的說明解釋了使用包括在用戶A的實(shí)時(shí)數(shù)據(jù)中的用戶狀況信息進(jìn)行的分析處理。在這些例子的情況中，有關(guān)用戶狀況的信息是用戶的圖像。然而，除了從用戶A的實(shí)時(shí)數(shù)據(jù)中獲取的用戶狀況信息之外，也可以通過分析從充當(dāng)通信伙伴并操作安裝在遠(yuǎn)程位置的另一個(gè)通信裝置的另一個(gè)用戶的實(shí)時(shí)數(shù)據(jù)中獲取的用戶狀況信息，來控制用戶A操作的通信裝置1-1。在此情況，從其他用戶操作的其他通信裝置接收其他用戶的實(shí)時(shí)數(shù)據(jù)。
參考圖11和12，下面的說明具體地解釋使用多條實(shí)時(shí)數(shù)據(jù)分析有關(guān)用戶狀況的信息的方法。應(yīng)注意，圖11和12所示的例子是由控制信息生成部72執(zhí)行用于基于用戶計(jì)數(shù)分析部103和音頻信息分析部104得到的分析結(jié)果生成控制信息的典型處理。
在圖11所示的例子中，用戶A使用通信裝置1-1采用上面參考圖3A說明的畫中畫方法作為在圖5所示流程圖的步驟S5中執(zhí)行遠(yuǎn)程通信記錄處理的方法，以便與操作通信裝置1-2的用戶X、操作圖中未展示的另一個(gè)通信裝置1-3的用戶Y，及操作又一個(gè)未在附圖中展示的通信裝置1-4的用戶Z進(jìn)行通信。因此，在遠(yuǎn)程通信記錄處理中包括了四個(gè)用戶。
在此情況中，在通信裝置1-1中使用的輸入部22用于獲取實(shí)時(shí)數(shù)據(jù)，包括用戶A的圖像和語音、亮度和環(huán)境溫度，并將數(shù)據(jù)通過通信部23傳輸?shù)酵ㄐ叛b置1-2至14。另一方面，通信裝置1-2至1-4將用戶X、Y和Z的實(shí)時(shí)數(shù)據(jù)傳輸?shù)酵ㄐ叛b置1-1中使用的通信部23。應(yīng)注意，在圖11中，麥克風(fēng)52作為輸入部22展示。
然后，在通信裝置1-1中使用的顯示單元41在圖像254的右下角與當(dāng)前再現(xiàn)的內(nèi)容的圖像254重疊的子屏幕252上顯示充當(dāng)通信伙伴的用戶Y的圖像，在圖像254中下方與圖像254重疊的子屏幕251上顯示充當(dāng)另一個(gè)通信伙伴的用戶X的圖像，并在圖像254的左下角與圖像254重疊的子屏幕253上顯示充當(dāng)又一個(gè)通信伙伴的用戶Z的圖像。
這時(shí)，用戶A對(duì)操作輸入部31進(jìn)行操作來執(zhí)行開始用戶特征分析混合處理的操作。
用戶特征分析部71已接收到用戶A、X、Y和Z的實(shí)時(shí)數(shù)據(jù)。用戶特征分析部71中使用的用戶計(jì)數(shù)分析部103分析這些數(shù)據(jù)來確定有多少用戶參與遠(yuǎn)程通信處理。此外，用戶特征分析部71中使用的音頻信息分析部104從包括在用戶A、X、Y和Z的實(shí)時(shí)數(shù)據(jù)中的聲音中抽取音頻信息(或音頻特征)，如音量和頻率特征。然后，音頻信息分析部104分析抽取出的音量和頻率特征來確定參與通信的每個(gè)用戶的活躍水平，即，每個(gè)用戶的活躍指標(biāo)。接下來，基于確定結(jié)果，控制信息生成部72生成控制信息，用于控制在內(nèi)容圖像中合成的每個(gè)子屏幕251到253的尺寸、透明度及屏幕效果。
圖12中的圖表261的每個(gè)圖表的橫軸都表示時(shí)間的流逝?？v軸表示用戶A、X、Y和Z中的每一個(gè)輸出的音量。從頂部到底部安排的圖表261分別表示用戶A、X、Y和Z隨著時(shí)間的流逝輸出的語音音量的改變。圖表的位置越高，由圖所表示的音量越大。同樣，圖12中的圖表262的橫軸也表示時(shí)間的流逝?？v軸表示用戶A、X、Y和Z中的每一個(gè)在預(yù)定時(shí)間的相對(duì)活躍水平?；谟脩糨敵龅恼Z音音量來推斷用戶的相對(duì)活躍水平。縱軸中央上方和中央之間的相對(duì)活躍水平距離越長(zhǎng)，相對(duì)活躍水平越高。
即，如圖261所示，用戶A輸出的語音音量在時(shí)間t0之前小于用戶Y和Z輸出的語音音量。然而，如時(shí)間t0之后的“a”部分所示，有很多時(shí)間是用戶A輸出的語音音量超過用戶Y和Z輸出的語音音量。因此，分析結(jié)果表明，在圖262中的時(shí)間t0之前，用戶A的活躍水平低于參考水平，但是在時(shí)間t0之后，用戶A的活躍水平高于參考水平。
同樣如圖261所示，在時(shí)間t0之前一直保持用戶X輸出的語音音量小于用戶A、Y和Z輸出的語音音量的狀態(tài)。然而，如時(shí)間t0之后的部分“x”所示，用戶X輸出的語音音量大于用戶A、Y和Z輸出的語音音量的狀態(tài)持續(xù)了很長(zhǎng)一段時(shí)間。因此，分析結(jié)果表明，在圖262中的時(shí)間t0之前，用戶X的活躍水平不僅低于參考水平，而且還低于用戶A、Y和Z的活躍水平，但是在時(shí)間t0之后，用戶X的活躍水平不僅高于參考水平，還高于用戶A、Y和Z的活躍水平。
同樣如圖261所示，在時(shí)間t0之前，有很多段時(shí)間在其中用戶Y輸出的語音音量都大于用戶A和X輸出的語音音量。然而，除了表示用戶Y輸出的語音音量大于用戶A和X輸出的語音音量的兩個(gè)“y”部分，在時(shí)間t0之后一直持續(xù)用戶Y輸出的語音音量小于用戶A和X輸出的語音音量的狀態(tài)。因此，分析結(jié)果表明，在圖262中的時(shí)間t0之前，用戶Y的活躍水平不僅高于參考水平，還高于用戶A和X的活躍水平，但是在時(shí)間t0之后，用戶A的活躍水平比參考水平低一點(diǎn)。
同樣如圖261所示，用戶Z輸出的語音音量大于用戶A、X和Y的語音音量的狀態(tài)在時(shí)間t0持續(xù)。然而，如在時(shí)間t0之后的“z”部分所示，用戶Z輸出的語音音量小于用戶A、X和Y輸出的語音音量的狀態(tài)持續(xù)了很長(zhǎng)一段時(shí)間。因此，分析結(jié)果表明，在圖262中的時(shí)間t0之前，用戶Z的活躍水平不僅高于參考水平，還高于用戶A、Z和Y的活躍水平，但是在時(shí)間t0之后，用戶Z的活躍水平不僅低于參考水平，還低于用戶A、Z和Y的活躍水平。
如果分析結(jié)果表明用戶X和用戶A、Y和Z的音量相比以最大音量持續(xù)輸出語音的狀態(tài)持續(xù)，則控制信息生成部72生成控制信息，用于以這樣的方式合成圖像，其中顯示用戶X的圖像的子屏幕251的尺寸大于其他子屏幕252和253的尺寸，如圖11中的箭頭P1所示。如果分析結(jié)果表明用戶Z持續(xù)輸出語音以和用戶A、X和Y相比較小的音量或用戶Z幾乎處于安靜狀態(tài)的狀態(tài)持續(xù)，則控制信息生成部72生成控制信息，用于以這樣的方式合成圖像，其中顯示用戶Z的圖像的子屏幕253的尺寸小于或窄于其他子屏幕251和252的尺寸，如箭頭P2所示。
請(qǐng)注意，例如，可以提供這樣的配置，其中從包括在用戶A、X、Y和Z的實(shí)時(shí)數(shù)據(jù)中的聲音中抽取頻率特征，并且如果對(duì)抽取出的頻率特征的分析結(jié)果表明用戶X的頻率特征和用戶A、Y和Z相比連續(xù)較高的狀態(tài)持續(xù)，則控制信息生成部72生成控制信息，通常產(chǎn)生顯示用戶X的圖像的子屏幕251閃爍的屏幕效果。
如上所述，在圖11和12所示的例子中，用戶特征分析部71不僅分析從用戶A自己的語音中抽取的音頻信息，還分析從通信伙伴的語音中抽取的音頻信息。此外，基于分析結(jié)果，控制顯示用戶的每個(gè)子屏幕的合成，通常增加顯示在參與通信的用戶中活躍水平最高的用戶的子屏幕的尺寸，即，增加顯示最激動(dòng)的用戶子屏幕的尺寸。因此，可以提供這樣的環(huán)境，允許容易地得到根據(jù)當(dāng)時(shí)現(xiàn)有的傳輸狀況進(jìn)行的通信。當(dāng)然，也可以提供這樣的配置，其中用戶特征分析部71并不分析從用戶A自身輸出的語音中抽取的音頻信息，而是只分析從通信伙伴的語音中抽取的音頻信息。
此外，在圖11和12所示的例子中，可以提供這樣的配置，其中在用于控制合成所顯示的子屏幕的信息之外，還生成顯示用戶輸出語音的比較結(jié)果的控制信息。雖然圖11和12所示的例子在此用于說明基于語音執(zhí)行的合成，這些例子也可以用于說明基于其他用戶狀況信息，如圖像，執(zhí)行的合成。在基于圖像執(zhí)行合成的情況下，例如，從包括在其他用戶的實(shí)時(shí)數(shù)據(jù)中的圖像中抽取有關(guān)每個(gè)用戶的視線的信息，并且基于抽取出的有關(guān)每個(gè)其他用戶的視線的信息，可以分析對(duì)話中的用戶的子屏幕及用戶的其他屬性。
應(yīng)注意，通過圖11和12的例子顯然可以看到，對(duì)從通信伙伴的實(shí)時(shí)數(shù)據(jù)中獲取的用戶狀況信息進(jìn)行的分析換句話說可以是根據(jù)通信伙伴的行為與通信環(huán)境執(zhí)行的控制，如對(duì)用戶A操作的通信裝置1-1進(jìn)行的控制。結(jié)果，可能會(huì)無意中帶來用戶A不需要的操作和效果。為了避免這樣的操作和效果，如下面參考圖13所述，用戶A操作的通信裝置1-1可以設(shè)置為不分析其他用戶的實(shí)時(shí)數(shù)據(jù)或限制通過對(duì)其他用戶的實(shí)時(shí)數(shù)據(jù)執(zhí)行的其他分析的結(jié)果生成的控制信息。
在上述說明中，采用了畫中畫方法。然而，本發(fā)明的范圍并不限于畫中畫方法。即，本發(fā)明也可以應(yīng)用于上面參考圖3B所述的交叉淡入淡出方法、上面參考圖3C所述的擦除方法，及其他合成模式。
此外，上面的說明只解釋了每個(gè)通信對(duì)象的圖像和語音與內(nèi)容的圖像和聲音的合成。然而，作為用戶A的圖像和語音通過輸入部22輸入的圖像和語音也可以與內(nèi)容的圖像和聲音合成。
接下來，如下所述，參考圖13中的流程圖說明圖5所示流程圖的步驟S6中執(zhí)行的用戶特征分析混合處理。
在圖5所示流程圖的步驟S5中，開始通信記錄處理。然后，基于通過用戶執(zhí)行的操作事先設(shè)置的合成模式與同樣通過用戶執(zhí)行的操作對(duì)該合成模式事先設(shè)置的合成參數(shù)，合成控制部84執(zhí)行處理來控制音頻/視頻合成部26所執(zhí)行的合成處理。此外，數(shù)據(jù)分析部28獲取再現(xiàn)的內(nèi)容、輸入的用戶A和其他用戶的實(shí)時(shí)數(shù)據(jù)，及接收到的用戶X的實(shí)時(shí)數(shù)據(jù)。
然后，用戶A使用操作輸入部31來輸入請(qǐng)求開始用戶特征分析混合處理的命令。操作輸入部31生成與用戶A執(zhí)行的操作相對(duì)應(yīng)的操作信號(hào)，并向合成控制部84提供該操作信號(hào)。從操作輸入部31接收到操作信號(hào)之后，在圖13所示流程圖的第一個(gè)步驟S21中，合成控制部84產(chǎn)生是否開始用戶特征分析混合處理的確定結(jié)果。如果確定結(jié)果表明將要開始用戶特征分析混合處理，則處理流程進(jìn)入步驟S22，其中合成控制部84產(chǎn)生是否分析其他用戶的實(shí)時(shí)數(shù)據(jù)的確定結(jié)果。如果確定結(jié)果表明不需要分析其他用戶的實(shí)時(shí)數(shù)據(jù)，則處理流程進(jìn)入步驟S23。
在用戶特征分析混合處理之前，已設(shè)置了是否分析其他用戶的實(shí)時(shí)數(shù)據(jù)的信息。勿庸置疑，通過對(duì)操作輸入部31進(jìn)行操作，用戶A能夠改變指示是否分析其他用戶的實(shí)時(shí)數(shù)據(jù)的信息的設(shè)置。
然后，在步驟S23，根據(jù)合成控制部84執(zhí)行的控制，分析控制部101控制用戶計(jì)數(shù)分析部103、音頻信息分析部104和環(huán)境信息分析部105中的一個(gè)來分析從用戶自身(即用戶A)的實(shí)時(shí)數(shù)據(jù)中獲取的用戶狀況信息(或用戶特征)，并向控制信息生成部72提供分析結(jié)果。然后，處理流程進(jìn)入步驟S24。
在步驟S24，控制信息生成部72基于從分析控制部101接收的分析結(jié)果生成控制信息，并向合成控制部84、操作信息輸出部87或電子裝置控制部88提供控制信息。然后，處理流程進(jìn)入步驟S28，其中根據(jù)控制信息合成圖像和語音。
下面具體說明在步驟S23和S24執(zhí)行的處理。例如，在步驟S23，分析控制部101控制姿勢(shì)信息分析部102從包括在用戶A的實(shí)時(shí)數(shù)據(jù)中的圖像中抽取有關(guān)姿勢(shì)的信息，來分析有關(guān)姿勢(shì)的信息，以便確定用戶的姿勢(shì)是前傾、后傾、左傾還是右傾姿勢(shì)，如上面參考圖7至10所述，并向控制信息生成部72提供分析結(jié)果?；诜治鼋Y(jié)果，在下一個(gè)步驟S24，控制信息生成部72生成控制信息，用于控制音頻/視頻合成部26合成內(nèi)容的圖像和聲音與充當(dāng)通信伙伴的用戶X的圖像和語音，并向合成控制部84提供控制信息。在此情況，控制信息是用于設(shè)置合成模式及該模式的合成參數(shù)的信息。
作為另一個(gè)例子，在步驟S23，分析控制部101控制環(huán)境信息分析部105分析包括在用戶A的實(shí)時(shí)數(shù)據(jù)中的亮度信息，以便產(chǎn)生用戶A的環(huán)境較暗還是較亮的確定結(jié)果，并向控制信息生成部72提供確定結(jié)果。如果環(huán)境信息分析部105根據(jù)分析控制部101執(zhí)行的控制產(chǎn)生的確定結(jié)果表明用戶A的環(huán)境較暗，則在下一個(gè)步驟S24，控制信息生成部72生成控制信息用于將照明裝置設(shè)置得更亮一些，并向電子裝置控制部88提供控制信息。照明裝置通常作為通信裝置1-1的外圍設(shè)備提供，這在附圖中未展示。
根據(jù)控制信息，在步驟S29，電子裝置控制部88根據(jù)從控制信息生成部72接收的控制信息將照明設(shè)備切換到明亮設(shè)置。例如，如果用戶在較暗的環(huán)境中觀看內(nèi)容，如出現(xiàn)在顯示單元41上動(dòng)畫，因?yàn)橛脩舻木襁^于集中在內(nèi)容上，以至于用戶可能忘記使房間更明亮些，結(jié)果會(huì)使得用戶感覺不舒服，而通過上述方式，則可以避免這樣的情況。
另一方面，如果步驟S22產(chǎn)生的確定結(jié)果表明也要分析其他用戶的實(shí)時(shí)數(shù)據(jù)，則處理流程進(jìn)入步驟S25。
在步驟S25，根據(jù)合成控制部84執(zhí)行的控制，分析控制部101控制用戶計(jì)數(shù)分析部103、音頻信息分析部104和環(huán)境信息分析部105中的一個(gè)來分析從用戶自身(即用戶A)的實(shí)時(shí)數(shù)據(jù)中獲取的用戶狀況信息(或用戶特征)以及從充當(dāng)通信伙伴的其他用戶的實(shí)時(shí)數(shù)據(jù)中獲取的狀況信息，并向控制信息生成部72提供分析結(jié)果。然后，處理流程進(jìn)入步驟S26。
在步驟S26，控制信息生成部72基于從分析控制部101接收的分析結(jié)果生成控制信息。然后，在下一個(gè)步驟S27，控制信息生成部72產(chǎn)生是否拒絕生成的控制信息的確定結(jié)果。如果確定結(jié)果表明不拒絕生成的控制信息，則控制信息生成部72向合成控制部84、操作信息輸出部87或電子裝置控制部88提供生成的控制信息。然后，處理流程進(jìn)入上述步驟S28。即，如果基于處理通信伙伴的實(shí)時(shí)數(shù)據(jù)得到的分析結(jié)果執(zhí)行的控制會(huì)帶來用戶不需要的操作和/或效果，則可以拒絕生成的控制信息。
下面具體說明在步驟S25至S27中執(zhí)行的處理。例如，在步驟S25，分析控制部101控制姿勢(shì)信息分析部102和音頻信息分析部104從包括在用戶A的實(shí)時(shí)數(shù)據(jù)和通信伙伴的實(shí)時(shí)數(shù)據(jù)中的聲音中抽取通信伙伴的數(shù)量及音頻信息，如音量和頻率特征，分析抽取出的音頻信息，以便確定參與通信的每個(gè)用戶的活躍水平，即，如上面參考圖11和12說明的每個(gè)用戶的活躍指標(biāo)，并向控制信息生成部72提供分析結(jié)果。然后，在下一個(gè)步驟S26，基于分析結(jié)果，控制信息生成部72生成控制信息，用于控制音頻/視頻合成部26合成內(nèi)容的圖像和聲音與充當(dāng)通信伙伴的每個(gè)用戶X、Y和Z的圖像和語音。在此情況，控制信息是用于設(shè)置合成模式及該模式的合成參數(shù)的信息。如果在下一個(gè)步驟S27確定不拒絕生成的控制信息，則控制信息生成部72向合成控制部84提供信息。
作為另一個(gè)例子，在步驟S25，分析控制部101控制音頻信息分析部104分析比較作為用戶A周圍的環(huán)境聲音從用戶A的實(shí)時(shí)數(shù)據(jù)中抽取出的環(huán)境聲音與作為通信伙伴的說話語音從通信伙伴的實(shí)時(shí)數(shù)據(jù)中抽取出的語音，并向控制信息生成部72提供比較結(jié)果。如果音頻信息分析部104根據(jù)分析控制部101執(zhí)行的控制產(chǎn)生的比較結(jié)果表明通信伙伴的說話語音比用戶A的環(huán)境聲音更輕，則在下一個(gè)步驟S26，控制信息生成部72生成控制信息來增加揚(yáng)聲器42輸出的聲音的音量，且如果在下一個(gè)步驟S27確定不拒絕生成的控制信息，則向電子裝置控制部88提供控制信息。以此方式，可以更好地聽到通信伙伴的說話語音。
請(qǐng)注意，可以提供這樣的配置，其中在那時(shí)，在步驟S25進(jìn)一步分析比較通信伙伴(如用戶X)的環(huán)境聲音與用戶A的說話語音。如果用戶A的說話語音比用戶X的環(huán)境聲音輕，則在下一個(gè)步驟S26，控制信息生成部72生成控制信息來增加在通信裝置1-2中使用的揚(yáng)聲器42輸出的聲音的音量，并向操作信息輸出部87提供控制信息，并在下面所述的步驟S30將控制信息傳輸?shù)酵ㄐ叛b置1-2。以此方式，通信伙伴可以更好地聽到用戶A的說話語音。此外，可以生成增加合成聲音音量的控制信息，而不是增加揚(yáng)聲器42輸出的聲音音量的控制信息。
接收到控制信息之后，在上述步驟S29，電子裝置控制部88根據(jù)從控制信息生成部72接收的控制信息設(shè)置揚(yáng)聲器42，增加它所輸出的聲音的音量。以此方式，例如當(dāng)處在嘈雜環(huán)境中的用戶由于嘈雜的環(huán)境而自然地大聲說話，生成指示用戶大音量語音的音頻信息時(shí)，更安靜的環(huán)境中的通信伙伴所操作的通信裝置能夠根據(jù)通信裝置抽取的音頻信息降低用戶語音的音量。相反，另一方面，當(dāng)處在安靜環(huán)境中的用戶由于安靜的環(huán)境而自然地輕聲說話，生成指示用戶的輕柔語音的音頻信息，處于嘈雜環(huán)境中的通信伙伴所操作的通信裝置能夠根據(jù)由通信裝置抽取的音頻信息增加用戶語音的音量。結(jié)果，可以容易地實(shí)現(xiàn)適合于用戶所處環(huán)境的通信。
作為又一個(gè)例子，在步驟25，分析控制部101控制姿勢(shì)信息分析部102從包括在用戶A和通信伙伴的實(shí)時(shí)數(shù)據(jù)中的圖像中抽取有關(guān)通信伙伴的姿勢(shì)的信息，分析有關(guān)姿勢(shì)的信息，并向控制信息生成部72提供分析結(jié)果。如果姿勢(shì)信息分析部102根據(jù)分析控制部101的控制產(chǎn)生的分析結(jié)果表明通信伙伴的輪廓超出了參考輪廓，即，如果分析結(jié)果表明通信伙伴更加靠近通信裝置1-2中使用的顯示單元41，則在下一個(gè)步驟S26，控制信息生成部72生成控制信息，用于以這樣的方式合成圖像，增加用于顯示通信伙伴的子屏幕的尺寸，且如果在下一個(gè)步驟S27確定生成的控制信息不是要拒絕的信息，則向合成控制部84提供控制信息，。
接收到控制信息之后，在下面更詳細(xì)地說明的步驟S28中，合成控制部84根據(jù)從控制信息生成部72接收的控制信息控制證書存儲(chǔ)部62。因此，可以提供這樣的效果，引起用戶A對(duì)通信伙伴更加靠近通信裝置1-2中使用的顯示單元41這一事實(shí)的注意。
下面更詳細(xì)地說明圖13所示流程圖的步驟S28。在此步驟，根據(jù)從控制信息生成部72接收的控制信息，合成控制部84設(shè)置音頻/視頻合成部26的合成模式及該合成模式的合成參數(shù)。然后，音頻/視頻合成部26合成內(nèi)容的圖像和聲音與相應(yīng)的通信伙伴的圖像和語音。然后，處理流程進(jìn)入上面所述的步驟S29。
因此，作為根據(jù)控制信息生成部72基于用戶特征分析部71產(chǎn)生的分析結(jié)果生成的控制信息進(jìn)行圖像合成的結(jié)果，輸出部21中使用的顯示單元41顯示內(nèi)容的圖像和充當(dāng)通信伙伴的用戶的圖像。另一方面，作為根據(jù)控制信息生成部72基于用戶特征分析部71產(chǎn)生的分析結(jié)果生成的控制信息進(jìn)行聲音合成的結(jié)果，輸出部21中使用的揚(yáng)聲器42輸出內(nèi)容的聲音及充當(dāng)通信伙伴的用戶的語音。
此外，根據(jù)控制信息生成部72生成的控制信息更新的合成模式及也根據(jù)控制信息作為合成模式的參數(shù)更新的合成參數(shù)都將作為合成信息與已開始再現(xiàn)的內(nèi)容、包括在輸入的用戶A的實(shí)時(shí)數(shù)據(jù)及其他輸入的用戶X的實(shí)時(shí)數(shù)據(jù)中的圖像、包括在輸入的用戶A的實(shí)時(shí)數(shù)據(jù)及其他輸入的實(shí)時(shí)數(shù)據(jù)中的語音，以及包括在接收到的用戶X的實(shí)時(shí)數(shù)據(jù)中的語音一起記錄。
在上述步驟S29，根據(jù)從控制信息生成部72接收的控制信息，電子裝置控制部88對(duì)組成通信裝置1-1的各部及充當(dāng)通信裝置1-1的外圍設(shè)備的每個(gè)電子裝置執(zhí)行控制。例如，電子裝置控制部88調(diào)整揚(yáng)聲器42的音量設(shè)置并設(shè)置外圍照明設(shè)備使其更加明亮。然后，處理流程進(jìn)入上述步驟S30。
在步驟S30，操作信息輸出部87將從控制信息生成部72接收的控制信息作為用戶X操作的通信裝置1-2的控制信息通過通信部23和通信網(wǎng)絡(luò)2傳輸?shù)酵ㄐ叛b置1-2。然后，處理流程進(jìn)入步驟S31。應(yīng)注意，通信裝置1-2執(zhí)行用于從通信裝置1-1接收控制信息的處理將在后面說明。
用戶A可以對(duì)操作輸入部31進(jìn)行操作來輸入請(qǐng)求終止用戶特征分析混合處理的命令。操作輸入部31生成與用戶A執(zhí)行的操作相對(duì)應(yīng)的操作信號(hào)，并向合成控制部84提供操作信號(hào)。在下一個(gè)步驟S31，基于這樣的操作信號(hào)，合成控制部84產(chǎn)生是否終止用戶特征分析混合處理的確定結(jié)果。如果確定結(jié)果表明要終止用戶特征分析混合處理，則用戶特征分析混合處理終止，且處理流程返回作為步驟S7之后的一個(gè)步驟包括在圖5所示流程圖中的步驟S6。
同樣，如果步驟S21處產(chǎn)生的確定結(jié)果表明不開始用戶特征分析混合處理或如果步驟S27產(chǎn)生的確定結(jié)果表明生成的控制信息是要拒絕的信息，則用戶特征分析混合處理終止，且處理流程返回作為步驟S7之后的一個(gè)步驟包括在圖5所示流程圖中的步驟S6，就像的步驟S31的確定結(jié)果表明終止用戶特征分析混合處理的情況一樣。即，在步驟S7，合成控制部84繼續(xù)執(zhí)行處理來控制音頻/視頻合成部26基于根據(jù)用戶執(zhí)行的操作事先設(shè)置的合成模式與同樣根據(jù)用戶執(zhí)行的操作事先設(shè)置的作為該模式的參數(shù)的合成參數(shù)執(zhí)行的合成處理，直到用戶執(zhí)行請(qǐng)求終止遠(yuǎn)程通信的操作。另一方面，如果步驟S31產(chǎn)生的確定結(jié)果表明不終止用戶特征分析混合處理，則處理流程返回步驟S22。
如上所述，分析用戶狀況信息，包括從用戶的實(shí)時(shí)數(shù)據(jù)中抽取出的圖像、語音、亮度和溫度，并且基于分析結(jié)果，控制內(nèi)容的圖像和聲音與通信伙伴的圖像和語音的合成，或組成控制裝置的各部的設(shè)置。因此可以實(shí)現(xiàn)以實(shí)時(shí)方式反映用戶狀況的通信。結(jié)果，可以提供面對(duì)面通信效果，而用戶事實(shí)上彼此都處于遠(yuǎn)程位置。
此外，由于可以容易地根據(jù)用戶所需對(duì)這些復(fù)雜通信裝置的實(shí)現(xiàn)用戶難以設(shè)置的各種類型的設(shè)置，因此可以免去設(shè)置的麻煩。
同樣可以控制通信伙伴操作的通信裝置。
參考圖14所示的流程圖，下面的說明解釋通信裝置1-2執(zhí)行用于接收通信裝置1-1在圖13所示流程圖的步驟S30中傳輸?shù)目刂菩畔⒌目刂菩畔⒔邮掌魈幚怼?br> 應(yīng)注意，圖14所示流程圖表示的控制信息接收器處理是這樣的處理，它由通信裝置1-2在圖5所示流程圖中的步驟S5之后的遠(yuǎn)程通信記錄處理正在執(zhí)行時(shí)執(zhí)行。即，控制信息接收器處理是根據(jù)作為對(duì)內(nèi)容特征的另一種分析的結(jié)果由通信裝置1-1提供的另一個(gè)結(jié)果實(shí)現(xiàn)混合處理的處理。換句話說，控制信息接收器處理是另一種類型的在圖5所示流程圖的步驟S6中執(zhí)行的內(nèi)容特征分析混合處理。
圖14所示的流程圖開始于步驟S51，其中通信裝置1-2中使用的通信部23從通信裝置1-1中的操作信息輸出部87接收控制信息，并向會(huì)話管理部81提供控制信息。
然后，在下一個(gè)步驟S52，會(huì)話管理部81通過確定控制信息是否是帶來用戶不需要的操作和/或效果的信息，輸出從通信裝置1-1接收的控制信息是否是要拒絕的信息的確定結(jié)果。如果確定結(jié)果表明從通信裝置1-1接收的控制信息是要拒絕的信息，則控制信息接收器處理終止。
請(qǐng)注意，也可以設(shè)置通信裝置1-2可選地接受或拒絕從通信裝置1-1接收的控制信息，或永遠(yuǎn)拒絕這樣的信息。此外，也可以提供這樣的配置，其中如果在通信裝置1-2中接受了控制信息，則通信裝置1-2自身分析信息，且設(shè)置獨(dú)占執(zhí)行生成的控制信息的優(yōu)先級(jí)或在通信裝置中事先設(shè)置主從關(guān)系。
另一方面，如果會(huì)話管理部81在步驟S52中產(chǎn)生的確定結(jié)果表明從通信裝置1-1接收的控制信息不是要拒絕的信息，則向合成控制部84或電子裝置控制部88提供控制信息。然后，處理流程進(jìn)入步驟S53。
在步驟S53，合成控制部84根據(jù)從控制信息生成部72接收的控制信息設(shè)置音頻/視頻合成部26的合成模式及該合成模式的合成參數(shù)。然后，合成控制部84控制音頻/視頻合成部26合成內(nèi)容的圖像和聲音與充當(dāng)通信伙伴的每個(gè)用戶的圖像和語音。接下來，處理流程進(jìn)入步驟S54。
在步驟S54，電子裝置控制部88根據(jù)控制信息控制通信裝置1-2中使用的各部及充當(dāng)通信裝置1-2的外圍設(shè)備的電子裝置或其他設(shè)備。最后，此流程圖表示的處理終止。
如上所述，不僅可以使用控制信息生成部72根據(jù)通信裝置自身中使用的用戶特征分析部71產(chǎn)生的分析結(jié)果生成的控制信息，還可以使用控制信息生成部72根據(jù)在其他通信裝置中使用的用戶特征分析部71產(chǎn)生的分析結(jié)果生成的控制信息。此外，也可以拒絕控制信息。
應(yīng)注意，上述說明假設(shè)每個(gè)通信裝置都包括數(shù)據(jù)分析部28。然而，包括數(shù)據(jù)分析部28的服務(wù)器也可以連接到通信網(wǎng)絡(luò)2，充當(dāng)向每個(gè)通信裝置提供控制信息的裝置。另外，服務(wù)器也可以只具有用戶特征分析部71，使得服務(wù)器能夠向每個(gè)通信裝置給出分析信息。
和現(xiàn)有技術(shù)中的設(shè)備，包括電話機(jī)、電視電話及遠(yuǎn)程通信裝置，如視頻會(huì)議系統(tǒng)相比，由于按上述執(zhí)行遠(yuǎn)程通信處理，可以實(shí)現(xiàn)更加生動(dòng)自然的通信。
即，在現(xiàn)有技術(shù)中的通信的情況下，用戶X使用現(xiàn)有技術(shù)中的電視機(jī)收看和收聽以實(shí)時(shí)方式分發(fā)的廣播內(nèi)容，且用戶X使用音頻電話機(jī)向出現(xiàn)在遠(yuǎn)程位置的用戶A表達(dá)對(duì)收看和收聽的廣播內(nèi)容的印象。然而，以此方式，對(duì)實(shí)際上沒有在收看和收聽廣播內(nèi)容的用戶A來說，很難理解對(duì)此情況的印象。
然而，通過使用本發(fā)明的實(shí)施例中的通信裝置，彼此處于遠(yuǎn)程位置的用戶A和X能夠同時(shí)共享內(nèi)容。此外，可以在子屏幕上再現(xiàn)用戶A和X的圖像等等，同時(shí)可以聽到他們的語音。因此，雖然用戶A和X事實(shí)上彼此處于遠(yuǎn)程位置，但是可以提供高度真實(shí)的感官、在一起的感覺，以及親密的感覺，仿佛他們?cè)谶M(jìn)行面對(duì)面的通信。
通過使用從用戶圖像中抽取的視頻信息、使用從用戶輸出的聲音中抽取的音頻信息、使用從用戶周圍環(huán)境的亮度和溫度中抽取出的環(huán)境信息，并使用其他類型的信息，可以控制如合成內(nèi)容的圖像和聲音與用戶的圖像和聲音的處理這樣的處理。因此，可以根據(jù)如用戶面對(duì)的情況及通信的狀態(tài)這樣的狀況容易地設(shè)置通信裝置的參數(shù)，而不花費(fèi)很多時(shí)間和精力。結(jié)果，可以實(shí)現(xiàn)更加生動(dòng)自然的通信。在此情況，上述視頻信息包括用戶的姿勢(shì)和面部朝向，而上述音頻信息包括用戶宏亮的歡呼聲及掌聲。
通信裝置1執(zhí)行的上述一系列處理可以通過硬件和/或軟件來執(zhí)行。在此情況，圖1所示的每個(gè)通信裝置1-1和1-2通常通過如圖15所示的個(gè)人計(jì)算機(jī)401來實(shí)現(xiàn)。
在圖15所示的個(gè)人計(jì)算機(jī)401中，CPU(中央處理單元)411是通過執(zhí)行事先存儲(chǔ)在ROM(只讀存儲(chǔ)器)412中或從存儲(chǔ)部418加載到RAM(隨機(jī)存取存儲(chǔ)器)413中的各種程序，執(zhí)行各種類型的處理的部件。在執(zhí)行程序時(shí)，RAM 413也由CPU 411用于適當(dāng)?shù)卮鎯?chǔ)數(shù)據(jù)。
CPU 411、ROM 412和RAM 413彼此通過總線414連接?？偩€414也連接到輸入/輸出接口415。
輸入/輸出接口415連接到上述輸入部416、輸出部417、存儲(chǔ)部418及通信部419。輸入部416用于接收用戶輸入的命令，包括輸入設(shè)備，如鍵盤和鼠標(biāo)，而輸出部417包括用于顯示圖像的顯示單元及用于輸出生成的聲音的揚(yáng)聲器。顯示單元通常是CRT(陰極射線管)顯示單元或LCD(液晶顯示器)單元。存儲(chǔ)部418通常是包括用于存儲(chǔ)各種程序和各種數(shù)據(jù)的內(nèi)嵌硬盤的硬盤驅(qū)動(dòng)器。通信部419包括調(diào)制解調(diào)器和終端適配器，是用于與其他裝置通過網(wǎng)絡(luò)進(jìn)行無線或有線通信處理的單元。
輸入/輸出接口415也連接到驅(qū)動(dòng)器420，記錄媒體安裝在驅(qū)動(dòng)器420上。記錄媒體的例子包括磁盤421、光盤422、磁光盤423和半導(dǎo)體存儲(chǔ)器424。如果需要，可以將記錄媒體中讀出的程序安裝在存儲(chǔ)部418中。
如上所述，通信裝置1所執(zhí)行的上述一系列的處理可以通過硬件和/或軟件來執(zhí)行。如果通過軟件來執(zhí)行上述一系列的處理，則通?？梢酝ㄟ^網(wǎng)絡(luò)或上述記錄媒體將組成軟件的程序安裝到嵌入專門硬件的計(jì)算機(jī)、通用個(gè)人計(jì)算機(jī)等等中。在此情況，計(jì)算機(jī)或個(gè)人計(jì)算機(jī)充當(dāng)上述通信裝置1。通過安裝各種程序到通用個(gè)人計(jì)算機(jī)中，個(gè)人計(jì)算機(jī)能夠執(zhí)行各種功能。典型的通用個(gè)人計(jì)算機(jī)401如在圖15中所示。
如上所述，如果需要，作為上述軟件從記錄媒體中讀出的程序可以安裝在存儲(chǔ)部418中。記錄媒體自身可以與通信裝置1的主要單元分離而分發(fā)給用戶。如圖15所示，也稱為打包媒體的記錄媒體的例子有磁盤412，包括可移動(dòng)盤片，光盤422，包括CD-ROM(光盤只讀存儲(chǔ)器)和DVD(數(shù)字多用途盤)、磁光盤423，包括MD(微型盤片)，及半導(dǎo)體存儲(chǔ)器424。除了將打包媒體中的程序安裝到存儲(chǔ)部418中，通常也可以事先將程序存儲(chǔ)在ROM 412或內(nèi)嵌在存儲(chǔ)部418中的硬盤中。
值得一提的是，在此說明書中，由上述流程圖表示的任何程序的步驟不僅可以沿著時(shí)間軸按所述順序執(zhí)行，也可以并行執(zhí)行或單獨(dú)執(zhí)行。
也應(yīng)注意，在此說明書中使用的技術(shù)術(shù)語“系統(tǒng)”指包括多種裝置的集合配置。
熟悉技術(shù)的人應(yīng)理解，可以根據(jù)設(shè)計(jì)需求和其他因素，做出各種修改、組合、子組合及更改，只要它們?cè)诤蟾降臋?quán)利要求或其等價(jià)的范圍之內(nèi)。
權(quán)利要求
1.一種信息處理裝置，用于與通過網(wǎng)絡(luò)連接到所述信息處理裝置的其他信息處理裝置通信，其特征在于，所述信息處理裝置包括再現(xiàn)裝置，用于與所述其他信息處理裝置同步地再現(xiàn)所述信息處理裝置和所述其他信息處理裝置共有的內(nèi)容數(shù)據(jù)；用戶信息輸入裝置，用于輸入第一用戶狀況信息，所述第一用戶狀況信息包括操作所述信息處理裝置的用戶的語音和圖像；用戶信息接收器裝置，用于從所述其他用戶操作的所述其他信息處理裝置接收第二用戶狀況信息，所述第二用戶狀況信息包括其他用戶的語音和圖像；合成裝置，用于合成所述再現(xiàn)裝置同步地再現(xiàn)的所述內(nèi)容數(shù)據(jù)中的語音和圖像與所述用戶信息接收器裝置接收的所述第二用戶狀況信息中的所述語音和圖像；信息分析裝置，用于分析通過所述用戶信息輸入裝置輸入的所述第一用戶狀況信息或通過所述用戶信息接收器裝置接收的所述第二用戶狀況信息中的至少一個(gè)；及參數(shù)設(shè)置裝置，用于設(shè)置用于控制處理的控制參數(shù)，所述合成裝置基于所述信息分析裝置產(chǎn)生的分析結(jié)果執(zhí)行所述處理來合成語音和圖像。
2.如權(quán)利要求1所述的信息處理裝置，其特征在于，所述第一用戶狀況信息還包括有關(guān)所述用戶的環(huán)境的信息，而所述第二用戶狀況信息還包括有關(guān)所述其他用戶的環(huán)境的信息。
3.如權(quán)利要求1所述的信息處理裝置，其特征在于，所述信息處理裝置還包括分析對(duì)象確定裝置，用于生成所述信息分析裝置是否需要分析所述用戶信息接收器裝置接收的所述第二用戶狀況信息的確定結(jié)果，且如果所述分析對(duì)象確定裝置產(chǎn)生的所述確定結(jié)果表明所述信息分析裝置不需要分析所述第二用戶狀況信息，則所述信息分析裝置只分析所述第一用戶狀況信息。
4.如權(quán)利要求1所述的信息處理裝置，其特征在于，所述信息處理裝置還包括輸出裝置，用于輸出作為合成裝置產(chǎn)生的合成結(jié)果獲取的語音和圖像，其中所述參數(shù)設(shè)置裝置基于所述信息分析裝置產(chǎn)生的分析結(jié)果設(shè)置所述輸出裝置的控制參數(shù)。
5.如權(quán)利要求1所述的信息處理裝置，其特征在于，所述參數(shù)設(shè)置裝置基于所述信息分析裝置產(chǎn)生的分析結(jié)果設(shè)置連接到所述信息處理裝置的電子裝置的控制參數(shù)。
6.如權(quán)利要求1所述的信息處理裝置，其特征在于，其中所述參數(shù)設(shè)置裝置基于所述信息分析裝置產(chǎn)生的分析結(jié)果設(shè)置所述其他信息處理裝置的控制參數(shù)，及所述信息處理裝置還包括發(fā)送器裝置，用于傳輸所述參數(shù)設(shè)置裝置設(shè)置的所述控制參數(shù)到所述其他信息處理裝置。
7.如權(quán)利要求1所述的信息處理裝置，其特征在于，所述信息處理裝置還包括接受確定裝置，用于生成是否接受所述其他信息處理裝置傳輸?shù)目刂茀?shù)的確定結(jié)果。
8.一種信息處理方法，由信息處理裝置用作與通過網(wǎng)絡(luò)連接到所述信息處理裝置的其他信息處理裝置通信的方法，其特征在于，所述信息處理方法包括下述步驟與所述其他信息處理裝置同步地再現(xiàn)所述信息處理裝置和所述其他信息處理裝置共有的內(nèi)容數(shù)據(jù)；輸入第一用戶狀況信息，所述第一用戶狀況信息包括操作所述信息處理裝置的用戶的語音和圖像；從所述其他用戶操作的所述其他信息處理裝置接收第二用戶狀況信息，所述第二用戶狀況信息包括其他用戶的語音和圖像；合成所述再現(xiàn)步驟中執(zhí)行的處理中同步地再現(xiàn)的所述內(nèi)容數(shù)據(jù)中的語音和圖像與所述用戶信息接收器步驟中執(zhí)行的處理中接收的所述第二用戶狀況信息中的所述語音和圖像；分析所述用戶信息輸入步驟中執(zhí)行的處理中輸入的所述第一用戶狀況信息或所述用戶信息接收器步驟中執(zhí)行的處理中接收的所述第二用戶狀況信息中的至少一個(gè)；及設(shè)置用于控制處理的控制參數(shù)，在所述信息合成步驟中基于所述信息分析步驟中執(zhí)行的處理產(chǎn)生的分析結(jié)果執(zhí)行所述處理來合成語音和圖像。
9.一種記錄媒體，用于記錄由計(jì)算機(jī)執(zhí)行的程序，所述程序用于與通過網(wǎng)絡(luò)連接到所述計(jì)算機(jī)的信息處理裝置通信，其特征在于，所述程序包括下述步驟與所述信息處理裝置同步地再現(xiàn)所述計(jì)算機(jī)和所述信息處理裝置共有的內(nèi)容數(shù)據(jù)；輸入第一用戶狀況信息，所述第一用戶狀況信息包括操作所述計(jì)算機(jī)的用戶的語音和圖像；從所述其他用戶操作的所述信息處理裝置接收第二用戶狀況信息，所述第二用戶狀況信息包括其他用戶的語音和圖像；合成所述再現(xiàn)步驟中執(zhí)行的處理中同步地再現(xiàn)的所述內(nèi)容數(shù)據(jù)中的語音和圖像與所述用戶信息接收器步驟中執(zhí)行的處理中接收的所述第二用戶狀況信息中的所述語音和圖像；分析所述用戶信息輸入步驟中執(zhí)行的處理中輸入的所述第一用戶狀況信息或所述用戶信息接收器步驟中執(zhí)行的處理中接收的所述第二用戶狀況信息中的至少一個(gè)；及設(shè)置用于控制處理的控制參數(shù)，在所述信息合成步驟中基于所述信息分析步驟中執(zhí)行的處理產(chǎn)生的分析結(jié)果執(zhí)行所述處理來合成語音和圖像。
10.一種程序，由計(jì)算機(jī)執(zhí)行用于與通過網(wǎng)絡(luò)連接到所述計(jì)算機(jī)的信息處理裝置通信，其特征在于，所述程序包括下述步驟用所述信息處理裝置同步地再現(xiàn)所述計(jì)算機(jī)和所述信息處理裝置共有的內(nèi)容數(shù)據(jù)；輸入第一用戶狀況信息，所述第一用戶狀況信息包括操作所述計(jì)算機(jī)的用戶的語音和圖像；從所述其他用戶操作的所述信息處理裝置接收第二用戶狀況信息，所述第二用戶狀況信息包括其他用戶的語音和圖像；合成所述再現(xiàn)步驟中執(zhí)行的處理中同步地再現(xiàn)的所述內(nèi)容數(shù)據(jù)中的語音和圖像與所述用戶信息接收器步驟中執(zhí)行的處理中接收的所述第二用戶狀況信息中的所述語音和圖像；分析所述用戶信息輸入步驟中執(zhí)行的處理中輸入的所述第一用戶狀況信息或所述用戶信息接收器步驟中執(zhí)行的處理中接收的所述第二用戶狀況信息中的至少一個(gè)；及設(shè)置用于控制處理的控制參數(shù)，在所述信息合成步驟中基于所述信息分析步驟中執(zhí)行的處理產(chǎn)生的分析結(jié)果執(zhí)行所述處理來合成語音和圖像。
11.一種信息處理裝置，用于與通過網(wǎng)絡(luò)連接到所述信息處理裝置的其他信息處理裝置通信，其特征在于，所述信息處理裝置包括再現(xiàn)部，用于與所述其他信息處理裝置同步地再現(xiàn)所述信息處理裝置和所述其他信息處理裝置共有的內(nèi)容數(shù)據(jù)；用戶信息輸入部，用于輸入第一用戶狀況信息，所述第一用戶狀況信息包括操作所述信息處理裝置的用戶的語音和圖像；用戶信息接收器部，用于從所述其他用戶操作的所述其他信息處理裝置接收第二用戶狀況信息，所述第二用戶狀況信息包括其他用戶的語音和圖像；合成部，用于合成所述再現(xiàn)部同步地再現(xiàn)的所述內(nèi)容數(shù)據(jù)中的語音和圖像與所述用戶信息接收器部接收的所述第二用戶狀況信息中的所述語音和圖像；信息分析部，用于分析通過所述用戶信息輸入部輸入的所述第一用戶狀況信息或通過所述用戶信息接收器部接收的所述第二用戶狀況信息中的至少一個(gè)；及參數(shù)設(shè)置部，設(shè)置用于控制處理的控制參數(shù)，所述合成部基于所述信息分析部產(chǎn)生的分析結(jié)果執(zhí)行所述處理來合成語音和圖像。
全文摘要
本發(fā)明提供這樣的信息處理裝置，它包括再現(xiàn)裝置，用于同步地再現(xiàn)與其他信息處理裝置共有的內(nèi)容數(shù)據(jù)；用戶信息輸入裝置，用于輸入包括用戶的語音和圖像的第一用戶狀況信息；用戶信息接收器裝置，用于接收包括其他信息處理裝置上的其他用戶的語音和圖像的第二用戶狀況信息；合成裝置，用于合成再現(xiàn)裝置同步地再現(xiàn)的內(nèi)容數(shù)據(jù)中的語音和圖像與用戶信息接收器裝置接收的第二用戶狀況信息中的語音和圖像；信息分析裝置，用于分析用戶信息輸入裝置輸入的第一用戶狀況信息或用戶信息接收器裝置接收的第二用戶狀況信息中的至少一個(gè)；及參數(shù)設(shè)置裝置，用于設(shè)置控制處理的控制參數(shù)，合成裝置基于信息分析裝置產(chǎn)生的分析結(jié)果執(zhí)行所述處理來合成語音和圖像。
文檔編號(hào)G06F13/00GK1728816SQ20051008845
公開日2006年2月1日 申請(qǐng)日期2005年7月27日 優(yōu)先權(quán)日2004年7月27日
發(fā)明者阪井祐介, ∴藤直毅, 鎌田干夫 申請(qǐng)人:索尼株式會(huì)社