專利名稱：信息處理設(shè)備，信息處理方法，記錄媒體和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一個信息處理設(shè)備，一個信息處理方法，一個記錄媒體和一個程序。本發(fā)明尤其涉及一個信息處理設(shè)備，一個信息處理方法，一個程序和一個記錄媒體，它們和其他設(shè)備通過網(wǎng)絡(luò)互相聯(lián)結(jié)，用于綜合操作設(shè)備的用戶的聲音和圖像合成與該設(shè)備的共有的內(nèi)容和用于同步復(fù)制合成結(jié)果。
(2)發(fā)明背景在相關(guān)領(lǐng)域中用于所在位置相隔遙遠(yuǎn)的人們相互聯(lián)系的設(shè)備包括電話，所謂的電視電話，視頻會議系統(tǒng)。也有一種方法憑借個人計算機(jī)或類似的設(shè)備被連接到互聯(lián)網(wǎng)絡(luò)并被用于基于文本的聊天和基于圖像和聲音的視頻聊天。這類相互聯(lián)系以下被稱為遠(yuǎn)程通訊。
另外，已經(jīng)有一種系統(tǒng)被提出，在其中執(zhí)行互相遠(yuǎn)程通訊的每個人通過連接到互聯(lián)網(wǎng)的個人計算機(jī)或類似設(shè)備共享一個虛擬空間和同樣的內(nèi)容。需要關(guān)于這類系統(tǒng)的更多信息，參考文件如日本專利公開文件No.2003-271530。
(3)發(fā)明內(nèi)容相關(guān)領(lǐng)域的方法使所在位置相隔遙遠(yuǎn)的使用者能共享同樣的內(nèi)容，然而，使用者主要通過用一種語言書寫的信息的傳遞互相溝通。因此，相關(guān)領(lǐng)域的方法和在面對面交流中使用者確實地面對交流伙伴相比有一個難以向另一個使用者表達(dá)一個使用者的情緒和心理情景的問題。
另外，在相關(guān)領(lǐng)域的方法中，使用者可以看見通訊伙伴的圖像并聽見伙伴的聲音，連同了解與通訊伙伴共享的內(nèi)容。這種方法有一個歸因于設(shè)備復(fù)雜程度，由使用者執(zhí)行的，難以操作設(shè)備以使得通過人工的操作或類似的用內(nèi)容的圖像和聲音最優(yōu)地合成通訊伙伴的圖像和聲音的問題。
對于上述的問題，本發(fā)明的發(fā)明者們已經(jīng)發(fā)明了一種能夠在一個由使用者們通過看和聽同樣的內(nèi)容實行的進(jìn)程中，依照所在位置相隔遙遠(yuǎn)的使用者的情形輕而易舉地完成大部分的圖像和大部分的聲音的合成的技術(shù)。
依照本發(fā)明的具體裝置，提供的信息處理設(shè)備包括
復(fù)制裝置用于和另一個信息處理設(shè)備同步地復(fù)制一個信息處理設(shè)備和另一個信息處理設(shè)備共有的內(nèi)容數(shù)據(jù)；用戶信息接收裝置用于接收來自另一個信息處理設(shè)備的用戶的聲音和圖像；合成裝置用于把由用戶接收裝置接收的聲音和圖像和由復(fù)制裝置同步復(fù)制的內(nèi)容數(shù)據(jù)的聲音和圖像合成起來作為另一個用戶的聲音和圖像；特征分析裝置用于分析至少由復(fù)制裝置同步復(fù)制的內(nèi)容數(shù)據(jù)的一個聲音，內(nèi)容數(shù)據(jù)的一個圖像以及為了辨認(rèn)內(nèi)容數(shù)據(jù)特征而添加到內(nèi)容數(shù)據(jù)的輔助信息；和參數(shù)設(shè)置裝置用于在由特征分析裝置產(chǎn)生的分析結(jié)果的基礎(chǔ)上設(shè)置用于控制一個由合成裝置執(zhí)行來合成聲音和圖像的進(jìn)程的控制參數(shù)。
依照本發(fā)明的具體裝置，有可能提供一個配置，其中特征分析裝置執(zhí)行分析以為了辨認(rèn)包括在內(nèi)容數(shù)據(jù)中的一個場景的特征；參數(shù)設(shè)置裝置設(shè)置在由特征分析裝置產(chǎn)生的被認(rèn)出作為分析結(jié)果的場景特征的基礎(chǔ)上，設(shè)置用于控制一個由合成裝置執(zhí)行來合成聲音和圖像的進(jìn)程的控制參數(shù)。
依照本發(fā)明的另一具體裝置，還有可能提供一個配置，其中特征分析裝置執(zhí)行分析以為了辨認(rèn)出包括在內(nèi)容數(shù)據(jù)中的圖像的特征信息位置作為圖像的特征；參數(shù)設(shè)置裝置在由特征分析裝置產(chǎn)生的作為分析結(jié)果的圖象特征信息的位置的基礎(chǔ)上設(shè)置用于控制一個由合成裝置執(zhí)行來合成聲音和圖像的進(jìn)程的控制參數(shù)。
依照本發(fā)明更多的具體裝置，還有可能提供一個配置，其中參數(shù)設(shè)置裝置在特征分析裝置產(chǎn)生的分析結(jié)果的基礎(chǔ)上也設(shè)置另一個信息處理設(shè)備的控制參數(shù)；送出裝置把參數(shù)設(shè)置裝置設(shè)置的控制參數(shù)傳遞給另一個信息處理設(shè)備。
依照本發(fā)明的具體裝置，提供的信息處理方法包括以下步驟和另一個信息處理設(shè)備同步地復(fù)制一個信息處理設(shè)備和另一個信息處理設(shè)備共有的內(nèi)容數(shù)據(jù)；接收來自另一個信息處理設(shè)備的用戶的聲音和圖像；把用戶信息接收步驟執(zhí)行的進(jìn)程中接收的聲音和圖像與由復(fù)制步驟執(zhí)行的進(jìn)程中同步復(fù)制的內(nèi)容數(shù)據(jù)的聲音和圖像進(jìn)行合成作為另一個用戶的聲音和圖像；分析至少由復(fù)制步驟執(zhí)行的進(jìn)程中同步復(fù)制的內(nèi)容數(shù)據(jù)的一個聲音，內(nèi)容數(shù)據(jù)的一個圖像以及為了辨認(rèn)內(nèi)容數(shù)據(jù)特征而添加到內(nèi)容數(shù)據(jù)的輔助信息；和在由特征分析步驟執(zhí)行的進(jìn)程中產(chǎn)生的分析結(jié)果的基礎(chǔ)上設(shè)置用于控制一個由合成步驟執(zhí)行合成聲音和圖像的進(jìn)程的控制參數(shù)。
依照本發(fā)明的具體裝置，提供一個用于記錄程序的記錄媒體，這個程序包括以下步驟
和一個信息處理設(shè)備同步地復(fù)制計算機(jī)和該信息處理設(shè)備共有的內(nèi)容數(shù)據(jù)；接收來自該信息處理設(shè)備的另一個用戶的聲音和圖像；把用戶信息接收步驟執(zhí)行的進(jìn)程中接收的聲音和圖像與由復(fù)制步驟執(zhí)行的進(jìn)程中同步復(fù)制的內(nèi)容數(shù)據(jù)的聲音和圖像進(jìn)行合成作為另一個用戶的聲音和圖像；分析至少由復(fù)制步驟執(zhí)行的進(jìn)程中同步復(fù)制的內(nèi)容數(shù)據(jù)的一個聲音，內(nèi)容數(shù)據(jù)的一個圖像以及為了辨認(rèn)內(nèi)容數(shù)據(jù)特征而添加到內(nèi)容數(shù)據(jù)的輔助信息；和在由特征分析步驟執(zhí)行的進(jìn)程中產(chǎn)生的分析結(jié)果的基礎(chǔ)上設(shè)置用于控制一個由合成步驟執(zhí)行合成聲音和圖像的進(jìn)程的控制參數(shù)。
依照本發(fā)明的具體裝置，提供的一個程序包括以下步驟和一個信息處理設(shè)備同步地復(fù)制計算機(jī)和該信息處理設(shè)備共有的內(nèi)容數(shù)據(jù)；接收來自該信息處理設(shè)備的另一個用戶的聲音和圖像；把由復(fù)制步驟執(zhí)行的進(jìn)程中同步復(fù)制的內(nèi)容數(shù)據(jù)的聲音和圖像與由用戶信息接收步驟執(zhí)行的進(jìn)程中接收的聲音和圖像進(jìn)行作為另一個用戶的聲音和圖像；分析至少由復(fù)制步驟執(zhí)行的進(jìn)程中同步復(fù)制的內(nèi)容數(shù)據(jù)的一個聲音，內(nèi)容數(shù)據(jù)的一個圖像以及為了辨認(rèn)內(nèi)容數(shù)據(jù)特征而添加到內(nèi)容數(shù)據(jù)的輔助信息；和在由特征分析步驟執(zhí)行的進(jìn)程中產(chǎn)生的分析結(jié)果的基礎(chǔ)上設(shè)置用于控制一個由合成步驟執(zhí)行合成聲音和圖像的進(jìn)程的控制參數(shù)。
依照本發(fā)明的具體裝置，提供的一個信息處理設(shè)備包括復(fù)制部件用于另一個信息處理設(shè)備同步地一個復(fù)制信息處理設(shè)備和另一個信息處理設(shè)備共有的內(nèi)容數(shù)據(jù)；用戶信息接收部件用于接收來自另一個信息處理設(shè)備的用戶的聲音和圖像；合成部件用于把用戶接收部件接收的聲音和圖像與由內(nèi)容復(fù)制部件同步復(fù)制的內(nèi)容數(shù)據(jù)的聲音和圖像進(jìn)行合成作為另一個用戶的聲音和圖像；特征分析部件用于分析至少由復(fù)制部件同步復(fù)制的內(nèi)容數(shù)據(jù)的一個聲音，內(nèi)容數(shù)據(jù)的一個圖像以及為了辨認(rèn)內(nèi)容數(shù)據(jù)特征而添加到內(nèi)容數(shù)據(jù)的輔助信息；和參數(shù)設(shè)置部件用于在由特征分析部件產(chǎn)生的分析結(jié)果的基礎(chǔ)上設(shè)置用于控制一個由合成部件執(zhí)行來合成聲音和圖像的進(jìn)程的控制參數(shù)。
如上所描述的，在本發(fā)明的具體裝置中，一個信息處理設(shè)備和另一個信息處理設(shè)備共有的內(nèi)容被該信息處理設(shè)備和另一個信息處理設(shè)備同步地復(fù)制。來自被另一個用戶操作的另一個信息處理設(shè)備的另一個用戶的聲音和圖像被收到。然后，同步復(fù)制的內(nèi)容的聲音與來自另一個用戶的聲音被合成，同步復(fù)制的內(nèi)容的圖像與來自另一個用戶的圖像被合成。另外，同步復(fù)制內(nèi)容的聲音，內(nèi)容的圖像和添加于內(nèi)容的輔助信息被分析以為了辨認(rèn)內(nèi)容的特征。然后，在分析結(jié)果的基礎(chǔ)上，用于控制執(zhí)行合成聲音和圖像的進(jìn)程的控制參數(shù)被設(shè)定。
網(wǎng)絡(luò)是用來將至少兩個設(shè)備互相連起來并將信息從一個設(shè)備傳遞給另一個設(shè)備的一種裝置。通過網(wǎng)絡(luò)互相通訊的設(shè)備可以是獨立的設(shè)備或者是包括在設(shè)備中的內(nèi)部組塊。
通訊可以是無線電通訊或有線通訊。作為一個二中選一的，通訊可以也可以是無線電通訊和有線通訊的組合，兩者互相混合。即，無線電通訊在某個的操作區(qū)域被采用同時有線通訊被用于其它區(qū)域。作為另一種方式的，通過應(yīng)用無線通訊到從一個某個設(shè)備到另一個設(shè)備的通訊中并應(yīng)用有線通訊到從別的設(shè)備到該設(shè)備的通訊中，無線通訊和有線通訊互相混合在一起。
依照本發(fā)明的具體裝置，依照被復(fù)制的內(nèi)容，大部分圖像和大部分聲音的合成可以被輕而易舉的完成。另外，所在位置相隔遙遠(yuǎn)的使用者現(xiàn)在能夠以一種生動的方式互相通訊。
(4)


通過參考以下和附圖聯(lián)系的描述，本發(fā)明的這些和其他對象將會被看到，其中圖1是一個框圖依照本發(fā)明的具體裝置顯示了一個通訊系統(tǒng)的代表性的配置；圖2A到2C是顯示了一個內(nèi)容的一個代表性的圖像和在圖1所顯示的在通訊系統(tǒng)中用戶的代表性的圖像的框圖；圖3A到3C是顯示了一個內(nèi)容圖像和用戶圖像的合成的代表性的圖像的框圖；圖4是顯示了在圖1中顯示的通訊系統(tǒng)所使用的通訊設(shè)備1-1的代表性的配置的方塊圖；圖5顯示了一個流程圖涉及由圖4所顯示的通訊設(shè)備執(zhí)行的遠(yuǎn)程通訊處理的說明；圖6是一個方塊圖顯示了在圖4所顯示的通訊設(shè)備中使用的一個數(shù)據(jù)分析部件的一個詳細(xì)的代表性的配置；圖7是一個框圖涉及解釋依照內(nèi)容場景執(zhí)行的一個代表性的特征分析混合進(jìn)程；圖8是一個框圖涉及解釋依照內(nèi)容類別執(zhí)行的一個代表性的特征分析混合進(jìn)程；圖9顯示了一個流程圖涉及解釋在圖5所顯示的流程圖的S5步驟執(zhí)行的內(nèi)容特征分析混合進(jìn)程；圖10顯示了一個流程圖涉及解釋在圖9所顯示的流程圖的S22步驟執(zhí)行的內(nèi)容分析進(jìn)程；圖11顯示了一個流程圖涉及解釋在圖9所顯示的流程圖的S22步驟執(zhí)行的內(nèi)容分析進(jìn)程的另一種執(zhí)行方式；圖12顯示了一個流程圖涉及解釋在圖9所顯示的流程圖的S24步驟執(zhí)行的信息控制接收進(jìn)程；和圖13是一個方塊圖依照本發(fā)明具體裝置顯示了一臺個人計算機(jī)的代表性的配置。
(5)具體實施方式
在本發(fā)明的首選實施例被說明前，公布的發(fā)明和實施例的關(guān)系會在以下的比較描述中被說明。需要注意的是，即使有這本說明書描述的實施例但沒作為與發(fā)明相應(yīng)的實施例包括在以下比較說明中，這樣一個具體裝置不應(yīng)該被解釋為與發(fā)明不相應(yīng)的具體裝置。反過來，在以下比較說明中，一個作為與某個特定的發(fā)明相應(yīng)的具體裝置不能解釋為與該特定發(fā)明之外其他發(fā)明不相適應(yīng)的具體方式。
另外，接下來的比較說明不應(yīng)該被理解為一個全面的包含在這本說明書中公布的所有發(fā)明的描述。換句話說，以下比較說明決不否認(rèn)在這本說明書中公布的但沒有作為專利申請的發(fā)明包括在聲明中的發(fā)明的存在。即，以下比較說明決不否認(rèn)將被包括在分開的專利申請中的發(fā)明的存在，將被包括在這本說明書的修訂中的發(fā)明的存在，或在將來被添加的發(fā)明的存在。
依照本發(fā)明的具體裝置，一個信息處理設(shè)備(如在圖1中顯示的通訊設(shè)備1-1)包括復(fù)制裝置(如在圖4中顯示的內(nèi)容復(fù)制部件25)用于和另一個信息處理設(shè)備同步地復(fù)制這個信息處理設(shè)備和另一個信息處理設(shè)備共有的內(nèi)容數(shù)據(jù)(如圖1中顯示的通訊設(shè)備1-2)；用戶信息接收裝置(如在圖4中顯示的一個通訊部件23)用于接收從另一個信息處理設(shè)備來的另一個用戶的聲音和圖像；合成裝置(如在圖4中顯示的音頻/視頻合成部件26)用于把由復(fù)制裝置同步復(fù)制的內(nèi)容數(shù)據(jù)的聲音和圖像與由用戶信息接收裝置接收的聲音和圖像進(jìn)行合成作為另一個用戶的聲音和圖像；特征分析裝置(如在圖4中顯示的內(nèi)容特征分析部件71)用于分析至少由復(fù)制裝置同步復(fù)制的內(nèi)容數(shù)據(jù)的一個聲音，內(nèi)容數(shù)據(jù)的一個圖像以及為了辨認(rèn)內(nèi)容數(shù)據(jù)特征而添加到內(nèi)容數(shù)據(jù)的輔助信息；和參數(shù)設(shè)置裝置(如在圖4中顯示的一個控制信息產(chǎn)生部件72)用于在由特征分析裝置產(chǎn)生的分析結(jié)果的基礎(chǔ)上設(shè)置用于控制一個由合成裝置執(zhí)行來合成聲音和圖像的進(jìn)程的控制參數(shù)。
依照本發(fā)明的具體裝置，有可能將信息處理設(shè)備應(yīng)用于一個這樣的配置，其中特征分析裝置(如在圖4中顯示的內(nèi)容特征分析部件71用于執(zhí)行在圖10所顯示的流程圖的步驟S51的進(jìn)程)執(zhí)行分析以辨認(rèn)包括在內(nèi)容數(shù)據(jù)中的一個場景的特征；參數(shù)設(shè)置裝置(如在圖4中顯示的一個控制信息產(chǎn)生部件72用于執(zhí)行在圖10所顯示的流程圖的步驟S57的進(jìn)程)在由特征分析裝置產(chǎn)生的被認(rèn)出作為分析結(jié)果的場景特征的基礎(chǔ)上，設(shè)置用于控制一個由合成裝置執(zhí)行來合成聲音和圖像的進(jìn)程的控制參數(shù)。
依照本發(fā)明的另一具體裝置，有可能將信息處理設(shè)備應(yīng)用于一個這樣的配置，其中特征分析裝置(如在圖4中顯示的內(nèi)容特征分析部件71用于執(zhí)行在圖11所顯示的流程圖的步驟S73的進(jìn)程)執(zhí)行分析以辨認(rèn)出包括在內(nèi)容數(shù)據(jù)中的圖像的特征信息位置作為圖像的特征；參數(shù)設(shè)置裝置(如在圖4中顯示的一個控制信息產(chǎn)生部件72用于執(zhí)行在圖11所顯示的流程圖的步驟S74的進(jìn)程)在由特征分析裝置產(chǎn)生的作為分析結(jié)果的圖象特征信息的位置的基礎(chǔ)上設(shè)置用于控制一個由合成裝置執(zhí)行來合成聲音和圖像的進(jìn)程的控制參數(shù)。
依照本發(fā)明更多的具體裝置，還有可能將信息處理設(shè)備應(yīng)用于一個這樣的配置，其中參數(shù)設(shè)置裝置在特征分析裝置產(chǎn)生的分析結(jié)果的基礎(chǔ)上也設(shè)置另一個信息處理設(shè)備的控制參數(shù)；送出裝置(如在圖4中顯示的一個信息操作輸出部件87)把參數(shù)設(shè)置裝置設(shè)置的控制參數(shù)傳遞給另一個信息處理設(shè)備。
依照本發(fā)明的具體裝置，提供的信息處理方法包括以下步驟和另一個信息處理設(shè)備同步地復(fù)制一個信息處理設(shè)備和另一個信息處理設(shè)備共有的內(nèi)容數(shù)據(jù)；(如圖5所顯示的流程圖的步驟S4)接收來自另一個信息處理設(shè)備的用戶的聲音和圖像；(如圖5所顯示的流程圖的步驟S2)把用戶信息接收步驟執(zhí)行的進(jìn)程中接收的聲音和圖像與由復(fù)制步驟執(zhí)行的進(jìn)程中同步復(fù)制的內(nèi)容數(shù)據(jù)的聲音和圖像進(jìn)行合成作為另一個用戶的聲音和圖像；(如圖9所顯示的流程圖的步驟S23)分析至少由復(fù)制步驟執(zhí)行的進(jìn)程中同步復(fù)制的內(nèi)容數(shù)據(jù)的一個聲音，內(nèi)容數(shù)據(jù)的一個圖像以及為了辨認(rèn)內(nèi)容數(shù)據(jù)特征而添加到內(nèi)容數(shù)據(jù)的輔助信息；(如圖10所顯示的流程圖的步驟S51)和在由特征分析步驟執(zhí)行的進(jìn)程中產(chǎn)生的分析結(jié)果的基礎(chǔ)上設(shè)置用于控制一個由合成步驟執(zhí)行合成聲音和圖像的進(jìn)程的控制參數(shù)。(如圖10所顯示的流程圖的步驟S57)應(yīng)該被注意到的是，記錄媒體和本發(fā)明具體的執(zhí)行的之間的關(guān)系與以上描述的信息處理方法和本發(fā)明的具體執(zhí)行之間的關(guān)系是一樣的。相似的，程序和本發(fā)明的具體執(zhí)行之間的關(guān)系與以上描述的信息處理方法和本發(fā)明的具體執(zhí)行之間的關(guān)系是一樣的。因此，為避免重復(fù)，不再說明記錄媒體和本發(fā)明具體的執(zhí)行的之間的關(guān)系以及程序和本發(fā)明的具體執(zhí)行之間的關(guān)系。
參考以下圖表，本發(fā)明的具體裝置被詳細(xì)說明。
圖1是一個框圖依照本發(fā)明的具體裝置顯示了一個通訊系統(tǒng)的代表性的配置。在這個通訊系統(tǒng)中，通訊設(shè)備1-1通過通訊網(wǎng)絡(luò)2與另一個通訊設(shè)備1連接。在圖1顯示的典型配置情況下，通訊設(shè)備1-2用作另一個通訊設(shè)備1。通訊設(shè)備1-1和1-2以和所謂電視電話相似的途徑互相交換他們的用戶的圖像和聲音。另外，通訊設(shè)備1-1和1-2同步地復(fù)制通訊設(shè)備1-1和1-2共有的內(nèi)容。通過以這種方式顯示共有內(nèi)容支持用戶間的遠(yuǎn)程通訊。在接下來的說明中，在沒有必要把通訊設(shè)備1-1和1-2互相區(qū)分開來的情況下，通訊設(shè)備1-1和1-2各自被簡單的稱為通訊設(shè)備1。
應(yīng)該注意到共有內(nèi)容的例子有作為接收電視廣播的結(jié)果的節(jié)目內(nèi)容，已經(jīng)獲得的電影內(nèi)容或下載得到的相似內(nèi)容，用戶間相互交換的私人內(nèi)容，游戲內(nèi)容，音樂內(nèi)容，和用DVD(數(shù)碼通用碟片)表現(xiàn)的預(yù)錄在光碟上的內(nèi)容。應(yīng)該注意到光碟本身在圖中沒有顯示。
通訊設(shè)備1可以被大量用戶同時使用。在圖1顯示的代表性的配置的情況下，例如，用戶A和B使用通訊設(shè)備1-1，而用戶X使用通訊設(shè)備1-2。
作為一個例子，在圖2A中顯示一個共有內(nèi)容的圖像。通訊設(shè)備1-1獲得的一個圖像是用戶A的一個圖像就像圖2B顯示的。另一方面，通訊設(shè)備1-2獲得的一個圖像是用戶X的一個圖像就像圖2C顯示的。在這種情況下，如圖4顯示的在通訊設(shè)備1-1中使用的顯示器41顯示了一個如圖3A展現(xiàn)的畫中畫屏幕，如圖3B展現(xiàn)的交替淡變屏，或如圖3展現(xiàn)的劃變屏。在任一種情況下，共有內(nèi)容的圖像和用戶的圖像互相疊加在一起。
需要注意到，在如圖3A展現(xiàn)的畫中畫顯示中，用戶的圖像作為一個子屏被一個個疊加到共有內(nèi)容上。每個子屏的位置和大小可以被任意的改變。另外，只有任一個用戶的圖像可以被顯示，而不是用戶的圖像都被顯示，那就是，不是既顯示用戶A的圖像又顯示作為用戶A的通訊伙伴的用戶X的圖像。
在如圖3B展現(xiàn)的交叉混合疊像漸變屏中，共用內(nèi)容的圖像和可以是用戶A或X的用戶圖像被合成。這個劃變屏可以被用于如當(dāng)用戶指向共有內(nèi)容的圖像的任意位置或區(qū)域時的例士。
在如圖3C展現(xiàn)的劃變屏中，用戶的圖像顯示在屏幕上，向某個方向移動漸漸地覆蓋共有內(nèi)容的圖像。在圖3C中展示的代表性的的屏幕中，用戶的圖像從右邊起顯示。
上面屏幕的合成圖像可是時常改變。另外，每個合成模式都有合成參數(shù)，如圖像平衡來設(shè)定圖3A到3C展示的合成模式中的每個圖像的透明度和音量平衡來設(shè)置用戶和內(nèi)容的音量。這些合成參數(shù)也可以被時常改變。顯示從一個到另一個的合成模式的改變和合成參數(shù)的改變的歷史被存儲在一個如圖4顯示的合成信息存儲部件64中。需要注意到，顯示內(nèi)容的圖像和用戶的圖像的模式并不限制在以上描述的合成模式。即，圖像也可以按照一種合成模式而不是以上描述的模式被顯示。
回到圖1。通訊網(wǎng)絡(luò)2是一個典型地由互聯(lián)網(wǎng)代表的寬帶數(shù)據(jù)通訊網(wǎng)絡(luò)。在通訊設(shè)備1制造的一個請求中，內(nèi)容提供服務(wù)器3通過通訊網(wǎng)絡(luò)2給通訊設(shè)備1提供內(nèi)容。在通訊設(shè)備1的用戶可以使用這個通訊系統(tǒng)前，鑒定服務(wù)器4鑒定該用戶。另外，對一個被成功地鑒定的用戶，鑒定服務(wù)器4也執(zhí)行統(tǒng)計進(jìn)程和其他進(jìn)程。
廣播設(shè)備5是一個用來傳遞內(nèi)容的元件，代表性的是電視廣播或類似的東西的程序。因此，通訊設(shè)備1能夠同步地接收和復(fù)制來自廣播設(shè)備5的內(nèi)容。需要注意到，廣播設(shè)備5能夠通過無線電或有線通訊把內(nèi)容傳遞給通訊設(shè)備1。另外，廣播設(shè)備5也能經(jīng)由通訊網(wǎng)絡(luò)2把內(nèi)容傳遞給通訊設(shè)備1。
標(biāo)準(zhǔn)時間信息廣播設(shè)備6是一個用于在標(biāo)準(zhǔn)時間給通訊設(shè)備1提供信息的元件。標(biāo)準(zhǔn)時間信息被用來使如圖4所展示的在每個通訊設(shè)備1中使用的用作時鐘的標(biāo)準(zhǔn)時間測量部件30和標(biāo)準(zhǔn)時間正確地同步。用時鐘測量的標(biāo)準(zhǔn)時間可以是典型性的世界或日本標(biāo)準(zhǔn)時間。需要注意到標(biāo)準(zhǔn)時間信息廣播設(shè)備6能夠在標(biāo)準(zhǔn)時間通過無線電或有線通訊傳遞信息給通訊設(shè)備1。另外，標(biāo)準(zhǔn)時間信息廣播設(shè)備6也能夠在標(biāo)準(zhǔn)時間通過經(jīng)由通訊網(wǎng)絡(luò)2傳遞信息給通訊設(shè)備1。
在圖1展示的代表性的通訊系統(tǒng)中，只有兩個通訊設(shè)備1通過通訊網(wǎng)絡(luò)2互相連接。然而，值得注意的是連接到通訊網(wǎng)絡(luò)2的通訊設(shè)備1的數(shù)目可以不只2個。即包括在通訊設(shè)備1-3和1-4中的任意數(shù)量的通訊設(shè)備1可以通過通訊網(wǎng)絡(luò)2互相連接。
接下來，參考圖4，通訊設(shè)備1-1的代表性的配置會被詳細(xì)說明。在通訊設(shè)備1-1中使用的一個輸出部件21包括一個顯示器41和一個揚聲器42。輸出部件21在顯示器41上顯示對應(yīng)于從音頻/視頻合成部件26接收的視頻信號的圖像并輸出對應(yīng)于從音頻/視頻合成部件26接收的音頻信號的聲音給揚聲器42。
輸入部件22-1包括一個攝像機(jī)51-1，一個麥克風(fēng)52-1和一個傳感器53-1。出于同樣的原因，輸入部件22-2包括一個攝像機(jī)51-2，一個麥克風(fēng)52-2和一個傳感器53-2。在接下來的說明中，在沒有必要把輸入部件22-1和22-2互相區(qū)分開來的情況下，輸入部件22-1和22-2各自被簡單的稱為輸入部件22。同樣的，在沒有必要把攝像機(jī)51-1和51-2互相區(qū)分開來的情況下，攝像機(jī)51-1和51-2各自被簡單的稱為攝像機(jī)51。同樣的，在沒有必要把麥克風(fēng)52-1和52-2互相區(qū)分開來的情況下，麥克風(fēng)52-1和52-2各自被簡單的稱為麥克風(fēng)52。同樣的，在沒有必要把傳感器53-1和53-2互相區(qū)分開來的情況下，傳感器53-1和53-2各自被簡單的稱為傳感器53。
攝像機(jī)51是獲取用戶圖像的一個構(gòu)件。用戶的圖像可以是活動的或是靜止的圖像。麥克風(fēng)52是一個收集用戶聲音和其他聲響的構(gòu)件。傳感器53是一個檢測用戶周圍環(huán)境信息的構(gòu)件。環(huán)境信息包括亮度，周圍的溫度和濕度。輸入部件22把獲得的圖像，聲音/聲響，和環(huán)境信息作為用戶的實時數(shù)據(jù)輸出給通訊部件23，存儲部件27，和數(shù)據(jù)分析部件28。另外，輸入部件22也輸出獲得的用戶圖像和用戶聲音給音頻/視頻合成部件26。
需要注意到，以適應(yīng)大量的用戶，也可以提供大量的各自適應(yīng)自己的用戶的輸入部件22。例如，在圖4展示的通訊設(shè)備1-1中，提供兩個輸入部件22以適應(yīng)圖1展示的兩個用戶A和B。
通訊部件23是一個經(jīng)由通訊網(wǎng)絡(luò)2傳輸輸入部件22輸入的作為用戶A和/或用戶B的數(shù)據(jù)的實時數(shù)據(jù)給用作通訊伙伴的通訊設(shè)備1-2，并接收來自通訊設(shè)備1-2的用戶X的實時數(shù)據(jù)的元件。通訊部件23提供用戶X的實時數(shù)據(jù)給音頻/視頻合成部件26和存儲部件27。另外，通訊部件23也接收由通訊設(shè)備1-2或內(nèi)容提供服務(wù)器3經(jīng)由通訊網(wǎng)絡(luò)2傳輸?shù)膬?nèi)容并提供內(nèi)容給內(nèi)容復(fù)制部件25和存儲部件27。這樣一個內(nèi)容以后也被稱為內(nèi)容數(shù)據(jù)。經(jīng)由通訊網(wǎng)絡(luò)2，通訊部件23傳輸內(nèi)容和信息給通訊設(shè)備1-2。該內(nèi)容是從存儲部件27讀出的內(nèi)容，該信息是操作信息和操作信息輸出部件87產(chǎn)生的控制信息。
廣播接收部件24是用于接收廣播設(shè)備5播送的電視廣播信號并把由信號傳達(dá)的播放的節(jié)目作為內(nèi)容提供給內(nèi)容復(fù)制部件25并且如果必要也傳遞給存儲部件27。內(nèi)容復(fù)制部件25是復(fù)制廣播接收部件24接收的播送的節(jié)目內(nèi)容的元件。復(fù)制的內(nèi)容也可以是通訊部件23接收的內(nèi)容，從存儲部件27讀出的內(nèi)容，或從碟片如光碟讀出的內(nèi)容。應(yīng)該注意的是碟片本身沒在圖中展示。內(nèi)容復(fù)制部件25提供復(fù)制內(nèi)容的聲音和圖像給音頻/視頻合成部件26和數(shù)據(jù)分析部件28。需要注意到，那時內(nèi)容復(fù)制部件25也輸出輔助信息如后數(shù)據(jù)給數(shù)據(jù)分析部件28。輔助信息包括組成內(nèi)容的每個場景的概要，補(bǔ)充信息和有關(guān)信息。
音頻/視頻合成部件26是混合接收自內(nèi)容復(fù)制部件25的圖像和聲響作為內(nèi)容的圖像和聲音，混合接收自輸入部件22的圖像和聲音作為用戶A的圖像和聲音，接收自通訊部件23的圖像和聲音作為用戶X的圖像和聲音和用于代表性的激起用戶A警惕的字符串，并提供獲得的作為合成結(jié)果的視頻信號給輸出部件21。由音頻/視頻合成部件26執(zhí)行的混合進(jìn)程是一個混合和調(diào)整圖像，聲響，聲音和字符串的進(jìn)程，以后被稱為合成進(jìn)程。
存儲部件27包括一個內(nèi)容存儲部件61，一個許可證存儲部件62，一個用戶信息存儲部件63，和之前提到的合成信息存儲部件64。內(nèi)容存儲部件61是一個元件用于將接收自輸入部件22的數(shù)據(jù)作為一個用戶如用戶A的實時數(shù)據(jù)存儲，將接收自通訊部件23的數(shù)據(jù)作為一個通訊伙伴如用戶X的實時數(shù)據(jù)存儲，將接收自廣播接收部件24的廣播節(jié)目作為一個內(nèi)容，一個由通訊部件23接收到的內(nèi)容。許可存儲部件62是一個存儲信息的元件，它存儲如給通訊設(shè)備1-1的許可證，作為可以使用內(nèi)容存儲部件61的許可證。用戶信息存儲部件63是一個元件用來存儲數(shù)據(jù)如通訊設(shè)備1-1所屬的一個組的隱秘信息。合成信息存儲部件64是一個元件用于存儲作為合成信息的可被合成控制部件84改變的每個合成模式和每個合成參數(shù)。
由內(nèi)容特征分析部件71和控制信息產(chǎn)生部件72組成的數(shù)據(jù)分析部件28是一個元件用于輸入接收自輸入部件22作為一個用戶如用戶A的實時數(shù)據(jù)的數(shù)據(jù)，接收自通訊部件23的作為一個通訊伙伴如用戶X的實時數(shù)據(jù)的數(shù)據(jù)，和接收自內(nèi)容復(fù)制部件25的內(nèi)容。
內(nèi)容特征分析部件71是一個元件用于分析信息(如內(nèi)容的圖像和聲響或添加到內(nèi)容上的輔助信息)以辨認(rèn)內(nèi)容的特征(或?qū)嵸|(zhì))并提供內(nèi)容的特征(或?qū)嵸|(zhì))作為分析結(jié)果給控制信息產(chǎn)生部件72。
控制信息產(chǎn)生部件72是一個元件用于產(chǎn)生被用來依照接收自內(nèi)容特征分析部件71的分析結(jié)果控制音頻/視頻合成部件26的控制信息?？刂菩畔a(chǎn)生部件72輸出產(chǎn)生的控制信息給控制部件32。即控制信息產(chǎn)生部件72產(chǎn)生用于控制音頻/視頻合成部件26的控制信息，來依照根據(jù)分析結(jié)果和為合成模式設(shè)置得到的合成參數(shù)的合成模式，將包含在由內(nèi)容復(fù)制部件25復(fù)制的內(nèi)容中的圖像和聲音與包含在接收自通訊部件23的實時數(shù)據(jù)中的圖像和聲音合成為通訊伙伴的實時數(shù)據(jù)。然后，控制信息產(chǎn)生部件72提供產(chǎn)生的控制信息給控制部件32。另外，控制信息產(chǎn)生部件72為通訊伙伴操作的通訊設(shè)備1-2產(chǎn)生控制信息，該信息作為用來依照接收自內(nèi)容特征分析部件71的分析結(jié)果執(zhí)行對通訊設(shè)備1-2的控制的信息。在通訊設(shè)備1-2中，產(chǎn)生的控制信息被提供給控制部件32。
通訊環(huán)境檢測部件29是一個元件用來通過通訊部件23和通訊網(wǎng)絡(luò)2與通訊設(shè)備1-2一起監(jiān)控通訊的環(huán)境并輸出監(jiān)控的結(jié)果給控制部件32。通訊的環(huán)境包括通訊速率和通訊延遲時間。標(biāo)準(zhǔn)時間測量部件30是一個元件用來在接收自標(biāo)準(zhǔn)時間信息廣播設(shè)備6的標(biāo)準(zhǔn)時間的基礎(chǔ)上調(diào)整自己測量的標(biāo)準(zhǔn)時間，并提供調(diào)整好的標(biāo)準(zhǔn)時間給控制部件32。操作輸入部件31是代表性的用于認(rèn)可用戶執(zhí)行的操作并發(fā)布與操作相應(yīng)的命令給控制部件32的遠(yuǎn)程控制器。
控制部件32是一個元件用來在例如表征作為用戶執(zhí)行的操作的接收自操作輸入部件31的操作的信號和接收自數(shù)據(jù)分析部件28的控制信息的基礎(chǔ)上，控制通訊設(shè)備1-1的其他構(gòu)件?？刂撇考?2包括對話管理部件81，視/聽記錄等級設(shè)置部件82，復(fù)制同步部件83，上述的合成控制部件84，復(fù)制允許部件85，記錄允許部件86，前面提到過的操作信息輸出部件87，和電子設(shè)備控制部件88。需要注意到，圖4展示的代表性的配置中，用于輸出來自控制部件32的控制命令給通訊設(shè)備1-1的控制線被省略了。
對話管理部件81是一個元件用于控制通訊部件23執(zhí)行的進(jìn)程來通過通訊網(wǎng)絡(luò)2，將通訊設(shè)備1-1連接到其他設(shè)備如通訊設(shè)備1-2，內(nèi)容提供服務(wù)器3，和鑒定服務(wù)器4。另外，對話管理部件81也決定是否接受接收自另一個設(shè)備如通訊設(shè)備1-2的控制信息，作為用于控制在通訊設(shè)備1-1中使用的部件的信息。
視/聽記錄等級設(shè)置部件82是一個元件用于在用戶執(zhí)行的操作的基礎(chǔ)上，決定作為用戶A或其他用戶的數(shù)據(jù)的由輸入部件22獲得的實時數(shù)據(jù)和/或作為用戶個人內(nèi)容的存儲在內(nèi)容存儲部件61中的內(nèi)容能否被用作通訊伙伴的通訊設(shè)備1-2復(fù)制和記錄。如果實時數(shù)據(jù)和/或個人內(nèi)容被確定為可以被通訊設(shè)備1-2記錄的數(shù)據(jù)和/或內(nèi)容，數(shù)據(jù)和/內(nèi)容的可被記錄的次數(shù)的可記錄數(shù)和其他信息就被設(shè)置。這個設(shè)置信息作為隱秘信息被添加到用戶的實時數(shù)據(jù)并從通訊部件23被傳送到通訊設(shè)備1-2。復(fù)制同步部件83是一個元件用于控制內(nèi)容復(fù)制部件25來和用作通訊伙伴的通訊設(shè)備1-2同步復(fù)制它們共有的內(nèi)容。
合成控制部件84是一個元件用于控制數(shù)據(jù)分析部件28來在用戶執(zhí)行操作的基礎(chǔ)上，完成用于辨認(rèn)復(fù)制內(nèi)容的特征的分析。另外，合成控制部件84也控制音頻/視頻合成部件26來依照用戶執(zhí)行的操作或接收自數(shù)據(jù)分析部件28的控制信息，將內(nèi)容的圖像與用戶們的圖像合成在一起，將內(nèi)容的聲音與用戶們的聲音合成在一起。即，在接收自數(shù)據(jù)分析部件28的控制信息的基礎(chǔ)上，合成控制部件84把合成模式的設(shè)置改變到圖3A到3C中展示的任一模式，把合成參數(shù)的設(shè)置改變?yōu)樾略O(shè)的合成模式。合成控制部件84然后依照新設(shè)的合成模式和合成參數(shù)控制音頻/視頻合成部件26。另外，合成控制部件84將新設(shè)的合成模式和在合成信息存儲部件64中的合成參數(shù)作為合成信息記錄。
復(fù)制允許部件85是一個元件用于輸出關(guān)于在諸如附屬于內(nèi)容的許可證和/或在通訊伙伴中使用的視/聽記錄等級設(shè)置部件82設(shè)置的隱密信息的信息的基礎(chǔ)上，內(nèi)容能否被復(fù)制的決定結(jié)果，并在決定結(jié)果的基礎(chǔ)上控制內(nèi)容復(fù)制部件25。記錄允許部件86是一個元件用于輸出關(guān)于在包含附屬于內(nèi)容的許可證和/或隱密信息的信息的基礎(chǔ)上，內(nèi)容能否被記錄的決定結(jié)果，并在決定結(jié)果的基礎(chǔ)上控制存儲部件27。
信息操作輸出部件87是一個元件用于為用戶執(zhí)行的操作產(chǎn)生操作信息，并經(jīng)由通訊部件23傳輸信息給用作通訊伙伴的通訊設(shè)備1-2。用戶執(zhí)行的操作可以是改變頻道來接收電視廣播的操作，開始復(fù)制內(nèi)容的進(jìn)程的操作，結(jié)束復(fù)制內(nèi)容的進(jìn)程的操作，在快進(jìn)進(jìn)程中復(fù)制內(nèi)容的操作，或另一個操作。操作信息過程包括操作的說明和操作被執(zhí)行的時間。操作信息的詳情之后將被描述。操作信息被用于內(nèi)容的同步復(fù)制中。另外，操作信息輸出部件87也將接收自數(shù)據(jù)分析部件28的控制信息經(jīng)由通訊部件23傳輸給通訊設(shè)備1-2。
電子設(shè)備控制部件88是一個元件用于在用戶執(zhí)行的操作的基礎(chǔ)上設(shè)置輸出部件21的輸出，設(shè)置輸入部件22的輸入，并控制連接到通訊設(shè)備1-1的作為外部設(shè)備的預(yù)定電子設(shè)備。預(yù)定電子設(shè)備的例子是照明設(shè)備和空氣調(diào)節(jié)設(shè)備，它們沒在圖中顯示。
需要注意到，既然通訊設(shè)備1-2的詳細(xì)代表性配置和圖4所展示的通訊設(shè)備1-1的一樣，通訊設(shè)備1-2的詳細(xì)代表性配置的專門說明就沒有被給出。
接下來，通過參考圖5展示的流程圖解釋通訊設(shè)備1-1執(zhí)行的與通訊設(shè)備1-2通訊的遠(yuǎn)程通訊進(jìn)程如下。需要注意到，通訊設(shè)備1-2也和通訊設(shè)備1-1以同樣的方式執(zhí)行這個進(jìn)程。
當(dāng)開始遠(yuǎn)程通訊的操作被用戶通過操作輸入部件31執(zhí)行并對應(yīng)于操作的操作信號被操作輸入部件31提供給控制部件32，與通訊設(shè)備1-2通訊的遠(yuǎn)程通訊進(jìn)程就開始。
圖中展示的流程圖開始于步驟S1，在步驟S1，通訊部件23通過通訊網(wǎng)絡(luò)2在對話管理部件81執(zhí)行的控制的基礎(chǔ)上建立與通訊設(shè)備1-2的連接以通報通訊設(shè)備1-2遠(yuǎn)程通訊開始了。然后，進(jìn)程流繼續(xù)到步驟S2。為響應(yīng)這一通知，通訊設(shè)備1-2返回一個通報的確認(rèn)給通訊設(shè)備1-1作為接受遠(yuǎn)程通訊開始。
在步驟S2，通訊部件23在控制部件32執(zhí)行的控制的基礎(chǔ)上，開始經(jīng)由通訊網(wǎng)絡(luò)2傳輸用戶A的實時數(shù)據(jù)和接收自輸入部件22的其他實時數(shù)據(jù)。通訊部件23也可開始從通訊設(shè)備1-2接收用戶X的實時數(shù)據(jù)。然后，進(jìn)程流繼續(xù)到步驟S3。那時，接收自輸入部件22作為用戶A的實時數(shù)據(jù)的數(shù)據(jù)和其他實時數(shù)據(jù)與接收自通訊設(shè)備1-2的作為用戶X的實時數(shù)據(jù)的數(shù)據(jù)被提供給數(shù)據(jù)分析部件28。包括在用戶A的實時數(shù)據(jù)中的圖像和聲音和包括在其他實時數(shù)據(jù)中的圖像和聲音與包括在用戶X的實時數(shù)據(jù)中的圖像和聲音被提供給音頻/視頻合成部件26。
在步驟S3，通訊部件23在被對話管理部件81執(zhí)行的控制的基礎(chǔ)上，通過通訊網(wǎng)絡(luò)2建立與鑒定服務(wù)器4的連接以執(zhí)行用于獲得內(nèi)容的鑒定進(jìn)程。在鑒定進(jìn)程被成功的完成后，通訊部件23通過通訊網(wǎng)絡(luò)2給內(nèi)容提供服務(wù)器3一個許可以獲得被用戶指定的內(nèi)容。然后，進(jìn)程流繼續(xù)到步驟S4。同時，通訊設(shè)備1-2與通訊設(shè)備1-1執(zhí)行一樣的進(jìn)程以獲得一樣的內(nèi)容。
需要注意到，如果指定的內(nèi)容是將被作為電視廣播或存儲在存儲部件27中并準(zhǔn)備好復(fù)制的已獲得的內(nèi)容，那步驟S3的進(jìn)程可以被省略。
在步驟S4，內(nèi)容復(fù)制部件25在同步復(fù)制部件83執(zhí)行的控制的基礎(chǔ)上，開始與通訊設(shè)備1-2同步復(fù)制內(nèi)容的進(jìn)程。然后進(jìn)程流繼續(xù)到步驟S5。通過執(zhí)行與通訊設(shè)備1-2同步復(fù)制內(nèi)容的進(jìn)程，通訊設(shè)備1-1和1-2在標(biāo)準(zhǔn)時間測量部件30(或標(biāo)準(zhǔn)時間信息廣播設(shè)備6)提供的標(biāo)準(zhǔn)時間的基礎(chǔ)上，同步的復(fù)制相同的內(nèi)容。復(fù)制的內(nèi)容被提供給音頻/聲頻合成部件26和數(shù)據(jù)合成部件28。
在步驟S5，存儲部件27開始遠(yuǎn)程通訊記錄進(jìn)程。然后進(jìn)程流繼續(xù)到步驟S6。具體的說，音頻/聲頻合成部件26依照合成控制部件84執(zhí)行的控制，合成已經(jīng)開始被復(fù)制的內(nèi)容，包含在用戶A的輸入實時數(shù)據(jù)中的圖像和聲音和其他輸入實時數(shù)據(jù)，與包含在用戶X的接收到的實時數(shù)據(jù)中的聲音和圖像。然后音頻/聲頻合成部件26提供作為合成結(jié)果獲得的音頻和視頻信號給輸出部件21。需要注意到，那時，合成控制部件84在合成模式和模式的合成參數(shù)的基礎(chǔ)上，控制音頻/聲頻合成部件26執(zhí)行的合成進(jìn)程。如之前描述的，合成模式和模式的合成參數(shù)依照用戶執(zhí)行的操作被提前設(shè)置。
輸出部件21顯示基于相那里提供的視頻信號的圖像并生成基于接收到的音頻信號的聲響。在這個階段，用戶之間圖像和聲音的交換和同步復(fù)制內(nèi)容的進(jìn)程已經(jīng)開始。
然后，記錄已經(jīng)開始被復(fù)制的內(nèi)容，包含在用戶A的輸入實時數(shù)據(jù)中的圖像和聲音和其他輸入實時數(shù)據(jù)，與包含在用戶X的接收到的實時數(shù)據(jù)中的聲音和圖像，和包含合成模式與為合成模式設(shè)的合成參數(shù)的合成信息的進(jìn)程跟在用戶之間圖像和聲音的交換和同步復(fù)制內(nèi)容的進(jìn)程開始后開始。
在步驟S6，依照合成控制部件84執(zhí)行的控制，數(shù)據(jù)分析部件28和音頻/聲頻合成部件26執(zhí)行內(nèi)容特征分析混合過程，它的詳細(xì)細(xì)節(jié)之后將被說明。更為詳細(xì)的，在步驟S6，數(shù)據(jù)分析部件28分析由內(nèi)容復(fù)制部件25復(fù)制的內(nèi)容的圖像和聲音或內(nèi)容的輔助信息以辨認(rèn)內(nèi)容的實質(zhì)和/或特征。然后，數(shù)據(jù)分析部件28在分析結(jié)果的基礎(chǔ)上，產(chǎn)生控制信息，該信息將被用于控制包括音頻/聲頻合成部件26的部件。這樣，合成控制部件84在由用戶執(zhí)行而不是依照用戶執(zhí)行的操作和作為決定了的合成模式的參數(shù)的預(yù)先設(shè)定的合成參數(shù)預(yù)先決定的合成參數(shù)的基礎(chǔ)上，通過改變合成模式和適當(dāng)?shù)脑O(shè)置新合成模式的合成參數(shù)，執(zhí)行控制音頻/聲頻合成部件26執(zhí)行的合成進(jìn)程的進(jìn)程。
然后，在下一個步驟S7，控制部件32產(chǎn)生關(guān)于用戶是否已經(jīng)執(zhí)行一個操作以請求遠(yuǎn)程通訊的終止的決定?？刂撇考?2重復(fù)地執(zhí)行這步的進(jìn)程，直到用戶執(zhí)行這樣一個操作。因為在步驟S7執(zhí)行的進(jìn)程中產(chǎn)生的決定結(jié)果說明用戶已經(jīng)執(zhí)行請求遠(yuǎn)程通訊終止的操作，進(jìn)程流繼續(xù)到步驟S8。
在步驟S8，通訊部件23在對話管理部件81執(zhí)行的控制的基礎(chǔ)上，通過通訊網(wǎng)絡(luò)2建立與通訊設(shè)備1-2的連接，以通知通訊設(shè)備1-2遠(yuǎn)程通訊已被停止。為響應(yīng)這一通知，通訊設(shè)備1-2返回一個通報的確認(rèn)給通訊設(shè)備1-1作為接受遠(yuǎn)程通訊的終止。
然后，在下一步驟S9，存儲部件27終止遠(yuǎn)程通訊記錄進(jìn)程。需要注意到，這樣，當(dāng)下一個遠(yuǎn)程通訊稍后被執(zhí)行，有可能利用終止了的遠(yuǎn)程通訊的存儲的數(shù)據(jù)。終止了的遠(yuǎn)程通訊的存儲的數(shù)據(jù)包括復(fù)制的內(nèi)容，包含在用戶A的輸入實時數(shù)據(jù)中的圖像和聲音和其他輸入實時數(shù)據(jù)，與包含在用戶X的接收到的實時數(shù)據(jù)中的聲音和圖像，和以上說明的合成信息。
以上已經(jīng)解釋了作為通訊設(shè)備1-1和通訊設(shè)備1-2之間的通訊處理的由通訊設(shè)備1-1執(zhí)行的遠(yuǎn)程通訊處理的進(jìn)程。
接下來的說明解釋之前提到的在表征以上描述的遠(yuǎn)程通訊處理的流程圖的步驟S6執(zhí)行的內(nèi)容特征分析混合進(jìn)程的細(xì)節(jié)。
圖6是一個框圖展示了用于執(zhí)行內(nèi)容特征分析混合進(jìn)程的數(shù)據(jù)分析部件28的詳細(xì)配置。需要注意到，作為與圖4展示的配置中使用的他們各自的相應(yīng)部件等同的部件在圖6中顯示的詳細(xì)配置部件和其相應(yīng)部件被標(biāo)示以相同的參考數(shù)字，為避免重復(fù)，詳細(xì)配置部件的說明被省略了。
如圖6所示，內(nèi)容特征分析部件71的代表性配置包括分析控制部件101，動作信息分析部件102，書面信息分析部件103，音頻信息分析部件104，輔助信息分析部件105。
分析控制部件101是一個元件用于依照合成控制部件84執(zhí)行的控制，控制部件來分析內(nèi)容復(fù)制部件.25復(fù)制的內(nèi)容的圖像和聲音或內(nèi)容的輔助信息以識別內(nèi)容的實質(zhì)和/或特征并提供分析結(jié)果給控制信息產(chǎn)生部件72。受分析控制部件101控制的部件是動作信息分析部件102，書面信息分析部件103，音頻信息分析部件104，輔助信息分析部件105。
動作信息分析部件102是一個元件，用于從內(nèi)容中提取人的動作信息，分析提取出來的動作信息并將分析結(jié)果提供給分析控制部件101。書面信息分析部件103是一個元件用于從內(nèi)容的圖像中提取書面信息，分析提取的書面信息并提供分析結(jié)果給分析控制部件101。從內(nèi)容的圖像中提取的書面信息包括一個一般在廣播節(jié)目中播放的新聞消息及欲在比賽內(nèi)容中顯示的操作信息。欲在比賽內(nèi)容中顯示的操作信息的例子是參數(shù)和一個分?jǐn)?shù)。
音頻信息分析部件104是一個元件，用于分析從內(nèi)容的聲響中提取的音頻信息并提供分析結(jié)果給分析控制部件101。音頻信息的例子是聲音的音量和頻率。需要注意到，音頻信息分析部件104可以被應(yīng)用于一個裝置來分析與聲音有關(guān)的信息。關(guān)于聲響的信息的例子是頻道的數(shù)目，說明立體聲模式的信息，和說明雙語模式的信息。輔助信息分析部件105是一個元件用于分析添加到內(nèi)容上的輔助信息并提供分析結(jié)果給分析控制部件101。
在依照分析控制部件101執(zhí)行的控制的生成的分析結(jié)果的基礎(chǔ)上，控制信息產(chǎn)生部件72產(chǎn)生用于控制通訊設(shè)備1-1中使用的部件執(zhí)行的進(jìn)程的控制信息?？刂菩畔a(chǎn)生部件72然后提供控制信息給合成控制部件84。另外，也在接收自分析控制部件101的分析結(jié)果的基礎(chǔ)上，控制信息產(chǎn)生部件72產(chǎn)生用于控制由在通訊設(shè)備1-2中使用的音頻/視頻合成部件26執(zhí)行的進(jìn)程的控制信息。在這種情況下，控制信息產(chǎn)生部件72提供控制信息給操作信息輸出部件87。
接下來，參考圖7，具體說明內(nèi)容特征分析混合處理。
圖7是一個圖表展示在圖5中表征的遠(yuǎn)程通訊處理中的被用戶A和X共享的內(nèi)容的代表性配置。
在圖7中展示的例子，圖像，聲響，和輔助信息，這些被用戶A和X共享的內(nèi)容的構(gòu)件，沿著時間軸同時地被輸出。例如，共享的內(nèi)容是一個運動如英式足球比賽。需要注意到在圖7所展示的例子中，從聲響中提取的音量特征被作為輸出聲響顯示。虛線G上面的音量特征表征大音量，而虛線G下面的音量特征表征小音量。
在這圖中顯示的內(nèi)容的場景被分為三類場景。每個場景種類有一獨特的特征。在時間t0到t1的時期中展示的場景是一個傳播英式足球比賽的真實動作的轉(zhuǎn)播場景。在時間t1到t2的時期中展示的場景是英式足球比賽的真實條件的傳播中的亮點場景。亮點場景是通常被VTR(錄像帶錄像機(jī))復(fù)制的場景。在時間t2到t3的時期中展示的場景是在英式足球比賽的期間中顯示商業(yè)的CM(商業(yè))場景。
在轉(zhuǎn)播場景中，例如，顯示展示英式足球比賽的足球運動員的圖151被展示。那時，有在時間t0到t1的時期中的音頻特征的聲響被輸出。因此，提取自圖151的運動改變作為本體(運動員)運動中的改變很大。另外，在一些情況下陳述“實時的”書面信息可能被疊加到場景的圖151上。需要注意到這個書面信息沒在圖中顯示。
在這個轉(zhuǎn)播場景中產(chǎn)生的聲響是在一個場景中用重復(fù)的通道制作不變的注釋。因此，聲響是一個相對安靜的聲響。然而，在進(jìn)攻配合，進(jìn)球配合，或罰任意球的情況下，聲響展示出這里那里都有歡呼聲的特征。因此，在這一情況下，如音量特征161顯示的，特征包括不時地重復(fù)的大音量和小音量狀態(tài)。在轉(zhuǎn)播場景中的內(nèi)容包括輔助信息，如這個內(nèi)容的節(jié)目的信息，球隊成員的信息，和分?jǐn)?shù)。
亮點場景顯示如有運動員進(jìn)球的場景的圖152。這樣一個代表性的場景在傳播中被VTR重復(fù)的復(fù)制。那時，在時間t1到t2的時期中的有音頻特征的聲響被輸出。另外，在某種情況下，陳述“重播”的輸出信息也許被疊加到場景的圖152。需要注意到，這個書面信息沒在該圖中顯示。在許多情況下，特殊的編輯效果如圖152的慢速再現(xiàn)也許被添加。
在亮點場景中產(chǎn)生的聲響代表性的包括一個進(jìn)球后的大聲的歡呼。在許多情況下，這種歡呼持續(xù)一個相對長的時間時期或這個場景被重復(fù)。因此，如聲音特征162所示，音量特征顯示一個音量，該音量一度增大以使得它被增大音量的持續(xù)狀態(tài)所跟隨。在轉(zhuǎn)播場景中的內(nèi)容包括輔助信息如亮點信息(亮點場景中的信息)和得分者的信息。
CM場景展示圖153，該圖顯示贊助足球比賽節(jié)目的提供者的廣告。那時，有在時間t2到t3的時期中的音頻特征被輸出。因此，CM場景的圖153依賴于CM廣告的內(nèi)容而變化。例如在展示安靜的海灘的商業(yè)顯示的情況下，圖153中的人的動作的數(shù)量小于轉(zhuǎn)播場景。
在商業(yè)場景中產(chǎn)生聲響有不同于在時間t0到t2的時期中產(chǎn)生的作為足球比賽節(jié)目的聲響的特征。即，如圖7中展示的例子163的音量特征顯示的，音量沒有突然增加和減小。取而代之的，音量處在虛線G顯示的近似的參比狀態(tài)。因此，特征與在時間t0到t2的時期中產(chǎn)生的作為足球比賽節(jié)目的聲響的特征不同。CM場景中的內(nèi)容包括輔助信息如CM信息，該信息是在商業(yè)中的信息。需要注意到，商業(yè)的聲響只是一個代表性的聲響。在一些情況下，依賴于商業(yè)的內(nèi)容，商業(yè)的聲響也許與音量特征163不同。
如上所述，即使對于一樣的內(nèi)容，圖像，聲響，和輔助信息各自的特征隨從一個場景到另一個場景而變化。
現(xiàn)在，讓我們假設(shè)，例如用戶A操作通訊設(shè)備1-1來執(zhí)行圖5所展示的流程圖中的步驟S5的遠(yuǎn)程通訊記錄進(jìn)程，來與操作通訊設(shè)備1-2的用戶X通訊。在這種情況下，內(nèi)容的圖像和用戶X的圖像被互相合成并依照參考圖3A說明的畫中畫模式被顯示在通訊設(shè)備1-1使用的顯示器41上。那時，當(dāng)用戶A操作操作輸入部件31來輸入一個命令請求開始內(nèi)容特征分析混合進(jìn)程，分析控制部件101分析包括正被復(fù)制的內(nèi)容的圖像和聲音的場景或添加到內(nèi)容的輔助信息以辨認(rèn)內(nèi)容的特征(或?qū)嵸|(zhì))，并將內(nèi)容的特征(或?qū)嵸|(zhì))作為分析結(jié)果提供給控制信息產(chǎn)生部件72?？刂菩畔a(chǎn)生部件72依照接受自內(nèi)容特征分析部件71的分析結(jié)果，產(chǎn)生用于控制一個進(jìn)程的控制信息，該進(jìn)程被執(zhí)行來合成內(nèi)容的圖像和聲音與用用戶X的圖像和聲音。
即，在圖7所示的例子中，對于一個場景的特征分析混合進(jìn)程依照內(nèi)容的場景的特征被執(zhí)行。需要注意到，換句話說，在這種情況下，分析控制部件101執(zhí)行一個分析來辨認(rèn)場景的特征以確定場景的監(jiān)視或通訊處理是否重要。
首先，說明轉(zhuǎn)播場景。如上所述，在顯示足球比賽的圖151中，動作的變化很大。因此，分析控制部件101(或動作信息分析部件102)內(nèi)容的圖像中提取人的動作信息，并分析提取的動作信息。即，如果動作信息顯示動作的變化大，分析控制部件101決定參賽者的動作和/或比賽的進(jìn)展是快的，假設(shè)用戶可能希望集中精力在看內(nèi)容而不是與通訊伙伴通訊。
然后，依照分析控制部件101產(chǎn)生的分析結(jié)果，控制信息產(chǎn)生部件72產(chǎn)生控制信息以用于以某種方式控制合成圖像的進(jìn)程來將用戶X的圖像作為小尺寸的低濃度圖像顯示在疊加到圖7的顯示屏41A中展示的內(nèi)容顯示171A的子屏172A上。需要注意到，同時，控制信息產(chǎn)生部件72產(chǎn)生控制信息以用于以某種方式控制合成聲響的進(jìn)程來產(chǎn)生音量小于內(nèi)容的聲響的音量的用戶X的聲音。
在這種情況下，控制被執(zhí)行，所以，如內(nèi)容顯示171A展示的，內(nèi)容的圖像151被顯示在顯示屏41A，填滿顯示屏41A的全部區(qū)域。同時，控制被執(zhí)行，所以疊加到內(nèi)容顯示171A的作為顯示用戶X的圖像的子屏172A作為小尺寸的低濃度圖像顯示以不妨礙內(nèi)容的觀看。另外，用戶X的聲音的音量被減小以阻止內(nèi)容的觀看被打擾。
作為結(jié)果，用戶能夠獲得一個環(huán)境，該環(huán)境允許該用戶集中注意力觀看內(nèi)容而不需要執(zhí)行設(shè)置，該設(shè)置花費時間和勞動力。
如果動作的信息只顯示動作的小變化，另一方面，分析控制部件101決定參賽者的動作和/或比賽的進(jìn)程是慢的，假設(shè)用戶可能希望在觀看內(nèi)容的同時與通訊伙伴通訊。在這種情況下，依照分析控制部件101產(chǎn)生的分析結(jié)果，控制信息產(chǎn)生部件72產(chǎn)生控制信息以用于以某種方式控制合成圖像的進(jìn)程來將用戶X的圖像作為高濃度圖像顯示在疊加到內(nèi)容顯示171A上。同時，控制信息產(chǎn)生部件72產(chǎn)生控制信息以用于以某種方式控制合成聲響的進(jìn)程來產(chǎn)生音量大于內(nèi)容的聲響的音量的用戶X的聲音。
作為結(jié)果，用戶能夠獲得一個環(huán)境，該環(huán)境允許該用戶與通訊伙伴通訊同時觀看內(nèi)容而不需要執(zhí)行設(shè)置，該設(shè)置花費時間和勞動力。
接下來，亮點場景被說明。如上所述，亮點場景是一個有特殊編輯效果如重播被VTR執(zhí)行以再現(xiàn)內(nèi)容中的場景的場景。因此，分析控制部件101分析場景的編輯效果或鑒別場景的編輯效果是什么以決定于通訊伙伴的交流或觀看內(nèi)容是否被做的更生動。依照分析結(jié)果，控制信息產(chǎn)生部件72產(chǎn)生控制信息以用于以某種方式控制合成圖像的進(jìn)程來將內(nèi)容顯示171B和疊加到內(nèi)容顯示171B的子屏172B顯示在圖7中展示的顯示屏41B上。
例如，在內(nèi)容圖像152的情況下，該圖像是在重播中被VTR再現(xiàn)的作為顯示參賽者進(jìn)球的圖像，分析結(jié)果說明用戶可能希望與通訊伙伴共享觀看顯示參賽者進(jìn)球的圖像的情緒。因此，在這種情況下，控制信息產(chǎn)生部件72產(chǎn)生控制信息以用于以某種方式控制合成圖像的進(jìn)程來將內(nèi)容的圖像152用比內(nèi)容顯示171A小一點的尺寸顯示在內(nèi)容顯示171B上，將用戶X的圖像用大于子屏172A的尺寸和高于子屏172A的濃度顯示在子屏172B上，該子屏作為疊加到內(nèi)容顯示171B的子屏顯示在顯示屏41B上。同時，依照子屏172B的尺寸，即依照分析結(jié)果，比控制信息產(chǎn)生部件72也產(chǎn)生控制信息以用于以某種方式控制合成聲響的進(jìn)程來產(chǎn)生音量大于在重播場景中用戶X聲響大一點的音量的用戶X的聲音。
作為結(jié)果，用戶能夠獲得一個環(huán)境，該環(huán)境允許該用戶與通訊伙伴共享作為觀看內(nèi)容結(jié)果獲得的情緒而不需要執(zhí)行設(shè)置，該設(shè)置花費時間和勞動力。
另外，在商業(yè)場景的情況下，相似的控制被執(zhí)行。即，分析結(jié)果可能說明用戶可能希望在足球比賽的內(nèi)容的期間給出的休息中，享受與通訊伙伴的會話或用戶可能希望交換對CM場景中圖153顯示的廣告的意見。在這種情況下，控制信息產(chǎn)生部件72產(chǎn)生控制信息以用于以某種方式控制合成圖像的進(jìn)程來將圖153作為尺寸略小于內(nèi)容顯示171B的內(nèi)容顯示171C顯示在圖7展示的顯示屏41C，并顯示用大于子屏172B的尺寸和高于子屏172B的濃度顯示用戶X的圖像的子屏172C，該子屏作為疊加到內(nèi)容顯示171C的子屏。同時，依照子屏172C的尺寸，即依照分析結(jié)果，控制信息產(chǎn)生部件72也產(chǎn)生控制信息以用于以某種方式控制合成聲響的進(jìn)程來輸出音量略大于在亮點場景中的音量的用戶X的聲音。
結(jié)果，用戶能夠獲得一個環(huán)境，該環(huán)境允許該用戶與通訊伙伴對感興趣的廣告交換意見或在觀看內(nèi)容期間的休息中享受與通訊伙伴的對話而不需要執(zhí)行設(shè)置，該設(shè)置花費時間和勞動力。在這種情況下，因為用戶能夠在觀看廣告時立刻與通訊伙伴交換意見，在用戶心中激起了購買廣告的產(chǎn)品或服務(wù)的期望。
圖8是一個框圖展示了圖7中所示的內(nèi)容特征分析混合進(jìn)程的另一個例子。
例如，遠(yuǎn)程通訊記錄過程開始于圖5所示的流程圖中的步驟S5，并且合成控制部件84依照在用戶執(zhí)行的操作的基礎(chǔ)上預(yù)先設(shè)定的合成模式和參數(shù)，控制由音頻/視頻合成部件26執(zhí)行的合成進(jìn)程。在這種情況下，正被復(fù)制的內(nèi)容的圖像201D被顯示在通訊設(shè)備1-1的顯示屏41D上，并且，在圖像201D的右下角，作為通訊伙伴的用戶X的圖像被顯示為一個疊加在圖像201D之上的子屏。
那時，當(dāng)用戶A使用操作輸入部件31來輸入命令請求開始一個內(nèi)容特征分析混合進(jìn)程，分析控制部件101一般從內(nèi)容附加的輔助信息來檢測內(nèi)容的類型并分析檢測到的內(nèi)容類型以識別該內(nèi)容的圖像構(gòu)成特征或該內(nèi)容的顯示屏幕的構(gòu)成特征。依照分析結(jié)果，控制信息產(chǎn)生部件72產(chǎn)生將被用于控制進(jìn)程的控制信息，該進(jìn)程以用來合成內(nèi)容的圖像和聲音與通訊伙伴的用戶的圖像和聲音。這就是說，在圖8所示的例子的情況中，內(nèi)容特征分析混合進(jìn)程是根據(jù)內(nèi)容的類型和/或圖像的構(gòu)成特征來執(zhí)行的。
讓我們假設(shè)舉例，這個內(nèi)容是一個由一個圖像和這個圖像中的許多書面信息組成的廣播節(jié)目。這種內(nèi)容的例子是新聞和小型報道。在這種情況下，分析控制部件101(或書面信息分析部件103)通過采取特征識別技術(shù)或固定顯示部分識別技術(shù)，從內(nèi)容的圖像中提取書面信息，并分析書面信息以識別信息在圖像中的位置。依照分析控制部件101產(chǎn)生的分析結(jié)果，控制信息產(chǎn)生部件72產(chǎn)生控制信息來用于控制一個進(jìn)程，該進(jìn)程是以某種方式合成圖像從而將用于顯示用戶X的圖像的子屏移動到一個未顯示書面信息的地方。
讓我們假設(shè)，如圖8中的顯示屏41E所展示的，書面信息211以重疊在圖像201E上的子屏的形式被顯示在該內(nèi)容的圖像201E的右上角，且書面信息212以重疊在圖像201E上的子屏的形式被顯示在圖像201E的右下角。在這種情況下，如果另外一個子屏在圖像201E的右下角如子屏202D那樣被合成，那么這個子屏將重疊在書面信息212上，而書面信息212將幾乎不可見。由于這個原因，分析控制部件101從內(nèi)容的圖像201E提取書面信息211和212的幾條信息，并分析書面信息211和212的這幾條信息來識別它們在圖像201E上的位置。依照分析控制部件101產(chǎn)生的結(jié)果，控制信息產(chǎn)生部件72產(chǎn)生控制信息來控制一個進(jìn)程，該進(jìn)程是以某種方式合成圖像從而將用于顯示用戶X的圖像的子屏移動到一個未顯示書面信息的地方。在這個例子中，子屏被移動到左上角并在這個角上顯示為子屏202E。
通過這種方式，可以使一個內(nèi)容的書面信息避免變得幾乎不可見，而不要求用戶執(zhí)行手動操作。
此外，讓我們假設(shè)舉例，這個內(nèi)容是一個比賽，它由許多顯示在內(nèi)容的圖像上，作為如何操作通訊設(shè)備1-1的信息的信息組成。有關(guān)于如何操作通訊設(shè)備1-1的信息包括參數(shù)和一個分?jǐn)?shù)。在這種情況下，分析控制部件101(或書面信息分析部件103)通過采取特征識別技術(shù)或固定顯示部分識別技術(shù)，從內(nèi)容的圖像中提取書面信息和操作信息，并分析提取出的書面信息和操作信息以便于識別這幾條信息在圖像中的位置。依照分析控制部件101產(chǎn)生的分析結(jié)果，控制信息產(chǎn)生部件72產(chǎn)生控制信息來用于控制一個進(jìn)程，該進(jìn)程是以某種方式合成圖像從而將用于顯示用戶X的圖像的子屏移動或縮小到一個未顯示書面信息或操作信息的位置以避免子屏重疊在書面信息或操作信息上。
讓我們假設(shè)，如圖8中的顯示屏41F所示，分?jǐn)?shù)213以一個疊加在圖像201F上的子屏的形式顯示在圖像201F的左上角，同時參數(shù)214以一個疊加在圖像201F上的子屏的形式顯示在圖像201F的底部。在這種情況中，如果另一個子屏在圖像201F的右下角如子屏202D那樣被合成，那么這個子屏將重疊在參數(shù)214上，而參數(shù)214將幾乎不可見。由于這個原因，分析控制部件101從內(nèi)容的圖像201F中提取操作信息例如分?jǐn)?shù)213和參數(shù)214，并分析分?jǐn)?shù)213和參數(shù)214以識別它們在圖像201F上的位置。依照分析控制部件101產(chǎn)生的結(jié)果，控制信息產(chǎn)生部件72產(chǎn)生控制信息來用于控制一個進(jìn)程，該進(jìn)程是以某種方式合成圖像從而將用于顯示用戶X的圖像的子屏移動到遠(yuǎn)離操作信息的位置。在這個例子中，用于顯示用戶X的圖像的子屏被移動到內(nèi)容的圖像201F的右上角并在這個角上顯示為子屏202F。
這樣，關(guān)于如何操作一個內(nèi)容的信息可以避免變?yōu)閹缀醪豢梢姸灰笥脩暨M(jìn)行手動操作。
在圖8所示的例子中，內(nèi)容是一個廣播節(jié)目或一個比賽。然而，需要注意到，內(nèi)容的類型不僅限于廣播節(jié)目和比賽。例如，內(nèi)容也可以是電影播放字幕。
在以上描述中，畫中畫方法被采用了。然而，本發(fā)明的范圍不只限于畫中畫方法。就是說，本發(fā)明也可以用于之前參考圖3B解釋過的交叉混合方法，參考圖3C解釋過的劃變方法，以及其他合成模式。
此外，以上描述僅僅解釋了對一通訊伙伴的圖像和聲音與內(nèi)容的圖像和聲音進(jìn)行合成。然而，輸入部件22輸入的圖像和聲音如用戶A的一個圖像和聲音，也可以和內(nèi)容的圖像和聲音進(jìn)行合成。
接下來，圖5所示的流程圖的步驟S6執(zhí)行的內(nèi)容特征分析混合進(jìn)程通過參考圖9顯示的流程圖解釋如下。
在圖5所示流程圖的步驟S5中，開始了一個遠(yuǎn)程通訊記錄進(jìn)程。在由用戶執(zhí)行的操作預(yù)設(shè)的合成模式和合成參數(shù)的基礎(chǔ)上，合成控制部件84開展一個進(jìn)程來控制音頻/視頻合成部件運行的合成進(jìn)程。此外，數(shù)據(jù)分析部件28得到一個復(fù)制的內(nèi)容，輸入用戶A和其他用戶的實時數(shù)據(jù)并接收用戶X的實時數(shù)據(jù)。
然后，用戶A使用操作輸入部件31來輸入一個命令請求開始內(nèi)容特征分析混合進(jìn)程。操作輸入部件31響應(yīng)用戶A執(zhí)行的操作，產(chǎn)生一個操作信號并且提供操作信號給合成控制部件84。一收到從操作輸入部件31中來的操作信號，在圖13顯示的流程圖的第一個步驟S21中，合成控制部件84就產(chǎn)生一個關(guān)于用戶是否開始內(nèi)容特征分析混合進(jìn)程的決定結(jié)果。如果決定結(jié)果指出內(nèi)容特征分析混合進(jìn)程要開始，進(jìn)程流繼續(xù)到步驟S22，在這里合成控制部件84控制數(shù)據(jù)分析部件28去執(zhí)行一個內(nèi)容分析進(jìn)程。
如后文將要參考圖10中的說明內(nèi)容分析進(jìn)程的流程圖詳細(xì)描述的那樣，在圖9的流程圖的步驟S22執(zhí)行的內(nèi)容分析進(jìn)程中，內(nèi)容的圖像和聲響或添加到內(nèi)容上的輔助信息被分析以便于識別內(nèi)容的實質(zhì)和/或特征。此外，控制信息被生成以用于控制音頻/視頻合成部件26依照分析結(jié)果相應(yīng)的合成模式和為該模式設(shè)定的合成參數(shù)去執(zhí)行一個進(jìn)程改進(jìn)程對內(nèi)容的圖像和聲響與實時數(shù)據(jù)中的某用戶的圖像和聲音進(jìn)行合成，該用戶是通訊伙伴。然后控制信息提供給合成控制部件84。需要注意的是，如果用于控制通訊伙伴操作的通訊設(shè)備1-2中使用的音頻/視頻合成部件26的控制信息也被生成了，那么生成的這個控制信息被提供給操作信息輸出部件87。
在步驟S22開展的進(jìn)程結(jié)束之后，進(jìn)程流繼續(xù)到步驟S3，在這里，依照從控制信息產(chǎn)生部件72接收的控制信息，合成控制部件84為音頻/視頻合成部件26設(shè)定一個合成模式以及為這個合成模式設(shè)定一個合成參數(shù)，控制音頻/視頻合成部件26來開展一個對內(nèi)容的圖像和聲響與包含在實時數(shù)據(jù)中的某用戶的圖像和聲音進(jìn)行合成進(jìn)程，該用戶是通訊伙伴。然后，進(jìn)程流繼續(xù)到步驟S24。
這樣，輸出部件21所采用的顯示器41顯示了內(nèi)容的一個圖像和作為通訊伙伴的用戶的一個圖像，作為依照控制信息產(chǎn)生部件72在內(nèi)容特征分析部件71產(chǎn)生的合成結(jié)果的基礎(chǔ)上生成的控制信息來合成圖像的進(jìn)程的結(jié)果。出于同樣原因，輸出部件21所采用的揚聲器42產(chǎn)生了內(nèi)容的一個聲響和作為通訊伙伴的用戶的一個聲音，作為依照控制信息產(chǎn)生部件72在內(nèi)容特征分析部件71產(chǎn)生的合成結(jié)果的基礎(chǔ)上生成的控制信息來合成聲音的進(jìn)程的結(jié)果。
然后，依照控制信息產(chǎn)生部件72生成的控制信息更新的合成模式和合成參數(shù)被記錄為與內(nèi)容一起的合成信息，該內(nèi)容的復(fù)制已經(jīng)開始了，內(nèi)容是包含在用戶A的輸入實時數(shù)據(jù)中的圖像和聲音和其他輸入實時數(shù)據(jù)，與包含在用戶X的接收到的實時數(shù)據(jù)中的聲音和圖像。
隨后，在下一個步驟S24中，操作信息輸出部件87將從控制信息產(chǎn)生部件72接收到的控制信息作為對用戶X操作的通訊設(shè)備1-2的控制信息通過通訊部件23和通訊網(wǎng)絡(luò)2傳輸?shù)酵ㄓ嵲O(shè)備1-2。然后，進(jìn)程流繼續(xù)到步驟S25。需要注意到，通訊設(shè)備1-2開展的進(jìn)程從通訊設(shè)備1-1接收控制信息將稍候描述。用戶A可以操作操作輸入部件31來輸入一個命令請求結(jié)束這個內(nèi)容特征分析混合進(jìn)程。在這種情況下，操作輸入部件31產(chǎn)生一個操作信號響應(yīng)用戶A執(zhí)行的操作，并提供這個操作信號給合成控制部件84。在上面已經(jīng)引述過的下一個步驟S25中，在操作輸入部件31產(chǎn)生的這樣一個操作信號的基礎(chǔ)上，合成控制部件84產(chǎn)生一個決定結(jié)果以決定是否結(jié)束內(nèi)容特征分析混合進(jìn)程。如果決定結(jié)果指出內(nèi)容特征分析混合進(jìn)程將被結(jié)束，那么內(nèi)容特征分析混合進(jìn)程被終止且進(jìn)程流返回步驟S7，該步驟包含在圖5所示的流程圖中，是步驟S6之后的一個步驟。
另一方面，如果步驟S25開展的進(jìn)程產(chǎn)生的決定結(jié)果指出內(nèi)容特征分析混合進(jìn)程不應(yīng)被終止，進(jìn)程流返回步驟S22。
另一方面，如果步驟S21開展的進(jìn)程產(chǎn)生的決定結(jié)果指出內(nèi)容特征分析混合進(jìn)程不應(yīng)開始，內(nèi)容特征分析混合進(jìn)程被終止且進(jìn)程流返回步驟S7，該步驟包含在圖5所示的流程圖中，是步驟S6之后的一個步驟。這就是說，在步驟S7中，合成控制部件84繼續(xù)開展一個進(jìn)程，即在依照用戶執(zhí)行的操作預(yù)先設(shè)定的合成模式和合成參數(shù)的基礎(chǔ)上，控制由音頻/視頻合成部件26執(zhí)行的合成進(jìn)程，直到用戶執(zhí)行一個操作請求終止遠(yuǎn)程通訊。
接下來，通過參考圖10中的流程圖，接下來的描述解釋了圖9所示的流程圖的步驟S22開展的內(nèi)容分析進(jìn)程的細(xì)節(jié)。需要注意到，圖10所示的流程圖代表的內(nèi)容分析進(jìn)程是一個依照內(nèi)容的一個場景特征開展的特征分析混合進(jìn)程，如稍早參考圖7所解釋的。
在圖10所示的流程圖的第一個步驟S51中，分析控制部件101控制動作信息分析部件102，書面信息分析部件103，音頻信息分析部件104或輔助信息分析部件105，在一個內(nèi)容的圖像和聲響或改內(nèi)容附加的輔助信息的基礎(chǔ)上，來檢測被內(nèi)容復(fù)制部件25復(fù)制的該內(nèi)容的一個場景。這個場景可以被檢測到是轉(zhuǎn)播場景，亮點場景，CM場景之一，這稍早已經(jīng)參考圖7解釋過了。
為了使之更具體，分析控制部件101至少控制動作信息分析部件102，書面信息分析部件103，音頻信息分析部件104和輔助信息分析部件105之中的一個來檢測某內(nèi)容的一個場景。依照分析控制部件101執(zhí)行的控制，動作信息分析部件102，書面信息分析部件103，音頻信息分析部件104和輔助信息分析部件105各自開展它們的進(jìn)程如下。
動作信息分析部件102從內(nèi)容的圖像中提取一個人的動作信息并分析提取出來的信息以便于決定內(nèi)容中的動作的數(shù)量。作為分析結(jié)果得到的動作數(shù)量被用于識別場景的類型。例如，如果發(fā)現(xiàn)內(nèi)容中的動作數(shù)量大，則決定這個場景是一個轉(zhuǎn)播場景。
書面信息分析部件103從內(nèi)容的圖像中提取書面信息并分析提取出來的信息。例如，如果分析結(jié)果指出從圖7所示的圖像151中提取的書面信息是“實況”并且從圖像152中提取出來的書面信息是“重播”。在分析結(jié)果的基礎(chǔ)上，書面信息分析部件103識別出每個場景的類型。例如，書面信息顯示“實況”，則決定這個場景是一個轉(zhuǎn)播場景。通過這種方法，可以識別每個場景的類型。
音頻信息分析部件104從內(nèi)容中提取如圖7所示的聲響音量特征161至163，并分析提取出來的聲響音量特征以便于根據(jù)分析結(jié)果識別每個場景的類型。如果分析結(jié)果指出，例如，如果聲響音量特征變化突然，如有著聲響音量特征163的情況，則這個場景被決定為是一個CM場景。通過這種方法，可以識別每個場景的類型。
輔助信息分析部件105從內(nèi)容中提取輔助信息并分析提取出來的輔助信息以便于根據(jù)分析結(jié)果識別每一個場景的類型。例如，如果提取出來的輔助信息包括一個分?jǐn)?shù)，如有著圖7所示的例子中的輔助信息的情況，則這個場景被決定為是一個轉(zhuǎn)播場景。通過這種方法，可以識別每個場景的類型。需要注意的是，通過這種方法，輔助信息也可以預(yù)先附加到包括有特殊編輯效果的場景的內(nèi)容上，作為指出這個場景含有一個特殊編輯效果的輔助信息。在這種情況下，輔助信息分析部件105分析這個輔助信息以識別這個場景的類型。具有特殊編輯效果的場景的一個例子是亮點場景。
需要注意的是，執(zhí)行用于檢測場景的分析進(jìn)程的方法可以結(jié)合起來并且不局限于上述方法。這就是說，也可以采取另一種分析方法。
如上文所述，在步驟S51中，檢測了一個場景，然后在下一個步驟S52和隨后的步驟中，根據(jù)檢測到的場景特征產(chǎn)生了一個用于控制合成進(jìn)程的控制信息。
在步驟S52中，分析控制部件101產(chǎn)生一個決定結(jié)果來決定在步驟S51中檢測的場景是否是一個轉(zhuǎn)播場景。如果決定結(jié)果指出在步驟S51中檢測的場景是一個轉(zhuǎn)播場景，那么進(jìn)程繼續(xù)到步驟S53，在這個步驟中分析控制部件101控制動作信息分析部件102去從內(nèi)容的圖像中提取一個人的動作信息，分析提取出來的信息以便于決定內(nèi)容中的動作的數(shù)量，并產(chǎn)生決定結(jié)果以決定識別的動作數(shù)量大不大。
需要注意的是，如果內(nèi)容中的動作數(shù)量早已在步驟S51執(zhí)行分析結(jié)果被進(jìn)程的同時被識別出來，那么動作信息分析部件102在步驟S53中，根據(jù)步驟S51執(zhí)行的分析結(jié)果進(jìn)程，產(chǎn)生一個決定結(jié)果來決定識別出來的動作數(shù)量大不大。
如果步驟S53執(zhí)行的進(jìn)程中產(chǎn)生的決定結(jié)果表明識別出來的動作數(shù)量大，即，如果決定結(jié)果表明運動員的動作和/或比賽的發(fā)展迅速，假設(shè)用戶可能希望集中精力在內(nèi)容的查看而不是與通訊伙伴的交流上，那么分析控制部件101提供這個分析結(jié)果給控制信息產(chǎn)生部件72。然后，進(jìn)程流繼續(xù)到步驟S54。
在步驟S54中，依照從分析控制部件101接收到的分析，控制信息產(chǎn)生部件72產(chǎn)生控制信息以用于控制一個進(jìn)程以某種方式合成圖像以使得顯示用戶X圖像的子屏172A以低濃度顯示疊加在出現(xiàn)在圖7所示的顯示屏41A中的內(nèi)容顯示171A之上，并且，同時，產(chǎn)生控制信息以用于控制一個進(jìn)程以某種方式合成聲響來輸出音量小于內(nèi)容的聲響的音量的用戶X的聲音。然后，控制信息產(chǎn)生部件72提供產(chǎn)生的控制信息給合成控制部件84并終止內(nèi)容分析處理。最后，進(jìn)程流回到包括在圖9展示的流程圖的步驟S23，該步驟作為緊接著步驟S22的步驟。
另一方面，如果在步驟S53執(zhí)行的進(jìn)程所產(chǎn)生的決定結(jié)果說明辨認(rèn)的動作數(shù)量不大，即，如果決定結(jié)果說明參賽者的動作和/或比賽的進(jìn)展是慢的，假設(shè)用戶可能希望在觀看內(nèi)容時與通訊伙伴通訊，分析控制部件101提供分析結(jié)果給控制信息產(chǎn)生部件72。然后，進(jìn)程流繼續(xù)到步驟S55。
在步驟S55，依照接收自分析控制部件101的分析，控制信息產(chǎn)生部件72產(chǎn)生控制信息以用于控制一個進(jìn)程以一種方式合成圖像，該方式是顯示用戶X的圖像的子屏172A以高濃度疊加到出現(xiàn)在圖7所展示的顯示屏41A上的內(nèi)容顯示171A上被顯示，同時，產(chǎn)生控制信息以用于控制一個進(jìn)程以某種方式合成聲響來輸出，與在步驟S54執(zhí)行的進(jìn)程所產(chǎn)生的控制信息相比較，音量略大于內(nèi)容聲響的音量的用戶X的聲音。然后，控制信息產(chǎn)生部件72提供產(chǎn)生的控制信息給合成控制部件84并終止內(nèi)容分析處理。最后，進(jìn)程流回到包括在圖9展示的流程圖的步驟S23，該步驟作為緊接著步驟S22的步驟。
如果在步驟S52執(zhí)行的進(jìn)程所產(chǎn)生的決定結(jié)果指出在步驟S51檢測的場景不是一個轉(zhuǎn)播場景，另一方面，進(jìn)程流繼續(xù)到步驟S56，在該步驟分析控制部件101產(chǎn)生一個決定關(guān)于在步驟S51檢測的場景是否是一個亮點場景的結(jié)果。
如果在步驟S56執(zhí)行的進(jìn)程所產(chǎn)生的決定結(jié)果指出在步驟S51檢測的場景是一個亮點場景，如在圖7的例子中顯示，在重播中被VTR再現(xiàn)的作為顯示參賽者進(jìn)球的內(nèi)容圖像152，分析結(jié)果說明用戶可能希望與通訊伙伴共享觀看內(nèi)容的情緒。在這種情況下，分析控制部件101提供分析結(jié)果給控制信息產(chǎn)生部件72。然后，進(jìn)程流繼續(xù)到步驟S57。
與在步驟S54執(zhí)行的進(jìn)程所產(chǎn)生的控制信息相較，在步驟S57，依照從分析控制部件101接收到的分析，控制信息產(chǎn)生部件72產(chǎn)生控制信息以用于控制一個進(jìn)程以某種方式合成圖像來將內(nèi)容的圖像152用比內(nèi)容顯示171A小一點的尺寸顯示在內(nèi)容顯示171B，將用戶X的圖像用大于子屏172A的尺寸和高于子屏172A的濃度顯示在子屏172B，該子屏作為疊加到內(nèi)容顯示171B的子屏顯示在圖7顯示的顯示屏41B上。同時，控制信息產(chǎn)生部件也產(chǎn)生控制信息以用于控制一個進(jìn)程以某種方式合成聲響來產(chǎn)生音量略大于內(nèi)容聲響的音量的用戶X的聲音。然后，控制信息產(chǎn)生部件72提供產(chǎn)生的控制信息給合成控制部件84并終止內(nèi)容分析處理。最后，進(jìn)程流回到包括在圖9展示的流程圖的步驟S23，該步驟作為緊接著步驟S22的步驟。
如果在步驟S56執(zhí)行的進(jìn)程所產(chǎn)生的決定結(jié)果指出在步驟S51檢測的場景不是一個亮點場景，即，如果在圖7展示的例子的情況下在步驟S51檢測到場景使一個商業(yè)場景，另一方面，分析結(jié)果可能說明，例如用戶可能希望交換對在CM場景中的圖像153顯示的廣告的意見。在這種情況下，分析控制部件101提供分析結(jié)果給控制信息產(chǎn)生部件72。然后，進(jìn)程流繼續(xù)到步驟S58。
在步驟S58，依照從分析控制部件101接收到的分析，控制信息產(chǎn)生部件72產(chǎn)生控制信息以用于控制一個進(jìn)程以某種方式合成圖像來將圖153作為尺寸小于內(nèi)容顯示171B的內(nèi)容顯示171C顯示在圖7展示的顯示屏41C，并顯示用大于子屏172B的尺寸和高于子屏172B的濃度顯示用戶X的圖像的子屏172C，該子屏作為疊加到內(nèi)容顯示171C的子屏。同時，控制信息產(chǎn)生部件72產(chǎn)生控制信息以用于控制一個進(jìn)程以某種方式合成聲響來輸出，與在步驟S57執(zhí)行的進(jìn)程所產(chǎn)生的控制信息相較，音量略大于內(nèi)容聲響的音量的用戶X的聲音。然后，控制信息產(chǎn)生部件72提供產(chǎn)生的控制信息給合成控制部件84并終止內(nèi)容分析處理。最后，進(jìn)程流回到包括在圖9展示的流程圖的步驟S23，該步驟作為緊接著步驟S22的步驟。
如上所述，在圖10展示的流程的步驟S54，S55，S57，和S58執(zhí)行的進(jìn)程所產(chǎn)生的控制信息只被提供給合成控制部件84。需要注意到，如果用于控制在用戶X操作的用作通訊伙伴的通訊設(shè)備1-2中使用的音頻/視頻合成部件26的控制信息也在同時被產(chǎn)生，控制信息被提供給操作信息輸出部件87。同樣值得注意，在這種情況下，在通訊設(shè)備1-2中的顯示器上的子屏顯示操作通訊設(shè)備1-1的用戶A的圖像而不是用戶X的圖像。
因此，既然通訊伙伴操作的通訊設(shè)備也可以同樣被控制，用戶和通訊伙伴可以觀看他們各自的有著一樣配置的顯示屏，除了在顯示屏上的子屏顯示不同的圖像。
如上所述，內(nèi)容的圖像和聲音與添加到內(nèi)容的輔助信息都被分析以辨認(rèn)內(nèi)容和特征和/或動作變化的數(shù)量的特征。然后，分析結(jié)果被用作一個根據(jù)用于控制一個進(jìn)程來將內(nèi)容的圖像和聲音與通訊伙伴的圖像和聲音分別進(jìn)行合成。因此可能意識到通訊實時的反映內(nèi)容的實質(zhì)。作為結(jié)果，盡管事實用戶所處地相隔遙遠(yuǎn)，仍可能產(chǎn)生執(zhí)行面對面通訊的效果。
另外，既然可能容易地在任何特殊的通訊設(shè)備中設(shè)置一個作為依照內(nèi)容的實質(zhì)和特征合成操作另一個通訊設(shè)備的另一個用戶的圖像和聲音的進(jìn)程的進(jìn)程，該進(jìn)程在過去常常是一個既困難又花費時間和勞動的進(jìn)程，用戶可以消去用于操作特殊設(shè)備的時間和執(zhí)行設(shè)置的勞動。
接下來，通過參考圖11展示的流程圖，以下說明詳細(xì)解釋另一個在圖9展示的流程圖的步驟S22執(zhí)行的代表性的內(nèi)容分析進(jìn)程的執(zhí)行。需要注意到，圖11展示的流程圖表征的內(nèi)容分析進(jìn)程是一個依照內(nèi)容的類型的特征執(zhí)行的特征分析混合進(jìn)程，如之前參考圖8說明的。
在圖11展示的流程圖的第一個步驟S71，分析控制部件101控制輔助信息分析部件105來檢測添加到內(nèi)容復(fù)制部件25復(fù)制的內(nèi)容的輔助信息并分析檢測的輔助信息以辨認(rèn)內(nèi)容的類型。然后進(jìn)程流繼續(xù)到步驟S72。
在步驟S72，分析控制部件101產(chǎn)生一個關(guān)于在步驟S71辨認(rèn)的內(nèi)容類型是否是一個有在其圖像中包含很多關(guān)于它的書面信息的特征的廣播節(jié)目。如果決定結(jié)果指出辨認(rèn)的內(nèi)容類型是一個廣播節(jié)目的類型，進(jìn)程流繼續(xù)到步驟S73，在該步驟書面信息在內(nèi)容的圖像中的位置(即，書面信息顯示在內(nèi)容的圖像上的位置)被確認(rèn)為分析結(jié)果。然后，進(jìn)程流繼續(xù)到步驟S74。
在步驟S74，依照分析控制部件101產(chǎn)生的分析結(jié)果，控制信息產(chǎn)生部件72產(chǎn)生控制信息以用于控制一個進(jìn)程以某種方式合成圖像來將用于顯示用戶X的圖像的子屏移到不顯示操作信息的位置，并提供控制信息給合成控制部件84。然后，內(nèi)容分析處理被終止。最后，進(jìn)程流回到包括在圖9展示的流程圖的步驟S23，該步驟作為緊接著步驟S22的步驟。
如果在步驟S72執(zhí)行的進(jìn)程所產(chǎn)生的決定結(jié)果指出辨認(rèn)的內(nèi)容類型不是一個廣播節(jié)目，另一方面，進(jìn)程流繼續(xù)到步驟S75，在該步驟分析控制部件101產(chǎn)生一個關(guān)于在步驟S71辨認(rèn)的內(nèi)容類型是否是一個有在其圖像中包含很多有關(guān)操作信息的特征的比賽類型的決定結(jié)果。如果決定結(jié)果指出辨認(rèn)的內(nèi)容類型是比賽類型，進(jìn)程流繼續(xù)到步驟S76。
在步驟S76，分析控制部件101將在內(nèi)容的圖像上的操作信息的位置(即，操作信息顯示在內(nèi)容的圖像上的位置)確認(rèn)為分析結(jié)果。然后進(jìn)程流繼續(xù)到步驟S77。
在步驟S77，依照分析控制部件101產(chǎn)生的分析結(jié)果，控制信息產(chǎn)生部件72產(chǎn)生控制信息以用于控制一個進(jìn)程以某種方式合成圖像來將用于顯示用戶X的圖像的子屏移到不顯示操作信息的位置，并在必要時減小子屏的尺寸，提供控制信息給合成控制部件84。然后，內(nèi)容分析處理被終止。最后，進(jìn)程流回到包括在圖9展示的流程圖的步驟S23，該步驟作為緊接著步驟S22的步驟。
如果在步驟S75執(zhí)行的進(jìn)程所產(chǎn)生的決定結(jié)果指出在步驟S71辨認(rèn)的內(nèi)容類型不是比賽類型，即，如果決定結(jié)果指出辨認(rèn)的內(nèi)容類型是另一個內(nèi)容類型，另一方面，進(jìn)程流回到包括在圖9展示的流程圖的步驟S23，該步驟作為緊接著步驟S22的步驟。
很像圖10展示的流程圖，在圖11展示的流程圖的步驟S74和S77執(zhí)行的進(jìn)程所產(chǎn)生的控制信息只被提供給合成控制部件84。需要注意到，如果用于控制在用戶X操作的用作通訊伙伴的通訊設(shè)備1-2中使用的音頻/視頻合成部件26的控制信息也在同時被產(chǎn)生，控制信息被提供給操作信息輸出部件87。
如上所述，內(nèi)容的圖像和聲響與添加到內(nèi)容的輔助信息都被分析以辨認(rèn)內(nèi)容的類型和/或內(nèi)容的圖像的構(gòu)成特征。然后分析結(jié)果被用作一個根據(jù)用于控制一個進(jìn)程來把內(nèi)容的圖像和聲音與通訊伙伴的圖像和聲音分別進(jìn)行合成。因此可能意識到通訊實時的反映內(nèi)容的實質(zhì)和特征。作為結(jié)果，盡管事實用戶所處地相隔遙遠(yuǎn)，仍可能產(chǎn)生執(zhí)行面對面通訊的效果。
另外，既然可能容易地在任何特殊的通訊設(shè)備中設(shè)置一個作為依照內(nèi)容的實質(zhì)和特征合成操作另一個通訊設(shè)備的另一個用戶的圖像和聲音的進(jìn)程，該進(jìn)程在過去常常是一個既困難又花費時間和勞動的進(jìn)程，用戶可以消去用于操作特殊設(shè)備的時間和執(zhí)行設(shè)置的勞動。
通訊伙伴操作的通訊設(shè)備也可以同樣被控制。
接下來，通過參考圖12展示的流程圖，以下說明解釋通訊設(shè)備1-2執(zhí)行的控制信息接收進(jìn)程，該進(jìn)程接收在圖9展示的流程圖的步驟S24執(zhí)行的進(jìn)程中通訊設(shè)備1-1傳輸?shù)目刂菩畔ⅰ?br> 需要注意的是，圖12所示的流程圖代表的控制信息接收進(jìn)程是當(dāng)遠(yuǎn)程通訊記錄進(jìn)程在圖5所示的流程圖中的步驟S5之后被執(zhí)行的時候，由通訊設(shè)備1-2執(zhí)行的一個進(jìn)程。這就是說，控制信息接收進(jìn)程是一個由通訊設(shè)備1-2依照另一個通訊設(shè)備1-1執(zhí)行的內(nèi)容特征分析得到的結(jié)果來執(zhí)行的混合進(jìn)程。
圖12所示的流程圖以步驟S101開始，在這個步驟中，通訊設(shè)備1-2所使用的通訊部件23從通訊設(shè)備1-1所使用的操作信息輸出部件87中接收控制信息，并提供這個控制信息給對話管理部件81。
然后，再下一個步驟S102中，對話管理部件81產(chǎn)生一個決定結(jié)果來決定從通訊設(shè)備1-1接收的控制信息是否為會產(chǎn)生用戶X不想要的操作和/或效果的信息。如果決定結(jié)果表明該控制信息是會產(chǎn)生用戶X不想要的操作和/或效果的信息，那么對話管理部件81決定拒絕這個信息。最后，控制信息接收進(jìn)程終止了。
讓我們緊記，也可能將通訊設(shè)備1-2設(shè)定成隨意接收或拒絕從通訊設(shè)備1-1來的信息或完全拒絕這種信息。此外，也可能提供一個配置，在其中，如果控制信息被通訊設(shè)備1-2接收，那么通訊設(shè)備1-2自己分析這個信息，同時設(shè)定了已產(chǎn)生的控制信息的排外執(zhí)行的優(yōu)先級或者在通訊設(shè)備之間預(yù)先設(shè)定了主從關(guān)系。
如果在步驟S102執(zhí)行的進(jìn)程中對話管理部件81產(chǎn)生的決定結(jié)果表明，從通訊設(shè)備1-1接收的控制信息不是應(yīng)被拒絕的信息另一方面，控制信息被提供給合成控制部件84。然后，進(jìn)程流繼續(xù)到步驟S103。
在步驟S103中，合成控制部件84依照從控制信息產(chǎn)生部件72接收到的控制信息，為音頻/視頻合成部件26設(shè)定合成模式并為合成模式設(shè)定合成參數(shù)。然后，合成控制部件84控制音頻/視頻合成部件26來把內(nèi)容的一個圖像和聲響與通訊伙伴的用戶的圖像和聲音進(jìn)行合成。最終，控制信息接收進(jìn)程終止了。
如上文所述，也可以不僅僅使用控制信息產(chǎn)生部件72依照通訊設(shè)備本身使用的用戶特征分析部件71執(zhí)行的分析結(jié)果而產(chǎn)生的控制信息，而使用控制信息產(chǎn)生部件72依照另一通訊設(shè)備使用的用戶特征分析部件71執(zhí)行的分析結(jié)果而產(chǎn)生的控制信息。此外，控制信息也可以被拒絕。
從而，由于通訊伙伴所操作的通訊設(shè)備也可以被控制，用戶和某通訊伙伴可以觀看各自的顯示屏，這些顯示屏具有相同的構(gòu)成，除了顯示屏上的子屏顯示彼此不同的圖像。結(jié)果，更自然的交流可以開展了。
需要注意的是，上面的描述假設(shè)每個通訊設(shè)備包括了一個數(shù)據(jù)分析部件28。然而，包含有數(shù)據(jù)分析部件28的服務(wù)器也可以連接到通訊網(wǎng)絡(luò)2作為一個設(shè)備給每個通訊設(shè)備提供控制信息設(shè)備。作為另一個選擇，也可以僅給該服務(wù)器提供內(nèi)容特征分析部件71，這樣一來該服務(wù)器就能夠把分析信息傳遞給一個通訊設(shè)備。
由于如上所述開展遠(yuǎn)程通訊進(jìn)程，與相關(guān)領(lǐng)域中的設(shè)備包括電話機(jī)，電視電話機(jī)，以及遠(yuǎn)程通訊設(shè)備如視頻會議系統(tǒng)相比，可以實現(xiàn)更生動自然的交流。
這就是說，在相關(guān)領(lǐng)域中的交流的例子中，使用相關(guān)領(lǐng)域的一個電視機(jī)來觀看和聽以實時方式發(fā)布的廣播內(nèi)容的用戶X利用一個音頻電話機(jī)將用戶X看到和聽到的廣播內(nèi)容的印象表達(dá)給處在遙遠(yuǎn)地方的用戶A。在這種情況下，沒有看到和聽到廣播內(nèi)容的用戶A難以理解該情景的印象。
然而，通過使用依照本發(fā)明具體裝置的通訊設(shè)備，在彼此相隔遙遠(yuǎn)的地方的用戶A和X能夠同時間共享這個內(nèi)容并且，此外，當(dāng)他們的聲音被對方聽見時，用戶A和X的圖像也可以被復(fù)制在子屏或這之類的東西上面。這樣的話，盡管事實是用戶A和X處在彼此相隔遙遠(yuǎn)的地方，也可能提供一個高度現(xiàn)實感，歸屬感，以及親密感，如同面對面交流開展了一樣。
依照內(nèi)容的實質(zhì)和特征，如把內(nèi)容的圖像和聲響與用戶的聲音和圖像合成起來的進(jìn)程的處理可以被控制。從而，可以不需花費許多時間和人力就輕松設(shè)定通訊設(shè)備的參數(shù)。結(jié)果，更加生動自然的交流可以實現(xiàn)了。
之前描述的由通訊設(shè)備1開展的一系列進(jìn)程可以由硬件和/或執(zhí)行軟件來開展。在這種情況下，圖1所示的通訊設(shè)備1-1和通訊設(shè)備1-2中的每一個一般都是通過類似于如圖13所示的個人計算機(jī)401來實現(xiàn)的。
圖13所示的個人計算機(jī)401中，CPU(中央處理單元)411是一個用于通過執(zhí)行多個預(yù)先保存在ROM(只讀存儲器)412中的或從存儲部件418載入到RAM(隨機(jī)存儲器)413中的程序開展多種處理的構(gòu)件。RAM 413也用于在執(zhí)行程序時正確保存CPU 411產(chǎn)生的數(shù)據(jù)。
CPU 411，ROM 412，和RAM 413通過總線414彼此相互連接?？偩€414也和輸入/輸出接口415連接。
輸入/輸出接口415被連接到輸入部件416，輸出部件417，上文提到的存儲部件418，以及通訊部件419。輸入部件206用于接收用戶輸入的命令，它包括輸入器件如鍵盤和鼠標(biāo)，同時輸出部件207包括一個用于顯示圖像的顯示單元以及一個用于輸出產(chǎn)生的聲響的揚聲器。顯示單元一般為一個CRT(陰極射線管)顯示單元或一個LCD(液晶顯示)單元。存儲部件418一般是一個硬盤驅(qū)動器，包括嵌入的硬盤，用于存儲許多程序和多種數(shù)據(jù)。通訊部件419包括一個調(diào)制解調(diào)器和一個終端適配器，是一個用于通過網(wǎng)絡(luò)，與其他設(shè)備一起開展無線電或有線通訊處理的單元。
輸入/輸出接口415也被連接到驅(qū)動器420，在驅(qū)動器420上架設(shè)了一個記錄媒體。記錄媒體的例子是磁盤421，光盤422，磁光盤423，以及半導(dǎo)體存儲器424。如果必要的話，從記錄媒體讀出的程序被安裝在存儲部件418里面。
就像上面所解釋的，之前描述的由通訊設(shè)備1開展的一系列進(jìn)程可以由硬件和/或執(zhí)行軟件來開展。如果之前描述的一系列進(jìn)程由執(zhí)行軟件來開展，組成這個軟件的程序可以從一些東西，典型的如上文描述的網(wǎng)絡(luò)或記錄媒體，安裝到嵌入在專用硬件，多功能個人計算機(jī)或者類似物質(zhì)之中的計算器中。通過將許多程序安裝到多功能個人計算機(jī)中，個人計算機(jī)就能夠?qū)崿F(xiàn)許多功能。
就像上面所解釋的，如果必要的話，從記錄媒體讀出的程序作為上文提到的軟件，被安裝在存儲部件418中。記錄媒體本身是從通訊設(shè)備1的主要元件分散地分配給用戶。如圖13所示，記錄媒體，也稱為成套組合媒體，例如包括一張軟盤的磁盤421，包括CD-ROM(壓縮光盤只讀存儲器)和DVD(數(shù)字化通用光盤)的光盤422，包括一個MD(微型光盤[商標(biāo)])和一個半導(dǎo)體存儲器424的磁光盤423。作為把程序從插入式媒體安裝到存儲部件418中的另一個選擇，程序也可以預(yù)先保存在ROM 412或嵌入到存儲部件418的硬盤中。
值得注意的是，在本說明書中，上述的任何一個由流程圖說明的程序的步驟，不僅可以按照與時間軸一致的指定順序來執(zhí)行，也可以并行執(zhí)行或單獨執(zhí)行。
也需要注意到，本說明書中使用的技術(shù)術(shù)語“系統(tǒng)”指的是一套包括眾多設(shè)備的配置。
此外，精通這一技術(shù)的人應(yīng)該了解在附加權(quán)利要求的范圍內(nèi)或其等效物的范圍內(nèi)，各種修改，組合，子組合，以及改造可能發(fā)生，視設(shè)計要求和其他因素的情況而定。
權(quán)利要求
1.一個信息處理設(shè)備用于與通過網(wǎng)絡(luò)和該信息處理設(shè)備連接的另一個信息處理設(shè)備通訊，其特征在于，所述信息處理設(shè)備包含復(fù)制裝置，用于和所述另一個信息處理設(shè)備同步地復(fù)制所述信息處理設(shè)備和所述另一個信息處理設(shè)備共有的內(nèi)容數(shù)據(jù)；用戶信息接收裝置，用于接收來自所述另一個信息處理設(shè)備的用戶的聲音和圖像；合成裝置，用于把所述用戶接收裝置接收的聲音和圖像與由所述復(fù)制裝置同步復(fù)制的所述內(nèi)容數(shù)據(jù)的聲音和圖像進(jìn)行合成，作為所述另一個用戶的所述聲音和圖像；特征分析裝置用于分析由所述復(fù)制裝置同步復(fù)制的所述內(nèi)容數(shù)據(jù)的至少一個聲音，所述內(nèi)容數(shù)據(jù)的一個圖像以及為了辨認(rèn)所述內(nèi)容數(shù)據(jù)特征而添加到所述內(nèi)容數(shù)據(jù)的輔助信息；和參數(shù)設(shè)置裝置，用于在由所述特征分析裝置產(chǎn)生的分析結(jié)果的基礎(chǔ)上，設(shè)置用于控制一個由所述合成裝置執(zhí)行來合成聲音和圖像的進(jìn)程的控制參數(shù)。
2.如權(quán)利要求1所述的信息處理設(shè)備，其特征在于，所述特征分析裝置執(zhí)行所述分析以為了辨認(rèn)包括在內(nèi)容數(shù)據(jù)中的一個場景的特征；和所述參數(shù)設(shè)置裝置在由所述特征分析裝置產(chǎn)生的被辨認(rèn)作為分析結(jié)果的所述場景特征的基礎(chǔ)上，設(shè)置用于控制一個由所述合成裝置執(zhí)行來合成聲音和圖像的進(jìn)程的控制參數(shù)。
3.如權(quán)利要求1所述的信息處理設(shè)備，其特征在于，所述特征分析裝置所述執(zhí)行分析以為了辨認(rèn)出包括在內(nèi)容數(shù)據(jù)中的圖像的特征信息位置作為所述圖像的特征；和所述參數(shù)設(shè)置裝置在由所述特征分析裝置產(chǎn)生的作為分析結(jié)果的所述圖象的所述特征信息的所述位置的基礎(chǔ)上，設(shè)置用于控制一個由所述合成裝置執(zhí)行來合成聲音和圖像的進(jìn)程的控制參數(shù)。
4.如權(quán)利要求1所述的信息處理設(shè)備，其特征在于，所述參數(shù)設(shè)置裝置在所述特征分析裝置進(jìn)行的分析結(jié)果的基礎(chǔ)上，設(shè)置所述另一個信息處理設(shè)備的控制參數(shù)；和還設(shè)置送出裝置，用于把所述參數(shù)設(shè)置裝置設(shè)置的所述控制參數(shù)傳送給所述另一個信息處理設(shè)備。
5.一種信息處理設(shè)備采用的信息處理方法，用于和通過網(wǎng)絡(luò)與所述信息處理設(shè)備連接的另一個信息處理設(shè)備通訊的方法，其特征在于，所述信息處理方法包括步驟和另一個所述信息處理設(shè)備同步地復(fù)制所述信息處理設(shè)備和所述另一個信息處理設(shè)備共有的內(nèi)容數(shù)據(jù)；接收來自所述另一個信息處理設(shè)備的另一用戶的聲音和圖像；把所述用戶信息接收步驟執(zhí)行進(jìn)程中接收的聲音和圖像與由所述復(fù)制步驟執(zhí)行進(jìn)程中同步復(fù)制的所述內(nèi)容數(shù)據(jù)的聲音和圖像進(jìn)行作為所述另一個用戶的所述聲音和圖像；分析由所述復(fù)制步驟執(zhí)行的進(jìn)程中同步復(fù)制的所述內(nèi)容數(shù)據(jù)的至少一個聲音，所述內(nèi)容數(shù)據(jù)的一個圖像以及為了辨認(rèn)所述內(nèi)容數(shù)據(jù)特征而添加到所述內(nèi)容數(shù)據(jù)的輔助信息；和在由所述特征分析步驟執(zhí)行的進(jìn)程中產(chǎn)生的分析結(jié)果的基礎(chǔ)上設(shè)置用于控制一個由所述合成步驟執(zhí)行合成聲音和圖像的進(jìn)程的控制參數(shù)。
6.一種用于記錄被計算機(jī)執(zhí)行以和通過網(wǎng)絡(luò)與所述計算機(jī)連接的一個信息處理設(shè)備通訊的程序的記錄媒體，其特征在于，所述程序包括步驟和所述信息處理設(shè)備同步地復(fù)制所述計算機(jī)和所述信息處理設(shè)備共有的內(nèi)容數(shù)據(jù)；接收來自所述信息處理設(shè)備的另一個用戶的聲音和圖像；把由所述復(fù)制步驟執(zhí)行進(jìn)程中同步復(fù)制的所述內(nèi)容數(shù)據(jù)的聲音和圖像與所述用戶信息接收步驟執(zhí)行進(jìn)程中接收的聲音和圖像進(jìn)行合成，作為所述另一個用戶的所述聲音和圖像；分析由所述復(fù)制步驟執(zhí)行的進(jìn)程中同步復(fù)制的所述內(nèi)容數(shù)據(jù)的至少一個聲音，所述內(nèi)容數(shù)據(jù)的一個圖像以及為了辨認(rèn)所述內(nèi)容數(shù)據(jù)特征而添加到所述內(nèi)容數(shù)據(jù)的輔助信息；和在由所述特征分析步驟執(zhí)行的進(jìn)程中產(chǎn)生的分析結(jié)果的基礎(chǔ)上設(shè)置用于控制一個由所述合成步驟執(zhí)行合成聲音和圖像的進(jìn)程的控制參數(shù)。
7.一種被計算機(jī)執(zhí)行以和通過網(wǎng)絡(luò)與所述計算機(jī)連接的一個信息處理設(shè)備通訊的程序，其特征在于，所述程序包括步驟和所述信息處理設(shè)備同步地復(fù)制所述計算機(jī)和所述信息處理設(shè)備共有的內(nèi)容數(shù)據(jù)；接收來自所述信息處理設(shè)備的另一個用戶的聲音和圖像；把由所述復(fù)制步驟執(zhí)行進(jìn)程中同步復(fù)制的所述內(nèi)容數(shù)據(jù)的聲音和圖像與所述用戶信息接收步驟執(zhí)行進(jìn)程中接收的聲音和圖像進(jìn)行合成，作為所述另一個用戶的所述聲音和圖像。分析由所述復(fù)制步驟執(zhí)行的進(jìn)程中同步復(fù)制的所述內(nèi)容數(shù)據(jù)的至少一個聲音，所述內(nèi)容數(shù)據(jù)的一個圖像以及為了辨認(rèn)所述內(nèi)容數(shù)據(jù)特征而添加到所述內(nèi)容數(shù)據(jù)的輔助信息；和在由所述特征分析步驟執(zhí)行的進(jìn)程中產(chǎn)生的分析結(jié)果的基礎(chǔ)上設(shè)置用于控制一個由所述合成步驟執(zhí)行合成聲音和圖像的進(jìn)程的控制參數(shù)。
8.一種信息處理設(shè)備用于和通過所述網(wǎng)絡(luò)與所述信息處理設(shè)備連接的另一個信息處理設(shè)備通訊，其特征在于，所述信息處理設(shè)備包括復(fù)制部件，用于和所述另一個信息處理設(shè)備同步地復(fù)制所述復(fù)制信息處理設(shè)備和所述另一個信息處理設(shè)備共有的內(nèi)容數(shù)據(jù)；用戶信息接收部件，用于接收來自所述另一個信息處理設(shè)備的另一用戶的聲音和圖像；合成部件，用于把所述用戶接收部件接收的聲音和圖像與由所述內(nèi)容復(fù)制部件同步復(fù)制的所述內(nèi)容數(shù)據(jù)的聲音和圖像進(jìn)行合成作為所述另一個用戶的所述聲音和圖像；特征分析部件，用于分析由所述復(fù)制部件同步復(fù)制的所述內(nèi)容數(shù)據(jù)的至少一個聲音，所述內(nèi)容數(shù)據(jù)的一個圖像以及為了辨認(rèn)所述內(nèi)容數(shù)據(jù)特征而添加到所述內(nèi)容數(shù)據(jù)的輔助信息；和參數(shù)設(shè)置部件，用于在由所述特征分析部件產(chǎn)生的分析結(jié)果的基礎(chǔ)上設(shè)置用于控制一個由所述合成部件執(zhí)行來合成聲音和圖像的進(jìn)程的控制參數(shù)。
全文摘要
本發(fā)明提出了一個信息處理設(shè)備，該設(shè)備用于與通過網(wǎng)絡(luò)與該信息處理設(shè)備連接的另一個信息處理設(shè)備通訊。設(shè)備包括用于同步復(fù)制與其他設(shè)備共有的內(nèi)容數(shù)據(jù)的復(fù)制工具，用于接收來自另一個設(shè)備的用戶的聲音和圖像的用戶信息接收工具，用于把用戶接收部件接收的聲音和圖像與由內(nèi)容復(fù)制部件同步復(fù)制的內(nèi)容數(shù)據(jù)的聲音和圖像進(jìn)行合成作為另一個用戶的聲音和圖像的合成工具，用于分析至少由復(fù)制部件同步復(fù)制的內(nèi)容數(shù)據(jù)的一個聲音，內(nèi)容數(shù)據(jù)的一個圖像以及為了辨認(rèn)內(nèi)容數(shù)據(jù)特征而添加到內(nèi)容數(shù)據(jù)的輔助信息的特征分析工具，用于在由特征分析部件產(chǎn)生的分析結(jié)果的基礎(chǔ)上設(shè)置用于控制一個由合成部件執(zhí)行來合成聲音和圖像的進(jìn)程的控制參數(shù)的參數(shù)設(shè)置工具。
文檔編號G06F13/00GK1728817SQ200510088458
公開日2006年2月1日 申請日期2005年7月27日 優(yōu)先權(quán)日2004年7月27日
發(fā)明者阪井祐介, 齊藤直毅, 鎌田干夫 申請人:索尼株式會社