專(zhuān)利名稱(chēng)：多點(diǎn)會(huì)議系統(tǒng)及多點(diǎn)會(huì)議裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多點(diǎn)間通信系統(tǒng)，特別涉及多點(diǎn)會(huì)議系統(tǒng)及多點(diǎn)會(huì)議裝置。
背景技術(shù)：
在以往的多點(diǎn)會(huì)議系統(tǒng)中，作為從參加會(huì)議的多個(gè)會(huì)議終端檢測(cè)發(fā)言人的方法，采用下述兩種方法中的一種，即(1)由多點(diǎn)會(huì)議裝置檢測(cè)發(fā)言人的方法；(2)由會(huì)議終端向多點(diǎn)會(huì)議裝置通知自身終端是發(fā)言人的方法。
不管在上述(1)、(2)中的何種方法中，指定發(fā)言人的多點(diǎn)會(huì)議裝置在直接切換發(fā)言人時(shí)，由于都是在幀間編碼幀(進(jìn)行幀間編碼的幀)的中途進(jìn)入切換的狀態(tài)，因此，發(fā)言人以外的會(huì)議終端在接收到幀內(nèi)編碼幀(進(jìn)行幀間編碼的幀)之前無(wú)法順暢地切換發(fā)言人。
因此，為了切換發(fā)言人圖像，對(duì)作為發(fā)言人的會(huì)議終端進(jìn)行幀內(nèi)編碼幀的發(fā)送或重發(fā)請(qǐng)求。
作為以往的多點(diǎn)會(huì)議系統(tǒng)的一個(gè)例子，可以參考專(zhuān)利文獻(xiàn)1中公開(kāi)的由會(huì)議終端向多點(diǎn)會(huì)議裝置通知自身終端是發(fā)言人的系統(tǒng)。該系統(tǒng)由配置于多個(gè)地點(diǎn)的多個(gè)會(huì)議終端和多個(gè)地點(diǎn)之間的通信控制裝置(多點(diǎn)會(huì)議裝置)構(gòu)成。以往的多點(diǎn)會(huì)議系統(tǒng)如下操作。
(A1)當(dāng)從任意的會(huì)議終端有發(fā)言人切換請(qǐng)求時(shí)，多點(diǎn)會(huì)議裝置對(duì)進(jìn)行請(qǐng)求的會(huì)議終端進(jìn)行請(qǐng)求以發(fā)送或重發(fā)幀內(nèi)編碼幀，并對(duì)參加會(huì)議的其他會(huì)議終端請(qǐng)求凍結(jié)各個(gè)會(huì)議終端所顯示的當(dāng)前圖像，直至接收到從多點(diǎn)會(huì)議裝置發(fā)送的幀內(nèi)編碼幀為止。
(A2)然后，從多點(diǎn)會(huì)議裝置接收了幀內(nèi)編碼幀發(fā)送請(qǐng)求的會(huì)議終端向多點(diǎn)會(huì)議裝置發(fā)送幀內(nèi)編碼幀。另一方面，從多點(diǎn)會(huì)議裝置接收了凍結(jié)請(qǐng)求的會(huì)議終端使正顯示的當(dāng)前圖像凍結(jié)，直到接收幀內(nèi)編碼幀為止。
(A3)從作為發(fā)言人的會(huì)議終端接收了幀內(nèi)編碼幀的多點(diǎn)會(huì)議裝置向其他的會(huì)議終端發(fā)送幀內(nèi)編碼幀，接收到幀內(nèi)編碼幀的發(fā)言人以外的會(huì)議終端解除圖像的凍結(jié)，并通過(guò)幀內(nèi)編碼幀來(lái)切換圖像。
這樣，在以往的多點(diǎn)會(huì)議系統(tǒng)中，從多點(diǎn)會(huì)議裝置向作為發(fā)言人的會(huì)議終端發(fā)送幀內(nèi)編碼幀發(fā)送請(qǐng)求，并從作為發(fā)言人的會(huì)議終端向多點(diǎn)會(huì)議裝置發(fā)送幀內(nèi)編碼幀，由此來(lái)使多點(diǎn)會(huì)議裝置能夠進(jìn)行發(fā)言人切換。
作為與多點(diǎn)會(huì)議系統(tǒng)相關(guān)的出版物，例如在后述的專(zhuān)利文獻(xiàn)2中公開(kāi)了下述多點(diǎn)會(huì)議控制裝置，該多點(diǎn)會(huì)議控制裝置從來(lái)自各個(gè)會(huì)議終端的被復(fù)用的數(shù)據(jù)中檢測(cè)視頻數(shù)據(jù)的圖像頭(picture header)，并僅提取被幀內(nèi)編碼的幀內(nèi)編碼幀視頻數(shù)據(jù)，然后對(duì)提取的幀內(nèi)編碼幀視頻數(shù)據(jù)進(jìn)行合成。另外，在專(zhuān)利文獻(xiàn)3中公開(kāi)了可實(shí)現(xiàn)沒(méi)有不適感的圖像、聲音的切換的多點(diǎn)視頻會(huì)議控制裝置。在該專(zhuān)利文獻(xiàn)3中公開(kāi)了如下結(jié)構(gòu)，即檢測(cè)影像數(shù)據(jù)的幀內(nèi)編碼幀并生成幀內(nèi)編碼幀檢測(cè)信息，然后基于所生成的幀內(nèi)編碼幀檢測(cè)信息，切換為由代表發(fā)言人選定的終端的影像數(shù)據(jù)。另外，在后述的專(zhuān)利文獻(xiàn)4中還公開(kāi)了能夠正確辨別當(dāng)前的發(fā)言人的多點(diǎn)間通信系統(tǒng)。
專(zhuān)利文獻(xiàn)1日本專(zhuān)利申請(qǐng)公開(kāi)公報(bào)特開(kāi)平02-274084號(hào)(第3頁(yè)，圖1)；專(zhuān)利文獻(xiàn)2日本專(zhuān)利申請(qǐng)公開(kāi)公報(bào)特開(kāi)平2001-69474號(hào)(第3頁(yè)，圖1)；專(zhuān)利文獻(xiàn)3日本專(zhuān)利申請(qǐng)公開(kāi)公報(bào)特開(kāi)平2002-176503號(hào)(第3頁(yè)，圖1)；專(zhuān)利文獻(xiàn)4日本專(zhuān)利申請(qǐng)公開(kāi)公報(bào)特開(kāi)平08-331535號(hào)(第2-3頁(yè)，圖1)。

發(fā)明內(nèi)容
然而，上述以往的系統(tǒng)具有如下的問(wèn)題點(diǎn)。
第一問(wèn)題點(diǎn)是當(dāng)會(huì)議終端使用SIP終端時(shí)無(wú)法完全切換為發(fā)言人畫(huà)面。
其原因如下SIP終端是在呼叫處理中使用在IETF標(biāo)準(zhǔn)RFC3261(2543)中規(guī)定的SIP(Session Initiation Protocol，會(huì)話(huà)啟動(dòng)協(xié)議)，從而在IP網(wǎng)絡(luò)上實(shí)時(shí)進(jìn)行雙向多媒體通信的終端，但在媒體傳輸中卻使用支持實(shí)時(shí)傳輸?shù)腞TP(Real-time Transport Protocol，實(shí)時(shí)傳輸協(xié)議)、或不具有重發(fā)步驟的UDP(User Datagram Protocol，用戶(hù)數(shù)據(jù)報(bào)協(xié)議)。
因此，不支持圖像的重發(fā)請(qǐng)求。從而，多點(diǎn)會(huì)議裝置無(wú)法為切換發(fā)言人而向SIP終端請(qǐng)求幀內(nèi)編碼幀，并無(wú)法接受幀內(nèi)編碼幀的重發(fā)，因而無(wú)法進(jìn)行發(fā)言人的完全切換。
第二問(wèn)題點(diǎn)是要順暢地切換發(fā)言人需要較長(zhǎng)時(shí)間。
其原因如下即便由多點(diǎn)會(huì)議裝置進(jìn)行發(fā)言人切換，也因?yàn)樵趶淖鳛橄惹鞍l(fā)言人的SIP終端發(fā)送的幀間編碼幀的中途進(jìn)入切換的狀態(tài)，所以，直到由作為發(fā)言人的SIP終端發(fā)送幀內(nèi)編碼幀，并由發(fā)言人以外的SIP終端接收幀內(nèi)編碼幀為止，無(wú)法完全進(jìn)行發(fā)言人切換。
因此，本發(fā)明的目的在于，提供一種在將SIP終端用作會(huì)議終端的情況下也能夠完全切換為發(fā)言人畫(huà)面的使用多點(diǎn)會(huì)議系統(tǒng)及多點(diǎn)會(huì)議裝置。
本發(fā)明的另一目的在于，提供一種能夠順暢地切換發(fā)言人的多點(diǎn)會(huì)議系統(tǒng)及多點(diǎn)會(huì)議裝置。
在本申請(qǐng)中公開(kāi)的發(fā)明為了達(dá)到上述目的，大概如下構(gòu)成。
通過(guò)將本發(fā)明應(yīng)用到不支持重發(fā)請(qǐng)求功能的SIP(Session InitiationProtocol)終端可參加的多點(diǎn)會(huì)議系統(tǒng)中，使得在切換發(fā)言人時(shí)，在多點(diǎn)會(huì)議裝置中對(duì)來(lái)自切換對(duì)象的SIP終端的圖像數(shù)據(jù)進(jìn)行處理，由此將幀內(nèi)編碼幀作為切換時(shí)的最開(kāi)始的圖像數(shù)據(jù)而發(fā)送給其他參加會(huì)議的SIP終端，從而能夠順暢地進(jìn)行發(fā)言人切換，而不使在SIP終端上顯示的發(fā)言人的圖像切換時(shí)的圖像發(fā)生紊亂。
本發(fā)明的一個(gè)方面涉及的系統(tǒng)是一種多點(diǎn)會(huì)議系統(tǒng)，其包括多個(gè)終端和與多個(gè)終端連接的多點(diǎn)會(huì)議裝置，并通過(guò)接收發(fā)送圖像及聲音來(lái)進(jìn)行會(huì)議，其中，所述多點(diǎn)會(huì)議裝置包括媒體處理部，進(jìn)行發(fā)言人的檢測(cè)；存儲(chǔ)部，保存來(lái)自參加會(huì)議的終端的圖像；以及圖像處理部，當(dāng)在所述媒體處理部中檢測(cè)到發(fā)言人時(shí)，對(duì)所述發(fā)言人的圖像進(jìn)行解碼并對(duì)所述解碼的圖像進(jìn)行再編碼；當(dāng)在所述媒體處理部中檢測(cè)到發(fā)言人時(shí)，所述圖像處理部向發(fā)言人切換時(shí)的圖像幀發(fā)送幀內(nèi)編碼幀。
在發(fā)明中，所述圖像處理部如下構(gòu)成，其包括解碼部，基于所述媒體處理部的發(fā)言人檢測(cè)結(jié)果，對(duì)所述存儲(chǔ)部中保存的發(fā)言人的圖像進(jìn)行解碼；參照?qǐng)D像存儲(chǔ)部，保存由所述解碼部對(duì)所述存儲(chǔ)部中保存的發(fā)言人的最后的圖像進(jìn)行解碼而得的參照?qǐng)D像；以及編碼部，所述編碼部對(duì)下述圖像進(jìn)行再編碼，其中該圖像是指由所述解碼部基于所述參照?qǐng)D像存儲(chǔ)部中保存的參照?qǐng)D像對(duì)在檢測(cè)到發(fā)言人以后所接收的圖像進(jìn)行解碼而得到的圖像；其中，在檢測(cè)到發(fā)言人以后，將所接收的發(fā)言人的圖像的至少第一個(gè)幀編碼為幀內(nèi)編碼幀。
本發(fā)明其他方面的方法是在檢測(cè)到發(fā)言人切換之后，通過(guò)發(fā)言人切換處理單元對(duì)在發(fā)言人檢測(cè)之后接收的圖像數(shù)據(jù)進(jìn)行解碼/再編碼，此時(shí)將開(kāi)始的圖像再編碼為幀內(nèi)編碼幀，將此后的圖像再編碼為幀間編碼幀，然后向發(fā)言人以外的終端發(fā)送圖像數(shù)據(jù)。由此，發(fā)言人以外的終端在切換發(fā)言人時(shí)可從幀內(nèi)編碼幀進(jìn)行解碼。
發(fā)明效果根據(jù)本發(fā)明，通過(guò)在切換發(fā)言人時(shí)發(fā)送幀間編碼幀，可以在切換為發(fā)言人的圖像時(shí)不使圖像發(fā)生紊亂而順暢地進(jìn)行切換。
其原因如下在本發(fā)明中，當(dāng)對(duì)發(fā)言人檢測(cè)之后接收的圖像數(shù)據(jù)進(jìn)行解碼/再編碼時(shí)，將第一個(gè)圖像再編碼為幀內(nèi)編碼幀，而此后再編碼為幀間編碼幀，然后向發(fā)言人以外的SIP終端發(fā)送圖像數(shù)據(jù)。
根據(jù)本發(fā)明，由于不依賴(lài)于會(huì)議終端(軟件)，所以能夠順暢地切換為發(fā)言人的圖像。
其原因如下在本發(fā)明中使用會(huì)議系統(tǒng)裝置來(lái)進(jìn)行圖像切換處理的緣故。
根據(jù)本發(fā)明，即便在實(shí)時(shí)通信的情況下也能夠順暢地進(jìn)行發(fā)言人圖像的切換。
其原因如下在本發(fā)明中由于不請(qǐng)求幀內(nèi)編碼幀的發(fā)送，所以在檢測(cè)到發(fā)言人之后能夠立刻進(jìn)行發(fā)言人切換處理。


圖1是本發(fā)明第一實(shí)施方式的系統(tǒng)結(jié)構(gòu)的示意圖；圖2是本發(fā)明第一實(shí)施方式的多點(diǎn)會(huì)議裝置的結(jié)構(gòu)的示意圖；圖3是用于說(shuō)明本發(fā)明第一實(shí)施方式中的發(fā)言人切換處理的操作的流程圖；圖4是用于說(shuō)明本發(fā)明第二實(shí)施方式中的發(fā)言人切換處理的操作的流程圖；圖5是本發(fā)明第三實(shí)施方式的系統(tǒng)結(jié)構(gòu)的示意圖；圖6是本發(fā)明第三實(shí)施方式的多點(diǎn)會(huì)議裝置的結(jié)構(gòu)的示意圖；圖7是用于說(shuō)明本發(fā)明第三實(shí)施方式中的發(fā)言人切換處理的操作的流程圖。
標(biāo)號(hào)說(shuō)明1 多點(diǎn)會(huì)議裝置2-a～2-c SIP終端3 SIPproxy服務(wù)器4 IP網(wǎng)絡(luò)53 G網(wǎng)6-a～6-c 終端11 RTP接收部12 呼叫處理部13 存儲(chǔ)器14 會(huì)議控制部15 媒體處理部16 RTP發(fā)送部20 圖像處理部21 解碼器(解碼部)22 參照?qǐng)D像存儲(chǔ)器
23 編碼器(編碼部)31 接收部32 發(fā)送部具體實(shí)施方式
下面，參照附圖對(duì)本發(fā)明的優(yōu)選實(shí)施方式進(jìn)行詳細(xì)說(shuō)明。圖1是本發(fā)明第一實(shí)施方式的結(jié)構(gòu)示意圖。
參照?qǐng)D1可知，本發(fā)明第一實(shí)施方式中的系統(tǒng)包括多點(diǎn)會(huì)議裝置1、SIP終端2-a～2-c、SIPproxy服務(wù)器(SIP代理服務(wù)器)3、以及連接這些裝置的IP網(wǎng)絡(luò)4。在圖1中，多點(diǎn)會(huì)議裝置1進(jìn)行媒體數(shù)據(jù)的接收發(fā)送和發(fā)言人切換。SIP終端2-a～2-c將自身終端的圖像/聲音數(shù)據(jù)發(fā)送給多點(diǎn)會(huì)議裝置1，并將從多點(diǎn)會(huì)議裝置1接收的發(fā)言人的圖像/聲音數(shù)據(jù)輸出給設(shè)備。
SIPproxy服務(wù)器3中轉(zhuǎn)SIP終端2-a～2-c和多點(diǎn)會(huì)議裝置1之間的SIP協(xié)議。
圖2是圖1的多點(diǎn)會(huì)議裝置1的結(jié)構(gòu)示意圖。多點(diǎn)會(huì)議裝置1包括RTP接收部11、呼叫處理部12、存儲(chǔ)器13、會(huì)議控制部14、媒體處理部15、RTP發(fā)送部16、以及圖像處理部20。圖像處理部20包括解碼器(解碼部)21、參照?qǐng)D像存儲(chǔ)器22、以及編碼器(編碼部)23。
在圖2中，RTP接收部11接收來(lái)自SIP終端2-a的RTP/UDP/IP分組，并提取RTP有效載荷部。
當(dāng)提取的RTP有效載荷部為SIP協(xié)議時(shí)，將RTP有效載荷傳遞給呼叫處理部12，當(dāng)為媒體數(shù)據(jù)時(shí)，將RTP有效載荷傳遞給媒體處理部15。
呼叫處理部12進(jìn)行會(huì)話(huà)的呼叫處理，并向RTP發(fā)送部16通知可否進(jìn)行呼叫處理的結(jié)果。
并且，向會(huì)議控制部14通知會(huì)議參加者的IP地址、媒體接收端口。
媒體處理部15對(duì)于參加會(huì)議的SIP終端2-a～2-c，混合從自身終端以外的SIP終端發(fā)送來(lái)的媒體。同時(shí)，進(jìn)行發(fā)言人的檢測(cè)，并將發(fā)言人檢測(cè)結(jié)果通知給會(huì)議控制部14。
會(huì)議控制部14對(duì)會(huì)議參加者的IP地址、媒體接收端口等會(huì)議參加者信息進(jìn)行管理。
此外，當(dāng)從媒體處理部15通知了發(fā)言人檢測(cè)結(jié)果時(shí)，會(huì)議控制部14向圖像處理部20通知用于切換發(fā)言人的處理開(kāi)始通知。
圖像處理部20在從會(huì)議控制部14接收到發(fā)言人切換處理開(kāi)始通知后，從存儲(chǔ)器13復(fù)制出存儲(chǔ)器13中存儲(chǔ)的來(lái)自各個(gè)SIP終端的圖像RTP分組數(shù)據(jù)中的、切換對(duì)象者的數(shù)據(jù)。
存儲(chǔ)器13按照每個(gè)終端來(lái)存儲(chǔ)來(lái)自參加會(huì)議的SIP終端2-a～2-c的圖像RTP分組。
圖像處理部20使用解碼器21對(duì)從存儲(chǔ)器13復(fù)制的發(fā)言人切換對(duì)象者的圖像數(shù)據(jù)進(jìn)行解碼。
最后，將解碼后的圖像存儲(chǔ)到參照?qǐng)D像存儲(chǔ)器22中。
此后，解碼器21從RTP接收部11直接復(fù)制發(fā)言人切換對(duì)象者的圖像RTP數(shù)據(jù)，并基于參照?qǐng)D像存儲(chǔ)器22中存儲(chǔ)的參照?qǐng)D像來(lái)進(jìn)行解碼處理，并將解碼圖像傳遞給編碼器23。
編碼器23對(duì)在解碼器21中解碼的圖像進(jìn)行再編碼，并將再編碼的圖像數(shù)據(jù)復(fù)制到媒體處理部15中。
媒體處理部15將從編碼器23復(fù)制的再編碼圖像進(jìn)行混合以發(fā)送給發(fā)言人以外的終端，然后復(fù)制到RTP發(fā)送部16中。
RTP發(fā)送部16將從媒體處理部15傳遞來(lái)的媒體數(shù)據(jù)封裝為RTP/UDP/IP分組，并發(fā)送給SIP終端2-a～2-c。
此外，RTP發(fā)送部16在從呼叫處理部12接收了發(fā)送SIP協(xié)議的請(qǐng)求時(shí)，將SIP協(xié)議封裝為RTP/UDP/IP分組，并發(fā)送給作為對(duì)象的SIP終端2-a～2-c。
圖3是用于說(shuō)明本實(shí)施方式的操作的流程圖。接著，使用圖3的流程圖來(lái)對(duì)本實(shí)施方式的多點(diǎn)會(huì)議裝置的發(fā)言人切換處理操作進(jìn)行詳細(xì)的說(shuō)明。
首先，媒體處理部15總是檢查是否檢測(cè)到了新的發(fā)言人(步驟S1)。
當(dāng)在媒體處理部15中沒(méi)有檢測(cè)到發(fā)言人時(shí)，RTP接收部11分別檢查當(dāng)前的、發(fā)言人以外的會(huì)議參加者的圖像RTP頭(步驟S2)。
對(duì)當(dāng)前的、發(fā)言人以外的會(huì)議參加者的圖像RTP頭進(jìn)行檢查，當(dāng)作為會(huì)議參加者的SIP終端2-a的圖像RTP頭不是幀內(nèi)編碼幀時(shí)(是幀間編碼幀)，RTP接收部11將SIP終端2-a的圖像RTP有效載荷復(fù)制到存儲(chǔ)器13中(步驟S4)。
當(dāng)SIP終端2-a的圖像RTP頭是幀內(nèi)編碼幀時(shí)，RTP接收部11清除為用于SIP終端2-a而復(fù)制在存儲(chǔ)器13中的圖像RTP有效載荷(步驟S3)，并將圖像RTP有效載荷復(fù)制到存儲(chǔ)器13中(步驟S4)。
當(dāng)在媒體處理部15中將SIP終端2-a檢測(cè)為發(fā)言人時(shí)(步驟S1的“是”分支)，圖像處理部20將存儲(chǔ)于存儲(chǔ)器13中的SIP終端2-a的圖像RTP有效載荷的數(shù)據(jù)輸入到解碼器21中(步驟S5)。
解碼器21對(duì)輸入的圖像數(shù)據(jù)進(jìn)行解碼(步驟S6)，并將最后解碼的圖像幀臨時(shí)保存在參照?qǐng)D像存儲(chǔ)器22中(步驟S7)。
在從檢測(cè)發(fā)言人開(kāi)始到將參照?qǐng)D像保存到參照?qǐng)D像存儲(chǔ)器22中的期間，RTP接收部11檢查來(lái)自作為發(fā)言人的SIP終端2-a的圖像RTP頭(步驟S8)，并在SIP終端2-a的圖像RTP頭為幀內(nèi)編碼幀時(shí)，結(jié)束將SIP終端2-a的圖像RTP有效載荷輸入到解碼器21的處理，并將SIP終端2-a的圖像RTP有效載荷轉(zhuǎn)給媒體處理部15，然后結(jié)束發(fā)言人切換處理。
當(dāng)SIP終端2-a的圖像RTP頭不是幀內(nèi)編碼幀時(shí)(是幀間編碼幀)，RTP接收部11將SIP終端2-a的圖像RTP有效載荷輸入到解碼器21中(步驟S9)。
解碼器21基于臨時(shí)保存在參照?qǐng)D像存儲(chǔ)器22中的圖像幀，開(kāi)始對(duì)輸入的圖像RTP有效載荷進(jìn)行解碼(步驟S10)。
解碼后的圖像數(shù)據(jù)被輸入到編碼器23中，并被再次編碼(步驟S11)。
當(dāng)進(jìn)行再編碼時(shí)，編碼器23將第一個(gè)幀編碼為幀內(nèi)編碼幀，此后編碼為幀間編碼幀。然后將再編碼后的圖像數(shù)據(jù)復(fù)制到媒體處理部15中(步驟S12)。
媒體處理部15從RTP接收部11復(fù)制會(huì)議參加者的全部的聲音RTP有效載荷并進(jìn)行混合。并將混合的聲音RTP有效載荷和再編碼圖像數(shù)據(jù)復(fù)制到RTP發(fā)送部16中。RTP發(fā)送部16將從媒體處理部15傳遞來(lái)的圖像和聲音數(shù)據(jù)封裝為RTP/UDP/IP分組，并發(fā)送給發(fā)言人以外的SIP終端2-b、2-c(步驟S13)。
向解碼器21傳遞了一個(gè)圖像幀的RTP接收部11對(duì)作為接下來(lái)接收到的發(fā)言人的SIP終端2-a的圖像RTP頭進(jìn)行檢查(步驟S8)。
當(dāng)發(fā)言人的圖像RTP頭不是幀內(nèi)編碼幀時(shí)(是幀間編碼幀)，繼續(xù)進(jìn)行發(fā)言人切換的處理(步驟S9～S13)，另一方面，當(dāng)為幀內(nèi)編碼幀時(shí)，結(jié)束將SIP終端2-a的圖像RTP有效載荷輸入到解碼器21中的處理，并將SIP終端2-a的圖像RTP有效載荷傳遞給媒體處理部15，然后結(jié)束發(fā)言人切換處理。
接著，參考附圖來(lái)對(duì)本發(fā)明第二實(shí)施方式進(jìn)行詳細(xì)的說(shuō)明。
本發(fā)明第二實(shí)施方式的結(jié)構(gòu)與上述第一實(shí)施方式的結(jié)構(gòu)相同，其與上述第一實(shí)施方式的不同點(diǎn)在于，當(dāng)媒體處理部15檢測(cè)到發(fā)言人時(shí)，根據(jù)來(lái)自媒體處理部15的指示，RTP發(fā)送部16進(jìn)行向作為發(fā)言人的SIP終端2-a發(fā)送SIP方法(INFO方法)的控制，該SIP方法中包含有表示幀內(nèi)編碼幀發(fā)送請(qǐng)求之意的信息。
當(dāng)檢測(cè)到發(fā)言人時(shí)，媒體處理部15將發(fā)言人檢測(cè)結(jié)果通知給會(huì)議控制部14。同時(shí)，媒體處理部15通知RTP發(fā)送部16以向發(fā)言人發(fā)送幀內(nèi)編碼幀發(fā)送請(qǐng)求。
RTP發(fā)送部16向作為發(fā)言人的SIP終端2-a發(fā)送INFO方法，該INFO方法中包含表示幀內(nèi)編碼幀發(fā)送請(qǐng)求之意的信息。
接收了INFO方法的SIP終端2-a根據(jù)請(qǐng)求信息，將下一次發(fā)送的圖像幀編碼為幀內(nèi)編碼幀，并將作為幀內(nèi)編碼幀的圖像分組發(fā)送給多點(diǎn)會(huì)議裝置1。此以后的操作與上述第一實(shí)施方式相同。
圖4是用于說(shuō)明本發(fā)明第二實(shí)施方式的操作的流程圖。參考圖4來(lái)對(duì)本實(shí)施方式的多點(diǎn)會(huì)議裝置1的發(fā)言人切換處理操作進(jìn)行詳細(xì)的說(shuō)明。
圖4所示流程圖中的步驟S21、S22、S23、S24的操作與圖3所示流程圖中的步驟S1、S2、S3、S4的操作相同，因此省略其說(shuō)明。
當(dāng)將SIP終端2-a檢測(cè)為發(fā)言人時(shí)(步驟S21)，通知RTP發(fā)送部16以向發(fā)言人發(fā)送幀內(nèi)編碼幀發(fā)送請(qǐng)求，RTP發(fā)送部16向作為發(fā)言人的SIP終端2-a發(fā)送包含幀內(nèi)編碼幀發(fā)送請(qǐng)求信息的INFO方法(步驟S25)。
將INFO方法發(fā)送給發(fā)言人SIP終端2-a之后的步驟、即步驟S26～S34的操作與上述第一實(shí)施方式的圖3的步驟S5～S13的操作相同，因此省略其說(shuō)明。
這樣，在本實(shí)施方式中，在檢測(cè)到發(fā)言人之后立刻進(jìn)行幀內(nèi)編碼幀發(fā)送請(qǐng)求，因此，不用像上述第一實(shí)施方式那樣要將發(fā)言人切換處理持續(xù)進(jìn)行到從作為發(fā)言人的會(huì)議終端發(fā)送幀內(nèi)編碼幀為止，從而具有能夠更流暢地切換發(fā)言人圖像的作用效果。
在本實(shí)施方式中，SIP方法使用了INFO方法，但也可以使用其他的SIP方法。另外，在幀內(nèi)編碼幀發(fā)送請(qǐng)求中使用了SIP方法，但也可以使用表示幀內(nèi)編碼幀發(fā)送請(qǐng)求之意的其他的指令。
在本實(shí)施方式中，會(huì)議終端在接收幀內(nèi)編碼幀發(fā)送請(qǐng)求之后會(huì)發(fā)送幀內(nèi)編碼幀，但也可以不對(duì)幀內(nèi)編碼幀發(fā)送請(qǐng)求作出反應(yīng)。
接著，參考附圖來(lái)對(duì)本發(fā)明的第三實(shí)施方式進(jìn)行詳細(xì)的說(shuō)明。
圖5、圖6是本發(fā)明第三實(shí)施方式的結(jié)構(gòu)示意圖。本實(shí)施方式在圖1所示的上述第一實(shí)施方式的系統(tǒng)結(jié)構(gòu)的基礎(chǔ)上，還具有3G網(wǎng)5和終端6-a～6-c。另外，在圖2所示的第一實(shí)施方式的多點(diǎn)會(huì)議裝置的功能框圖中，用接收部31和發(fā)送部32分別替換了RTP接收部11和RTP發(fā)送部16，在這一點(diǎn)上有所差別。
在圖5中，終端6-a～6-c是可進(jìn)行圖像及聲音通信的第三代電話(huà)(3G-324M)，3G網(wǎng)5是終端6-a～6-c所連接的網(wǎng)絡(luò)。
多點(diǎn)會(huì)議裝置1通過(guò)進(jìn)行IP網(wǎng)絡(luò)4和3G網(wǎng)5間的不同類(lèi)網(wǎng)絡(luò)連接，在終端2-a～2-c與終端6-a～6-c之間進(jìn)行多點(diǎn)會(huì)議。
在圖6中，接收部31接收來(lái)自終端6-a的數(shù)據(jù)并提取數(shù)據(jù)。當(dāng)所提取的數(shù)據(jù)為呼叫連接Q.931時(shí)，將數(shù)據(jù)傳遞給呼叫處理部12，當(dāng)為媒體數(shù)據(jù)時(shí)，將數(shù)據(jù)傳遞給媒體處理部15。
呼叫處理部12進(jìn)行呼叫連接處理，并將呼叫處理結(jié)果通知給發(fā)送部32。
并且，向會(huì)議控制部14通知作為會(huì)議參加者的終端6-a的電話(huà)號(hào)碼、用戶(hù)ID等。
媒體處理部15對(duì)于參加會(huì)議的SIP終端2-a～2-c和終端6-b、6-c，混合從自身終端以外的會(huì)議終端發(fā)送來(lái)的媒體，但是，當(dāng)在SIP終端2-a～2-c與終端6-a～6-c中使用的圖像、聲音的編解碼器不同時(shí)，在媒體處理部15中先將媒體數(shù)據(jù)解碼，并依照各個(gè)會(huì)議終端的編解碼器進(jìn)行再次編碼，然后進(jìn)行混合。
媒體處理部15同時(shí)進(jìn)行發(fā)言人檢測(cè)，并將發(fā)言人檢測(cè)結(jié)果通知給會(huì)議控制部14，此后進(jìn)行的由存儲(chǔ)器13存儲(chǔ)來(lái)自各個(gè)會(huì)議終端的操作與第一實(shí)施方式的圖2的操作相同，因此省略其說(shuō)明。
圖像處理部20依照由作為發(fā)言人的終端使用的圖像編解碼器，通過(guò)解碼器21來(lái)解碼從存儲(chǔ)器13中復(fù)制的發(fā)言人切換對(duì)象的圖像數(shù)據(jù)。
在將最后解碼的圖像存儲(chǔ)到參照?qǐng)D像存儲(chǔ)器22中后進(jìn)行的、將解碼圖像傳遞給編碼器23的操作與上述第一實(shí)施方式的圖2的操作相同，因此省略其說(shuō)明。
編碼器23對(duì)在解碼器21中解碼的圖像進(jìn)行再次編碼，但依照發(fā)言人以外的會(huì)議終端的圖像編解碼器來(lái)進(jìn)行再次編碼，然后將再編碼的圖像數(shù)據(jù)復(fù)制到媒體處理部15中。媒體處理部15將從編碼器23復(fù)制的依照發(fā)言人以外的會(huì)議終端的圖像編解碼器的再編碼圖像進(jìn)行混合以便發(fā)送給該會(huì)議終端，并復(fù)制到發(fā)送部32中。
發(fā)送部32依照IP網(wǎng)絡(luò)和3G網(wǎng)5的媒體格式而將從媒體處理部15傳遞的媒體數(shù)據(jù)發(fā)送給SIP終端2-a～2-c和終端6-b、6-c。并且，基于從呼叫處理12通知的呼叫處理結(jié)果，通過(guò)呼叫處理Q.931發(fā)送給對(duì)象的終端6-a～6-c。
在SIP終端2-a～2-c的情況下，由于與上述第一實(shí)施方式的操作(參考圖2)相同，所以省略說(shuō)明。
接著，使用圖7的流程圖來(lái)對(duì)本實(shí)施方式的多點(diǎn)會(huì)議裝置1的發(fā)言人切換處理操作進(jìn)行詳細(xì)的說(shuō)明。
首先，媒體處理部15總是檢查是否檢測(cè)到了新的發(fā)言人(步驟S41)。
當(dāng)沒(méi)有檢測(cè)到發(fā)言人時(shí)，接收部31分別檢查當(dāng)前的、發(fā)言人以外的會(huì)議參加者的圖像數(shù)據(jù)(步驟S42)。在當(dāng)前時(shí)刻對(duì)發(fā)言人以外的會(huì)議參加者的每一個(gè)圖像數(shù)據(jù)進(jìn)行檢查，當(dāng)作為會(huì)議參加者的終端6-a的圖像數(shù)據(jù)不是幀內(nèi)編碼幀時(shí)(是幀間編碼幀)，將終端6-a的圖像數(shù)據(jù)復(fù)制到存儲(chǔ)器13中(步驟S44)。
當(dāng)終端6-a的圖像數(shù)據(jù)是幀內(nèi)編碼幀時(shí)，清除為用于終端6-a而復(fù)制在存儲(chǔ)器13中的圖像數(shù)據(jù)(步驟S43)，并將圖像數(shù)據(jù)復(fù)制到存儲(chǔ)器13中(步驟S44)。
當(dāng)將終端6-a檢測(cè)為發(fā)言人時(shí)(步驟S41)，將存儲(chǔ)于存儲(chǔ)器13中的終端6-a的圖像數(shù)據(jù)輸入到解碼器21中(步驟S45)。
解碼器21依照輸入的圖像數(shù)據(jù)的圖像編解碼器來(lái)進(jìn)行解碼(步驟S46)，并將最后解碼的圖像幀臨時(shí)保存在參照?qǐng)D像存儲(chǔ)器22中(步驟S47)。
在從檢測(cè)發(fā)言人開(kāi)始到將參照?qǐng)D像保存到參照?qǐng)D像存儲(chǔ)器22中的期間，接收部31檢查來(lái)自作為發(fā)言人的終端6-a的圖像數(shù)據(jù)(步驟S48)，并在終端6-a的圖像數(shù)據(jù)為幀內(nèi)編碼幀時(shí)，結(jié)束將終端6-a的圖像數(shù)據(jù)輸入到解碼器21中的處理，并將終端6-a的圖像數(shù)據(jù)傳遞給媒體處理部，然后結(jié)束發(fā)言人切換處理。
當(dāng)終端6-a的圖像數(shù)據(jù)不是幀內(nèi)編碼幀時(shí)(是幀間編碼幀)，接收部31將終端6-a的圖像數(shù)據(jù)輸入到解碼器21中(步驟S49)，然后，基于臨時(shí)保存在參照?qǐng)D像存儲(chǔ)器22中的圖像幀，并依照輸入到解碼器21中的圖像數(shù)據(jù)的圖像編解碼器來(lái)開(kāi)始解碼(步驟S50)。
解碼后的圖像數(shù)據(jù)被輸入到編碼器23中，并依照發(fā)言人以外的會(huì)議終端的圖像編解碼器而被再次編碼(步驟S51)。
當(dāng)進(jìn)行再編碼時(shí)，將第一個(gè)幀編碼為幀內(nèi)編碼幀，此后編碼為幀間編碼幀。然后將再編碼后的圖像數(shù)據(jù)復(fù)制到媒體處理部15中(步驟S12)。
媒體處理部15從接收部31復(fù)制會(huì)議參加者的聲音數(shù)據(jù)并解碼，然后依照發(fā)言人以外的會(huì)議終端的聲音編解碼器來(lái)進(jìn)行再編碼并混合。將依照各個(gè)會(huì)議終端的編解碼器而混合的聲音數(shù)據(jù)和再編碼圖像數(shù)據(jù)復(fù)制到發(fā)送部32中。發(fā)送部32將從媒體處理部15傳遞來(lái)的圖像和聲音數(shù)據(jù)變換為可以IP網(wǎng)絡(luò)4、3G網(wǎng)5發(fā)送的格式，然后發(fā)送給作為發(fā)言人以外的會(huì)議終端的SIP終端2-a～2-c和終端6-b、6-c(步驟S53)。
這樣，在本實(shí)施方式中具有如下的作用效果，即通過(guò)可將IP網(wǎng)絡(luò)4和與其不同類(lèi)型的網(wǎng)絡(luò)的3G網(wǎng)5彼此連接的多點(diǎn)會(huì)議裝置1，即便在SIP終端和3G網(wǎng)的終端之間也能夠進(jìn)行多點(diǎn)會(huì)議。
在本實(shí)施方式中，作為與IP網(wǎng)絡(luò)不同類(lèi)型的網(wǎng)絡(luò)，連接的是3G網(wǎng)，但也可以使用ISDN網(wǎng)、網(wǎng)路服務(wù)提供商網(wǎng)(ISP網(wǎng))、公共交換電話(huà)網(wǎng)(PSTN)。
另外，在檢測(cè)到發(fā)言人之后沒(méi)有立刻進(jìn)行幀內(nèi)編碼幀發(fā)送請(qǐng)求，但也可以如第二實(shí)施方式那樣，在檢測(cè)到發(fā)言人之后立刻進(jìn)行幀內(nèi)編碼幀發(fā)送請(qǐng)求。例如，在3G網(wǎng)的終端的情況下，也可以通過(guò)從多點(diǎn)會(huì)議裝置發(fā)送ITU-T標(biāo)準(zhǔn)H.245的Video Fast Update指令來(lái)請(qǐng)求發(fā)送幀內(nèi)編碼幀。
以上通過(guò)上述實(shí)施例來(lái)對(duì)本發(fā)明進(jìn)行了說(shuō)明，但本發(fā)明不限于上述實(shí)施例的結(jié)構(gòu)，勿庸置疑還包括在本發(fā)明的范圍內(nèi)本技術(shù)領(lǐng)域的普通技術(shù)人員所能進(jìn)行的各種變形、修正。
權(quán)利要求
1.一種多點(diǎn)會(huì)議系統(tǒng)，包括多個(gè)終端和與多個(gè)終端連接的多點(diǎn)會(huì)議裝置，并通過(guò)接收發(fā)送圖像及聲音來(lái)進(jìn)行會(huì)議，其特征在于，所述多點(diǎn)會(huì)議裝置包括媒體處理部，進(jìn)行發(fā)言人的檢測(cè)；存儲(chǔ)部，保存來(lái)自參加會(huì)議的終端的圖像；以及圖像處理部，當(dāng)在所述媒體處理部中檢測(cè)到發(fā)言人時(shí)，對(duì)所述發(fā)言人的圖像進(jìn)行解碼并對(duì)所述解碼的圖像進(jìn)行再編碼；其中，當(dāng)在所述媒體處理部中檢測(cè)到發(fā)言人時(shí)，所述圖像處理部向切換發(fā)言人時(shí)的圖像幀發(fā)送幀內(nèi)編碼幀。
2.如權(quán)利要求1所述的多點(diǎn)會(huì)議系統(tǒng)，其特征在于，所述圖像處理部包括解碼部，基于所述媒體處理部的發(fā)言人檢測(cè)結(jié)果，對(duì)所述存儲(chǔ)部中保存的發(fā)言人的圖像進(jìn)行解碼；參照?qǐng)D像存儲(chǔ)部，保存由所述解碼部對(duì)所述存儲(chǔ)部中保存的發(fā)言人的最后的圖像進(jìn)行解碼而得的參照?qǐng)D像；以及編碼部，所述編碼部對(duì)下述圖像進(jìn)行再編碼，其中該圖像是指由所述解碼部基于所述參照?qǐng)D像存儲(chǔ)部中保存的參照?qǐng)D像對(duì)在檢測(cè)到發(fā)言人以后所接收的圖像進(jìn)行解碼而得到的圖像；其中，在檢測(cè)到發(fā)言人以后，將所接收到的發(fā)言人的圖像的至少第一個(gè)幀編碼為幀內(nèi)編碼幀。
3.如權(quán)利要求1所述的多點(diǎn)會(huì)議系統(tǒng)，其特征在于，所述終端和所述多點(diǎn)會(huì)議裝置可使用不具有重發(fā)步驟的通信協(xié)議來(lái)進(jìn)行通信。
4.一種多點(diǎn)會(huì)議裝置，與多個(gè)終端進(jìn)行通信連接，其特征在于，包括媒體處理部，進(jìn)行發(fā)言人的檢測(cè)；存儲(chǔ)部，保存來(lái)自參加會(huì)議的終端的圖像；圖像處理部，當(dāng)檢測(cè)到發(fā)言人時(shí)，對(duì)所述發(fā)言人的圖像進(jìn)行解碼并對(duì)所述解碼的圖像進(jìn)行再編碼；以及發(fā)送部，當(dāng)在所述媒體處理部中檢測(cè)到發(fā)言人時(shí)，向發(fā)言人切換時(shí)的圖像幀發(fā)送被所述圖像處理部再編碼的幀內(nèi)編碼幀。
5.一種圖像處理裝置，設(shè)置于多點(diǎn)會(huì)議裝置中，用于在檢測(cè)到發(fā)言人時(shí)對(duì)發(fā)言人的圖像進(jìn)行解碼/再編碼，所述多點(diǎn)會(huì)議裝置與多個(gè)終端連接，并具有進(jìn)行發(fā)言人檢測(cè)的媒體處理部、以及對(duì)來(lái)自參加會(huì)議的終端的圖像進(jìn)行保存的存儲(chǔ)部，所述圖像處理裝置的特征在于，包括解碼部，基于發(fā)言人檢測(cè)結(jié)果，對(duì)所述存儲(chǔ)部中保存的發(fā)言人的圖像進(jìn)行解碼；參照?qǐng)D像存儲(chǔ)部，保存由所述解碼部對(duì)所述存儲(chǔ)部中保存的發(fā)言人的最后的圖像進(jìn)行解碼而得的參照?qǐng)D像；以及編碼部，所述編碼部對(duì)下述圖像進(jìn)行再編碼，其中該圖像是指由所述解碼部基于所述參照?qǐng)D像存儲(chǔ)部中保存的參照?qǐng)D像對(duì)在檢測(cè)到發(fā)言人以后所接收的圖像進(jìn)行解碼而得到的圖像；其中，在檢測(cè)到發(fā)言人以后，將所接收的發(fā)言人的圖像的至少第一個(gè)幀編碼為幀內(nèi)編碼幀。
6.一種多點(diǎn)會(huì)議系統(tǒng)，連接第一網(wǎng)絡(luò)和與第一網(wǎng)絡(luò)不同類(lèi)型的第二網(wǎng)絡(luò)，其特征在于，包括媒體處理部，進(jìn)行發(fā)言人的檢測(cè)；存儲(chǔ)部，保存來(lái)自參加會(huì)議的終端的圖像；以及圖像處理部，當(dāng)在所述媒體處理部中檢測(cè)到發(fā)言人時(shí)，對(duì)發(fā)言人的圖像進(jìn)行解碼并對(duì)所述解碼的圖像進(jìn)行再編碼；其中，當(dāng)在所述媒體處理部中檢測(cè)到發(fā)言人時(shí)，所述圖像處理部向發(fā)言人切換時(shí)的圖像幀發(fā)送幀內(nèi)編碼幀。
7.一種圖像處理裝置，設(shè)置于多點(diǎn)會(huì)議裝置中，用于在檢測(cè)到發(fā)言人時(shí)對(duì)發(fā)言人的圖像進(jìn)行解碼/再編碼，所述多點(diǎn)會(huì)議裝置與多個(gè)終端連接，并具有檢測(cè)發(fā)言人的媒體處理部，所述圖像處理裝置的特征在于，包括存儲(chǔ)部，根據(jù)在所述媒體處理部中對(duì)發(fā)言人進(jìn)行檢測(cè)的結(jié)果，依照作為發(fā)言人的終端的編解碼器來(lái)存儲(chǔ)圖像；解碼部，對(duì)所述存儲(chǔ)部中保存的發(fā)言人的圖像進(jìn)行解碼；參照?qǐng)D像存儲(chǔ)部，保存由所述解碼部對(duì)所述存儲(chǔ)部中保存的發(fā)言人的最后的圖像進(jìn)行解碼而得的參照?qǐng)D像；以及編碼部，所述編碼部對(duì)下述圖像進(jìn)行再編碼，其中該圖像是指由所述解碼部基于所述參照?qǐng)D像存儲(chǔ)部中保存的參照?qǐng)D像對(duì)在檢測(cè)到發(fā)言人以后所接收的圖像進(jìn)行解碼而得到的圖像；其中，將在檢測(cè)到發(fā)言人以后通過(guò)所述接收部接收的發(fā)言人的圖像的至少第一個(gè)幀編碼為幀內(nèi)編碼幀，從而從連接于不同類(lèi)型的網(wǎng)絡(luò)上的終端發(fā)送的圖像數(shù)據(jù)即便存在多個(gè)也能夠應(yīng)對(duì)。
8.一種發(fā)言人切換方法，用于多點(diǎn)會(huì)議裝置，其特征在于，所述多點(diǎn)會(huì)議裝置具有檢測(cè)發(fā)言人的媒體處理部，以及將在檢測(cè)到發(fā)言人之后在接收部中接收到的第一個(gè)發(fā)言人的圖像編碼為幀內(nèi)編碼幀的圖像處理部，從而通過(guò)向參加會(huì)議的發(fā)言人以外的終端發(fā)送幀內(nèi)編碼幀來(lái)切換發(fā)言人圖像，所述發(fā)言人切換方法包括判定所接收的發(fā)言人的圖像是否為幀內(nèi)編碼幀的步驟；當(dāng)檢測(cè)為幀內(nèi)編碼幀時(shí)，停止所述圖像處理部中的處理，并發(fā)送所接收的發(fā)言人的幀內(nèi)編碼幀的步驟；以及當(dāng)所述發(fā)言人的圖像不是幀內(nèi)編碼幀時(shí)，繼續(xù)進(jìn)行所述圖像處理部的處理的步驟。
9.一種發(fā)言人切換方法，用于與多個(gè)終端連接的多點(diǎn)會(huì)議裝置，其特征在于，包括由所述多點(diǎn)會(huì)議裝置在檢測(cè)到發(fā)言人時(shí)向終端發(fā)送幀內(nèi)編碼幀發(fā)送請(qǐng)求的步驟；以及由從所述多點(diǎn)會(huì)議裝置接收到了幀內(nèi)編碼幀發(fā)送請(qǐng)求的終端向所述多點(diǎn)會(huì)議裝置發(fā)送幀內(nèi)編碼幀的步驟。
10.一種發(fā)言人切換方法，用于多點(diǎn)會(huì)議裝置，其特征在于，所述多點(diǎn)會(huì)議裝置通過(guò)由圖像處理部將在檢測(cè)到發(fā)言人以后在接收部中接收到的第一個(gè)發(fā)言人的圖像編碼為幀內(nèi)編碼幀，來(lái)向參加會(huì)議的發(fā)言人以外的終端發(fā)送幀內(nèi)編碼幀，從而控制發(fā)言人圖像的切換，所述發(fā)言人切換方法包括當(dāng)檢測(cè)出在接收部接收的發(fā)言人的圖像是幀內(nèi)編碼幀時(shí)，停止所述圖像處理部的處理，并發(fā)送由所述接收部接收的發(fā)言人的幀內(nèi)編碼幀的步驟；以及當(dāng)檢測(cè)出發(fā)言人的圖像不是幀內(nèi)編碼幀時(shí)，繼續(xù)進(jìn)行所述圖像處理部的處理的步驟；從而，從連接于不同類(lèi)型的網(wǎng)絡(luò)上的終端發(fā)送的圖像數(shù)據(jù)即便存在多個(gè)也能夠應(yīng)對(duì)。
11.一種發(fā)言人切換方法，其特征在于，包括由多點(diǎn)會(huì)議裝置從連接于不同類(lèi)型的網(wǎng)絡(luò)上的多個(gè)終端中檢測(cè)發(fā)言人的步驟；由所述多點(diǎn)會(huì)議裝置基于所述發(fā)言人檢測(cè)結(jié)果，向終端發(fā)送幀內(nèi)編碼幀發(fā)送請(qǐng)求的步驟；以及由接收了幀內(nèi)編碼幀發(fā)送請(qǐng)求的終端向所述多點(diǎn)會(huì)議裝置輸出幀內(nèi)編碼幀的步驟。
12.一種發(fā)言人切換方法，其特征在于，包括由與多個(gè)終端連接的多點(diǎn)會(huì)議裝置檢測(cè)發(fā)言人的切換的步驟；以及由所述多點(diǎn)會(huì)議裝置在檢測(cè)到所述發(fā)言人之后對(duì)在發(fā)言人檢測(cè)之后接收的圖像數(shù)據(jù)進(jìn)行解碼后再次進(jìn)行編碼，并在此時(shí)將第一個(gè)圖像再編碼為幀內(nèi)編碼幀，將此后的圖像再編碼為幀間編碼幀，然后向發(fā)言人以外的終端發(fā)送圖像數(shù)據(jù)的步驟；從而，發(fā)言人以外的所述終端在切換發(fā)言人時(shí)能夠從幀內(nèi)編碼幀進(jìn)行解碼。
13.一種多點(diǎn)會(huì)議裝置，與多個(gè)終端連接，其特征在于，包括檢測(cè)部，檢測(cè)發(fā)言人的切換；以及圖像處理部，在檢測(cè)到所述發(fā)言人之后對(duì)在發(fā)言人檢測(cè)之后接收的圖像數(shù)據(jù)進(jìn)行解碼后再次進(jìn)行編碼，并在此時(shí)將第一個(gè)圖像再編碼為幀內(nèi)編碼幀，將此后的圖像再編碼為幀間編碼幀，然后向發(fā)言人以外的終端發(fā)送圖像數(shù)據(jù)；從而，發(fā)言人以外的所述終端在切換發(fā)言人時(shí)能夠從幀內(nèi)編碼幀進(jìn)行解碼。
14.一種多點(diǎn)會(huì)議裝置，其特征在于，包括接收部，從通信連接的終端接收分組；發(fā)送部，對(duì)發(fā)送分組進(jìn)行發(fā)送；呼叫處理部，進(jìn)行呼叫處理；媒體處理部，進(jìn)行發(fā)言人的檢測(cè)；會(huì)議控制部，對(duì)會(huì)議參加者信息進(jìn)行管理；存儲(chǔ)部，將來(lái)自參加會(huì)議的終端的圖像數(shù)據(jù)與終端對(duì)應(yīng)地存儲(chǔ)起來(lái)；以及圖像處理部，包含解碼部、參照?qǐng)D像存儲(chǔ)部、以及編碼部；其中，所述會(huì)議控制部在從所述媒體處理部接收到發(fā)言人檢測(cè)結(jié)果的通知時(shí)，向所述圖像處理部通知用于切換發(fā)言人的處理開(kāi)始通知，所述圖像處理部在從所述會(huì)議控制部接收到所述用于切換發(fā)言人的處理開(kāi)始通知后，從所述存儲(chǔ)部中復(fù)制出所述存儲(chǔ)部中所存儲(chǔ)的來(lái)自終端的圖像數(shù)據(jù)中的、切換對(duì)象者等的存儲(chǔ)圖像數(shù)據(jù)，并在解碼部中進(jìn)行解碼，然后將最后解碼的圖像作為參照?qǐng)D像而存儲(chǔ)到所述參照?qǐng)D像存儲(chǔ)部中，進(jìn)而，從所述接收部取得切換對(duì)象者的圖像數(shù)據(jù)，并且在所述圖像數(shù)據(jù)不是幀內(nèi)編碼幀時(shí)，將所述圖像數(shù)據(jù)輸入到所述解碼部中，然后在所述編碼部中基于存儲(chǔ)在所述參照?qǐng)D像存儲(chǔ)部中的所述參照?qǐng)D像來(lái)進(jìn)行解碼處理，并在所述編碼部中對(duì)所述解碼的圖像數(shù)據(jù)進(jìn)行再編碼，然后將所述再編碼的圖像數(shù)據(jù)傳遞給所述媒體處理部，所述媒體處理部將所述再編碼的圖像數(shù)據(jù)混合后傳遞給所述發(fā)送部，以發(fā)送給發(fā)言人以外的終端，所述發(fā)送部將來(lái)自所述媒體處理部的圖像數(shù)據(jù)封裝為分組，然后發(fā)送給所述終端。
15.如權(quán)利要求14所述的多點(diǎn)會(huì)議裝置，其特征在于，在從所述媒體處理部進(jìn)行發(fā)言人的檢測(cè)開(kāi)始到由所述圖像處理部將所述參照?qǐng)D像保存到所述參照?qǐng)D像存儲(chǔ)部為止的期間，所述接收部檢查從發(fā)言人的終端接收的圖像數(shù)據(jù)，并在所述圖像數(shù)據(jù)為幀內(nèi)編碼幀時(shí)，結(jié)束所述圖像數(shù)據(jù)向所述解碼部的輸入，將所述圖像數(shù)據(jù)傳遞給所述媒體處理部，然后結(jié)束發(fā)言人切換處理。
16.一種發(fā)言人切換方法，其是基于與多個(gè)終端連接的會(huì)議裝置的方法，其特征在于，包括將來(lái)自參加會(huì)議的終端的圖像數(shù)據(jù)存儲(chǔ)到存儲(chǔ)部中的步驟；進(jìn)行發(fā)言人的檢測(cè)的步驟；當(dāng)進(jìn)行發(fā)言人檢測(cè)時(shí)，對(duì)所述存儲(chǔ)部中存儲(chǔ)的切換對(duì)象發(fā)言人的圖像數(shù)據(jù)進(jìn)行解碼，并將最后解碼的圖像作為參照?qǐng)D像而存儲(chǔ)到參照?qǐng)D像存儲(chǔ)部中的步驟；在發(fā)言人檢測(cè)之后，判斷從發(fā)言人的終端接收的圖像數(shù)據(jù)是否為幀內(nèi)編碼幀的步驟；當(dāng)不是幀內(nèi)編碼幀時(shí)，基于存儲(chǔ)在所述參照?qǐng)D像存儲(chǔ)部中的所述參照?qǐng)D像，進(jìn)行所述圖像數(shù)據(jù)的解碼處理，并對(duì)所述解碼的圖像數(shù)據(jù)進(jìn)行再編碼，此時(shí)，將來(lái)自發(fā)言人切換時(shí)的所述發(fā)言人的終端的第一個(gè)圖像數(shù)據(jù)再編碼為幀內(nèi)編碼幀，并向發(fā)言人以外的參加會(huì)議的終端發(fā)送所述再編碼的圖像數(shù)據(jù)的步驟；以及當(dāng)是幀內(nèi)編碼幀時(shí)，向發(fā)言人以外的參加會(huì)議的終端發(fā)送從所述發(fā)言人的終端接收到的幀內(nèi)編碼幀的步驟。
17.一種發(fā)言人切換方法，其特征在于，包括第一步驟，當(dāng)進(jìn)行發(fā)言人切換時(shí)，對(duì)從切換對(duì)象發(fā)言人的終端接收到的、被編碼的圖像數(shù)據(jù)進(jìn)行解碼；以及第二步驟，對(duì)所述解碼的圖像數(shù)據(jù)進(jìn)行再編碼；其中，在所述第二步驟中，當(dāng)進(jìn)行再編碼時(shí)，將來(lái)自切換發(fā)言人時(shí)的發(fā)言人的終端的第一個(gè)圖像數(shù)據(jù)編碼為幀內(nèi)編碼幀，當(dāng)進(jìn)行發(fā)言人切換時(shí)，向發(fā)言人以外的參加會(huì)議的終端發(fā)送幀內(nèi)編碼幀。
18.一種會(huì)議系統(tǒng)，其特征在于，包括解碼單元，當(dāng)進(jìn)行發(fā)言人切換時(shí)，對(duì)從切換對(duì)象發(fā)言人的終端發(fā)送過(guò)來(lái)的編碼圖像數(shù)據(jù)進(jìn)行解碼；以及編碼單元，對(duì)所述解碼的圖像數(shù)據(jù)進(jìn)行再編碼；其中，所述編碼單元在進(jìn)行再編碼時(shí)，將來(lái)自切換發(fā)言人時(shí)的發(fā)言人的終端的第一個(gè)圖像數(shù)據(jù)編碼為幀內(nèi)編碼幀，當(dāng)進(jìn)行發(fā)言人切換時(shí)，向發(fā)言人以外的參加會(huì)議的終端發(fā)送幀內(nèi)編碼幀。
全文摘要
本發(fā)明提供了一種可將SIP終端用作會(huì)議終端的多點(diǎn)會(huì)議系統(tǒng)及多點(diǎn)會(huì)議裝置，在該系統(tǒng)中，當(dāng)檢測(cè)到發(fā)言人時(shí)，不向會(huì)議終端請(qǐng)求幀內(nèi)編碼幀的發(fā)送就能夠完全且順暢地進(jìn)行發(fā)言人切換。本發(fā)明的多點(diǎn)會(huì)議裝置先將來(lái)自參加會(huì)議的會(huì)議終端的圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器(13)中，并具有圖像處理部，該圖像處理部在由媒體處理部(15)檢測(cè)到發(fā)言人時(shí)，對(duì)存儲(chǔ)器(13)中存儲(chǔ)的發(fā)言人的圖像數(shù)據(jù)進(jìn)行解碼并對(duì)所述解碼的圖像進(jìn)行再編碼。當(dāng)進(jìn)行發(fā)言人切換時(shí)，圖像處理部將第一個(gè)圖像編碼為幀內(nèi)編碼幀，然后向發(fā)言人以外的會(huì)議終端發(fā)送圖像數(shù)據(jù)，由此，發(fā)言人以外的會(huì)議終端可從幀內(nèi)編碼幀進(jìn)行解碼，從而能夠完全且順暢地進(jìn)行發(fā)言人切換。
文檔編號(hào)H04N7/14GK1934861SQ20058000947
公開(kāi)日2007年3月21日 申請(qǐng)日期2005年3月22日 優(yōu)先權(quán)日2004年3月25日
發(fā)明者松本晃一, 小澤一范 申請(qǐng)人:日本電氣株式會(huì)社