專利名稱：多點(diǎn)播放會(huì)議裝置及多點(diǎn)播放會(huì)議程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及電視會(huì)議裝置、電視會(huì)議系統(tǒng)及電視會(huì)議系統(tǒng)的控制方法，特別涉及縮短向從途中參加會(huì)議的參加者顯示會(huì)議參加者的圖像的時(shí)間的電視會(huì)議裝置、電視會(huì)議系統(tǒng)及電視會(huì)議系統(tǒng)的控制方法。
現(xiàn)有技術(shù)現(xiàn)在，為了在多個(gè)地點(diǎn)間舉行的電視會(huì)議，需要使用被稱作MCU(Multipoint Control Unit)的將多個(gè)地點(diǎn)的圖像、聲音進(jìn)行多路傳送的裝置。
但是，近年隨著互聯(lián)網(wǎng)的普及，能夠利用被稱作多點(diǎn)播放的的組多重功能，通過使用了這種多點(diǎn)播放，不必預(yù)備MCU等特別的裝置，也能夠進(jìn)行多地點(diǎn)的電子會(huì)議。
圖1，圖2是表示了具有代表性的采用了圖像及聲音的多點(diǎn)播放電視會(huì)議系統(tǒng)的結(jié)構(gòu)的例子。圖1表示的是與網(wǎng)絡(luò)的連接圖，圖2是表示終端裝置簡(jiǎn)略結(jié)構(gòu)的功能框圖。從各個(gè)終端裝置12-1～12-x發(fā)出的聲音及圖像通過網(wǎng)絡(luò)向所有其他的終端裝置12-1～12-x進(jìn)行多點(diǎn)發(fā)送，各個(gè)終端裝置12-1～12-x將接收的聲音和圖像個(gè)別或者合成后顯示出來，通過這樣方式，能夠使電視會(huì)議的實(shí)現(xiàn)成為可能。。
電視會(huì)議系統(tǒng)由于受到通信容量的限制，通常將聲音及圖像經(jīng)壓縮編碼后傳輸。具有代表性的圖像壓縮編碼方式有H.261方式，MPEG1方式等。這些方式是有選擇地切換使用將像素值按原樣編碼的幀內(nèi)編碼圖像和對(duì)參照幀的差分編碼的幀間預(yù)測(cè)的編碼圖像。對(duì)于移動(dòng)、變化很少的圖像，因當(dāng)前幀與前面幀非常相似，使用將當(dāng)前幀與前面幀的差分編碼的而通過幀間預(yù)測(cè)編碼圖像，減少了時(shí)間的冗余度。對(duì)于移動(dòng)大而且顯著的圖像或進(jìn)行圖像切換時(shí)，幀間的關(guān)連性很小，使用將像素值按原樣編碼的幀內(nèi)編碼圖像是有效的。而一般的電視會(huì)議，移動(dòng)并沒有多大，所以開始時(shí)傳輸幀內(nèi)編碼圖像，而以后傳輸幀間預(yù)測(cè)編碼圖像。
第1，現(xiàn)有的多點(diǎn)播放會(huì)議裝置，有如下問題中途有終端參加進(jìn)來時(shí)，接收的是到那時(shí)為止的數(shù)據(jù)即幀間預(yù)測(cè)編碼圖像，所以從一開始就接收了幀間預(yù)測(cè)編碼圖像的中途參加終端，因?yàn)闆]有參照?qǐng)D像(幀內(nèi)編碼圖像)，無法顯示正常的圖像，或者，到接收下次幀內(nèi)編碼圖像為止這一段時(shí)間內(nèi)無法顯示圖像。
第2存在下述問題參加終端的處理能力不同的情況下，必須設(shè)定無論哪一個(gè)參加終端都能夠進(jìn)行處理地范圍以內(nèi)的設(shè)定值，而由于有中途參加又存在著必須將這個(gè)設(shè)定值進(jìn)行變更的問題。

發(fā)明內(nèi)容
本發(fā)明就是為了解決這些問題，具備如下功能在會(huì)議舉行中間有參加的終端(中途參加終端)的場(chǎng)合，發(fā)出其中途參加信息，而其他終端(已參加終端)接收、檢測(cè)其信息，這時(shí)，已參加終端發(fā)送數(shù)據(jù)時(shí)不是幀間預(yù)測(cè)編碼圖像而是發(fā)送幀內(nèi)編碼圖像(I幀)。這樣，用多點(diǎn)播放會(huì)議裝置，即使對(duì)于中途參加的終端也能夠順利進(jìn)行圖像顯示(將會(huì)議的圖像在短時(shí)間內(nèi)顯示)，順利地召開多地點(diǎn)的電視會(huì)議。
本發(fā)明還具備如下功能保持正在參加會(huì)議及以后參加會(huì)議的終端的處理能力信息，對(duì)照它們，變更為哪個(gè)終端都能處理的編碼參數(shù)。這樣，即使在由于有中途參加而需要變更編碼參數(shù)時(shí)，可以進(jìn)行無論在哪個(gè)終端都能處理的變更。
另外，本發(fā)明的特征在于對(duì)于正在參加會(huì)議及以后參加會(huì)議的終端設(shè)置重要度附加功能，涉及重要的數(shù)據(jù)時(shí)進(jìn)行編碼參數(shù)的變更。由此，對(duì)各個(gè)終端可以根據(jù)重要度進(jìn)行編碼，具有進(jìn)行會(huì)議時(shí)，對(duì)重要項(xiàng)目可以進(jìn)行明確的討論的優(yōu)點(diǎn)。
本發(fā)明還具備如下功能為了避免由中途參加或終端性能差別的調(diào)整等所引起的I幀同時(shí)傳輸所帶來的頻帶超出，對(duì)終端的優(yōu)先度進(jìn)行管理，從優(yōu)先度高的終端傳輸I幀。這樣，盡快顯示優(yōu)先度高的終端的圖像，而其他會(huì)議參加者在其后顯示等，對(duì)網(wǎng)絡(luò)的頻帶不會(huì)產(chǎn)生壓力，可以盡快顯示優(yōu)先度高的圖像。
因此，本發(fā)明的第1目的是縮短多點(diǎn)播放會(huì)議裝置的在中途參加終端顯示接收?qǐng)D像的所用時(shí)間。
第2目的是即使由于有中途參加會(huì)議者，使其中一部分終端不能以到此為止所用的編碼參數(shù)進(jìn)行處理的情況出現(xiàn)時(shí)，也能進(jìn)行對(duì)應(yīng)。
本發(fā)明的上述目的及優(yōu)點(diǎn)，通過參照附圖進(jìn)行說明的以下的實(shí)施方式會(huì)更加明了。


圖1為表示現(xiàn)有的多點(diǎn)播放多地點(diǎn)會(huì)議系統(tǒng)與網(wǎng)絡(luò)的連接圖的功能框圖。
圖2為表示現(xiàn)有的多點(diǎn)播放多地點(diǎn)會(huì)議系統(tǒng)的終端裝置簡(jiǎn)略結(jié)構(gòu)的功能框圖。
圖3為表示本發(fā)明實(shí)施方式1所涉及的多點(diǎn)播放會(huì)議裝置的概結(jié)構(gòu)的功能框圖。
圖4為表示上述實(shí)施方式1中的發(fā)送源信息的數(shù)據(jù)構(gòu)造圖。
圖5為表示上述實(shí)施方式中加入了接收通知檢測(cè)裝置的多點(diǎn)播放會(huì)議裝置的簡(jiǎn)略結(jié)構(gòu)的功能框圖。
圖6為表示上述實(shí)施方式中加入了網(wǎng)絡(luò)誤差率測(cè)定裝置的多點(diǎn)播放會(huì)議裝置的簡(jiǎn)略結(jié)構(gòu)的功能框圖。
圖7為表示上述實(shí)施方式中使用了多點(diǎn)播放的中途參加通知的方法圖。
圖8為表示上述實(shí)施方式中使用了一點(diǎn)播放的中途參加通知的方法圖。
圖9為表示本發(fā)明中被輸送的圖像編碼形式的圖，圖9(a)為表示在沒有中途參加者的狀態(tài)下進(jìn)行多點(diǎn)播放會(huì)議時(shí)的圖像編碼形式的圖，圖9(b)為表示在會(huì)議進(jìn)行中檢測(cè)出中途參加通知的情況下，從在P畫面的編碼向在I畫面的編碼變更編碼形式的狀態(tài)圖。
圖10為表示本發(fā)明實(shí)施方式2所涉及的多點(diǎn)播放會(huì)議裝置的簡(jiǎn)略結(jié)構(gòu)的功能框圖。
圖11為表示上述實(shí)施方式2中重要度信息的數(shù)據(jù)構(gòu)造圖。
圖12為表示上述實(shí)施方式2中保持圖像編碼信息的表的結(jié)構(gòu)和處于終端中途參加、中途退出狀態(tài)及這時(shí)會(huì)議所用的圖像編碼形式的一個(gè)例子圖。
圖13為表示本發(fā)明實(shí)施方式3所涉及的多點(diǎn)播放會(huì)議裝置的簡(jiǎn)略結(jié)構(gòu)的功能框圖。
圖14為表示本發(fā)明實(shí)施方式4所涉及的多點(diǎn)播放會(huì)議裝置(便攜式電話)的簡(jiǎn)略結(jié)構(gòu)的功能框圖。
實(shí)施方式以下用圖3到圖14對(duì)本發(fā)明的實(shí)施方式進(jìn)行說明。但是，本發(fā)明并不限于這些實(shí)施方式，只要在不脫離其主旨的范圍內(nèi)，能夠進(jìn)行各種形式的實(shí)施方式。
實(shí)施方式1首先，對(duì)圖像在會(huì)議中途參加終端上也能順利地顯示的結(jié)構(gòu)進(jìn)行說明。圖3是表示本發(fā)明的多點(diǎn)播放多電視會(huì)議裝置(以下，有時(shí)只稱為終端裝置)的實(shí)施方式1的簡(jiǎn)略結(jié)構(gòu)的功能框圖。圖3中，100是終端裝置，這個(gè)終端裝置與圖1所示系統(tǒng)一樣，使用它與網(wǎng)絡(luò)連接。這個(gè)終端裝置100將從圖像輸入裝置101得到的圖像數(shù)據(jù)送到圖像編碼裝置102，在圖像編碼裝置102將被輸入的圖像數(shù)據(jù)壓縮編碼，再送到圖像發(fā)送裝置103，在圖像發(fā)送裝置103將被壓縮編碼圖像數(shù)據(jù)發(fā)送到網(wǎng)絡(luò)。這時(shí)圖像編碼裝置102從中途參加終端檢測(cè)裝置113得到中途參加信息，變更編碼方法。
同樣，終端裝置100，將從聲音輸入裝置104得到的聲音數(shù)據(jù)，送到聲音編碼裝置105，在聲音編碼裝置105將送來的聲音數(shù)據(jù)進(jìn)行壓縮編碼，再送到聲音發(fā)送裝置106，在聲音發(fā)送裝置106將被壓縮編碼聲音數(shù)據(jù)發(fā)送到網(wǎng)絡(luò)。另外，圖像接收裝置107通過網(wǎng)絡(luò)，接收從其他終端送來的被壓縮編碼圖像數(shù)據(jù)，送到圖像解碼裝置108。圖像解碼裝置108只準(zhǔn)備相應(yīng)于其他的終端裝置數(shù)目的數(shù)量，將接收的被壓縮編碼圖像數(shù)據(jù)按終端分別解碼，再送到圖像顯示裝置109，圖像顯示裝置109也同樣只準(zhǔn)備相應(yīng)于其他的終端裝置數(shù)目的數(shù)量，分別顯示各個(gè)終端的圖像。
同樣，聲音接收裝置110通過網(wǎng)絡(luò)接收其他終端送來的經(jīng)壓縮編碼的數(shù)據(jù)，然后將其送到聲音解碼裝置111中。聲音解碼裝置111只準(zhǔn)備了相應(yīng)于其他終端裝置數(shù)目的數(shù)量，將送來的壓縮編碼聲音數(shù)據(jù)分別按各個(gè)終端進(jìn)行解碼再送到聲音輸出裝置112中。聲音輸出裝置112也同樣只準(zhǔn)備了相應(yīng)的其他終端裝置數(shù)目的數(shù)量，分別輸出各個(gè)終端的聲音。中途參加通知裝置114在終端裝置中途參加時(shí)，向網(wǎng)絡(luò)輸出中途參加信息。圖4表示發(fā)送的圖像包中，附加了發(fā)送源信息的圖像數(shù)據(jù)包的一個(gè)例子。這里，在進(jìn)行中途參加通知時(shí)，作為中途參加通知的數(shù)據(jù)的一個(gè)例子，有將被通知目的地的地址信息、與中途參加終端的發(fā)送信息源并列等形式。
圖5是表示加入了接收通知檢測(cè)裝置的簡(jiǎn)略結(jié)構(gòu)的塊狀圖。圖5中，116是在中途參加終端接收了其他的會(huì)議終端送來的幀內(nèi)編碼圖像時(shí)，發(fā)送接收通知的接收通知發(fā)送裝置，115是接收中途參加終端從接收通知發(fā)送裝置116發(fā)送出的接收通知的(其他)會(huì)議終端的接收通知接收裝置(后面將詳細(xì)敘述)。
圖6是表示加入了網(wǎng)絡(luò)誤差率測(cè)定裝置的簡(jiǎn)略結(jié)構(gòu)的塊狀功能圖。圖6中，117是將從圖像接收裝置107得到的圖像數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)誤差率測(cè)定的網(wǎng)絡(luò)誤差率測(cè)定裝置(后面將詳細(xì)敘述)。
圖7表示了使用多點(diǎn)播放的中途參加通知的方法。圖8表示使用一點(diǎn)播放的中途參加通知的方法。另外，圖9(a)、圖9(b)表示通過圖像編碼裝置102將傳送來的圖像信號(hào)進(jìn)行編碼的編碼形式。這里面，圖9(a)為表示以往使用的且在本發(fā)明中也是在沒有中途參加的狀態(tài)下進(jìn)行多點(diǎn)播放會(huì)議的情況下使用的被傳送的圖像信號(hào)的編碼形式圖。圖9(b)為表示本發(fā)明所采用的，會(huì)議進(jìn)行中檢測(cè)有中途參加通知時(shí)，按P畫面編碼的圖像變更為按I畫面的編碼方式的編碼形式變更狀態(tài)的圖。在圖9(a)、圖9(b)中，I是I畫面，(幀內(nèi)編碼圖像)，P是P畫面(幀之間按正向預(yù)測(cè)編碼圖像)。
對(duì)于如上所述構(gòu)成的終端裝置，下面說明它是如何動(dòng)作的。通過攝像機(jī)等圖像輸入裝置101輸入的圖像數(shù)據(jù)，被送到圖像編碼裝置102，在圖像編碼裝置102，根據(jù)中途參加終端檢測(cè)裝置113的信息如后面所敘述的那樣變更編碼形式，將圖像壓縮編碼。經(jīng)壓縮編碼圖像數(shù)據(jù)從圖像發(fā)送裝置103用多點(diǎn)播放發(fā)送到網(wǎng)絡(luò)。
通過麥克風(fēng)等聲音輸出裝置104輸入的聲音數(shù)據(jù)，被送到聲音編碼裝置105。在聲音編碼裝置105，將聲音數(shù)據(jù)壓縮編碼。經(jīng)壓縮編碼聲音數(shù)據(jù)從聲音發(fā)送裝置106用多點(diǎn)播放發(fā)送到網(wǎng)絡(luò)。從其他的終端傳輸來的圖像數(shù)據(jù)，通過網(wǎng)絡(luò)由圖像接收裝置107接收。但是，在圖像接收裝置107是將圖像數(shù)據(jù)的發(fā)送源信息作為參考，將接收的圖像數(shù)據(jù)分別發(fā)送到與其他終端裝置相對(duì)應(yīng)的圖像解碼裝置108-1～n中。這里所說的發(fā)送源信息如圖4所示，可以舉出被埋入發(fā)送數(shù)據(jù)中發(fā)送的一例子。圖像解碼裝置108-1～n只準(zhǔn)備相當(dāng)于了其他終端裝置的數(shù)目的數(shù)量，分別將圖像數(shù)據(jù)進(jìn)行解碼，再送到圖像顯示裝置109-1～n中。同樣，在圖像顯示裝置109-1～n中也只準(zhǔn)備相當(dāng)于其他的終端裝置的數(shù)目的數(shù)量，將被解碼的圖像數(shù)據(jù)顯示在顯示器等上。
從其他的終端裝置送來的聲音數(shù)據(jù)，通過網(wǎng)絡(luò)被接收到聲音接收裝置110。但在聲音接收裝置110，和圖像數(shù)據(jù)同樣將聲音數(shù)據(jù)的發(fā)送源信息作為參考，將接受的聲音數(shù)據(jù)分別送到與其他各個(gè)終端裝置對(duì)應(yīng)的聲音解碼裝置111-1～n中。聲音解碼裝置111-1～n準(zhǔn)備了相應(yīng)的其他的終端數(shù)目的數(shù)量，分別將聲音數(shù)據(jù)解碼，再送到聲音輸出裝置112-1～n中。聲音輸出裝置112-1～n也只準(zhǔn)備了相應(yīng)的其他的終端數(shù)目，將被解碼的聲音數(shù)據(jù)通過揚(yáng)聲器輸出。這個(gè)聲音輸出裝置也可以考慮一個(gè)終端中并不采用預(yù)備多個(gè)的方法，而采用將被稱為混音器的聲音合成裝置放在聲音解碼裝置和聲音輸出裝置之間，一個(gè)終端安裝一個(gè)聲音輸出裝置這樣的結(jié)構(gòu)。
這個(gè)終端裝置在會(huì)議中途參加時(shí)，從參加通知裝置114由多點(diǎn)播放或者一點(diǎn)播放，將中途參加通知其他終端。
用多點(diǎn)播放通知中途參加時(shí)如圖7所示，向其他會(huì)議終端一起通知。用一點(diǎn)播放通知時(shí)，如圖8所示，有兩種方法可以考慮。一是事先獲得正在進(jìn)行會(huì)議的會(huì)議終端的地址，如圖8(a)所示一個(gè)一個(gè)發(fā)送。還有一個(gè)就是如圖8(b)所示，將中途參加通知任意一個(gè)正在進(jìn)行會(huì)議的會(huì)議終端，再由被通知的會(huì)議終端傳遞式地通知給其他會(huì)議終端。
<編碼的變更方法>
圖像編碼裝置102作為變更編碼形式的方法，可以如圖9(a)(b)所示舉例。
如圖9(a)所示，在現(xiàn)有的傳輸圖像編碼形式中，中途有中途參加終端參加時(shí)，因?yàn)榈侥菚r(shí)為止正進(jìn)行會(huì)議的終端所發(fā)送的是P畫面，所以中途參加終端接收的也是P畫面。接收了P畫面的中途參加終端因不持有作為參照?qǐng)D像的I畫面，所以不能解碼為正常的圖像。
然而，本發(fā)明中，中途有中途參加終端參加時(shí)，可以接收中途參加通知，從而變更編碼方法。這樣，中途參加終端在中途參加時(shí)，對(duì)于到那時(shí)為止正進(jìn)行會(huì)議的終端利用中途參加終端檢測(cè)裝置113接收到中途參加通知，將其信息發(fā)送到圖像編碼裝置102。于是，圖像編碼裝置102如圖9(b)所示那樣，能夠?qū)⒌侥菚r(shí)為止用圖像幀編碼的內(nèi)容進(jìn)行單體解碼，變更為I畫面編碼形式。
<發(fā)送I畫面期間的設(shè)定方法>
這樣，作為以I畫面發(fā)送的期間，有如下3三種方法。第1，按一定時(shí)間送出。將已變更了編碼方法的圖像數(shù)據(jù)用一個(gè)幀或者一定個(gè)數(shù)的幀發(fā)送，然后再恢復(fù)為原來的編碼方法。
第2，中途參加終端接收了發(fā)自其他的會(huì)議終端的幀內(nèi)編碼圖像后向這些會(huì)議終端發(fā)送接收通知，而收到接收通知的會(huì)議終端再恢復(fù)為原來的編碼方法。這里用圖5進(jìn)行說明。
中途參加終端的圖像接收裝置107從其他會(huì)議終端接收了I畫面后，將已接收到其信息送到接收通知發(fā)送裝置116中。于是接收通知發(fā)送裝置116，如圖7所示，或用多點(diǎn)播放，或如圖8所示用一點(diǎn)播放將接收通知發(fā)送到其他的會(huì)議終端。使用一點(diǎn)播放時(shí)，根據(jù)收到的I畫面并利用圖4所示的發(fā)送源信息，決定發(fā)送目的地。
在其他的會(huì)議終端，利用接收通知接收裝置115得到接收通知，將已接收其信息送到圖像編碼裝置102，圖像編碼裝置102恢復(fù)原圖像編碼方式。
這樣，因?yàn)槠渌麜?huì)議終端能夠從中途參加終端是否已收到了參照?qǐng)D像(I畫面)，所以其他會(huì)議終端能夠一直發(fā)送參照?qǐng)D像直到中途參加裝置接收到為止。
第3，測(cè)定網(wǎng)絡(luò)的誤差率，只用這個(gè)誤差率所對(duì)應(yīng)的時(shí)間，其他的會(huì)議終端變更編碼形式，發(fā)送參照?qǐng)D像。這里用圖6進(jìn)行說明。
網(wǎng)絡(luò)誤差率測(cè)定裝置117，對(duì)在圖像接收裝置107接收的數(shù)據(jù)測(cè)定誤差率，例如可以通過夾在圖像數(shù)據(jù)中的順序編號(hào)進(jìn)行測(cè)定，將誤差率發(fā)送到圖像編碼裝置102，圖像編碼裝置102對(duì)應(yīng)網(wǎng)絡(luò)誤差率測(cè)定裝置117送來的誤差率決定參照幀的發(fā)送期間。具體就是可以認(rèn)為如果誤差率變?yōu)?倍，那么參照幀的發(fā)送期間也變?yōu)?倍等等?？膳e一例，在100個(gè)數(shù)據(jù)包中出現(xiàn)了一個(gè)數(shù)據(jù)包的誤差的狀態(tài)下，假定出現(xiàn)中途參加時(shí)發(fā)送的參照?qǐng)D像為2幀，如果誤差率變化為2倍(100個(gè)數(shù)據(jù)包總有2個(gè)數(shù)據(jù)包有錯(cuò)誤)，出現(xiàn)中途參加時(shí)，就要發(fā)送2倍的4個(gè)幀的參照?qǐng)D像。
在圖像接收裝置107，因?yàn)榻邮盏膱D像數(shù)據(jù)是從數(shù)個(gè)會(huì)議終端發(fā)送來的，所以考慮要適合最大誤差率的安裝方法。這個(gè)方法，很明顯中途參加終端，其他會(huì)議終端都可以使用。這樣，網(wǎng)絡(luò)誤差率高時(shí)，能夠送出數(shù)個(gè)作為參照?qǐng)D像的圖像送出，帶給網(wǎng)絡(luò)的負(fù)荷減少到最小限度，而中途參加終端接收參照?qǐng)D像的準(zhǔn)確率提高。通過用這樣的結(jié)構(gòu)，在多點(diǎn)播放電視會(huì)議裝置中，出現(xiàn)中途參加終端的情況時(shí)，也可以使會(huì)議的圖像在短時(shí)間內(nèi)顯示出來，順利進(jìn)行多地點(diǎn)電視會(huì)議。
實(shí)施方式2下面，為了使參加會(huì)議的所有終端都能顯示圖像等，對(duì)各終端的處理能力信息進(jìn)行交換的結(jié)構(gòu)、以及是會(huì)議的重要數(shù)據(jù)的情況下，將該數(shù)據(jù)加入重要度進(jìn)行處理的結(jié)構(gòu)進(jìn)行說明。圖10為表示本發(fā)明實(shí)施方式2所涉及的多點(diǎn)播放多地點(diǎn)會(huì)議系統(tǒng)的簡(jiǎn)略結(jié)構(gòu)的功能框圖。圖10中，800是終端裝置，這個(gè)終端裝置與圖1所示系統(tǒng)相同，用于與網(wǎng)絡(luò)連接。
終端裝置800，將從圖像輸入裝置801得到的圖像數(shù)據(jù)送到圖像編碼裝置802中，圖像編碼裝置802將送來的圖像數(shù)據(jù)壓縮編碼，送到圖像發(fā)送裝置803中，在圖像發(fā)送裝置803將壓縮編碼圖像數(shù)據(jù)發(fā)送到網(wǎng)絡(luò)。這時(shí)，圖像編碼裝置802從圖像接收裝置807得到中途參加信息后變更編碼方法。于是，中途參加終端名，中途參加終端發(fā)送來的圖像數(shù)據(jù)(編碼形式，參數(shù))保存在編碼狀態(tài)保持裝置813中。
同樣，將從聲音輸入裝置804得到的聲音數(shù)據(jù)送到聲音編碼裝置805中，聲音編碼裝置805將送來的聲音數(shù)據(jù)壓縮編碼，送到聲音發(fā)送裝置806中，在聲音發(fā)送裝置806將壓縮編碼聲音數(shù)據(jù)發(fā)送到網(wǎng)絡(luò)。這時(shí)，從聲音發(fā)送裝置804，將聲音電平等信息發(fā)送到重要度信息附加裝置814中，另外，聲音編碼裝置805從聲音接收裝置810得到聲音編碼形式或者聲音編碼參數(shù)，進(jìn)行編碼方法的變更。另外，圖像接收裝置807通過網(wǎng)絡(luò)接收從其他終端裝置發(fā)出的被壓縮編碼圖像數(shù)據(jù)，送到圖像解碼裝置808中，這時(shí)接收的圖像信息被送到了圖像編碼裝置802中。圖像解碼裝置808中只準(zhǔn)備相當(dāng)于其他終端的數(shù)目的數(shù)量，將送來的壓縮加編碼的圖像數(shù)據(jù)分別按各個(gè)終端解碼，再送到圖像顯示裝置809中。圖像顯示裝置809也準(zhǔn)備相當(dāng)于其他終端的數(shù)目的數(shù)量，分別顯示各個(gè)終端的圖像。
同樣，聲音接收裝置810通過網(wǎng)絡(luò)接收從其他終端裝置發(fā)出的被壓縮編碼聲音數(shù)據(jù)，送到聲音解碼裝置811中，。聲音解碼裝置811中只預(yù)存其他終端的數(shù)目，將送來的壓縮編碼聲音數(shù)據(jù)分別按各個(gè)終端解碼送到聲音輸出裝置812中。聲音輸出裝置812也同樣預(yù)存了其他終端的數(shù)目，分別輸出各個(gè)終端的聲音。
<重要度信息的附加>
圖11所示的是發(fā)送的圖像數(shù)據(jù)包中，被附加了重要度信息的圖像數(shù)據(jù)包的一個(gè)例子。圖12表示的是圖10的編碼狀態(tài)保持裝置813的保持圖像編碼信息的表的結(jié)構(gòu)；終端處于中途參加、中途退出狀態(tài)；及這時(shí)在會(huì)議中使用的圖像編碼形式的一個(gè)例子。
對(duì)于如以上所述構(gòu)成的終端裝置，下面對(duì)其是如何動(dòng)作的進(jìn)行說明。
通過攝像機(jī)等圖像輸入裝置801輸入的圖像數(shù)據(jù)，被送到圖像編碼裝置802，進(jìn)行壓縮編碼。
在圖像編碼裝置802，圖像數(shù)據(jù)被壓縮編碼時(shí)，與實(shí)施方式1的結(jié)構(gòu)一樣，并不使用中途參加通知裝置114等，作為圖像接收裝置807中的中途參加檢測(cè)方法，可以考慮下述方法。
圖像接收裝置807如圖4所示參照接收的圖像數(shù)據(jù)的發(fā)送信息源信息。如果，這個(gè)發(fā)送信息源是正在進(jìn)行會(huì)議以外的終端的，就被判斷為中途參加終端，將出現(xiàn)中途參加終端其信息送到圖像編碼裝置802。
這里是作為“正在進(jìn)行會(huì)議的終端與中途參加的終端的判別方法”的一個(gè)例子，作為判別正在進(jìn)行會(huì)議的終端與中途參加的終端的方法，可以考慮將正在進(jìn)行會(huì)議的終端的發(fā)送源信息預(yù)先存儲(chǔ)在各個(gè)終端的存儲(chǔ)器中。于是，當(dāng)送來的數(shù)據(jù)帶著存儲(chǔ)器中沒有被存儲(chǔ)的發(fā)送源信息數(shù)據(jù)送來是時(shí)，就可以判斷出現(xiàn)了中途參加終端。
如這樣，就檢測(cè)到出現(xiàn)了中途參加終端，在圖像編碼裝置802，如圖9所示，變更為幀內(nèi)編碼圖像(參照?qǐng)D像)的編碼形式。這樣，中途參加終端就可以在短時(shí)間內(nèi)顯示其他會(huì)議終端的圖像。
被壓縮編碼圖像數(shù)據(jù)，從圖像發(fā)送裝置803，使用多點(diǎn)播放發(fā)送到網(wǎng)絡(luò)。在圖像發(fā)送裝置803向網(wǎng)絡(luò)發(fā)送時(shí)，如圖11所示能夠附加重要度。這個(gè)重要度，例如發(fā)言者，表示會(huì)議中動(dòng)態(tài)的重要度。當(dāng)發(fā)言者的重要度上升時(shí)，從聲音輸入裝置804中發(fā)出的聲音電平送到重要信息附加裝置814，可以考慮對(duì)應(yīng)這個(gè)聲音水平進(jìn)行重要度附加。于是，對(duì)于重要度高的圖像數(shù)據(jù)，在圖像編碼裝置802中可以進(jìn)行提高畫質(zhì)，提高幀速率，變更圖像大小等。
例如，重視節(jié)約NW頻帶和數(shù)據(jù)處理的即時(shí)性，根據(jù)各終端的處理能力的信息交換(作為<與參加終端處理能力相匹配的參數(shù)設(shè)定>在后面論述)，預(yù)先用比具有最低性能的終端的性能值(參數(shù))A更低的性能值(參數(shù))B進(jìn)行處理，當(dāng)出現(xiàn)附加了重要度的數(shù)據(jù)時(shí)，關(guān)于這個(gè)數(shù)據(jù)，有不超出性能值A(chǔ)的范圍，提高其性能值在B之上的情況。這樣，可以對(duì)會(huì)議發(fā)言者等被認(rèn)為是重要的從終端發(fā)出的圖像的像質(zhì)進(jìn)行動(dòng)態(tài)的變更。從結(jié)果上看，能夠提高受參加者注目的圖像的畫質(zhì)。通過麥克風(fēng)等聲音輸入裝置804輸入的聲音數(shù)據(jù)，被送到聲音編碼裝置805，在聲音編碼裝置805將其壓縮編碼。被壓縮編碼聲音數(shù)據(jù)從聲音發(fā)送裝置806使用多點(diǎn)播放發(fā)送到網(wǎng)絡(luò)。
從其他終端裝置送來的圖像數(shù)據(jù)，通過網(wǎng)絡(luò)在圖像接收裝置807被接收，但是，在圖像接收裝置807，以圖像數(shù)據(jù)的發(fā)送源信息為參考，將接收的圖像數(shù)據(jù)分別送到與其他終端裝置相對(duì)應(yīng)的圖像解碼裝置808-1～n中。圖像解碼裝置808-1～n中。準(zhǔn)備了相當(dāng)于其他終端裝置的數(shù)目的數(shù)量，分別對(duì)圖像數(shù)據(jù)解碼，發(fā)送到圖像顯示裝置809-1～n中。圖像顯示裝置809-1～n中也準(zhǔn)備了相當(dāng)于其他終端裝置的數(shù)目的數(shù)量，將被解碼的圖像數(shù)據(jù)在顯示器等上顯示。
從其他終端裝置送來的聲音數(shù)據(jù)，通過網(wǎng)絡(luò)在聲音接收裝置810被接收，但是，在聲音接收裝置810以聲音數(shù)據(jù)的發(fā)送源信息為參考，將接收的聲音數(shù)據(jù)分別送到與其他終端裝置相對(duì)應(yīng)的聲音解碼裝置811-1～n中。聲音解碼裝置811-1～n中。準(zhǔn)備了相當(dāng)于其他終端裝置的數(shù)目的數(shù)量，分別對(duì)聲音數(shù)據(jù)解碼，發(fā)送到聲音輸出裝置812-1～n中。聲音輸出裝置812-1～n中也準(zhǔn)備了相當(dāng)于其他終端裝置的數(shù)目的數(shù)量，將被解碼的聲音數(shù)據(jù)通過揚(yáng)聲器輸出。也可以考慮這個(gè)聲音輸出裝置，在一個(gè)終端中并不是預(yù)備多個(gè)，而是將被稱為混音器的聲音合成裝置放在聲音解碼裝置和聲音輸出裝置之間，一個(gè)終端安裝一個(gè)聲音輸出裝置這樣的結(jié)構(gòu)。
但是，對(duì)于重要度的例子，除了根據(jù)聲音的高低電平附加重要度的方法以外，還有在使用者是會(huì)議主持者時(shí)也需要提高重要度等，根據(jù)使用者附加重要度的方法，以及給移動(dòng)大的終端附加高重要度的方法等。而且，在這里對(duì)圖像編碼裝置802的變更圖像編碼形式的方法進(jìn)行敘述。作為圖像編碼裝置802的圖像編碼的形式變更方法可與以實(shí)施方式1一樣以圖9所示為例。
<與參加終端處理能力相匹配的參數(shù)設(shè)定>
這里作為上述附加重要度的前提，對(duì)處理能力信息的交換進(jìn)行說明。中途參加終端利用與處理能力相匹配的(CPU的能力等)編碼形式、參數(shù)進(jìn)行編碼，將其發(fā)送，接收了它的其他的會(huì)議終端就可以獲得所接收的圖像信息的圖像大小、幀數(shù)、數(shù)據(jù)量等，變更為適合它的編碼，于是就可以送出適合中途參加終端處理能力數(shù)據(jù)。
這時(shí)的編碼的變更方法，用圖12具體說明。首先，在圖12(a)的會(huì)議的開始狀態(tài)，終端A、B、C正在進(jìn)行會(huì)議。在這個(gè)狀態(tài)中，因終端A送出的圖像編碼參數(shù)是最低的，所以會(huì)議所使用的編碼形式采用終端A的編碼形式、即CIF、10fps、64kbps。這里，圖像大小CIF是352(像素)×288(像素)，QCIF是176(像素)×144(像素)。
其次，終端D(QCIF、5fps、32kbps)是處于從中途參加狀態(tài)的(b)。這里，因?yàn)榻K端D的處理能力最低，與先前一樣，所以會(huì)議所使用的編碼形式采用終端D的編碼形式。下一次，終端A，終端D則處于中途退出的狀態(tài)(c)。中途退出的終端A和終端D的數(shù)據(jù)從表中刪除，同樣通過使用留下的終端中處理能力最低的終端C的圖像編碼信息，留下的各會(huì)議終端就能夠繼續(xù)進(jìn)行會(huì)議。但是，雖然這里以終端為單位的處理能力的高低是已定的，因各個(gè)編碼信息的值都在其他所有終端以下，所以在終端T1的圖像的大小為最小值t1，終端T2的幀速率為最小值t2，終端T3的位速率為最小值為t3的情況下，就將(t1，t2，t3)決定為參數(shù)。
如這樣，作為決定各終端使用的參數(shù)的現(xiàn)有方法，有H.323的能力交換。這個(gè)方法是各終端在建立起對(duì)話后，互相交換能編碼、解碼的參數(shù)，使用相互都能使用的參數(shù)進(jìn)行會(huì)議，這個(gè)方法是以1對(duì)1使用為前提的，在有3個(gè)以上終端時(shí)使用這個(gè)方法，就必須使用MCU。這時(shí)，首先各終端向MCU發(fā)送能編碼、解碼的參數(shù)。然后，MCU從被送來的參數(shù)中檢測(cè)全部終端都能使用的參數(shù)，向各個(gè)終端發(fā)送。于是各個(gè)終端就使用該被檢測(cè)的參數(shù)進(jìn)行會(huì)議。
但是，本實(shí)施方式中，采用的是沒有使用MCU的結(jié)構(gòu)，所以這個(gè)方法不適用。本實(shí)施方式中，通過DHCP服務(wù)器取得多點(diǎn)播放的地址，立即發(fā)送圖像、聲音。于是，在接收了該圖像、聲音的終端這方，變更為互相都能利用的參數(shù)。如這樣，各終端是根據(jù)送來的圖像、聲音決定參數(shù)的，所以適用于沒有MCU的結(jié)構(gòu)。而且，用現(xiàn)有的方法，在有終端中途參加的情況時(shí)，全部終端都要向MCU發(fā)送參數(shù)，再由MCU檢索出全部終端都能使用的參數(shù)，發(fā)送給各個(gè)終端。而使用本實(shí)施方式的方法，可以省略這一步驟，因中途參加終端能夠立即發(fā)送圖像、聲音，就能夠縮短中途參加終端加入到會(huì)議中的時(shí)間。
對(duì)于聲音數(shù)據(jù)也可以做同樣的考慮。中途參加終端用與其處理能力相匹配的聲音數(shù)據(jù)的編碼形式、參數(shù)進(jìn)行編碼、發(fā)送，接收了該數(shù)據(jù)的其他終端，就得到了該聲音信息的編碼形式、編碼參數(shù)，從而進(jìn)行適合該編碼的變更，能夠送出適合中途參加終端處理能力的數(shù)據(jù)。
如以上所述，本實(shí)施方式通過變更編碼方法使之適合接收到的編碼形式(變更編碼參數(shù))，即使處理能力低的會(huì)議終端在中途參加時(shí)，也能使會(huì)議繼續(xù)進(jìn)行(處理能力低的終端也能顯示會(huì)議數(shù)據(jù))。另外，通過使用重要度信息，使例如發(fā)言者等重要度高的圖像以更高畫質(zhì)顯示出來。
但是，也可以考慮如下的實(shí)施方式等，即將實(shí)施方式1的中途參加終端檢測(cè)裝置113等與實(shí)施方式2的的編碼狀態(tài)保持裝置813等組合在一起使用，中途參加終端檢測(cè)裝置113一旦接收到中途參加通知，就將現(xiàn)在的編碼信息保持到編碼狀態(tài)保持裝置813中，變更編碼形式等。
實(shí)施方式3下面，對(duì)在發(fā)生中途參加的情況下，能夠避免已經(jīng)正在參加會(huì)議的終端接收到其信息后同時(shí)發(fā)送I幀造成頻帶擁擠的不便的結(jié)構(gòu)進(jìn)行說明。
圖13是表示本發(fā)明的多點(diǎn)播放電視會(huì)議終端裝置的實(shí)施方式3的簡(jiǎn)略結(jié)構(gòu)的功能框圖。
在圖13中1100是終端裝置，這個(gè)終端裝置和圖1所示的系統(tǒng)一樣，用于與網(wǎng)絡(luò)連接。終端裝置1100將從圖像輸入裝置1101得到的圖像數(shù)據(jù)送到圖像編碼裝置1102中，在圖像編碼裝置1102中將送來的圖像數(shù)據(jù)壓縮編碼，再送到圖像發(fā)送裝置1103中，在圖像發(fā)送裝置1103，將經(jīng)壓縮編碼圖像數(shù)據(jù)發(fā)送到網(wǎng)絡(luò)。這時(shí)，圖像編碼裝置1102與從優(yōu)先度決定裝置1114送來的優(yōu)先度相對(duì)應(yīng)，變更編碼方法。于是，將變更前的編碼信息用實(shí)施方式2相同的表的形式送到編碼狀態(tài)保持裝置1113中保存。
同樣，將從聲音輸入裝置1104得到的聲音數(shù)據(jù)送到聲音編碼裝置1105中，在聲音編碼裝置1105中將送來的聲音數(shù)據(jù)壓縮編碼，再送到聲音發(fā)送裝置1106中，在聲音發(fā)送裝置1106，將經(jīng)壓縮編碼聲音數(shù)據(jù)發(fā)送到網(wǎng)絡(luò)。另外，圖像接收裝置1107通過網(wǎng)絡(luò)接收從其他終端裝置發(fā)送來的已被壓縮編碼圖像數(shù)據(jù)，再送到圖像解碼裝置1108中。這時(shí)，接收的圖像信息也被發(fā)送了到優(yōu)先度決定裝置1114中。圖像解碼裝置1108中只準(zhǔn)備了相當(dāng)于其他終端的數(shù)目的數(shù)量，將送來的壓縮加編碼的圖像數(shù)據(jù)分別按各個(gè)終端解碼，再送到圖像顯示裝置1109中。圖像顯示裝1109也只準(zhǔn)備了相當(dāng)于其他終端的數(shù)目數(shù)量，分別顯示各個(gè)終端的圖像。
同樣，聲音接收裝置1110通過網(wǎng)絡(luò)接收從其他終端裝置發(fā)出的被壓縮編碼聲音數(shù)據(jù)，送到聲音解碼裝置1111中。聲音解碼裝置1111中只準(zhǔn)備相當(dāng)于其他終端的數(shù)目數(shù)量，將送來的壓縮加編碼的聲音數(shù)據(jù)分別按各個(gè)終端解碼，再送到聲音輸出裝置1112中。聲音輸出裝置1112也只準(zhǔn)備其他終端的數(shù)目，分別將各個(gè)終端的聲音輸出。
對(duì)于如以上構(gòu)成的終端裝置，下面對(duì)其是如何動(dòng)作的進(jìn)行說明。通過攝像機(jī)等圖像輸入裝置1101輸入的圖像數(shù)據(jù)，被送到圖像編碼裝置1102，在圖像編碼裝置1102，根據(jù)從優(yōu)先度決定裝置1114送來的優(yōu)先度信息，變更編碼形式，將圖像數(shù)據(jù)進(jìn)行壓縮編碼。
這個(gè)優(yōu)先度信息是由從圖像接收裝置1107得到了圖像數(shù)據(jù)的優(yōu)先度決定裝置1114完成的。例如，可采用在會(huì)議召開時(shí)，會(huì)議組織者預(yù)先就對(duì)各個(gè)終端的優(yōu)先度進(jìn)行分配等，會(huì)議主持者使用的終端的優(yōu)先度高，而其他會(huì)議參加者的優(yōu)先度低等，于是，在檢測(cè)中途參加的終端時(shí)按優(yōu)先度，在圖像編碼裝置1102變更圖像編碼形式。圖9可作為一個(gè)例子，當(dāng)檢測(cè)中途參加終端時(shí)，其他終端將編碼形式從幀間預(yù)測(cè)編碼圖像變?yōu)閹瑑?nèi)編碼圖像。這時(shí)，如果全部終端一起變更編碼形式，網(wǎng)絡(luò)中傳輸?shù)膱D像數(shù)據(jù)一下子增加，對(duì)頻帶造成壓力。因此，可以考慮采用參照優(yōu)先度，從優(yōu)先度高的終端按順序變更為幀內(nèi)編碼圖像，進(jìn)行傳輸。這樣一來，中途參加裝置就可以對(duì)應(yīng)優(yōu)先度的順序，顯示圖像。
被壓縮編碼圖像數(shù)據(jù)，從圖像發(fā)送裝置1103用多點(diǎn)播放發(fā)送到網(wǎng)絡(luò)。，從麥克風(fēng)等聲音輸出裝置1104輸入的聲音數(shù)據(jù)被送到聲音編碼裝置1105，在聲音編碼裝置1105被壓縮編碼，被壓縮編碼聲音數(shù)據(jù)，從聲音發(fā)送裝置1106用多點(diǎn)播放發(fā)送到網(wǎng)絡(luò)。
從其他的終端發(fā)送來的圖像數(shù)據(jù)，通過網(wǎng)絡(luò)由圖像接收裝置1107接收。但是，圖像接收裝置1107是將圖像數(shù)據(jù)的發(fā)送源信息作為參考，將接收的圖像數(shù)據(jù)分別發(fā)送到與其他終端裝置相對(duì)應(yīng)的圖像解碼裝置1108-1～n中。圖像解碼裝置1108-1～n只準(zhǔn)備相當(dāng)于其他終端裝置的數(shù)目，分別將圖像數(shù)據(jù)進(jìn)行解碼，再送到圖像顯示裝置1109-1～n中。同樣，圖像顯示裝置1109-1～n中也只準(zhǔn)備相當(dāng)于其他的終端裝置的數(shù)目，將被解碼的圖像數(shù)據(jù)顯示在顯示器等上。
從其他的終端裝置送來的聲音數(shù)據(jù)，通過網(wǎng)絡(luò)被接收到聲音接收裝置1110。但在聲音接收裝置1110，將聲音數(shù)據(jù)的發(fā)送源信息作為參考，將接受的聲音數(shù)據(jù)分別送到與其他各個(gè)終端裝置對(duì)應(yīng)的聲音解碼裝置1111-1～n中。聲音解碼裝置111-1～n因?yàn)橹粶?zhǔn)備相當(dāng)于其他的終端數(shù)目的數(shù)量，分別將聲音數(shù)據(jù)解碼，再送到聲音輸出裝置1112-1～n中。聲音輸出裝置1112-1～n只準(zhǔn)備相當(dāng)于其他的終端數(shù)目的數(shù)量，將被解碼的聲音數(shù)據(jù)通過揚(yáng)聲器等輸出。也可以考慮這個(gè)聲音輸出裝置，在一個(gè)終端中并不是預(yù)備多個(gè)，而是將被稱為混音器的聲音合成裝置放在聲音解碼裝置和聲音輸出裝置之間，一個(gè)終端安裝一個(gè)聲音輸出裝置這樣的結(jié)構(gòu)。
圖像編碼裝置1102作為變更編碼形式方法，可以與實(shí)施方式1一樣以所示的圖9為例子。但在本實(shí)施方式中，雖然與優(yōu)先度有關(guān)的信息(其中一部分)是從圖像接收裝置1107輸送到優(yōu)先度決定裝置1114中的，并不是一定必須這樣做。例如，可以考慮(1)如果預(yù)先將與優(yōu)先度有關(guān)的信息保存在優(yōu)先度決定裝置1114中，就不必從1107向1114輸送數(shù)據(jù)。(圖13中虛線的意思)。另外其他情況還有(2)從圖像接收裝置1107向圖像編碼裝置1102只發(fā)送是否接收到了I幀的信息，(是否發(fā)生了中途參加的情況)，根據(jù)優(yōu)先度決定裝置1114的信息，對(duì)立即變更編碼方法，或者錯(cuò)后變更等進(jìn)行控制等各種形式。
如以上所述，本實(shí)施方式中通過使用這樣的結(jié)構(gòu)，不僅入如實(shí)施方式1能夠短時(shí)間內(nèi)顯示會(huì)議的圖像，而且通過使用優(yōu)先度信息、例如迅速顯示會(huì)議主持者的圖像，然后顯示其他的會(huì)議參加者等，就能夠在對(duì)網(wǎng)絡(luò)頻帶不造成壓力的情況下，迅速顯示優(yōu)先度高的圖像。
實(shí)施方式4本實(shí)施方式中，作為能夠參加會(huì)議(包括中途參加)的終端裝置也可以考慮使用個(gè)人電腦等臺(tái)式或能夠攜帶的電腦等以外的裝置。圖14為本發(fā)明的實(shí)施方式4的簡(jiǎn)略結(jié)構(gòu)的功能框圖。作為本實(shí)施方式中的終端裝置使用的是便攜式電話。圖14中400是作為終端裝置的是便攜式電話。便攜式電話400與圖1所示終端裝置100一樣與網(wǎng)絡(luò)連接使用。便攜式電話400與圖1所示終端裝置100一樣，具有輸入圖像信號(hào)的圖像輸入裝置101、將從圖像輸入裝置101接收的圖像數(shù)據(jù)壓縮編碼的圖像編碼裝置102、將被壓縮編碼圖像數(shù)據(jù)發(fā)送的圖像發(fā)送裝置103、將從圖像發(fā)送裝置103輸出的被壓縮編碼圖像數(shù)據(jù)發(fā)送到網(wǎng)絡(luò)的通信裝置250。
另外，便攜式電話400還具有輸入聲音信號(hào)的聲音輸入裝置104，將從聲音輸入裝置104接收的聲音數(shù)據(jù)壓縮編碼的聲音編碼裝置105，向通信裝置250輸出壓縮編碼聲音數(shù)據(jù)的聲音發(fā)送裝置106。
而且，便攜式電話400還具有通過網(wǎng)絡(luò)，接收從其他便攜式電話或終端裝置送來的被壓縮編碼圖像數(shù)據(jù)的圖像接收裝置107，將接收的圖像數(shù)據(jù)解碼的圖像解碼裝置108。顯示被解碼圖像的圖像顯示裝置109。上述解碼裝置108只準(zhǔn)備相當(dāng)于其他的便攜式電話的數(shù)目的數(shù)量，將送來的圖像數(shù)據(jù)分別按各個(gè)便攜式電話或終端解碼，再送到圖像顯示裝置109，圖像顯示裝置109也同樣只準(zhǔn)備相當(dāng)于其他便攜式電話數(shù)目的數(shù)量，分別顯示各個(gè)終端的圖像。
另外，便攜式電話400為了接收重放其他便攜式電話或終端裝置發(fā)送來的聲音，還具有聲音接收裝置110，聲音解碼裝置111，聲音輸出裝置112。聲音接收裝置110通過網(wǎng)絡(luò)接收其他便攜式電話或終端送來的經(jīng)壓縮編碼的數(shù)據(jù)，然后將其送到聲音解碼裝置111中。聲音解碼裝置111只準(zhǔn)備相當(dāng)于其他便攜式電話數(shù)目的數(shù)量，將送來的壓縮編碼聲音數(shù)據(jù)分別按各個(gè)終端進(jìn)行解碼再送到聲音輸出裝置112中。聲音輸出裝置112也同樣只預(yù)備相當(dāng)于其他便攜式電話或終端裝置數(shù)目的數(shù)量，分別輸出各個(gè)終端的聲音。
而且，便攜式電話400與實(shí)施方式1中涉及的終端裝置一樣具有在本機(jī)中途參加會(huì)議時(shí)進(jìn)行動(dòng)作的中途參加通知裝置114、檢測(cè)別機(jī)中途參加會(huì)議時(shí)發(fā)送的中途參加信號(hào)的中途參加終端檢測(cè)裝置113。
但是通信裝置250不僅具有能夠進(jìn)行基站與便攜式電話與間的通信控制功能還具有將壓縮編碼圖像數(shù)據(jù)及壓縮編碼聲音數(shù)據(jù)發(fā)送到網(wǎng)絡(luò)，或從網(wǎng)絡(luò)接收壓縮編碼圖像數(shù)據(jù)及壓縮編碼聲音數(shù)據(jù)的雙向功能。另外，上述通信裝置250還能向網(wǎng)絡(luò)發(fā)送中途參加通知信號(hào)，或是從網(wǎng)絡(luò)接收中途參加通知信號(hào)。
通過給上述功能部裝備便攜式電話400，本實(shí)施方式涉及的便攜式電話400就能夠參加多點(diǎn)播放會(huì)議。于是，中途參加通知裝置114在便攜式電話400中途參加時(shí)將其中途參加的信息通過通信裝置250向網(wǎng)絡(luò)輸出。另外，中途參加終端檢測(cè)裝置113從網(wǎng)絡(luò)通過通信裝置250接收、檢測(cè)其他便攜式電話送來的中途參加通知。
但是，有關(guān)向多點(diǎn)播放會(huì)議通知有中途參加，或檢測(cè)中途參加的動(dòng)作與上述實(shí)施方式1的動(dòng)作是一樣的。另外，對(duì)于作為如便攜式電話這樣的移動(dòng)設(shè)備，攜帶終端裝置等同樣適用本發(fā)明。
但是，雖然各實(shí)施方式中，作為檢測(cè)中途參加的信息是以幀內(nèi)編碼圖像為檢測(cè)單位的，除此以外，以圖像中的幀內(nèi)編碼宏塊為單位，根據(jù)檢測(cè)的它的比例，檢測(cè)中途參加的情況也有。即使用幀內(nèi)編碼宏塊，使用MPEG-4這樣的編碼方式時(shí)，并不是檢測(cè)幀內(nèi)編碼圖像，而是通過檢測(cè)圖像中的幀內(nèi)編碼宏塊的比例檢測(cè)中途參加的。下面舉出的是幀內(nèi)編碼宏塊檢測(cè)方法的一個(gè)例子。
首先，對(duì)圖像中宏塊的編碼形式進(jìn)行匯集。各宏塊中儲(chǔ)存了編碼形式信息，通過參照它，就能很容易地匯集。其次，將該圖像中的幀內(nèi)編碼宏塊的比例進(jìn)行計(jì)算，如果該比例，例如在半數(shù)以上就能判斷有中途參加。
另外，雖然對(duì)在各實(shí)施方式中，圖像解碼、顯示裝置、聲音解碼、輸出裝置只準(zhǔn)備相當(dāng)于其他終端數(shù)目的數(shù)量(具有該功能的硬件或軟件)的例子進(jìn)行了說明，其他也有用一個(gè)具有該功能的硬件或軟件，通過按時(shí)間分配進(jìn)行處理等例子，對(duì)這些裝置的數(shù)目沒有限定。
還有，各實(shí)施方式中，以(1)編碼方式，(2)編碼形式，(3)編碼信息(編碼參數(shù))表示的是，分別代表(1)H.261，H.263，MPEG等各種的模數(shù)-數(shù)模轉(zhuǎn)換器(CODECCompression/DECompression)的種類，(2)幀內(nèi)編碼(I幀)與幀間預(yù)測(cè)編碼(P幀)的差異，(3)圖像的大小，幀速率，位速率。另外，(3)中編碼信息和編碼參數(shù)一般來說雖是同義，但也有用編碼信息代表這些屬性的項(xiàng)目，而編碼參數(shù)代表這些項(xiàng)目的屬性值(屬性與這個(gè)屬性的屬性值的區(qū)別)，把它們區(qū)分開來使用的情況。
本發(fā)明是依據(jù)如圖所示的最佳的實(shí)施方式進(jìn)行說明的。很明顯，如果是本行業(yè)的技術(shù)人員，只要不脫離本發(fā)明思想能夠很容易地進(jìn)行各種變更，改變。本發(fā)明也包括這些變更的例子。
權(quán)利要求
1.一種多點(diǎn)播放會(huì)議裝置，其特征在于包括攝像機(jī)等的輸入圖像流的圖像輸入裝置；圖像編碼裝置，對(duì)輸入的圖像流進(jìn)行編碼處理，作成應(yīng)發(fā)送的編碼圖像信息；圖像發(fā)送裝置，利用多點(diǎn)播放將已編碼的圖像信息發(fā)送到網(wǎng)絡(luò)；圖像接收裝置，接收利用多點(diǎn)播放發(fā)送的圖像信息；圖像解碼裝置，將接收到的數(shù)據(jù)進(jìn)行解碼；圖像顯示裝置，顯示被解碼的圖像流；中途參加通知裝置，進(jìn)行中途參加會(huì)議的通知；中途參加終端檢測(cè)裝置，檢測(cè)中途參加會(huì)議的終端，將其信息送到圖像編碼裝置，圖像編碼裝置，接收來自中途參加終端檢測(cè)裝置的檢測(cè)信號(hào)，將編碼形式變更為幀內(nèi)編碼形式。
2.一種多點(diǎn)播放會(huì)議裝置，其特征在于包括攝像機(jī)等的輸入圖像流的圖像輸入裝置；圖像編碼裝置，對(duì)輸入的圖像流進(jìn)行編碼處理，作成應(yīng)發(fā)送的編碼圖像信息；圖像發(fā)送裝置，利用多點(diǎn)播放將已編碼的圖像信息發(fā)送到網(wǎng)絡(luò)；圖像接收裝置，接收利用多點(diǎn)播放發(fā)送的圖像信息；圖像解碼裝置，將接收到的數(shù)據(jù)進(jìn)行解碼；圖像顯示裝置，顯示被解碼的圖像流；參加終端信息存儲(chǔ)裝置，存儲(chǔ)正在參加會(huì)議的終端的發(fā)送源信息，圖像接收裝置，一旦接收幀內(nèi)編碼圖像，就將其通知給圖像編碼裝置，圖像編碼裝置接收到來自圖像接收裝置的通知后，就將編碼形式變更為幀內(nèi)編碼形式。
3.權(quán)利要求2所述的多點(diǎn)播放會(huì)議裝置，其特征在于圖像接收裝置，參照參加終端信息存儲(chǔ)裝置，一旦接收到參加終端信息存儲(chǔ)裝置中存儲(chǔ)的以外的終端發(fā)送來的幀內(nèi)編碼圖像，就將其通知給圖像編碼裝置。
4.權(quán)利要求2所述的多點(diǎn)播放會(huì)議裝置，其特征在于圖像編碼裝置，參照參加終端信息存儲(chǔ)裝置，圖像接收裝置發(fā)送來的通知如果是參加終端信息存儲(chǔ)裝置中存儲(chǔ)的以外的終端發(fā)送來的幀內(nèi)編碼圖像，則變更編碼形式。
5.一種多點(diǎn)播放會(huì)議裝置，其特征在于包括攝像機(jī)等的輸入圖像流的圖像輸入裝置；圖像編碼裝置，對(duì)輸入的圖像流進(jìn)行編碼處理，作成應(yīng)發(fā)送的編碼圖像信息；圖像發(fā)送裝置，利用多點(diǎn)播放將已編碼的圖像信息發(fā)送到網(wǎng)絡(luò)；圖像接收裝置，接收利用多點(diǎn)播放發(fā)送的圖像信息；圖像解碼裝置，將接收到的數(shù)據(jù)進(jìn)行解碼；圖像顯示裝置，顯示被解碼的圖像流；編碼信息存儲(chǔ)裝置，存儲(chǔ)正在參加會(huì)議的終端、以及有新中途參加的終端時(shí)其終端的編碼參數(shù)，圖像編碼裝置，參照編碼信息存儲(chǔ)裝置，變更為在所有參加會(huì)議的終端都能顯示的編碼參數(shù)進(jìn)行編碼。
6.權(quán)利要求1所述的多點(diǎn)播放會(huì)議裝置，其特征在于包括優(yōu)先度決定裝置，決定、保持與會(huì)議終端的優(yōu)先度有關(guān)的信息，并將其信息送到圖像編碼裝置，圖像編碼裝置，接收到優(yōu)先度決定裝置發(fā)出的信息后，變更編碼形式。
7.權(quán)利要求5所述的多點(diǎn)播放會(huì)議裝置，其特征在于包括重要度信息附加裝置，決定、保持與應(yīng)發(fā)送信息的會(huì)議中重要度有關(guān)的信息，并將其信息送到圖像編碼裝置，圖像編碼裝置，接收到重要度信息附加裝置發(fā)出的信息后，變更編碼參數(shù)。
8.權(quán)利要求1所述的多點(diǎn)播放會(huì)議裝置，其特征在于中途參加通知裝置，在中途參加會(huì)議時(shí)，采用多點(diǎn)播放向目前正在進(jìn)行會(huì)議的所有終端發(fā)送中途參加的信息。
9.權(quán)利要求1所述的多點(diǎn)播放會(huì)議裝置，其特征在于中途參加通知裝置，在中途參加會(huì)議時(shí)，采用一點(diǎn)播放向目前正在進(jìn)行會(huì)議的一部分或所有終端發(fā)送中途參加的信息。
10.權(quán)利要求1所述的多點(diǎn)播放會(huì)議裝置，其特征在于中途參加終端檢測(cè)裝置，檢測(cè)從中途參加裝置發(fā)送的幀內(nèi)編碼圖像。
11.權(quán)利要求1所述的多點(diǎn)播放會(huì)議裝置，其特征在于中途參加終端檢測(cè)裝置，檢測(cè)從中途參加裝置發(fā)出的幀內(nèi)編碼宏塊的比例。
12.權(quán)利要求1所述的多點(diǎn)播放會(huì)議裝置，其特征在于包括網(wǎng)絡(luò)誤差率測(cè)定裝置，測(cè)定網(wǎng)絡(luò)的誤差率，將與其有關(guān)的信息送到圖像編碼裝置，上述圖像編碼裝置，只在與網(wǎng)絡(luò)誤差率對(duì)應(yīng)的時(shí)間變更編碼形式。
13.權(quán)利要求2所述的多點(diǎn)播放會(huì)議裝置，其特征在于包括接收通知發(fā)送裝置，接收?qǐng)D像接收裝置發(fā)送的幀內(nèi)編碼圖像接收的通知，并發(fā)送幀內(nèi)編碼圖像的接收通知；接收通知接收裝置，接收上述接收通知發(fā)送裝置發(fā)送來的接收通知，將其接收通知信息發(fā)送給圖像編碼裝置，圖像編碼裝置，在收到上述接收通知信息之前，變更編碼形式。
14.權(quán)利要求1所述的多點(diǎn)播放會(huì)議裝置，其特征在于圖像編碼裝置，經(jīng)過一定時(shí)間后將已變更的編碼形式復(fù)原。
15.權(quán)利要求1所述的多點(diǎn)播放會(huì)議裝置，其特征在于圖像編碼裝置，根據(jù)接收到的圖像的編碼方式變更編碼方式進(jìn)行編碼。
16.權(quán)利要求1所述的多點(diǎn)播放會(huì)議裝置，其特征在于圖像編碼裝置，變更為與接收到的圖像的大小相同進(jìn)行編碼。
17.權(quán)利要求1所述的多點(diǎn)播放會(huì)議裝置，其特征在于圖像編碼裝置，根據(jù)接收到的圖像的幀數(shù)變更幀數(shù)進(jìn)行編碼。
18.權(quán)利要求1所述的多點(diǎn)播放會(huì)議裝置，其特征在于圖像編碼裝置，根據(jù)接收到的圖像的數(shù)據(jù)量變更數(shù)據(jù)量進(jìn)行編碼。
19.權(quán)利要求1所述的多點(diǎn)播放會(huì)議裝置，其特征在于包括聲音編碼裝置，對(duì)聲音數(shù)據(jù)進(jìn)行編碼處理，作成應(yīng)發(fā)送的編碼聲音信息；聲音接收發(fā)送裝置，接收發(fā)送已編碼的聲音信息；聲音解碼裝置，對(duì)接收到的聲音信息進(jìn)行解碼；聲音輸出裝置，輸出已解碼的聲音數(shù)據(jù)，聲音編碼裝置，根據(jù)接收到的聲音的編碼方式變更編碼方式進(jìn)行編碼。
20.權(quán)利要求1所述的多點(diǎn)播放會(huì)議裝置，其特征在于包括聲音編碼裝置，對(duì)聲音數(shù)據(jù)進(jìn)行編碼處理，作成應(yīng)發(fā)送的編碼聲音信息；聲音接收發(fā)送裝置，接收發(fā)送已編碼的聲音信息；聲音解碼裝置，對(duì)接收到的聲音信息進(jìn)行解碼；聲音輸出裝置，輸出已解碼的聲音數(shù)據(jù)，聲音編碼裝置，根據(jù)接收到的聲音的編碼參數(shù)變更編碼參數(shù)進(jìn)行編碼。
21.一種多點(diǎn)播放會(huì)議程序，用于為進(jìn)行多點(diǎn)播放會(huì)議使計(jì)算機(jī)發(fā)揮以下功能使多點(diǎn)播放會(huì)議裝置的攝像機(jī)等圖像輸入裝置輸入圖像流；使多點(diǎn)播放會(huì)議裝置的圖像編碼裝置進(jìn)行輸入的圖像流的編碼處理，作成應(yīng)發(fā)送的編碼圖像信息；使多點(diǎn)播放會(huì)議裝置的圖像發(fā)送裝置將已編碼的圖像信息采用多點(diǎn)播放發(fā)送到網(wǎng)絡(luò)；使多點(diǎn)播放會(huì)議裝置的圖像解碼裝置接收采用多點(diǎn)播放送來的圖像信息；使多點(diǎn)播放會(huì)議裝置的圖像解碼裝置解碼接收到的數(shù)據(jù)；使多點(diǎn)播放會(huì)議裝置的圖像顯示裝置顯示已解碼的圖像流；當(dāng)會(huì)議中有中途參加的情況時(shí)，使多點(diǎn)播放會(huì)議裝置的中途參加通知裝置進(jìn)行中途參加會(huì)議的通知；當(dāng)收到中途參加會(huì)議的通知時(shí)，使多點(diǎn)播放會(huì)議裝置的中途參加終端檢測(cè)裝置，檢測(cè)中途參加會(huì)議的終端，同時(shí)使上述圖像編碼裝置接收來自上述中途參加終端檢測(cè)裝置的發(fā)送，并將編碼形式變更為幀內(nèi)編碼的形式。
22.一種多點(diǎn)播放會(huì)議程序，用于為進(jìn)行多點(diǎn)播放會(huì)議使計(jì)算機(jī)發(fā)揮以下功能使多點(diǎn)播放會(huì)議裝置的攝像機(jī)等圖像輸入裝置輸入圖像流；使多點(diǎn)播放會(huì)議裝置的圖像編碼裝置進(jìn)行輸入的圖像流的編碼處理，作成應(yīng)發(fā)送的編碼圖像信息；使多點(diǎn)播放會(huì)議裝置的圖像發(fā)送裝置將已編碼的圖像信息采用多點(diǎn)播放發(fā)送到網(wǎng)絡(luò)；使多點(diǎn)播放會(huì)議裝置的圖像解碼裝置接收采用多點(diǎn)播放送來的圖像信息；使多點(diǎn)播放會(huì)議裝置的圖像解碼裝置解碼接收到的數(shù)據(jù)；使多點(diǎn)播放會(huì)議裝置的圖像顯示裝置顯示已解碼的圖像流；使多點(diǎn)播放會(huì)議裝置的參加終端信息存儲(chǔ)裝置存儲(chǔ)正參加會(huì)議的終端的發(fā)送源信息；另外，當(dāng)接收到幀內(nèi)編碼圖像時(shí)，由圖像接收裝置通知給圖像編碼裝置；而且，使上述圖像編碼裝置接收來自上述圖像接收裝置的通知，將編碼形式變更為幀內(nèi)編碼的形式。
23.一種多點(diǎn)播放會(huì)議程序，用于為進(jìn)行多點(diǎn)播放會(huì)議使計(jì)算機(jī)發(fā)揮以下功能使多點(diǎn)播放會(huì)議裝置的攝像機(jī)等圖像輸入裝置輸入圖像流；使多點(diǎn)播放會(huì)議裝置的圖像編碼裝置進(jìn)行輸入的圖像流的編碼處理，作成應(yīng)發(fā)送的編碼圖像信息；使多點(diǎn)播放會(huì)議裝置的圖像發(fā)送裝置將已編碼的圖像信息采用多點(diǎn)播放發(fā)送到網(wǎng)絡(luò)；使多點(diǎn)播放會(huì)議裝置的圖像解碼裝置接收采用多點(diǎn)播放送來的圖像信息；使多點(diǎn)播放會(huì)議裝置的圖像解碼裝置解碼接收到的數(shù)據(jù)；使多點(diǎn)播放會(huì)議裝置的圖像顯示裝置顯示已解碼的圖像流；使多點(diǎn)播放會(huì)議裝置的編碼信息存儲(chǔ)裝置，存儲(chǔ)正參加著會(huì)議的終端、以及有新中途參加的終端時(shí)其終端的編碼參數(shù)；使圖像編碼裝置，參照上述編碼信息存儲(chǔ)裝置，變更為在參加會(huì)議的全部終端都能顯示的編碼參數(shù)進(jìn)行編碼。
24.一種便攜式電話機(jī)，其特征在于包括攝像機(jī)等的輸入圖像流的圖像輸入裝置；圖像編碼裝置，對(duì)輸入的圖像流進(jìn)行編碼處理，作成應(yīng)發(fā)送的編碼圖像信息；圖像發(fā)送裝置，利用多點(diǎn)播放將已編碼的圖像信息發(fā)送到網(wǎng)絡(luò)；圖像接收裝置，接收利用多點(diǎn)播放發(fā)送的圖像信息；圖像解碼裝置，將接收到的數(shù)據(jù)進(jìn)行解碼；圖像顯示裝置，顯示被解碼的圖像流；中途參加通知裝置，進(jìn)行中途參加會(huì)議的通知；中途參加終端檢測(cè)裝置，檢測(cè)中途參加會(huì)議的終端，將其信息送到圖像編碼裝置；通信裝置，在與基站之間進(jìn)行通信控制，圖像編碼裝置，接收來自中途參加終端檢測(cè)裝置的檢測(cè)信號(hào)，將編碼形式變更為幀內(nèi)編碼形式，另一方面，通信裝置不僅在與基站之間進(jìn)行通信控制，而且將壓縮編碼圖像數(shù)據(jù)及壓縮編碼聲音數(shù)據(jù)向網(wǎng)絡(luò)發(fā)送，并從網(wǎng)絡(luò)接收壓縮編碼圖像數(shù)據(jù)及壓縮編碼聲音數(shù)據(jù)，而且將上述中途參加通知信號(hào)向網(wǎng)絡(luò)發(fā)送，并從網(wǎng)絡(luò)接收中途參加通知信號(hào)。
全文摘要
提供一種在電視會(huì)議等中,即使是中途參加的終端也能順利地顯示圖像的裝置。為此,多點(diǎn)播放會(huì)議裝置包括對(duì)輸入圖像進(jìn)行編碼處理的圖像編碼裝置;將其進(jìn)行多點(diǎn)播放發(fā)送的圖像發(fā)送裝置;將其進(jìn)行接收的圖像接收裝置;將其進(jìn)行解碼的圖像解碼裝置;將其進(jìn)行顯示的圖像顯示裝置;對(duì)會(huì)議中的中途參加進(jìn)行通知的中途參加通知裝置;檢測(cè)中途參加通知并向圖像編碼裝置發(fā)送的中途參加終端檢測(cè)裝置,圖像編碼裝置接收到來自中途參加終端檢測(cè)裝置的發(fā)送后,將編碼形式變更為幀內(nèi)編碼的形式。
文檔編號(hào)H04N7/15GK1380795SQ02105458
公開日2002年11月20日 申請(qǐng)日期2002年4月5日 優(yōu)先權(quán)日2001年4月6日
發(fā)明者高木利匡, 井上秋野, 佐藤正樹, 岡敏夫, 千賀諭 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社