專利名稱：動(dòng)圖像信息的生成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及利用通信分發(fā)影像數(shù)據(jù)的技術(shù)，特別涉及提供影像數(shù)據(jù)以及與攝像機(jī)設(shè)備等實(shí)時(shí)影像的輸入設(shè)備相關(guān)的控制信息的技術(shù)。
背景技術(shù)：
有一種影像分發(fā)系統(tǒng)，經(jīng)由互聯(lián)網(wǎng)分發(fā)所拍攝的實(shí)時(shí)影像，并指示作為攝像設(shè)備的攝像機(jī)的設(shè)定和操作等。
在這些影像分發(fā)系統(tǒng)等中，可在影像分發(fā)基礎(chǔ)上，經(jīng)由互聯(lián)網(wǎng)提供所謂搖鏡頭(pan)、俯仰運(yùn)動(dòng)(tilt)、變焦距、逆光補(bǔ)償?shù)臄z像機(jī)控制。
進(jìn)而，關(guān)于通過攝像機(jī)控制而被拍攝的區(qū)域也可以進(jìn)行限制。例如，采用如下限制特權(quán)用戶能夠利用攝像機(jī)具有的全部變焦距功能，而普通用戶就有只能利用變焦距功能的一部分(例如，不能完全使用望遠(yuǎn)端)。關(guān)于搖鏡頭功能和俯仰運(yùn)動(dòng)功能而言也是同樣的。
作為具有比以往的移動(dòng)電話服務(wù)更高的電波利用效率和通信頻帶的移動(dòng)電話服務(wù)，提供了第三代(3G)移動(dòng)電話服務(wù)。
用第三代(3G)移動(dòng)電話可以一邊打電話一邊進(jìn)行互聯(lián)網(wǎng)訪問等數(shù)據(jù)通信。
由于從與移動(dòng)設(shè)備通信網(wǎng)連接的個(gè)人信息終端(PDA)和移動(dòng)電話終端到與寬帶網(wǎng)連接的PC的影像收發(fā)信息終端的擴(kuò)展，作為動(dòng)圖像壓縮編碼方式，ISO在1999年制定了MPEG-4。MPEG-4具有覆蓋從數(shù)十Kbps到數(shù)十Mbps的較廣的比特率的高壓縮編碼效率，以及對(duì)無線和互聯(lián)網(wǎng)等傳送路徑錯(cuò)誤的強(qiáng)耐性等。
提供有對(duì)移動(dòng)電話終端提供影像剪輯(影像文件)的技術(shù)。
在這些服務(wù)中，使用內(nèi)置于移動(dòng)電話終端的數(shù)據(jù)通信功能，從服務(wù)器下載用多媒體數(shù)字信號(hào)編解碼器等所壓縮編碼后的影像剪輯(影像文件)后，使用內(nèi)置于相同移動(dòng)電話終端的解碼器把影像顯示在移動(dòng)電話終端的畫面中。
而且，這些影像剪輯的數(shù)據(jù)格式遵照微軟公司的ASF(AdvancedStreaming Format)格式或ISO標(biāo)準(zhǔn)的MP4格式(ISO/IEC14496-1Amd1MPEG-4系統(tǒng)Version2)等、在互聯(lián)網(wǎng)和PC等廣泛普及的格式。
在微軟公司的ASF(Advanced Streaming Format)格式和Apple公司QuickTime文件格式等中，能夠使URL等的超鏈接功能與影像剪輯相關(guān)聯(lián)。
例如，在ASF格式中，可定義“Script Command Object”，在該對(duì)象內(nèi)，能夠列出與ASF文件再生時(shí)的時(shí)間線同步地設(shè)定的鏈接信息。而且，在ASF格式中，如Script Command Object的名稱那樣，不僅是鏈接信息，也可以記述腳本等命令信息。
另外，在KDDI公司的ezmovie規(guī)格中，還具有對(duì)影像剪輯追加帶超鏈接功能的文本字幕的功能。對(duì)于該字幕記述語言，利用KDDI公司的STML(Synchronous Telop Mark-up Language的縮寫)。通過該功能，用戶能夠把聲音通話、郵件發(fā)送和主頁鏈接等與影像剪輯進(jìn)行關(guān)聯(lián)。

發(fā)明內(nèi)容
本發(fā)明是使上述技術(shù)發(fā)展的發(fā)明，目的在于提供一種可適合于以上述那樣的移動(dòng)電話終端為代表的新型終端的影像分發(fā)系統(tǒng)。
為了達(dá)到上述目的，在本發(fā)明的一個(gè)實(shí)施例中采用如下結(jié)構(gòu)一種分發(fā)給終端設(shè)備的動(dòng)圖像信息的生成方法，包括接收步驟，接收由攝像機(jī)所拍攝的動(dòng)圖像數(shù)據(jù)和攝像機(jī)所進(jìn)行的動(dòng)作的控制順序信息；文件生成步驟，從上述接收到的動(dòng)圖像數(shù)據(jù)生成動(dòng)圖像文件；編入步驟，把與上述所生成的動(dòng)圖像文件對(duì)應(yīng)的上述攝像機(jī)的控制順序信息和關(guān)于上述攝像機(jī)地址的信息編入上述動(dòng)圖像文件；以及分發(fā)步驟，把在上述編入步驟中編入了上述攝像機(jī)的控制順序信息和上述攝像機(jī)的鏈接信息的動(dòng)圖像文件分發(fā)給上述終端設(shè)備。
而且，出于其他觀點(diǎn)，采用如下結(jié)構(gòu)一種動(dòng)圖像文件的生成方法，包括取得步驟，取得由攝像機(jī)所拍攝的動(dòng)圖像數(shù)據(jù)和關(guān)于與上述動(dòng)圖像數(shù)據(jù)對(duì)應(yīng)的攝像機(jī)的信息；生成步驟，基于上述關(guān)于攝像機(jī)的信息，分割上述動(dòng)圖像數(shù)據(jù)，生成動(dòng)圖像文件。
本發(fā)明的其他目的和特征可以通過以下的說明和附圖得到明確。


圖1是表示使用本發(fā)明的實(shí)施方式的典型的利用形式的圖。
圖2是表示使影像變換服務(wù)器進(jìn)行動(dòng)作的硬件結(jié)構(gòu)的一例的圖。
圖3是表示攝像機(jī)服務(wù)器的硬件結(jié)構(gòu)的一例的圖。
圖4是表示移動(dòng)電話終端的硬件結(jié)構(gòu)的一例的圖。
圖5是把各設(shè)備的動(dòng)作處理程序模式化了的圖。
圖6是移動(dòng)電話終端中的影像的再生處理流程圖。
圖7A～7C是表示移動(dòng)電話終端的顯示設(shè)備上的顯示畫面的一例的圖。
圖8是表示攝像機(jī)操作的動(dòng)作處理流程的圖。
圖9是與攝像機(jī)服務(wù)器內(nèi)的攝像機(jī)控制有關(guān)的動(dòng)作處理流程圖。
圖10是與攝像機(jī)服務(wù)器內(nèi)的影像處理有關(guān)的動(dòng)作處理流程圖。
圖11是表示移動(dòng)電話終端中的操作鍵的分配的一例的圖。
圖12是用于說明影像變換服務(wù)器中的影像數(shù)據(jù)的變換的圖。
圖13是影像變換服務(wù)器的動(dòng)作處理流程圖。
圖14是表示編入到影像剪輯中的控制順序數(shù)據(jù)的一例的圖。
圖15是表示攝像機(jī)的控制履歷管理表的一例的圖。
圖16是表示時(shí)間經(jīng)過和優(yōu)先級(jí)評(píng)價(jià)值的關(guān)系的一例的圖表。
具體實(shí)施例方式
下面，參照附圖詳細(xì)說明適用本發(fā)明的優(yōu)選實(shí)施方式。
<第1實(shí)施方式>
在第1實(shí)施方式中，說明把從配置在互聯(lián)網(wǎng)上的攝像機(jī)服務(wù)器取得的實(shí)時(shí)影像面向移動(dòng)電話終端地進(jìn)行變換，并進(jìn)行發(fā)送的例子。
進(jìn)而，也說明影像變換服務(wù)器，該影像變換服務(wù)器反映影像所附帶的攝像機(jī)控制狀態(tài)信息(搖鏡頭、俯仰運(yùn)動(dòng)、變焦距或控制權(quán)等信息)，生成適當(dāng)?shù)挠跋窦糨?。特別地，在本實(shí)施方式的影像變換服務(wù)器中，特征在于使用影像剪輯被生成的時(shí)刻的攝像機(jī)控制狀態(tài)信息，來生成影像剪輯，使得能夠確認(rèn)與上述控制狀態(tài)信息對(duì)應(yīng)的當(dāng)前的攝像機(jī)的影像。另外，所謂“影像剪輯”，表示某期間的動(dòng)圖像的被存儲(chǔ)了的影像數(shù)據(jù)。
而且，影像變換服務(wù)器預(yù)先取得來自攝像機(jī)服務(wù)器101的影像數(shù)據(jù)，在移動(dòng)電話終端所具有的標(biāo)準(zhǔn)影像觀察器中生成可再生的影像剪輯。進(jìn)行該生成時(shí)，在影像剪輯中編入與攝像機(jī)控制信息相關(guān)聯(lián)的鏈接信息。移動(dòng)電話終端的用戶能夠基于被編入該影像剪輯中的攝像機(jī)控制信息，控制與影像剪輯對(duì)應(yīng)的攝像機(jī)，并取得實(shí)時(shí)的影像數(shù)據(jù)。
圖1是表示使用了本發(fā)明實(shí)施方式的典型的利用形式的圖。攝像機(jī)服務(wù)器101和102具有攝像機(jī)，可分發(fā)實(shí)時(shí)影像。觀察器103是連接了網(wǎng)絡(luò)的PC等。攝像機(jī)服務(wù)器101、102和觀察器103各自與網(wǎng)絡(luò)連接，從觀察器103經(jīng)由互聯(lián)網(wǎng)109向攝像機(jī)服務(wù)器101、102發(fā)送請(qǐng)求。收到請(qǐng)求后，從攝像機(jī)服務(wù)器向觀察器分發(fā)影像數(shù)據(jù)，在觀察器103中就可以顯示攝像機(jī)影像了。而且從觀察器103向攝像機(jī)服務(wù)器101、102發(fā)送攝像機(jī)控制命令，可進(jìn)行攝像機(jī)的變焦距、搖鏡頭、俯仰運(yùn)動(dòng)等操作。進(jìn)而，在網(wǎng)絡(luò)109上配置有中繼服務(wù)器104，用來中繼觀察器103和攝像機(jī)服務(wù)器101、102的通信。
影像變換服務(wù)器105把攝像機(jī)服務(wù)器101、102提供的影像數(shù)據(jù)面向移動(dòng)電話終端107地進(jìn)行變換后，對(duì)移動(dòng)電話終端分發(fā)影像數(shù)據(jù)。而且，網(wǎng)關(guān)106中介于網(wǎng)絡(luò)109和移動(dòng)電話電路網(wǎng)110。移動(dòng)電話終端107裝載有應(yīng)用程序，該應(yīng)用程序用于把攝像機(jī)作為可控制的觀察器而發(fā)揮功能。經(jīng)由該網(wǎng)關(guān)106，本實(shí)施方式的與互聯(lián)網(wǎng)連接的設(shè)備和移動(dòng)電話終端107及107可進(jìn)行通信。而且，移動(dòng)電話終端107上的應(yīng)用程序典型的是在出廠時(shí)被配置的，但也可以是如Java(R)程序那樣在執(zhí)行時(shí)(利用時(shí))進(jìn)行下載并執(zhí)行的形式。
圖1的網(wǎng)絡(luò)既有在企業(yè)或者組織內(nèi)所使用的內(nèi)部網(wǎng)的情況，也有連接著廣闊世界的互聯(lián)網(wǎng)的情況。而且，中繼服務(wù)器和影像變換服務(wù)器典型的是設(shè)計(jì)成配置在互聯(lián)網(wǎng)交換站(IX)和數(shù)據(jù)中心(IDCInternet Data Center)，使得謀求減輕通信負(fù)荷。
圖2是表示使影像變換服務(wù)器105進(jìn)行動(dòng)作的硬件結(jié)構(gòu)的一例的圖。影像變換服務(wù)器105由基于預(yù)定的程序總體控制服務(wù)器整體的CPU22、用于與網(wǎng)絡(luò)109連接的網(wǎng)絡(luò)I/F201等組成。另外，作為存儲(chǔ)設(shè)備，由作為主存儲(chǔ)設(shè)備的RAM203、由閃存或HD設(shè)備等構(gòu)成的二次存儲(chǔ)設(shè)備204、以及用于從介質(zhì)中載入程序的FD設(shè)備205等組成。
而且，雖然無圖示，但也有具備用于進(jìn)行設(shè)定等的輸入輸出設(shè)備的情況。具體來說，是連接顯示器的顯示設(shè)備、鍵盤及鼠標(biāo)等的控制器等。
圖3是表示攝像機(jī)服務(wù)器101的硬件結(jié)構(gòu)的一例的圖，由實(shí)際進(jìn)行攝像的攝像機(jī)301和計(jì)算機(jī)構(gòu)成，更詳細(xì)地說，由存儲(chǔ)程序和數(shù)據(jù)的存儲(chǔ)器、用于取入影像數(shù)據(jù)的影像擷取卡(capture board)302、用于向攝像機(jī)302發(fā)送命令的串行I/F303、用于和網(wǎng)絡(luò)連接的網(wǎng)絡(luò)I/F304、以及利用程序執(zhí)行各種處理的CPU305等組成。存儲(chǔ)設(shè)備包括作為主存儲(chǔ)設(shè)備的RAM306、由閃存和HD設(shè)備等構(gòu)成的二次存儲(chǔ)設(shè)備307、以及用于從介質(zhì)中載入程序的FD設(shè)備308等。而且，具有多部攝像機(jī)301，可以根據(jù)用戶的希望而切換影像輸出。
另外，攝像機(jī)服務(wù)器101也可以用將攝像機(jī)301和計(jì)算機(jī)一體化后的服務(wù)器內(nèi)置式網(wǎng)絡(luò)攝像機(jī)來構(gòu)成。
圖4是表示使移動(dòng)電話終端107進(jìn)行動(dòng)作的硬件結(jié)構(gòu)的一例的圖。如上所述，使用移動(dòng)電話終端107使用于作為觀察器而發(fā)揮功能的應(yīng)用功能進(jìn)行動(dòng)作。更詳細(xì)地說，在移動(dòng)電話終端107中，包括存儲(chǔ)程序和數(shù)據(jù)的存儲(chǔ)器401；用于與移動(dòng)電話電路網(wǎng)110連接的無限通信I/F402；以及利用程序執(zhí)行各種處理的CPU403外圍設(shè)備等。存儲(chǔ)設(shè)備由作為主存儲(chǔ)設(shè)備的RAM和閃存等組成。而且，作為外圍設(shè)備，包括配置在移動(dòng)電話終端107上的按鍵組406和開關(guān)組407等輸入設(shè)備；顯示控制器404；顯示器設(shè)備408等顯示輸出設(shè)備；以及麥克風(fēng)和揚(yáng)聲器等聲音輸入輸出設(shè)備409。
圖5是把各設(shè)備的動(dòng)作處理程序模式化了的圖。在攝像機(jī)服務(wù)器101中，含有負(fù)責(zé)攝像機(jī)控制的攝像機(jī)控制服務(wù)器501和負(fù)責(zé)影像分發(fā)的影像服務(wù)器502這兩個(gè)模塊。同樣地，在移動(dòng)電話終端107中，作為在移動(dòng)電話終端107上進(jìn)行動(dòng)作的應(yīng)用程序，包括對(duì)應(yīng)于攝像機(jī)控制命令的發(fā)出和攝像機(jī)狀態(tài)通知的攝像機(jī)控制單元503，和負(fù)責(zé)影像剪輯的顯示的影像顯示單元504。另外，在影像變換服務(wù)器105中，分別包含解釋攝像機(jī)控制命令序列(以下稱為PTZ順序)，并對(duì)攝像機(jī)服務(wù)器101發(fā)出攝像機(jī)控制命令的攝像機(jī)控制單元505；和從攝像機(jī)服務(wù)器101取得影像，面向移動(dòng)電話終端地進(jìn)行變換，再把其編輯成面向移動(dòng)電話網(wǎng)的影像剪輯的模塊(影像取得單元506、影像變換單元507、影像發(fā)送單元508)。
圖6是表示在移動(dòng)電話終端107中，再生顯示影像剪輯的動(dòng)作流程的圖。
在步驟S601中，首先得到影像變換服務(wù)器105的識(shí)別符，這既可以由用戶直接通過鍵操作輸入識(shí)別符，也可以選擇包含在郵件或網(wǎng)頁中的識(shí)別符。而且，此時(shí)的識(shí)別符，典型的是識(shí)別影像變換服務(wù)器105的URL。
接下來在步驟S602中，經(jīng)由網(wǎng)關(guān)106，基于得到的影像變換服務(wù)器105的識(shí)別符，與影像變換服務(wù)器105的影像發(fā)送單元508連接。
影像變換服務(wù)器105從自身的服務(wù)器內(nèi)檢索影像變換服務(wù)器105要連接的攝像機(jī)服務(wù)器101的識(shí)別符和攝像機(jī)的識(shí)別符。進(jìn)而，從移動(dòng)電話終端107得到用于指示該攝像機(jī)服務(wù)器101的攝像機(jī)控制(搖鏡頭、俯仰運(yùn)動(dòng)、變焦距)的PTZ順序，以及用戶識(shí)別符和口令等用于訪問控制的用戶識(shí)別信息。
而且，關(guān)于攝像機(jī)服務(wù)器識(shí)別符和PTZ順序，既可以由用戶在移動(dòng)電話終端107上直接通過鍵操作來輸入攝像機(jī)控制命令，也可以選擇包含在郵件或網(wǎng)頁中的與攝像機(jī)服務(wù)器識(shí)別符和PTZ順序有關(guān)的信息。
進(jìn)而在步驟S603中，移動(dòng)電話終端107向影像變換服務(wù)器105請(qǐng)求影像剪輯。該請(qǐng)求含有所請(qǐng)求的影像剪輯的生成方法的指定等，典型的是按照HTTP協(xié)議來發(fā)送。
這時(shí)，如果得到關(guān)于PTZ順序的信息，則把該與PTZ順序有關(guān)的信息發(fā)送給影像變換服務(wù)器105。該請(qǐng)求和與PTZ順序有關(guān)的信息的發(fā)送，既可以用HTTP連接的GET方式編入U(xiǎn)RL，也可以用HTTP連接的POST方式來發(fā)送。在這里，說明用POST方式來發(fā)送的情況。例如以下這樣。實(shí)際上適用了URL編碼，但以下根據(jù)說明的情況也有不適用URL編碼的部分。
<pre listing-type="program-listing"><![CDATA[POST/getvideoclip/HTTP/1.1Host202.28.30.2088080User-AgentMozilePhene/2.0 C210V(c100)Pragmano-cachevideoencodeparam＝QCIFfps15.0bps64000intraframe5me8cameraservers＝webview//vb101_4.x-zone.canon.co.jp34560+34561+34562PTZ＝HZ15_30S3_40S4_40P-10_20moviesizemax＝240kbytesnotifyto＝mailtoriyousha3@mailserver.uesrsite.co.jpuserid＝331245uesrpw＝15215294]]></pre>
不過，接續(xù)“videoencodeparam＝”的部分是指示把影像變換服務(wù)器105從攝像機(jī)服務(wù)器101接收到的源影像面向移動(dòng)電話終端地進(jìn)行編碼時(shí)的參數(shù)信息的內(nèi)容。而且，接續(xù)“cameraservers＝”的部分指定影像變換服務(wù)器105所連接的攝像機(jī)服務(wù)器101。另外，接續(xù)“PTZ＝”的部分指定有關(guān)PTZ順序的信息，所述PTZ順序排列了影像變換服務(wù)器105關(guān)于攝像機(jī)服務(wù)器101應(yīng)執(zhí)行的攝像機(jī)控制的命令。而且，接續(xù)“moviesizemax＝”的部分指定移動(dòng)電話終端107或者移動(dòng)電話網(wǎng)所規(guī)定的影像剪輯的數(shù)據(jù)的最大量。而且，接續(xù)“notifyto＝”的部分是在影像剪輯生成時(shí)要通知的聯(lián)絡(luò)目標(biāo)。典型的是指定移動(dòng)電話終端107的郵件地址。而且，接續(xù)“userid＝”和“uesrpw＝”的部分分別是用戶識(shí)別符和口令。其中，PTZ順序的構(gòu)成要件具有以下的含義。N是數(shù)值數(shù)據(jù)(有正負(fù))。
Pn搖鏡頭(水平方向攝像機(jī)控制)指定Tn俯仰運(yùn)動(dòng)(垂直方向攝像機(jī)控制)指定Zn變焦距指定Bn逆光補(bǔ)償、逆光補(bǔ)償?shù)腛N/OFFH原位置指定Sn預(yù)設(shè)位置指定，第n個(gè)預(yù)設(shè)位置Cn攝像機(jī)服務(wù)器連接切換指定，第n個(gè)攝像機(jī)服務(wù)器Kn攝像機(jī)服務(wù)器內(nèi)攝像機(jī)切換指定，第n個(gè)攝像機(jī)_n時(shí)間經(jīng)過指定。0.1秒單位接下來，在步驟S604中，等待來自影像變換服務(wù)器105的響應(yīng)。接下來，在步驟S605中，解釋從影像變換服務(wù)器105接收到的響應(yīng)，顯示在移動(dòng)電話終端107的顯示設(shè)備上。例如圖7A那樣。如果來自影像變換服務(wù)器105的響應(yīng)是表示因?yàn)槟撤N原因不能立刻生成影像的內(nèi)容，就進(jìn)入步驟S606。反之，如果表示能立刻生成影像，就進(jìn)入步驟S607。
在步驟S606中，等待接收來自影像變換服務(wù)器105的郵件通知。郵件通知是例如利用SMTP(Simple Message Transfer Protocol簡(jiǎn)單郵件傳輸協(xié)議)的，但也可以是SMS(Short Message Service短消息服務(wù))。接收到郵件通知時(shí)，把該郵件內(nèi)容作為來自影像變換服務(wù)器105的響應(yīng)而顯示，并進(jìn)入步驟S607。例如圖7B那樣。在步驟S607中，選擇包含在響應(yīng)中的一個(gè)影像剪輯，下載后進(jìn)行再生顯示。例如圖7C那樣。
這里，影像剪輯的再生顯示處理是等待下載結(jié)束后執(zhí)行的，但也可以不等待下載結(jié)束，在取得可顯示再生的影像剪輯數(shù)據(jù)的時(shí)刻開始再生顯示處理。
而且，在移動(dòng)電話終端107上的影像剪輯的再生顯示中，在檢測(cè)出進(jìn)行了移動(dòng)電話終端107所具有的用戶操作按鍵等預(yù)定的操作時(shí)，從影像剪輯中抽取出與在檢測(cè)出的時(shí)刻所顯示的影像數(shù)據(jù)(有的稱為影像區(qū)間或影像片斷)對(duì)應(yīng)的鏈接信息和攝像機(jī)的控制信息(關(guān)于PTZ順序的信息)。
而且，使用移動(dòng)電話終端107所具有的瀏覽器功能，對(duì)其鏈接信息所表示的鏈接目標(biāo)信息進(jìn)行訪問。在對(duì)鏈接目標(biāo)信息的訪問中，典型的是啟動(dòng)可進(jìn)行攝像機(jī)控制的應(yīng)用，在與所再生的影像剪輯對(duì)應(yīng)的攝像機(jī)的攝影方向上一邊控制攝像機(jī)一邊進(jìn)行攝像。具體地說，基于PTZ順序信息，對(duì)所指定的影像剪輯的再生區(qū)間，對(duì)應(yīng)于時(shí)序地依次控制攝像機(jī)的搖鏡頭、俯仰運(yùn)動(dòng)、變焦距。而且，通過移動(dòng)電話終端的設(shè)定，也有進(jìn)行所設(shè)定的活動(dòng)的情況。例如，是把所訪問的鏈接信息添加在郵件里的郵件發(fā)送。
圖8說明攝像機(jī)操作的動(dòng)作處理流程。首先，在步驟S651中，根據(jù)啟動(dòng)時(shí)所指示的攝像機(jī)服務(wù)器101內(nèi)的影像服務(wù)器502的地址和連接端口的信息，向影像服務(wù)器502連接。在這里，啟動(dòng)用于進(jìn)行連接之后的處理的動(dòng)作程序(作為實(shí)現(xiàn)方法，成為線程或處理的啟動(dòng))，反復(fù)進(jìn)行步驟S661直到該程序結(jié)束。在步驟S661中，來自影像服務(wù)器502的影像數(shù)據(jù)每到達(dá)一次就將其接收并顯示。
進(jìn)而，主程序在步驟S652中根據(jù)在相同的啟動(dòng)時(shí)所指示的攝像機(jī)控制服務(wù)器501的地址和連接端口的信息，向攝像機(jī)控制服務(wù)器501連接。
而且，此后主程序接收來自用戶的操作請(qǐng)求，連接到執(zhí)行的主循環(huán)。首先，在步驟S653中檢測(cè)用戶的操作。用戶的操作涉及攝像機(jī)控制時(shí)，就在步驟S654中向攝像機(jī)控制服務(wù)器501發(fā)出命令。另外，在涉及影像服務(wù)器502時(shí)，就在步驟S655中向影像服務(wù)器502發(fā)出命令。
另外，用戶的操作是變更影像顯示狀態(tài)的操作(例如變更顯示尺寸的操作等)時(shí)，就在步驟S656中更新影像的顯示狀態(tài)。而且，用戶的操作是用于結(jié)束影像再生的操作時(shí)，就在步驟S657中依次結(jié)束與觀察器的動(dòng)作相關(guān)聯(lián)的各程序。S654-S657的處理結(jié)束后返回S653，等待用戶的操作輸入。
另外，在移動(dòng)電話終端107上進(jìn)行動(dòng)作的攝像機(jī)操作用的應(yīng)用，既有作為移動(dòng)電話終端出廠時(shí)具有的軟件而被安裝的情況，也有如Java(R)程序那樣從網(wǎng)絡(luò)上下載而被安裝的軟件的情況。
而且，雖然圖8中沒有圖示，但也能夠執(zhí)行下述操作把連接目標(biāo)的攝像機(jī)服務(wù)器向其他攝像機(jī)服務(wù)器切換的操作；在攝像機(jī)服務(wù)器連接有多部攝像機(jī)時(shí)，與取得影像的攝像機(jī)的切換操作有關(guān)的操作。
圖9是表示攝像機(jī)服務(wù)器101內(nèi)的攝像機(jī)控制服務(wù)器501的動(dòng)作的流程圖。攝像機(jī)控制服務(wù)器501首先在啟動(dòng)時(shí)在步驟S701中，從特定的文件(取決于OS，是registry等的系統(tǒng)數(shù)據(jù)庫)讀出攝像機(jī)控制服務(wù)器501的動(dòng)作設(shè)定信息，基于此開始動(dòng)作。在這里，經(jīng)由影像變換服務(wù)器105，打開接受作為客戶機(jī)的移動(dòng)電話終端107的請(qǐng)求的端口，然后，進(jìn)入步驟S702的請(qǐng)求接受狀態(tài)。
當(dāng)請(qǐng)求(連接請(qǐng)求或者操作命令請(qǐng)求)被接受時(shí)，離開S702，如果是連接請(qǐng)求，就在步驟S703進(jìn)行可否連接的判斷。如果不可連接，就返回拒絕連接的錯(cuò)誤代碼，返回到步驟S702。如果可以連接，則在步驟S704中，作為連接處理，生成進(jìn)行來自移動(dòng)電話終端107等的客戶機(jī)的命令的接受處理的線程，進(jìn)行客戶機(jī)的登錄后，返回到步驟S702。用所生成的線程，在步驟S707中接收來自對(duì)應(yīng)的客戶機(jī)的命令。
當(dāng)命令到達(dá)時(shí)，接收該命令，向進(jìn)行攝像機(jī)操作的主程序交送。主程序在步驟S702中接受它，對(duì)于操作命令，進(jìn)入步驟S705，根據(jù)發(fā)出操作命令的線程所連接的客戶機(jī)的權(quán)限來進(jìn)行攝像機(jī)控制。把該攝像機(jī)控制的結(jié)果(表示控制成功或失敗的代碼等)傳送給與接受了攝像機(jī)操作請(qǐng)求的客戶機(jī)對(duì)應(yīng)的線程(thread)。該客戶機(jī)對(duì)應(yīng)的線程在步驟S708中把結(jié)果回送給客戶機(jī)。在主程序部分中，在步驟S706中把根據(jù)攝像機(jī)的操作而變化了的狀態(tài)(包含例如搖鏡頭、俯仰運(yùn)動(dòng)、變焦距的數(shù)值和有無禁止區(qū)域檢測(cè)等的攝像機(jī)狀態(tài)信息等)傳送給全部的客戶機(jī)對(duì)應(yīng)的線程。
各客戶機(jī)對(duì)應(yīng)的線程在步驟S709中把攝像機(jī)控制狀態(tài)的變化通知給客戶機(jī)。客戶機(jī)對(duì)應(yīng)的線程如果從客戶機(jī)接受了連接結(jié)束的命令，就把它向主程序通知，再在步驟S710中結(jié)束自身的線程。
圖10是表示攝像機(jī)服務(wù)器101內(nèi)的影像服務(wù)器502的動(dòng)作的流程圖。影像服務(wù)器502先在啟動(dòng)時(shí)在步驟S801中從特定的文件(取決于OS，是registry等的系統(tǒng)數(shù)據(jù)庫)讀出影像服務(wù)器502的動(dòng)作設(shè)定信息，基于此開始動(dòng)作。在這里，生成進(jìn)行影像的取得、編碼和存儲(chǔ)的線程(最初該線程為休止?fàn)顟B(tài))，打開接受來自作為客戶機(jī)的移動(dòng)電話終端107的請(qǐng)求的端口，然后，進(jìn)入步驟S802的請(qǐng)求接受狀態(tài)。
當(dāng)請(qǐng)求(連接請(qǐng)求或命令請(qǐng)求)被接受時(shí)，離開步驟S802，如果為連接請(qǐng)求，就在步驟S803中進(jìn)行可否連接的判斷。如果不可連接，就返回拒絕連接的錯(cuò)誤代碼，返回到步驟S802。如果可以連接，就在步驟S804中作為連接處理，生成用于識(shí)別每個(gè)客戶機(jī)的通話(session)的通話識(shí)別符，生成進(jìn)行來自客戶機(jī)的命令的接受處理的線程，依照發(fā)出接受請(qǐng)求的客戶機(jī)的訪問權(quán)信息等進(jìn)行客戶機(jī)的登錄，返回到S802。
而且，如果此時(shí)請(qǐng)求內(nèi)容是實(shí)時(shí)影像的請(qǐng)求，且進(jìn)行影像的取得和編碼的線程為休止?fàn)顟B(tài)，則在返回S802之前，指示處于停止?fàn)顟B(tài)的線程的動(dòng)作開始。用所生成的線程，在步驟S807中接受來自對(duì)應(yīng)的客戶機(jī)的命令。如果命令到達(dá)，就接受它，并向進(jìn)行影像處理的主程序交送。
主程序在步驟S802中接受它，針對(duì)操作命令，進(jìn)入步驟S805，進(jìn)行關(guān)于影像的取得、編碼、以及發(fā)送等的設(shè)定的變更操作，把其結(jié)果(表示操作的成功或失敗的代碼)傳送給與接受了命令請(qǐng)求的客戶機(jī)對(duì)應(yīng)的線程。在步驟S808中，客戶機(jī)對(duì)應(yīng)的線程把該結(jié)果回送給客戶機(jī)。
在主程序部分中，通過向進(jìn)行來自步驟S804的影像的取得和編碼的線程指示動(dòng)作開始，在步驟S806中，按事先設(shè)定的時(shí)間間隔，使用影像擷取卡取得影像數(shù)據(jù)，把它變換成壓縮數(shù)據(jù)。進(jìn)而，把該壓縮數(shù)據(jù)傳送給連接著實(shí)時(shí)影像的全部客戶機(jī)對(duì)應(yīng)的線程。
各客戶機(jī)對(duì)應(yīng)的線程在步驟S809中，判斷有無來自客戶機(jī)的下一影像幀發(fā)送請(qǐng)求，如果有請(qǐng)求，就把影像數(shù)據(jù)分發(fā)給客戶機(jī)。這時(shí)，如果檢測(cè)到禁止區(qū)域，則參照與預(yù)先登錄的客戶機(jī)有關(guān)的信息。如果不是被登錄的客戶機(jī)，則屬于連接被禁止的區(qū)域，發(fā)出不分發(fā)壓縮數(shù)據(jù)的通知(禁止區(qū)域檢出通知)。
而且，連接著實(shí)時(shí)影像的客戶機(jī)對(duì)應(yīng)的線程在接收到來自客戶機(jī)的下一影像幀發(fā)送請(qǐng)求(這一般是對(duì)于客戶機(jī)的壓縮影像數(shù)據(jù)接受結(jié)束而被回送的)時(shí)，設(shè)定影像幀發(fā)送請(qǐng)求的標(biāo)記(flag)。
而且，如果從客戶機(jī)接受到連接結(jié)束的命令，就把它送達(dá)主程序，進(jìn)而在步驟S810中結(jié)束自身的線程。
圖11是表示生成PTZ控制命令時(shí)的移動(dòng)電話終端107中的操作鍵分配的一例的圖。在生成PTZ順序時(shí)，對(duì)于移動(dòng)電話終端107的鍵，如圖所示那樣，分配有搖鏡頭(攝像機(jī)橫向變動(dòng))、俯仰運(yùn)動(dòng)(攝像機(jī)縱變運(yùn)動(dòng))、變焦距(放大倍率變更)和逆光補(bǔ)償?shù)裙δ?。所生成的命令?jīng)由影像變換服務(wù)器105向攝像機(jī)控制服務(wù)器501輸出。
圖12是把影像變換服務(wù)器105中的影像數(shù)據(jù)的大致流向模式化了的圖。從攝像機(jī)服務(wù)器101送出的影像數(shù)據(jù)(Motion JPEG，QVGA尺寸320x240)經(jīng)由影像變換服務(wù)器105的攝像機(jī)服務(wù)器對(duì)應(yīng)的通信堆棧(stack)而被接收，然后被傳送到JPEG解碼器。而且，被傳送到面向移動(dòng)電話地設(shè)定的MPEG-4編碼器，加工為面向移動(dòng)電話的影像數(shù)據(jù)(MPEG-4simple profile、QICF尺寸176x144，64Kbps)后，作為影像剪輯，經(jīng)由移動(dòng)電話網(wǎng)對(duì)應(yīng)的通信堆棧，被發(fā)送給移動(dòng)電話終端107。
圖13是表示影像變換服務(wù)器105的動(dòng)作的流程圖。
影像變換服務(wù)器105首先在啟動(dòng)時(shí)，在步驟S1301中從特定的文件讀出影像變換服務(wù)器105的動(dòng)作設(shè)定信息，基于此開始動(dòng)作。在這里，打開通信端口，然后進(jìn)入步驟S1302的請(qǐng)求接受狀態(tài)。上述通信端口是接受來自作為客戶機(jī)的移動(dòng)電話終端107的應(yīng)用程序的請(qǐng)求的端口。
如果請(qǐng)求(HTTP請(qǐng)求的消息等)被接受，就離開步驟S1302，在步驟S1303中進(jìn)行可否連接的判斷。如果不可連接，就送回拒絕連接的錯(cuò)誤代碼，返回S1302，如果可以連接，就在步驟S1304中作為連接處理而對(duì)應(yīng)于各客戶機(jī)生成客戶機(jī)對(duì)應(yīng)線程，進(jìn)行客戶機(jī)的登錄，返回到S1302。上述客戶機(jī)對(duì)應(yīng)線程是用于進(jìn)行與客戶機(jī)的信息收發(fā)的。
在步驟S1311中，用所生成的客戶機(jī)對(duì)應(yīng)線程，讀入來自對(duì)應(yīng)的客戶機(jī)的請(qǐng)求，并解析內(nèi)容。請(qǐng)求典型的是采用HTTP請(qǐng)求，發(fā)送到影像變換服務(wù)器105。而且，在HTTP請(qǐng)求中，既有使用POST方式的情況，也有利用GET方式的情況。
下面，在步驟S1312中，從請(qǐng)求內(nèi)容中取出如下信息編碼參數(shù)信息(影像變換參數(shù))、對(duì)攝像機(jī)服務(wù)器的連接信息(源影像信息)、關(guān)于PTZ順序的信息、影像剪輯的最大尺寸(影像剪輯上限值)、通知目標(biāo)信息(通知目標(biāo)的地址)、以及用戶識(shí)別符和口令等用戶識(shí)別信息。這些分別作為“videoencodeparam＝”“cameraservers＝”“PTZ＝”“moviesizemax＝”“notifyto＝”“userid＝”“uesrpw＝”的值而進(jìn)行指示。
影像變換參數(shù)記述了變換用多媒體數(shù)字信號(hào)編解碼器的選擇和給該多媒體數(shù)字信號(hào)編解碼器的參數(shù)，以及多媒體數(shù)字信號(hào)編解碼器的輸入用/輸出用的數(shù)據(jù)形式等。所謂源影像信息是例如提供實(shí)時(shí)影像的攝像機(jī)服務(wù)器101的網(wǎng)絡(luò)地址和端口號(hào)等的通信屬性信息。所謂通知目標(biāo)的地址，典型的是指定了連接中的移動(dòng)電話終端107的郵件地址。
下面，在步驟S1313中，作為對(duì)HTTP請(qǐng)求的HTTP響應(yīng)，返回表示“因?yàn)椴荒芰⒓瓷捎跋?，所以稍候郵件聯(lián)絡(luò)”的信息。
下面，在步驟S1314中，按照源影像信息和用戶識(shí)別信息，初始化影像取得單元506。具體地說，連接提供源影像的攝像機(jī)服務(wù)器501，開始取得源影像。
而且，進(jìn)入步驟S1315，根據(jù)影像變換參數(shù)而初始化影像變換單元。該影像變換單元507由MPGE-4編碼器等構(gòu)成。而且，進(jìn)入步驟S1316，初始化影像發(fā)送單元。這時(shí)，把影像剪輯上限值和通知目標(biāo)的地址指示給影像發(fā)送單元508。
進(jìn)而，進(jìn)入步驟S1317，從影像取得單元506向影像變換單元507、從影像變換單元507向影像發(fā)送單元508分別傳送各自的處理數(shù)據(jù)，進(jìn)行相互關(guān)聯(lián)。而且，攝像機(jī)控制單元505把關(guān)于PTZ順序的信息傳送給攝像機(jī)控制服務(wù)器501，執(zhí)行攝像機(jī)服務(wù)器101中的攝像機(jī)控制。
而且，進(jìn)入步驟S1318，進(jìn)行影像取得單元506、影像變換單元507、以及影像發(fā)送單元508的后處理。并且，進(jìn)入步驟S1319，結(jié)束客戶機(jī)對(duì)應(yīng)線程。
下面順次說明在影像變換服務(wù)器105中發(fā)揮功能的影像取得單元506、影像變換單元507、影像發(fā)送單元508、以及攝影機(jī)控制單元505。影像取得單元506首先根據(jù)初始化時(shí)接受到的源影像信息和用戶識(shí)別信息，執(zhí)行連接在提供實(shí)時(shí)影像的攝像機(jī)服務(wù)器101上的處理。而且，從攝像機(jī)服務(wù)器101取得影像數(shù)據(jù)，付予取得時(shí)的印時(shí)戳，并把影像數(shù)據(jù)送往影像變換單元507。因?yàn)楸緦?shí)施方式中的攝像機(jī)服務(wù)器101以Motion JPEG格式提供影像數(shù)據(jù)，所以付予印時(shí)戳的是各個(gè)JPEG數(shù)據(jù)。
而且，從攝像機(jī)服務(wù)器101通知禁止區(qū)域檢測(cè)時(shí)，取代影像數(shù)據(jù)，把禁止區(qū)域檢測(cè)通知傳給影像變換部507。接下來，在影像變換單元507中首先把在初始化時(shí)接受到的給多媒體數(shù)字信號(hào)編解碼器的參數(shù)和多媒體數(shù)字信號(hào)編解碼器輸入用/輸出用的數(shù)據(jù)形式等設(shè)定在MPEG-4編碼器中。
而且，影像變換單元507把從影像取得單元506接受到的源影像數(shù)據(jù)整理成多媒體數(shù)字信號(hào)編解碼器輸入用的數(shù)據(jù)形式和圖像尺寸后輸入到MPEG-4編碼器，把此處理結(jié)果傳向影像發(fā)送單元508。這里，用本實(shí)施方式中的影像變換單元507，把JPEG格式的源影像數(shù)據(jù)預(yù)先整理成QCIF尺寸和YUV411格式后，輸入到MPEG-4多媒體數(shù)字信號(hào)編解碼器，把所生成的MPEG-4數(shù)據(jù)(I-frame或P-frame)傳送給影像發(fā)送單元508。這時(shí)，將在影像取得單元506中所付予的印時(shí)戳一并輸入到MPEG-4多媒體數(shù)字信號(hào)編解碼器。
而且，從影像取得單元506通知禁止區(qū)域檢測(cè)時(shí)，取代源影像數(shù)據(jù)，把表示攝像機(jī)控制處于被限制的區(qū)域而不能顯示影像的合成畫面輸入到MPEG-4多媒體數(shù)字信號(hào)編解碼器。
然后，在影像發(fā)送單元508中，首先，按照在初始化時(shí)接受到的影像剪輯上限值來確保存儲(chǔ)器區(qū)域。而且，接受影像變換單元507生成的面向移動(dòng)電話的影像數(shù)據(jù)，保持在所確保的存儲(chǔ)器區(qū)域中。
另外，在影像發(fā)送單元508中，對(duì)應(yīng)于從收到影像顯示禁止區(qū)域檢測(cè)通知的時(shí)刻到檢測(cè)到脫離禁止區(qū)域的時(shí)刻的區(qū)間，在加入存儲(chǔ)區(qū)域的利用率后，確定影像剪輯的分割點(diǎn)。而且，判斷為分割點(diǎn)時(shí)，把遵循面向移動(dòng)電話的影像剪輯的數(shù)據(jù)格式的首部信息前置，把保持在存儲(chǔ)區(qū)域中的影像數(shù)據(jù)作為文件來保存，再次利用存儲(chǔ)區(qū)域。由此，影像剪輯被分割保存在多個(gè)文件中。
這里，對(duì)生成影像顯示禁止區(qū)域以外的影像剪輯時(shí)的影像數(shù)據(jù)分割點(diǎn)的確定方法進(jìn)行說明。
關(guān)于影像發(fā)送單元508中的生成影像剪輯時(shí)的分割點(diǎn)優(yōu)先級(jí)的計(jì)算，定期地、每以例如一秒間隔等取得影像數(shù)據(jù)就進(jìn)行。例如按條件(0)～(5)來計(jì)算。例如圖14所示，得到表示相對(duì)于時(shí)間經(jīng)過的優(yōu)先級(jí)的評(píng)價(jià)值。
(0)把從影像變換單元507得到的前面一個(gè)影像數(shù)據(jù)的優(yōu)先級(jí)的評(píng)價(jià)值作為優(yōu)先值(PRI)。而且，使優(yōu)先值的初始值為0。
(1)在由攝像機(jī)控制單元505通知了表示是作為與影像數(shù)據(jù)對(duì)應(yīng)的攝像機(jī)控制信息而預(yù)先指定(包括原位置指定)，并控制攝像機(jī)時(shí)的影像數(shù)據(jù)的信息時(shí)，或者通知了表示攝像機(jī)服務(wù)器切換的指示內(nèi)容，則在優(yōu)先值上加3。
(2)如果從攝像機(jī)控制單元505(攝像機(jī)服務(wù)器內(nèi)的)通知了表示攝像機(jī)切換中的定時(shí)的指示內(nèi)容，就在優(yōu)先值上加2。
(3)如果從攝像機(jī)控制單元505通知了表示是攝像機(jī)的搖鏡頭/俯仰運(yùn)動(dòng)/變焦距(PTZ)處于動(dòng)作中的影像的指示內(nèi)容，就在優(yōu)先值上加1。
(4)如果沒有來自攝像機(jī)控制單元505的通知，就在優(yōu)先值上加0.9。
(5)但是，計(jì)算結(jié)果超過3時(shí)，優(yōu)先級(jí)當(dāng)作3。
而且，在圖14所示的評(píng)價(jià)值中，以預(yù)定間隔(例如15秒間隔)把評(píng)價(jià)值最高的時(shí)刻作為影像剪輯的分割點(diǎn)。這樣就生成了影像剪輯。
而且，作為特例，與影像數(shù)據(jù)對(duì)應(yīng)的攝像機(jī)控制信息為向預(yù)定位置的移動(dòng)中的信息，或者在檢測(cè)到每單位時(shí)間的變動(dòng)量較多的搖鏡頭/俯仰運(yùn)動(dòng)/變焦距(例如，可控制量的20％以上的變動(dòng))等的時(shí)候，也可以確定該時(shí)刻作為影像剪輯的分割點(diǎn)。
而且，在影像發(fā)送單元508中，接受在影像取得單元506中所得到的攝像機(jī)控制狀態(tài)信息，并沿時(shí)間軸保持。所謂攝像機(jī)控制狀態(tài)信息，是表示沿?cái)z像機(jī)的拍攝時(shí)刻、攝像機(jī)如何被控制的信息。而且，按預(yù)先設(shè)定的時(shí)間周期，從攝像機(jī)控制狀態(tài)信息生成相當(dāng)于攝像機(jī)控制狀態(tài)信息的與攝像機(jī)控制順序(PTZ順序)有關(guān)的信息，把以PTZ順序?yàn)閰?shù)的信息作為鏈接信息而編入影像剪輯。
典型的是把相當(dāng)于攝像機(jī)控制狀態(tài)信息的PTZ順序作為參數(shù)。進(jìn)而，在指定PTZ順序初始值時(shí)或與預(yù)設(shè)位置、原位置等一致時(shí)，把搖鏡頭、俯仰運(yùn)動(dòng)、變焦距的絕對(duì)值信息作為鏈接信息而編入影像剪輯。
而且，在本實(shí)施方式的情況下，如圖14所示那樣，對(duì)與某影像數(shù)據(jù)區(qū)間(影像片段)對(duì)應(yīng)的鏈接信息，冗長(zhǎng)地分配重復(fù)的攝影機(jī)控制順序。
而且，作為編入影像剪輯的攝像機(jī)順序信息，也可以包括多部攝像機(jī)的指定地構(gòu)成PTZ順序。例如，考慮了下面那樣的PTZ順序。但是，包含在PTZ順序中的“Cn”指定向第n個(gè)攝像機(jī)服務(wù)器的連接切換。
cameraservers＝(webview//cam1.univ.ac.jp34560+34561+34562)(webview//cam2.univ.ac.jp34560+34561+34562)(webview//cam3.univ.ac.jp34560+34561+34562)PTZ＝C1HZ15_30C2S3_40C3S4_40P-10_20進(jìn)而，例如下面那樣，也可以是把攝像機(jī)服務(wù)器1的指定也編入PTZ順序的安裝。但是，包含在PTZ順序中的“C(x)”指定向用x記述的攝像機(jī)服務(wù)器1的連接切換。
cameraservers＝PTZ＝C(webview//cam1.univ.ac.jp34560+34561+34562)HZ15_30C(webview//cam2.univ.ac.jp34560+34561+34562)S3_40C(webview//cam3.univ.ac.jp34560+34561+34562)S4_40P-10_20而且，在從攝像機(jī)控制單元505通知PTZ順序的結(jié)束的時(shí)刻，在把保持在存儲(chǔ)區(qū)域中的影像數(shù)據(jù)的剩余同樣地作為文件保存后，生成向移動(dòng)電話終端107的通知信息，通知給初始化時(shí)接收到的通知目標(biāo)地址。上述通知信息嵌入了向至此所保存的多個(gè)影像剪輯的鏈接信息。由此，可以從接收到通知信息的移動(dòng)電話終端107請(qǐng)求下載各影像剪輯。
另外，影像發(fā)送單元508具有HTTP服務(wù)器功能，對(duì)應(yīng)于來自移動(dòng)電話終端107的利用HTTP的影像剪輯下載請(qǐng)求。
下面，在攝像機(jī)控制單元505中，解釋PTZ順序，生成要送往攝像機(jī)服務(wù)器101的攝像機(jī)控制命令，把按照PTZ順序所指示的定時(shí)生成的攝像機(jī)控制命令送往攝像機(jī)服務(wù)器101，由此進(jìn)行攝像機(jī)服務(wù)器101的攝像機(jī)控制。而且，在解釋完P(guān)TZ順序的時(shí)刻，把PTZ順序的結(jié)束通知給影像發(fā)送單元508。
在以上的結(jié)構(gòu)中，移動(dòng)電話終端107通過影像變換服務(wù)器的功能，影像剪輯再生用戶就可利用影像剪輯所生成的時(shí)刻的攝像機(jī)控制狀態(tài)信息。
以上，能夠把從配置在網(wǎng)絡(luò)上的攝像機(jī)服務(wù)器送出的實(shí)時(shí)影像變換成面向移動(dòng)電話終端的影像剪輯而提供給用戶。特別地，在本實(shí)施方式的影像變換服務(wù)器中，特征在于生成反映了攝像機(jī)服務(wù)器的攝像機(jī)控制狀態(tài)信息的影像剪輯。
而且，本實(shí)施方式中，是在影像變換服務(wù)器105中分割影像剪輯的，但也可以把影像數(shù)據(jù)和圖14所示的與優(yōu)先級(jí)的評(píng)價(jià)值有關(guān)的信息傳送給移動(dòng)電話終端107，在移動(dòng)電話終端107中生成影像剪輯。
而且，在本實(shí)施方式中，所謂連結(jié)移動(dòng)電話網(wǎng)和網(wǎng)絡(luò)的網(wǎng)關(guān)，是以獨(dú)立地在網(wǎng)絡(luò)上安裝有影像變換服務(wù)器為例進(jìn)行說明的，但影像變換服務(wù)器105也可以作為網(wǎng)關(guān)106的一部分而安裝。而且，影像變換服務(wù)器105和網(wǎng)關(guān)106含有VPN(Virtual Private Network虛擬個(gè)人網(wǎng)絡(luò))等，用專用線連接的連接形式也能容易地想到。
在本實(shí)施方式中，是以進(jìn)行攝像機(jī)控制的移動(dòng)電話終端和請(qǐng)求影像剪輯的終端是同一終端為例而說明的，但發(fā)出攝像機(jī)控制命令的用戶也可以是其他的用戶。例如，可以從被2次傳送的終端來訪問影像剪輯。在該情況下，不需要攝像機(jī)控制用的應(yīng)用。
在本實(shí)施方式中，是以按預(yù)定的一定周期生成含有攝像機(jī)控制順序的鏈接信息并編入影像剪輯為例而說明的，但是鏈接信息的生成的定時(shí)并不限定為一定周期。例如，也可以是攝像機(jī)控制狀態(tài)信息的變化值的累積值滿足預(yù)定條件的定時(shí)。而且，也可以是影像數(shù)據(jù)本身的變化值(例如，圖像所認(rèn)識(shí)目標(biāo)的個(gè)體數(shù)的變化)滿足預(yù)定條件的定時(shí)。
而且，在本實(shí)施方式的影像發(fā)送單元中生成的攝像機(jī)控制順序是基于從影像取得單元所得到的攝像機(jī)狀態(tài)信息而生成的，但這也可以通過從攝像機(jī)控制單元所解釋的PTZ順序中取出部分順序而生成。
在用該方法的情況下，一方面得到更接近請(qǐng)求影像剪輯生成的用戶意圖的攝像機(jī)控制順序，但另一方面，在含有向禁止區(qū)域的攝像機(jī)控制等的情況下，生成與影像數(shù)據(jù)不同步的攝像機(jī)控制順序，這兩種情形各有利弊。
在本實(shí)施方式的影像發(fā)送單元中，以對(duì)與影像剪輯中的某影像數(shù)據(jù)區(qū)間對(duì)應(yīng)的鏈接信息分配鄰接的影像數(shù)據(jù)區(qū)間的時(shí)間中的攝像機(jī)控制順序?yàn)槔齺碚f明的，但是所分配的攝像機(jī)控制順序的長(zhǎng)度(或者時(shí)間)不必從屬于影像數(shù)據(jù)區(qū)間的時(shí)間。典型的是被影像變換服務(wù)器事先設(shè)定的固定長(zhǎng)度(時(shí)間)。而且，也能容易地想到，所分配的攝像機(jī)控制順序的長(zhǎng)度(時(shí)間)依賴于各種事實(shí)和現(xiàn)象的發(fā)生。
在本實(shí)施方式中，是以把從攝像機(jī)服務(wù)器取得的影像變換成面向移動(dòng)電話的影像剪輯而送出的例子進(jìn)行說明的，但影像剪輯的形式并不限定于面向移動(dòng)電話的影像剪輯。例如在微軟公司的Windows(R)MediaPlayer中，對(duì)應(yīng)于ISO標(biāo)準(zhǔn)的MPEG-4多媒體數(shù)字信號(hào)編解碼器，所以在本實(shí)施方式的影像發(fā)送單元生成影像剪輯的時(shí)刻，整形成遵照微軟公司的ASF形式的數(shù)據(jù)格式，并且通過在該格式中指定MPEG-4多媒體數(shù)字信號(hào)編解碼器，就可以進(jìn)行在Windows(R)MediaPlayer上的再生了。同樣地，通過遵照Apple公司的QuickTime FileFormat，也可以對(duì)應(yīng)于QuickTimePlayer。
而且，也可以在影像變換服務(wù)器105內(nèi)部參照所管理的攝像機(jī)控制信息履歷的管理表，進(jìn)行攝像機(jī)的控制。此時(shí)，在第2實(shí)施方式的影像變換單元中，首先，沿時(shí)間軸保持從攝像機(jī)服務(wù)器101接受到的攝像機(jī)狀態(tài)信息，基于該信息生成相當(dāng)于攝像機(jī)控制狀態(tài)信息的攝像機(jī)控制順序(PTZ順序)。進(jìn)行該處理時(shí)，不進(jìn)行把生成的PTZ順序作為直接鏈接信息編入影像剪輯的處理。取代該處理，把生成的PTZ順序存儲(chǔ)到如圖15所示那樣的影像變換服務(wù)器內(nèi)的攝像機(jī)的控制履歷管理表中，把給該控制履歷管理表的參照信息作為鏈接信息編入影像剪輯。作為給控制履歷管理表的參照信息，對(duì)控制履歷管理表的各項(xiàng)目分配識(shí)別符(i-1，i，i+1，…)，把該識(shí)別符作為參照信息。
分配的識(shí)別符可以由例如攝像機(jī)服務(wù)器識(shí)別符(典型的是IP地址)和PTZ順序的生成時(shí)刻合成?；蛘撸部梢允前错樞蚍峙涞拇芯幪?hào)。
而且，有來自移動(dòng)電話終端107的攝像機(jī)控制信息參照請(qǐng)求的時(shí)候，把識(shí)別符作為關(guān)鍵字在控制履歷管理表內(nèi)進(jìn)行檢索，基于所發(fā)現(xiàn)的PTZ順序，進(jìn)行動(dòng)作使得執(zhí)行攝像機(jī)控制。
采用以上結(jié)構(gòu)，作為移動(dòng)電話終端107的用戶，再生影像剪輯的用戶可以利用生成影像剪輯的時(shí)刻的攝像機(jī)控制狀態(tài)信息。而且，通過在影像變換服務(wù)器內(nèi)參照所管理的控制履歷管理表，可以參照與所生成的影像剪輯的時(shí)間幀(time frame)鄰接的時(shí)間幀的攝像機(jī)控制信息。即，通過搜尋包含在影像剪輯中的識(shí)別符(對(duì)控制履歷管理表的參照信息)，可以連鎖式地取得在影像剪輯的前后所進(jìn)行的攝像機(jī)控制。
而且，可以在影像剪輯中存儲(chǔ)那時(shí)的攝像機(jī)狀態(tài)信息，在移動(dòng)電話終端側(cè)基于該攝像機(jī)狀態(tài)信息生成攝像機(jī)控制信息，作為攝像機(jī)服務(wù)器101的攝像機(jī)301的控制請(qǐng)求。此時(shí)，減輕了影像變換服務(wù)器105的負(fù)擔(dān)。
而且，影像變換服務(wù)器105和攝像機(jī)服務(wù)器101一體化地構(gòu)成一個(gè)設(shè)備也能達(dá)到本實(shí)施方式的目的。
權(quán)利要求
1.一種分發(fā)給終端設(shè)備的動(dòng)圖像信息的生成方法，包括接收步驟，接收由攝像機(jī)所拍攝的動(dòng)圖像數(shù)據(jù)和攝像機(jī)所進(jìn)行的動(dòng)作的控制順序信息；文件生成步驟，從上述接收到的動(dòng)圖像數(shù)據(jù)生成動(dòng)圖像文件；編入步驟，把與上述所生成的動(dòng)圖像文件對(duì)應(yīng)的上述攝像機(jī)的控制順序信息和關(guān)于上述攝像機(jī)地址的信息編入上述動(dòng)圖像文件；以及分發(fā)步驟，把在上述編入步驟中編入了上述攝像機(jī)的控制順序信息和上述攝像機(jī)的鏈接信息的動(dòng)圖像文件分發(fā)給上述終端設(shè)備。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于上述攝像機(jī)的控制順序信息至少包括上述攝像機(jī)的搖鏡頭、俯仰運(yùn)動(dòng)、變焦距動(dòng)作中的一個(gè)。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于在上述生成步驟中，通過分割接收到的動(dòng)圖像數(shù)據(jù)而生成動(dòng)圖像文件。
4.一種動(dòng)圖像信息的分發(fā)設(shè)備，包括通信裝置，接收由攝像機(jī)所拍攝的動(dòng)圖像數(shù)據(jù)和攝像機(jī)所進(jìn)行的動(dòng)作的控制順序信息；文件生成裝置，在由上述接收到的動(dòng)圖像數(shù)據(jù)生成動(dòng)圖像文件時(shí)，把與上述所生成的動(dòng)圖像文件對(duì)應(yīng)的上述攝像機(jī)的控制順序信息和關(guān)于上述攝像機(jī)地址的信息編入上述動(dòng)圖像文件。
5.根據(jù)權(quán)利要求4所述的分發(fā)設(shè)備，其特征在于上述攝像機(jī)的控制順序信息至少包括上述攝像機(jī)的搖鏡頭、俯仰運(yùn)動(dòng)、變焦距動(dòng)作中的一個(gè)。
6.根據(jù)權(quán)利要求4所述的分發(fā)設(shè)備，其特征在于在上述文件生成裝置中，通過分割接收到的動(dòng)圖像數(shù)據(jù)而生成動(dòng)圖像文件。
7.根據(jù)權(quán)利要求4所述的分發(fā)設(shè)備，其特征在于上述攝像機(jī)被一體地裝入上述分發(fā)設(shè)備。
8.一種計(jì)算機(jī)可讀取介質(zhì)，存儲(chǔ)有執(zhí)行分發(fā)方法的步驟的程序，所述分發(fā)方法的步驟包括接收步驟，接收由攝像機(jī)所拍攝的動(dòng)圖像數(shù)據(jù)和攝像機(jī)所進(jìn)行的動(dòng)作的控制順序信息；文件生成步驟，由上述接收到的動(dòng)圖像數(shù)據(jù)生成動(dòng)圖像文件；編入步驟，把與上述所生成的動(dòng)圖像文件對(duì)應(yīng)的上述攝像機(jī)的控制順序信息和關(guān)于上述攝像機(jī)地址的信息編入上述動(dòng)圖像文件；以及分發(fā)步驟，把在上述編入步驟中編入了上述攝像機(jī)的控制順序信息和上述攝像機(jī)的鏈接信息的動(dòng)圖像文件分發(fā)給上述終端設(shè)備。
9.根據(jù)權(quán)利要求8所述的介質(zhì)，其特征在于上述攝像機(jī)的控制順序信息至少包括上述攝像機(jī)的搖鏡頭、俯仰運(yùn)動(dòng)、變焦距動(dòng)作中的一個(gè)。
10.根據(jù)權(quán)利要求8所述的介質(zhì)，其特征在于在上述生成步驟中，通過分割接收到的動(dòng)圖像數(shù)據(jù)而生成動(dòng)圖像文件。
11.一種動(dòng)圖像文件的生成方法，包括取得步驟，取得由攝像機(jī)所拍攝的動(dòng)圖像數(shù)據(jù)和關(guān)于與上述動(dòng)圖像數(shù)據(jù)對(duì)應(yīng)的攝像機(jī)的信息；生成步驟，基于上述關(guān)于攝像機(jī)的信息，分割上述動(dòng)圖像數(shù)據(jù)，生成動(dòng)圖像文件。
12.根據(jù)權(quán)利要求11所述的方法，其特征在于上述關(guān)于攝像機(jī)的信息是關(guān)于上述攝像機(jī)的攝影禁止范圍的信息。
13.根據(jù)權(quán)利要求11所述的方法，其特征在于上述關(guān)于攝像機(jī)的信息是關(guān)于上述攝像機(jī)的切換的信息。
14.根據(jù)權(quán)利要求11所述的方法，其特征在于上述關(guān)于攝像機(jī)的信息是上述攝像機(jī)的動(dòng)作信息。
15.根據(jù)權(quán)利要求14所述的方法，其特征在于上述攝像機(jī)的動(dòng)作信息是關(guān)于每單位時(shí)間的變動(dòng)量的信息或者是向預(yù)設(shè)位置的移動(dòng)信息。
16.一種動(dòng)圖像文件的生成設(shè)備，包括取得裝置，取得由攝像機(jī)所拍攝的動(dòng)圖像數(shù)據(jù)和關(guān)于與上述動(dòng)圖像數(shù)據(jù)對(duì)應(yīng)的攝像機(jī)的信息；生成裝置，基于上述關(guān)于攝像機(jī)的信息，分割上述動(dòng)圖像數(shù)據(jù)，生成動(dòng)圖像文件。
17.根據(jù)權(quán)利要求16所述的生成設(shè)備，其特征在于上述關(guān)于攝像機(jī)的信息是關(guān)于上述攝像機(jī)的攝影禁止區(qū)域的信息。
18.根據(jù)權(quán)利要求16所述的生成設(shè)備，其特征在于上述關(guān)于攝像機(jī)的信息是關(guān)于上述攝像機(jī)的切換的信息。
19.根據(jù)權(quán)利要求16所述的生成設(shè)備，其特征在于上述關(guān)于攝像機(jī)的信息是上述攝像機(jī)的動(dòng)作信息。
20.根據(jù)權(quán)利要求16所述的生成設(shè)備，其特征在于上述攝像機(jī)的動(dòng)作信息是關(guān)于每單位時(shí)間的變動(dòng)量的信息或者是向預(yù)設(shè)位置的移動(dòng)信息。
21.一種計(jì)算機(jī)可讀取介質(zhì)，存儲(chǔ)有執(zhí)行動(dòng)圖像文件的生成方法的步驟的程序，所述動(dòng)圖像文件的生成方法包括取得步驟，取得由攝像機(jī)所拍攝的動(dòng)圖像數(shù)據(jù)和關(guān)于與上述動(dòng)圖像數(shù)據(jù)對(duì)應(yīng)的攝像機(jī)的信息；生成步驟，基于上述關(guān)于攝像機(jī)的信息，分割上述動(dòng)圖像數(shù)據(jù)，生成動(dòng)圖像文件。
22.根據(jù)權(quán)利要求21所述的介質(zhì)，其特征在于上述關(guān)于攝像機(jī)的信息是關(guān)于上述攝像機(jī)的攝影禁止區(qū)域的信息。
23.根據(jù)權(quán)利要求21所述的介質(zhì)，其特征在于上述關(guān)于攝像機(jī)的信息是關(guān)于上述攝像機(jī)的切換的信息。
24.根據(jù)權(quán)利要求21所述的介質(zhì)，其特征在于上述關(guān)于攝像機(jī)的信息是上述攝像機(jī)的動(dòng)作信息。
25.根據(jù)權(quán)利要求21所述的介質(zhì)，其特征在于上述攝像機(jī)的動(dòng)作信息是關(guān)于每單位時(shí)間的變動(dòng)量的信息或者是向預(yù)設(shè)位置的移動(dòng)信息。
全文摘要
本發(fā)明提供一種動(dòng)圖像信息的生成方法。根據(jù)從攝像機(jī)接收的動(dòng)圖像數(shù)據(jù)生成動(dòng)圖像文件。把與上述所生成的動(dòng)圖像文件對(duì)應(yīng)的上述攝像機(jī)的控制順序信息和關(guān)于上述攝像機(jī)地址的信息編入上述動(dòng)圖像文件。而且，基于攝像機(jī)的控制信息，分割接收到的動(dòng)圖像數(shù)據(jù)，生成動(dòng)圖像文件。
文檔編號(hào)H04N7/14GK1578453SQ20041003060
公開日2005年2月9日 申請(qǐng)日期2004年3月30日 優(yōu)先權(quán)日2003年3月31日
發(fā)明者黑澤貴弘, 河合智明 申請(qǐng)人:佳能株式會(huì)社