專利名稱：視頻流傳輸?shù)闹谱鞣椒?br> 技術(shù)領(lǐng)域：
本發(fā)明涉及視頻流傳輸(streaming)，更具體地，涉及一種用于控制視頻流傳輸以允許遠(yuǎn)程選擇所觀看的圖像的方法和裝置。
背景技術(shù)：
已知為了安全的目的而使用數(shù)碼攝相機(jī)來采集視頻圖像，由此可以使用攝像機(jī)來觀察某個(gè)區(qū)域，然后將信號(hào)傳輸?shù)竭h(yuǎn)程地點(diǎn)或存儲(chǔ)在計(jì)算機(jī)存儲(chǔ)介質(zhì)中。通常使用多個(gè)攝像機(jī)來保證所觀察圖像的合理分辨率，并且縮放工具(facilities)使得能夠?qū)崟r(shí)地對(duì)要采集的圖像進(jìn)行特寫?？梢酝瑫r(shí)提供不同的視角以使得能夠從不同的角度觀看同一場(chǎng)景。
還已知下述技術(shù)將電影序列存儲(chǔ)在計(jì)算機(jī)存儲(chǔ)器中，用于通過高帶寬鏈路下載到電視屏幕或其他顯示裝置上，以及/或者提供例如通過MPEG編碼提供的視頻壓縮，從而使得能夠通過低帶寬互連來實(shí)時(shí)或近似實(shí)時(shí)地傳送圖像。
諸如袖珍個(gè)人電腦(例如Hewlett Packard PPC或者康柏IPAQ計(jì)算機(jī))的小型顯示裝置也具有分辨率相對(duì)較高的顯示屏幕，這些顯示屏幕實(shí)際上對(duì)于覆蓋例如監(jiān)視區(qū)域的大多數(shù)電影或攝像機(jī)圖像來說相對(duì)較小。
甚至有可能在諸如Sony Ericsson T68i移動(dòng)電話的緊湊型移動(dòng)電話中設(shè)置更小的顯示屏幕，Sony Ericsson T68i移動(dòng)電話包括高級(jí)的接收和處理能力，該能力使得能夠通過移動(dòng)電話網(wǎng)絡(luò)來接收和顯示彩色圖像。
近來，家庭電視收看領(lǐng)域的最新發(fā)展(例如存儲(chǔ)和讀取保存在數(shù)字多功能盤(DVD)上的數(shù)字?jǐn)?shù)據(jù)的能力)使得觀眾能夠選擇不同的攝像機(jī)視角來觀看場(chǎng)景，以及選擇所示場(chǎng)景的特定區(qū)域的特寫視圖。DVD的播放器包括下述的處理能力對(duì)所存儲(chǔ)的數(shù)據(jù)進(jìn)行改編，以將其轉(zhuǎn)換為用于待顯示圖像的信號(hào)。
如果不降低觀眾的體驗(yàn)，則這種數(shù)據(jù)到信號(hào)的轉(zhuǎn)換需要強(qiáng)大的實(shí)時(shí)處理能力。另外，由于需要傳送到本地設(shè)備的數(shù)據(jù)量，非常大量的不同視角等是不切實(shí)際的。
EP1162810中描述了一種數(shù)據(jù)分配裝置，用于對(duì)保存在文件服務(wù)器中的數(shù)據(jù)進(jìn)行轉(zhuǎn)換，該文件服務(wù)器可以保存由攝像機(jī)生成的圖像。該數(shù)據(jù)分配裝置用于將所接收的或所存儲(chǔ)的數(shù)據(jù)轉(zhuǎn)換為能夠在請(qǐng)求數(shù)據(jù)終端上顯示的格式，該請(qǐng)求數(shù)據(jù)終端可以是便攜式電話顯示器。其中的轉(zhuǎn)換裝置能夠?qū)⑺鎯?chǔ)的或所接收的圖像分割為多個(gè)固定部分，由此可以使用從該顯示裝置接收到的信號(hào)來選擇特定的一個(gè)可用圖像部分。

發(fā)明內(nèi)容
根據(jù)本發(fā)明，提供了一種對(duì)視頻信號(hào)進(jìn)行流傳輸?shù)姆椒ǎ摲椒òㄒ韵虏襟E采集和/或存儲(chǔ)視頻幀或者視頻幀序列，其中每一幀都包括“m”像素דn”像素的矩陣；將該m×n的幀壓縮或者每一個(gè)所述m×n的幀壓縮為“p”像素דq”像素的相應(yīng)導(dǎo)出幀，以將其顯示在能夠顯示至少p像素×q像素的幀的屏幕上，其中p和q分別遠(yuǎn)小于m和n；發(fā)送該至少一個(gè)導(dǎo)出幀，并接收用于限定小于m×n像素的優(yōu)選觀看區(qū)域的信號(hào)；將所選擇的觀看區(qū)域壓縮為p像素×q像素的進(jìn)一步導(dǎo)出幀或者進(jìn)一步導(dǎo)出幀序列；以及發(fā)送該進(jìn)一步導(dǎo)出幀，以進(jìn)行具有下述特征的顯示所接收的信號(hào)包括用來限定所發(fā)送的進(jìn)一步導(dǎo)出幀內(nèi)的優(yōu)選位置的數(shù)據(jù)，該數(shù)據(jù)確定了從中選出下一個(gè)進(jìn)一步導(dǎo)出幀的m像素×n像素內(nèi)的位置。
優(yōu)選地，所接收的信號(hào)還可以限定縮放級(jí)別，該縮放級(jí)別包括從所提供的多個(gè)有效縮放級(jí)別中選擇的一個(gè)，每一次選擇都限定了包括至少p像素×q像素但不多于m像素×n像素的幀。
所接收的信號(hào)可以用于導(dǎo)致所發(fā)送幀以像素為基礎(chǔ)或者以幀區(qū)域選擇為基礎(chǔ)，從當(dāng)前位置向新位置的移動(dòng)。另選地，可以通過在主幀中檢測(cè)明顯活躍的區(qū)域并發(fā)送該區(qū)域周圍的較小幀，來使用自動(dòng)幀選擇。
可以使用控制信號(hào)來選擇多個(gè)預(yù)定幀大小和/或視角中的一個(gè)。在優(yōu)選實(shí)施例中，可以使用控制信號(hào)在主幀內(nèi)從當(dāng)前位置移動(dòng)到新位置，以及改變觀看區(qū)域的大小，因此，可以實(shí)現(xiàn)對(duì)該主幀的特定區(qū)域的詳細(xì)檢查。這種選擇可以利用響應(yīng)于控制功能的跳躍功能，以根據(jù)指針的位置或者通過逐個(gè)像素卷動(dòng)來選擇該主幀中的不同幀區(qū)域。
用于這種系統(tǒng)的終端裝置可以包括第一顯示屏，用于顯示所發(fā)送的幀；第二顯示屏，具有可選擇點(diǎn)，用于表示正在顯示的區(qū)域，或者想要顯示的區(qū)域；以及發(fā)送裝置，用于發(fā)送在當(dāng)前顯示的幀中限定優(yōu)選位置的信號(hào)，下一個(gè)發(fā)送的幀是從該當(dāng)前顯示幀中導(dǎo)出的。
這種終端還可以包括進(jìn)一步顯示裝置，該裝置具有顯示當(dāng)前觀看幀的坐標(biāo)的能力，以及/或者用于顯示與該觀看幀相關(guān)的文本或其他信息。所顯示的文本可以是存儲(chǔ)有限定觀看幀的信息的URL或類似位置標(biāo)識(shí)的形式。
可以利用具有用于發(fā)送所選擇的觀看幀的較高帶寬返回路徑的低帶寬路徑來執(zhí)行控制傳輸?？梢允褂萌魏芜m當(dāng)?shù)膫鬏攨f(xié)議。
本發(fā)明所用的服務(wù)器可以包括計(jì)算機(jī)或文件服務(wù)器，該計(jì)算機(jī)或文件服務(wù)器可以訪問多個(gè)視頻存儲(chǔ)器和/或連接用于采集要發(fā)送的圖像的攝像機(jī)。還可以提供數(shù)字圖像存儲(chǔ)器，其中可以存儲(chǔ)由該攝像機(jī)采集的圖像，以使得如果實(shí)況動(dòng)作觀看表示感興趣的觀看可能超過或者部分超過當(dāng)前觀看幀，則用戶可以及時(shí)地執(zhí)行通過所觀看區(qū)域的移動(dòng)。
該服務(wù)器可以運(yùn)行選擇和壓縮程序的多個(gè)實(shí)例，以使得能夠進(jìn)行向不同用戶的多個(gè)發(fā)送。每一個(gè)這種實(shí)例都可以從攝像機(jī)源提供選擇，或者從所述視頻存儲(chǔ)器之一中提供所存儲(chǔ)的圖像。
在一種操作模式下，該程序?qū)嵗沟每梢灶A(yù)選擇來自攝像機(jī)或視頻存儲(chǔ)的數(shù)字化圖像，并將其分割為多個(gè)幀，每一個(gè)幀都可以同時(shí)用于切換裝置，該切換裝置響應(yīng)于用戶數(shù)據(jù)輸入來選擇要發(fā)送所述多個(gè)幀中的哪一個(gè)。然后，使所選擇的數(shù)字化圖像經(jīng)過編碼解碼器，以提供經(jīng)封裝的比特流，來發(fā)送給進(jìn)行請(qǐng)求的用戶。
在另選操作模式下，將所述多個(gè)幀中的每一個(gè)轉(zhuǎn)換為準(zhǔn)備發(fā)送給進(jìn)行請(qǐng)求的用戶的相應(yīng)比特流，響應(yīng)于用戶數(shù)據(jù)輸入，選擇該多個(gè)比特流中要發(fā)送的一個(gè)。
在用戶從主幀中選擇待觀看的部分幀的情況下，服務(wù)器通過發(fā)送該主幀的壓縮版本或者來自該主幀的預(yù)選擇區(qū)域?qū)φ?qǐng)求發(fā)送的用戶數(shù)據(jù)分組進(jìn)行響應(yīng)，并且對(duì)限定觀看幀的優(yōu)選位置的用戶數(shù)據(jù)信號(hào)進(jìn)行響應(yīng)，以發(fā)送用于限定優(yōu)選位置處的觀看幀的比特流，其中該服務(wù)器響應(yīng)于限定較早發(fā)送的幀中的優(yōu)選位置的數(shù)據(jù)信號(hào)，以在m×n的主幀內(nèi)選擇該位置，其中從該m×n的主幀中發(fā)送下一個(gè)p×q的導(dǎo)出幀。


下面僅參照附圖，通過示例的方式來說明用于執(zhí)行本發(fā)明的裝置和方法，附圖中圖1是根據(jù)本發(fā)明的視頻流傳輸系統(tǒng)的示意性方框圖；圖2是適用于圖1的系統(tǒng)的PDA的示意圖；圖3是來自視頻流傳輸源或視頻采集裝置的觀看幀(主幀)的域的示意圖；圖4、5和6是以不同的壓縮比從顯示在觀看屏幕上的主幀導(dǎo)出的觀看幀的域的示意圖；圖7是觀看終端與圖1的服務(wù)器之間的傳輸?shù)氖疽鈭D；圖8是表示導(dǎo)出觀看幀以及選擇用于傳輸?shù)挠^看幀的示意圖；圖9是表示圖7的另選傳輸結(jié)構(gòu)的示意圖；圖10、11和12是表示選擇用于傳輸?shù)闹鲙膮^(qū)域的示意圖；圖13是表示圖8的另選導(dǎo)出的示意圖；以及圖14表示選擇用于傳輸?shù)膱D13的比特流輸出。
具體實(shí)施例方式
參照?qǐng)D1，該系統(tǒng)包括服務(wù)器1，例如合適的計(jì)算機(jī)；至少一個(gè)攝像機(jī)2，具有寬視場(chǎng)；以及數(shù)字圖像存儲(chǔ)器3。除攝像機(jī)以外，還可以提供多個(gè)視頻存儲(chǔ)裝置4，用于存儲(chǔ)為分配給客戶端而預(yù)先采集的圖像、電影等，該客戶端由具有觀看屏幕6的便攜式移動(dòng)電話5、個(gè)人袖珍計(jì)算機(jī)(PPC)7以及臺(tái)式監(jiān)視器8來表示。通信裝置5、7、8中的每一個(gè)都僅在由攝像機(jī)2采集的或者來自視頻存儲(chǔ)裝置4的圖像首先被壓縮至與相應(yīng)觀看屏幕的水平和垂直方向中的每一個(gè)上的像素?cái)?shù)量相對(duì)應(yīng)的級(jí)別的情況下，才能夠顯示該圖像。
我們希望攝像機(jī)2(例如，具有高像素密度，并以…像素×…像素采集大面積圖像的…)能夠?qū)D像分解為比在觀看屏幕上可以詳細(xì)看到的高得多的級(jí)別。因此，服務(wù)器1運(yùn)行由程序圖標(biāo)9表示的壓縮程序的多個(gè)實(shí)例，每一個(gè)程序都為至少一個(gè)觀看用戶服務(wù)，并如下所述進(jìn)行操作。
為了說明該體系結(jié)構(gòu)，假設(shè)視頻采集源是最大分辨率為640×480像素的攝像機(jī)2。然而，可以理解，該視頻源可以是任意類型(能夠提供限定用于傳輸或存儲(chǔ)的圖像的數(shù)字化數(shù)據(jù)的視頻采集卡、未壓縮文件流等)，并且該最大分辨率也可以是任意大小(僅受到視頻采集源的分辨率極限的限制)。
另外，我們假設(shè)視頻服務(wù)器以176×144像素的“固定”幀大小對(duì)視頻進(jìn)行壓縮和流傳輸，該“固定”幀大小始終小于或等于原始采集幀大小。可以理解，該“固定”視頻幀大小也可以是任意類型(取決于通信接收器的視頻顯示器)，并可以可變地提供該“固定”視頻幀大小，并且各個(gè)程序9適于為與其傳輸相關(guān)聯(lián)的裝置5、7、8提供圖像。
使用下述算法來確定可能的可用視角。也可以使用其他算法來確定潛在的“視角”。
簡(jiǎn)單地參照?qǐng)D7，示意性地示出了第一客戶端服務(wù)器交互體系結(jié)構(gòu)，包括服務(wù)器1和與圖1的觀看屏幕6、7之一相對(duì)應(yīng)的客戶端觀眾終端10。在向前方向(從服務(wù)器1至客戶端10)上，將使用反映通信鏈路11的帶寬的適當(dāng)協(xié)議的數(shù)據(jù)傳輸用于提供分組化的數(shù)據(jù)流，包括適當(dāng)?shù)娘@示信息和控制信息。該鏈路例如可以是到便攜式電話或者個(gè)人數(shù)字助理(PDA)或者袖珍個(gè)人計(jì)算機(jī)(PPC)的蜂窩通信鏈路，或者可以是諸如通過互聯(lián)網(wǎng)或光纖或者銅電纜的高帶寬鏈路。使用的協(xié)議可以是TCP、UDP、RTP或者任何其他合適的協(xié)議，以使得能夠通過鏈路11滿意地傳送信息。
在向后方向(從客戶端10到服務(wù)器1)上，可以使用帶寬較窄的鏈路12，因?yàn)橥ǔＴ摲较騼H傳送反映在客戶端10的輸入的有限數(shù)據(jù)，這些有限數(shù)據(jù)請(qǐng)求特定的視角，或者限定該客戶端10希望觀看的坐標(biāo)。
現(xiàn)返回到圖3，所采集(或存儲(chǔ))的圖像包括由矩形12表示的640×840像素圖像。矩形14表示176×144像素區(qū)域，希望該像素區(qū)域能夠顯示客戶端觀看畫面10，而矩形13包括352×288像素的視區(qū)。
另外參照?qǐng)D4，在由矩形121表示的壓縮為176×144像素之后，可以重現(xiàn)矩形12的視區(qū)。從圖中可以看出，所示的圖像可以包含所采集圖像中的所有信息。然而，由于執(zhí)行了壓縮，所以該圖像可能會(huì)“失真”或者模糊并缺少細(xì)節(jié)。然而，可以在第一實(shí)例中將該視區(qū)發(fā)送給客戶終端10，以使得該客戶端能夠在客戶終端顯示器上確定優(yōu)選視區(qū)?？梢酝ㄟ^將矩形121定義為“角視區(qū)1”，將較小的區(qū)域13(矩形131)定義為角視區(qū)2，并將與選擇14(矩形141)相對(duì)應(yīng)的屏幕大小定義為角視區(qū)3，來完成以上操作，使得能夠通過從鍵盤簡(jiǎn)單地輸入數(shù)字1、2或者3來選擇要傳送的視區(qū)。這使得觀眾能夠選擇在服務(wù)器1中實(shí)現(xiàn)的虛擬縮放的縮放級(jí)別，而不是攝像機(jī)1或者其他圖像采集裝置的物理縮放。
因此，如果客戶選擇了角視區(qū)2，則圖像會(huì)表現(xiàn)得與圖5相似，具有稍微更多的可用細(xì)節(jié)(盡管由于所采集圖像的x和y軸之間的任何不兼容會(huì)導(dǎo)致所觀看圖像區(qū)域的某些變形)。該客戶可以再次選擇進(jìn)一步縮放，以觀看由矩形141包圍的區(qū)域，來獲得圖6的視區(qū)，該視區(qū)是在像素對(duì)應(yīng)關(guān)系的基礎(chǔ)上從所采集的圖像中直接選擇的。
盡管上述說明表示提供了三個(gè)角視區(qū)的情況，但是應(yīng)該理解，可以從所采集的圖像12中導(dǎo)出的視區(qū)的數(shù)量不受限制，并且可以在服務(wù)器1中容易地生成潛在視區(qū)的更多選擇，以為客戶10提供視角和縮放級(jí)別的更多選擇，以從中進(jìn)行選擇。
還應(yīng)該注意，從客戶終端10返回的數(shù)字信息無需作為所顯示圖像的結(jié)果，而可以是由可用視區(qū)的用戶基于在先知識(shí)，通過客戶終端10進(jìn)行的預(yù)空閑(pre-emptive)輸入。在另選實(shí)施例中，服務(wù)器可以在用戶的歷史記錄簡(jiǎn)檔的基礎(chǔ)上選擇最初發(fā)送的視區(qū)，從而最初傳輸用戶的正常優(yōu)選視區(qū)，并且用戶響應(yīng)于該傳輸而確定依次傳輸?shù)目s放級(jí)別或角視區(qū)的任何變化。
用于提供潛在角視區(qū)的算法很簡(jiǎn)單，并且使用以下步驟需要采集源(例如，攝像機(jī)1)的最大分辨率，在本示例中為640×480像素。還需要壓縮視頻流的分辨率，在此假設(shè)為176×144像素。
對(duì)于首先計(jì)算出的角視區(qū)，采用直接根據(jù)所采集的視頻流的一對(duì)一關(guān)系。因此，還參照?qǐng)D3，直接使用窗口14中的像素來提供176×144像素視區(qū)(圖6中的角視區(qū)3)。
為了計(jì)算下一角視區(qū)的尺寸，將x和y尺寸中的每一個(gè)都乘以2，以提供352×488像素作為下一推薦角視區(qū)。對(duì)該服務(wù)器進(jìn)行編程，以檢查乘數(shù)(multiplier)的應(yīng)用不會(huì)超過下述的選擇，該選擇超過來自采集源的視頻流的尺寸(640×480)，這在該步驟中為真。
在下一步驟中，如果先前的乘數(shù)沒有導(dǎo)致x和y尺寸中的任何一個(gè)超過所采集視區(qū)的尺寸，則將最小窗口14的尺寸乘以3。在所示示例中，該乘數(shù)導(dǎo)致528×432像素的窗口(未示出)，該窗口是可進(jìn)一步選擇的虛擬縮放。
連續(xù)進(jìn)行該最小窗口14的x和y尺寸的增量乘法，直到其中一個(gè)尺寸超過了視頻采集窗口的尺寸為止，由此進(jìn)程終止，并確定該被乘數(shù)為角視區(qū)1，通過增量角視區(qū)定義來限定其他縮放因子。由此產(chǎn)生已經(jīng)確定的角視區(qū)的數(shù)量以及可能的角視區(qū)，由服務(wù)器1將可用角視區(qū)的數(shù)量發(fā)送給客戶端10。這些視區(qū)之一將成為該客戶端的默認(rèn)視區(qū)，該默認(rèn)視區(qū)可以是完全壓縮的視區(qū)(圖4中的角視區(qū)1)，或者如上所述，是來自已知用戶的優(yōu)選或者通過在服務(wù)器中預(yù)選擇的優(yōu)選。
客戶終端將在客戶觀看終端10上顯示可用角視區(qū)，以使得用戶能夠確定選擇哪個(gè)視區(qū)。一旦客戶做出確定，則將限定該選擇的所需視區(qū)數(shù)據(jù)發(fā)送給服務(wù)器1，服務(wù)器1隨后發(fā)送具有遠(yuǎn)程選擇角視區(qū)的相應(yīng)視頻流。
因此，現(xiàn)參照?qǐng)D8，服務(wù)器1從視頻采集源(例如，攝像機(jī)2、數(shù)字圖像存儲(chǔ)器3或者視頻存儲(chǔ)器4)獲取信息，并應(yīng)用上述的多視區(qū)確定算法(14)。這產(chǎn)生了選定數(shù)量的角視區(qū)(示出了3個(gè))121、131、141，將它們輸入到開關(guān)15。開關(guān)15對(duì)來自客戶端(例如圖1的PPC 6)的包含角視區(qū)確定的輸入數(shù)據(jù)包16進(jìn)行響應(yīng)，以將適當(dāng)?shù)慕且晠^(qū)數(shù)據(jù)流傳輸給編碼解碼器17，并且由此對(duì)數(shù)據(jù)包18中的壓縮視頻進(jìn)行流傳輸。
為避免疑惑，應(yīng)該注意，編碼解碼器17可以使用諸如MPEG4、H26L等的任何適當(dāng)?shù)木幋a，所產(chǎn)生的角視區(qū)完全獨(dú)立于所采用的視頻壓縮標(biāo)準(zhǔn)。
圖9中示出了另選客戶端服務(wù)器交互，其中僅產(chǎn)生1路交互。僅從客戶端向服務(wù)器發(fā)送網(wǎng)絡(luò)消息，以考慮帶寬限制，使用任意適合的協(xié)議(TCP、UDP、RDP等)來傳輸，在客戶端和服務(wù)器中預(yù)先確定角視區(qū)，從而沒有數(shù)據(jù)傳回給客戶端。使用了具有默認(rèn)值(例如，5個(gè)視區(qū))的預(yù)定多視區(qū)確定算法，并且一種該類算法具有以下格式(盡管可以開發(fā)和使用其他算法)步驟1由最大分辨率減去最小分辨率。在我們的示例中，最大分辨率為(640×480)，最小分辨率為(176×144)。因此，該減法((640-176)&(480-144))的結(jié)果為(464，336)。
按照以下方式來生成這5個(gè)視區(qū)。
每一個(gè)視區(qū)都是通過向最小分辨率(176×144)添加在步驟1中產(chǎn)生的差(464，336)的百分比而產(chǎn)生的。
該百分比通常為(視區(qū)1＝100％、視區(qū)2->75％、視區(qū)3->50％、視區(qū)4->25％、視區(qū)5->0％)。當(dāng)然，也可以應(yīng)用類似的百分比。
因此，對(duì)于每一個(gè)視區(qū)，產(chǎn)生以下坐標(biāo)。
視區(qū)1(640，480)X＝176+464＝640。
Y＝144+336＝480。
視區(qū)2(524，396)X＝176+(0.75*464)＝524。
Y＝144+(0.75*336)＝396。
視區(qū)3(408，312)X＝176+(0.50*464)＝408。
Y＝144+(0.50*336)＝312。
視區(qū)4(292，228)X＝176+(0.25*464)＝292。
Y＝144+(0.25*336)＝228。
視區(qū)5(176，144)X＝176+0＝176。
Y＝144+0＝144。
該處理完成后，生成了具有上述坐標(biāo)的5個(gè)視區(qū)。
可以類似于圖3的示圖來說明可能的視區(qū)，但是應(yīng)該繪制出5個(gè)視區(qū)。
另一方面，“客戶”應(yīng)用也知道該“算法”，因此每個(gè)視區(qū)都應(yīng)該表示最大和最小分辨率之間的差的百分比(100％、75％、50％、25％、0％)。通過這種方式，客戶無需知道流視頻的最大和最小坐標(biāo)，因此1路客戶端/服務(wù)器交互是可行的，這加快了改變“角視區(qū)”的處理。
此外，服務(wù)器1獲取最大和最小分辨率，以執(zhí)行以上步驟。通常，最大分辨率是由視頻采集卡(攝像機(jī))2提供的分辨率，而最小分辨率是由流傳輸應(yīng)用提供的分辨率(對(duì)于移動(dòng)視頻通常為176×144)。當(dāng)首先啟動(dòng)服務(wù)器應(yīng)用9時(shí)，應(yīng)當(dāng)開始并完成“多視區(qū)確定算法”處理。
在客戶端的設(shè)備上顯示5個(gè)“角視區(qū)”。
在選擇一個(gè)“視區(qū)”后，生成包含所識(shí)別的“角視區(qū)”的消息，并將其發(fā)送給服務(wù)器。
服務(wù)器根據(jù)與圖8所示相同但具有可用于流傳輸?shù)?個(gè)角視區(qū)的方式來選擇該視區(qū)并對(duì)內(nèi)容進(jìn)行流傳輸。
圖2表示適合的客戶端設(shè)備，示出了進(jìn)行控制，以使得觀眾能夠改變要顯示的角視區(qū)。提供了其上顯示有選定視頻流的主觀看屏幕20。在該示例中，該屏幕包括176×144的像素畫面。另外，提供了次級(jí)屏幕21，其具有低分辨率，以使得畫面22能夠顯示主屏幕20上所顯示的實(shí)際視頻的比例和位置。因此屏幕21中的方框22的位置表示圖像相對(duì)于原始全尺寸基準(zhǔn)幀的位置。較小的屏幕21可以是觸敏的，以使得觀眾能夠即時(shí)地選擇要將流傳輸視頻移動(dòng)到的位置。
另選地，可以使用選擇鍵23-27根據(jù)以上概述的角視區(qū)基本原理，或者在逐個(gè)像素的基礎(chǔ)上來移動(dòng)該圖像，其中客戶端和服務(wù)器之間具有足夠的帶寬，以使得能夠發(fā)送大量數(shù)據(jù)包。鍵27旨在使得能夠選擇待顯示在顯示屏幕20上的中心視區(qū)。如果使用了固定數(shù)量的角視區(qū)，則屏幕顯示可以根據(jù)可用幀的數(shù)量而左右上下分階段地變化(stepped)。
在提供文件內(nèi)容的視頻流傳輸?shù)那闆r下，提供一組視頻控制鍵28-32，這些視頻控制鍵分別為停止功能28、倒退功能29、播放功能30、快進(jìn)31和暫停32，用于提供適當(dāng)?shù)目刂菩畔ⅲ钥刂票镜?下載視頻并將其存儲(chǔ)在裝置7中)視頻顯示或者作為控制包發(fā)送給服務(wù)器1的視頻顯示。
通過選擇鍵33-37提供選擇固定角視區(qū)的另選控制方法，并且為了完整，示出了本地音量控制裝置38。還可以顯示信息顯示畫面39，其可以顯示與所顯示的視頻相關(guān)的字母數(shù)字文本說明，并且還可以顯示狀態(tài)畫面40，其例如顯示用于移動(dòng)電話接收的信號(hào)強(qiáng)度。
下面，首先參照?qǐng)D10來描述視區(qū)選擇的進(jìn)一步說明。由此使用箭頭鍵33-37并以上述5個(gè)角視區(qū)開始，這些角視區(qū)是視區(qū)1(640×480像素)、視區(qū)2(524，396)、視區(qū)3(408，312)、視區(qū)4(292，228)和視區(qū)5(176×144像素)。在圖10中，與640×480像素的完整幀21相比較來看視區(qū)5(176×144像素)(矩形22)。也可以將其表示為圖2的畫面21中的矩形，以使用戶獲悉顯示在主顯示屏幕20上的可用視頻采集的比例。
用戶現(xiàn)在可以選擇要傳輸?shù)慕且晠^(qū)中的任何一個(gè)，例如對(duì)鍵33的操作將從服務(wù)器1產(chǎn)生信號(hào)包請(qǐng)求角視區(qū)1。將傳輸完全壓縮的顯示(圖3)，以顯示在顯示區(qū)域20中，同時(shí)屏幕21將表示當(dāng)前顯示的完整視區(qū)。
分別通過對(duì)鍵34、35、36和37進(jìn)行操作來選擇角視區(qū)2、3、4，以及首先討論的視區(qū)(視區(qū)5)。應(yīng)該理解，可以設(shè)置多于或者少于5個(gè)的鍵，或者如果顯示屏幕20為觸敏型，則可以覆蓋視頻顯示虛擬鍵組，從而在適當(dāng)位置接觸該屏幕可以導(dǎo)致發(fā)送角視區(qū)請(qǐng)求以及在從服務(wù)器1進(jìn)行傳輸?shù)乃枳兓?。還可以實(shí)現(xiàn)以下效果較小屏幕21由矩形22占據(jù)的比例也會(huì)改變，以反映出當(dāng)前顯示的角視區(qū)。這種調(diào)整可以通過裝置7的內(nèi)部編程來進(jìn)行，或者可以將其從服務(wù)器1與數(shù)據(jù)包18一起發(fā)送。
以上考慮了中心角視區(qū)，下面我們考慮用戶如何能夠觀看到以偏離圖像中心的不同點(diǎn)為中心的角視區(qū)。5個(gè)可用的視區(qū)仍具有相同的壓縮比，從而使用相對(duì)于整個(gè)視頻幀(640×480)顯示在圖10的中心的角視區(qū)5(176×144像素)來說明觀眾橫跨圖像移動(dòng)或上下移動(dòng)的方式。
再次考慮圖2和圖10至12，并假定用戶操作了左箭頭鍵26。這將導(dǎo)致客戶端向服務(wù)器1發(fā)送網(wǎng)絡(luò)數(shù)據(jù)包。該數(shù)據(jù)包可以包括“左移”指令以及以下兩者之一例如根據(jù)用戶操作鍵26的時(shí)間長(zhǎng)度導(dǎo)出的要移動(dòng)的畫面的百分比；以及可能要移動(dòng)的“像素?cái)?shù)量”。服務(wù)器1計(jì)算要移動(dòng)的像素?cái)?shù)量，并沿左方向?qū)⒔且晠^(qū)移動(dòng)所需的像素?cái)?shù)量，直到該角視區(qū)的左邊緣到達(dá)整個(gè)視頻幀的最左側(cè)為止。返回的數(shù)據(jù)包現(xiàn)在包括新位置處的角視區(qū)5的壓縮視頻，而較小觀看屏幕中的矩形22還可以表示改變后的大致位置。一旦定位在新位置的中心，就可以使用鍵33至37來改變由客戶端接收的完整幀的數(shù)量。
可以使用鍵23來表示向上移動(dòng)，使用鍵24表示向右移動(dòng)，而使用鍵25表示向下移動(dòng)。這些鍵中的每一個(gè)都使得客戶端程序發(fā)送適當(dāng)?shù)臄?shù)據(jù)包，并且服務(wù)器通過沿任意方向相應(yīng)地移動(dòng)到完整視頻幀的邊限處來導(dǎo)出要發(fā)送的視區(qū)。如果用戶操作了鍵27，則可以使用該操作將該視區(qū)返回到中心位置，如同使用所選擇的壓縮(角視區(qū)1-5)最初發(fā)送的那樣，該所選擇的壓縮是使用鍵33-37最后選擇的。
下面考慮圖2的虛擬窗口畫面21，可以使用該虛擬窗口來使得用戶能夠快速移動(dòng)至另一位置，并且還使該用戶能夠確定在主顯示屏幕20的哪個(gè)位置顯示完整視頻幀以及顯示多少完整視頻幀。如果假定較小的畫面具有12像素×10像素的最大尺寸(作為另選，可以是主顯示區(qū)的角部的覆蓋圖)，每一個(gè)視區(qū)都將具有虛擬屏幕的以下百分比表示視區(qū)1＝100％、視區(qū)2＝80％、視區(qū)3＝60％、視區(qū)4＝40％、視區(qū)5＝20％.
因此，通過將虛擬窗口的尺寸乘以這些百分比，可以得到所顯示的矩形22的以下尺寸視區(qū)1(12，10)X＝12*1＝12Y＝10*1＝10視區(qū)2(10，8)X＝12*0.8＝10Y＝10*0.8＝8視區(qū)3(7，6)X＝12*0.6＝7Y＝10*0.6＝6視區(qū)4(5，4)X＝12*0.4＝5Y＝10*0.4＝4視區(qū)5(2，2)X＝12*0.2＝2Y＝10*0.2＝2因此，使用以上尺寸繪制內(nèi)部矩形22(在黑色畫面中可能是白色顯示)，在以下示例中，使用上述尺寸。因此，虛擬窗口以下述方式進(jìn)行工作。如果選擇了視區(qū)5，則矩形22(2像素×2像素)和屏幕21(12像素×10像素)將具有那些尺寸，并且除了較小矩形22為白色外，該虛擬窗口將為黑色。在圖2中示出了這種情況，并且圖10至12中也示出了這種情況。如果該虛擬窗口為觸敏型并且用戶按壓了左上角，如圖11中的點(diǎn)41所示，則該顯示畫面需要如圖12所示從中心位置移動(dòng)到整個(gè)幀的左上角(0，0定義了幀的左頂角)。
因此，在客戶端中，將每一個(gè)像素都認(rèn)為是一個(gè)單元，并且客戶端計(jì)算需要沿左上方向移動(dòng)多少單元。從圖11可以看出，當(dāng)前位置可以定義為矩形22(白色方框)的左上角位置(5，4)。因此為了移動(dòng)到(0，0)，必須向左移動(dòng)5個(gè)像素并向上移動(dòng)4個(gè)像素。計(jì)算黑色方框和白色方框之間的單元之差，在本示例中是水平方向5個(gè)單元，垂直方向4個(gè)單元。
因此，當(dāng)需要從當(dāng)前位置按屏幕的百分比來移動(dòng)時(shí)，可以通過使要移動(dòng)的像素?cái)?shù)量除以當(dāng)前位置與新位置之間的像素?cái)?shù)量差，來計(jì)算從當(dāng)前位置向左和向上的100％移動(dòng)。結(jié)果，該移動(dòng)為100％，以在白色方框中移動(dòng)到黑色方框間隙，從而要發(fā)送的網(wǎng)絡(luò)消息包含左100、上100指令，該數(shù)字通常表示比率。
服務(wù)器將該消息翻譯為向左移100％，向上移100％，并啟動(dòng)以下過程。
根據(jù)圖12考慮，角視區(qū)為視區(qū)5(176×144像素)而完整視頻幀為640×480像素，必須計(jì)算角視區(qū)5窗口的左上角的相對(duì)位置。在圖12中由白點(diǎn)表示的全尺寸窗口的中心位于“x”方向的640/2＝320以及“y”方向的480/2＝240(320，240)。角視區(qū)5中的中心點(diǎn)相對(duì)于左上角的位置是“x”方向176/2＝88以及“y”方向144/2＝72。因此對(duì)于左上角，為了移動(dòng)到(0，0)，中心點(diǎn)必須在向左方向(x方向)移動(dòng)320-88＝232，以及在向上方向(y方向)移動(dòng)240-72＝168。因此，相對(duì)于當(dāng)前位置的移動(dòng)是向左232個(gè)像素，向上168個(gè)像素，由此將該視區(qū)從中心位置移動(dòng)到圖12中由陰影所示的左上位置。因此，將新的角視區(qū)5從服務(wù)器1發(fā)送到客戶端裝置。
應(yīng)該理解，例如如果用戶選擇了虛擬屏幕的第二(垂直)像素行中的左側(cè)位置，則所發(fā)送的數(shù)據(jù)包將包含左80，即沿虛擬窗口的左方向移動(dòng)4個(gè)像素，該虛擬窗口由虛擬窗口差的5個(gè)像素進(jìn)行了相除。對(duì)于其他移動(dòng)，由客戶端應(yīng)用類似的計(jì)算。
應(yīng)該理解，為了從新位置(0，0)移回到原始位置(232，168)，例如如果用戶啟動(dòng)虛擬窗口的中心，則所發(fā)送的移動(dòng)是右42(5像素移動(dòng)12像素差＝5/12＝大約42％)以及下40(4像素移動(dòng)10像素剩余＝4/10＝40％)。
返回到圖8，其中使用文件內(nèi)容來提供對(duì)較小觀看客戶的傳輸，需要下采樣算法。假定傳輸幀大小為176×144像素，則必須通過任何大小的濾波器將要發(fā)送的視頻下采樣為176×144像素。
該處理開始于分為兩個(gè)下采樣的循環(huán)，直到該視頻不能進(jìn)一步分為兩個(gè)為止。計(jì)算因子，然后進(jìn)行最終下采樣。因此假定輸入視頻具有“M”דN”像素，并且輸出幀大小為176×144像素，第一步驟是將176除以M，給出各個(gè)水平(X)幀尺寸為X＝M/176。現(xiàn)將X除以2，并且如果在除法之后X小于1，則計(jì)算寬度和高度因子，并使用這些因子對(duì)該視頻進(jìn)行的采樣提供了176×144格式的視頻。
在應(yīng)用該算法之前和之后，以YUV文件格式應(yīng)用下采樣。因此，Y分量(640×480)被下采樣為176×144Y分量，而U和V分量(320×240)相應(yīng)地被下采樣為88×72。下采樣算法的整個(gè)過程如下。
步驟1計(jì)算H因子、W因子H因子＝寬度/176，其中寬度指水平方向(在我們的示例中為640)W因子＝高度/144，其中高度指垂直方向(在我們的示例中為480)步驟2計(jì)算X因子X＝H因子/2步驟3
檢查是否X≥1如果是，則進(jìn)行到步驟4，否則進(jìn)行到步驟6步驟4通過除以4來進(jìn)行下采樣對(duì)于Y分量，使用以下公式Y(jié)’[i*寬度/4+j/2]＝((Y[i*寬度+j]+Y[i*寬度+j+1]+Y[(i+1)*寬度+j]+Y[(i+1)*寬度+j+1])/4)其中，Y’＝轉(zhuǎn)換后的Y分量，Y＝轉(zhuǎn)換前的Y分量，0≤i＜高度，i＝0，2，4，6…等0≤j＜寬度，j＝0，2，4，6…等對(duì)于U、V分量，使用以下公式U’[i*寬度/2/4+j/2]＝((U[i*寬度/2+j]+U[i*寬度/2+j+1]+U[(i+1)*寬度/2+j]+U[(i+1)*寬度/2+j+1])/4)其中，U’＝轉(zhuǎn)換后的U或V分量U＝轉(zhuǎn)換前的U或V分量0≤i＜高度/2，i＝0，2，4，6…等0≤j＜寬度/2，j＝0，2，4，6…等步驟5高度＝高度/2寬度＝寬度/2X＝X/2轉(zhuǎn)到步驟3步驟6計(jì)算高度因子(Hcoe)和寬度因子(Vcoe)Hcoe＝寬度/176
Vcoe＝高度/144步驟7僅在寬度≠176、高度≠144的情況下，才執(zhí)行該步驟。
因此，該步驟對(duì)大小不是176×144的偶倍數(shù)的輸入圖像進(jìn)行校正。
通過寬度/Vcoe以及高度/Hcoe來進(jìn)行“下采樣”對(duì)于Y分量使用以下公式Y(jié)’[i*176+j]＝((Hcoe*Y[(i*Vcoe)*寬度+(j*Hcoe)]+Y[(i*Vcoe*寬度)+(j*Hcoe+1)])/2/(1+Hcoe)+(Vcoe*Y[(i*Vcoe+1)*寬度+(j*Hcoe)+Y[(i*Vcoe+1)*寬度+(j*Hcoe+1)])/2/(1+Vcoe))其中Y’＝轉(zhuǎn)換后的Y分量，Y＝轉(zhuǎn)換前的Y分量0≤i＜144，i＝0，1，2，3…等0≤j＜176，j＝0，1，2，3…等對(duì)于U、V分量，采用以下公式U’[i*88+j]＝((Hcoe*U[(i*Vcoe)*寬度/2+(j*Hcoe)]+U[(i*Vcoe*寬度/2)+(j*Hcoe+1)])/2/(1+Hcoe)+(Vcoe*U[(i*Vcoe+1)*寬度/2+(j*Hcoe)+U[(i*Vcoe+1)*寬度/2+(j*Hcoe+1)])/2/(1+Vcoe))其中，U’＝轉(zhuǎn)換后的U或V分量U＝轉(zhuǎn)換前的U或V分量0≤i＜72，i＝0，1，2，3…等0≤j＜88，j＝0，1，2，3…等處理結(jié)束。
應(yīng)該理解，也可以開發(fā)其他算法，以上算法僅給出示例。
下面參照?qǐng)D13，對(duì)于預(yù)記錄內(nèi)容，可以首先應(yīng)用以上提到的多視區(qū)確定算法，以生成與角視區(qū)一樣多的壓縮比特流，多視區(qū)確定切換機(jī)制確定要傳輸哪個(gè)比特流。由此視頻采集源(2，4)向多視區(qū)確定算法14提供完整幀圖像，以生成如上參照?qǐng)D8所述的角視區(qū)121、131、141。然而，在此，將各個(gè)角視區(qū)輸入到相應(yīng)的編碼解碼器171、172、173，以產(chǎn)生相應(yīng)的比特流181、182、183。該方法對(duì)于預(yù)記錄視頻內(nèi)容尤其適用。
參照?qǐng)D14，將三個(gè)比特流提供給角視區(qū)開關(guān)151，通過利用網(wǎng)絡(luò)從客戶端輸入數(shù)據(jù)包來預(yù)先對(duì)其進(jìn)行控制。于是將適當(dāng)?shù)谋忍亓鱾魉偷骄幋a解碼器17，該比特流被轉(zhuǎn)換為適當(dāng)?shù)膫鬏攨f(xié)議，用于對(duì)數(shù)據(jù)包18進(jìn)行流傳輸，以顯示在客戶端裝置上。
本發(fā)明尤其適于遠(yuǎn)程控制角視區(qū)，以從諸如攝像機(jī)或文件存儲(chǔ)器的遠(yuǎn)程視頻源提供可選圖像或圖像比例，以顯示在小屏幕上，以及例如通過IP和移動(dòng)通信網(wǎng)絡(luò)進(jìn)行傳輸。例如，本發(fā)明在視頻監(jiān)視、視頻會(huì)議以及視頻流傳輸方面的應(yīng)用使得用戶能夠確定以什么樣的細(xì)節(jié)來觀看，并允許對(duì)由遠(yuǎn)程客戶端控制的發(fā)送幀進(jìn)行有效的虛擬縮放，而無需物理調(diào)整攝像機(jī)設(shè)置。
在視頻監(jiān)視中，可以觀看整個(gè)場(chǎng)景，并且如果存在可能感興趣的行為，則縮放為該場(chǎng)景的一部分。更具體地，由于可以將整個(gè)攝像機(jī)幀存儲(chǔ)在數(shù)字?jǐn)?shù)據(jù)存儲(chǔ)器中，所以可以通過回溯所存儲(chǔ)的圖像并移動(dòng)與所存儲(chǔ)的幀相關(guān)的角視區(qū)，來在遠(yuǎn)程屏幕上檢查顯示出細(xì)節(jié)的區(qū)域。
權(quán)利要求
1.一種對(duì)視頻信號(hào)進(jìn)行流傳輸?shù)姆椒?，包括以下步驟采集和/或存儲(chǔ)視頻幀或者視頻幀序列，其中每一幀都包括“m”像素דn”像素的矩陣；將每一個(gè)所述m×n的幀壓縮為“p”像素דq”像素的各個(gè)導(dǎo)出幀，以將其顯示在能夠顯示至少p像素×q像素的幀的屏幕上，其中p和q分別遠(yuǎn)小于m和n；發(fā)送所述至少一個(gè)導(dǎo)出幀，并接收用于限定小于m×n像素的優(yōu)選觀看區(qū)域的信號(hào)；將所選擇的觀看區(qū)域壓縮為p像素×q像素的進(jìn)一步導(dǎo)出幀或者進(jìn)一步導(dǎo)出幀序列；以及發(fā)送所述進(jìn)一步導(dǎo)出幀，以進(jìn)行具有下述特征的顯示所接收的信號(hào)包括用來限定所發(fā)送的進(jìn)一步導(dǎo)出幀內(nèi)的優(yōu)選位置的數(shù)據(jù)，該數(shù)據(jù)確定了從中選出下一個(gè)進(jìn)一步導(dǎo)出幀的m像素×n像素內(nèi)的位置。
2.根據(jù)權(quán)利要求1所述的方法，其中所接收的信號(hào)還限定縮放級(jí)別，該縮放級(jí)別包括從所提供的多個(gè)有效縮放級(jí)別中選擇一個(gè)，所述多個(gè)有效縮放級(jí)別中的每一個(gè)都限定包括至少p像素×q像素但不多于m像素×n像素的幀。
3.根據(jù)權(quán)利要求1或權(quán)利要求2所述的方法，其中所接收的信號(hào)用于使所發(fā)送的幀以逐個(gè)像素為基礎(chǔ)從當(dāng)前位置移動(dòng)到新位置。
4.根據(jù)權(quán)利要求1或權(quán)利要求2所述的方法，其中所接收的信號(hào)用于使所發(fā)送的幀以幀區(qū)域選擇為基礎(chǔ)來移動(dòng)。
5.根據(jù)權(quán)利要求1所述的方法，其中通過在主(M×N)幀中檢測(cè)明顯活躍的區(qū)域并發(fā)送該區(qū)域周圍的較小幀，來自動(dòng)選擇要發(fā)送的幀。
6.根據(jù)以上任意一項(xiàng)權(quán)利要求所述的方法，其中使用所接收的控制信號(hào)來選擇多個(gè)預(yù)定幀大小和/或視角中的一個(gè)。
7.根據(jù)權(quán)利要求6所述的方法，其中使用所述控制信號(hào)在所述主幀內(nèi)從當(dāng)前位置移動(dòng)到新位置，并改變視區(qū)的大小，由此可以實(shí)現(xiàn)對(duì)所述主幀的特定區(qū)域的詳細(xì)檢查。
8.根據(jù)權(quán)利要求7所述的方法，其中所述選擇是通過跳躍功能來進(jìn)行的，該跳躍功能對(duì)控制功能進(jìn)行響應(yīng)，以根據(jù)指針的位置在所述主幀中選擇不同的幀區(qū)域。
9.根據(jù)權(quán)利要求7所述的方法，其中所述選擇是通過卷動(dòng)功能來進(jìn)行的，控制信號(hào)在逐個(gè)像素的基礎(chǔ)上使幀移動(dòng)。
10.一種用于視頻流傳輸系統(tǒng)的終端裝置，該裝置包括第一顯示屏幕(20)，用于顯示所傳輸?shù)膸?；第二顯示屏幕(21)，具有可選擇點(diǎn)，用于表示正在顯示的區(qū)域或者想要顯示的區(qū)域；以及傳輸裝置，用于發(fā)送在當(dāng)前顯示的幀中限定優(yōu)選位置的信號(hào)，其中從該當(dāng)前顯示的幀中導(dǎo)出下一個(gè)傳輸?shù)膸?br> 11.根據(jù)權(quán)利要求10所述的終端裝置，包括進(jìn)一步顯示裝置(39)，該裝置具有顯示當(dāng)前觀看幀的坐標(biāo)的能力，并且/或者用于顯示與該觀看幀相關(guān)的文本或其他信息。
12.根據(jù)權(quán)利要求11所述的終端裝置，其中所述進(jìn)一步顯示裝置(39)以其中存儲(chǔ)有限定觀看幀的信息的URL或類似定位標(biāo)識(shí)的格式來顯示文本。
13.根據(jù)權(quán)利要求10、11或12所述的終端裝置，包括用于發(fā)送控制信號(hào)的低帶寬接收路徑，以及用于接收所選擇的觀看幀的高帶寬路徑。
14.一種服務(wù)器，其包括可以訪問多個(gè)視頻存儲(chǔ)器(4)的計(jì)算機(jī)或文件服務(wù)器(1)，每一個(gè)視頻存儲(chǔ)器(4)都存儲(chǔ)有多個(gè)視頻幀，每一個(gè)視頻幀都包括“m”像素דn”像素的矩陣；并且/或者與攝像機(jī)(2)和數(shù)字圖像存儲(chǔ)器(3)相連，該攝像機(jī)(2)用于采集待發(fā)送的圖像，在該數(shù)字圖像存儲(chǔ)器(3)中，將這些圖像保存為視頻幀序列，每一個(gè)幀都包括“m”像素דn”像素的矩陣；該計(jì)算機(jī)(1)包括裝置(9)，用于將每一個(gè)所述m×n的幀壓縮為“p”像素דq”像素的導(dǎo)出幀，以將其顯示在能夠顯示至少p像素×q像素的幀的屏幕(6)上，并將所述每一個(gè)幀發(fā)送出去，其中p和q分別遠(yuǎn)小于m和n；服務(wù)器(1)，對(duì)用于限定小于m×n像素的優(yōu)選觀看區(qū)域的所接收的信號(hào)進(jìn)行響應(yīng)，以將所選擇的觀看區(qū)域壓縮為p像素×q像素的導(dǎo)出幀或者進(jìn)一步導(dǎo)出幀序列，以及傳送該進(jìn)一步導(dǎo)出幀，以進(jìn)行具有下述特征的顯示服務(wù)器(1)響應(yīng)于限定先前發(fā)送的幀內(nèi)的優(yōu)選位置的數(shù)據(jù)信號(hào)，以在所述m×n的主幀中選擇該位置，其中從該主幀發(fā)送下一p×q的導(dǎo)出幀。
15.根據(jù)權(quán)利要求14所述的服務(wù)器，其中由所述攝像機(jī)(2)采集的圖像存儲(chǔ)在所述數(shù)字圖像存儲(chǔ)器(3)中，所述計(jì)算機(jī)(1)對(duì)從終端裝置(6、7)接收的控制信號(hào)進(jìn)行響應(yīng)，以在所存儲(chǔ)的主(m×n)幀內(nèi)從當(dāng)前位置移動(dòng)到新位置，以及對(duì)所述新位置處的所選擇的區(qū)域進(jìn)行壓縮，以使得如果實(shí)況動(dòng)作觀看表示感興趣的觀看可能超過或者部分超過當(dāng)前觀看幀，則用戶可以及時(shí)地執(zhí)行通過所觀看區(qū)域的移動(dòng)
16.根據(jù)權(quán)利要求14或15所述的服務(wù)器，其中所述計(jì)算機(jī)(1)運(yùn)行選擇和壓縮程序(9)的多個(gè)實(shí)例，以使得能夠進(jìn)行對(duì)不同用戶的分別發(fā)送。
17.根據(jù)權(quán)利要求16所述的服務(wù)器，其中所述選擇和壓縮程序的每一個(gè)實(shí)例都從攝像機(jī)源(2)提供選擇，或者從所述視頻存儲(chǔ)器(4)之一中提供所存儲(chǔ)的圖像。
18.根據(jù)權(quán)利要求14到17中的任意一個(gè)所述的服務(wù)器，其中對(duì)來自攝像機(jī)(2)或者視頻存儲(chǔ)器(4)的數(shù)字化圖像(主幀)進(jìn)行預(yù)選擇并將其分為多個(gè)幀，每一個(gè)幀對(duì)于開關(guān)裝置(15)都同時(shí)可用，該開關(guān)裝置(15)對(duì)用戶數(shù)據(jù)輸入(16)進(jìn)行響應(yīng)，以選擇要發(fā)送所述幀中的哪一個(gè)。
19.根據(jù)權(quán)利要求18所述的服務(wù)器，其中所選擇的數(shù)字化圖像經(jīng)過編碼解碼器(17)，以提供經(jīng)封裝的比特流，來發(fā)送給發(fā)出請(qǐng)求的用戶。
20.根據(jù)權(quán)利要求18所述的服務(wù)器，其中所述多個(gè)幀中的每一個(gè)都被轉(zhuǎn)換為準(zhǔn)備發(fā)送給發(fā)出請(qǐng)求的用戶的相應(yīng)比特流，開關(guān)(15)響應(yīng)于用戶數(shù)據(jù)輸入(16)選擇要發(fā)送的比特流之一。
21.根據(jù)權(quán)利要求14至20中的任意一個(gè)所述的服務(wù)器，其中所述計(jì)算機(jī)對(duì)限定從主幀選擇要觀看的部分幀的用戶輸入信號(hào)進(jìn)行響應(yīng)，所述服務(wù)器(1)通過發(fā)送所述主幀(12)的壓縮版本或者所述主幀的預(yù)選擇區(qū)域(13、14)來對(duì)請(qǐng)求傳輸?shù)挠脩魯?shù)據(jù)包進(jìn)行響應(yīng)，并對(duì)限定觀看幀的優(yōu)選位置的后續(xù)用戶數(shù)據(jù)信號(hào)進(jìn)行響應(yīng)，以傳輸限定該優(yōu)選位置處的觀看幀的比特流。
全文摘要
一種文件服務(wù)器(1)，與遠(yuǎn)程客戶端(例如，PPC(7)、移動(dòng)電話客戶端(5))進(jìn)行通信，其從攝像機(jī)(2)或者視頻存儲(chǔ)器(4)接收?qǐng)D像，作為完整幀圖像。選擇和壓縮程序使得能夠傳輸限定壓縮視頻圖像的比特流，以在移動(dòng)客戶端的較小屏幕上進(jìn)行顯示，并允許簡(jiǎn)單的虛擬縮放和由用戶選擇要觀看的幀區(qū)域。壓縮和選擇算法使得用戶能夠選擇具有與本地屏幕相對(duì)應(yīng)的像素?cái)?shù)量的角視區(qū)，該角視區(qū)是從整個(gè)原始幀導(dǎo)出并完全壓縮的，具有壓縮的可變選擇，可以由文件服務(wù)器(1)來選擇原始幀的具有相同數(shù)量的像素的一部分。該系統(tǒng)尤其適用于客戶端和文件服務(wù)器之間的帶寬有限的情況，以使得不需要將整個(gè)視頻幀發(fā)送給客戶端，而僅需要從客戶端到服務(wù)器的有限返回信令。
文檔編號(hào)H04N7/24GK1732690SQ200380108056
公開日2006年2月8日 申請(qǐng)日期2003年12月30日 優(yōu)先權(quán)日2002年12月31日
發(fā)明者奧頓·卡瑪里奧蒂斯 申請(qǐng)人:英國(guó)電訊有限公司