一種基于深度和動作流信息的遠程繪制方法
【專利摘要】一種基于深度和動作流信息的遠程繪制方法，其步驟為：（1）服務器從屬性緩沖中進行邊界提取;（2）根據(jù)步驟（1）計算得到的邊界信息，提取邊界動作流信息和邊界深度信息，進行數(shù)據(jù)壓縮處理并發(fā)送給客戶端；（3）繪制低分辨率圖像，使用H.264標準發(fā)送到客戶端；（4）客戶端接受服務器端發(fā)送到的信息，首先對邊界動作流信息和邊界深度信息通過擴射算法進行恢復，得到完整的動作流信息和深度信息；（5）根據(jù)步驟（4）得到的數(shù)據(jù)，使用時空向上采樣算法得到高分辨圖像。
【專利說明】一種基于深度和動作流信息的遠程繪制方法
【技術(shù)領域】
[0001]本發(fā)明屬于計算機虛擬現(xiàn)實【技術(shù)領域】，具體地說是涉及一種遠程繪制的方法，服務器端繪制低分辨率圖像，計算深度和動作流信息，客戶端根據(jù)這些信息恢復出高分辨圖像，完成遠程繪制。
【背景技術(shù)】
[0002]近些年來，隨著計算機硬件更新?lián)Q代速度的加快以及車載電腦等移動終端的普及，運用于三維圖像交互的服務器/客戶端平臺在我們的生活中扮演者越來越重要的角色。這種平臺把計算量巨大的渲染工作交給服務器來完成，然后把渲染好的幀序列以視頻的方式傳輸給客戶端，而客戶端只需要具有網(wǎng)頁瀏覽和視屏播放的功能就可以了。這種服務器/客戶端圖形平臺具有很多優(yōu)點，除了可以降低對客戶端配置的要求，還可以把大量的數(shù)據(jù)保存在服務器，簡化了數(shù)據(jù)維護工作，提高了數(shù)據(jù)保密性，同時還可以在協(xié)同工作環(huán)境中保證數(shù)據(jù)的一致性。但是這種體系存在這兩個主要難點:一是服務器負載，大場景或者復雜的模型的渲染總是需要服務器進行大量的計算，一方面增加了響應時間，另一方面限制了服務器為多臺客戶端提供服務的能力；二是帶寬，傳輸高分辨率圖像所需要較高的帶寬，如傳輸HD 1080p視頻需要至少5Mbps的帶寬才能取得較好的傳輸質(zhì)量。為了解決這些問題，很多研究都是從兩個方向入手:
[0003](I)降低服務器端渲染數(shù)據(jù)量。文獻 I一Dabrius Burschka, Gregory D Hager,Zachary Dodds etc.Recent Method for Image-Based Modeling and Rendering, IEEEVirtual Reality 2003 March 22-26，2003，Los Angeles, CA, 299.提供了在渲染服務器和客戶端之間有效地分配渲染負載和數(shù)據(jù)傳輸?shù)膶Ｓ盟惴?。文獻2—Cohen-or D, MannY, Fleishman S.Deep compression for streaming texture intensive animations.1n Proceedings of SIGGRAPH(1999)，pp.261-268.利用流殘差值(高質(zhì)量服務器端幀和低質(zhì)量客戶端幀之間的差別)來提高客戶端的渲染能力，這種方法需要強大的客戶端，并且無法再服務器端進行繪制。文獻3—Sitthi Amorn P, Lawrence J, Yang L, SanderP V, Nehab D.An Improved Shading Cache for Modern GPUs.1n Proc.APGV(2008),PP.193-197.通過分析時間數(shù)據(jù)重投影在GPU上的開銷設計了一種算法，重利用當前幀的著色信息來提高下面的巾貞序列著色計算的速度。文獻4一Yang L, Sander P V, LawrenceJ.Geometry-Aware Framebuffer Level of Detail.Comp.Graph.Forum(Proc.0f EGSR)27,4(2008),1183-1188.提出了一種LOD算法來控制進行像素處理的開銷。HEMS提出了時空向上采樣算法，結(jié)合時間向上采樣和空間向上采樣的算法來降低像素處理的開銷。文獻5—Herzog R, Eisemann E,Myszkowski K, Seidel H P.Spatio-temporal Upsampling on TheGPU.1n Proc.0f 13D (2010) ACM, pp.91-98.把渲染和視頻流壓縮結(jié)合在一起，不對在壓縮過程中需要被移除的部分進行渲染工作，降低服務器端的負載。
[0004](2)渲染加速。增加單位時間內(nèi)的數(shù)據(jù)處理量，通過軟硬件加速方法實現(xiàn)，如GPU加速技術(shù)、存儲訪問優(yōu)化技術(shù)、并行渲染技術(shù)等，其中并行渲染技術(shù)是軟件加速方法的重要組成部分。根據(jù)圖元歸屬判斷方式，文獻6—Molnar S., Cox M., Ellsworth D., et al.ASorting Classification of Parallel Rendering[J].1EEE Computer Graphics andApplications, 1994,14(4):23-32.把并行?宣染分為三種類型:Sort-first、Sort-middle和Sort-last。Sort-first體系在幾何處理階段決定圖源圖像在屏幕時的對應位置,參見文獻 7—Miyachi H., Shigeta H., Kiyokawa K., et al.Parallelization of ParticleBased Volume Rendering on Tiled Display Wall[C].Network-Based InformationSystems (NBiS), Takayama, Gifu, Japan,2010.和文獻 8—Humphreys G., EldridgeM..WireGL:A Scalable Graphics System for Cluster[C].ACM SIGGRAPH, Los Angeles,California, 2001.,優(yōu)點是具有流水線相互獨立和通信量少的特點，但由于圖元分布不均勻等原因容易造成負載不平衡；S0rt-middle體系的圖元歸屬判斷發(fā)生在幾何處理和像素化處理階段之間，如Chromium框架，參見文獻8一Humphreys G.，Houston Μ.，Ng.R.，et al.Chromium:a Stream-processing Framework for Interactive Rendering onClusters[C], ACM, San Diego, 2008.，其優(yōu)點是有利于模塊化實現(xiàn)，但由于數(shù)據(jù)傳輸量以處理器數(shù)的幾何級數(shù)增長，限制了系統(tǒng)的可擴展性；Sort-laSt體系的圖元歸屬發(fā)生在像素化處理過程中，如Parallel-Mesa系統(tǒng)，系統(tǒng)可擴展性好，同時較好實現(xiàn)了負載平衡，但需要大量的像素傳輸，占用了大量帶寬，使得圖像合成速度成為系統(tǒng)瓶頸，同時也具有負載不平衡的問題。由于這三種體系各有優(yōu)缺點，越來越多的系統(tǒng)開始使用其中某兩者相結(jié)合的方案，如 Chromium 框架和 Parallel-SG。
[0005]目前的遠程繪制技術(shù)研究中很少能夠兼顧服務器端負載、客戶端配置和帶寬等多種方面的需求，要么為了降低服務器端負載而增加了客戶端負擔從而導致客戶端配置需求較高，要么為了降低客戶端配置而增加了服務器端負載，又或者會導致帶寬需求過高等問題。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的技術(shù)解決問`題:克服現(xiàn)有技術(shù)的一些局限性，提供一種基于深度和動作流信息的遠程繪制方法，有效降低服務器端負載、客戶端配置要求和帶寬需求。
[0007]本發(fā)明的技術(shù)解決方案:基于深度與動作流信息的遠程繪制，首先要在服務器端進行深度與動作流信息提取，邊界信息提取和低分辨率圖像繪制，然后進行數(shù)據(jù)壓縮，最后客戶端通過這些信息得到高分辨率圖像，其特征在于步驟如下:
[0008]一種基于深度與動作流信息的遠程繪制方法，首先要在服務器端進行深度與動作流信息提取，邊界信息提取和低分辨率圖像繪制，然后進行數(shù)據(jù)壓縮，最后客戶端通過這些信息得到高分辨率圖像，其特征在于步驟如下:
[0009](I)服務器從屬性緩沖中進行邊界提?。?br> [0010](2)根據(jù)步驟(1)計算得到的邊界信息，提取邊界動作流信息和邊界深度信息，進行數(shù)據(jù)壓縮處理并發(fā)送給客戶端；
[0011](3)繪制低分辨率圖像，使用H.264標準發(fā)送到客戶端；
[0012](4)客戶端接受服務器端發(fā)送到的信息，首先對邊界動作流信息和邊界深度信息通過擴射算法進行恢復，得到完整的動作流信息和深度信息；
[0013](5)根據(jù)步驟(4)得到的數(shù)據(jù)，使用時空向上采樣算法得到高分辨圖像。[0014]本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點在于:
[0015](I)本發(fā)明所設計的遠程繪制方法極大地降低了服務器端的負載，在遠程繪制中，服務器端的主要工作浪費在了渲染部分，而本方法只繪制低分辨圖像，從而把服務器從繁重的渲染工作中解脫出來。
[0016](2)本發(fā)明降低了對客戶端的配置要求，采用傳圖像的方式進行遠程繪制使得客戶端不需要進行模型處理，更不需要進行繪制工作，客戶端配置要求。
[0017](3)本發(fā)明降低了遠程繪制對帶寬的要求，即使要進行高分辨圖像的傳輸，因為服務器端只傳輸?shù)头直鎴D像，而高分辨率的圖像是在客戶端生成，對帶寬要求很低。
【專利附圖】

【附圖說明】
[0018]圖1為本發(fā)明方法的流程圖；
[0019]圖2為本發(fā)明數(shù)據(jù)壓縮算法示意圖；
[0020]圖3為本發(fā)明擴散算法示意圖；
[0021]圖4為服務器端繪制的高分辨率圖像；
[0022]圖5為服務器端繪制的低分辨率圖像；
[0023]圖6為客戶端恢復的高分辨率圖像。
【具體實施方式】
[0024]如圖1所示，本發(fā)明包括服務器端和客戶端兩部分內(nèi)容，具體步驟如下:
[0025]1、服務器端待繪制幀圖像的邊界信息的提取，其步驟為:使用拉普拉斯算子，根據(jù)屬性緩沖區(qū)中的數(shù)據(jù)進行邊界提取。拉普拉斯算子是一種二階微分算子，定義為:
【權(quán)利要求】
1.一種基于深度與動作流信息的遠程繪制方法，首先要在服務器端進行深度與動作流信息提取，邊界信息提取和低分辨率圖像繪制，然后進行數(shù)據(jù)壓縮，最后客戶端得到高分辨率圖像，其特征在于步驟如下:(1)服務器從屬性緩沖中進行邊界提??；(2)根據(jù)步驟(I)計算得到的邊界信息，提取邊界動作流信息和邊界深度信息，進行數(shù)據(jù)壓縮處理并發(fā)送給客戶端；(3)繪制低分辨率圖像，使用H.264標準發(fā)送到客戶端；(4)客戶端接受服務器端發(fā)送到的信息，首先對邊界動作流信息和邊界深度信息通過擴射算法進行恢復，得到完整的動作流息和深度息；(5)根據(jù)步驟(4)得到的數(shù)據(jù)，使用時空向上采樣算法得到高分辨圖像。
2.根據(jù)權(quán)利要求1所述基于深度和動作流信息的遠程繪制方法，其特征在于:所述步驟(I)中邊界信息的提取，其步驟為:使用拉普拉斯算子，根據(jù)屬性緩沖區(qū)中的數(shù)據(jù)進行邊界提取，提取出的邊界為2個像素的寬度；為了防止丟失變化較少的區(qū)域，在邊界提取結(jié)束后，每32*32個像素中再添加一個像素信息到邊界數(shù)據(jù)中。
3.根據(jù)權(quán)利要求1所述基于深度和動作流信息的遠程繪制方法，其特征在于:所述步驟(2)中，邊界深度信息和邊界動作流信息的提取和數(shù)據(jù)壓縮，其步驟如下:首先從屬性緩沖區(qū)根據(jù)邊界信息提取邊界深度信息和邊界動作流信息，然后對兩種元素，一個像素是否是邊界樣例、邊界樣例值，進行編碼:首先以二值圖像的形式對一個像素是否為邊界樣例進行編碼，I表示該像素為邊界樣例，O表示不是；對于邊界樣例的值，以按行掃描的方式進行存儲。
4.根據(jù)權(quán)利要求1所述基于深度和動作流信息的遠程繪制方法，其特征在于:所述步驟(3)中，首先根據(jù)邊界信息繪制低分辨率圖像，即只對邊界像素和每32*32像素抽取的一個像素進行渲染得到低分辨率圖像，然后以H.264標準進行編碼后發(fā)送。
5.根據(jù)權(quán)利要求1所述基于深度和動作流信息的遠程繪制方法，其特征在于:由步驟(4)包括:其核心是一種“推拉機制”，首先通過降低圖像分辨率來填補空洞，具體操作是進行連續(xù)向下采樣得到金字塔狀圖像，每一級別增加邊界樣本的一個像素寬度，空洞被迅速填補；然后把填補好的空洞傳播回高分辨率圖像；通過自頂向下的方式，粗略級別的樣本被“拉”回到自己相應的精確位置；由于在推的階段保留了偶數(shù)位置的值，所以在拉的階段只從偶數(shù)位取值，在金字塔每一層，對剩余像素使用局部擴散的方法進行復制，在這個過程中采用先對角線后坐標軸的方式。
6.根據(jù)權(quán)利要求1所述基于深度和動作流信息的遠程繪制方法，其特征在于:由步驟(5)包括步驟如下:首先通過動作流信息和存儲在客戶端的前一幀圖像推斷出當前幀的各像素位置；然后使用Herzog提出的雙向加權(quán)方案給前一幀圖像和當前幀低分辨圖像中的時空上相鄰的像素分別賦予權(quán)重，用加權(quán)和求出當前幀Ht中個像素的值，最終得到高分辨圖像。
【文檔編號】H04N21/238GK103561280SQ201310566712
【公開日】2014年2月5日 申請日期:2013年11月14日 優(yōu)先權(quán)日:2013年11月14日
【發(fā)明者】齊越, 吳昊 申請人:北京航空航天大學