一種網(wǎng)絡(luò)視頻畫(huà)面處理方法及裝置制造方法
【專利摘要】一種網(wǎng)絡(luò)視頻畫(huà)面處理方法及裝置，該網(wǎng)絡(luò)視頻畫(huà)面處理方法包括：S1：服務(wù)端對(duì)一個(gè)視頻節(jié)目中的一個(gè)或多個(gè)畫(huà)面編碼；S2：服務(wù)端接收并響應(yīng)播放終端對(duì)視頻節(jié)目的播放請(qǐng)求，包括：S100：服務(wù)端接收播放終端的播放請(qǐng)求，由播放終端指定觀看畫(huà)面Sa或者由服務(wù)端指定觀看畫(huà)面Sa；S200：服務(wù)端從編碼碼流中選擇與觀看畫(huà)面Sa相關(guān)的一個(gè)或多個(gè)編碼碼流；S300：采集用戶的交互行為形成播放行為信息PA，將播放行為信息PA反饋到服務(wù)端；S400：如果接收到播放行為信息PA，通過(guò)播放行為信息PA得到觀看畫(huà)面范圍UV或觀看對(duì)象UO；S500：如果獲取到觀看畫(huà)面范圍UV或觀看對(duì)象UO，基于UV或UO，得到畫(huà)面Sb；如果視頻節(jié)目不包含畫(huà)面Sb，令視頻節(jié)目包含畫(huà)面Sb；然后令Sa＝Sb，返回步驟S200。
【專利說(shuō)明】一種網(wǎng)絡(luò)視頻畫(huà)面處理方法及裝置
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明是關(guān)于互聯(lián)網(wǎng)視頻信息【技術(shù)領(lǐng)域】，具體是關(guān)于一種網(wǎng)絡(luò)視頻畫(huà)面處理方法 及裝置。
【背景技術(shù)】
[0002] 近年來(lái)，隨著互聯(lián)網(wǎng)視頻業(yè)務(wù)在國(guó)內(nèi)外的蓬勃發(fā)展，用戶對(duì)視頻畫(huà)面質(zhì)量、觀看過(guò) 程中的互動(dòng)性都提出了越來(lái)越高的要求。
[0003] 用于收看視頻內(nèi)容的各種播放終端的播放能力均是有限的，尤其是面向移動(dòng)互聯(lián) 網(wǎng)的各種智能移動(dòng)終端，其顯示分辨率和解碼能力也均有上限，并且在通過(guò)網(wǎng)絡(luò)獲取視頻 并進(jìn)行播放時(shí)，網(wǎng)絡(luò)接入帶寬也有上限。在自適應(yīng)多碼率時(shí)，播放終端可依據(jù)其解碼能力和 網(wǎng)絡(luò)帶寬選擇合適的碼流，如在網(wǎng)絡(luò)帶寬較低時(shí)，選擇較低碼率的碼流，但如果碼流碼率較 低，而碼流對(duì)應(yīng)的畫(huà)面范圍較大，此時(shí)畫(huà)面質(zhì)量會(huì)較差，影響用戶體驗(yàn)。
[0004] 用戶在使用播放終端觀看視頻畫(huà)面時(shí)，經(jīng)常會(huì)有觀看視頻不同畫(huà)面的需求，尤其 是在使用智能移動(dòng)終端等播放終端時(shí)，由于顯示屏幕較小，如主流的智能手機(jī)終端iPhone 系列，其顯示屏幕為3. 5英寸到4英寸，當(dāng)畫(huà)面為某個(gè)場(chǎng)景的全景畫(huà)面時(shí)，很多局部細(xì)節(jié)無(wú) 法看清，而這些局部細(xì)節(jié)在某些情況下又是用戶所希望看清的。
[0005] 針對(duì)上述需求，目前主流的互聯(lián)網(wǎng)視頻業(yè)務(wù)提供商還無(wú)法較好的解決上述問(wèn)題。
[0006] 為實(shí)現(xiàn)上述需求，播放終端一種可能的做法為：播放終端對(duì)收到的編碼碼流進(jìn)行 解碼，解碼后將用戶感興趣的局部視頻區(qū)域放大后進(jìn)行顯示。但這種方法有較多的問(wèn)題：如 果編碼碼流的碼率或分辨率較低，則圖像細(xì)節(jié)已經(jīng)與原始信號(hào)源差異較大，這樣對(duì)局部區(qū) 域直接放大后無(wú)法達(dá)到較好的畫(huà)面效果；如果編碼碼流直接采用高碼率、大分辨率的編碼 碼流，則會(huì)占用較高網(wǎng)絡(luò)帶寬，解碼資源開(kāi)銷也較大，如果播放終端所處環(huán)境的網(wǎng)絡(luò)帶寬或 顯示分辨率和解碼能力有限，則將會(huì)無(wú)法接收或播放上述編碼碼流。
[0007] 例如：一場(chǎng)體育比賽的直播，采集的視頻源是1920x1080分辨率，在手機(jī)上進(jìn)行播 放，用戶希望觀看畫(huà)面的某個(gè)區(qū)域的局部細(xì)節(jié)，如某個(gè)運(yùn)動(dòng)員的動(dòng)作細(xì)節(jié)，此時(shí)：
[0008] 如果傳輸給播放終端的編碼碼流采用碼率1Mbps、分辨率720x576、對(duì)完整畫(huà)面編 碼的碼流，則播放終端對(duì)局部區(qū)域放大后，放大過(guò)程將導(dǎo)致失真較多，畫(huà)面細(xì)節(jié)效果不佳；
[0009] 如果傳輸給播放終端的編碼碼流采用碼率1Mbps、分辨率1920x1080、對(duì)完整畫(huà)面 編碼的碼流，則圖像編碼過(guò)程將導(dǎo)致失真較多，播放終端對(duì)局部區(qū)域放大后，畫(huà)面細(xì)節(jié)效果 同樣不佳，且某些播放終端可能無(wú)法支持對(duì)分辨率1920x1080的編碼碼流的解碼播放；
[0010] 如果傳輸給播放終端的編碼碼流采用碼率8Mbps、分辨率1920x1080的編碼，則有 可能播放終端的網(wǎng)絡(luò)帶寬無(wú)法承載，導(dǎo)致出現(xiàn)播放卡頓等現(xiàn)象，且某些播放終端可能無(wú)法 支持對(duì)分辨率1920x1080的編碼碼流的解碼播放。
[0011] 綜上所述，我們需要在播放終端資源有限的情況下，找到能夠?qū)崿F(xiàn)觀看視頻不 同畫(huà)面，并提高視頻畫(huà)面質(zhì)量的方法，以避免視頻畫(huà)面質(zhì)量因?yàn)楫?huà)面的調(diào)整而有明顯降 低。同時(shí)，由于播放終端在播放編碼碼流時(shí)，可能會(huì)采用自適應(yīng)碼率協(xié)議（如HLS、HDS、 MPEG-DASH)，此時(shí)播放終端會(huì)自動(dòng)依據(jù)自適應(yīng)碼率協(xié)議，自動(dòng)選擇與其網(wǎng)絡(luò)帶寬和解碼能 力相匹配的編碼碼流進(jìn)行播放，如何利用該自動(dòng)選擇機(jī)制更有效和更合理的實(shí)現(xiàn)在播放終 端資源有限的情況下，觀看不同的視頻畫(huà)面并提高視頻畫(huà)面質(zhì)量，避免因?yàn)楫?huà)面的調(diào)整而 使畫(huà)面質(zhì)量有明顯降低的目標(biāo)，也是需要解決的問(wèn)題。
【發(fā)明內(nèi)容】
[0012] 本發(fā)明實(shí)施例提供一種網(wǎng)絡(luò)視頻畫(huà)面處理方法及裝置，以使得在服務(wù)端資源有 限、播放終端資源有限的情況下，隨著用戶對(duì)觀看視頻畫(huà)面的選擇，依然可保證畫(huà)面的觀看 質(zhì)量；可和自適應(yīng)碼率技術(shù)相結(jié)合，使得產(chǎn)生的新編碼碼流可自動(dòng)適配不同播放終端的不 同網(wǎng)絡(luò)帶寬和播放能力；通過(guò)預(yù)先設(shè)置有限的視頻畫(huà)面，用戶交互后選擇的視頻畫(huà)面與預(yù) 先設(shè)置的視頻畫(huà)面進(jìn)行匹配，可避免新產(chǎn)生過(guò)多視頻畫(huà)面而導(dǎo)致的計(jì)算資源占用過(guò)多。
[0013] 為了實(shí)現(xiàn)上述目的，本發(fā)明提供了一種網(wǎng)絡(luò)視頻畫(huà)面處理方法，所述的網(wǎng)絡(luò)視頻 畫(huà)面處理方法包括：
[0014] S1 :服務(wù)端對(duì)一個(gè)視頻節(jié)目中的一個(gè)或多個(gè)畫(huà)面編碼，所述視頻節(jié)目包含不同 的觀看范圍對(duì)應(yīng)的不同畫(huà)面、Sp S2，…，每個(gè)編碼的畫(huà)面Si形成一個(gè)或多個(gè)編碼碼流 PiO, Pu，Pi2，…，所述編碼碼流PiO, Pu，Pi2…是按照不同參數(shù)進(jìn)行編碼形成的不同的編碼碼 流；
[0015] S2 :所述服務(wù)端接收并響應(yīng)播放終端對(duì)視頻節(jié)目的播放請(qǐng)求，包括如下步驟：
[0016] S100 :所述服務(wù)端接收所述播放終端的播放請(qǐng)求，由所述播放終端指定觀看畫(huà)面 Sa或者由所述服務(wù)端指定觀看畫(huà)面S a;
[0017] S200 :所述服務(wù)端從上述所有所述編碼碼流中選擇與所述觀看畫(huà)面Sa相關(guān)的一個(gè) 或多個(gè)編碼碼流，使所述播放終端播放選出的編碼碼流；
[0018] S300:所述播放終端在播放過(guò)程中，采集用戶的交互行為，形成播放行為信息PA， 并將所述播放行為信息PA反饋到所述服務(wù)端；
[0019] S400 :所述服務(wù)端判斷是否接收到所述播放行為信息PA，如果所述服務(wù)端接收到 所述播放行為信息PA，則通過(guò)所述播放行為信息PA得到用戶選擇的觀看畫(huà)面范圍UV或用 戶選擇的觀看對(duì)象U0 ;
[0020] S500 :所述服務(wù)端判斷是否獲取到所述觀看畫(huà)面范圍UV或所述觀看對(duì)象U0,如果 所述服務(wù)端判斷獲取到所述觀看畫(huà)面范圍UV或所述觀看對(duì)象U0,則基于所述觀看畫(huà)面范 圍UV或所述觀看對(duì)象U0,得到畫(huà)面s b;判斷所述視頻節(jié)目是否包含畫(huà)面s b，如果所述視頻 節(jié)目不包含畫(huà)面sb，則令所述視頻節(jié)目包含畫(huà)面Sb;然后令S a= Sb，返回步驟S200。
[0021] 上述S1和S2之間可并行執(zhí)行或串行執(zhí)行。
[0022] 上述S2在運(yùn)行過(guò)程中可對(duì)S1的執(zhí)行方式進(jìn)行調(diào)整，調(diào)整包括：所述視頻節(jié)目包含 哪些畫(huà)面、編碼哪些畫(huà)面、畫(huà)面的編碼參數(shù)等；上述S2運(yùn)行過(guò)程中，服務(wù)端可同時(shí)響應(yīng)多個(gè) 播放終端的播放請(qǐng)求。
[0023] 在一實(shí)施例中，在所述網(wǎng)絡(luò)視頻畫(huà)面處理方法還包括：
[0024] S600 :設(shè)所述視頻節(jié)目包含的畫(huà)面S& Si，S2，…所構(gòu)成的畫(huà)面集合為SX，SX中的畫(huà) 面應(yīng)的編碼碼流P i(l，Pn，Pi2，…所構(gòu)成的編碼碼流集合為EXi;對(duì)所述畫(huà)面集合SX中的 畫(huà)面3 1生成子區(qū)域畫(huà)面，將所述子區(qū)域畫(huà)面加入所述畫(huà)面集合SX中；對(duì)所述畫(huà)面集合SX中 的所述Si，增加所述編碼碼流集合EXi中的編碼碼流、停止所述編碼碼流集合EX 的編碼 碼流或修改所述編碼碼流集合中的編碼碼流的編碼參數(shù)。
[0025] 在一實(shí)施例中，在所述步驟S200中，所述服務(wù)端從上述所有所述編碼碼流中選擇 與所述觀看畫(huà)面Sa相關(guān)的一個(gè)或多個(gè)編碼碼流的方法包括：令集合SB = {S i | Si e SX，S i 是Sa的子區(qū)域或S 3是S i的子區(qū)域或S 1與S a-致或S 1與S a近似}，集合EXB = {Pu | Pu G EX i，Si G SB}，從所述集合EXB中選擇一個(gè)或多個(gè)編碼碼流構(gòu)成編碼碼流的集合 PX ;判斷所述播放終端是否未采用自適應(yīng)碼率協(xié)議，且是否是由所述播放終端指定所述觀 看畫(huà)面Sa，如所述播放終端未采用自適應(yīng)碼率協(xié)議，且是由所述播放終端指定S a，則優(yōu)先從 所述集合EXB中選擇和所述觀看畫(huà)面Sa-致的S i對(duì)應(yīng)的所述編碼碼流集合EX 的一個(gè) 編碼碼流，構(gòu)成所述編碼碼流的集合PX。
[0026] 在一實(shí)施例中，從所述集合EXB中選擇編碼碼流構(gòu)成所述編碼碼流的集合PX，包 括下述3種方法中的一種或多種方法的組合：
[0027] S2011 :選擇所述集合EXB中和所述觀看畫(huà)面Sa-致的畫(huà)面編碼所得到的一個(gè)或 多個(gè)編碼碼流；
[0028] S2012 :設(shè)定所述播放終端的屏幕尺寸和畫(huà)面區(qū)域大小的對(duì)應(yīng)關(guān)系，如果所述服務(wù) 端通過(guò)預(yù)先設(shè)置或播放終端上報(bào)的方式得到播放終端的屏幕尺寸，則依據(jù)所述對(duì)應(yīng)關(guān)系選 擇滿足畫(huà)面區(qū)域大小要求的編碼碼流；
[0029] 播放終端的屏幕尺寸和畫(huà)面區(qū)域大小的對(duì)應(yīng)關(guān)系可采用如下方式進(jìn)行設(shè)定：
[0030] 將播放終端的屏幕尺寸按照大小劃分為若干個(gè)屏幕尺寸區(qū)間，將EXB中編碼碼流 對(duì)應(yīng)的畫(huà)面區(qū)域按照大小劃分為若干個(gè)畫(huà)面大小區(qū)間，將尺寸越大的屏幕尺寸區(qū)間對(duì)應(yīng)畫(huà) 面區(qū)域越大的畫(huà)面大小區(qū)間；
[0031] S2013:如果所述服務(wù)端通過(guò)預(yù)先設(shè)置或播放終端上報(bào)的方式得到所述播放終端 要求的一個(gè)碼率B a，或所述服務(wù)端得到所述播放終端的傳輸帶寬可承受的編碼碼流的一個(gè) 碼率Ba，則從所述集合EXB中碼率等于或低于所述碼率B a的編碼碼流中選擇碼率最高的編 碼碼流；如所述集合EXB中不存在碼率等于或低于所述碼率Ba的編碼碼流，則從所述集合 EXB中選擇碼率最低的編碼碼流。
[0032] 在一實(shí)施例中，在所述S2011中，選擇所述集合EXB中和所述觀看畫(huà)面Sa-致的 畫(huà)面編碼所得到的一個(gè)或多個(gè)編碼碼流，還包括：設(shè)選擇的所述一個(gè)或多個(gè)編碼碼流中碼 率最高的編碼碼流的碼率為B max，選擇所述集合EXB中對(duì)應(yīng)的畫(huà)面范圍包含所述觀看畫(huà)面Sa 的畫(huà)面范圍且碼率高于的編碼碼流。
[0033] 在一實(shí)施例中，在所述S2011中，選擇所述集合EXB中和所述觀看畫(huà)面Sa-致的畫(huà) 面編碼所得到的一個(gè)或多個(gè)編碼碼流，還包括：設(shè)選擇的所述一個(gè)或多個(gè)編碼碼流中碼率 最低的編碼碼流的碼率為，選擇所述集合EXB中對(duì)應(yīng)的畫(huà)面范圍是所述觀看畫(huà)面5 3的 子區(qū)域且碼率低于Bmin的編碼碼流。
[0034] 在一實(shí)施例中，在所述S300中，所述用戶的交互行為包括：縮小或放大當(dāng)前畫(huà)面 范圍，移動(dòng)當(dāng)前畫(huà)面，旋轉(zhuǎn)當(dāng)前畫(huà)面，選擇觀看對(duì)象。縮小當(dāng)前畫(huà)面范圍，即放大當(dāng)前畫(huà)面的 局部畫(huà)面細(xì)節(jié)；放大當(dāng)前畫(huà)面范圍，即縮小當(dāng)前畫(huà)面的局部畫(huà)面細(xì)節(jié)。
[0035] 在一實(shí)施例中，上述用戶的交互行為包括：
[0036] 所述的縮小或放大當(dāng)前畫(huà)面范圍包括：通過(guò)雙指縮放、點(diǎn)擊屏幕、放大鏡、手勢(shì)變 化或語(yǔ)音命令，以屏幕中某個(gè)點(diǎn)為中心縮小或放大當(dāng)前畫(huà)面范圍；
[0037] 所述的移動(dòng)當(dāng)前畫(huà)面包括：通過(guò)拖拽、左、右、上、下、手勢(shì)變化或語(yǔ)音命令，移動(dòng)當(dāng) 前畫(huà)面；
[0038] 所述的旋轉(zhuǎn)當(dāng)前畫(huà)面包括：通過(guò)拖拽、手勢(shì)變化、在屏幕中或n界面中選擇旋轉(zhuǎn) 特定的角度或語(yǔ)音命令，旋轉(zhuǎn)當(dāng)前畫(huà)面；
[0039] 所述的選擇觀看對(duì)象包括：通過(guò)點(diǎn)擊屏幕的操作方式選擇屏幕中的觀看對(duì)象；在 n界面中選擇觀看對(duì)象；通過(guò)語(yǔ)音命令選擇觀看對(duì)象。
[0040] 在一實(shí)施例中，在S400中，如果形成所述播放行為信息PA的交互行為為縮小或放 大當(dāng)前畫(huà)面范圍，則從所述播放行為信息PA中得到縮放中心位置和縮放倍數(shù)，基于當(dāng)前畫(huà) 面、縮放中心位置和縮放倍數(shù)，計(jì)算得到縮放后的所述觀看畫(huà)面范圍UV。
[0041] 在一實(shí)施例中，在S400中，如果形成所述播放行為信息PA的交互行為為移動(dòng)當(dāng)前 畫(huà)面，從所述播放行為信息PA中得到移動(dòng)向量，基于當(dāng)前畫(huà)面、移動(dòng)向量，計(jì)算得到移動(dòng)到 的所述觀看畫(huà)面范圍UV。
[0042] 在一實(shí)施例中，在S400中，如果形成所述播放行為信息PA的交互行為為旋轉(zhuǎn)當(dāng)前 畫(huà)面，從所述播放行為信息PA中得到旋轉(zhuǎn)方向和旋轉(zhuǎn)角度，基于當(dāng)前畫(huà)面、旋轉(zhuǎn)方向和旋 轉(zhuǎn)角度，計(jì)算得到旋轉(zhuǎn)后的所述觀看畫(huà)面范圍UV。
[0043] 在一實(shí)施例中，在所述S500中，所述服務(wù)端基于所述觀看畫(huà)面范圍UV生成所述畫(huà) 面S b的方法為下述四種方法中的一種或多種的組合：
[0044] S501 :若所述觀看畫(huà)面范圍UV和所述畫(huà)面集合SX中的Si相同或近似，則Sb= S i;
[0045] S502 :若所述觀看畫(huà)面范圍UV和所述畫(huà)面集合SX中的Si的一個(gè)子區(qū)域Az畫(huà)面區(qū) 域相同或近似，則sb= A z;
[0046] S503 :所述畫(huà)面集合SX中的Si預(yù)設(shè)了若干子區(qū)域AzQ、Azl、…，若觀看畫(huà)面范圍UV 和所述若干子區(qū)域其中的一個(gè)Ay的畫(huà)面區(qū)域相同或最為近似，則S b= A zj;
[0047] S504 :若所述觀看畫(huà)面范圍UV和所述畫(huà)面集合SX中的多個(gè)畫(huà)面計(jì)算得到的畫(huà)面 S。相同或近似，則Sb= S。。
[0048] 在上述S503中，Si可按四分屏、九分屏、十六分屏等方式劃分為子區(qū)域。
[0049] 在一實(shí)施例中，在所述S400中，從所述播放行為信息PA中獲取用戶選擇的所述觀 看對(duì)象U0的方法包括：
[0050] 設(shè)觀看對(duì)象集合0X = {0。，，…}，所述服務(wù)端生成觀看對(duì)象與所述畫(huà)面集合SX 中元素的對(duì)應(yīng)關(guān)系集合0EX，所述對(duì)應(yīng)關(guān)系集合0EX中的元素可表示為二元組（OpSj)或三 元組（〇i，S」，Cy或三元組（〇i，S」，Aj，其中，k為0 1在S」中的位置，A ^為0 1在S」中的區(qū) 域范圍；
[0051] 其中，通過(guò)人工指定或進(jìn)行特定物體的追蹤識(shí)別，可形成觀看對(duì)象％，，…，觀看 對(duì)象隨時(shí)間的變化可能發(fā)生變化；
[0052] 如果形成所述播放行為信息PA的交互行為為選擇觀看對(duì)象，則PA中可包含選擇 的觀看對(duì)象標(biāo)識(shí)或選擇的觀看對(duì)象在當(dāng)前畫(huà)面中的位置。
[0053] 如果所述播放行為信息PA中包含所述的標(biāo)識(shí)，則U0 = 0 1;或
[0054] 如果所述播放行為信息PA中包含選擇的觀看對(duì)象在當(dāng)前所述觀看畫(huà)面Sa中的位 置C，則：
[0055] 如果所述對(duì)應(yīng)關(guān)系集合0EX中包含三元組（〇i，Sa，Cia)，且C ia和C相差小于一預(yù)定 距離，則U0 = 0i;或如果所述對(duì)應(yīng)關(guān)系集合0EX中包含三元組（0 i，Sa，Aia)，且C位于Aia的 區(qū)域中，則U0 = 〇i。
[0056] 在一實(shí)施例中，在所述S500中，基于所述觀看對(duì)象U0生成所述畫(huà)面Sb的方法包 括：
[0057] 初始化集合SXB為空集；如果所述對(duì)應(yīng)關(guān)系集合0EX中包含二元組（〇i，Sp或如果 所述對(duì)應(yīng)關(guān)系集合0EX中包含三元組（Op S」，Cy或如果所述對(duì)應(yīng)關(guān)系集合0EX中包含三元 組（〇i，S」，A")，且〇i= U0,則SXB = SXB U {S」};從SXB中選擇一個(gè)元素作為所述畫(huà)面Sb。
[0058] 在一實(shí)施例中，在所述S1和所述S2中，還包括：如所述S300中用戶的交互行為是 縮小當(dāng)前畫(huà)面范圍，且未采用自適應(yīng)碼率，若所述集合PX中包含的編碼碼流為P ax，通過(guò)查 找、新增或修改編碼碼流碼率的方法得到一個(gè)編碼碼流Pby，使得所述Pby對(duì)應(yīng)畫(huà)面范圍和所 述畫(huà)面S b-致且所述P by的編碼碼率和所述P ax的編碼碼率一致或相差在一閾值以內(nèi)，將所 述Pby加入所述集合PX并替換所述P ax。
[0059] 在一實(shí)施例中，在所述S1和所述S2中，還包括：如所述S300中用戶的交互行為是 縮小當(dāng)前畫(huà)面范圍，且采用自適應(yīng)碼率，對(duì)所述集合PX中包含的每個(gè)編碼碼流P aj，通過(guò)查 找、新增或修改編碼碼流碼率的方法得到一個(gè)編碼碼流Pw，使得所述Pw對(duì)應(yīng)畫(huà)面范圍是所 述P"_對(duì)應(yīng)畫(huà)面范圍的子區(qū)域且所述P w的編碼碼率和所述P 的編碼碼率一致或相差在一 閾值以內(nèi)，將所述Pw加入所述集合PX并替換所述P aj。
[0060] 在一實(shí)施例中，在所述S600中，基于播放終端對(duì)各編碼碼流的訪問(wèn)情況，還可進(jìn) 一步調(diào)整編碼策略，包括但不限于如下方法：
[0061] 如果訪問(wèn)所述畫(huà)面Si對(duì)應(yīng)的所述編碼碼流集合EX i中的最低碼率編碼碼流的播放 終端個(gè)數(shù)或比例超過(guò)一個(gè)閾值，則調(diào)整SX或SX中各元素對(duì)應(yīng)的編碼碼流，使得存在一個(gè)編 碼碼流，其碼率低于目前所述編碼碼流集合EXi*所有編碼碼流的碼率，且畫(huà)面與S i-致或 為31子區(qū)域；
[0062] 如果訪問(wèn)所述畫(huà)面Si對(duì)應(yīng)的所述編碼碼流集合EX i中的最高碼率編碼碼流的播放 終端個(gè)數(shù)或比例超過(guò)一個(gè)閾值，則調(diào)整SX或SX中各元素對(duì)應(yīng)的編碼碼流，使得存在一個(gè)編 碼碼流，其碼率高于目前所述編碼碼流集合EXi*所有編碼碼流的碼率，且畫(huà)面與S i-致或 包含Si。
[0063] 在一實(shí)施例中，在所述步驟S600中，還可以包括：保持總體編碼開(kāi)銷不超過(guò)服務(wù) 端系統(tǒng)資源允許的上限，在服務(wù)端系統(tǒng)資源較緊張時(shí)，可停止某些沒(méi)有被播放終端訪問(wèn)或 訪問(wèn)量低于某個(gè)閾值的編碼碼流。
[0064] 在一實(shí)施例中，在所述步驟S1中，對(duì)所述SX中的任一畫(huà)面Si及其子區(qū)域畫(huà)面進(jìn) 行編碼時(shí)，生成的多個(gè)編碼碼流的關(guān)鍵幀保持時(shí)間戳對(duì)齊。
[0065] 為了實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例提供一種網(wǎng)絡(luò)視頻畫(huà)面處理裝置，所述的網(wǎng)絡(luò) 視頻畫(huà)面處理裝置包括：
[0066] 編碼單元，用于服務(wù)端對(duì)一個(gè)視頻節(jié)目中的一個(gè)或多個(gè)畫(huà)面編碼，所述視頻節(jié)目 包含不同的觀看范圍對(duì)應(yīng)的不同畫(huà)面S& Si, S2，…，每個(gè)編碼的畫(huà)面Si形成一個(gè)或多個(gè)編碼 碼流pi(l，pn，pi2，…，所述編碼碼流pi(l，p n，pi2…是按照不同參數(shù)進(jìn)行編碼形成的不同的編 碼碼流；
[0067] 播放請(qǐng)求響應(yīng)單元，用于所述服務(wù)端接收并響應(yīng)播放終端對(duì)視頻節(jié)目的播放請(qǐng) 求，所述的播放請(qǐng)求響應(yīng)單元包括：
[0068] 觀看畫(huà)面指定單元，用于所述服務(wù)端接收所述播放終端的播放請(qǐng)求，由所述播放 終端指定觀看畫(huà)面sa或者由所述服務(wù)端指定觀看畫(huà)面s a;
[0069] 碼流選擇單元，用于所述服務(wù)端從上述所有所述編碼碼流中選擇與所述觀看畫(huà)面 sa相關(guān)的一個(gè)或多個(gè)編碼碼流，使所述播放終端播放選出的編碼碼流；
[0070] 播放交互單元，用于所述播放終端在播放過(guò)程中，采集用戶的交互行為，形成播放 行為信息PA，并將所述播放行為信息PA反饋到所述服務(wù)端；
[0071] 觀看范圍和對(duì)象獲取單元，用于所述服務(wù)端判斷是否接收到所述播放行為信息 PA，如果所述服務(wù)端接收到所述播放行為信息PA，則通過(guò)所述播放行為信息PA得到用戶選 擇的觀看畫(huà)面范圍UV或用戶選擇的觀看對(duì)象U0 ;
[0072] 畫(huà)面獲取單元，用于所述服務(wù)端判斷是否獲取到所述觀看畫(huà)面范圍UV或所述觀 看對(duì)象U0,如果所述服務(wù)端判斷獲取到所述觀看畫(huà)面范圍UV或所述觀看對(duì)象U0,則基于所 述觀看畫(huà)面范圍UV或所述觀看對(duì)象U0,得到畫(huà)面S b;判斷所述視頻節(jié)目是否包含畫(huà)面S b， 如果所述視頻節(jié)目不包含畫(huà)面sb，則令所述視頻節(jié)目包含畫(huà)面sb;然后令s a= s b，返回所述 碼流選擇單元、播放交互單元、觀看范圍和對(duì)象獲取單元重復(fù)執(zhí)行上述動(dòng)作。
[0073] 在一實(shí)施例中，所述網(wǎng)絡(luò)視頻畫(huà)面處理裝置中包括：
[0074] 畫(huà)面和編碼碼流調(diào)整單元，用于設(shè)所述視頻節(jié)目包含的畫(huà)面S& Si, S2，…所構(gòu)成的 畫(huà)面集合為SX，SX中的畫(huà)面應(yīng)的編碼碼流P iQ，Pn，Pi2，…所構(gòu)成的編碼碼流集合為EXi; 對(duì)所述畫(huà)面集合SX中的畫(huà)面51生成子區(qū)域畫(huà)面，將所述子區(qū)域畫(huà)面加入所述畫(huà)面集合SX 中；對(duì)所述畫(huà)面集合SX中的所述Si，增加所述編碼碼流集合中的編碼碼流、停止所述編 碼碼流集合中的編碼碼流或修改所述編碼碼流集合EX i中的編碼碼流的編碼參數(shù)。
[0075] 在一實(shí)施例中，碼流選擇單元包括：
[0076] 編碼碼流選擇模塊，用于令集合SB =以| Si G SX，S 1是S a的子區(qū)域或S 3是S』勺 子區(qū)域或51與Sa-致或51與S a近似}，集合EXB = {PijlPijG EX^SiG SB}，從所述集合 EXB中選擇一個(gè)或多個(gè)編碼碼流構(gòu)成編碼碼流的集合PX ;
[0077] 單碼流選擇模塊，用于判斷所述播放終端是否未采用自適應(yīng)碼率協(xié)議，且是否是 由所述播放終端指定所述觀看畫(huà)面S a，如所述播放終端未采用自適應(yīng)碼率協(xié)議，且是由所 述播放終端指定Sa，則優(yōu)先從所述集合EXB中選擇和所述觀看畫(huà)面S a-致的S i對(duì)應(yīng)的所述 編碼碼流集合中的一個(gè)編碼碼流，構(gòu)成所述編碼碼流的集合PX。
[0078] 在一實(shí)施例中，所述用戶的交互行為包括：縮小或放大當(dāng)前畫(huà)面范圍，移動(dòng)當(dāng)前畫(huà) 面，旋轉(zhuǎn)當(dāng)前畫(huà)面，選擇觀看對(duì)象。
[0079] 在一實(shí)施例中，所述畫(huà)面獲取單元包括下述四種模塊中的一種或多種的組合：
[0080] 第一獲取單元，用于若所述觀看畫(huà)面范圍UV和所述畫(huà)面集合SX中的同或近 似，則 sb= si;
[0081] 第二獲取單元，用于若所述觀看畫(huà)面范圍UV和所述畫(huà)面集合SX中的-個(gè)子 區(qū)域Az畫(huà)面區(qū)域相同或近似，則S b= A z;
[0082] 第三獲取單元，用于所述畫(huà)面集合SX中的Si預(yù)設(shè)了若干子區(qū)域AzQ、A zl、…，若觀 看畫(huà)面范圍UV和所述若干子區(qū)域其中的一個(gè)Ad的畫(huà)面區(qū)域相同或最為近似，則S b= A zj;
[0083] 第四獲取單元，用于若所述觀看畫(huà)面范圍UV和所述畫(huà)面集合SX中的多個(gè)畫(huà)面計(jì) 算得到的畫(huà)面S。相同或近似，則S b= S。。
[0084] 在一實(shí)施例中，所述的網(wǎng)絡(luò)視頻畫(huà)面處理裝置還包括：第一替換單元，用于如所述 用戶的交互行為是縮小當(dāng)前畫(huà)面范圍，未采用自適應(yīng)碼率，且所述集合PX中包含的編碼碼 流為p ax，通過(guò)查找、新增或修改編碼碼流碼率的方法得到一個(gè)編碼碼流pby，使得所述pby對(duì) 應(yīng)畫(huà)面范圍和所述畫(huà)面s b-致且所述P by的編碼碼率和所述P ax的編碼碼率一致或相差在 一閾值以內(nèi)，將所述Pby加入所述集合PX并替換所述P ax。
[0085] 在一實(shí)施例中，所述的網(wǎng)絡(luò)視頻畫(huà)面處理裝置還包括：第二替換單元，用于如所述 用戶的交互行為是縮小當(dāng)前畫(huà)面范圍，且采用自適應(yīng)碼率，對(duì)所述集合PX中包含的每個(gè)編 碼碼流P#通過(guò)查找、新增或修改編碼碼流碼率的方法得到一個(gè)編碼碼流p w，使得所述pbj 對(duì)應(yīng)畫(huà)面范圍是所述p"_對(duì)應(yīng)畫(huà)面范圍的子區(qū)域且所述p w的編碼碼率和所述P 的編碼碼 率一致或相差在一閾值以內(nèi)，將所述Pw加入所述集合PX并替換所述P aj。
[0086] 本發(fā)明實(shí)施例的有益效果在于，本發(fā)明將播放、分發(fā)與編碼相結(jié)合，使得在服務(wù)端 資源有限、播放終端資源有限的情況下，隨著用戶對(duì)觀看視頻畫(huà)面的選擇，依然可保證畫(huà)面 的觀看質(zhì)量；同時(shí)，本發(fā)明可和自適應(yīng)碼率技術(shù)相結(jié)合，使得產(chǎn)生的新編碼碼流可自動(dòng)適配 不同播放終端的不同網(wǎng)絡(luò)帶寬和播放能力；本發(fā)明還可預(yù)先設(shè)置有限的視頻畫(huà)面，用戶交 互后選擇的視頻畫(huà)面與預(yù)先設(shè)置的視頻畫(huà)面進(jìn)行匹配，可避免新產(chǎn)生過(guò)多視頻畫(huà)面而導(dǎo)致 的計(jì)算資源占用過(guò)多。
【專利附圖】
【附圖說(shuō)明】
[0087] 為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本 發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可 以根據(jù)這些附圖獲得其他的附圖。
[0088] 圖1為本發(fā)明實(shí)施例中用于提高畫(huà)面效果的網(wǎng)絡(luò)視頻畫(huà)面處理方法的流程圖；
[0089] 圖2為本發(fā)明實(shí)施例中服務(wù)端接收并響應(yīng)播放終端對(duì)視頻節(jié)目的播放請(qǐng)求的方 法流程圖；
[0090] 圖3為本發(fā)明實(shí)施例中畫(huà)面Si及其子區(qū)域示意圖；
[0091] 圖4為本發(fā)明實(shí)施例中用于提高畫(huà)面效果的網(wǎng)絡(luò)視頻畫(huà)面處理裝置的結(jié)構(gòu)框圖；
[0092] 圖5為本發(fā)明實(shí)施例中播放請(qǐng)求響應(yīng)單元的結(jié)構(gòu)框圖；
[0093] 圖6為本發(fā)明實(shí)施例中畫(huà)面獲取單元的結(jié)構(gòu)框圖。
【具體實(shí)施方式】
[0094] 下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完 整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；?本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他 實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0095] 如圖1所示，本發(fā)明實(shí)施例提供了一種提高畫(huà)面效果的網(wǎng)絡(luò)視頻畫(huà)面處理方法， 所述的網(wǎng)絡(luò)視頻畫(huà)面處理方法包括：
[0096] SI :服務(wù)端對(duì)一個(gè)視頻節(jié)目中的一個(gè)或多個(gè)畫(huà)面編碼，所述視頻節(jié)目包含不同 的觀看范圍對(duì)應(yīng)的不同畫(huà)面、Sp S2，…，每個(gè)編碼的畫(huà)面Si形成一個(gè)或多個(gè)編碼碼流 PiO, Pu，Pi2，…，所述編碼碼流PiO, Pu，Pi2…是按照不同參數(shù)進(jìn)行編碼形成的不同的編碼碼 流；
[0097] S2 :所述服務(wù)端接收并響應(yīng)播放終端對(duì)視頻節(jié)目的播放請(qǐng)求，如圖2所示，S2包括 如下步驟：
[0098] S100 :所述服務(wù)端接收所述播放終端的播放請(qǐng)求，由所述播放終端指定觀看畫(huà)面 Sa或者由所述服務(wù)端指定觀看畫(huà)面s a;
[0099] S200 :所述服務(wù)端從上述所有所述編碼碼流中選擇與所述觀看畫(huà)面Sa相關(guān)的一個(gè) 或多個(gè)編碼碼流，使所述播放終端播放選出的編碼碼流；
[0100] S300:所述播放終端在播放過(guò)程中，采集用戶的交互行為，形成播放行為信息PA， 并將所述播放行為信息PA反饋到所述服務(wù)端；
[0101] S400 :所述服務(wù)端判斷是否接收到所述播放行為信息PA，如果所述服務(wù)端接收到 所述播放行為信息PA，則通過(guò)所述播放行為信息PA得到用戶選擇的觀看畫(huà)面范圍UV或用 戶選擇的觀看對(duì)象U0 ;
[0102] S500 :所述服務(wù)端判斷是否獲取到所述觀看畫(huà)面范圍UV或所述觀看對(duì)象U0,如果 所述服務(wù)端判斷獲取到所述觀看畫(huà)面范圍UV或所述觀看對(duì)象U0,則基于所述觀看畫(huà)面范 圍UV或所述觀看對(duì)象U0,得到畫(huà)面s b;判斷所述視頻節(jié)目是否包含畫(huà)面s b，如果所述視頻 節(jié)目不包含畫(huà)面sb，則令所述視頻節(jié)目包含畫(huà)面Sb;然后令S a= Sb，返回步驟S200。
[0103] 上述S1和S2之間可并行執(zhí)行或串行執(zhí)行。
[0104] 上述S2在運(yùn)行過(guò)程中可對(duì)S1的執(zhí)行方式進(jìn)行調(diào)整，調(diào)整包括：所述視頻節(jié)目包含 哪些畫(huà)面、編碼哪些畫(huà)面、畫(huà)面的編碼參數(shù)等；上述S2運(yùn)行過(guò)程中，服務(wù)端可同時(shí)響應(yīng)多個(gè) 播放終端的播放請(qǐng)求。
[0105] 在所述S1中，所述視頻節(jié)目包含的不同畫(huà)面可通過(guò)采集不同觀看范圍的信號(hào)源 產(chǎn)生。
[0106] 在所述S1和所述S2中，所述視頻節(jié)目包含的畫(huà)面的位置、方向和角度可以是固定 的，也可以是動(dòng)態(tài)變化的。
[0107] 在一實(shí)施例中，本發(fā)明實(shí)施例的網(wǎng)絡(luò)視頻畫(huà)面處理方法還包括：
[0108] S600 :設(shè)所述視頻節(jié)目包含的不同畫(huà)面SQ，Si，S2，…所構(gòu)成的畫(huà)面集合為SX，SX中 的畫(huà)面應(yīng)的編碼碼流P i(l，Pn，Pi2，…所構(gòu)成的編碼碼流集合為EXi;對(duì)所述畫(huà)面集合SX 中的畫(huà)面3 1生成子區(qū)域畫(huà)面，將所述子區(qū)域畫(huà)面加入所述畫(huà)面集合SX中；對(duì)所述畫(huà)面集合 SX中的所述Si，增加所述編碼碼流集合中的編碼碼流、停止所述編碼碼流集合EX 1中的 編碼碼流或修改所述編碼碼流集合中的編碼碼流的編碼參數(shù)。
[0109] 在所述S1和所述S2中，畫(huà)面其子區(qū)域如圖3所示。
[0110] 在所述S1和所述S2中，可定義SX中每個(gè)元素Si在同一個(gè)平面上進(jìn)行投影的畫(huà)面 范圍為一個(gè)矩形區(qū)域REi，設(shè)水平向右為橫坐標(biāo)的正方向，垂直向下為縱坐標(biāo)的正方向，REi 可以用四元組或其他等價(jià)方式來(lái)表示，其中 ：
[0111] Q =為畫(huà)面范圍的左上角橫坐標(biāo)；
[0112] 凡=為畫(huà)面范圍的左上角縱坐標(biāo)；
[0113] 氏=為畫(huà)面范圍的右下角橫坐標(biāo)；
[0114] Bi =為畫(huà)面范圍的右下角縱坐標(biāo)；
[0115] 在所述步驟S1中，對(duì)視頻節(jié)目的畫(huà)面集合SX中的一個(gè)或多個(gè)元素進(jìn)行編碼的方 法包括：
[0116] 1)如需要編碼的31是所述畫(huà)面集合SX中的元素5」的一個(gè)子區(qū)域A」，且Sj已經(jīng)在 編碼，則對(duì)EX」中的編碼碼流P >進(jìn)行解碼，并對(duì)解碼后數(shù)據(jù)中的區(qū)域?進(jìn)行編碼?？刹捎?如下具體方法：
[0117] 查找SX，對(duì)其中的任一不同于Si的元素S」，如果EX」非空，則如果1^> = L」且T， =1且R ' = &且B ' = ，則S」的子區(qū)域，設(shè)為A j;如找到多個(gè)符合條件的子區(qū)域， 則可基于REJP RE」的近似程度或S」對(duì)應(yīng)的EX」中包含的最高碼率碼流的碼率高低或EX」 中包含的最高分辨率碼流的分辨率高低或其他規(guī)則選擇其中之一。如找到?，則可基于碼 率最高或分辨率最高或其他規(guī)則選擇EX」中的某個(gè)編碼碼流P >，對(duì)P#進(jìn)行解碼，并對(duì)解碼 后數(shù)據(jù)中的區(qū)域?進(jìn)行編碼。
[0118] 2)如需要編碼的Si可通過(guò)所述畫(huà)面集合SX的其中一個(gè)子集SXA中的元素計(jì)算得 至IJ，且這些元素已經(jīng)在編碼，則對(duì)SXA中每個(gè)元素S/萬(wàn)對(duì)應(yīng)的EX」中的編碼碼流P jx進(jìn)行解 碼，并對(duì)所有解碼后的數(shù)據(jù)進(jìn)行計(jì)算以形成所述Si的畫(huà)面數(shù)據(jù)，再對(duì)所述S 1進(jìn)行編碼。對(duì) 多個(gè)畫(huà)面進(jìn)行計(jì)算的具體方法可采用常用的圖像拼接算法，通常包括圖像配準(zhǔn)、建立變換 模型、統(tǒng)一坐標(biāo)變換、圖像融合等步驟，本發(fā)明不以此為限。
[0119] 在一實(shí)施例中，在所述步驟S1中，在編碼時(shí)，可合入音頻信息，形成完整的音視頻 編碼碼流。
[0120] 在一實(shí)施例中，在所述步驟S200中，若選出的編碼碼流為純視頻碼流，可將音頻 碼流合并到輸出的編碼碼流后再發(fā)送給播放終端。
[0121] 在一實(shí)施例中，所述步驟S200還包括：如所述播放終端不采用自適應(yīng)碼率協(xié)議進(jìn) 行播放，服務(wù)端從所有編碼碼流中選擇與s a相關(guān)的一個(gè)編碼碼流，使所述播放終端播放該 編碼碼流；如所述播放終端采用自適應(yīng)碼率協(xié)議進(jìn)行播放，服務(wù)端從所有編碼碼流中選擇 與s a相關(guān)的一個(gè)或多個(gè)編碼碼流構(gòu)成選出的編碼碼流的集合PX，將所述集合PX對(duì)應(yīng)的碼 流索引信息IPX傳送給所述的播放終端，使所述播放終端播放所述集合PX中的編碼碼流。
[0122] 在一實(shí)施例中，在所述步驟S200中，所述服務(wù)端從上述所有所述編碼碼流中選擇 與所述觀看畫(huà)面sa相關(guān)的一個(gè)或多個(gè)編碼碼流的方法包括：令集合SB = {S i I Si e SX，S i 是Sa的子區(qū)域或S 3是S i的子區(qū)域或S 1與S a-致或S 1與S a近似}，集合EXB = {Pu | Pu G EX i，Si G SB}，從所述集合EXB中選擇一個(gè)或多個(gè)編碼碼流構(gòu)成編碼碼流的集合 PX ;判斷所述播放終端是否未采用自適應(yīng)碼率協(xié)議，且是否是由所述播放終端指定所述觀 看畫(huà)面Sa，如所述播放終端未采用自適應(yīng)碼率協(xié)議，且是由所述播放終端指定S a，則優(yōu)先從 所述集合EXB中選擇和所述觀看畫(huà)面Sa-致的S i對(duì)應(yīng)的所述編碼碼流集合EX 的一個(gè) 編碼碼流，構(gòu)成所述編碼碼流的集合PX。
[0123] 上述從所述集合EXB中選擇編碼碼流構(gòu)成所述編碼碼流的集合PX，包括下述3種 方法中的一種或多種方法的組合：
[0124] S2011 :選擇所述集合EXB中和所述觀看畫(huà)面Sa-致的畫(huà)面編碼所得到的一個(gè)或 多個(gè)編碼碼流；
[0125] S2012 :設(shè)定所述播放終端的屏幕尺寸和畫(huà)面區(qū)域大小的對(duì)應(yīng)關(guān)系，如果所述服務(wù) 端通過(guò)預(yù)先設(shè)置或播放終端上報(bào)的方式得到播放終端的屏幕尺寸，則依據(jù)所述對(duì)應(yīng)關(guān)系選 擇滿足畫(huà)面區(qū)域大小要求的編碼碼流；
[0126] 播放終端的屏幕尺寸和畫(huà)面區(qū)域大小的對(duì)應(yīng)關(guān)系可采用如下方式進(jìn)行設(shè)定：
[0127] 將播放終端的屏幕尺寸按照大小劃分為若干個(gè)屏幕尺寸區(qū)間，將EXB中編碼碼流 對(duì)應(yīng)的畫(huà)面區(qū)域按照大小劃分為若干個(gè)畫(huà)面大小區(qū)間，將尺寸越大的屏幕尺寸區(qū)間對(duì)應(yīng)畫(huà) 面區(qū)域越大的畫(huà)面大小區(qū)間；
[0128] S2013:如果所述服務(wù)端通過(guò)預(yù)先設(shè)置或播放終端上報(bào)的方式得到所述播放終端 要求的一個(gè)碼率B a，或所述服務(wù)端得到所述播放終端的傳輸帶寬可承受的編碼碼流的一個(gè) 碼率Ba，則從所述集合EXB中碼率等于或低于所述碼率B a的編碼碼流中選擇碼率最高的編 碼碼流；如所述集合EXB中不存在碼率等于或低于所述碼率Ba的編碼碼流，則從所述集合 EXB中選擇碼率最低的編碼碼流。
[0129] 在一實(shí)施例中，所述S2011中，選擇所述集合EXB中和所述觀看畫(huà)面Sa-致的畫(huà)面 編碼所得到的一個(gè)或多個(gè)編碼碼流，還包括：設(shè)選擇的所述一個(gè)或多個(gè)編碼碼流中碼率最 高的編碼碼流的碼率為，選擇所述集合EXB中對(duì)應(yīng)的畫(huà)面范圍包含所述觀看畫(huà)面&的 畫(huà)面范圍且碼率高于的編碼碼流。
[0130] 在一實(shí)施例中，所述S2011中，選擇所述集合EXB中和所述觀看畫(huà)面Sa-致的畫(huà) 面編碼所得到的一個(gè)或多個(gè)編碼碼流，還包括：設(shè)選擇的所述一個(gè)或多個(gè)編碼碼流中碼率 最低的編碼碼流的碼率為，選擇所述集合EXB中對(duì)應(yīng)的畫(huà)面范圍是所述觀看畫(huà)面5 3的 子區(qū)域且碼率低于Bmin的編碼碼流。
[0131] 在一實(shí)施例中，圖2的所述S300中，所述用戶的交互行為包括：縮小或放大當(dāng)前畫(huà) 面范圍，移動(dòng)當(dāng)前畫(huà)面，旋轉(zhuǎn)當(dāng)前畫(huà)面，選擇觀看對(duì)象?？s小當(dāng)前畫(huà)面范圍，即放大當(dāng)前畫(huà)面 的局部畫(huà)面細(xì)節(jié)；放大當(dāng)前畫(huà)面范圍，即縮小當(dāng)前畫(huà)面的局部畫(huà)面細(xì)節(jié)。
[0132] 在一實(shí)施例中，上述用戶的交互行為包括：
[0133] 所述的縮小或放大當(dāng)前畫(huà)面范圍包括：通過(guò)雙指縮放、點(diǎn)擊屏幕、放大鏡、手勢(shì)變 化或語(yǔ)音命令，以屏幕中某個(gè)點(diǎn)為中心縮小或放大當(dāng)前畫(huà)面范圍；
[0134] 所述的移動(dòng)當(dāng)前畫(huà)面包括：通過(guò)拖拽、左、右、上、下、手勢(shì)變化或語(yǔ)音命令，移動(dòng)當(dāng) 前畫(huà)面；
[0135] 所述的旋轉(zhuǎn)當(dāng)前畫(huà)面包括：通過(guò)拖拽、手勢(shì)變化、在屏幕中或n界面中選擇旋轉(zhuǎn) 特定的角度或語(yǔ)音命令，旋轉(zhuǎn)當(dāng)前畫(huà)面；
[0136] 所述的選擇觀看對(duì)象包括：通過(guò)點(diǎn)擊屏幕的操作方式選擇屏幕中的觀看對(duì)象；在 n界面中選擇觀看對(duì)象；通過(guò)語(yǔ)音命令選擇觀看對(duì)象。
[0137] 在一實(shí)施例中，在圖2所示的S400中，如果形成所述播放行為信息PA的交互行為 為縮小或放大當(dāng)前畫(huà)面范圍，則從所述播放行為信息PA中得到縮放中心位置和縮放倍數(shù)， 基于當(dāng)前畫(huà)面、縮放中心位置和縮放倍數(shù)，計(jì)算得到縮放后的所述觀看畫(huà)面范圍UV。
[0138] 上述計(jì)算得到縮放后的所述觀看畫(huà)面范圍UV具體可采用如下方法：
[0139] 1)從PA中得到縮放中心位置CP和縮放倍數(shù)CR ;
[0140] 其中，
[0141] CP為縮放中心坐標(biāo)，定義為（CPX，CPY)。
[0142] CR為縮放倍數(shù)，即縮放后的目標(biāo)畫(huà)面范圍寬度和當(dāng)前畫(huà)面范圍寬度的比例，可通 過(guò)雙指縮放的手指移動(dòng)距離或點(diǎn)擊屏幕次數(shù)、點(diǎn)擊放大鏡次數(shù)等方式得到。
[0143] 2)基于當(dāng)前畫(huà)面應(yīng)的矩形區(qū)域REa= 〇^，?。粵r成)，計(jì)算得到目標(biāo)畫(huà)面范 圍：
[0144]
【權(quán)利要求】
1. 一種網(wǎng)絡(luò)視頻畫(huà)面處理方法，其特征在于，所述的網(wǎng)絡(luò)視頻畫(huà)面處理方法包括： 51 ;服務(wù)端對(duì)一個(gè)視頻節(jié)目中的一個(gè)或多個(gè)畫(huà)面編碼，所述視頻節(jié)目包含不同的 觀看范圍對(duì)應(yīng)的不同畫(huà)面Su，Si，S2,…，每個(gè)編碼的畫(huà)面Si形成一個(gè)或多個(gè)編碼碼流 Pi。，Pu，Pi2,…，所述編碼碼流Pi。，Pu，Pc…是按照不同參數(shù)進(jìn)行編碼形成的不同的編碼碼 流； 52 ;所述服務(wù)端接收并響應(yīng)播放終端對(duì)視頻節(jié)目的播放請(qǐng)求，包括如下步驟： S100 ;所述服務(wù)端接收所述播放終端的播放請(qǐng)求，由所述播放終端指定觀看畫(huà)面S?；?者由所述服務(wù)端指定觀看畫(huà)面S。； S200 ;所述服務(wù)端從上述所有所述編碼碼流中選擇與所述觀看畫(huà)面S。相關(guān)的一個(gè)或多 個(gè)編碼碼流，使所述播放終端播放選出的編碼碼流； S300 ;所述播放終端在播放過(guò)程中，采集用戶的交互行為，形成播放行為信息PA，并將 所述播放行為信息PA反饋到所述服務(wù)端； S400;所述服務(wù)端判斷是否接收到所述播放行為信息PA，如果所述服務(wù)端接收到所述 播放行為信息PA，則通過(guò)所述播放行為信息PA得到用戶選擇的觀看畫(huà)面范圍UV或用戶選 擇的觀看對(duì)象U0; S500;所述服務(wù)端判斷是否獲取到所述觀看畫(huà)面范圍UV或所述觀看對(duì)象U0,如果所述 服務(wù)端判斷獲取到所述觀看畫(huà)面范圍UV或所述觀看對(duì)象U0,則基于所述觀看畫(huà)面范圍UV 或所述觀看對(duì)象U0,得到畫(huà)面Sb;判斷所述視頻節(jié)目是否包含畫(huà)面Sb，如果所述視頻節(jié)目不 包含畫(huà)面Sb，則令所述視頻節(jié)目包含畫(huà)面Sb;然后令Sg=Sb，返回步驟S200。
2. 根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)視頻畫(huà)面處理方法，其特征在于，所述網(wǎng)絡(luò)視頻畫(huà)面處 理方法還包括： 設(shè)所述視頻節(jié)目包含的畫(huà)面S。，Si，S2,…所構(gòu)成的畫(huà)面集合為SX，SX中的畫(huà)面Si對(duì)應(yīng) 的編碼碼流Pi。，P。，Pi2,…所構(gòu)成的編碼碼流集合為EXi;對(duì)所述畫(huà)面集合SX中的畫(huà)面Si生 成子區(qū)域畫(huà)面，將所述子區(qū)域畫(huà)面加入所述畫(huà)面集合SX中；對(duì)所述畫(huà)面集合SX中的所述 Si,增加所述編碼碼流集合EXi中的編碼碼流、停止所述編碼碼流集合EXi中的編碼碼流或 修改所述編碼碼流集合EXi中的編碼碼流的編碼參數(shù)。
3. 根據(jù)權(quán)利要求2所述的網(wǎng)絡(luò)視頻畫(huà)面處理方法，其特征在于，在所述步驟S200中，所 述服務(wù)端從上述所有所述編碼碼流中選擇與所述觀看畫(huà)面S。相關(guān)的一個(gè)或多個(gè)編碼碼流 的方法包括；令集合SB=咕ISiGSX，Si是Sa的子區(qū)域或Sa是Si的子區(qū)域或Si與Sa- 致或Si與Sa近似}，集合EXB=巧UIPuGEX。SiGSB}，從所述集合EXB中選擇一個(gè)或多 個(gè)編碼碼流構(gòu)成編碼碼流的集合PX;判斷所述播放終端是否未采用自適應(yīng)碼率協(xié)議，且是 否是由所述播放終端指定所述觀看畫(huà)面S。，如所述播放終端未采用自適應(yīng)碼率協(xié)議，且是 由所述播放終端指定S。，則優(yōu)先從所述集合EXB中選擇和所述觀看畫(huà)面S。一致的Si對(duì)應(yīng)的 所述編碼碼流集合EXi中的一個(gè)編碼碼流，構(gòu)成所述編碼碼流的集合PX。
4. 根據(jù)權(quán)利要求3所述的網(wǎng)絡(luò)視頻畫(huà)面處理方法，其特征在于，從所述集合EXB中選擇 編碼碼流構(gòu)成所述編碼碼流的集合PX，包括下述3種方法中的一種或多種方法的組合： 52011 ;選擇所述集合EXB中和所述觀看畫(huà)面S。一致的畫(huà)面編碼所得到的一個(gè)或多個(gè) 編碼碼流； 52012 ;設(shè)定所述播放終端的屏幕尺寸和畫(huà)面區(qū)域大小的對(duì)應(yīng)關(guān)系，如果所述服務(wù)端通 過(guò)預(yù)先設(shè)置或播放終端上報(bào)的方式得到播放終端的屏幕尺寸，則依據(jù)所述對(duì)應(yīng)關(guān)系選擇滿 足畫(huà)面區(qū)域大小要求的編碼碼流； S2013 ;如果所述服務(wù)端通過(guò)預(yù)先設(shè)置或播放終端上報(bào)的方式得到所述播放終端要求 的一個(gè)碼率B。，或所述服務(wù)端得到所述播放終端的傳輸帶寬可承受的編碼碼流的一個(gè)碼率 B。，則從所述集合EXB中碼率等于或低于所述碼率氏的編碼碼流中選擇碼率最高的編碼碼 流；如所述集合EXB中不存在碼率等于或低于所述碼率B。的編碼碼流，則從所述集合EXB中 選擇碼率最低的編碼碼流。
5. 根據(jù)權(quán)利要求4所述的網(wǎng)絡(luò)視頻畫(huà)面處理方法，其特征在于，在所述S2011中，選擇 所述集合EXB中和所述觀看畫(huà)面S。一致的畫(huà)面編碼所得到的一個(gè)或多個(gè)編碼碼流，還包 括；設(shè)選擇的所述一個(gè)或多個(gè)編碼碼流中碼率最高的編碼碼流的碼率為Bm"，選擇所述集合 EXB中對(duì)應(yīng)的畫(huà)面范圍包含所述觀看畫(huà)面S。的畫(huà)面范圍且碼率高于Bm"的編碼碼流。
6. 根據(jù)權(quán)利要求4所述的網(wǎng)絡(luò)視頻畫(huà)面處理方法，其特征在于， 在所述S2011中，選擇所述集合EXB中和所述觀看畫(huà)面S。一致的畫(huà)面編碼所得到的一 個(gè)或多個(gè)編碼碼流，還包括；設(shè)選擇的所述一個(gè)或多個(gè)編碼碼流中碼率最低的編碼碼流的 碼率為Bmi。，選擇所述集合EXB中對(duì)應(yīng)的畫(huà)面范圍是所述觀看畫(huà)面S。的子區(qū)域且碼率低于 Bmi。的編碼碼流。
7. 根據(jù)權(quán)利要求3所述的網(wǎng)絡(luò)視頻畫(huà)面處理方法，其特征在于， 在所述S300中，所述用戶的交互行為包括：縮小或放大當(dāng)前畫(huà)面范圍，移動(dòng)當(dāng)前畫(huà)面， 旋轉(zhuǎn)當(dāng)前畫(huà)面，選擇觀看對(duì)象。
8. 根據(jù)權(quán)利要求7所述的網(wǎng)絡(luò)視頻畫(huà)面處理方法，其特征在于，所述用戶的交互行為 包括： 所述的縮小或放大當(dāng)前畫(huà)面范圍包括：通過(guò)雙指縮放、點(diǎn)擊屏幕、放大鏡、手勢(shì)變化或 語(yǔ)音命令，W屏幕中某個(gè)點(diǎn)為中也縮小或放大當(dāng)前畫(huà)面范圍； 所述的移動(dòng)當(dāng)前畫(huà)面包括：通過(guò)拖拽、左、右、上、下、手勢(shì)變化或語(yǔ)音命令，移動(dòng)當(dāng)前畫(huà) 面； 所述的旋轉(zhuǎn)當(dāng)前畫(huà)面包括：通過(guò)拖拽、手勢(shì)變化、在屏幕中或UI界面中選擇旋轉(zhuǎn)特定 的角度或語(yǔ)音命令，旋轉(zhuǎn)當(dāng)前畫(huà)面； 所述的選擇觀看對(duì)象包括；通過(guò)點(diǎn)擊屏幕的操作方式選擇屏幕中的觀看對(duì)象；在UI界 面中選擇觀看對(duì)象；通過(guò)語(yǔ)音命令選擇觀看對(duì)象。
9. 根據(jù)權(quán)利要求2所述的網(wǎng)絡(luò)視頻畫(huà)面處理方法，其特征在于，在所述S500中，所述服 務(wù)端基于所述觀看畫(huà)面范圍UV生成所述畫(huà)面Sb的方法為下述四種方法中的一種或多種的 組合： 5501 ;若所述觀看畫(huà)面范圍UV和所述畫(huà)面集合SX中的Si相同或近似，則Sb=Si; 5502 ;若所述觀看畫(huà)面范圍UV和所述畫(huà)面集合SX中的Si的一個(gè)子區(qū)域A,畫(huà)面區(qū)域相 同或近似，則Sb=AZ; 5503 ;所述畫(huà)面集合SX中的Si預(yù)設(shè)了若干子區(qū)域A,。、A,i、…，若觀看畫(huà)面范圍UV和 所述若干子區(qū)域其中的一個(gè)Ad的畫(huà)面區(qū)域相同或最為近似，則Sb=Ad; 5504 ;若所述觀看畫(huà)面范圍UV和所述畫(huà)面集合SX中的多個(gè)畫(huà)面計(jì)算得到的畫(huà)面S。相 同或近似，則Sb=S。。
10. 根據(jù)權(quán)利要求2所述的網(wǎng)絡(luò)視頻畫(huà)面處理方法，其特征在于，在所述S400中，從所 述播放行為信息PA中獲取用戶選擇的所述觀看對(duì)象UO的方法包括： 設(shè)觀看對(duì)象集合OX= (0。，〇1，…}，所述服務(wù)端生成觀看對(duì)象與所述畫(huà)面集合SX中元 素的對(duì)應(yīng)關(guān)系集合0EX，所述對(duì)應(yīng)關(guān)系集合0EX中的元素可表示為二元組（〇i，Sj.)或H元組 腳，苗，C。.）或立元組腳，苗，A。.)，其中，C。.為0i在SJ中的位置，AU為0i在SJ中的區(qū)域范 圍； 如果所述播放行為信息PA中包含所述〇i的標(biāo)識(shí)，則U0 = 0 或 如果所述播放行為信息PA中包含選擇的觀看對(duì)象在當(dāng)前所述觀看畫(huà)面S。中的位置C， 則： 如果所述對(duì)應(yīng)關(guān)系集合0EX中包含H元組腳，S。，CJ，且Ch和C相差小于一預(yù)定距 離，則U0 = 〇i;或如果所述對(duì)應(yīng)關(guān)系集合0EX中包含H元組（0。S。，AJ，且C位于Aid的區(qū) 域中，則U0 = 〇1。
11. 根據(jù)權(quán)利要求10所述的網(wǎng)絡(luò)視頻畫(huà)面處理方法，其特征在于，在所述S500中，基于 所述觀看對(duì)象U0生成所述畫(huà)面Sb的方法包括： 初始化集合SXB為空集；如果所述對(duì)應(yīng)關(guān)系集合0EX中包含二元組（〇1，Sp或如果所 述對(duì)應(yīng)關(guān)系集合0EX中包含H元組（0。Sj，Cy)或如果所述對(duì)應(yīng)關(guān)系集合0EX中包含H元組 腳，Sj,A。.），且〇i=U0,則SXB=SXBU怯j};從SXB中選擇一個(gè)元素作為所述畫(huà)面Sb。
12. 根據(jù)權(quán)利要求7所述的網(wǎng)絡(luò)視頻畫(huà)面處理方法，其特征在于， 在所述S1和所述S2中，還包括；如所述S300中用戶的交互行為是縮小當(dāng)前畫(huà)面范圍， 且未采用自適應(yīng)碼率，若所述集合PX中包含的編碼碼流為P"，通過(guò)查找、新增或修改編碼 碼流碼率的方法得到一個(gè)編碼碼流Pby，使得所述Pby對(duì)應(yīng)畫(huà)面范圍和所述畫(huà)面Sb-致且所 述Pby的編碼碼率和所述P的編碼碼率一致或相差在一闊值W內(nèi)，將所述Pby加入所述集合 PX并替換所述P"。
13. 根據(jù)權(quán)利要求7所述的網(wǎng)絡(luò)視頻畫(huà)面處理方法，其特征在于， 在所述S1和所述S2中，還包括；如所述S300中用戶的交互行為是縮小當(dāng)前畫(huà)面范圍， 且采用自適應(yīng)碼率，對(duì)所述集合PX中包含的每個(gè)編碼碼流Pgj.，通過(guò)查找、新增或修改編碼 碼流碼率的方法得到一個(gè)編碼碼流Pw，使得所述Pw對(duì)應(yīng)畫(huà)面范圍是所述PaPt應(yīng)畫(huà)面范圍 的子區(qū)域且所述Pw的編碼碼率和所述Paj的編碼碼率一致或相差在一闊值W內(nèi)，將所述PW 加入所述集合PX并替換所述Pgj。
14. 根據(jù)權(quán)利要求2所述的網(wǎng)絡(luò)視頻畫(huà)面處理方法，其特征在于， 如果訪問(wèn)所述畫(huà)面Si對(duì)應(yīng)的所述編碼碼流集合EXi中的最低碼率編碼碼流的播放終端 個(gè)數(shù)或比例超過(guò)一個(gè)闊值，則調(diào)整SX或SX中各元素對(duì)應(yīng)的編碼碼流，使得存在一個(gè)編碼碼 流，其碼率低于目前所述編碼碼流集合EXi中所有編碼碼流的碼率，且畫(huà)面與Si-致或?yàn)镾i 子區(qū)域； 如果訪問(wèn)所述畫(huà)面Si對(duì)應(yīng)的所述編碼碼流集合EXi中的最高碼率編碼碼流的播放終端 個(gè)數(shù)或比例超過(guò)一個(gè)闊值，則調(diào)整SX或SX中各元素對(duì)應(yīng)的編碼碼流，使得存在一個(gè)編碼碼 流，其碼率高于目前所述編碼碼流集合EXi中所有編碼碼流的碼率，且畫(huà)面與Si-致或包含 Si。
15. -種網(wǎng)絡(luò)視頻畫(huà)面處理裝置，其特征在于，所述的網(wǎng)絡(luò)視頻畫(huà)面處理裝置包括： 編碼單元，用于服務(wù)端對(duì)一個(gè)視頻節(jié)目中的一個(gè)或多個(gè)畫(huà)面編碼，所述視頻節(jié)目包含 不同的觀看范圍對(duì)應(yīng)的不同畫(huà)面Su，Si，S2,…，每個(gè)編碼的畫(huà)面Si形成一個(gè)或多個(gè)編碼碼流 Pi。，Pu，Pi2,…，所述編碼碼流Pi。，Pu，Pc…是按照不同參數(shù)進(jìn)行編碼形成的不同的編碼碼 流； 播放請(qǐng)求響應(yīng)單元，用于所述服務(wù)端接收并響應(yīng)播放終端對(duì)視頻節(jié)目的播放請(qǐng)求，所 述的播放請(qǐng)求響應(yīng)單元包括： 觀看畫(huà)面指定單元，用于所述服務(wù)端接收所述播放終端的播放請(qǐng)求，由所述播放終端 指定觀看畫(huà)面S?；蛘哂伤龇?wù)端指定觀看畫(huà)面S 碼流選擇單元，用于所述服務(wù)端從上述所有所述編碼碼流中選擇與所述觀看畫(huà)面S。相 關(guān)的一個(gè)或多個(gè)編碼碼流，使所述播放終端播放選出的編碼碼流； 播放交互單元，用于所述播放終端在播放過(guò)程中，采集用戶的交互行為，形成播放行為 信息PA，并將所述播放行為信息PA反饋到所述服務(wù)端； 觀看范圍和對(duì)象獲取單元，用于所述服務(wù)端判斷是否接收到所述播放行為信息PA，女口 果所述服務(wù)端接收到所述播放行為信息PA，則通過(guò)所述播放行為信息PA得到用戶選擇的 觀看畫(huà)面范圍UV或用戶選擇的觀看對(duì)象U0 ; 畫(huà)面獲取單元，用于所述服務(wù)端判斷是否獲取到所述觀看畫(huà)面范圍UV或所述觀看對(duì) 象U0,如果所述服務(wù)端判斷獲取到所述觀看畫(huà)面范圍UV或所述觀看對(duì)象U0,則基于所述觀 看畫(huà)面范圍UV或所述觀看對(duì)象U0,得到畫(huà)面Sb;判斷所述視頻節(jié)目是否包含畫(huà)面Sb，如果 所述視頻節(jié)目不包含畫(huà)面Sb，則令所述視頻節(jié)目包含畫(huà)面Sb;然后令S。=Sb，返回所述碼流 選擇單元、播放交互單元、觀看范圍和對(duì)象獲取單元重復(fù)執(zhí)行上述動(dòng)作。
16. 根據(jù)權(quán)利要求15所述的網(wǎng)絡(luò)視頻畫(huà)面處理裝置，其特征在于，在網(wǎng)絡(luò)視頻畫(huà)面處 理裝置包括： 畫(huà)面和編碼碼流調(diào)整單元，用于設(shè)所述視頻節(jié)目包含的畫(huà)面S。，Si，S2,…所構(gòu)成的畫(huà)面 集合為SX，SX中的畫(huà)面Si對(duì)應(yīng)的編碼碼流P1。，Pu，P。，…所構(gòu)成的編碼碼流集合為EXi;對(duì) 所述畫(huà)面集合SX中的畫(huà)面Si生成子區(qū)域畫(huà)面，將所述子區(qū)域畫(huà)面加入所述畫(huà)面集合SX中； 對(duì)所述畫(huà)面集合SX中的所述Si，增加所述編碼碼流集合EXi中的編碼碼流、停止所述編碼 碼流集合EXi中的編碼碼流或修改所述編碼碼流集合EXi中的編碼碼流的編碼參數(shù)。
17. 根據(jù)權(quán)利要求16所述的網(wǎng)絡(luò)視頻畫(huà)面處理裝置，其特征在于，碼流選擇單元包括： 編碼碼流選擇模塊，用于令集合SB=咕ISiGSX，Si是S。的子區(qū)域或S。是Si的子區(qū) 域或Si與S。一致或Si與S。近似}，集合EXB={PUIPyGEX。SiGSB}，從所述集合EXB中 選擇一個(gè)或多個(gè)編碼碼流構(gòu)成編碼碼流的集合PX; 單碼流選擇模塊，用于判斷所述播放終端是否未采用自適應(yīng)碼率協(xié)議，且是否是由所 述播放終端指定所述觀看畫(huà)面S。，如所述播放終端未采用自適應(yīng)碼率協(xié)議，且是由所述播 放終端指定S。，則優(yōu)先從所述集合EXB中選擇和所述觀看畫(huà)面S。一致的Si對(duì)應(yīng)的所述編碼 碼流集合EXi中的一個(gè)編碼碼流，構(gòu)成所述編碼碼流的集合PX。
18. 根據(jù)權(quán)利要求17所述的網(wǎng)絡(luò)視頻畫(huà)面處理裝置，其特征在于，所述用戶的交互行 為包括：縮小或放大當(dāng)前畫(huà)面范圍，移動(dòng)當(dāng)前畫(huà)面，旋轉(zhuǎn)當(dāng)前畫(huà)面，選擇觀看對(duì)象。
19. 根據(jù)權(quán)利要求16所述的網(wǎng)絡(luò)視頻畫(huà)面處理裝置，其特征在于，所述畫(huà)面獲取單元 包括下述四種模塊中的一種或多種的組合： 第一獲取單元，用于若所述觀看畫(huà)面范圍uv和所述畫(huà)面集合SX中的Si相同或近似， 則Sb=S 第二獲取單元，用于若所述觀看畫(huà)面范圍UV和所述畫(huà)面集合SX中的Si的一個(gè)子區(qū)域A,畫(huà)面區(qū)域相同或近似，則Sb= A,; 第H獲取單元，用于所述畫(huà)面集合SX中的Si預(yù)設(shè)了若干子區(qū)域A …，若觀看畫(huà) 面范圍UV和所述若干子區(qū)域其中的一個(gè)Ad的畫(huà)面區(qū)域相同或最為近似，則Sb=Ad; 第四獲取單元，用于若所述觀看畫(huà)面范圍UV和所述畫(huà)面集合SX中的多個(gè)畫(huà)面計(jì)算得 到的畫(huà)面S。相同或近似，則Sb= S。。
20. 根據(jù)權(quán)利要求18所述的網(wǎng)絡(luò)視頻畫(huà)面處理裝置，其特征在于，所述的網(wǎng)絡(luò)視頻畫(huà) 面處理裝置還包括；第一替換單元，用于如所述用戶的交互行為是縮小當(dāng)前畫(huà)面范圍，未采 用自適應(yīng)碼率，且所述集合PX中包含的編碼碼流為P"，通過(guò)查找、新增或修改編碼碼流碼 率的方法得到一個(gè)編碼碼流Pby，使得所述Pby對(duì)應(yīng)畫(huà)面范圍和所述畫(huà)面Sb-致且所述Pby的 編碼碼率和所述P"的編碼碼率一致或相差在一闊值W內(nèi)，將所述Pby加入所述集合PX并替 換所述Pay。
21. 根據(jù)權(quán)利要求18所述的網(wǎng)絡(luò)視頻畫(huà)面處理裝置，其特征在于，所述的網(wǎng)絡(luò)視頻畫(huà) 面處理裝置還包括；第二替換單元，用于如所述用戶的交互行為是縮小當(dāng)前畫(huà)面范圍，且采 用自適應(yīng)碼率，對(duì)所述集合PX中包含的每個(gè)編碼碼流Pgj.，通過(guò)查找、新增或修改編碼碼流 碼率的方法得到一個(gè)編碼碼流Pw，使得所述Pw對(duì)應(yīng)畫(huà)面范圍是所述P。^(才應(yīng)畫(huà)面范圍的子 區(qū)域且所述Pw的編碼碼率和所述Paj的編碼碼率一致或相差在一闊值W內(nèi)，將所述PW加入 所述集合PX并替換所述Pgj.。
【文檔編號(hào)】H04N21/239GK104469398SQ201410746524
【公開(kāi)日】2015年3月25日 申請(qǐng)日期:2014年12月9日 優(yōu)先權(quán)日:2014年12月9日
【發(fā)明者】李偉華, 李毅, 羅翰, 要文濤 申請(qǐng)人:北京清源新創(chuàng)科技有限公司