本發(fā)明一般性地涉及將視頻流從視頻托管服務(wù)器通過視頻傳輸網(wǎng)絡(luò)傳輸?shù)娇蛻舳耍员銉?yōu)化客戶端用戶的體驗(yàn)質(zhì)量。更具體地說，將服務(wù)器側(cè)的視頻流分成多個(gè)片段，每個(gè)片段都具有不同比特率和分辨率的多個(gè)流。本發(fā)明涉及一種方法或系統(tǒng)，其在客戶側(cè)做出從服務(wù)器側(cè)的多個(gè)流中挑選出下一個(gè)片段的最佳決策，以便實(shí)現(xiàn)以下一個(gè)或多個(gè)優(yōu)點(diǎn)：1)節(jié)省用于傳輸視頻內(nèi)容的總體帶寬，而不犧牲客戶端用戶的體驗(yàn)質(zhì)量；2)創(chuàng)造更好的客戶端用戶的總體視覺體驗(yàn)質(zhì)量；3)創(chuàng)建更加流暢的客戶端用戶的視覺體驗(yàn)質(zhì)量；以及4)降低在客戶端用戶側(cè)發(fā)生重新緩沖或停頓事件的概率。本發(fā)明可以使用在采用通用適應(yīng)性流傳輸方式的很多應(yīng)用中。

背景技術(shù)：

在過去幾年中，通過網(wǎng)絡(luò)傳輸?shù)囊曨l數(shù)據(jù)量呈指數(shù)級(jí)增長。視頻點(diǎn)播(vod)應(yīng)用的越來越流行的方式是采用適應(yīng)性視頻流傳輸技術(shù)。在適應(yīng)性視頻流傳輸中，在視頻流準(zhǔn)備階段，每個(gè)源視頻內(nèi)容被編碼/轉(zhuǎn)碼成不同比特率和分辨率的多個(gè)變體(或流)。視頻流被分為多個(gè)時(shí)間片段，并且所有流都存儲(chǔ)在視頻托管服務(wù)器中。當(dāng)客戶端觀看視頻內(nèi)容時(shí)，它可以基于網(wǎng)絡(luò)帶寬、緩沖區(qū)大小、回放速度等為每個(gè)時(shí)間片段適應(yīng)性地挑選多個(gè)流中的一個(gè)。由于重復(fù)性的編碼/轉(zhuǎn)碼需求和存儲(chǔ)相同內(nèi)容的多個(gè)流的增加的存儲(chǔ)空間會(huì)導(dǎo)致cpu功率的提高，適應(yīng)性視頻流傳輸框架將負(fù)擔(dān)加在服務(wù)器側(cè)。然而，它允許為與網(wǎng)絡(luò)連接的用戶提供各種變體而不改變基礎(chǔ)設(shè)施，并有可能為每個(gè)用戶在每一時(shí)刻基礎(chǔ)上提供最好的可能服務(wù)。

然而，適應(yīng)性流傳輸技術(shù)的當(dāng)前實(shí)施和部署的一個(gè)主要問題是不能適當(dāng)?shù)乜紤]觀看者的體驗(yàn)質(zhì)量(qoe)。近年來視頻質(zhì)量評(píng)估一直是一個(gè)活躍的研究課題。當(dāng)我們使用視頻質(zhì)量這一術(shù)語時(shí)，意思是指視頻流的感知質(zhì)量，而不考慮視頻正在進(jìn)行網(wǎng)絡(luò)傳送、在具有不同的分辨率的不同設(shè)備上顯示以及觀看條件不同等情況下的感知質(zhì)量差異。相比之下，用qoe，意思是指考慮盡可能多的這種差異。例如，在視頻傳輸服務(wù)的服務(wù)器側(cè)，只能評(píng)估視頻質(zhì)量，并且無法直接測(cè)量視頻qoe，但可以估計(jì)可以幫助預(yù)測(cè)視頻qoe的某些參數(shù)。在客戶端側(cè)，因?yàn)樗邢嚓P(guān)信息變得可用，所以可以估計(jì)視頻qoe。由于視頻傳輸服務(wù)的最終目標(biāo)是為客戶端提供在其可視視頻qoe方面最佳的可能視頻，適當(dāng)?shù)卦u(píng)估視覺qoe并使用這樣的評(píng)估作為視頻傳輸系統(tǒng)的設(shè)計(jì)和優(yōu)化的關(guān)鍵因素是非常有利的。遺憾的是，這正是當(dāng)前適應(yīng)性視頻流傳輸實(shí)現(xiàn)方式中所缺少的?，F(xiàn)實(shí)系統(tǒng)通常使用比特率作為關(guān)鍵因素，將其等同于視覺質(zhì)量指標(biāo)，但使用相同的比特率對(duì)不同的視頻內(nèi)容進(jìn)行編碼可能導(dǎo)致顯著不同的視覺質(zhì)量，其范圍可能在標(biāo)準(zhǔn)五類(優(yōu)秀、良好、一般、較差、極差)人類主觀評(píng)價(jià)的兩個(gè)極端之間。更糟糕的是，實(shí)際的用戶qoe取決于用于顯示視頻的設(shè)備而不同，這是通過比特率驅(qū)動(dòng)的流傳輸策略無法考慮另一因素。

本發(fā)明涉及如何使視頻qoe估計(jì)可用于客戶端以及如何在客戶端站點(diǎn)處在適應(yīng)性視頻流傳輸?shù)臎Q策步驟中使用qoe估計(jì)。回到驅(qū)動(dòng)者的位置，重新設(shè)計(jì)視頻傳輸系統(tǒng)。

技術(shù)實(shí)現(xiàn)要素：

使用視覺qoe作為在視頻傳輸網(wǎng)絡(luò)上提供智能適應(yīng)性視頻流傳輸或智能流傳輸?shù)年P(guān)鍵因素的方法或系統(tǒng)。

一個(gè)實(shí)施例涉及通過視頻傳輸網(wǎng)絡(luò)的適應(yīng)性視頻流傳輸，其從相同的視頻源內(nèi)容創(chuàng)建不同比特率和分辨率的多個(gè)視頻流，并將其劃分為多個(gè)時(shí)間片段。生成qoe預(yù)測(cè)參數(shù)，并且將qoe預(yù)測(cè)參數(shù)在發(fā)送視頻流之前或與視頻流一起發(fā)送到接收者客戶端站點(diǎn)。在客戶端站點(diǎn)處，估計(jì)視覺qoe并用作請(qǐng)求視頻流的下一個(gè)視頻片段的關(guān)鍵決策因素。

另一實(shí)施例涉及通過將qoe預(yù)測(cè)參數(shù)與即時(shí)網(wǎng)絡(luò)和接收器條件組合來在客戶端站點(diǎn)處提供qoe估計(jì)，所述條件包括錯(cuò)誤的發(fā)送和/或解碼、初始緩沖和重新緩沖、觀看設(shè)備的像素分辨率、觀看設(shè)備的物理尺寸、設(shè)備上的視頻幀像素分辨率、視頻時(shí)間分辨率、設(shè)備上的視頻回放速度、觀看環(huán)境條件、用戶偏好、用戶視覺條件或用戶期望。

另一實(shí)施例涉及使用全參考、簡化參考和/或無參考客觀視頻質(zhì)量評(píng)估的模型、使用能夠比較不同空間和/或時(shí)間分辨率的視頻質(zhì)量的模型、以及使用根據(jù)觀看設(shè)備的類型和設(shè)置、觀看設(shè)備上的回放窗口的分辨率和/或觀看條件預(yù)測(cè)感知qoe的模型產(chǎn)生qoe預(yù)測(cè)參數(shù)。

另一個(gè)實(shí)施例涉及將所述體驗(yàn)質(zhì)量預(yù)測(cè)參數(shù)作為元數(shù)據(jù)在發(fā)送所述視頻流之前或與視頻流一起發(fā)送，或者通過將參數(shù)作為水印或隱藏消息嵌入到視頻流中來發(fā)送所述體驗(yàn)質(zhì)量預(yù)測(cè)參數(shù)。

另一個(gè)實(shí)施例涉及在客戶站點(diǎn)處為每個(gè)視頻流的每個(gè)片段創(chuàng)建觀看者qoe的矩陣，并且通過將qoe估計(jì)與其他可用信息組合來決定視頻的下一個(gè)片段，所述其他可用信息包括視頻流的比特率、視頻流的分辨率、網(wǎng)絡(luò)的可用帶寬以及解碼速度、顯示速度、緩沖區(qū)大小和接收設(shè)備的功率中的一個(gè)或多個(gè)。

另一個(gè)實(shí)施例涉及進(jìn)行在所述客戶端站點(diǎn)處選擇視頻的下一個(gè)片段的智能適應(yīng)性流傳輸決策，通過使用qoe作為在不切換、切換到更低比特率以及切換到更高比特率之間決策的關(guān)鍵因素，來節(jié)省帶寬、降低重新緩沖的概率、提高總體體驗(yàn)質(zhì)量、和/或維持體驗(yàn)質(zhì)量的平滑度。

另一個(gè)實(shí)施例涉及進(jìn)行在客戶端站點(diǎn)處選擇視頻的接著多個(gè)片段的智能適應(yīng)性流傳輸決策，通過使用動(dòng)態(tài)規(guī)劃方法找到最大化視覺qoe的平均質(zhì)量和/或平滑度的最佳路徑，來節(jié)省帶寬、降低重新緩沖的概率、提高總體體驗(yàn)質(zhì)量、和/或維持體驗(yàn)質(zhì)量的平滑度。

應(yīng)當(dāng)理解，本發(fā)明的應(yīng)用不限于以及在說明書或其中提供的或在附圖中示出的實(shí)例中闡述的結(jié)構(gòu)細(xì)節(jié)和部件的布置。本發(fā)明能夠具有其他實(shí)施例并且能夠以各種方式實(shí)踐和實(shí)施。應(yīng)當(dāng)理解，這里使用的措辭和術(shù)語是為了描述的目的，不應(yīng)被視為限制。本應(yīng)用中描述的特征和優(yōu)點(diǎn)并不是窮盡的。對(duì)于本領(lǐng)域普通技術(shù)人員而言，在附圖、權(quán)利要求和說明書的基礎(chǔ)上，附加的特征和優(yōu)點(diǎn)將是顯而易見的。選擇本應(yīng)用程序中使用的語言以獲得更好的可讀性和指導(dǎo)目的，并且并非用于限制或限定所公開的主題。

附圖說明

圖1示出基于感知qoe估計(jì)的適應(yīng)性視頻流傳輸過程的系統(tǒng)圖。

圖2示出有關(guān)視頻qoe預(yù)測(cè)的視頻流準(zhǔn)備階段中的流程圖。

圖3示出本發(fā)明的一個(gè)實(shí)施例中視頻托管服務(wù)器、視頻傳輸網(wǎng)絡(luò)和客戶端之間的流程圖。

圖4示出使用接收到的qoe預(yù)測(cè)參數(shù)作為與其他即時(shí)側(cè)信息組合的關(guān)鍵因素進(jìn)行動(dòng)態(tài)觀看者qoe估計(jì)的流程圖。

圖5繪出為將每個(gè)視頻流中的每個(gè)視頻片段的接收到的視頻qoe預(yù)測(cè)參數(shù)陣列轉(zhuǎn)換成每個(gè)視頻流中的每個(gè)視頻片段的觀看者qoe估計(jì)矩陣的流程圖。

圖6繪出選擇下一個(gè)片段的智能適應(yīng)性流傳輸決策的流程圖。觀看者qoe估計(jì)矩陣具有中心作用，附加信息包括視頻流的比特率、視頻流的分辨率、網(wǎng)絡(luò)的可用帶寬、以及解碼速度、顯示速度、緩沖區(qū)大小和接收設(shè)備的功率中的一個(gè)或多個(gè)。

圖7繪出應(yīng)用“流過濾器”的流程圖，“流過濾器”將下一個(gè)片段的所有可用流的數(shù)量減少到至可承受的流的子集。通過對(duì)視頻比特率、網(wǎng)絡(luò)帶寬、解碼速度、顯示速度、緩沖區(qū)大小和設(shè)備功率中的一個(gè)或多個(gè)的約束來實(shí)現(xiàn)“流過濾”過程。

圖8繪出本發(fā)明的一個(gè)實(shí)施例中為下一個(gè)視頻片段選擇流的決策的流程圖?，F(xiàn)有技術(shù)方法不具有可用的qoe估計(jì)信息，但假設(shè)更高的比特率導(dǎo)致更高的qoe。本發(fā)明通過選擇具有最大qoe的流來允許不同的決策。

圖9繪出本發(fā)明的一個(gè)實(shí)施例中為下一個(gè)視頻片段選擇流的決策的流程圖。當(dāng)不進(jìn)行切換，qoe維持在預(yù)定目標(biāo)閾值水平或以上時(shí)，即使這樣的切換是可承受的，本發(fā)明也可以拒絕切換到更高比特率和/或更高分辨率的流。這與現(xiàn)有技術(shù)方法不同，現(xiàn)有技術(shù)方法盡最大努力來請(qǐng)求最高可承受的比特率的流，而無論該流的實(shí)際qoe如何。

圖10繪出本發(fā)明的一個(gè)實(shí)施例中為下一個(gè)視頻片段選擇流的決策的流程圖。當(dāng)進(jìn)行切換導(dǎo)致qoe增加低于閾值時(shí)，即使這樣的切換是可承受的，本發(fā)明也可以拒絕切換到更高比特率和/或更高分辨率的流。這與現(xiàn)有技術(shù)方法不同，現(xiàn)有技術(shù)方法盡最大努力來請(qǐng)求最高可承受的比特率的流，而無論通過切換到該流可以實(shí)現(xiàn)多少qoe改進(jìn)。

圖11繪出本發(fā)明的一個(gè)實(shí)施例中為下一個(gè)視頻片段選擇流的決策的流程圖。即使沒有看到網(wǎng)絡(luò)帶寬或緩沖區(qū)大小的下降，當(dāng)進(jìn)行切換導(dǎo)致qoe下降低于閾值時(shí)，并且當(dāng)通過這種切換，qoe保持在預(yù)定目標(biāo)閾值qoe水平或以上時(shí)，本發(fā)明也可以切換到更低比特率和/或更低分辨率的流。這與現(xiàn)有技術(shù)方法不同，現(xiàn)有技術(shù)方法盡最大努力來請(qǐng)求最高可承受的比特率的流。因此，當(dāng)網(wǎng)絡(luò)帶寬或緩沖區(qū)大小沒有下降時(shí)，現(xiàn)有技術(shù)方法將繼續(xù)請(qǐng)求等于或高于當(dāng)前流的比特率的流，但不會(huì)切換到更低的比特率流。

圖12繪出本發(fā)明的一個(gè)實(shí)施例中為下一個(gè)視頻片段選擇流的決策的流程圖。即使沒有看到網(wǎng)絡(luò)帶寬或緩沖區(qū)大小的下降，當(dāng)進(jìn)行切換導(dǎo)致qoe下降低于閾值時(shí)，或者當(dāng)通過這種切換，qoe保持在或高于預(yù)定目標(biāo)閾值qoe水平時(shí)，本發(fā)明也可以切換到更低比特率和/或更低分辨率的流。這與現(xiàn)有技術(shù)方法不同，現(xiàn)有技術(shù)方法盡最大努力來請(qǐng)求最高可承受的比特率的流。因此，當(dāng)網(wǎng)絡(luò)帶寬或緩沖區(qū)大小沒有下降時(shí)，現(xiàn)有技術(shù)方法將繼續(xù)請(qǐng)求等于或高于當(dāng)前流的比特率的流，但不會(huì)切換到更低的比特率流。

圖13繪出本發(fā)明的一個(gè)實(shí)施例中為下一個(gè)視頻片段選擇流的決策的流程圖。即使沒有看到網(wǎng)絡(luò)帶寬或緩沖區(qū)大小的下降，當(dāng)預(yù)測(cè)到將來的視頻片段需要高于當(dāng)前比特率以維持相同水平的qoe時(shí)，本發(fā)明也可以切換到更低比特率和/或更低分辨率流。這與現(xiàn)有技術(shù)方法不同，現(xiàn)有技術(shù)方法盡最大努力來請(qǐng)求最高可承受的比特率的流，而不知曉在視頻的未來部分中維持相同水平的qoe的困難。

圖14繪出本發(fā)明的一個(gè)實(shí)施例中為下一個(gè)視頻片段選擇流的決策的流程圖。即使沒有看到網(wǎng)絡(luò)帶寬或緩沖區(qū)大小的增加，當(dāng)不進(jìn)行切換，qoe下降多于閾值，并且當(dāng)在下一個(gè)片段處更高比特率的流和當(dāng)前流之間qoe的差的絕對(duì)值低于另一閾值時(shí)，本發(fā)明也可以切換到更高比特率的流和/或更高分辨率的流。這與現(xiàn)有技術(shù)方法不同，現(xiàn)有技術(shù)方法不知曉在下一個(gè)片段中維持相同水平的qoe并保持在相同的流中的困難。

圖15示出本發(fā)明的一個(gè)實(shí)施例中聯(lián)合選擇接著的多個(gè)視頻的片段序列的決策的說明性示例，其通過執(zhí)行動(dòng)態(tài)規(guī)劃優(yōu)化來決定最大化平均質(zhì)量和/或qoe的平滑度的最佳路徑實(shí)現(xiàn)。現(xiàn)有技術(shù)的適應(yīng)性流傳輸方法不具有可用的qoe信息，因此不能執(zhí)行這樣的優(yōu)化過程，該優(yōu)化過程在帶寬、緩沖區(qū)大小和/或其他因素的約束下給出最佳總體qoe。

圖16示出了現(xiàn)有技術(shù)的適應(yīng)性視頻流傳輸和本發(fā)明的實(shí)施例的智能流傳輸中幀索引的函數(shù)的緩沖區(qū)大小的說明性示例。

圖17示出了現(xiàn)有技術(shù)適應(yīng)性視頻流(a)以及基于本發(fā)明的實(shí)施例的智能流傳輸(b)的切換決策的說明性示例。

圖18示出了現(xiàn)有技術(shù)適應(yīng)性視頻流(a)以及基于本發(fā)明的實(shí)施例的智能流傳輸(b)中作為幀索引的函數(shù)的幀比特率的說明性示例。

圖19示出了現(xiàn)有技術(shù)適應(yīng)性視頻流和基于本發(fā)明的實(shí)施例的智能流傳輸中作為幀索引的函數(shù)的基于ssimplus的視覺qoe的說明性示例。

在附圖中，舉例說明了本發(fā)明的實(shí)施例。應(yīng)當(dāng)明確地理解，描述和附圖僅僅是為了說明的目的，并且作為對(duì)理解的幫助，而不是作為對(duì)本發(fā)明的限制的定義。

具體實(shí)施方式

本公開涉及用于通過視頻傳輸網(wǎng)絡(luò)進(jìn)行智能適應(yīng)性視頻流傳輸?shù)姆椒?、系統(tǒng)或計(jì)算機(jī)程序。我們稱之為智能適應(yīng)性視頻流傳輸或智能流傳輸?shù)募夹g(shù)具有以下一個(gè)或多個(gè)優(yōu)點(diǎn)：1)節(jié)省用于傳輸視頻內(nèi)容的總體帶寬，而不會(huì)犧牲客戶端用戶的體驗(yàn)質(zhì)量；2)創(chuàng)造更好的客戶端用戶的總體視覺體驗(yàn)質(zhì)量；3)創(chuàng)建更加流暢的客戶端用戶的視覺體驗(yàn)質(zhì)量；以及4)降低在客戶端用戶側(cè)發(fā)生重新緩沖或停頓事件的概率。

本發(fā)明的一個(gè)實(shí)施例是一種方法、系統(tǒng)或計(jì)算機(jī)程序，其包括以下步驟：1)100：從相同的視頻源內(nèi)容創(chuàng)建不同比特率和分辨率的多個(gè)視頻流，并將其劃分為多個(gè)時(shí)間片段；2)102：在視頻準(zhǔn)備階段，在視頻托管站點(diǎn)處和/或視頻傳輸網(wǎng)絡(luò)內(nèi)執(zhí)行視頻流的qoe預(yù)測(cè)，得到用于視頻流的qoe預(yù)測(cè)參數(shù)的多維陣列；3)104：將qoe預(yù)測(cè)參數(shù)在發(fā)送視頻流之前或與視頻流一起發(fā)送到接收方客戶端站點(diǎn)；以及4)106：在客戶端站點(diǎn)，使用接收到的體驗(yàn)質(zhì)量預(yù)測(cè)參數(shù)和客戶端側(cè)網(wǎng)絡(luò)、設(shè)備和觀看環(huán)境信息來估計(jì)實(shí)際用戶qoe，并且108：請(qǐng)求視頻流的下一個(gè)片段。圖1給出了整個(gè)系統(tǒng)流程圖。圖2給出了在視頻流準(zhǔn)備階段有關(guān)視頻流的qoe預(yù)測(cè)的流程圖。圖3給出了有關(guān)在視頻托管服務(wù)器和/或視頻傳輸網(wǎng)絡(luò)處的視頻流的qoe預(yù)測(cè)的流程圖，其還給出了本發(fā)明的一個(gè)實(shí)施例中在創(chuàng)建即時(shí)qoe估計(jì)和進(jìn)行流傳輸決策的客戶端站點(diǎn)處的流程圖。

本發(fā)明的另一個(gè)實(shí)施例通過直接使用從網(wǎng)絡(luò)接收的qoe預(yù)測(cè)參數(shù)410在客戶站點(diǎn)處靜態(tài)地進(jìn)行qoe估計(jì)。在本發(fā)明的又一個(gè)實(shí)施例中，客戶端站點(diǎn)處的qoe估計(jì)412通過組合從具有一個(gè)或多個(gè)即時(shí)網(wǎng)絡(luò)400的網(wǎng)絡(luò)接收的qoe預(yù)測(cè)參數(shù)410和接收器條件402、404、406、408動(dòng)態(tài)地執(zhí)行。這些條件可以包括錯(cuò)誤發(fā)送和/或解碼、初始緩沖和重新緩沖、觀看設(shè)備的像素分辨率、觀看設(shè)備的物理尺寸、設(shè)備上的視頻幀像素分辨率、視頻時(shí)間分辨率、設(shè)備上的視頻回放速度、觀看環(huán)境條件、用戶偏好、用戶視覺條件和用戶期望中的一個(gè)或多個(gè)。圖4給出了示出qoe預(yù)測(cè)參數(shù)起關(guān)鍵作用的動(dòng)態(tài)qoe估計(jì)過程。

在本發(fā)明的另一個(gè)實(shí)施例中，在視頻準(zhǔn)備階段，在視頻托管站點(diǎn)處或視頻傳輸網(wǎng)絡(luò)內(nèi)，在視頻流上進(jìn)行人主觀qoe測(cè)量。使用主觀測(cè)量結(jié)果計(jì)算的統(tǒng)計(jì)特征，諸如主觀意見得分的平均意見得分和標(biāo)準(zhǔn)偏差/方差，作為qoe預(yù)測(cè)參數(shù)。

在本發(fā)明的另一個(gè)實(shí)施例中，諸如psnr[1]、ssim[2,3]、ms-ssim[4]、vqm[5]、movie[6]和ssimplus[7,8,9]的全參考、簡化參考和/或無參考客觀視頻質(zhì)量計(jì)算評(píng)估模型可以用作感知qoe預(yù)測(cè)因素。

本發(fā)明的另一個(gè)實(shí)施例使用產(chǎn)生能夠?qū)⒖绮煌臻g和/或時(shí)間分辨率的視頻質(zhì)量進(jìn)行比較的參數(shù)的全參考和/或簡化參考客觀感知模型作為感知qoe預(yù)測(cè)因素。大多數(shù)現(xiàn)有的客觀感知模型沒有這種能力。用于此目的的理想候選是ssimplus測(cè)量。

本發(fā)明的另一實(shí)施例使用根據(jù)觀看設(shè)備的類型和設(shè)置、觀看設(shè)備上的回放窗口的空間和時(shí)間分辨率和/或客戶端站點(diǎn)處視頻的觀看條件來產(chǎn)生預(yù)測(cè)感知qoe的參數(shù)的客觀感知視頻質(zhì)量模型。大多數(shù)現(xiàn)有的客觀感知模型沒有這種能力。用于此目的的理想候選是ssimplus測(cè)量。

本發(fā)明的另一個(gè)實(shí)施例將所述體驗(yàn)質(zhì)量預(yù)測(cè)參數(shù)作為元數(shù)據(jù)在視頻流的發(fā)送之前或與所述視頻流的發(fā)送一起發(fā)送。例如，qoe參數(shù)可以被包括在視頻文件頭中，或者在發(fā)送視頻流之前作為發(fā)送到客戶端xml文件中的元數(shù)據(jù)部分發(fā)送。在本發(fā)明的另一個(gè)實(shí)施例中，qoe預(yù)測(cè)參數(shù)可以使用水印或數(shù)據(jù)隱藏技術(shù)嵌入到視頻流本身中，與視頻流一起發(fā)送到客戶端站點(diǎn)。

本發(fā)明的另一實(shí)施例在客戶端站點(diǎn)504處為每個(gè)視頻流的每個(gè)片段創(chuàng)建觀看者qoe估計(jì)的矩陣502，然后在流傳輸決策步驟中使用該矩陣來選擇視頻的下一個(gè)片段。圖5中示出了生成qoe估計(jì)矩陣512的過程，其中qoe預(yù)測(cè)參數(shù)500是與所有流中的所有片段的即時(shí)網(wǎng)絡(luò)和接收器條件506(如圖4所示)進(jìn)一步組合的最關(guān)鍵因素。

本發(fā)明的另一實(shí)施例包括在客戶端站點(diǎn)處選擇視頻的下一個(gè)片段608的流傳輸決策步驟606，其將qoe估計(jì)604與包括視頻流的比特率600、視頻流的分辨率602、網(wǎng)絡(luò)的可用帶寬610、解碼速度614、顯示速度616、緩沖區(qū)大小612和接收設(shè)備的功率618中的一個(gè)或多個(gè)其他可用信息組合。圖6中示出了說明該過程的流程圖。

本發(fā)明的另一個(gè)實(shí)施例包括在客戶端站點(diǎn)處選擇視頻的下一個(gè)片段的流傳輸決策步驟，其在視頻比特率、網(wǎng)絡(luò)帶寬、解碼速度、顯示速度、緩沖區(qū)大小和設(shè)備功率等的約束條件708下，挑選最大qoe視頻流。在對(duì)于下一個(gè)片段的所有可用的視頻流702、704應(yīng)用所有這樣的約束之后，留下了這些視頻流的子集710、712。在該應(yīng)用中將該過程稱為“流過濾器706”，并且在應(yīng)用流過濾器之后的剩余流被稱為“可承受的流712”。例如，在采用視頻流(以減少重新緩沖或停頓的可能性)之后，緩沖區(qū)大小應(yīng)該保持在閾值水平以上，并且為了滿足這樣的條件，具有高比特率的一些流是不可承受的，因此被過濾掉。圖7中示出了一般過程的流程圖。

本發(fā)明的另一個(gè)實(shí)施例包括在客戶端站點(diǎn)處選擇視頻的下一個(gè)片段的流傳輸決策步驟，其在視頻比特率、網(wǎng)絡(luò)帶寬、解碼速度、顯示速度、緩沖區(qū)大小和設(shè)備功率的約束下，挑選最大qoe視頻流。圖8給出了流程圖。現(xiàn)有技術(shù)方法沒有可用的qoe估計(jì)信息，而是假設(shè)更高的比特率導(dǎo)致更高的qoe，并因此選擇最高比特率的流804，其可能不是最佳qoe806、810的最佳選擇。本發(fā)明通過找到所有可承受的流的最大qoe806、810來允許不同的決策。這具有三個(gè)優(yōu)點(diǎn)中的一個(gè)或多個(gè)：1)由qoe_{最高qoe流810}與qoe_{最高比特率流808}之間的差異給出的提高的qoe；2)由比特率_{最高比特率流808}-比特率_{最高qoe流810}之間的差異給出的降低的比特率；3)由于視頻流的更低速率導(dǎo)致更大的緩沖區(qū)(給定相同的網(wǎng)絡(luò)帶寬條件)，這降低了可能在視頻回放過程中觸發(fā)重新緩沖或停頓的低或空緩沖區(qū)運(yùn)行的概率，因此重新緩沖/停頓事件的概率更低。

本發(fā)明的另一個(gè)實(shí)施例包括在客戶端站點(diǎn)處選擇視頻的下一個(gè)片段的流傳輸決策步驟，當(dāng)不進(jìn)行切換，qoe維持在預(yù)定目標(biāo)閾值水平或以上時(shí)，通過拒絕914切換到可承受的更高比特率和/或更高分辨率的流，來節(jié)省帶寬、降低重新緩沖的概率、提高總體qoe、和/或維持qoe的平滑度。圖9示出了流程圖。這與現(xiàn)有技術(shù)方法不同，現(xiàn)有技術(shù)方法盡最大努力來請(qǐng)求最高可承受的比特率的流，不管客戶端的實(shí)際qoe如何。這樣的差異使得本發(fā)明通過不切換到最高的可承受的比特率的流來節(jié)省比特率，并且由于可以在相同的網(wǎng)絡(luò)帶寬下緩沖更多的視頻內(nèi)容，所以降低了重新緩沖的概率。

本發(fā)明的另一個(gè)實(shí)施例包括在客戶端站點(diǎn)處選擇視頻的下一個(gè)片段的流傳輸決策步驟，當(dāng)進(jìn)行切換導(dǎo)致qoe增加低于閾值1010時(shí)，通過拒絕1016切換到可承受的更高比特率和/或更高分辨率的流，來節(jié)省帶寬、降低重新緩沖的概率、提高總體qoe、和/或維持qoe的平滑度。圖10示出了流程圖。這與現(xiàn)有技術(shù)方法不同，現(xiàn)有技術(shù)方法在客戶端側(cè)盡最大努力來請(qǐng)求最高可承受的比特率的流，不管通過切換到該流可以實(shí)現(xiàn)多少qoe改進(jìn)。這種差異使得本發(fā)明通過不切換到更高的可承受的比特率的流節(jié)省了比特率，并且由于可以在相同的網(wǎng)絡(luò)帶寬下緩沖更多的視頻內(nèi)容，所以降低了重新緩沖的概率。

本發(fā)明的另一個(gè)實(shí)施例包括在客戶端站點(diǎn)處選擇視頻的下一個(gè)片段的流傳輸決策步驟，無論有或沒有看到網(wǎng)絡(luò)帶寬或緩沖區(qū)大小的下降，(a)當(dāng)進(jìn)行切換導(dǎo)致qoe下降低于閾值1108、1208時(shí)，和/或(b)當(dāng)進(jìn)行這種切換，qoe維持在預(yù)定目標(biāo)閾值qoe水平1106、1206或以上時(shí)，通過切換到更低比特率和/或更低分辨率的流，來節(jié)省帶寬、降低重新緩沖的概率、提高總體qoe、和/或維持qoe的平滑度。圖11和圖12示出了兩個(gè)流程圖，具有上述條件(a)和(b)的不同組合1118、1218。這與現(xiàn)有技術(shù)方法不同，現(xiàn)有技術(shù)方法在客戶端處盡最大努力來請(qǐng)求最高可承受的比特率的流。因此，當(dāng)網(wǎng)絡(luò)帶寬或緩沖區(qū)大小沒有下降時(shí)，現(xiàn)有技術(shù)方法繼續(xù)請(qǐng)求等于或高于當(dāng)前流的比特率的流，而不會(huì)切換到更低的比特率的流。這樣的差異使得本發(fā)明通過切換到更低比特率的流來節(jié)省比特率，并且由于可以在相同的網(wǎng)絡(luò)帶寬下緩沖更多的視頻內(nèi)容，因此降低了重新緩沖的概率。

本發(fā)明的另一個(gè)實(shí)施例包括在客戶端站點(diǎn)處選擇視頻的下一個(gè)片段的流傳輸決策步驟，無論有或沒有看到網(wǎng)絡(luò)帶寬或緩沖區(qū)大小的下降，當(dāng)預(yù)見到未來視頻片段需要高于當(dāng)前比特率的以維持相同水平的qoe1310、1314時(shí)，通過切換到更低比特率和/或更低分辨率的流1316，以節(jié)省帶寬、降低重新緩沖的概率、提高總體qoe、和/或維持qoe的平滑度。圖13示出流程圖。這與現(xiàn)有技術(shù)方法不同，現(xiàn)有技術(shù)在客戶端處盡最大努力來請(qǐng)求最高可承受的比特率的流，而不知曉在視頻的未來部分中維持相同水平的qoe的困難。因此，當(dāng)不存在網(wǎng)絡(luò)帶寬或緩沖區(qū)大小的下降時(shí)，現(xiàn)在技術(shù)方法將繼續(xù)請(qǐng)求等于或高于當(dāng)前流的比特率的流，并且不會(huì)切換到更低的比特率流。切換到更低比特率流的能力使本發(fā)明與現(xiàn)有技術(shù)不同。這種差異使得本發(fā)明通過切換到更低比特率流1316來在低復(fù)雜度內(nèi)容的當(dāng)前時(shí)刻節(jié)省比特率，并為更復(fù)雜的并且希望更多比特率來維持qoe的未來視頻片段預(yù)留帶寬容量。因此，本發(fā)明導(dǎo)致qoe的平滑度得到改善，降低了未來復(fù)雜片段的重新緩沖和停頓事件的概率，并且提高了總體qoe。

本發(fā)明的另一實(shí)施例包括在客戶端站點(diǎn)處選擇視頻的下一個(gè)片段的流傳輸決策步驟，無論是否看到網(wǎng)絡(luò)帶寬或緩沖區(qū)大小的增加，當(dāng)不進(jìn)行切換，qoe下降超過閾值1406、1414并且當(dāng)在下一個(gè)片段處更高比特率的流與當(dāng)前流之間的qoe的差的絕對(duì)值低于另一閾值1408、1416時(shí)，通過切換到更高比特率的流和/或更高分辨率的流來維持qoe的當(dāng)前水平和平滑度。圖14中給出了示出說明性示例的流程圖。在當(dāng)前流k中，當(dāng)前片段i和下一個(gè)片段i+1的復(fù)雜度和qoe可能截然不同(qoe_{i，k}-qoe_{i+1，k}>t_h1406)，因此下一個(gè)片段停留在流k則不能保持相同水平的qoe，并且還降低qoe隨時(shí)間的平滑性。現(xiàn)有技術(shù)的適應(yīng)性流傳輸方法由于缺乏qoe信息而沒有意識(shí)到這點(diǎn)，并且當(dāng)看不到網(wǎng)絡(luò)帶寬或緩沖區(qū)大小的增加時(shí)，將不會(huì)切換到更高的比特率流。相比之下，本發(fā)明檢測(cè)潛在的qoe下降并找到另一個(gè)流j，其具有更高的比特率，但是下一個(gè)片段的qoe更好地與當(dāng)前片段的流k的qoe匹配(abs[qoe_{i+1，j}-qoe_{i，k}]<t_l1408)。這使得本發(fā)明更好地維持qoe隨時(shí)間的平滑度，從而更好地維持客戶端用戶的總體qoe。

本發(fā)明的另一個(gè)實(shí)施例包括在客戶端站點(diǎn)處對(duì)視頻的接著多個(gè)片段的序列的聯(lián)合選擇的流傳輸決策步驟，通過執(zhí)行動(dòng)態(tài)規(guī)劃優(yōu)化例如維特比算法來決定最大化qoe的平均質(zhì)量和/或平滑度的最佳路徑1502。圖15中給出了說明性的示例?，F(xiàn)有技術(shù)的適應(yīng)性流傳輸方法不具有可用的qoe信息，因此不能執(zhí)行在帶寬、緩沖區(qū)大小和/或其他因素的約束下給出最佳的總體qoe這樣的動(dòng)態(tài)程序優(yōu)化程序。相反，本發(fā)明的一個(gè)實(shí)施例使用qoe矩陣1500來執(zhí)行關(guān)于固定網(wǎng)絡(luò)帶寬或某些網(wǎng)絡(luò)帶寬模式的可能的額外假設(shè)的動(dòng)態(tài)規(guī)劃優(yōu)化。所得到的最佳路徑1502可以提供可能的最佳的總體qoe和/或最平滑的qoe，這是不能通過現(xiàn)有技術(shù)方法實(shí)現(xiàn)的。

本文所描述的示例僅僅是為了舉例說明本發(fā)明的可能實(shí)施例。本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，本發(fā)明的其他實(shí)施例也是可能的。本領(lǐng)域技術(shù)人員將理解，在不脫離本發(fā)明的范圍的情況下，也可以實(shí)施本文所描述的實(shí)施例的其他變型。因此，其他修改是可能的。

下面給出一個(gè)有啟發(fā)性的例子。為了提高可讀性，該示例在很大程度上是從現(xiàn)實(shí)世界的場(chǎng)景中簡化而來的，并且僅使用演示發(fā)明的創(chuàng)新步驟的一部分。該示例主要用于說明本發(fā)明的智能流傳輸(ss)發(fā)明的實(shí)施例如何與現(xiàn)有技術(shù)的適應(yīng)性流傳輸(as)方法不同。該示例不應(yīng)用于限制本發(fā)明的廣泛用途。

假設(shè)在主機(jī)服務(wù)器上存在分別具有500kbps、1000kbps和2000kbps的比特率的來自相同源內(nèi)容的3層視頻流。(每個(gè)視頻幀的實(shí)際比特率存在波動(dòng))。還假設(shè)網(wǎng)絡(luò)帶寬恒定在800kbps。還假設(shè)在播放視頻之前，客戶端側(cè)的播放器最初緩沖了2秒的視頻。

圖16比較了現(xiàn)有技術(shù)適應(yīng)性流傳輸方法和本發(fā)明的實(shí)施例160中智能流傳輸方法的作為幀索引函數(shù)的緩沖區(qū)大小，其中現(xiàn)有技術(shù)的適應(yīng)性流傳輸方法使用8秒緩沖區(qū)和2秒緩沖區(qū)分別作為觸發(fā)切換到更高的比特率和更低的比特率的閾值。在該特定示例中，由于800kbps的實(shí)際網(wǎng)絡(luò)帶寬在500kbps的第一層視頻流的比特率和1000kbps的第二層視頻流之間，所以現(xiàn)有技術(shù)的適應(yīng)性流傳輸方法將在這兩層之間交替切換。所得到的切換決策可以如圖17(a)1700所示，并且所得實(shí)際比特率作為幀索引的函數(shù)示于圖18(a)1800。因?yàn)楸忍芈时葞饕交?，所以現(xiàn)有技術(shù)適應(yīng)性流傳輸中使用比特率作為視頻質(zhì)量的指標(biāo)，這樣的性能是正常和理想的。然而，恒定(或類似)的比特率并不意味著相同的視頻質(zhì)量或視覺qoe，這在很大程度上取決于視頻內(nèi)容的復(fù)雜度。在這種特殊情況下，視頻內(nèi)容的最后部分要比前面的部分復(fù)雜得多。結(jié)果，盡管現(xiàn)有技術(shù)適應(yīng)性流傳輸視頻的最后部分與較前的部分相比具有相似的比特率，但視覺qoe明顯更低。這可以使用諸如ssimplus的有效qoe測(cè)量來檢測(cè)，并且圖19所示的現(xiàn)有技術(shù)適應(yīng)性流傳輸視頻的ssimplus曲線示出了觀看者的qoe從視頻1900的較前部分到稍后部分發(fā)生顯著變化。這可能導(dǎo)致總體視覺qoe的顯著下降，并且很大程度上影響用戶不滿意和客戶參與。

相比之下，本發(fā)明的實(shí)施例中的智能流傳輸方法在這種情況下的行為不同。圖16示出了作為幀索引1600的函數(shù)的緩沖區(qū)大小，圖17(b)示出了智能流傳輸情況1702的實(shí)際切換決策，并且圖18(b)給出了作為幀索引函數(shù)1802所得到的實(shí)際比特率。首先，因?yàn)槊繉右曨l流中未來幀的qoe可用，所以智能流傳輸模塊不會(huì)在視頻的中間部分觸發(fā)切換到更高的比特率，這是因?yàn)檫@種切換不會(huì)導(dǎo)致qoe的充分改善，并且還因?yàn)橹悄芰鱾鬏斈K預(yù)見到高難度的未來片段(視頻的最后部分)。第二，為了維持視頻最后部分的視覺qoe的平滑度，智能流傳輸模塊觸發(fā)切換到2000kbps的第三層視頻流，這是比網(wǎng)絡(luò)帶寬高得多的比特率。圖17(b)中所得到的切換決策和圖18(b)中作為幀索引的函數(shù)的實(shí)際比特率顯示出在視頻的最后部分至更高的比特率的很大的跳轉(zhuǎn)，這是在現(xiàn)有技術(shù)的適應(yīng)性流傳輸方法中觀察不到的效果。這種新的決策策略導(dǎo)致圖19中基于ssimplus的qoe曲線，其中智能流傳輸曲線在整個(gè)視頻中維持在高質(zhì)量水平，在qoe1900中具有顯著更好的平滑度和總體性能。此外，智能流傳輸情況的總比特率甚至比適應(yīng)性流傳輸情況的總比特率更低(其可以由圖16中的曲線末端的緩沖區(qū)大小確定)。即使將來，圖16中的智能流傳輸情況的緩沖區(qū)大小曲線高于適應(yīng)性流傳輸?shù)那€，這意味著智能流傳輸更適于降低重新緩沖和停頓事件1600。總之，由于采用智能流傳輸方式作為本發(fā)明的一個(gè)實(shí)施例，比現(xiàn)有技術(shù)具有更好的總體用戶qoe和更平滑的用戶qoe，以及使用更低的總體比特率和維持更健康的緩沖區(qū)的潛力。

參考文獻(xiàn)

[1]z.wang和a.bovik,"meansquarederror:loveitorleaveit？-anewlookatsignalfidelitymeasures(平均誤差：愛它還是離開它？——信號(hào)保真措施的新觀點(diǎn)),"ieeesignalprocessingmagazine(ieee信號(hào)處理雜志),第26卷,第98-117頁,2009年1月。

[2]z.wang,a.c.bovik,h.r.sheikh,和e.p.simoncelli,"imagequalityassessment:fromerrorvisibilitytostructuralsimilarity(圖像質(zhì)量評(píng)估：從錯(cuò)誤可見性到結(jié)構(gòu)相似性),"ieeetransactionsonimageprocessing(關(guān)于圖像處理的ieee事務(wù)),第13卷,第4冊(cè),第600-612頁,2004年4月。

[3]z.wang,l.lu,和a.c.bovik,"videoqualityassessmentbasedonstructuraldistortionmeasurement(基于結(jié)構(gòu)失真測(cè)量的視頻質(zhì)量估計(jì))"signalprocessing:imagecommunication(信號(hào)處理：圖像通信),第19卷,第121-132頁,2004年2月。

[4]z.wang,e.p.simoncelli,和a.c.bovik,"multi-scalestructuralsimilarityforimagequalityassessment(用于圖像質(zhì)量估計(jì)的多尺度結(jié)構(gòu)相似性)",ieeeasilomarconferenceonsignals,systemsandcomputers(關(guān)于信號(hào)、系統(tǒng)和計(jì)算機(jī)的ieeeasilomar會(huì)議),2003年11月.

[5]m.h.pinson,"anewstandardizedmethodforobjectivelymeasuringvideoquality(用于客觀測(cè)量視頻質(zhì)量的新標(biāo)準(zhǔn)化方法)",ieeetransactionsonbroadcasting(關(guān)于廣播的ieee事務(wù)),第50卷,第3冊(cè),第312-322頁,2004年9月。

[6]k.seshadrinathan和a.c.bovik,"motiontunedspatio-temporalqualityassessmentofnaturalvideos(天然視頻的運(yùn)動(dòng)調(diào)整的空-時(shí)質(zhì)量評(píng)估)",ieeetransactionsonimageprocessing(關(guān)于圖像處理的ieee事務(wù)),第19卷,第2冊(cè),第335-350頁,2010年2月。

[7]a.rehman,k.zeng和z.wang,https://ece.uwater100.ca/～z70wang/research/ssimplus/

[8]a.rehman,k.zeng和z.wang,"displaydevice-adaptedvideoquality-of-experienceassessment(適應(yīng)顯示設(shè)備的視頻體驗(yàn)質(zhì)量評(píng)估),"is&t-spieelectronicimaging,humanvisionandelectronicimagingxx(is&t-spie電子成像，人類視覺和電子成像xx),2015年2月。

[9]z.wang,a.rehman和k.zeng,"methodandsystemforperceptualobjectivevideoqualityassessment(感知客觀視頻質(zhì)量評(píng)估方法與系統(tǒng)),"美國臨時(shí)專利申請(qǐng)61/496,923,2013,pct2014。