本發(fā)明涉及全景視頻圖像處理技術(shù)領(lǐng)域，尤其涉及一種全景視頻沉浸感增強(qiáng)方法和系統(tǒng)。

背景技術(shù)：

全景視頻在提供全方位的視覺(jué)信息的同時(shí)，能夠提供動(dòng)態(tài)的實(shí)時(shí)的視頻信息，使得人們可以看到環(huán)繞在攝像機(jī)周?chē)恼麄€(gè)動(dòng)態(tài)景象。當(dāng)全景視頻是由固定攝像頭采集的多路碼流拼接而成時(shí)，受限于采集設(shè)備的不可移動(dòng)性，會(huì)使得全景視頻的沉浸感較弱。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例的目的在于提出一種全景視頻沉浸感增強(qiáng)方法方法，旨在解決現(xiàn)有技術(shù)當(dāng)全景視頻是由固定攝像頭采集的多路碼流拼接而成時(shí)，受限于采集設(shè)備的不可移動(dòng)性，會(huì)使得全景視頻的沉浸感較弱的問(wèn)題。

本發(fā)明實(shí)施例是這樣實(shí)現(xiàn)的，一種全景視頻沉浸感增強(qiáng)方法，所述方法包括以下步驟：

步驟a：判斷如果par＝0，則進(jìn)入步驟g；否則判斷如果t>thres1，則

令note＝1；否則，則令note＝0；

其中，par表示用戶慣性參數(shù)，初始值為1；t表示視覺(jué)凝視時(shí)長(zhǎng)，初始值為0；thres1表示第一判定閾值；note表示增強(qiáng)標(biāo)識(shí)符；

步驟b：如果[t0,t1]時(shí)間窗內(nèi)各路碼流存在，則利用公知的方法，拼接[t0,t1]時(shí)間窗內(nèi)各路碼流獲取全景視頻，進(jìn)入步驟c；否則，結(jié)束；

其中，“[t0,t1]時(shí)間窗內(nèi)各路碼流”中，t0、t1分別表示碼流的起止時(shí)間；t0初始值為0，t1＝t0+td，td表示統(tǒng)計(jì)時(shí)間窗時(shí)長(zhǎng)；

步驟c：根據(jù)增強(qiáng)標(biāo)識(shí)符和用戶觀看視角，播放不同的視頻流；

步驟d：如果接收到非舒適信號(hào)或者dθ>thres2，則令num＝num+1，t＝0，然后進(jìn)入步驟e；否則，則令t＝t+td，然后進(jìn)入步驟e。

其中，num表示用戶非舒適度參數(shù)，初始值為0；dθ表示用戶在[t0,t0+td]時(shí)間窗內(nèi)視覺(jué)角度的變化幅度；thres2表示第二判定閾值；

步驟e:令t0＝t0+td，t1＝t0+td；

步驟f：如果num>thres3，則令par＝0，然后進(jìn)入步驟g；否則，進(jìn)入步驟a；

其中，thres3表示第三判定閾值；

步驟g：進(jìn)行常規(guī)的全景視頻拼接、播放，直到結(jié)束。

本發(fā)明實(shí)施例的另一目的在于提出一種全景視頻沉浸感增強(qiáng)系統(tǒng)，所述系統(tǒng)包括：

用戶慣性參數(shù)判斷處理模塊，用于判斷如果par＝0，則進(jìn)入碼流分發(fā)模塊，否則進(jìn)入視覺(jué)凝視時(shí)長(zhǎng)判斷處理模塊；

視覺(jué)凝視時(shí)長(zhǎng)判斷處理模塊，用于判斷如果t>thres1，則令note＝1；否則，則令note＝0，進(jìn)入時(shí)間窗碼流判斷處理模塊；

其中，par表示用戶慣性參數(shù)，初始值為1；t表示視覺(jué)凝視時(shí)長(zhǎng)，初始值為0；thres1表示第一判定閾值；note表示增強(qiáng)標(biāo)識(shí)符；

時(shí)間窗碼流判斷處理模塊，用于判斷如果[t0,t1]時(shí)間窗內(nèi)各路碼流存在，則利用公知的方法，拼接[t0,t1]時(shí)間窗內(nèi)各路碼流獲取全景視頻；否則，結(jié)束；其中，“[t0,t1]時(shí)間窗內(nèi)各路碼流”，t0、t1分別表示碼流的起止時(shí)間；t0初始值為0，t1＝t0+td，td表示統(tǒng)計(jì)時(shí)間窗時(shí)長(zhǎng)；

視頻流處理播放裝置，用于根據(jù)增強(qiáng)標(biāo)識(shí)符和用戶觀看視角，播放不同的視頻流；

第一判斷處理模塊，用于判斷如果接收到非舒適信號(hào)或者dθ>thres2，則令num＝num+1，t＝0，然后進(jìn)入第一設(shè)置模塊；否則，則令t＝t+td，然后進(jìn)入第一設(shè)置模塊；

其中，num表示用戶非舒適度參數(shù)，初始值為0；非舒適信號(hào)，選擇vr眼鏡反饋的閉眼信號(hào)或選擇其他全景視頻播放設(shè)備可傳遞的其他感應(yīng)器信號(hào)；dθ表示用戶在[t0,t0+td]時(shí)間窗內(nèi)視覺(jué)角度的變化幅度；thres2表示第二判定閾值；

第一設(shè)置模塊，用于令t0＝t0+td，t1＝t0+td；

第二判斷處理模塊，用于判斷如果num>thres3，則令par＝0，然后進(jìn)入碼流分發(fā)模塊；否則，進(jìn)入用戶慣性參數(shù)判斷處理模塊；其中，thres3表示第三判定閾值；

碼流分發(fā)模塊，用于進(jìn)行常規(guī)的全景視頻拼接、播放，直到結(jié)束。

本發(fā)明的有益效果

本發(fā)明提出一種全景視頻沉浸感增強(qiáng)方法和系統(tǒng)，本發(fā)明方法利用圖像處理技術(shù)，同時(shí)結(jié)合用戶習(xí)慣反饋信號(hào)，在不額外增加硬件采集設(shè)備的條件下，自適應(yīng)增強(qiáng)不同用戶的觀看效果，提升固定攝像頭全景視頻下，用戶的沉浸感。

附圖說(shuō)明

圖1是本發(fā)明優(yōu)選實(shí)施例一種全景視頻沉浸感增強(qiáng)方法流程圖；

圖2是圖1中步驟step3詳細(xì)方法流程圖；

圖3是本發(fā)明優(yōu)選實(shí)施例一種全景視頻沉浸感增強(qiáng)系統(tǒng)結(jié)構(gòu)圖；

圖4是圖3中視頻流處理播放裝置詳細(xì)結(jié)構(gòu)圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖和實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明，為了便于說(shuō)明，僅示出了與本發(fā)明實(shí)施例相關(guān)的部分。應(yīng)當(dāng)理解，此處所描寫(xiě)的具體實(shí)施例，僅僅用于解釋本發(fā)明，并不用以限制本發(fā)明。

本發(fā)明提出一種全景視頻沉浸感增強(qiáng)方法和系統(tǒng)，本發(fā)明方法實(shí)施例利用圖像處理技術(shù)，同時(shí)結(jié)合用戶習(xí)慣反饋信號(hào)，在不額外增加硬件采集設(shè)備的條件下，自適應(yīng)增強(qiáng)不同用戶的觀看效果，提升固定攝像頭全景視頻下，用戶的沉浸感。

實(shí)施例一

圖1是本發(fā)明優(yōu)選實(shí)施例一種全景視頻沉浸感增強(qiáng)方法流程圖；所述方法包括以下步驟：

step1：判斷如果par＝0，則進(jìn)入step7；否則判斷如果t>thres1，則令

note＝1；否則，則令note＝0。

其中，par表示用戶慣性參數(shù)，初始值為1；t表示視覺(jué)凝視時(shí)長(zhǎng)，初始值為0；thres1表示第一判定閾值，thres1>td，td表示統(tǒng)計(jì)時(shí)間窗時(shí)長(zhǎng)；note表示增強(qiáng)標(biāo)識(shí)符。

step2：如果[t0,t1]時(shí)間窗內(nèi)各路碼流存在，則利用公知的方法，拼接[t0,t1]時(shí)間窗內(nèi)各路碼流獲取全景視頻；否則，結(jié)束。

其中，“[t0,t1]時(shí)間窗內(nèi)各路碼流”，t0、t1分別表示碼流的起止時(shí)間；t0初始值為0，t1＝t0+td。

step3：根據(jù)增強(qiáng)標(biāo)識(shí)符和用戶觀看視角，播放不同的視頻流。

圖2是圖1中步驟step3詳細(xì)方法流程圖；所述方法包括以下步驟：

step31：利用公知的方法，根據(jù)用戶觀看視角直接構(gòu)建對(duì)應(yīng)的視點(diǎn)視頻。

step32：如果note＝0，則直接播放視點(diǎn)視頻；否則，對(duì)視點(diǎn)視頻的所有圖像進(jìn)行圖像處理，然后播放處理之后的圖像序列。

其中，所述“對(duì)視點(diǎn)視頻的所有圖像進(jìn)行圖像處理”，可采用以下處理方法：

當(dāng)在凝視時(shí)(一般在凝視時(shí)往往表示人們對(duì)當(dāng)前視角內(nèi)的圖像感興趣)，通過(guò)圖像放大處理，來(lái)達(dá)到觀看者獲取攝像頭拉近的虛擬效果；

ratio＝min(out_width/in_width,out_height/in_height)，

其中，min表示求最小值；ratio表示圖像放大比例；out_width,out_height分別表示放大處理后輸出圖像的長(zhǎng)度和寬度，in_width,in_height分別表示原始圖像的長(zhǎng)度和寬度；圖像放大比例ratio不適宜變化過(guò)大，一般ratio≤2,否則，會(huì)產(chǎn)生視覺(jué)跳躍的不舒適感。

如當(dāng)前視角內(nèi)主體背光時(shí)，往往希望看清背光主體，這時(shí)可采用對(duì)比度增強(qiáng)技術(shù)，拉伸圖像低亮度區(qū)間，抑制高亮度區(qū)間；上述，背光檢測(cè)、對(duì)比度增強(qiáng)、圖像放大方法均可采用業(yè)內(nèi)公知的任何一種方法。

step4：如果接收到非舒適信號(hào)或者dθ>thres2，則令num＝num+1，t＝0，然后進(jìn)入step5；否則，則令t＝t+td，然后進(jìn)入step5。

其中，num表示用戶非舒適度參數(shù)，初始值為0；非舒適信號(hào)，可選擇vr眼鏡反饋的閉眼信號(hào)，也可以選擇其他全景視頻播放設(shè)備可傳遞的其他感應(yīng)器信號(hào)；dθ表示用戶在[t0,t0+td]時(shí)間窗內(nèi)視覺(jué)角度的變化幅度；thres2表示第二判定閾值，一般設(shè)置第二閾值>10。

step5:令t0＝t0+td，t1＝t0+td。

step6：如果num>thres3，則令par＝0，然后進(jìn)入step7；否則，進(jìn)入step1。

其中，thres3表示第三判定閾值，一般設(shè)置第三閾值>＝2。

step7：利用公知的方法，進(jìn)行常規(guī)的全景視頻拼接、播放，直到結(jié)束。

實(shí)施例二

圖3是本發(fā)明優(yōu)選實(shí)施例一種全景視頻沉浸感增強(qiáng)系統(tǒng)結(jié)構(gòu)圖，所述系統(tǒng)包括：

用戶慣性參數(shù)判斷處理模塊，用于判斷如果par＝0，則進(jìn)入碼流分發(fā)模塊，否則進(jìn)入視覺(jué)凝視時(shí)長(zhǎng)判斷處理模塊；

視覺(jué)凝視時(shí)長(zhǎng)判斷處理模塊，用于判斷如果t>thres1，則令note＝1；否則，則令note＝0，進(jìn)入時(shí)間窗碼流判斷處理模塊；

其中，par表示用戶慣性參數(shù)，初始值為1；t表示視覺(jué)凝視時(shí)長(zhǎng)，初始值為0；thres1表示第一判定閾值，thres1>td，td表示統(tǒng)計(jì)時(shí)間窗時(shí)長(zhǎng)；note表示增強(qiáng)標(biāo)識(shí)符。

時(shí)間窗碼流判斷處理模塊，用于判斷如果[t0,t1]時(shí)間窗內(nèi)各路碼流存在，則利用公知的方法，拼接[t0,t1]時(shí)間窗內(nèi)各路碼流獲取全景視頻；否則，結(jié)束；其中，“[t0,t1]時(shí)間窗內(nèi)各路碼流”，t0、t1分別表示碼流的起止時(shí)間；t0初始值為0，t1＝t0+td。

視頻流處理播放裝置，用于根據(jù)增強(qiáng)標(biāo)識(shí)符和用戶觀看視角，播放不同的視頻流；

第一判斷處理模塊，用于判斷如果接收到非舒適信號(hào)或者dθ>thres2，則令num＝num+1，t＝0，然后進(jìn)入第一設(shè)置模塊；否則，則令t＝t+td，然后進(jìn)入第一設(shè)置模塊；

其中，num表示用戶非舒適度參數(shù)，初始值為0；非舒適信號(hào)，可選擇vr眼鏡反饋的閉眼信號(hào)，也可以選擇其他全景視頻播放設(shè)備可傳遞的其他感應(yīng)器信號(hào)；dθ表示用戶在[t0,t0+td]時(shí)間窗內(nèi)視覺(jué)角度的變化幅度；thres2表示第二判定閾值，一般設(shè)置第二閾值>10。

第一設(shè)置模塊，用于令t0＝t0+td，t1＝t0+td；

第二判斷處理模塊，用于判斷如果num>thres3，則令par＝0，然后進(jìn)入碼流分發(fā)模塊；否則，進(jìn)入用戶慣性參數(shù)判斷處理模塊；其中，thres3表示第三判定閾值，一般設(shè)置第三閾值>＝2。

碼流分發(fā)模塊，用于利用公知的方法，進(jìn)行常規(guī)的全景視頻拼接、播放，直到結(jié)束。

進(jìn)一步地，圖4是圖3中視頻流處理播放裝置詳細(xì)結(jié)構(gòu)圖；所述視頻流處理播放裝置還包括：

視點(diǎn)視頻構(gòu)建模塊，用于利用公知的方法，根據(jù)用戶觀看視角直接構(gòu)建對(duì)應(yīng)的視點(diǎn)視頻；

增強(qiáng)標(biāo)志符判斷模塊，用于判斷如果note＝0，則進(jìn)入第一視頻播放模塊；否則進(jìn)入第二視頻播放模塊；

第一視頻播放模塊，用于直接播放視點(diǎn)視頻；

第二視頻播放模塊，用于對(duì)視點(diǎn)視頻的所有圖像進(jìn)行圖像處理，然后播放處理之后的圖像序列；

其中，所述“對(duì)視點(diǎn)視頻的所有圖像進(jìn)行圖像處理”，可采用以下處理方法：

當(dāng)在凝視時(shí)(一般在凝視時(shí)往往表示人們對(duì)當(dāng)前視角內(nèi)的圖像感興趣)，通過(guò)圖像放大處理，來(lái)達(dá)到觀看者獲取攝像頭拉近的虛擬效果；

ratio＝min(out_width/in_width,out_height/in_height)，

其中，min表示求最小值；ratio表示圖像放大比例；out_width,out_height分別表示放大處理后輸出圖像的長(zhǎng)度和寬度，in_width,in_height分別表示原始圖像的長(zhǎng)度和寬度；圖像放大比例ratio不適宜變化過(guò)大，一般ratio≤2,否則，會(huì)產(chǎn)生視覺(jué)跳躍的不舒適感。

如當(dāng)前視角內(nèi)主體背光時(shí)，往往希望看清背光主體，這時(shí)可采用對(duì)比度增強(qiáng)技術(shù)，拉伸圖像低亮度區(qū)間，抑制高亮度區(qū)間；上述，背光檢測(cè)、對(duì)比度增強(qiáng)、圖像放大方法均可采用業(yè)內(nèi)公知的任何一種方法。

本領(lǐng)域的普通技術(shù)人員可以理解，實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分步驟是可以通過(guò)程序指令相關(guān)硬件來(lái)完成的，所述的程序可以存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中，所述的存儲(chǔ)介質(zhì)可以為rom、ram、磁盤(pán)、光盤(pán)等。

以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。