一種超高清視頻融合方法
【專利摘要】本發(fā)明涉及一種超高清視頻融合方法，其包括如下流程：1），通過前端超高清視頻采集裝置獲取監(jiān)控場景的超高清視頻；2），對獲取的超高清視頻進(jìn)行視頻流分級智能化管理；3），根據(jù)融合端用戶實(shí)際觀察目標(biāo)的情況，運(yùn)用視頻流自適應(yīng)請求策略向視頻流分級智能化管理模塊發(fā)出具體的視頻流請求；4），視頻流分級智能化管理模塊再將相應(yīng)的視頻流通過編碼模塊進(jìn)行編碼通過網(wǎng)絡(luò)發(fā)送給解碼端，解碼模塊將其進(jìn)行解碼后輸入融合端，融合端根據(jù)之前離線處理形成的虛實(shí)配準(zhǔn)參數(shù)和規(guī)則，實(shí)現(xiàn)實(shí)時(shí)的配準(zhǔn)渲染顯示。本發(fā)明能夠有效的解決投資大、難度高、建設(shè)周期長的問題，并顯著提升了融合后圖像的整體效果和系統(tǒng)分辨率。
【專利說明】
一種超高清視頻融合方法
[0001]【技術(shù)領(lǐng)域】
本發(fā)明涉及一種視頻融合方法，具體涉及一種運(yùn)用超高清攝像機(jī)的視頻融合方法，屬于視頻監(jiān)控技術(shù)領(lǐng)域。
[0002]【【背景技術(shù)】】
監(jiān)控系統(tǒng)是一種利用視頻監(jiān)控技術(shù)探測、監(jiān)視設(shè)防區(qū)域，實(shí)時(shí)顯示、記錄現(xiàn)場圖像，檢索和顯示歷史圖像的電子系統(tǒng)或網(wǎng)絡(luò)系統(tǒng)。視頻監(jiān)控具有悠久的歷史，在傳統(tǒng)上廣泛應(yīng)用于安防領(lǐng)域，是協(xié)助公共安全部門打擊犯罪、維持社會安定的重要手段。隨著寬帶的普及，計(jì)算機(jī)技術(shù)的發(fā)展，圖像處理技術(shù)的提高，視頻監(jiān)控正越來越廣泛地滲透到教育、政府、娛樂、醫(yī)療、酒店、運(yùn)動等其他各種領(lǐng)域。隨著安防視頻監(jiān)控系統(tǒng)的大量建設(shè)，監(jiān)控的范圍會越來越廣泛。智能化技術(shù)的發(fā)展將使監(jiān)控系統(tǒng)的功能從事后追查為主轉(zhuǎn)為以預(yù)防為主，有效地提高監(jiān)控系統(tǒng)本身的功能和效率。
[0003]為適應(yīng)更為復(fù)雜和多變的場景，能夠快速識別和分析更多的行為和異常事件。目前在監(jiān)控系統(tǒng)中采用視頻融合技術(shù)已成為了一種發(fā)展方向。
[0004]視頻融合技術(shù)是虛擬現(xiàn)實(shí)技術(shù)的一個(gè)分支，也可以說是虛擬現(xiàn)實(shí)的一個(gè)發(fā)展階段。視頻融合技術(shù)指將一個(gè)或多個(gè)由視頻采集設(shè)備采集的關(guān)于某個(gè)場景或模型的圖像序列視頻與一個(gè)與之相關(guān)的虛擬場景進(jìn)行配準(zhǔn)融合，以生成一個(gè)新的關(guān)于此場景的虛擬場景或模型。
[0005]視頻融合技術(shù)一般可以分為三個(gè)層次，即預(yù)處理、信息融合與應(yīng)用層。預(yù)處理技術(shù)主要用來對視頻圖像進(jìn)行幾何校正、噪聲消除、色彩;亮度調(diào)整及配準(zhǔn)等等。視頻圖像配準(zhǔn)是指找到視頻圖像與三維虛擬場景的最大相關(guān)，以消除圖像在空間、相位和分辨率等方向的信息差異，達(dá)到融合更真實(shí)，信息更準(zhǔn)確的目的。信息融合層即視頻圖像與三維虛擬場景的融合。
[0006]超高清是指國際電信聯(lián)盟最新批準(zhǔn)的信息顯示“4K分辨率(3840X2160像素)”的正式名稱，被定為“超高清Ultra HD(Ultra High-Definit1n)”。隨著技術(shù)的發(fā)展，目前，這個(gè)名稱同樣適用于分辨率大于4K分辨率的圖像，主要分辨率類型有1600萬像素、2000萬像素、3000萬像素等的視頻圖像。
[0007]然而，現(xiàn)有技術(shù)多以1080P分辨率為代表的高清視頻融合，與采用超高清視頻相比，為實(shí)現(xiàn)同一區(qū)域視頻全覆蓋，需要的像機(jī)設(shè)備數(shù)量多，硬件成本高且對現(xiàn)場安裝的點(diǎn)位選擇有較高要求，難以大范圍推廣。
[0008]同時(shí)，視頻細(xì)節(jié)信息不足，無法滿足監(jiān)控實(shí)戰(zhàn)中既能看全景，又能看細(xì)節(jié)的要求。200、500萬像素?cái)z像機(jī)視頻融合在三維場景中后，會出現(xiàn)明顯的細(xì)節(jié)模糊現(xiàn)象，無法滿足高清監(jiān)控需要。
[0009]因此，為解決上述技術(shù)問題，確有必要提供一種創(chuàng)新的超高清視頻融合方法，以克服現(xiàn)有技術(shù)中的所述缺陷。
[0010]【
【發(fā)明內(nèi)容】
】
本發(fā)明的目的在于提供一種引入視頻流分級智能化管理和視頻流自適應(yīng)請求策略模塊來實(shí)現(xiàn)超高清視頻的融合的超高清視頻融合方法，其能夠有效的解決投資大、難度高、建設(shè)周期長的問題，并顯著提升了了融合后圖像的整體效果和系統(tǒng)分辨率。
[0011 ]為實(shí)現(xiàn)上述目的，本發(fā)明采取的技術(shù)方案為:一種超高清視頻融合方法，其包括如下流程:
I )，通過前端超高清視頻采集裝置獲取監(jiān)控場景的超高清視頻；
2)，對獲取的超高清視頻進(jìn)行視頻流分級智能化管理，具體包括圖像分層處理和圖像分塊處理；
3)，根據(jù)融合端用戶實(shí)際觀察目標(biāo)的情況，運(yùn)用視頻流自適應(yīng)請求策略向視頻流分級智能化管理模塊發(fā)出具體的視頻流請求，具體包括全局層級化請求和局部分塊化請求；
4)，視頻流分級智能化管理模塊再將相應(yīng)的視頻流通過編碼模塊進(jìn)行編碼通過網(wǎng)絡(luò)發(fā)送給解碼端，解碼模塊將其進(jìn)行解碼后輸入融合端，融合端根據(jù)之前離線處理形成的虛實(shí)配準(zhǔn)參數(shù)和規(guī)則，實(shí)現(xiàn)實(shí)時(shí)的配準(zhǔn)渲染顯示；
其中，所述編碼模塊對融合端需要請求的視頻流進(jìn)行編碼和網(wǎng)絡(luò)發(fā)送，同時(shí)，對視頻流分析智能化管理模塊產(chǎn)生的所有視頻流進(jìn)行編碼和存儲，用于后期回放。
[0012]本發(fā)明的超高清視頻融合方法進(jìn)一步為:步驟I)中的超高清視頻采集裝置采集分辨率高于1080P的視頻信號的攝像機(jī)。
[0013]本發(fā)明的超高清視頻融合方法進(jìn)一步為:步驟2)中，所述圖像分層處理將超高清視頻流中的圖像根據(jù)實(shí)際需求處理成1、n、m、iv質(zhì)量等級，且成倒金字塔結(jié)構(gòu)；I級是超高清視頻流的原始圖像分辨率大小，為金字塔最頂層，π級是在I級圖像的基礎(chǔ)上寬高各減少1/3所得的分辨率，m級和IV級圖像以此類推。
[0014]本發(fā)明的超高清視頻融合方法進(jìn)一步為:步驟2)中，所述圖像分塊處理將超高清視頻流中的圖像根據(jù)實(shí)際的監(jiān)控場景分割成為不同大小的矩形區(qū)域分別進(jìn)行壓縮管理。
[0015]本發(fā)明的超高清視頻融合方法進(jìn)一步為:步驟3)中，全局層級化請求指當(dāng)清染端用戶的視點(diǎn)較高，觀察范圍較大，甚至包含了整個(gè)監(jiān)控系統(tǒng)部署區(qū)域的時(shí)候，向視頻流分級智能化管理模塊請求不同質(zhì)量級別視頻流的請求控制策略;局部分塊化請求指當(dāng)渲染端用戶的視點(diǎn)較低，觀察范圍較小，一般只占一個(gè)超高清攝像機(jī)覆蓋范圍的一部分的時(shí)候，向視頻流分級智能化管理模塊請求不同子模塊視頻流的請求控制策略。
[0016]本發(fā)明的超高清視頻融合方法進(jìn)一步為:步驟4)中，所述編碼模塊需要對超高清視頻流進(jìn)行編碼壓縮，視頻流分級智能化管理輸出的所有分層視頻流和分塊視頻流，具體分為實(shí)時(shí)在線編碼發(fā)送和離線編碼存儲;實(shí)時(shí)在線編碼發(fā)送是針對渲染端請求對應(yīng)的分層視頻流或者分塊視頻流進(jìn)行編碼，并通過網(wǎng)絡(luò)發(fā)送出去；離線編碼存儲是指將視頻流分級智能化管理輸出的所有分層視頻流和分塊視頻流分別進(jìn)行編碼存儲，以用于后期渲染端的回放請求。
[0017]本發(fā)明的超高清視頻融合方法進(jìn)一步為:步驟4)中，所述虛實(shí)配準(zhǔn)包括如下步驟:
a.對攝像機(jī)攝取的圖像進(jìn)行視覺識別，找到各標(biāo)志點(diǎn)在圖像顯示坐標(biāo)系中的二維坐標(biāo)值；
b.通過各個(gè)標(biāo)志點(diǎn)在世界坐標(biāo)系中的三維坐標(biāo)值和在顯示坐標(biāo)系中的二維坐標(biāo)值，實(shí)時(shí)計(jì)算出攝像機(jī)的焦距、成像屏幕大小等內(nèi)部參數(shù)、在世界坐標(biāo)系中的位置和方向角的外部參數(shù)； C.根據(jù)實(shí)時(shí)計(jì)算出攝像機(jī)的焦距、成像屏幕大小等內(nèi)部參數(shù)、在世界坐標(biāo)系中的位置和方向角等外部參數(shù)設(shè)定虛擬相機(jī)。
[0018]本發(fā)明的超高清視頻融合方法還為:步驟4)中，所述實(shí)時(shí)配準(zhǔn)渲染過程包括使用OpenGL三維渲染技術(shù)，根據(jù)虛擬相機(jī)的位置、投影角度，物體的坐標(biāo)，求出每個(gè)頂點(diǎn)所對應(yīng)的紋理坐標(biāo)，然后依據(jù)紋理坐標(biāo)去查詢紋理值。
[0019]與現(xiàn)有技術(shù)相比，本發(fā)明具有如下有益效果:
I.本發(fā)明的超高清視頻融合方法利用多臺超高清攝像機(jī)視頻分別與三維立體地理信息系統(tǒng)模型進(jìn)行無縫融合，形成大范圍三維全景視頻。根據(jù)監(jiān)控目標(biāo)需求形成以三維街景模型與視頻采集圖像相互融合疊加的虛擬現(xiàn)實(shí)的最終展示效果。同時(shí)隨著調(diào)用者在三維GIS系統(tǒng)中不同位置、不同視角的變化，三維模型的位置、大小和方向與視頻信號的分辨率將隨著觀測點(diǎn)與被觀測目標(biāo)的遠(yuǎn)近關(guān)系和觀測角度進(jìn)行運(yùn)算疊加。觀測點(diǎn)與目標(biāo)越緊模型放大越大，調(diào)用的視頻分辨率也越高，反之亦然。
[0020]2.本發(fā)明的超高清視頻融合方法較現(xiàn)有的標(biāo)高清視頻融合技術(shù)，能夠減少融合所需的攝像機(jī)數(shù)量，減少建設(shè)和開發(fā)的工作量，大大降低視頻圖像融合的難度;其次，由于采用視頻信號為超高清信號，故在虛擬現(xiàn)實(shí)中圖像分辨率能夠有效得到提高，更能接近現(xiàn)實(shí)，從中觀測到目標(biāo)的細(xì)節(jié);最后，本發(fā)明能實(shí)現(xiàn)根據(jù)用戶的觀察范圍進(jìn)行圖像分辨率分級動態(tài)切換，即滿足人眼視覺的分辨率動態(tài)自適應(yīng)。
[0021]【【附圖說明】】
[0022]圖1是本發(fā)明的超高清視頻融合方法的原理圖。
[0023]圖2是本發(fā)明步驟2)中的圖像分層處理的示意圖。
[0024]圖3是本發(fā)明步驟3)中的圖像分塊處理的示意圖。
[0025]圖4是本發(fā)明步驟4)中的局部分塊化請求的示意圖。
[0026]【【具體實(shí)施方式】】
請參閱說明書附圖1至附圖4所示，本發(fā)明為一種超高清視頻融合方法，其包括如下流程:
I )，通過前端超高清視頻采集裝置獲取監(jiān)控場景的超高清視頻；
2)，對獲取的超高清視頻進(jìn)行視頻流分級智能化管理，具體包括圖像分層處理和圖像分塊處理；
3)，根據(jù)融合端用戶實(shí)際觀察目標(biāo)的情況，運(yùn)用視頻流自適應(yīng)請求策略向視頻流分級智能化管理模塊發(fā)出具體的視頻流請求，具體包括全局層級化請求和局部分塊化請求；
4)，視頻流分級智能化管理模塊再將相應(yīng)的視頻流通過編碼模塊進(jìn)行編碼通過網(wǎng)絡(luò)發(fā)送給解碼端，解碼模塊將其進(jìn)行解碼后輸入融合端，融合端根據(jù)之前離線處理形成的虛實(shí)配準(zhǔn)參數(shù)和規(guī)則，實(shí)現(xiàn)實(shí)時(shí)的配準(zhǔn)渲染顯示；
其中，所述編碼模塊對融合端需要請求的視頻流進(jìn)行編碼和網(wǎng)絡(luò)發(fā)送，同時(shí)，對視頻流分析智能化管理模塊產(chǎn)生的所有視頻流進(jìn)行編碼和存儲，用于后期回放。
[0027]進(jìn)一步的，所述超高清視頻采集設(shè)備采集分辨率高于1080P的視頻信號的攝像機(jī)，用于獲取對監(jiān)控場景的大范圍超高清的視頻流。目前產(chǎn)生超高清視頻信號的主要設(shè)備類型有4K尚清，1600萬像素、2000萬像素、3000萬像素?cái)z像機(jī)等。
[0028]所述視頻流分級智能化管理，是對超高清視頻采集設(shè)備采集的視頻流進(jìn)行分級的智能化管理，以應(yīng)對融合端多樣化自適應(yīng)的視頻流請求策略，可以總體降低網(wǎng)絡(luò)負(fù)載。
[0029]其中，圖像分層處理是指將超高清視頻流中的圖像根據(jù)實(shí)際需求處理成多個(gè)質(zhì)量等級(不同分辨率)的圖像分別進(jìn)行壓縮管理。在這里我們將單個(gè)超高清視頻流的圖像處理為1、π、m、IV質(zhì)量等級，且成倒金字塔結(jié)構(gòu)。I級是超高清視頻流的原始圖像分辨率大小，為金字塔最頂層，π級是在I級圖像的基礎(chǔ)上寬高各減少1/3所得的分辨率，m級和IV級圖像以此類推。具體見圖2所示。圖像分層處理針對每一級視頻流采用逐幀壓縮技術(shù)，其會對各級視頻流中的每個(gè)幀應(yīng)用壓縮算法。由此得到的視頻包含一系列單獨(dú)壓縮的幀，各幀均不需要其他幀的信息。因此，可單獨(dú)訪問每個(gè)幀，使得能夠?qū)崿F(xiàn)視頻流的快速請求與訪問。
[0030]圖像分塊處理是指將超高清視頻流中的圖像根據(jù)實(shí)際的監(jiān)控場景分割成為不同大小的矩形區(qū)域分別進(jìn)行壓縮管理。超高清的圖像覆蓋范圍廣泛，但分辨率比較大，而有時(shí)候渲染端用戶只需對監(jiān)控的某一處細(xì)節(jié)進(jìn)行漫游查看，那就僅需要對該特定區(qū)域的視頻進(jìn)行融合渲染，沒必要對整個(gè)超高清圖像進(jìn)行融合，所以這里需對超高清視頻流進(jìn)行分塊處理，以達(dá)到實(shí)時(shí)性和細(xì)節(jié)性的要求。在這里我們將單個(gè)超高清視頻按照子監(jiān)控目標(biāo)的場景完整性為原則分割為幾個(gè)子視頻，如A、B、C、D、E等。每個(gè)子視頻對應(yīng)一個(gè)較為完整的監(jiān)控目標(biāo)的場景，便于渲染端在觀察子監(jiān)控目標(biāo)細(xì)節(jié)的時(shí)候出現(xiàn)畫面缺失，具體見圖3所示。例如我們將I號超高清視頻進(jìn)行了圖像分塊處理之后形成1-A、1_B、1-C、1-D和1-E子視頻流，它們作為I號超高清視頻的子節(jié)點(diǎn)，相應(yīng)的，I號超高清視頻就是這些子視頻流的父節(jié)點(diǎn)，并附帶生成一個(gè)用于查找管理的索引表。
[0031]所述編碼模塊是指需要對超高清視頻流進(jìn)行編碼壓縮，輸入是視頻流分級智能化管理輸出的所有分層視頻流和分塊視頻流，具體分為實(shí)時(shí)在線編碼發(fā)送和離線編碼存儲。實(shí)時(shí)在線編碼發(fā)送是針對渲染端請求對應(yīng)的分層視頻流或者分塊視頻流進(jìn)行編碼，并通過網(wǎng)絡(luò)發(fā)送出去;離線編碼存儲是指將視頻流分級智能化管理輸出的所有分層視頻流和分塊視頻流分別進(jìn)行編碼存儲，以用于后期渲染端的回放請求。
[0032]所述解碼模塊是指對編碼模塊通過網(wǎng)絡(luò)傳輸過來的視頻流進(jìn)行解碼，以輸入到渲染端進(jìn)行視頻融合。
[0033]所述視頻流自適應(yīng)請求策略模塊，是對渲染端用戶實(shí)際查看監(jiān)控場景具體情況所實(shí)施的一個(gè)視頻流請求策略，以實(shí)現(xiàn)在有限帶寬的情況下達(dá)到流暢的幀率，保證監(jiān)控渲染端足夠的細(xì)節(jié)清晰度，滿足不同顆粒度視頻流的自適應(yīng)請求。具體包括全局層級化請求和局部分塊化請求。
[0034]其中，全局層級化請求是指當(dāng)渲染端用戶的視點(diǎn)較高，觀察范圍較大，甚至包含了整個(gè)監(jiān)控系統(tǒng)部署區(qū)域的時(shí)候，向視頻流分級智能化管理模塊請求不同質(zhì)量級別視頻流的請求控制策略。與視頻流分級智能化管理模塊中的圖像分層處理對應(yīng)，我們這里的層級化請求也分為4個(gè)等級，具體是根據(jù)用戶實(shí)際的監(jiān)控場景的可視高度來劃分。當(dāng)渲染端用戶在整個(gè)監(jiān)控系統(tǒng)的最高點(diǎn)時(shí)，一般可以觀察到所有超高清攝像機(jī)覆蓋的監(jiān)控范圍，所以這時(shí)請求所有IV質(zhì)量等級的超高清視頻流；當(dāng)渲染端用戶在監(jiān)控系統(tǒng)中降低視點(diǎn)，可觀看到1-2個(gè)超尚清攝像機(jī)副尚的監(jiān)控范圍的時(shí)候，便請求對應(yīng)的ΠΙ質(zhì)量等級的超尚清視頻流；以此類推。渲染端用戶的全局視點(diǎn)越低，我們請求的層級圖像的質(zhì)量等級就越高。
[0035]局部分塊化請求是指當(dāng)渲染端用戶的視點(diǎn)較低，觀察范圍較小，一般只占一個(gè)超高清攝像機(jī)覆蓋范圍的一部分的時(shí)候，向視頻流分級智能化管理模塊請求不同子模塊視頻流的請求控制策略。與視頻流分級智能化管理模塊中圖像分塊處理對應(yīng)，我們這里的分塊化請求是根據(jù)用戶觀察子監(jiān)控目標(biāo)區(qū)域的具體位置信息，在視頻流分級智能化管理模塊中圖像分塊處理產(chǎn)生的索引表中查找并請求對應(yīng)的子模塊視頻流。這里根據(jù)實(shí)際的視點(diǎn)范圍可以請求I個(gè)子視頻流，也可以請求相鄰的多個(gè)子視頻流，甚至是請求跨攝像頭的多個(gè)子視頻流，具體見圖4所示。
[0036]所述虛實(shí)配準(zhǔn)模塊是指通過精準(zhǔn)的相機(jī)標(biāo)定與三維注冊，使虛擬物體可以與真實(shí)世界進(jìn)行無縫融合。在真實(shí)世界中交互設(shè)定世界坐標(biāo)系的原點(diǎn)、X坐標(biāo)、Y坐標(biāo)、Z坐標(biāo)，并測量出多個(gè)標(biāo)志點(diǎn)的三維坐標(biāo)值。對攝像機(jī)攝取的圖像進(jìn)行視覺識別，找到各標(biāo)志點(diǎn)在圖像顯示坐標(biāo)系中的二維坐標(biāo)值。
[0037]通過各個(gè)標(biāo)志點(diǎn)在世界坐標(biāo)系中的三維坐標(biāo)值和在顯示坐標(biāo)系中的二維坐標(biāo)值，實(shí)時(shí)計(jì)算出攝像機(jī)的焦距、成像屏幕大小等內(nèi)部參數(shù)、在世界坐標(biāo)系中的位置和方向角等外部參數(shù)。
[0038]根據(jù)實(shí)時(shí)計(jì)算出攝像機(jī)的焦距、成像屏幕大小等內(nèi)部參數(shù)、在世界坐標(biāo)系中的位置和方向角等外部參數(shù)設(shè)定虛擬相機(jī)。
[0039]所述實(shí)時(shí)渲染模塊是指使用OpenGL三維渲染技術(shù)，根據(jù)上述虛擬配準(zhǔn)模塊輸出的參數(shù)，來決定圖像在何種位置以何種方式顯示在屏幕上，基本流程是:根據(jù)虛擬相機(jī)的位置、投影角度，物體的坐標(biāo)，求出每個(gè)頂點(diǎn)所對應(yīng)的紋理坐標(biāo)，然后依據(jù)紋理坐標(biāo)去查詢紋理值。
[0040]虛擬相機(jī)對三維虛擬場景進(jìn)行變換的方法如下:
I)將變換后的虛擬場景的影像疊加到實(shí)際場景的影像中，實(shí)現(xiàn)虛實(shí)融合。將虛實(shí)融合后的圖像通過頭藍(lán)或投影機(jī)顯示出來，觀察者看到的是虛實(shí)融合后的場景。
[0041]2)將現(xiàn)實(shí)環(huán)境的標(biāo)識物上存在渲染三維的虛擬動畫，實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的效果。
[0042]當(dāng)渲染虛擬攝像機(jī)視角內(nèi)容時(shí)，只有與目標(biāo)物相關(guān)的像素部分由從監(jiān)控?cái)z像機(jī)中獲取的圖像進(jìn)行投影照亮，并且能看到動態(tài)視頻紋理的投影。
[0043]以上的【具體實(shí)施方式】僅為本創(chuàng)作的較佳實(shí)施例，并不用以限制本創(chuàng)作，凡在本創(chuàng)作的精神及原則之內(nèi)所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本創(chuàng)作的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.一種超高清視頻融合方法，其特征在于:包括如下流程: 1)，通過前端超高清視頻采集裝置獲取監(jiān)控場景的超高清視頻； 2)，對獲取的超高清視頻進(jìn)行視頻流分級智能化管理，具體包括圖像分層處理和圖像分塊處理； 3)，根據(jù)融合端用戶實(shí)際觀察目標(biāo)的情況，運(yùn)用視頻流自適應(yīng)請求策略向視頻流分級智能化管理模塊發(fā)出具體的視頻流請求，具體包括全局層級化請求和局部分塊化請求； 4)，視頻流分級智能化管理模塊再將相應(yīng)的視頻流通過編碼模塊進(jìn)行編碼通過網(wǎng)絡(luò)發(fā)送給解碼端，解碼模塊將其進(jìn)行解碼后輸入融合端，融合端根據(jù)之前離線處理形成的虛實(shí)配準(zhǔn)參數(shù)和規(guī)則，實(shí)現(xiàn)實(shí)時(shí)的配準(zhǔn)渲染顯示； 其中，所述編碼模塊對融合端需要請求的視頻流進(jìn)行編碼和網(wǎng)絡(luò)發(fā)送，同時(shí)，對視頻流分析智能化管理模塊產(chǎn)生的所有視頻流進(jìn)行編碼和存儲，用于后期回放。2.如權(quán)利要求1所述的超高清視頻融合方法，其特征在于:步驟I)中的超高清視頻采集設(shè)備采集分辨率高于1080P的視頻信號的攝像機(jī)。3.如權(quán)利要求1所述的超高清視頻融合方法，其特征在于:步驟2)中，所述圖像分層處理將超高清視頻流中的圖像根據(jù)實(shí)際需求處理成1、n、m、iv質(zhì)量等級，且成倒金字塔結(jié)構(gòu)；I級是超高清視頻流的原始圖像分辨率大小，為金字塔最頂層，π級是在I級圖像的基礎(chǔ)上寬高各減少1/3所得的分辨率，m級和IV級圖像以此類推。4.如權(quán)利要求1所述的超高清視頻融合方法，其特征在于:步驟2)中，所述圖像分塊處理將超高清視頻流中的圖像根據(jù)實(shí)際的監(jiān)控場景分割成為不同大小的矩形區(qū)域分別進(jìn)行壓縮管理。5.如權(quán)利要求1所述的超高清視頻融合方法，其特征在于:步驟3)中，全局層級化請求指當(dāng)渲染端用戶的視點(diǎn)較高，觀察范圍較大，甚至包含了整個(gè)監(jiān)控系統(tǒng)部署區(qū)域的時(shí)候，向視頻流分級智能化管理模塊請求不同質(zhì)量級別視頻流的請求控制策略;局部分塊化請求指當(dāng)渲染端用戶的視點(diǎn)較低，觀察范圍較小，一般只占一個(gè)超高清攝像機(jī)覆蓋范圍的一部分的時(shí)候，向視頻流分級智能化管理模塊請求不同子模塊視頻流的請求控制策略。6.如權(quán)利要求1所述的超高清視頻融合方法，其特征在于:步驟4)中，所述編碼模塊需要對超高清視頻流進(jìn)行編碼壓縮，視頻流分級智能化管理輸出的所有分層視頻流和分塊視頻流，具體分為實(shí)時(shí)在線編碼發(fā)送和離線編碼存儲;實(shí)時(shí)在線編碼發(fā)送是針對渲染端請求對應(yīng)的分層視頻流或者分塊視頻流進(jìn)行編碼，并通過網(wǎng)絡(luò)發(fā)送出去；離線編碼存儲是指將視頻流分級智能化管理輸出的所有分層視頻流和分塊視頻流分別進(jìn)行編碼存儲，以用于后期渲染端的回放請求。7.如權(quán)利要求1所述的超高清視頻融合方法，其特征在于:步驟4)中，所述虛實(shí)配準(zhǔn)包括如下步驟: a.對攝像機(jī)攝取的圖像進(jìn)行視覺識別，找到各標(biāo)志點(diǎn)在圖像顯示坐標(biāo)系中的二維坐標(biāo)值； b.通過各個(gè)標(biāo)志點(diǎn)在世界坐標(biāo)系中的三維坐標(biāo)值和在顯示坐標(biāo)系中的二維坐標(biāo)值，實(shí)時(shí)計(jì)算出攝像機(jī)的焦距、成像屏幕大小等內(nèi)部參數(shù)、在世界坐標(biāo)系中的位置和方向角的外部參數(shù)； c.根據(jù)實(shí)時(shí)計(jì)算出攝像機(jī)的焦距、成像屏幕大小等內(nèi)部參數(shù)、在世界坐標(biāo)系中的位置和方向角等外部參數(shù)設(shè)定虛擬相機(jī)。8.如權(quán)利要求1所述的超高清視頻融合方法，其特征在于:步驟4)中，所述實(shí)時(shí)配準(zhǔn)渲染過程包括使用OpenGL三維渲染技術(shù)，根據(jù)虛擬相機(jī)的位置、投影角度，物體的坐標(biāo)，求出每個(gè)頂點(diǎn)所對應(yīng)的紋理坐標(biāo)，然后依據(jù)紋理坐標(biāo)去查詢紋理值。
【文檔編號】G06T5/50GK105872496SQ201610501834
【公開日】2016年8月17日
【申請日】2016年7月1日
【發(fā)明人】黃巖
【申請人】黃巖