專利名稱：一種基于體域傳感陣列的全景視頻碼流生成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種針對穿戴式全景監(jiān)控系統(tǒng)的視頻碼流生成方法，屬于圖像通信技術(shù)領(lǐng)域。
背景技術(shù)：
隨著圖像處理、微型傳感器與無線通信技術(shù)的發(fā)展，便攜式無線監(jiān)控應(yīng)用逐漸興起，使用者可利用便攜式無線監(jiān)控系統(tǒng)隨時隨地進(jìn)行拍攝，并將現(xiàn)場的視頻信息實(shí)時地傳回監(jiān)控中心。目前，已有便攜式無線監(jiān)控系統(tǒng)的視域范圍有限，只能監(jiān)控前方某一范圍內(nèi)的場景，無法顧及四周360度范圍內(nèi)發(fā)生的所有事件；此外，該類系統(tǒng)的隱蔽性較差，其與服裝的融合性仍有相當(dāng)大的改進(jìn)空間。全景成像技術(shù)能在同一時刻獲取360度范圍內(nèi)的視域信息，已在全景地圖、車載導(dǎo)航、攝像機(jī)器人中得到了廣泛應(yīng)用?？烨蛳到y(tǒng)就是一種典型的全景成像裝置，它通過攝像頭的旋轉(zhuǎn)來采集大范圍的場景信息。由于存在較慢的轉(zhuǎn)動機(jī)構(gòu)，快球系統(tǒng)難以應(yīng)用在實(shí)時性要求較高的場合，同一時刻只能獲取某一角度的畫面，在實(shí)時監(jiān)控時會出現(xiàn)大面積的盲區(qū)。因此，基于多個攝像頭協(xié)同工作的多源全景成像技術(shù)應(yīng)運(yùn)而生。多源全景成像的思想緣于全景拼圖，它采用多個攝像頭同時獲取不同角度的場景信息，然后將多幅圖像進(jìn)行拼接生成全景圖像，由此實(shí)現(xiàn)自由視角切換以及場景漫游等功能。作為一種傳統(tǒng)的多源全景成像技術(shù)，中心投影法圍繞一個固定點(diǎn)安裝多個共焦點(diǎn)的攝像頭，將全部視角疊加起來形成全景視頻，該技術(shù)僅適合于一體化的全景攝像裝置。為了克服中心投影法的局限性，柱面投影法在三維空間視場和有限的二維像平面之間建立了一種新的投影關(guān)系，即將三維立柱區(qū)域投影到二維平面的圓環(huán)區(qū)域。柱面投影全景成像具有使景物在垂直方向上不發(fā)生任何變形的性質(zhì)，實(shí)景圖像上同一垂直線上的兩個像素點(diǎn)在柱面全景圖像上仍然具有相同的橫坐標(biāo)?，F(xiàn)有的多源全景成像系統(tǒng)均采用有線連接的方式收集多個攝像頭的視頻信息， 而無線連接的方式將極大地增強(qiáng)多個攝像頭的布局靈活性。體域網(wǎng)是一種在人體范圍內(nèi)的無線通信網(wǎng)絡(luò)，各個通信節(jié)點(diǎn)依賴于電池供電。體域網(wǎng)可采用三種短距無線通信技術(shù) ZigBee、藍(lán)牙、超寬帶(Ultra WideBand，簡稱 “UWB”)。ZigBee 是一種基于 IEEE 802.15.4 標(biāo)準(zhǔn)的無線通信技術(shù)，其最高傳輸速率僅為250 Kbps ；藍(lán)牙的最高傳輸速率為1 Mbps，比較適合于點(diǎn)對點(diǎn)的語音通信。對于高速率的無線視頻傳輸，藍(lán)牙或ZigBee技術(shù)均存在諸多限制。超寬帶體域網(wǎng)工作在3. 1-10.6 GHz頻段，使用500 MHz以上的傳輸帶寬，傳輸沒有視線限制，在實(shí)際應(yīng)用中具有抗干擾性強(qiáng)、傳輸速率高、耗電低、保密性好和成本低等諸多優(yōu)勢。 超寬帶體域網(wǎng)的傳輸速率可達(dá)480 Mbps，能夠?qū)崿F(xiàn)多路視頻原始數(shù)據(jù)的實(shí)時傳輸，例如，一路常用的CIF (352X^8、4:2:0、30幀/秒)格式視頻具有約36 Mbps的原始速率，一個超寬帶體域網(wǎng)支持的原始視頻傳輸路數(shù)可達(dá)“480/36 ^ 13”。在注重效能的穿戴式全景監(jiān)控系統(tǒng)中，系統(tǒng)節(jié)點(diǎn)的處理能力、電池能量及網(wǎng)絡(luò)帶寬等資源均相當(dāng)有限，而較低的外網(wǎng)帶寬以及復(fù)雜的全景拼接對于多源全景壓縮的性能又提出了較高的要求，如何提高此類系統(tǒng)的整體效能已成為迫切需要解決的技術(shù)問題。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于體域傳感陣列的全景視頻碼流生成方法，能夠?qū)Υ┐髡咧車?60度水平視域進(jìn)行實(shí)時監(jiān)控。為了達(dá)到上述目的，本發(fā)明的技術(shù)方案是提供了一種基于體域傳感陣列的全景視頻碼流生成方法，其特征在于，步驟為
步驟1、在人體服裝上布置一個協(xié)調(diào)器和N個傳感器節(jié)點(diǎn)，N ^ 3，所有傳感器節(jié)點(diǎn)的拍攝朝向均向上傾斜一定的角度，且成像焦點(diǎn)位于同一平面上，傳感器節(jié)點(diǎn)的水平視場角之和大于360度，使得N個傳感器節(jié)點(diǎn)在穿戴者周圍360度水平視域內(nèi)能夠進(jìn)行柱面投影全景成像，協(xié)調(diào)器與傳感器節(jié)點(diǎn)之間的內(nèi)部通信采用星形拓?fù)涞某瑢拵w域網(wǎng)；
步驟2、將協(xié)調(diào)器與廣域外網(wǎng)之間建立無線通訊連接，廣域外網(wǎng)與監(jiān)控中心之間通過有線或無線方式建立通訊連接；
步驟3、由N個傳感器節(jié)點(diǎn)在各自的水平視場角范圍內(nèi)采集圖像并通過超寬帶體域網(wǎng)發(fā)送給協(xié)調(diào)器，一個傳感器節(jié)點(diǎn)在一個時刻采集到的圖像為一子幀，由協(xié)調(diào)器將同一時刻的N路子幀構(gòu)成一超幀后，對當(dāng)前超幀的原始數(shù)據(jù)進(jìn)行多視點(diǎn)視頻編碼，編碼后的數(shù)據(jù)經(jīng)過外網(wǎng)適配工作后，通過廣域外網(wǎng)傳輸至監(jiān)控中心，由監(jiān)控中心進(jìn)行全景拼接。由于采用了上述的技術(shù)方案，本發(fā)明與現(xiàn)有技術(shù)相比，具有以下的優(yōu)點(diǎn)和積極效果基于體域傳感陣列的全景視頻碼流生成方法有效地實(shí)現(xiàn)了多源全景視頻的同步采集、 聯(lián)合編碼及外網(wǎng)適配，使得穿戴式全景監(jiān)控系統(tǒng)能夠?qū)Υ┐髡咧車?60度水平視域進(jìn)行實(shí)時監(jiān)控。體域傳感陣列可根據(jù)需要進(jìn)行靈活的布局，減少了現(xiàn)有的多源全景成像系統(tǒng)對一體化硬件的依賴。該全景視頻碼流生成方法能夠適應(yīng)穿戴式全景監(jiān)控系統(tǒng)的應(yīng)用需求，能夠取得低功耗、低延時、高質(zhì)量的整體效能。此外，該方法有利于解決現(xiàn)有便攜式無線監(jiān)控系統(tǒng)不能和人體服裝隱蔽結(jié)合的不足，增強(qiáng)了此類系統(tǒng)與人體服裝相融合的隱蔽性能。在穿戴式全景監(jiān)控應(yīng)用中，本發(fā)明可應(yīng)用于隱密采訪、軍警探測等前沿領(lǐng)域，以支持公共安全實(shí)時感知與應(yīng)急處理的新需求。


圖1為本發(fā)明中基于體域傳感陣列的全景視頻碼流生成方法的應(yīng)用場景示意圖； 圖2為本發(fā)明中傳感器節(jié)點(diǎn)與協(xié)調(diào)器在人體服裝上的穿著者正面布局示意圖3為本發(fā)明中傳感器節(jié)點(diǎn)與協(xié)調(diào)器在人體服裝上的穿著者背面布局示意圖； 圖4為本發(fā)明采用的柱面投影全景成像示意圖(穿戴者的側(cè)面視圖)； 圖5為本發(fā)明采用的柱面投影全景成像示意圖(穿戴者的頂部視圖)； 圖6為本發(fā)明中全景視頻碼流生成方法的多任務(wù)流程圖； 圖7為本發(fā)明中高效能的子幀級編碼順序示意圖。
具體實(shí)施例方式為使本發(fā)明更明顯易懂，茲以一優(yōu)選實(shí)施例，并配合附圖作詳細(xì)說明如下。 在介紹本優(yōu)選實(shí)施例前，先對本發(fā)明中用到一些概念加以說明。在多源全景原始數(shù)據(jù)中，同一時刻采集的多路子幀構(gòu)成一個“超幀”(Super Frame，簡稱“SF”)，若干個連續(xù)的超幀構(gòu)成一個“超圖像組”(Group of Group Of Pictures，簡稱“GoGOP”)，每個超圖像組主要由采用前向預(yù)測編碼的子幀構(gòu)成?；隗w域傳感陣列的全景視頻碼流生成方法具有如圖1所示的應(yīng)用場景示意圖。 作為一種穿戴式全景監(jiān)控系統(tǒng)，體域傳感陣列需要在用戶服裝上靈活地安裝一個協(xié)調(diào)器和若干傳感器節(jié)點(diǎn)，協(xié)調(diào)器與傳感器節(jié)點(diǎn)之間的通信采用星形拓?fù)涞某瑢拵w域網(wǎng)。協(xié)調(diào)器負(fù)責(zé)體域傳感陣列的控制調(diào)度與信號處理，其硬件主要包括CPU、超寬帶收發(fā)模塊、外網(wǎng)通信模塊、雙超幀緩沖區(qū)、異步FIFO，其中，CPU分別連接超寬帶收發(fā)模塊、外網(wǎng)通信模塊、雙超幀緩沖區(qū)及異步FIFO。傳感器節(jié)點(diǎn)的硬件主要包括微型攝像頭、超寬帶收發(fā)模塊、角度測量模塊，其中，角度測量模塊安裝在微型攝像頭的背部，角度測量模塊及微型攝像頭連接超寬帶收發(fā)模塊，用于逐幀地獲取該傳感器節(jié)點(diǎn)的三維角度等拍攝朝向信息，以糾正由于穿戴者運(yùn)動所引起的視頻抖動。穿戴者的運(yùn)動可能導(dǎo)致傳感器節(jié)點(diǎn)的拍攝朝向在一定范圍內(nèi)變化，因此傳感器節(jié)點(diǎn)通過角度測量模塊的同步運(yùn)動記錄當(dāng)前子幀采集時的拍攝朝向信息。由于拍攝朝向的變化范圍較小，角度測量模塊應(yīng)具有較高的靈敏度，又由于穿戴者運(yùn)動頻率不高，角度測量模塊僅需要IOOHz左右的工作頻帶。多源全景成像所需的傳感器節(jié)點(diǎn)數(shù)量與單個傳感器節(jié)點(diǎn)的視角大小有關(guān)，一個普通鏡頭的水平視場角只有75度左右，而一個廣角鏡頭的水平視場角可達(dá)90度以上。傳感器節(jié)點(diǎn)的微型攝像頭采用廣角鏡頭，以減少傳感器節(jié)點(diǎn)的個數(shù)并且增強(qiáng)隱蔽性。在圖1中， C1、C2、C3、C4表示四個傳感器節(jié)點(diǎn)，分別負(fù)責(zé)一路子視頻源的采集，S、M分別表示體域傳感陣列的耳塞節(jié)點(diǎn)和麥克風(fēng)節(jié)點(diǎn)。穿戴者可通過麥克風(fēng)M將現(xiàn)場的音頻信息實(shí)時地傳回監(jiān)控中心，并通過耳塞S接收來自監(jiān)控中心的反饋語音。協(xié)調(diào)器控制多個傳感器節(jié)點(diǎn)進(jìn)行不同視域的信號采集，并對多源全景視頻的原始數(shù)據(jù)進(jìn)行低功耗的聯(lián)合壓縮編碼，然后通過3G等廣域外網(wǎng)將多源全景視頻的壓縮碼流實(shí)時地傳回監(jiān)控中心。監(jiān)控中心在收到全景視頻碼流以及每一子幀的拍攝朝向信息之后，可進(jìn)行全景視頻的解碼與合成。體域傳感陣列應(yīng)分布于穿戴者運(yùn)動程度較小的服裝部位，且節(jié)點(diǎn)之間的空間位置關(guān)系相對穩(wěn)定。圖2及圖3給出了一個體域傳感陣列在人體服裝上進(jìn)行布局的示意圖，圖中C1、C2、C3、C4表示不同拍攝朝向的傳感器節(jié)點(diǎn)，它們分布在人體服裝的軀干部位且成像焦點(diǎn)位于同一平面上，如圖4及圖5所示，四個傳感器節(jié)點(diǎn)相對于柱面中軸呈準(zhǔn)對稱特性， 共同完成多源全景視頻的采集。在實(shí)施穿戴式全景監(jiān)控之前，體域傳感陣列的布局應(yīng)進(jìn)行優(yōu)化調(diào)整，每個傳感器節(jié)點(diǎn)的拍攝朝向均向上傾斜一定的角度，以便接近人眼環(huán)顧四周時的觀察效果，同時通過調(diào)整使得Cl與C2、C3與C4之間具有更大的重疊視域，以降低手臂遮擋對全景視頻合成質(zhì)量的影響。圖4及圖5，是本發(fā)明所采用的柱面投影全景成像示意圖，分別從穿戴者的側(cè)面和頂部進(jìn)行展示，傳感器節(jié)點(diǎn)Cl、C2、C3、C4的成像焦點(diǎn)位于同一平面上，當(dāng)全景成像系統(tǒng)以柱面中軸作為成像焦點(diǎn)的對稱軸時，就可以高質(zhì)量地獲取柱面全景圖的各個原始子幀。柱面全景圖在水平方向上能實(shí)現(xiàn)360度的環(huán)視效果，而在垂直方向上的視角通常小于180度。 若四個傳感器節(jié)點(diǎn)的水平視場角均為R度且滿足“4X R>360”，則可通過柱面投影全景成像獲取水平360度的視域信息。為了超幀拼接的需要，傳感器節(jié)點(diǎn)的相對位置與拍攝朝向應(yīng)
7使子幀之間具有重疊區(qū)域，重疊部分的比例取決于體域傳感陣列的布局與采集參數(shù)。在對本發(fā)明硬件部分做出上述布局后，即可采集圖像并處理，其步驟為由N個傳感器節(jié)點(diǎn)在各自的水平視場角范圍內(nèi)采集圖像并通過超寬帶體域網(wǎng)發(fā)送給協(xié)調(diào)器，一個傳感器節(jié)點(diǎn)在一個時刻采集到的圖像為一子幀，由協(xié)調(diào)器將同一時刻的N路子幀構(gòu)成一超幀后，對當(dāng)前超幀的原始數(shù)據(jù)進(jìn)行多視點(diǎn)視頻編碼，編碼后的數(shù)據(jù)經(jīng)過外網(wǎng)適配工作后，通過廣域外網(wǎng)傳輸至監(jiān)控中心，由監(jiān)控中心進(jìn)行全景拼接。協(xié)調(diào)器是體域傳感陣列的調(diào)度中心，它在開機(jī)后首先創(chuàng)建一個超寬帶體域網(wǎng)絡(luò)， 隨后發(fā)送無線激活信號，接納傳感器節(jié)點(diǎn)的入網(wǎng)請求。在開機(jī)完成后，協(xié)調(diào)器需要根據(jù)當(dāng)前資源情況(如CPU占用率、電池能量、通信帶寬)進(jìn)行全景視頻碼流生成的優(yōu)化控制，提高體域傳感陣列的整體效能。全景視頻碼流生成方法通過協(xié)調(diào)器實(shí)現(xiàn)多路采集、多視編碼與遠(yuǎn)程傳輸?shù)炔l(fā)的任務(wù)，不同任務(wù)之間通過消息與緩存機(jī)制進(jìn)行協(xié)同工作。結(jié)合圖6，協(xié)調(diào)器同時啟動多路采集任務(wù)、多視編碼任務(wù)及遠(yuǎn)程傳輸任務(wù)，其中，由多路采集任務(wù)采集同一時刻的N路子幀并組成一超幀，由多視編碼任務(wù)對當(dāng)前超幀的原始數(shù)據(jù)進(jìn)行多視點(diǎn)視頻編碼，由遠(yuǎn)程傳輸任務(wù)對編碼后的數(shù)據(jù)進(jìn)行外網(wǎng)適配并發(fā)送給廣域外網(wǎng)。其中，所述多路采集任務(wù)多路通過超寬帶體域網(wǎng)控制N個傳感器節(jié)點(diǎn)的運(yùn)行，在任務(wù)啟動后向各傳感器節(jié)點(diǎn)發(fā)送統(tǒng)一的分辨率、幀率、焦距、拍攝模式等采集參數(shù)，以保證各子幀采集質(zhì)量的一致性。為保障多路視頻原始數(shù)據(jù)的傳輸穩(wěn)定性，超寬帶體域網(wǎng)的MAC 層采用保留通道的時分多址方式，保留通道占用時隙的相關(guān)信息在信標(biāo)時段傳送。只有對同一時刻采集的多路子幀進(jìn)行緩存，才能生成同步的超幀序列，因此多路采集任務(wù)還要進(jìn)行超幀采集的同步管理。多路采集任務(wù)采用雙超幀緩沖區(qū)機(jī)制。由于傳感器節(jié)點(diǎn)的數(shù)目有限且超寬帶的傳輸速率較高，同一超幀中不同子幀之間的傳輸延遲較低，多路采集任務(wù)采用簡單有效的子幀級同步策略。其具體步驟為
步驟1. 1、開辟兩塊原始超幀大小的緩沖區(qū)，兩塊緩沖區(qū)交替地用于當(dāng)前超幀的編碼輸入存儲和下一超幀的采集存儲，每塊緩沖區(qū)內(nèi)部再分成N個子緩沖區(qū)，每個子緩沖區(qū)分別存儲來自特定傳感器節(jié)點(diǎn)的子幀數(shù)據(jù)。步驟1. 2、向N個傳感器節(jié)點(diǎn)發(fā)送采集參數(shù)，以保證各傳感器節(jié)點(diǎn)采集質(zhì)量的一致性；
步驟1. 3、控制N個傳感器節(jié)點(diǎn)并發(fā)采集數(shù)據(jù)，將N個傳感器節(jié)點(diǎn)收集到的N個子幀分別存入一個緩沖區(qū)內(nèi)的一個子緩沖區(qū)中，當(dāng)該緩沖區(qū)被填滿后，向所述多視編碼任務(wù)發(fā)出 “當(dāng)前超幀可用，，消息，等待所述多視編碼任務(wù)發(fā)出的“采集下一超幀”消息，直至收到該消息后，才進(jìn)入下一步；
步驟1. 4、控制N個傳感器節(jié)點(diǎn)并發(fā)采集數(shù)據(jù)，將N個傳感器節(jié)點(diǎn)收集到的N個子幀分別存入另一個緩沖區(qū)內(nèi)的一個子緩沖區(qū)中，當(dāng)該緩沖區(qū)被填滿后，向所述多視編碼任務(wù)發(fā)出“當(dāng)前超幀可用”消息；
步驟1.5、判斷是否收到“資源將盡”消息，若是，則退出任務(wù)，若否，則返回執(zhí)行步驟
1. 3。多源全景成像的視野范圍是普通成像的數(shù)倍，其原始數(shù)據(jù)量也是普通成像的數(shù)倍，更大的數(shù)據(jù)量必然導(dǎo)致處理復(fù)雜度的提高，而電池供電的體域傳感陣列僅有較少的計
8算、通信與存儲資源，需要與之匹配的視頻壓縮編碼技術(shù)。就體域傳感陣列的應(yīng)用需求而言，數(shù)量有限的傳感器節(jié)點(diǎn)需要盡量微型化，如果在傳感器節(jié)點(diǎn)部署實(shí)時編碼模塊，必定會使節(jié)點(diǎn)體積明顯增大，不利于提升隱蔽性；另一方面，由于體域傳感陣列是一個星形的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，位于中心的協(xié)調(diào)器具有較強(qiáng)的處理能力，在一段時間內(nèi)進(jìn)行H. ^4/MVC等多視點(diǎn)視頻編碼是可行的。如果對多路視頻進(jìn)行不同子幀類型的編碼，則幀內(nèi)編碼的壓縮效率過低，雙向預(yù)測編碼的復(fù)雜度過高；由于同一超幀的子幀之間具有較弱的相關(guān)性，前向預(yù)測編碼能夠在編碼速度與壓縮效率之間達(dá)到更好的平衡?？紤]到低功耗、低延時監(jiān)控的需要， 全景視頻碼流生成方法對多視點(diǎn)視頻編碼的子幀編碼順序進(jìn)行了改進(jìn)，多視編碼任務(wù)采用了高效能的子幀級編碼順序，如圖7所示，每個小方框表示一個子幀，同一時刻的4個子幀組成一個超幀，“SFt”表示按時間順序的第t個超幀，多個連續(xù)的超幀組成一個超圖像組 GoGOP，例如圖中6個連續(xù)超幀組成一個GoGOP，子幀間箭頭表示預(yù)測關(guān)系；I、P分別表示幀內(nèi)編碼、前向預(yù)測編碼，其下標(biāo)表明了在同一 GoGOP中子幀編碼的先后順序。多視編碼任務(wù)采用H. 264/MVC等多視點(diǎn)視頻編碼器對當(dāng)前超幀進(jìn)行壓縮，該任務(wù)占用了協(xié)調(diào)器主要的CPU資源。異步FIFO是一種先進(jìn)先出的緩存電路，用于在兩個不同時鐘模塊之間快速地傳輸數(shù)據(jù)。多視編碼任務(wù)的具體步驟為
步驟2. 1、判斷是否收到“當(dāng)前超幀可用”消息，若是，則進(jìn)入下一步，否則繼續(xù)等待； 步驟2. 2、向所述多路采集任務(wù)發(fā)出“采集下一超幀”消息；
步驟2. 3、按照圖7所示的子幀級編碼順序編碼當(dāng)前超幀的一個子幀，并將碼流壓入一異步FIFO進(jìn)行數(shù)據(jù)緩存，；
步驟2. 4、判斷CPU占用率是否超過上閾值，若是，則下一步，否則進(jìn)入步驟2. 7 ； 步驟2. 5、暫停編碼，等待一個正常超幀的時間；
步驟2. 6、判斷CPU占用率是否低于下閾值，若是則進(jìn)入步驟2. 7，否則跳回步驟2. 5 ； 步驟2. 7、判斷是否接收到關(guān)機(jī)指令或電池能量是否將盡，若是，則發(fā)出“資源將盡”消息，退出任務(wù)，若否，則判斷當(dāng)前超幀是否結(jié)束編碼，若否，則跳回步驟2. 3，若是，則進(jìn)入下
一步；
步驟2. 8、判斷當(dāng)前超幀是否為第一個超幀，若否，則跳回步驟2. 1，若是，則發(fā)出“第一個超幀編碼完成”消息，隨后跳回步驟2. 1。多視編碼任務(wù)還執(zhí)行超幀質(zhì)量一致性控制算法和主動跳幀算法。結(jié)構(gòu)相似度算法(Structural Similarity，簡稱“SSIM”)是一種基于結(jié)構(gòu)信息衡量原始信號與壓縮信號之間相似程度的準(zhǔn)則，與主觀感知質(zhì)量的關(guān)聯(lián)性較強(qiáng)，超幀質(zhì)量一致性控制算法采用SSIM 準(zhǔn)則在超幀的多個子幀之間取得相對一致的編碼質(zhì)量。當(dāng)監(jiān)控場景劇烈變化時，運(yùn)動估計模塊的運(yùn)算量會大幅增加，使得協(xié)調(diào)器的CPU超負(fù)荷運(yùn)行，導(dǎo)致重建視頻出現(xiàn)馬賽克且系統(tǒng)面臨崩潰的危險。視頻監(jiān)控應(yīng)用注重單幅超幀圖像的高質(zhì)量，全幀率的約束條件會導(dǎo)致超幀質(zhì)量的顯著下降，因此多視編碼任務(wù)采用一種主動跳幀算法來避免CPU處于超負(fù)荷狀態(tài)，以使協(xié)調(diào)器長期穩(wěn)定運(yùn)行。為了防止CPU超負(fù)荷運(yùn)行，多視編碼任務(wù)在壓縮當(dāng)前超幀的下一子幀之前，會查詢當(dāng)前時段的CPU占用率。當(dāng)CPU占用率超過上閾值時，多視編碼任務(wù)將暫停當(dāng)前超幀后續(xù)子幀的編碼，每隔一個正常超幀的時間間隔就查詢當(dāng)前時段的CPU 占用率，直到當(dāng)前的CPU占用率低于下閾值之后，才繼續(xù)對當(dāng)前超幀的下一子幀進(jìn)行編碼。上閾值和下閾值的選擇取決于協(xié)調(diào)器的硬件配置與操作系統(tǒng)等因素，例如可將CPU占用率 95%作為上閾值，CPU占用率80%作為下閾值。編碼器通過主動跳幀算法，可保證編碼出來的壓縮碼流均是有效數(shù)據(jù)，以避免無效的超幀采集與編碼。在壓縮下一子幀之前，多視編碼任務(wù)還會檢查關(guān)機(jī)信息和剩余的電池能量。如果查到關(guān)機(jī)指令或者電池能量將盡，多視編碼任務(wù)將通知多路采集、遠(yuǎn)程傳輸任務(wù)“資源將盡”，使得三個任務(wù)隨后退出運(yùn)行。
遠(yuǎn)程傳輸任務(wù)在啟動后，首先通過3G等廣域外網(wǎng)連接監(jiān)控中心的服務(wù)器，完成遠(yuǎn)程傳輸全景視頻碼流的準(zhǔn)備。在收到來自多視編碼任務(wù)的“第一個超幀編碼完成”消息后， 遠(yuǎn)程傳輸任務(wù)開始從異步FIFO中讀取碼流數(shù)據(jù)，進(jìn)行容錯編碼、碼流打包等外網(wǎng)適配工作，然后將數(shù)據(jù)包通過廣域外網(wǎng)傳回監(jiān)控中心。由于廣域外網(wǎng)的無線帶寬往往波動較大，遠(yuǎn)程傳輸任務(wù)根據(jù)外網(wǎng)給定的平均速率發(fā)送數(shù)據(jù)包，異步FIFO受外網(wǎng)帶寬的影響可能出現(xiàn)沒有全景視頻碼流的下溢情況，此時遠(yuǎn)程傳輸任務(wù)將進(jìn)入低功耗的數(shù)據(jù)等待狀態(tài)。遠(yuǎn)程傳輸任務(wù)需要與多視編碼任務(wù)協(xié)同運(yùn)行，以保證所有生成的全景視頻壓縮碼流都能通過外網(wǎng)發(fā)送出去。其具體步驟為
步驟3. 1、連接監(jiān)控中心，準(zhǔn)備回傳數(shù)據(jù)；
步驟3. 2、判斷是否收到“第一個超幀編碼完成”消息，若是，則進(jìn)入下一步，否則繼續(xù)等
待；
步驟3. 3、判斷異步FIFO內(nèi)是否有超過一個外網(wǎng)包大小的數(shù)據(jù)，若是，則跳到步驟3. 5， 否則進(jìn)入下一步；
步驟3. 4、延遲等待一個正常超幀的時間后，再次返回執(zhí)行步驟3. 3 ；
步驟3. 5、從異步FIFO中讀取數(shù)據(jù)，對數(shù)據(jù)進(jìn)行容錯編碼、碼流打包等外網(wǎng)適配工作；
步驟3. 6、按照廣域外網(wǎng)給定的平均速率發(fā)送數(shù)據(jù)；
步驟3. 7、判斷是否收到“資源將盡”消息，若是，則退出任務(wù)，若否，則返回執(zhí)行步驟
權(quán)利要求
1.一種基于體域傳感陣列的全景視頻碼流生成方法，其特征在于，步驟為步驟1、在人體服裝上布置一個協(xié)調(diào)器和N個傳感器節(jié)點(diǎn)，N ^ 3，所有傳感器節(jié)點(diǎn)的拍攝朝向均向上傾斜一定的角度，且成像焦點(diǎn)位于同一平面上，傳感器節(jié)點(diǎn)的水平視場角之和大于360度，使得N個傳感器節(jié)點(diǎn)在穿戴者周圍360度水平視域內(nèi)能夠進(jìn)行柱面投影全景成像，協(xié)調(diào)器與傳感器節(jié)點(diǎn)之間的內(nèi)部通信采用星形拓?fù)涞某瑢拵w域網(wǎng)；步驟2、將協(xié)調(diào)器與廣域外網(wǎng)之間建立無線通訊連接，廣域外網(wǎng)與監(jiān)控中心之間通過有線或無線方式建立通訊連接；步驟3、由N個傳感器節(jié)點(diǎn)在各自的水平視場角范圍內(nèi)采集圖像并通過超寬帶體域網(wǎng)發(fā)送給協(xié)調(diào)器，一個傳感器節(jié)點(diǎn)在一個時刻采集到的圖像為一子幀，由協(xié)調(diào)器將同一時刻的N路子幀構(gòu)成一超幀后，對當(dāng)前超幀的原始數(shù)據(jù)進(jìn)行多視點(diǎn)視頻編碼，編碼后的數(shù)據(jù)經(jīng)過外網(wǎng)適配工作后，通過廣域外網(wǎng)傳輸至監(jiān)控中心，由監(jiān)控中心進(jìn)行全景拼接。
2.如權(quán)利要求1所述的一種基于體域傳感陣列的全景視頻碼流生成方法，其特征在于所述傳感器節(jié)點(diǎn)和所述協(xié)調(diào)器分布在穿戴者運(yùn)動程度較小的服裝部位。
3.如權(quán)利要求1所述的一種基于體域傳感陣列的全景視頻碼流生成方法，其特征在于所述傳感器節(jié)點(diǎn)包括相互連接的微型攝像頭及超寬帶收發(fā)模塊。
4.如權(quán)利要求3所述的一種基于體域傳感陣列的全景視頻碼流生成方法，其特征在于所述傳感器節(jié)點(diǎn)包括角度測量模塊，角度測量模塊安裝在微型攝像頭的背部并連接所述超寬帶收發(fā)模塊，該角度測量模塊用于逐幀地獲取當(dāng)前傳感器節(jié)點(diǎn)的拍攝朝向信息。
5.如權(quán)利要求1所述的一種基于體域傳感陣列的全景視頻碼流生成方法，其特征在于所述協(xié)調(diào)器包括CPU，CPU分別連接超寬帶收發(fā)模塊、外網(wǎng)通信模塊、雙超幀緩沖區(qū)及異步 FIFO。
6.如權(quán)利要求1所述的一種基于體域傳感陣列的全景視頻碼流生成方法，其特征在于在進(jìn)行步驟3所述的多視點(diǎn)視頻編碼的同時，執(zhí)行超幀質(zhì)量一致性控制算法和主動跳幀算法。
7.如權(quán)利要求6所述的一種基于體域傳感陣列的全景視頻碼流生成方法，其特征在于所述超幀質(zhì)量一致性控制算法采用結(jié)構(gòu)相似度準(zhǔn)則來度量各子幀的編碼質(zhì)量，以求在同一超幀的多個子幀之間取得相對一致的編碼質(zhì)量。
8.如權(quán)利要求6所述的一種基于體域傳感陣列的全景視頻碼流生成方法，其特征在于所述主動跳幀算法為在壓縮當(dāng)前超幀的下一子幀之前，會查詢當(dāng)前時段的CPU占用率，當(dāng)CPU占用率超過上閾值時，暫停當(dāng)前超幀后續(xù)子幀的編碼，隨后每隔一個正常超幀的時間間隔就查詢當(dāng)前時段的CPU占用率，直到CPU占用率低于下閾值之后，才繼續(xù)對當(dāng)前超幀的下一子幀進(jìn)行編碼。
9.如權(quán)利要求1所述的一種基于體域傳感陣列的全景視頻碼流生成方法，其特征在于在進(jìn)行步驟3時，所述協(xié)調(diào)器同時啟動多路采集任務(wù)、多視編碼任務(wù)及遠(yuǎn)程傳輸任務(wù)， 其中，由多路采集任務(wù)采集同一時刻的N路子幀并組成一超幀，由多視編碼任務(wù)對當(dāng)前超幀的原始數(shù)據(jù)進(jìn)行多視點(diǎn)視頻編碼，由遠(yuǎn)程傳輸任務(wù)對編碼后的數(shù)據(jù)進(jìn)行外網(wǎng)適配并發(fā)送給廣域外網(wǎng)。
10.如權(quán)利要求9所述的一種基于體域傳感陣列的全景視頻碼流生成方法，其特征在于所述多路采集任務(wù)的步驟為步驟1. 1、向N個傳感器節(jié)點(diǎn)發(fā)送采集參數(shù)，以保證各傳感器節(jié)點(diǎn)采集質(zhì)量的一致性； 步驟1. 2、控制N個傳感器節(jié)點(diǎn)并發(fā)采集一個超幀的數(shù)據(jù)并存儲，向所述多視編碼任務(wù)發(fā)出“當(dāng)前超幀可用”消息，等待所述多視編碼任務(wù)發(fā)出的“采集下一超幀”消息，直至收到該消息后，才進(jìn)入下一步；步驟1.3、判斷是否收到“資源將盡”消息，若是，則退出任務(wù)，若否，則返回執(zhí)行步驟1. 2。
11.如權(quán)利要求9所述的一種基于體域傳感陣列的全景視頻碼流生成方法，其特征在于所述多路采集任務(wù)的步驟為步驟1. 1、開辟兩塊原始超幀大小的緩沖區(qū)，兩塊緩沖區(qū)交替地用于當(dāng)前超幀的編碼輸入存儲和下一超幀的采集存儲，每塊緩沖區(qū)內(nèi)部再分成N個子緩沖區(qū)，每個子緩沖區(qū)分別存儲來自特定傳感器節(jié)點(diǎn)的子幀數(shù)據(jù)；步驟1. 2、向N個傳感器節(jié)點(diǎn)發(fā)送采集參數(shù)，以保證各傳感器節(jié)點(diǎn)采集質(zhì)量的一致性； 步驟1. 3、控制N個傳感器節(jié)點(diǎn)并發(fā)采集數(shù)據(jù)，將N個傳感器節(jié)點(diǎn)收集到的N個子幀分別存入一個緩沖區(qū)內(nèi)的一個子緩沖區(qū)中，當(dāng)該緩沖區(qū)被填滿后，向所述多視編碼任務(wù)發(fā)出 “當(dāng)前超幀可用，，消息，等待所述多視編碼任務(wù)發(fā)出的“采集下一超幀”消息，直至收到該消息后，才進(jìn)入下一步；步驟1. 4、控制N個傳感器節(jié)點(diǎn)并發(fā)采集數(shù)據(jù)，將N個傳感器節(jié)點(diǎn)收集到的N個子幀分別存入另一個緩沖區(qū)內(nèi)的一個子緩沖區(qū)中，當(dāng)該緩沖區(qū)被填滿后，向所述多視編碼任務(wù)發(fā)出“當(dāng)前超幀可用”消息；步驟1.5、判斷是否收到“資源將盡”消息，若是，則退出任務(wù)，若否，則返回執(zhí)行步驟1. 3。
12.如權(quán)利要求9所述的一種基于體域傳感陣列的全景視頻碼流生成方法，其特征在于所述多視編碼任務(wù)的步驟為步驟2. 1、判斷是否收到“當(dāng)前超幀可用”消息，若是，則進(jìn)入下一步，否則繼續(xù)等待； 步驟2. 2、向所述多路采集任務(wù)發(fā)出“采集下一超幀”消息； 步驟2. 3、按照順序編碼當(dāng)前超幀的一個子幀，并將碼流壓入一異步FIFO ； 步驟2. 4、判斷CPU占用率是否超過上閾值，若是，則下一步，否則進(jìn)入步驟2. 7 ； 步驟2. 5、暫停編碼，等待一個正常超幀的時間；步驟2. 6、判斷CPU占用率是否低于下閾值，若是則進(jìn)入步驟2. 7，否則跳回步驟2. 5 ； 步驟2. 7、判斷是否接收到關(guān)機(jī)指令或電池能量是否將盡，若是，則發(fā)出“資源將盡”消息，退出任務(wù)，若否，則判斷當(dāng)前超幀是否結(jié)束編碼，若否，則跳回步驟2. 3，若是，則進(jìn)入下一步；步驟2. 8、判斷當(dāng)前超幀是否為第一個超幀，若否，則跳回步驟2. 1，若是，則發(fā)出“第一個超幀編碼完成”消息，隨后跳回步驟2. 1。
13.如權(quán)利要求12所述的一種基于體域傳感陣列的全景視頻碼流生成方法，其特征在于所述遠(yuǎn)程傳輸任務(wù)的步驟為步驟3. 1、連接監(jiān)控中心，準(zhǔn)備回傳數(shù)據(jù)；步驟3. 2、判斷是否收到“第一個超幀編碼完成”消息，若是，則進(jìn)入下一步，否則繼續(xù)等待；步驟3. 3、判斷異步FIFO內(nèi)是否有超過一個外網(wǎng)包大小的數(shù)據(jù)，若是，則跳到步驟3. 5， 否則進(jìn)入下一步；步驟3. 4、延遲等待一個正常超幀的時間后，再次返回執(zhí)行步驟3. 3 ； 步驟3. 5、從異步FIFO中讀取數(shù)據(jù)，對數(shù)據(jù)進(jìn)行外網(wǎng)適配工作； 步驟3. 6、按照廣域外網(wǎng)給定的平均速率發(fā)送數(shù)據(jù)；步驟3. 7、判斷是否收到“資源將盡”消息，若是，則退出任務(wù)，若否，則返回執(zhí)行步驟
14.如權(quán)利要求1所述的一種基于體域傳感陣列的全景視頻碼流生成方法，其特征在于所述協(xié)調(diào)器連接耳塞(S)及麥克風(fēng)(M)。
全文摘要
本發(fā)明提出了一種基于體域傳感陣列的全景視頻碼流生成方法，其特征在于體域傳感陣列由分布在人體服裝上的一個協(xié)調(diào)器和多個傳感器節(jié)點(diǎn)組成，協(xié)調(diào)器與傳感器節(jié)點(diǎn)之間的內(nèi)部通信采用星形拓?fù)涞某瑢拵w域網(wǎng)。多路采集任務(wù)控制多個傳感器節(jié)點(diǎn)在穿戴者周圍360度水平視域內(nèi)進(jìn)行柱面投影全景成像，并將采集的多路視頻圖像通過傳輸?shù)诫p超幀緩沖區(qū)進(jìn)行同步緩存與調(diào)度；多視編碼任務(wù)根據(jù)高效能的子幀級編碼順序?qū)Χ嗦芬曨l原始數(shù)據(jù)進(jìn)行多視點(diǎn)視頻編碼，遠(yuǎn)程傳輸任務(wù)通過廣域外網(wǎng)將多源全景視頻的壓縮碼流實(shí)時地傳回監(jiān)控中心。該方法實(shí)現(xiàn)了系統(tǒng)資源與碼流質(zhì)量的有效平衡，在提高系統(tǒng)隱蔽性的同時取得了低功耗、低延時、高質(zhì)量的整體效能。
文檔編號H04L29/08GK102244680SQ20111018527
公開日2011年11月16日 申請日期2011年7月4日 優(yōu)先權(quán)日2011年7月4日
發(fā)明者任立紅, 劉浩, 趙曙光, 錢劍敏 申請人:東華大學(xué)