一種視頻圖像虛擬場景生成系統(tǒng)及其框架構(gòu)造方法
【專利摘要】本發(fā)明公開了一種視頻圖像虛擬場景生成系統(tǒng)及其框架構(gòu)造方法，所述系統(tǒng)包括插件封裝模塊、插件管理模塊、虛擬場景生成流程控制模塊、虛擬場景生成工作臺模塊、虛擬場景生成工程管理模塊、以及視頻素材訪問檢索模塊。所述方法包括如下步驟：步驟一，對算法工具進(jìn)行插件式封裝，以獲得對應(yīng)的插件；步驟二，構(gòu)建節(jié)點樹，并令各被調(diào)用的插件對應(yīng)于節(jié)點樹上的各個節(jié)點；步驟三，遍歷節(jié)點樹中的所有節(jié)點，并對每個節(jié)點的狀態(tài)進(jìn)行保存，以形成視頻圖像虛擬場景文件。
【專利說明】一種視頻圖像虛擬場景生成系統(tǒng)及其框架構(gòu)造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種系統(tǒng)及其構(gòu)造方法，尤其涉及一種視頻圖像虛擬場景生成系統(tǒng)及其框架構(gòu)造方法。
【背景技術(shù)】
[0002]虛擬現(xiàn)實(Virtual Reality,簡稱VR)是以計算機(jī)技術(shù)為核心,結(jié)合相關(guān)科學(xué)技術(shù)，生成與一定范圍真實環(huán)境在視、聽、觸感等方面高度近似的數(shù)字化環(huán)境，用戶借助必要的裝備與數(shù)字化環(huán)境中的對象進(jìn)行交互作用、相互影響，可以產(chǎn)生親臨對應(yīng)真實環(huán)境的感受:和體驗。
[0003]虛擬現(xiàn)實技術(shù)是人類在探索自然、認(rèn)識自然過程中創(chuàng)造產(chǎn)生，逐步形成的一種用于認(rèn)識自然、模擬自然，進(jìn)而改造自然的科學(xué)方法和科學(xué)技術(shù)。隨著社會生產(chǎn)力和科學(xué)技術(shù)的不斷發(fā)展，各行業(yè)對虛擬現(xiàn)實技術(shù)的需求日益旺盛，人們對虛擬現(xiàn)實技術(shù)的研究日益重視，虛擬現(xiàn)實技術(shù)也取得了巨大進(jìn)展，并逐步成為一個新的科學(xué)【技術(shù)領(lǐng)域】。
[0004]雖然虛擬現(xiàn)實技術(shù)將真實世界的多維信息映射到可計算的數(shù)字空間，使用戶能夠在虛擬環(huán)境中操作各種虛擬對象、突破物理空間和時間的限制、建立基于真實世界信息的虛擬場景；也可以將計算機(jī)生成的虛擬場景和虛擬作用反饋到真實世界中，使用戶能夠獲得虛擬環(huán)境產(chǎn)生的各種逼真感知，獲得親臨等同真實環(huán)境的“沉浸”感。但是，傳統(tǒng)的虛擬環(huán)境強調(diào)虛擬場景建模和虛擬場景表現(xiàn)，較少將虛擬環(huán)境直接融入到客觀存在的真實世界，這在一定程度上影響了虛擬現(xiàn)實技術(shù)的發(fā)展和應(yīng)用。所以，人們正在研究:如何利用描繪真實世界的圖像或視頻，構(gòu)建和生成更加逼真的虛擬場景？其中，增強現(xiàn)實(AugmentedReality，簡稱AR)技術(shù)是針對這一類典型問題的典型代表之一，它是虛擬現(xiàn)實的進(jìn)一步拓展，能夠使計算機(jī)生成的虛擬對象與客觀存在的真實世界融為一體。
[0005]基于視頻素材的虛擬場景生成技術(shù)，是另一個利用視頻及其圖像構(gòu)建和生成虛擬場景的典型代表。由于傳統(tǒng)的虛擬現(xiàn)實一般利用三維幾何模型生成虛擬場景，然而難以證明“真實世界的所有事物都是可以幾何模型化或者數(shù)字化建模”，并且與基于視頻素材的虛擬場景相比較，基于三維幾何模型的虛擬場景在真實數(shù)據(jù)采集、幾何模型構(gòu)建、場景逼真繪制等方面存在相對難以克服的問題。另一方面，攝像機(jī)已經(jīng)越來越多地運用于日常工作和生活，描繪真實世界的視頻場景、視頻對象和視頻事件也越來越多，所以人們迫切希望利用日積月累的各種視頻素材生成工作和生活需要的視頻虛擬場景，從而需要基于視頻素材的虛擬場景生成系統(tǒng)及其軟件工具。因此，許多科研工作者正在圍繞“視頻虛擬場景”開展理論、技術(shù)和系統(tǒng)研究，無論從虛擬現(xiàn)實的理論技術(shù)發(fā)展來看，還是從虛擬現(xiàn)實的實用化應(yīng)用前景來看，基于視頻的虛擬場景構(gòu)建與生成技術(shù)正在成為虛擬現(xiàn)實方向的技術(shù)發(fā)展趨勢和典型研究熱點。
[0006]目前，視頻虛擬場景生成已經(jīng)有非常多的算法工具被開發(fā)出來，這些工具和算法僅僅對視頻圖像進(jìn)行了部分處理，或是某一方面的處理，如果是通過使用不同的工具和算法進(jìn)行虛擬場景生成，就需要進(jìn)行算法工具的集成，而不是單獨的使用。因此需要對大量的算法工具進(jìn)行系統(tǒng)集成，通過各個算法的調(diào)用和協(xié)作進(jìn)行虛擬場景的快速生成，需要一種視頻圖像虛擬場景生成系統(tǒng)框架構(gòu)造方法。
[0007]在影視后期制作領(lǐng)域,有很多后期制作軟件,例如after effects, nuke, shake等，這些軟件都有對視頻圖像進(jìn)行處理的功能，能進(jìn)行影視后期場景的合成，同時這些軟件也集成了大量的視頻圖像的處理算法和工具。但是這些軟件是面向特定領(lǐng)域的，即影視后期制作，對算法的性能、效果以及處理的視頻圖像素材有著多方面的嚴(yán)格要求，而且其集成方式對大部分的視頻圖像處理算法工具并不適合。2009年德國的不倫瑞克大學(xué)的計算機(jī)圖形學(xué)實驗室科學(xué)家為虛擬視頻攝像機(jī)系統(tǒng)添加了視覺特效系統(tǒng)，使得系統(tǒng)可以渲染出運動模糊、冰凍瞬間、長時間曝光、時間模糊、空間模糊、多次曝光等具有照片真實感的特效，提出了一個視覺特效框架。這個框架在整體上是對數(shù)據(jù)流進(jìn)行處理，而沒有涉及虛擬場景生成中的場景合成。馬爾文圖像處理框架是一個可擴(kuò)展的、跨平臺的圖像處理框架。利用馬爾文圖像處理框架，研究者可以實現(xiàn)圖像處理算法，并以插件的形式發(fā)布，軟件開發(fā)者可以在他們的軟件中集成馬爾文圖像處理插件以提供圖像處理功能，最后，普通用戶可以直接利用馬爾文圖像處理應(yīng)用程序并提供使用反饋促進(jìn)該框架的迭代開發(fā)。因此利用馬爾文圖像處理框架開發(fā)的系統(tǒng)架構(gòu)一般分成了三個層次:框架層、插件層、應(yīng)用層?？蚣軐邮怯神R爾文團(tuán)隊開發(fā)提供，提供了一些圖像、視頻預(yù)處理機(jī)制以及測試、歷史記錄、圖形界面、多線程等。插件層是由第三方利用框架層提供的接口開發(fā)的插件。應(yīng)用層是最終的應(yīng)用軟件，是由第三方利用框架層和插件層提供的接口開發(fā)的。但是這個框架僅僅提供了一個底層的實現(xiàn)，并沒有提出面向虛擬場景生成的流程方面的設(shè)計與實現(xiàn)，以及算法工具間的交互協(xié)作。

【發(fā)明內(nèi)容】

[0008]本發(fā)明針對現(xiàn)有技術(shù)的弊端，提供一種視頻圖像虛擬場景生成系統(tǒng)及其框架構(gòu)造方法。
[0009]本發(fā)明所述的視頻圖像虛擬場景生成系統(tǒng)，包括插件封裝模塊、插件管理模塊、虛擬場景生成流程控制模塊、虛擬場景生成工作臺模塊、虛擬場景生成工程管理模塊、以及視頻素材訪問檢索模塊；
[0010]其中，所述插件封裝模塊用于實現(xiàn)算法工具的插件式封裝，以獲得對應(yīng)的插件；
[0011]所述插件管理模塊用于對前述獲得的插件的注冊、加載、調(diào)用以注冊表的方式進(jìn)
行管理；
[0012]所述視頻素材訪問檢索模塊用于導(dǎo)入所述被調(diào)用插件所涉及的預(yù)先存儲的的視頻圖像信息；
[0013]所述虛擬場景生成流程控制模塊用于構(gòu)建節(jié)點樹，并令各被調(diào)用的插件對應(yīng)于所述節(jié)點樹上的各個節(jié)點；
[0014]所述虛擬場景生成工作臺模塊用于顯示前述節(jié)點樹中被選中節(jié)點所對應(yīng)的視頻圖像信息；
[0015]所述虛擬場景生成工程管理模塊用于對節(jié)點樹中的所有節(jié)點進(jìn)行遍歷，并對每個節(jié)點進(jìn)行狀態(tài)保存，以形成視頻圖像虛擬場景文件。
[0016]本發(fā)明所述的視頻圖像虛擬場景生成系統(tǒng)的框架構(gòu)造方法，包括如下步驟:
[0017]步驟一，對算法工具進(jìn)行插件式封裝，以獲得對應(yīng)的插件；[0018]步驟二，構(gòu)建節(jié)點樹，并令各被調(diào)用的插件對應(yīng)于節(jié)點樹上的各個節(jié)點；
[0019]步驟三，遍歷節(jié)點樹中的所有節(jié)點，并對每個節(jié)點的狀態(tài)進(jìn)行保存，以形成視頻圖像虛擬場景文件。
[0020]本發(fā)明所述的視頻圖像虛擬場景生成系統(tǒng)的框架構(gòu)造方法的步驟一中，利用插件注冊表實現(xiàn)插件的加載、注冊、加載。
[0021]本發(fā)明所述的視頻圖像虛擬場景生成系統(tǒng)的框架構(gòu)造方法的步驟一的對算法工具進(jìn)行封裝中，統(tǒng)一算法工具的數(shù)據(jù)輸入輸出、統(tǒng)一視頻圖像數(shù)據(jù)格式、以及對視頻圖像數(shù)據(jù)的描述屬性、定義公共的算法工具插件與系統(tǒng)的接口。
[0022]本發(fā)明所述的視頻圖像虛擬場景生成系統(tǒng)的框架構(gòu)造方法的步驟二中，通過節(jié)點列表以及節(jié)點連接列表來保存整個節(jié)點樹。
[0023]本發(fā)明所述的視頻圖像虛擬場景生成系統(tǒng)的框架構(gòu)造方法的步驟三中，通過節(jié)點的創(chuàng)建順序和節(jié)點間連接關(guān)系構(gòu)建節(jié)點拓?fù)渑判颍詫?jié)點列表遍歷。
[0024]本發(fā)明根據(jù)虛擬場景生成的處理流程以及視頻圖像處理算法工具的特點，提出了視頻圖像虛擬場景生成系統(tǒng)框架構(gòu)造方法。本發(fā)明方法能夠快速、靈活的集成視頻圖像處理算法工具，通過節(jié)點式流程控制進(jìn)行虛擬場景生成。基于此方法構(gòu)建的虛擬場景生成系統(tǒng)具有很好的擴(kuò)展性。另外本方法對各種視頻圖像處理算法工具的集成具有通用性，同時對于視頻圖像素材庫具有很強的適用性。
【專利附圖】

【附圖說明】
[0025]圖1為本發(fā)明所述視頻圖像虛擬場景生成系統(tǒng)框架的構(gòu)造方法的流程示意圖?！揪唧w實施方式】
[0026]下面結(jié)合附圖對本發(fā)明做進(jìn)一步的詳細(xì)說明，以令本領(lǐng)域技術(shù)人員參照說明書文字能夠據(jù)以實施。
[0027]本發(fā)明所述的視頻圖像虛擬場景生成系統(tǒng)，包括插件封裝模塊、插件管理模塊、虛擬場景生成流程控制模塊、虛擬場景生成工作臺模塊、虛擬場景生成工程管理模塊、以及視頻素材訪問檢索模塊。
[0028]其中，所述插件封裝模塊用于實現(xiàn)算法工具的插件式封裝，以獲得對應(yīng)的插件。所述插件封裝模塊的作用在于定義插件的模板，在模板中定義對視頻圖像信息處理的抽象方法、視頻圖像的屬性、以及支持插件機(jī)制的基本接口。具體的插件可從模板類繼承，并實現(xiàn)具體的處理方法，實現(xiàn)自己的參數(shù)面板，實現(xiàn)自己特有的數(shù)據(jù)處理邏輯及參數(shù)設(shè)置，編譯生成動態(tài)鏈接庫，并放入系統(tǒng)插件庫中。
[0029]所述插件管理模塊用于對前述獲得的插件的注冊、加載、調(diào)用以注冊表的方式進(jìn)行管理。本發(fā)明中，通過插件描述文件注冊所有的插件信息，所述插件可以被系統(tǒng)識別，注冊、調(diào)用、加載以獲得插件提供的功能。在系統(tǒng)界面會生成插件菜單，并顯示插件名稱。當(dāng)用于選擇加載插件時，系統(tǒng)會根據(jù)插件的描述信息加載插件對應(yīng)的動態(tài)鏈接庫，以得到處理節(jié)點對象。
[0030]所述視頻素材訪問檢索模塊用于導(dǎo)入所述被調(diào)用插件所涉及的預(yù)先存儲的的視頻圖像信息。所述預(yù)先存儲的視頻圖像信息包括了本地的視頻素材和素材庫中的視頻素材，對于上述視頻素材的訪問檢索，可通過插件形式集成到系統(tǒng)界面。本發(fā)明中，對視頻圖像素材庫的訪問是通過構(gòu)建一個視頻圖像素材庫訪問檢索插件實現(xiàn)的，插件實現(xiàn)了針對視頻圖像語義素材庫的訪問檢索，針對不同的語義描述的視頻圖像素材庫，可以構(gòu)建特定的素材庫訪問檢索插件，實現(xiàn)素材的導(dǎo)入。
[0031]所述虛擬場景生成流程控制模塊用于構(gòu)建節(jié)點樹，并令各被調(diào)用的插件對應(yīng)于所述節(jié)點樹上的各個節(jié)點。即將在虛擬場景生成中調(diào)用的插件以節(jié)點的形式展示，視頻圖像信息在一個節(jié)點處理完會流向下一個與其相連接的節(jié)點，從而形成節(jié)點樹的形式。
[0032]所述虛擬場景生成工作臺模塊用于顯示前述節(jié)點樹中被選中節(jié)點所對應(yīng)的視頻圖像信息。該虛擬場景生成工作臺模塊可通過預(yù)覽形式對被選中節(jié)點所對應(yīng)的視頻圖像信息進(jìn)行展示。具體而言，可通過添加圖形可視化類實現(xiàn)處理節(jié)點的可視化，也即數(shù)據(jù)流的可視化。本發(fā)明中，不僅可對節(jié)點處理后的場景數(shù)據(jù)進(jìn)行預(yù)覽，還可進(jìn)行播放、暫停、前一幀、后一幀等控制，實現(xiàn)對視頻場景的預(yù)覽控制。
[0033]所述虛擬場景生成工程管理模塊用于對節(jié)點樹中的所有節(jié)點進(jìn)行遍歷，并對每個節(jié)點進(jìn)行狀態(tài)保存，以形成視頻圖像虛擬場景文件。本發(fā)明中，是通過節(jié)點列表以及節(jié)點連接列表來保存整個節(jié)點樹，當(dāng)在虛擬場景生成流程中添加或刪除一個節(jié)點時，會更新節(jié)點列表以及節(jié)點連接列表，通過對節(jié)點列表遍歷，即根據(jù)節(jié)點的創(chuàng)建順序和節(jié)點間連接關(guān)系構(gòu)建節(jié)點拓?fù)渑判?，依次保存所有?jié)點的內(nèi)部狀態(tài)，通過遍歷節(jié)點連接列表保存所有的節(jié)點連接信息，從而形成虛擬場景的生成。在加載時，按照保存節(jié)點列表的順序依次創(chuàng)建節(jié)點，讀取相應(yīng)節(jié)點的內(nèi)部狀態(tài)，初始化節(jié)點，并根據(jù)節(jié)點的鏈接信息，構(gòu)建數(shù)據(jù)流，即節(jié)點之間的鏈接，同時恢復(fù)節(jié)點列表和節(jié)點連接列表，完成虛擬場景的加載。
[0034]本發(fā)明還提供一種針對前述視頻圖像虛擬場景生成系統(tǒng)的框架構(gòu)造方法，如圖1所示，包括如下步驟:
[0035]步驟101，對算法工具進(jìn)行插件式封裝，以獲得對應(yīng)的插件。
[0036]本步驟中，是構(gòu)建插件模板的基本類型，也就是定義基本接口以及屬性，通過對插件模板的繼承，對數(shù)據(jù)處理接口進(jìn)行重載，實現(xiàn)自己特有的參數(shù)面板，實現(xiàn)自己特有的數(shù)據(jù)處理邏輯，以及參數(shù)設(shè)置，編譯生成動態(tài)鏈接庫，從而放入系統(tǒng)插件庫中。
[0037]本發(fā)明中，對于插件的管理是通過構(gòu)建插件注冊表實現(xiàn)的，插件注冊表可實現(xiàn)插件的加載、注冊、加載機(jī)制，插件可以被系統(tǒng)識別、注冊、調(diào)用、加載，以獲得插件提供的功倉泛。
[0038]本發(fā)明中，對于算法工具的插件式封裝，主要包括三個部分，即構(gòu)建插件模板類、算法工具插件式封裝、和構(gòu)建插件管理機(jī)制。
[0039]構(gòu)建插件模板類的作用是統(tǒng)一算法工具的數(shù)據(jù)輸入輸出，統(tǒng)一視頻圖像數(shù)據(jù)格式，以及對視頻圖像數(shù)據(jù)的描述屬性，定義公共的算法工具插件與系統(tǒng)的接口，系統(tǒng)對具體的節(jié)點的操作是無差別的。定義統(tǒng)一的參數(shù)面板調(diào)用接口，使得在虛擬場景生成流程中，方便統(tǒng)一對各個節(jié)點進(jìn)行參數(shù)設(shè)置。
[0040]算法工具插件式封裝的作用是針對不同的算法工具進(jìn)行具體的插件封裝，在保證統(tǒng)一的視頻圖像數(shù)據(jù)的輸入輸出條件下，進(jìn)行特殊數(shù)據(jù)處理方法的封裝，同時定義具體的參數(shù)面板，實現(xiàn)具體的業(yè)務(wù)邏輯。
[0041]首先，從插件模板類派生出一個具體插件子類，對視頻圖像數(shù)據(jù)的處理接口進(jìn)行重載，實現(xiàn)具體的特殊數(shù)據(jù)處理。其次，定義自己的參數(shù)面板，參數(shù)面板主要包含兩個功能:一個是顯示該算法工具的數(shù)據(jù)處理結(jié)果，另一個是對處理過程中需要設(shè)置的參數(shù)提供一個用戶設(shè)置界面。再次，實現(xiàn)一個當(dāng)前插件的加載類，加載類會在系統(tǒng)加載插件的時候被調(diào)用，同時將該插件的功能信息注冊到插件信息注冊表中。最后，創(chuàng)建插件描述文件，用來系統(tǒng)對插件的獲取，包含插件的名稱、功能、加載類名稱、以及動態(tài)鏈接庫路徑，供系統(tǒng)識別插件。
[0042]構(gòu)建插件封裝加載管理機(jī)制的作用是實現(xiàn)插件在具體操作系統(tǒng)下可以編譯成動態(tài)鏈接庫，并能夠被系統(tǒng)識別、加載、以及實現(xiàn)功能調(diào)用。首先，系統(tǒng)維護(hù)一個全局唯一的插件信息注冊表，記錄了所有已經(jīng)加載的插件類型信息，當(dāng)系統(tǒng)調(diào)用某個具體插件時，可以避免具體插件的重復(fù)加載。其次，實現(xiàn)插件調(diào)用時注冊接口，該模塊在集成系統(tǒng)加載具體的插件時會被直接調(diào)用，將插件的類型信息注冊到系統(tǒng)的插件注冊表中，表明這個插件已經(jīng)被調(diào)用成功。
[0043]插件的管理包含以下幾個組成部分，SP
[0044](I)算法工具箱，算法工具箱保存了所有可以被系統(tǒng)識別加載的插件的信息，包括
[0045]a)算法名稱；
[0046]b)插件對應(yīng)的動態(tài)鏈接庫文件路徑；
[0047]c)注冊加載類名稱，系統(tǒng)加載插件的時候，會根據(jù)注冊加載類名稱，動態(tài)生成注冊加載類，用于注冊加載插件服務(wù)；
[0048]d)插件版本號。
[0049](2)插件服務(wù)注冊表，保存了所有的已經(jīng)加載的插件服務(wù)對象，每一個插件服務(wù)對象對應(yīng)于一個算法名稱和版本號，插件服務(wù)對象提供了獲取節(jié)點對象的接口。
[0050](3)插件加載模塊，可以根據(jù)插件信息加載插件，獲取插件服務(wù)對象注冊到插件服務(wù)注冊表中，并返回一個節(jié)點對象，傳遞給流程控制。
[0051](4)流程控制則管理插件加載將獲取的節(jié)點對象，進(jìn)行虛擬場景生成。
[0052]本發(fā)明中，插件的調(diào)用包括以下幾個步驟:
[0053](I)識別插件，每一個插件包括兩個文件，一個是插件信息描述文件，文件格式是xml,另一個是動態(tài)鏈接庫。
[0054]插件信息描述文件向虛擬場景生成系統(tǒng)提供如下信息:
[0055]a)算法名稱；
[0056]b)插件對應(yīng)的動態(tài)鏈接庫文件路徑；
[0057]c)注冊加載類名稱；
[0058]d)插件版本號。
[0059](2)創(chuàng)建插件觸發(fā)對象，當(dāng)需要向系統(tǒng)中添加一個插件時，只需要在插件目錄中放置這兩個文件即可，系統(tǒng)會讀取插件描述文件，將插件信息保存到算法工具箱中，用來進(jìn)行插件的加載注冊。
[0060](3)調(diào)用插件，插件觸發(fā)對象會響應(yīng)系統(tǒng)界面上的插件菜單項鼠標(biāo)事件，用戶選擇指定的插件時，插件觸發(fā)對象會將相應(yīng)的插件信息傳給算法工具箱，算法工具箱根據(jù)具體的插件信息進(jìn)行插件調(diào)用。
[0061](4)判斷插件是否已經(jīng)加載，算法工具箱調(diào)用插件加載模塊進(jìn)行插件加載，插件加載模塊首先查詢插件服務(wù)注冊表，查找相應(yīng)的插件服務(wù)對象，如果相應(yīng)的插件服務(wù)對象存在，那么就從查找到的插件服務(wù)對象獲取相應(yīng)的節(jié)點對象；如果沒有相應(yīng)的插件服務(wù)對象存在，就說明這個插件還沒有被加載，就需要根據(jù)插件描述信息加載相應(yīng)的動態(tài)鏈接庫，獲取相應(yīng)的插件服務(wù)對象，將插件服務(wù)對象注冊到插件服務(wù)注冊表中，并從該插件服務(wù)對象獲的相應(yīng)的節(jié)點對象。
[0062](5)將上一步獲取的節(jié)點對象返回給流程控制臺，流程控制臺維護(hù)整個虛擬場景生成的流程節(jié)點樹，但流程控制臺不需要創(chuàng)建一個樹結(jié)構(gòu)來保存節(jié)點樹，只需維護(hù)一個節(jié)點ID列表和節(jié)點列表，節(jié)點ID列表根據(jù)節(jié)點樹進(jìn)行拓?fù)渑判?，流程控制臺將節(jié)點對象放入節(jié)點列表中。
[0063](6)繪制節(jié)點對象，節(jié)點對象被加載到流程控制臺上后，會調(diào)用自己的圖形繪制函數(shù)，實現(xiàn)節(jié)點可視化，根據(jù)不同的節(jié)點類型，節(jié)點的形狀以及顏色會有不同。
[0064]步驟102，構(gòu)建節(jié)點樹，并令各被調(diào)用的插件對應(yīng)于節(jié)點樹上的各個節(jié)點。
[0065]本發(fā)明中，被調(diào)用的插件以節(jié)點的形式進(jìn)行展示，視頻圖像數(shù)據(jù)在一個節(jié)點處理完會流向下一個與其相連接的節(jié)點，從而形成節(jié)點樹。
[0066]例如，定義一個抽象節(jié)點類ViAbstractNode,這個類定義了視頻圖像數(shù)據(jù)處理節(jié)點的公共操作和屬性，公共操作包括獲取指定位置的視頻圖像、連接一個節(jié)點、獲取節(jié)點類型、鼠標(biāo)響應(yīng)事件、參數(shù)面板調(diào)用等操作。為了支持視頻圖像處理節(jié)點的可視化，定義了一個節(jié)點可視化類QDiaItem Widget,抽象節(jié)點派生自節(jié)點可視化類，QDiaItem Widget類定義了節(jié)點操作的接口、節(jié)點ID、節(jié)點的繪制、節(jié)點間的連接、節(jié)點的孩子節(jié)點的操作，支持節(jié)點拖動、刪除、縮放的鼠標(biāo)鍵盤響應(yīng)事件。這些接口確保了節(jié)點樹功能的實現(xiàn)。從ViAbstractNode這個抽象節(jié)點類,派生出具體的插件節(jié)點類，如進(jìn)行視頻圖像解碼的視頻圖像素材節(jié)點，對視頻圖像進(jìn)行處理的算法工具節(jié)點如顏色風(fēng)格轉(zhuǎn)換節(jié)點、跟蹤節(jié)點、場景拼接節(jié)點、對生成的虛擬場景進(jìn)行導(dǎo)出的場景導(dǎo)出節(jié)點，實現(xiàn)視頻圖像的編碼。具體的節(jié)點子類，需要在抽象節(jié)點定義的接口基礎(chǔ)上進(jìn)行擴(kuò)展，以實現(xiàn)自己的具體的視頻圖像處理功能，具體的是保護(hù)或者私有的，不需要對外公開，這樣所有的節(jié)點在虛擬場景生成系統(tǒng)中都以抽象節(jié)點和其他節(jié)點或者系統(tǒng)進(jìn)行交互。
[0067]步驟103，遍歷節(jié)點樹中的所有節(jié)點，并對每個節(jié)點的狀態(tài)進(jìn)行保存，以形成視頻圖像虛擬場景文件。
[0068]本發(fā)明中，通過將節(jié)點樹進(jìn)行保存，包括節(jié)點狀態(tài)的保存，以數(shù)據(jù)流的保存即節(jié)點間的鏈接關(guān)系保存，實現(xiàn)虛擬場景生成的工程管理。最后，在加載工程文件過程中，通過恢復(fù)工程文件中保存的節(jié)點狀態(tài)構(gòu)建處理節(jié)點，根據(jù)節(jié)點的鏈接關(guān)系，從而構(gòu)建整個虛擬場景生成的數(shù)據(jù)流。
[0069]本發(fā)明中的節(jié)點式虛擬場景生成的流程控制主要分成三部分，即節(jié)點的可視化與人機(jī)交互、數(shù)據(jù)流的可視化與交互，虛擬場景生成流程控制的工程保存及虛擬場景生成流程的工程加載。
[0070]處理節(jié)點、數(shù)據(jù)流的可視化與交互的作用是提供了虛擬場景生成的流程控制交互方式，用戶可以很方便的在虛擬場景生成流程中添加一個處理節(jié)點或刪除一個處理節(jié)點，控制節(jié)點之間連接關(guān)系即對數(shù)據(jù)流的控制，從而控制整個虛擬場景生成流程。
[0071]虛擬場景生成流程控制的工程保存的作用是通過構(gòu)建一個節(jié)點列表以及節(jié)點連接列表來保存整個的節(jié)點流程樹，當(dāng)在虛擬場景生成流程中添加或刪除一個節(jié)點時，會更新節(jié)點列表以及節(jié)點連接列表，通過對節(jié)點列表遍歷，保存所有節(jié)點的內(nèi)部狀態(tài)，通過遍歷節(jié)點連接列表保存所有的節(jié)點連接信息，完成虛擬場景生成的工程保存。
[0072]虛擬場景生成流程控制的工程加載的作用是加載工程文件，首先按照保存節(jié)點列表的順序依次創(chuàng)建節(jié)點，讀取工程文件中相應(yīng)節(jié)點的內(nèi)部狀態(tài)，初始化節(jié)點，并根據(jù)節(jié)點的鏈接信息，構(gòu)建數(shù)據(jù)流，即節(jié)點之間的鏈接，同時恢復(fù)流程控制臺的節(jié)點列表和節(jié)點連接列表，完成工程的加載。
[0073]本發(fā)明中，利用集成的視頻圖像處理算法工具插件進(jìn)行虛擬場景生成的流程具體如下:
[0074](I)導(dǎo)入素材，從算法工具箱中選擇視頻圖像素材節(jié)點，在流程控制臺上就出現(xiàn)一個素材節(jié)點，雙擊這個節(jié)點，打開一個資源管理對話框，選擇要導(dǎo)入的素材。可以隨時加載多個素材。
[0075](2)添加處理節(jié)點，從算法工具箱中選擇需要進(jìn)行的處理插件，在流程控制臺上就會加載一個對應(yīng)的節(jié)點，按下連線快捷鍵，選擇素材節(jié)點或者其他節(jié)點拖動鼠標(biāo)至目標(biāo)節(jié)點，則建立起一個從起始節(jié)點到目標(biāo)節(jié)點的數(shù)據(jù)流，目標(biāo)節(jié)點就可從上一個節(jié)點獲取數(shù)據(jù)進(jìn)行處理。
[0076](3)設(shè)置處理參數(shù)進(jìn)行數(shù)據(jù)處理，雙擊目標(biāo)節(jié)點，調(diào)出參數(shù)面板，根據(jù)具體的場景處理設(shè)置相應(yīng)的參數(shù)，點擊運行。
[0077](4)預(yù)覽處理結(jié)果，選中要預(yù)覽的節(jié)點，按下預(yù)覽快捷鍵，在虛擬場景工作臺上就會顯示當(dāng)前節(jié)點處理后的結(jié)果，如果是視頻場景，可以通過一些預(yù)覽控制鍵進(jìn)行播放預(yù)覽，
[0078](5)如果場景沒有處理結(jié)束，則可以繼續(xù)添加處理節(jié)點進(jìn)行處理，直到生成最后的虛擬場景。
[0079](6)導(dǎo)出場景，從算法工具箱中選擇導(dǎo)出場景插件，在流程控制臺上會加載一個導(dǎo)出場景節(jié)點，將最后一個處理節(jié)點連接到導(dǎo)出場景節(jié)點上，會出現(xiàn)一個導(dǎo)出參數(shù)設(shè)置面板，設(shè)置到編碼格式等參數(shù)，然后點擊導(dǎo)出，將虛擬場景以文件形式保存到指定目錄中。
[0080]保存的工作可包括以下步驟:(I)保存流程控制臺維護(hù)的節(jié)點ID列表，按照順序保存；(2)按照節(jié)點ID列表的順序依次保存節(jié)點的狀態(tài)，完成工程保存。
[0081]對于工程文件的加載可以包括以下步驟:(I)加載節(jié)點ID列表，根據(jù)工程文件中保存的節(jié)點ID列表在流程控制臺中創(chuàng)建節(jié)點ID列表；(2)根據(jù)節(jié)點ID列表依次創(chuàng)建節(jié)點，并恢復(fù)節(jié)點狀態(tài)。根據(jù)節(jié)點間的連接關(guān)系，創(chuàng)建數(shù)據(jù)流。
[0082]本發(fā)明根據(jù)虛擬場景生成的處理流程以及視頻圖像處理算法工具的特點，提出了視頻圖像虛擬場景生成系統(tǒng)框架構(gòu)造方法。本發(fā)明方法能夠快速、靈活的集成視頻圖像處理算法工具，通過節(jié)點式流程控制進(jìn)行虛擬場景生成?；诖朔椒?gòu)建的虛擬場景生成系統(tǒng)具有很好的擴(kuò)展性。另外本方法對各種視頻圖像處理算法工具的集成具有通用性，同時對于視頻圖像素材庫具有很強的適用性。
[0083]與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點在于:
[0084]1、本發(fā)明根據(jù)虛擬場景生成中的視頻圖像處理算法及工具的數(shù)據(jù)處理特點，提出了 一個面相虛擬場景生生成的視頻圖像算法工具插件集成方法。
[0085]2、本發(fā)明中的視頻圖像插件集成方法具有通用性，適合各種視頻圖像處理算法工具的集成。
[0086]3、本發(fā)明根據(jù)虛擬場景的素材組合與處理流程，設(shè)計構(gòu)建了節(jié)點式的虛擬場景生成流程控制，能夠完整的展示出整個虛擬場景的素材組合與處理過程。
[0087]4、本發(fā)明中的數(shù)據(jù)庫的訪問檢索具有擴(kuò)展性和靈活性，以插件的形式提供不同的訪問和檢索方式。
[0088]盡管本發(fā)明的實施方案已公開如上，但其并不僅僅限于說明書和實施方式中所列運用，它完全可以被適用于各種適合本發(fā)明的領(lǐng)域，對于熟悉本領(lǐng)域的人員而言，可容易地實現(xiàn)另外的修改，因此在不背離權(quán)利要求及等同范圍所限定的一般概念下，本發(fā)明并不限于特定的細(xì)節(jié)和這里示出與描述的圖例。
【權(quán)利要求】
1.一種視頻圖像虛擬場景生成系統(tǒng)，其特征在于，包括插件封裝模塊、插件管理模塊、虛擬場景生成流程控制模塊、虛擬場景生成工作臺模塊、虛擬場景生成工程管理模塊、以及視頻素材訪問檢索模塊； 其中，所述插件封裝模塊用于實現(xiàn)算法工具的插件式封裝，以獲得對應(yīng)的插件； 所述插件管理模塊用于對前述獲得的插件的注冊、加載、調(diào)用以注冊表的方式進(jìn)行管理； 所述視頻素材訪問檢索模塊用于導(dǎo)入所述被調(diào)用插件所涉及的預(yù)先存儲的的視頻圖像息; 所述虛擬場景生成流程控制模塊用于構(gòu)建節(jié)點樹，并令各被調(diào)用的插件對應(yīng)于所述節(jié)點樹上的各個節(jié)點； 所述虛擬場景生成工作臺模塊用于顯示前述節(jié)點樹中被選中節(jié)點所對應(yīng)的視頻圖像信息； 所述虛擬場景生成工程管理模塊用于對節(jié)點樹中的所有節(jié)點進(jìn)行遍歷，并對每個節(jié)點進(jìn)行狀態(tài)保存，以形成視頻圖像虛擬場景文件。
2.一種對權(quán)利要求1所述的視頻圖像虛擬場景生成系統(tǒng)的框架構(gòu)造方法，其特征在于，包括如下步驟: 步驟一，對算法工具進(jìn)行插件式封裝，以獲得對應(yīng)的插件； 步驟二，構(gòu)建節(jié)點樹，并令各被調(diào)用的插件對應(yīng)于節(jié)點樹上的各個節(jié)點； 步驟三，遍歷節(jié)點樹中的所有節(jié)點，并對每個節(jié)點的狀態(tài)進(jìn)行保存，以形成視頻圖像虛擬場景文件。
3.如權(quán)利要求2所述的視頻圖像虛擬場景生成系統(tǒng)的框架構(gòu)造方法，其特征在于，所述步驟一中，利用插件注冊表實現(xiàn)插件的加載、注冊、加載。
4.如權(quán)利要求2所述的視頻圖像虛擬場景生成系統(tǒng)的框架構(gòu)造方法，其特征在于，所述步驟一的對算法工具進(jìn)行封裝中，統(tǒng)一算法工具的數(shù)據(jù)輸入輸出、統(tǒng)一視頻圖像數(shù)據(jù)格式、以及對視頻圖像數(shù)據(jù)的描述屬性、定義公共的算法工具插件與系統(tǒng)的接口。
5.如權(quán)利要求2所述的視頻圖像虛擬場景生成系統(tǒng)的框架構(gòu)造方法，其特征在于，所述步驟二中,通過節(jié)點列表以及節(jié)點連接列表來保存整個節(jié)點樹。
6.如權(quán)利要求2所述的視頻圖像虛擬場景生成系統(tǒng)的框架構(gòu)造方法，其特征在于，所述步驟三中，通過節(jié)點的創(chuàng)建順序和節(jié)點間連接關(guān)系構(gòu)建節(jié)點拓?fù)渑判颍詫?jié)點列表遍歷。
【文檔編號】G06T17/00GK103679800SQ201310594998
【公開日】2014年3月26日 申請日期:2013年11月21日 優(yōu)先權(quán)日:2013年11月21日
【發(fā)明者】陳小武, 趙沁平, 陳召東, 譚文婷, 張恒源 申請人:北京航空航天大學(xué)