本發(fā)明涉及一種視頻數(shù)據(jù)采集方法及裝置，具體涉及一種基于相機和屏幕幀同步控制系統(tǒng)的視頻數(shù)據(jù)采集方法及裝置，用于采集基于深度學(xué)習(xí)技術(shù)的圖像恢復(fù)神經(jīng)網(wǎng)絡(luò)的成對視頻訓(xùn)練數(shù)據(jù)，屬于光學(xué)成像與圖像處理領(lǐng)域。

背景技術(shù)：

1、在視頻恢復(fù)領(lǐng)域，深度學(xué)習(xí)技術(shù)已成為提高視頻質(zhì)量的關(guān)鍵手段，特別是在去噪、超分辨率以及壓縮偽影消除等方面表現(xiàn)出色。通過利用卷積神經(jīng)網(wǎng)絡(luò)、生成對抗網(wǎng)絡(luò)等深度學(xué)習(xí)模型，研究人員能夠從低質(zhì)量視頻中恢復(fù)出高質(zhì)量的細節(jié)信息。為了訓(xùn)練這些深度學(xué)習(xí)模型，需要大量的成對數(shù)據(jù)集，即源自同一場景的低質(zhì)量視頻及其對應(yīng)的高質(zhì)量版本。這些成對的視頻數(shù)據(jù)對于監(jiān)督學(xué)習(xí)至關(guān)重要，因為它們直接影響到訓(xùn)練過程中的損失函數(shù)計算和網(wǎng)絡(luò)參數(shù)更新。

2、然而，傳統(tǒng)的視頻數(shù)據(jù)采集方法面臨兩大挑戰(zhàn)。一是低質(zhì)量、高質(zhì)量視頻數(shù)據(jù)匹配度低。使用雙相機系統(tǒng)的拍攝方法本質(zhì)上使用的是兩個不同的相機，兩個相機存在微小差異，位置也難以嚴格對齊；使用同一相機拍攝兩次難以保證軌跡完全一致，且無法捕捉運動物體的影像。這導(dǎo)致低質(zhì)量視頻與高質(zhì)量視頻之間很難達到逐幀匹配，這在后期處理和訓(xùn)練時會帶來巨大的困難。二是場景不豐富。傳統(tǒng)視頻采集方案需要消耗大量人力現(xiàn)場拍攝，導(dǎo)致視頻數(shù)據(jù)數(shù)量有限，缺乏場景多樣性，這限制了深度學(xué)習(xí)模型的泛化能力。

3、為解決上述技術(shù)問題，迫切需要一種能夠保證低質(zhì)量、高質(zhì)量視頻匹配度和場景豐富度的成對視頻數(shù)據(jù)采集方法及裝置。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是針對現(xiàn)有技術(shù)存在的缺陷和不足，為了解決現(xiàn)有的成對視頻數(shù)據(jù)采集技術(shù)，采集到的低質(zhì)量、高質(zhì)量視頻數(shù)據(jù)匹配度低、場景不豐富等技術(shù)問題，創(chuàng)造性地提出一種基于幀同步控制系統(tǒng)的視頻數(shù)據(jù)采集方法及裝置。

2、本方法用于采集基于深度學(xué)習(xí)技術(shù)的圖像恢復(fù)神經(jīng)網(wǎng)絡(luò)的成對視頻訓(xùn)練數(shù)據(jù)。一方面，通過與顯示器上播放的視頻同步，控制相機逐幀拍攝，確保每一幀的數(shù)據(jù)在各個相機參數(shù)的設(shè)置下都是精確匹配的，實現(xiàn)了高質(zhì)量視頻與低質(zhì)量視頻之間的高度同步，這對于深度學(xué)習(xí)模型的訓(xùn)練極為有利。另一方面，通過顯示器播放不同類型的視頻內(nèi)容，可以容易地擴展數(shù)據(jù)集的多樣性，包括不同的天氣條件、時間段、室內(nèi)外場景等，從而增加模型的泛化能力。本發(fā)明通過創(chuàng)新的幀同步控制系統(tǒng)，顯著提升了視頻數(shù)據(jù)采集的效率和質(zhì)量，為深度學(xué)習(xí)視頻恢復(fù)技術(shù)的發(fā)展提供了強有力的數(shù)據(jù)支持。

3、為達上述目的，本發(fā)明采用以下技術(shù)方案實現(xiàn)。

4、一種基于幀同步控制系統(tǒng)的視頻數(shù)據(jù)采集方法，包括以下步驟：

5、步驟s1：初始化。

6、首先向幀同步控制系統(tǒng)寫入本次視頻采集需要的各類參數(shù)，包括所需拍攝的視頻數(shù)據(jù)、拍攝的起始幀和結(jié)束幀位置、相機的參數(shù)組列表。然后，開啟暗室內(nèi)的相機和屏幕準備拍攝。

7、步驟s2：切換幀。

8、通過幀同步控制系統(tǒng)控制屏幕切換到視頻所需拍攝的一幀。

9、步驟s3：調(diào)整相機參數(shù)。

10、通過幀同步控制系統(tǒng)控制相機切換到事先設(shè)定的相機參數(shù)組列表中的一組參數(shù)。

11、步驟s4：拍攝幀。

12、通過幀同步控制系統(tǒng)控制相機拍攝當(dāng)前屏幕上顯示的視頻幀，并保存數(shù)據(jù)到幀同步控制系統(tǒng)。

13、步驟s5：相機參數(shù)檢查。

14、判斷當(dāng)前是否已經(jīng)遍歷完事先設(shè)定好的相機參數(shù)組列表里的所有參數(shù)組。如果遍歷完成，則繼續(xù)；如果未遍歷完成，則回到步驟s3繼續(xù)調(diào)整相機參數(shù)，拍攝下一組相機參數(shù)下的視頻幀。

15、步驟s6：視頻幀檢查。

16、判斷當(dāng)前是否已經(jīng)遍歷完事先設(shè)定好的所有視頻幀。如果遍歷完成，則結(jié)束整個視頻采集流程；如果未遍歷完成，則回到步驟s2繼續(xù)切換幀，拍攝下一個視頻幀。

17、另一方面，為實現(xiàn)本發(fā)明目的，依據(jù)上述方法，本發(fā)明提出了一種基于幀同步控制系統(tǒng)的視頻數(shù)據(jù)采集裝置，包括相機模塊、顯示器模塊、幀同步控制系統(tǒng)模塊和暗室模塊。其中：

18、相機模塊，用于拍攝不同類型的視頻數(shù)據(jù)，其通過支架固定。

19、顯示器模塊，用于顯示待拍攝的視頻數(shù)據(jù)，其通過支架固定，屏幕中心正對相機模塊的鏡頭。顯示器的分辨率、刷新率要足夠高，保證相機模塊拍攝到的內(nèi)容無摩爾紋、無像素柵格、無模糊等情況。

20、幀同步控制系統(tǒng)模塊，用于控制相機模塊切換相機參數(shù)、控制顯示器模塊切換視頻幀，并接收、保存相機模塊采集到的數(shù)據(jù)。

21、暗室模塊，用于包裹相機模塊和顯示器模塊，使其與外界光線隔絕，并減少內(nèi)部環(huán)境的反光，保證視頻拍攝質(zhì)量。暗室模塊由黑色不透光材質(zhì)制成，且內(nèi)部不反光。

22、上述模塊的連接關(guān)系為：

23、相機模塊的鏡頭正對顯示器模塊的屏幕中心。在制作裝置時，檢查相機拍攝到的內(nèi)容并調(diào)節(jié)焦距，保證其中的顯示器內(nèi)容清晰、端正。

24、幀同步控制系統(tǒng)模塊的控制輸出端分別與相機模塊和顯示器模塊的控制輸入端相連，相機模塊的數(shù)據(jù)輸出端與幀同步控制系統(tǒng)模塊的數(shù)據(jù)輸入端相連。

25、相機模塊和顯示器模塊均置于暗室模塊內(nèi)部。幀同步控制系統(tǒng)模塊置于暗室模塊外部，方便設(shè)置參數(shù)和導(dǎo)出拍攝到的數(shù)據(jù)。

26、有益效果

27、本發(fā)明，針對性地解決了現(xiàn)有成對視頻數(shù)據(jù)采集方案采集到的低質(zhì)量、高質(zhì)量視頻數(shù)據(jù)匹配度低、場景不豐富等技術(shù)問題。一方面，通過與顯示器上播放的視頻同步，控制相機逐幀拍攝，確保每一幀的數(shù)據(jù)在各個相機參數(shù)的設(shè)置下都是精確匹配的，實現(xiàn)了高質(zhì)量視頻與低質(zhì)量視頻之間的高度同步，這對于深度學(xué)習(xí)模型的訓(xùn)練極為有利。另一方面，通過顯示器播放不同類型的視頻內(nèi)容，可以容易地擴展數(shù)據(jù)集的多樣性，包括不同的天氣條件、時間段、室內(nèi)外場景等，從而增加模型的泛化能力。

28、本發(fā)明通過創(chuàng)新的幀同步控制系統(tǒng)，顯著提升了視頻數(shù)據(jù)采集的效率和質(zhì)量，為深度學(xué)習(xí)視頻恢復(fù)技術(shù)的發(fā)展提供了強有力的數(shù)據(jù)支持。

技術(shù)特征：

1.一種基于幀同步控制系統(tǒng)的視頻數(shù)據(jù)采集方法，其特征在于，包括以下步驟：

2.如權(quán)利要求1所述的一種基于幀同步控制系統(tǒng)的視頻數(shù)據(jù)采集方法，其特征在于，步驟s1中，參數(shù)包括所需拍攝的視頻數(shù)據(jù)、拍攝的起始幀和結(jié)束幀位置、相機的參數(shù)組列表。

3.如權(quán)利要求2所述的一種基于幀同步控制系統(tǒng)的視頻數(shù)據(jù)采集方法，其特征在于，所需拍攝的視頻數(shù)據(jù)存入幀同步控制系統(tǒng)后，使用視頻解析軟件抽取出其中的每一幀；根據(jù)輸入的起始幀和結(jié)束幀位置定位到所需拍攝的視頻幀；后續(xù)將從起始幀開始拍攝，直到拍攝完結(jié)束幀之后程序停止；其中，起始幀和結(jié)束幀位置是整數(shù)類型的參數(shù)；拍攝不同場景的成對視頻數(shù)據(jù)；

4.如權(quán)利要求1所述的一種基于幀同步控制系統(tǒng)的視頻數(shù)據(jù)采集方法，其特征在于，步驟s2中，使用程序控制屏幕切換幀，要保證屏幕上的視頻切換到所需的幀并保持穩(wěn)定后，再進行后續(xù)拍攝。

5.如權(quán)利要求1所述的一種基于幀同步控制系統(tǒng)的視頻數(shù)據(jù)采集方法，其特征在于，步驟s4中，幀同步控制系統(tǒng)使用視頻編碼程序，將拍攝到的分離的視頻幀組成完整視頻再保存到內(nèi)部的存儲器，或直接存儲分離的視頻幀；每個視頻幀在保存前進行裁剪，僅保留屏幕區(qū)域顯示的內(nèi)容，裁剪掉屏幕之外的冗余信息。

6.如權(quán)利要求1所述的一種基于幀同步控制系統(tǒng)的視頻數(shù)據(jù)采集方法，其特征在于，步驟s5中，若當(dāng)前遍歷到的相機參數(shù)組序號超過相機參數(shù)組列表的長度，則遍歷完成，遍歷過程中相機參數(shù)組序號每次增加1。

7.如權(quán)利要求1所述的一種基于幀同步控制系統(tǒng)的視頻數(shù)據(jù)采集方法，其特征在于，步驟s6中，若當(dāng)前遍歷到的視頻幀序號大于結(jié)束幀的序號，則遍歷完成，遍歷過程中視頻幀序號每次增加1。

8.一種實現(xiàn)權(quán)利要求1所述的基于幀同步控制系統(tǒng)的視頻數(shù)據(jù)采集裝置，其特征在于，包括相機模塊、顯示器模塊、幀同步控制系統(tǒng)模塊和暗室模塊，其中：

9.一種如權(quán)利要求8所述的基于幀同步控制系統(tǒng)的視頻數(shù)據(jù)采集裝置，其特征在于，顯示器的分辨率、刷新率要保證相機模塊拍攝到的內(nèi)容無摩爾紋、無像素柵格、無模糊。

10.一種如權(quán)利要求8所述的基于幀同步控制系統(tǒng)的視頻數(shù)據(jù)采集裝置，其特征在于，暗室模塊由黑色不透光材質(zhì)制成，且內(nèi)部不反光。

技術(shù)總結(jié)
本發(fā)明涉及一種基于幀同步控制系統(tǒng)的視頻數(shù)據(jù)采集方法及裝置屬于光學(xué)成像與圖像處理領(lǐng)域。本發(fā)明用于采集基于深度學(xué)習(xí)技術(shù)的圖像恢復(fù)神經(jīng)網(wǎng)絡(luò)的成對視頻訓(xùn)練數(shù)據(jù)。一方面，通過與顯示器上播放的視頻同步，控制相機逐幀拍攝，確保每一幀的數(shù)據(jù)在各個相機參數(shù)的設(shè)置下都是精確匹配的，實現(xiàn)了高質(zhì)量視頻與低質(zhì)量視頻之間的高度同步，這對于深度學(xué)習(xí)模型的訓(xùn)練極為有利。另一方面，通過顯示器播放不同類型的視頻內(nèi)容，可以容易地擴展數(shù)據(jù)集的多樣性，包括不同的天氣條件、時間段、室內(nèi)外場景等，從而增加模型的泛化能力。本發(fā)明通過創(chuàng)新的幀同步控制系統(tǒng)，顯著提升了視頻數(shù)據(jù)采集的效率和質(zhì)量，為深度學(xué)習(xí)視頻恢復(fù)技術(shù)的發(fā)展提供了強有力的數(shù)據(jù)支持。

技術(shù)研發(fā)人員：付瑩,李和松,王嘉楠,陳磊,武楠
受保護的技術(shù)使用者：北京理工大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30