本發(fā)明總體上涉及圖像。更特別地，本發(fā)明的實施例涉及用于使用神經(jīng)網(wǎng)絡(luò)預(yù)測視頻序列中的修剪階段(trim?pass)元數(shù)據(jù)的技術(shù)。

背景技術(shù)：

1、如本文中使用的，術(shù)語'動態(tài)范圍'(dr)可以涉及人類視覺系統(tǒng)(hvs)感知圖像中的強度(例如，亮度、亮度信號)的范圍(例如從最暗的灰色(黑色)到最亮的白色(高亮))的能力。在這個意義上，dr涉及'參考場景'的強度。dr還可以涉及顯示設(shè)備充分地或近似地渲染特定寬度的強度范圍的能力。在這個意義上，dr涉及'參考顯示器'的強度。除非在本文中的描述中的任何點明確地指定特定的意義具有特定的重要性，否則應(yīng)當(dāng)推斷該術(shù)語可以在任一意義上(例如，可互換地)使用。

2、如本文中使用的，術(shù)語高動態(tài)范圍(hdr)涉及跨越人類視覺系統(tǒng)(hvs)的大約14-15個數(shù)量級的dr寬度。在實踐中，強度范圍中人類可以同時感知廣泛的寬度的dr可以相對于hdr稍微被截短。如本文中使用的，術(shù)語增強動態(tài)范圍(edr)或視覺動態(tài)范圍(vdr)可以單獨地或可互換地涉及包括眼睛運動從而允許場景或圖像上的一些光適應(yīng)改變的人類視覺系統(tǒng)(hvs)在場景或圖像中可感知的dr。

3、在實踐中，圖像包括一個或多個顏色分量(例如，亮度y以及色度cb和cr)，其中每個顏色分量由每像素n位(例如，n＝8)的精度表示。例如，使用伽瑪亮度編碼，其中n≤8的圖像(例如，彩色24位jpeg圖像)被視為標(biāo)準(zhǔn)動態(tài)范圍的圖像，而其中n≥10的圖像可以被視為增強動態(tài)范圍的圖像。edr和hdr圖像也可以使用高精度(例如，16位)浮點格式(諸如由工業(yè)光魔(industrial?light?and?magic)開發(fā)的openexr文件格式)進行存儲和分發(fā)。

4、大多數(shù)消費者桌面顯示器目前支持200至300cd/m2或尼特的亮度。大多數(shù)消費者hdtv的范圍是從300到500尼特，其中新型號達到1000尼特(cd/m2)。因此，這樣的傳統(tǒng)顯示器代表相對于hdr或edr較低的動態(tài)范圍(ldr)，也稱為標(biāo)準(zhǔn)動態(tài)范圍(sdr)。隨著hdr內(nèi)容的可用性由于捕獲裝備(例如，相機)和hdr顯示器(例如，來自杜比實驗室的prm-4200專業(yè)參考監(jiān)視器)兩者的進步而增長，hdr內(nèi)容可以進行顏色分級并且顯示在支持更高動態(tài)范圍(例如，從1000尼特到5000尼特或更多)的hdr顯示器上。一般地，沒有限制，本公開的方法涉及高于sdr的任何動態(tài)范圍。

5、如本文中使用的，術(shù)語“顯示管理”是指在接收器上執(zhí)行以對目標(biāo)顯示器渲染圖片的過程。例如，并且沒有限制，這樣的過程可以包括色調(diào)映射、色域映射、顏色管理、幀速率轉(zhuǎn)換等。

6、如本文中使用的，術(shù)語“修剪階段”是指視頻后期制作過程，在該視頻后期制作過程中負責(zé)內(nèi)容的調(diào)色師或創(chuàng)意人員逐鏡頭地經(jīng)歷內(nèi)容的母版分級，并且調(diào)整lift-gamma-gain原色和/或其它顏色參數(shù)以創(chuàng)建期望的顏色或效果。與這個過程相關(guān)的參數(shù)(比如，lift、gain、以及gamma值)也可以作為修剪階段元數(shù)據(jù)或“修剪”嵌入在視頻內(nèi)容內(nèi)以便以后作為顯示管理過程的一部分被使用。

7、高動態(tài)范圍(hdr)內(nèi)容的創(chuàng)建和回放現(xiàn)在正變得普遍，因為hdr技術(shù)提供比早期格式更寫實和逼真的圖像。然而，在將hdr內(nèi)容轉(zhuǎn)換成sdr內(nèi)容以用于舊有顯示器時，廣播基礎(chǔ)設(shè)施可能不支持自定義修剪的生成和傳輸。為了改進現(xiàn)有的編碼方案，如這里發(fā)明人所意識到的，開發(fā)了用于自動地生成修剪階段元數(shù)據(jù)的改進技術(shù)。

8、us2021/076042a1公開了用于生成供視頻解碼器用于顯示由視頻編碼器編碼的視頻內(nèi)容的元數(shù)據(jù)的方法，該方法包括訪問目標(biāo)色調(diào)映射曲線；訪問與視頻解碼器用于對視頻內(nèi)容進行色調(diào)映射的色調(diào)曲線對應(yīng)的解碼器色調(diào)曲線；生成由視頻解碼器使用的修剪階段函數(shù)的多個參數(shù)以在將解碼器色調(diào)曲線應(yīng)用到視頻內(nèi)容之后應(yīng)用，其中生成修剪階段函數(shù)的參數(shù)以利用修剪階段函數(shù)和解碼器色調(diào)曲線的組合來近似目標(biāo)色調(diào)曲線，以及生成供視頻解碼器使用的元數(shù)據(jù)，包括所述修剪階段函數(shù)的多個參數(shù)。

9、us2021/350512a1公開了對于游戲或sdr+內(nèi)容的自動顯示管理生成的方法。不同的候選圖像數(shù)據(jù)特征類型被評估以識別要在訓(xùn)練用于優(yōu)化一個或多個圖像元數(shù)據(jù)參數(shù)的預(yù)測模型中使用的一個或多個特定的圖像數(shù)據(jù)特征類型。從一個或多個圖像提取一個或多個選擇的圖像數(shù)據(jù)特征類型的多個圖像數(shù)據(jù)特征。一個或多個選擇的圖像數(shù)據(jù)特征類型的多個圖像數(shù)據(jù)特征被縮減成多個顯著圖像數(shù)據(jù)特征。多個顯著圖像數(shù)據(jù)特征中的圖像數(shù)據(jù)特征的總數(shù)量不大于一個或多個選擇的圖像數(shù)據(jù)特征類型的多個圖像數(shù)據(jù)特征中的圖像數(shù)據(jù)特征的總數(shù)量。多個顯著圖像數(shù)據(jù)特征被應(yīng)用以訓(xùn)練用于優(yōu)化一個或多個圖像元數(shù)據(jù)參數(shù)的預(yù)測模型。

10、本節(jié)中描述的方法是可以追求的方法，但不一定是以前已想到或追求的方法。因此，除非另外指明，否則不應(yīng)當(dāng)僅僅憑借它們包括在本節(jié)中就認為本節(jié)中描述的方法中的任一個有資格成為現(xiàn)有技術(shù)。類似地，除非另外指明，否則關(guān)于一個或多個方法識別出的問題不應(yīng)當(dāng)基于本節(jié)而認為已在任何現(xiàn)有技術(shù)中被認識到。

技術(shù)實現(xiàn)思路

1、發(fā)明由獨立權(quán)利要求限定。從屬權(quán)利要求與發(fā)明的一些實施例的可選特征有關(guān)。

技術(shù)特征：

1.一種用于生成視頻序列中的圖片的修剪階段元數(shù)據(jù)的方法，其中所述修剪階段元數(shù)據(jù)被配置為執(zhí)行在目標(biāo)顯示器上顯示時應(yīng)用到輸入的圖片的色調(diào)映射曲線的調(diào)整，所述方法包括：

2.如權(quán)利要求1所述的方法，其中所述輸入的圖片是使用ictcp顏色空間中的pq編碼進行編碼的高動態(tài)范圍(hdr)圖片。

3.如權(quán)利要求1或權(quán)利要求2所述的方法，其中所述特征提取網(wǎng)絡(luò)包括四個級聯(lián)的卷積網(wǎng)絡(luò)。

4.如權(quán)利要求3所述的方法，其中所述全連接網(wǎng)絡(luò)包括三個級聯(lián)的線性網(wǎng)絡(luò)。

5.如權(quán)利要求1-4中的任一項所述的方法，其中所述特征提取網(wǎng)絡(luò)包括修改的mobilenetv3神經(jīng)網(wǎng)絡(luò)，所述修改的mobilenetv3神經(jīng)網(wǎng)絡(luò)接受具有非方形縱橫比的輸入。

6.如權(quán)利要求5所述的方法，其中所述全連接網(wǎng)絡(luò)包括三個級聯(lián)的線性網(wǎng)絡(luò)。

7.如權(quán)利要求1-6中的任一項所述的方法，還包括：

8.如權(quán)利要求7所述的方法，其中計算所述誤差度量包括計算所述輸入的訓(xùn)練修剪階段參數(shù)與所述輸出的修剪階段元數(shù)據(jù)之間的最小絕對誤差或均方誤差。

9.如權(quán)利要求7所述的方法，其中計算所述誤差度量包括：

10.一種裝置，所述裝置包括處理器并且被配置為執(zhí)行權(quán)利要求1-9中記載的方法中的任意一個。

11.一種非暫態(tài)計算機可讀存儲介質(zhì)，所述非暫態(tài)計算機可讀存儲介質(zhì)上存儲有用于利用一個或多個處理器根據(jù)權(quán)利要求1-9中的任意一項執(zhí)行方法的計算機可執(zhí)行指令。

技術(shù)總結(jié)
描述了用于對高動態(tài)范圍(HDR)視頻生成修剪階段元數(shù)據(jù)的方法和系統(tǒng)。修剪階段預(yù)測流水線包括特征提取網(wǎng)絡(luò)，所述特征提取網(wǎng)絡(luò)后面跟著全連接網(wǎng)絡(luò)，所述全連接網(wǎng)絡(luò)將提取的特征映射到修剪階段值。在第一個架構(gòu)中，所述特征提取網(wǎng)絡(luò)基于四個級聯(lián)的卷積網(wǎng)絡(luò)。在第二個架構(gòu)中，所述特征提取網(wǎng)絡(luò)基于修改的MobileNetV3神經(jīng)網(wǎng)絡(luò)。在兩個架構(gòu)中，所述全連接網(wǎng)絡(luò)由一組三個線性網(wǎng)絡(luò)形成，每組被定制為最佳匹配其對應(yīng)的特征提取網(wǎng)絡(luò)。

技術(shù)研發(fā)人員：S·H·木蘇努瑞,S·S·洛提,A·K·A·喬杜里
受保護的技術(shù)使用者：杜比實驗室特許公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6