專利名稱：使用一色彩信息數(shù)據(jù)結(jié)構(gòu)來處理圖像信息的策略的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于處理圖像信息的策略，尤其涉及使用確保圖像信息的色彩內(nèi)容被 準確再現(xiàn)的改進技術(shù)來處理圖像信息的策略。
背景技術(shù)：
人類視覺依賴于響應(yīng)極低亮度的視網(wǎng)膜感光桿細胞，以及響應(yīng)色彩的視網(wǎng)膜感光 錐細胞。錐細胞通常響應(yīng)于可見電磁頻譜的三個部分，稱為長波(例如通常對應(yīng)于紅色)、 中波(例如通常對應(yīng)于綠色)和短波(例如通常對應(yīng)于藍色)。這樣，所有色彩可被表示 為至少三種不同色彩成分(component)的不同組合。一般而言，色彩本身是在頻譜可見部 分中電磁輻射的物理方面以及用來處理該信息的視覺相關(guān)和大腦“機制”發(fā)生的復(fù)雜現(xiàn)象。 例如，人類視覺對光的強度比對光的色彩(色度)成分更敏感。再現(xiàn)彩色圖像的電子裝置通過提供三類光源來補充人類視覺的三原色特性。這三 類光源對人類觀察者產(chǎn)生像對不同色彩所感受的不同頻譜響應(yīng)。例如，陰極射線管(CRT) 提供紅綠藍磷光劑來產(chǎn)生不同色彩。其它技術(shù)不使用磷光劑，但以其它方式使用發(fā)出至少 三種光的光源來再現(xiàn)色彩。
The Commission Internationale de L'Eclairage (CIE)已陳述將光線的光譜特 性映射成不同感知色彩的整個系統(tǒng)。與之相關(guān)地，術(shù)語“匹配函數(shù)”指用統(tǒng)計學(xué)方法列出“平 均”觀察者對每個波長中一組參考燈的響應(yīng)曲線。對于紅綠藍，這些函數(shù)分別表示為r (w)、g(w)和b (W)，其中“W”表示波長。這樣的參考燈-或色彩元-定義裝置用來再現(xiàn)具有色彩 內(nèi)容的圖像信息的光源(通常監(jiān)視磷光劑)。術(shù)語“色彩空間”指由一組色彩元和匹配函數(shù) 定義的規(guī)范。一抽象色彩規(guī)范可用上述數(shù)學(xué)方法把三元色度映射成不同色彩。然而，已開發(fā)了 眾多特定編碼系統(tǒng)以確?？蓱?yīng)用于實際應(yīng)用中的更有效編碼方案，諸如色彩圖像信息的傳 輸和呈現(xiàn)。本行業(yè)中首先面對的實際應(yīng)用是模擬電視信號的廣播和呈現(xiàn)。最近的應(yīng)用包括 數(shù)字視頻信息在諸如TCP/IP網(wǎng)絡(luò)(例如因特網(wǎng))的網(wǎng)絡(luò)上的傳輸和呈現(xiàn)。此外，除了標準 清晰度(SD)視頻信息之外，本行業(yè)現(xiàn)在提供高清晰度(HD)視頻信息的傳輸和呈現(xiàn)。因而 編碼系統(tǒng)的特性常常被回溯到本行業(yè)在某些時候面對的某些問題。不管其方法如何，編碼系統(tǒng)解決了在再現(xiàn)具有色彩內(nèi)容的圖像信息中產(chǎn)生的一些 共同問題。以下討論提供對編碼系統(tǒng)可能以一種形式或另一種形式解決的共同問題的縱 覽。(對于術(shù)語，術(shù)語“圖像信息”在本說明書中表示可向用戶顯示的任何信息；該術(shù)語被廣 泛用來包括靜態(tài)圖像信息和動態(tài)視頻信息。)
色彩空間及相關(guān)描述色彩可使用三種成分來指定。依賴于使用不同色彩成分傳輸色彩內(nèi)容的圖像流被 稱為成分視頻。一通用編碼方法使用紅綠藍(RGB)成分來指定色彩。更正式地，RGB成分 描述創(chuàng)建感覺上與給定頻譜等價的色彩的參考燈的比例強度。例如，R成分可如下定義
IOOmi / \ / \R = iZ(wjr(w^w
300hwi其中L(w)對應(yīng)于一給定頻譜，而r (w)對應(yīng)于該色彩空間的匹配函數(shù)r (w)。一般 而言，RGB色彩空間可由與其色彩元及其白點相關(guān)聯(lián)的色度值來指定。白點指與參考白色 相關(guān)聯(lián)的色度。計算機監(jiān)視器通常使用RGB模型來向用戶呈現(xiàn)色彩內(nèi)容。然而，RGB編碼模型可 能對圖像信息傳輸是低效選擇。因此，圖像信息通常使用某些不同于RGB的編碼模型來傳 輸給目標裝置。在接收后，例如使用3X3仿射轉(zhuǎn)換該圖像信息可被轉(zhuǎn)換到RGB色彩空間用 于顯示。如將在標題“Y描述”下所述，每個R、G、或B組件數(shù)據(jù)還可根據(jù)其預(yù)γ校正形 式-分別稱為R’、G’和B’值-來表達。(通常，按慣例，’表示本說明書中的非線性信息。)本方面中一通用手段是通過參考亮度相關(guān)成分(Y)和色度相關(guān)成分來定義色彩。 亮度通常指感受到的光線強度(亮度)。亮度可用預(yù)Y校正形式(如“Y描述”下所述) 來表達以產(chǎn)生其非線性對應(yīng)體，稱為“l(fā)uma(亮度)”(Y’)。色度成分定義與Iuma相關(guān)的圖 像信息的色彩內(nèi)容。例如，在數(shù)字領(lǐng)域中，符號“Cb”對應(yīng)于差值B’ -Y’的η比特整數(shù)的按 比例表示(通常是8比特值的-127 128范圍)，而符號“Cr”對應(yīng)于差值R’-Y，的η比特 整數(shù)的按比例表示。符號“Pb”指Cb的模擬對應(yīng)體，而符號“Pr”指Cr的模擬對應(yīng)體。符號 ‘Pb，和‘Pr，還可指帶有額定范圍[-0. 5. . . 0. 5]的Cb或Cr的數(shù)字歸一化形式。由CbCr 和PbPr定義的成分圖像信息在表示非線性信息時可被正式地加上單引號(例如Cb’Cr’和 Pb，Pr，)。色彩內(nèi)容也可作為合成視頻(而非上述成分視頻)傳送。合成信號將亮度和色度 信息組合在一個信號中。例如，在編碼系統(tǒng)Y’ UV中，U代表B-Y的比例版本而V代表R-Y 的比例版本。然后處理這些亮度和色度成分以提供單個信號(例如，以全國電視系統(tǒng)委員會(NTSC)制式或逐行倒相(PAL)制式中陳述的方式)。編碼系統(tǒng)Y’ IQ定義通過以指定方式轉(zhuǎn)換U和V成分而形成的另外的合成編碼系統(tǒng)。一般而言，歷史上本行業(yè)曾推進使用Y 相關(guān)的色彩空間(Y’ CbCr, Y’ PbPr, YUV、YIQ等)，因為與在RGB色彩空間中表達的圖像信 息相比，在這些色彩空間中可較簡便地實現(xiàn)色彩圖像信息的縮減。通常使用一個或多個矩陣仿射變換來把色彩內(nèi)容從一個色彩空間轉(zhuǎn)換成另一色 彩空間是可能的。更正式地，條件等色(metamerism)的屬性使得根據(jù)另一組匹配函數(shù)來表 達一組色彩空間系數(shù)成為可能(其中“條件等色”指映射到同一組色彩空間系數(shù)的兩個光 譜，因而顯現(xiàn)為感覺上相同_即看上去像同一色彩)?！?y 描述陰極射線管(CRT)不具有線性響應(yīng)轉(zhuǎn)換函數(shù)。換言之，施加到CRT的電壓和CRT 所產(chǎn)生的亮度的關(guān)系無法定義為線性函數(shù)。更具體地，CRT的預(yù)測理論響應(yīng)具有與5/2冪 法則成比例的響應(yīng)；即對于給定輸入電壓“V”，CRT的結(jié)果亮度“L”可被計算為L = V2 5。在應(yīng)用中，通常圖像信息的源(諸如視頻照相機)通過將轉(zhuǎn)換函數(shù)應(yīng)用于圖像信 息來預(yù)先補償圖像信息。該“轉(zhuǎn)換函數(shù)”約是CRT亮度響應(yīng)的逆函數(shù)。應(yīng)用于源上的該轉(zhuǎn) 換函數(shù)-通常稱為編碼轉(zhuǎn)換函數(shù)-產(chǎn)生“經(jīng)Y校正”的非線性圖像信息。當非線性信號通 過顯示裝置傳遞時，產(chǎn)生線性亮度。根據(jù)上述概念，非線性(或預(yù)先補償)圖像信息通過向 其成分加單引號來標注，例如Y’ Cb' Cr’。通常以非線性(預(yù)先補償)形式來傳送圖像信息。接收儀器的顯示裝置(例如 CRT)由于其內(nèi)在非線性可補償編碼傳輸函數(shù)以提供適當?shù)慕?jīng)轉(zhuǎn)換色彩內(nèi)容用于消費。通常調(diào)整編碼傳輸函數(shù)的指數(shù)以考慮圖像信息可能被查看的條件。例如，在常規(guī) 電視上顯示的視頻信息通常在家庭設(shè)置里普遍的微暗觀看環(huán)境中呈現(xiàn)，而在常規(guī)計算機顯 示器上顯示的圖像信息通常在辦公室設(shè)置里普遍的明亮觀看環(huán)境中呈現(xiàn)。不同的轉(zhuǎn)換函數(shù) 調(diào)整適于這些不同的觀看環(huán)境。因此，電視視頻源通常使用基于圖像信息將在微暗觀看條 件下呈現(xiàn)的內(nèi)在假設(shè)的轉(zhuǎn)換函數(shù)。這表示由該源應(yīng)用的轉(zhuǎn)換函數(shù)通常將不足補償CRT的內(nèi) 在非線性。作為另一特定考慮因素，使用轉(zhuǎn)換函數(shù)的圖像信息編碼通常將一特定近似函數(shù)應(yīng) 用于該函數(shù)的低壓部分。即，編碼技術(shù)通常提供該部分的線性段以減少成像傳感器中的噪 音效應(yīng)。該段被稱為“線性尾部”(linear tail)，具有一經(jīng)定義的“底腳斜率”(toe slope)?！づc亮度信息相關(guān)的色度信息的采樣和對齊如上所述，人類視覺對光線強度比光線的色度成分更敏感。編碼系統(tǒng)利用了這個 事實來減少相對亮度信息(Y’ )量的經(jīng)編碼的色度(Cb’ Cr')信息量。該技術(shù)被稱為色度 子采樣。通常表示為L:M:N的數(shù)字概念可被用來表達該采樣策略，其中“L”表示亮度成分 (Y’ )的采樣參考因子，而“M”和“N”指相對于亮度采樣(Y’ )的色度采樣(例如分別為Cb 和Cr)。例如符號4:4:4可表示其中每個亮度樣本有一個色度樣本的Y’ CbCr數(shù)據(jù)。符號 4:2:2可表示其中每兩個亮度樣本有一個色度樣本的Y’CbCr數(shù)據(jù)(水平地)。符號4:2:0 可表示其中對亮度樣本的每個2X2集群有一個色度樣本的Y’CbCr數(shù)據(jù)。符號4:1 1可表 示其中每四個亮度樣本有一個色度樣本的Y’ CbCr數(shù)據(jù)(水平地)。在編碼策略提供比色度信息多的亮度信息的那些環(huán)境中，解碼器可通過基于所提 供的色度信息執(zhí)行內(nèi)插來重建“丟失的”色度信息。更一般地，縮減采樣(downsampling)指任何產(chǎn)生比初始圖像樣本集更少的圖像樣本的技術(shù)。增長采樣(upsampling)指任何產(chǎn)生 比初始圖像樣本集更多的圖像樣本的技術(shù)。因而，上述內(nèi)插定義一類增長采樣。
編碼策略還指定色度樣本在空間上與對應(yīng)亮度樣本“對齊”的方式。各編碼策略在 這方面有所不同。某些策略將色度樣本與亮度樣本對齊使色度樣本直接位于亮度樣本“之 上”。這稱為cositing(對齊)。其它策略將色度樣本填入亮度樣本的兩維數(shù)組內(nèi)的空位 上。圖10-12(在下面討論)示出用于呈現(xiàn)亮度和色度信息的不同采樣和對齊策略?！ち炕枋隽炕敢环N將離散數(shù)值分配到色彩成分的信號幅度上的方法。在數(shù)字領(lǐng)域中，各 數(shù)值以指定步驟跨越色彩空間值的指定范圍(整個范圍)。例如通常使用255個步驟用于 描述每個成分值從而每個成分可假設(shè)一從O到255的值。通常使用8個比特來表達每個色 彩值，盡管色彩也可使用更高精度(比如10個比特)或更低精度來表達。編碼策略通常將一些部分分配在量化色階范圍的兩端，用于分別表示黑色色階和 白色色階。即，編碼策略將常定義一參考黑色色階和一參考白色色階，但也將編碼色階分配 到這些參考色階之外用于表達在參考黑白色階之外搖擺的值。例如，一 8比特編碼策略可 將色階16分配給黑色而將色階235分配給白色。剩余的比16低的色階定義所謂“底腳空 間”而剩下的比235高的色階定義所謂“頂部空間”?！じ粜袙呙璞硎緦u進式表示描述常規(guī)電視信號是以隔行掃描方式掃描的。在隔行掃描中，步驟視頻幀的第一字段 稍后是視頻幀的第二字段(例如1/50或1/60秒之后)。第二字段相對第一字段有一微量 垂直偏移，從而使第二字段捕捉在第一字段掃描行之間的空隙內(nèi)的信息。所謂擺動隔行掃 描是一類眾所周知的隔行掃描策略。完整的視頻幀通過快速順序地呈現(xiàn)第一和第二字段組 成，從而在人類觀看者感覺它們是單個信息幀。然而，計算機監(jiān)視器和其它呈現(xiàn)設(shè)備以漸進式而非隔行掃描方式顯示圖像信息。 因而，為了使一裝置在計算機監(jiān)視器上呈現(xiàn)隔行掃描信息，它必須通過內(nèi)插反向字段的數(shù) 據(jù)(稱為“解除隔行掃描(deinterlace)”的過程)來以隔行掃描字段速率顯示漸進式幀。 例如，為了顯示隔行掃描字段，它必須通過檢查兩側(cè)字段來把“丟失的”數(shù)據(jù)插入各行之間 的空位。非隔行掃描圖像格式被稱為“漸進式”格式。有關(guān)每一個以上主題的其它信息可在眾多介紹性文本中找到，諸如 CharlesPoyton 著名的“數(shù)字視頻和 HDTV”( "Digital Video and HDTV”)。結(jié)合上述復(fù)雜性，本行業(yè)提供了用于呈現(xiàn)圖像信息的大量不同正式標準。各標準 由眾多機構(gòu)和協(xié)會公布，包括國際電信同盟(ITU)、歐洲廣播聯(lián)盟(EBU)(也推廣數(shù)字視頻 廣播或DVB)、音頻工程協(xié)會(AES)、高級電視系統(tǒng)委員會(ATSC)、電影與電視工程師學(xué)會 (SMPTE)、順序五彩電視系統(tǒng)(SECAM)、全國電視系統(tǒng)委員會(NTSC)等。每個這些機構(gòu)都創(chuàng)立來自上述可能編碼選項鄰域中編碼特征的特定組合。這樣， 如本發(fā)明人所理解的，各標準一般在其定義和應(yīng)用上不同色彩元；轉(zhuǎn)換函數(shù)；預(yù)期觀看條 件；轉(zhuǎn)換矩陣；底腳空間和頂部空間的規(guī)范；色度子采樣和對齊策略等。色彩元(與白點參 考一起)定義一標準的基本色彩空間。轉(zhuǎn)換函數(shù)確定該標準如何在線性圖像信息和非線性 信息之間轉(zhuǎn)換。計預(yù)期觀看條件定義該標準所作對可能消費圖像信息的觀看環(huán)境的假設(shè) (諸如電視將在家庭環(huán)境微暗燈光下觀看的假設(shè))。觀看條件改變圖像信息的有效的Y、亮度(黑色色階)以及對比度(白色色階)。轉(zhuǎn)換矩陣確定該標準如何在不同色彩空間之間 轉(zhuǎn)換(例如從Y’ YbYr到RGB色彩空間)。頭部空間和底腳空間規(guī)范確定該標準分配的表 示黑色和白色范圍的量化色階。色度子采樣和對齊策略指定色度信息被子采樣并相對亮度 信息放置的方式?，F(xiàn)有的標準相關(guān)文檔以嚴格細節(jié)來陳述每種標準的要求。代表性標準包括-ITU-R Recommendation BT. 470是提供模擬和單色電視裝置的規(guī)范的國際標準。-ITU-R Recommendation BT. 601是定義圖像信息的演播室數(shù)字編碼的國際標準。 該標準使用圖像信息的Y’ CbCr編碼?！?ITU-R Recommendation BT. 709是定義高清晰度視頻信息的演播室編碼的國 際標準。高清晰度(HD)內(nèi)容表示比標準清晰度(SD)高的視頻內(nèi)容，通常為1920X1080、 1280X720 等。
· SMPTE 170M是定義合成模擬視頻信息的編碼的一種標準(例如NTSC)?！?SMPTE 240M是定義模擬高清晰度視頻信息的編碼的一種標準?！?IEC 61966-2-1 (sRGB)是用于使用8比特量化方案把圖像信息編碼成255個級 的一種標準。· IEC 61966-2-2 (scRGB)是定義sRGB線性形式的一種標準，大大擴展了 sRGB的 色彩范圍?！?IS0/IEC 13818 (MPEG-2)是以壓縮形式編碼音頻和視頻信號的一種標準。· ISO 10918-1 (JPEG)是用于有損壓縮靜態(tài)圖像信息的一種標準。當今使用的編碼標準的多樣性使得在圖像信息的編碼、傳送和處理中有很多困 難。作為縱覽，與特定裝置相關(guān)聯(lián)的視頻處理管線常被設(shè)計成處理具有已定義格式化的特 定類信號；在此限定作用中，這些裝置可準確地以可靠方式處理圖像信息。然而，在當今使 用的更廣泛圖像信息領(lǐng)域的環(huán)境中，這些裝置可能缺乏用于解釋其它類圖像信息的色彩格 式化，并通過管線可靠地傳播該格式化信息的機制。更精確地，視頻管線可接收定義應(yīng)用于 所接收圖像信息的色彩格式化的某些方面的信息，但如本發(fā)明人所理解的，視頻管線可能 缺乏可靠地把該色彩信息沿管線傳播到管線中的下游組件的適當機制。結(jié)果，該格式化信 息“丟失”或“被丟棄”。下游組件可通過“猜想”格式化信息來解決有關(guān)色彩格式化信息的 缺乏問題。當組件猜想得不準確時，管線以不太理想的甚至是不準確的方式產(chǎn)生圖像信息。圖1被呈現(xiàn)為用于進一步解釋以上可能問題的一種手段。圖1示出視頻處理管線 100的高級表示。管線100包括由輸入階段102、處理階段104和輸出階段106定義的常規(guī) 處理階段。對于輸入階段102，輸入源108表示圖像信息的任意源。源108 —般可包括新捕 捉的圖像信息(例如由照相機或掃描儀創(chuàng)建)，或通過某些通道(例如從盤接收的、經(jīng)IP網(wǎng) 絡(luò)等)提供給輸入階段102的先前捕捉的圖像信息。在前一情形中，捕捉處理功能110可 對從源108接收的圖像信息執(zhí)行任何類型的預(yù)處理。在后一情形中，解碼功能112執(zhí)行任 一類型的基于流的信息提取和解壓以生成圖像數(shù)據(jù)。一般而言，這種處理可包括從所接收 信息的音頻信息中分離圖像信息、結(jié)壓縮信息等。對于處理階段104，處理功能114對結(jié)果 圖像信息執(zhí)行任何類型的處理，諸如把多個圖像信息流混合在一起成為一合成信號。對于 輸出階段，輸出處理功能116代表在向輸出裝置118的輸出做準備的過程中對經(jīng)處理圖像 信息執(zhí)行的任何類型的處理。輸出裝置118可代表電視、計算機監(jiān)視器等。輸出裝置還可代表存儲裝置。此外，輸出“裝置”(或輸出功能116)可提供為在裝置上存儲或經(jīng)網(wǎng)絡(luò)發(fā)布 準備信息的壓縮和格式化功能(諸如多路傳輸器)。圖1中底部一行的框總結(jié)了已知系統(tǒng)的上述缺點?？?20指出管線功能(110、112、 114、116)，未能準確解釋應(yīng)用于輸入信號的色彩格式化和/或未能沿管線把色彩信息可靠 地傳播到下游組件。例如，管線100可接收已用指定格式化編碼的圖像信息。所接收的信 息可包括標識所使用格式化特征的某些字段，或者這些特征可基于接收信息的其它警告屬 性而導(dǎo)出。然而由于使用中的標準太多，管線100的初始階段缺乏用于適當解釋該信息并 將其傳遞給視頻管線100的下游組件的功能。結(jié)果，該編碼信息立即丟失。這可導(dǎo)致圖像 信息被傳送到下游組件卻沒有該組件應(yīng)如何解釋該圖像信息的方針；實際上它僅僅是1和 0而已?？?22示出視頻管線100處理以上困難的方式。即，缺乏如何解釋圖像信息中色 彩內(nèi)容的指導(dǎo)的功能組件常常作如何解釋它的“猜想”。部分猜想是準確的而其它則不準 確。僅列舉一些示例，視頻管線可作出有關(guān)已應(yīng)用于圖像信息的轉(zhuǎn)換函數(shù)(可能基于圖像 尺寸)的不準確假設(shè)、圖像信息中固有的光線條件假設(shè)、由圖像信息使用的色度子采樣方 案(基于數(shù)據(jù)格式)等。框124示出可能的不正確猜想序列。即，不正確猜想可導(dǎo)致非最佳的或不正確的 顯示質(zhì)量。圖像顯示可顯現(xiàn)為具有“不自然”色彩或具有動態(tài)假象?；蛘咚娠@現(xiàn)為“對比 度”過大、失真、裁切不正等。因此需要一種用于處理具有色彩內(nèi)容的圖像信息的更令人滿意的技術(shù)。

發(fā)明內(nèi)容
根據(jù)一示例性實現(xiàn)，描述一種用于處理具有以指定格式表達的色彩內(nèi)容的圖像信 息的方法。該方法包括(a)提供一種包含定義指定格式至少一方面的色彩信息的色彩信 息數(shù)據(jù)結(jié)構(gòu)，所述色彩信息數(shù)據(jù)結(jié)構(gòu)表示色彩信息在視頻管線內(nèi)編碼并傳送的方式，所述 色彩信息表示描述圖像信息的色彩內(nèi)容的信息；(b)將該色彩信息數(shù)據(jù)結(jié)構(gòu)以及圖像信息 傳遞給用于處理圖像信息的至少一個功能組件；(c)基于色彩信息數(shù)據(jù)結(jié)構(gòu)中的色彩信息 在上述至少一個功能組件上處理圖像信息；(d)上述至少一個功能組件屬于定義視頻處理 管線的一組功能組件，其中色彩信息數(shù)據(jù)結(jié)構(gòu)在視頻處理管線中往下傳遞為下游功能組件 使用；以及(e)上述至少一個功能組件還確定指定格式的至少一個其它方面，并將該至少 一個其它方面添加到色彩信息數(shù)據(jù)結(jié)構(gòu)中的至少一個未知字段中。根據(jù)另一示例性特征，色彩信息數(shù)據(jù)結(jié)構(gòu)包括(a) 一視頻轉(zhuǎn)換函數(shù)字段，它傳送 有關(guān)用于把線性圖像信息轉(zhuǎn)換成非線性圖像信息和/或反之的轉(zhuǎn)換函數(shù)的信息；(b) —色 彩元字段，它傳送與圖像信息相關(guān)聯(lián)的色彩元；(c) 一圖像光線字段，它傳送與圖像信息相 關(guān)聯(lián)的預(yù)期觀看條件；(d) —轉(zhuǎn)換矩陣字段，它可被用來更改圖像信息的 色彩空間；(e) — 名義范圍字段，它傳送有關(guān)與圖像信息相關(guān)聯(lián)的底腳空間和頂部空間的信息；以及(f) 一 視頻色度采樣字段，它指示在圖像信息中的色度樣本被采樣并相對相關(guān)聯(lián)亮度樣本對齊的 方式。根據(jù)另一示例性特征，上述色彩信息數(shù)據(jù)結(jié)構(gòu)的傳遞包括使用現(xiàn)有數(shù)據(jù)結(jié)構(gòu)的未 使用字段來傳遞該色彩信息數(shù)據(jù)。
根據(jù)另一示例性特征，該方法還包括設(shè)置一標記，它表示上述指示一個功能組件 有能力處理色彩信息數(shù)據(jù)結(jié)構(gòu)。所描述的用于處理圖像信息的另一示例性方法包括(a)提供圖像信息的一主視 頻流；(b)提供圖像信息的一個次視頻流；以及(c)基于在色彩信息數(shù)據(jù)結(jié)構(gòu)中指定的色彩 信息執(zhí)行涉及主視頻流和次視頻流的至少兩個任務(wù)以產(chǎn)生以指定色彩空間表達的輸出視 頻信息；其中所述色彩信息數(shù)據(jù)結(jié)構(gòu)表示色彩信息在視頻管線內(nèi)編碼并傳送的方式，所述 色彩信息表示描述對應(yīng)的圖像信息的色彩內(nèi)容的信息。其它示例性實現(xiàn)如下所述。



圖1示出一示例性視頻管線及其相關(guān)問題。圖2示出一改進示例性視頻管線，它具有處理提供色彩信息的數(shù)據(jù)結(jié)構(gòu)的功能。圖3是示出使用圖2中引入的數(shù)據(jù)結(jié)構(gòu)來處理圖像信息的示例性方法的流程圖。圖4是示出用于將圖像信息轉(zhuǎn)換成漸進式線性RGB格式，然后對該格式的圖像信 息執(zhí)行處理的新技術(shù)的框圖。圖5示出用于圖2系統(tǒng)的示例性數(shù)據(jù)結(jié)構(gòu)的縱覽。圖6-12示出圖5數(shù)據(jù)結(jié)構(gòu)可引用的各種示例性格式化信息。圖13示出用于實現(xiàn)圖2 —般特征的一示例性系統(tǒng)。圖14是示出圖13系統(tǒng)操作的示例性方法的流程圖。圖15和16示出可在圖13系統(tǒng)中采用的示例性合成功能的細節(jié)。最后，圖17示出用于實現(xiàn)圖2所示系統(tǒng)各方面以及下列等等的示例性計算環(huán)境。相同標號在本說明書和附圖中使用以引用類似組件和特征。系列100標號指原來 在圖1中發(fā)現(xiàn)的特征，系列200標號指原來在圖2中發(fā)現(xiàn)的特征，系列300標號指原來在圖 3中發(fā)現(xiàn)的特征等等。
具體實施例方式以下描述了用于改進具有色彩內(nèi)容的圖像信息的處理的示例的機制和過程。廣而 言之，這些機制和過程提供一種捕捉有關(guān)已應(yīng)用于圖像信息的色彩格式化的信息的數(shù)據(jù)結(jié) 構(gòu)。該信息被稱為“色彩信息”，而該數(shù)據(jù)結(jié)構(gòu)本身被稱為“色彩信息(Cl)數(shù)據(jù)結(jié)構(gòu)”。在一 示例性情形中，色彩信息可具體地包括傳送與圖像信息相關(guān)聯(lián)的以下信息的字段轉(zhuǎn)換函 數(shù)信息；色彩元信息；視頻光線信息；轉(zhuǎn)換矩陣信息；名義范圍信息；以及色度子采樣信息。 字段的這個組合旨在是說明性的而非限制性的。其它實現(xiàn)可包括其它字段，可略去以上標 識的某些字段等。視頻處理管線使用色彩信息以便于圖像信息的處理。例如，色彩信息可指定管線 內(nèi)的功能組件應(yīng)變換圖像信息的方式。此外，與已知系統(tǒng)顯著不同的是，該視頻管線包括用 于將CI數(shù)據(jù)結(jié)構(gòu)沿管線往下傳遞使管線中下游組件能從該CI數(shù)據(jù)結(jié)構(gòu)中提取信息的功 能。從而這種措施減少了視頻管線將作有關(guān)圖像信息本性的不準確猜想的機會；因此，這種 措施有可能改進顯示圖像的質(zhì)量。根據(jù)另一示例性特征，管線內(nèi)組件可包括用于獨立解釋圖像信息的功能。在組件能可靠地確定色彩格式化的先前未指定的色彩相關(guān)方面的那些實例中，該組件可將該信息添加到CI數(shù)據(jù)結(jié)構(gòu)中。然后該補充色彩信息變成對視頻管線中的下游組件可用，而下游組 件由可通過添加新信息來補充該CI數(shù)據(jù)結(jié)構(gòu)。因而，當色彩信息數(shù)據(jù)結(jié)構(gòu)通過管線傳遞并 收集來自管線內(nèi)組件的能導(dǎo)出應(yīng)用于圖像信息格式化的不同屬性的信息時，它就變得更加 m有fe息 了。根據(jù)另一示例性特征，色彩信息旨在提供一種傳送有關(guān)可用于編碼圖像信息的大 量可能格式的信息的“容器”。因此，該CI數(shù)據(jù)結(jié)構(gòu)可被示為一類通用接口，使視頻管線通 過翻譯由該CI數(shù)據(jù)結(jié)構(gòu)傳送的色彩信息而能接受任何類型的圖像信息并進行正確處理。根據(jù)另一示例性特征，CI數(shù)據(jù)結(jié)構(gòu)使用一種特別有效的方案來將各種各樣有關(guān)不 同格式標準的信息封裝在少數(shù)信息比特中。在一示例性情形中，數(shù)據(jù)結(jié)構(gòu)將各種各樣的色 彩信息封裝在少數(shù)字中(例如在16比特結(jié)構(gòu)、24比特結(jié)構(gòu)等中)。根據(jù)另一示例性特征，系統(tǒng)可通過采用在視頻管線中使用的一個或多個現(xiàn)有數(shù)據(jù) 結(jié)構(gòu)中提供的未使用字段來傳送CI數(shù)據(jù)結(jié)構(gòu)。這允許使用這種現(xiàn)有數(shù)據(jù)結(jié)構(gòu)的系統(tǒng)無需 系統(tǒng)的昂貴和復(fù)雜重組就可使用色彩信息。此外，如果這些系統(tǒng)并未被設(shè)置成處理該CI數(shù) 據(jù)結(jié)構(gòu)但它仍然出現(xiàn)在饋入該系統(tǒng)的輸入信息中，這些系統(tǒng)無需受到“破壞”就可安全地略 去CI數(shù)據(jù)結(jié)構(gòu)。根據(jù)另一示例性特征，亮度相關(guān)色彩空間中的隔行掃描圖像信息(例如 Y’ Cb' Cr')可被轉(zhuǎn)換到線性和漸進式的RGB色彩空間。然后可在線性/漸進式RGB色彩 空間內(nèi)對圖像信息執(zhí)行各種處理(諸如重新調(diào)節(jié)大小等)。然后圖像信息可被轉(zhuǎn)換回亮度 相關(guān)色彩空間(例如Y’ Pb’ Pr’ )用于輸出(例如用于在電視上顯示)。在線性/漸進式 RGB空間中對亮度相關(guān)信息的處理104與其它方法不同，它不將圖像信息轉(zhuǎn)換到中間線性 RGB色彩空間中用來以上述方式進行處理。還有其它特征和附加優(yōu)點在以下詳細說明書中進行詳細描述。對于術(shù)語，術(shù)語“圖像信息”旨在包括任何類型的可由用戶以任何可視形式消費的 信息。圖像信息可表示以任何格式表達的信息，諸如模擬格式、數(shù)字格式、或數(shù)字和模擬格 式的組合。圖像信息可表示靜態(tài)圖像信息(例如數(shù)字照片)和/或動態(tài)信息(例如視頻信 息)。預(yù)期還有其它變體可使用術(shù)語圖像信息。術(shù)語“色彩信息”表示描述圖像信息的色彩內(nèi)容的任何信息。例如，當圖像信息以 指定格式來表達色彩內(nèi)容時，色彩信息可傳送有關(guān)該格式的信息。術(shù)語“色彩信息數(shù)據(jù)結(jié)構(gòu) (Cl數(shù)據(jù)結(jié)構(gòu))”指可在視頻管線內(nèi)編碼并傳送色彩信息的方式。術(shù)語“視頻管線”指用于處理圖像信息的任何功能。管線包括以一個跟隨另一個 的串行方式對圖像信息操作的至少兩個功能組件。本說明書包括以下章節(jié)。章節(jié)A描述示例性色彩信息數(shù)據(jù)結(jié)構(gòu)及其在視頻管線內(nèi) 使用方式的縱覽。章節(jié)B描述可在章節(jié)A的視頻管線內(nèi)執(zhí)行的示例性轉(zhuǎn)換操作。章節(jié)C描 述在章節(jié)A中定義的色彩信息數(shù)據(jù)結(jié)構(gòu)的示例性合成。章節(jié)D描述體現(xiàn)在章節(jié)A-C中陳述 的各原理的視頻管線的一特定示例性實現(xiàn)。章節(jié)E描述用于實現(xiàn)在章節(jié)A-D中描述的特征 各方面的示例性計算機環(huán)境。一般而言，對于本發(fā)明的結(jié)構(gòu)化方面，在此所述的任一功能都可使用軟件、固件 (例如固定邏輯電路)、手動處理、或這些實現(xiàn)的組合來實現(xiàn)。當在此使用時，術(shù)語“模塊”、“功能”和“邏輯”一般表示軟件、固件、或軟件和固件的組合。在軟件實現(xiàn)的情形中，術(shù)語模塊、功能、或邏輯表示在處理裝置或裝置(例如一個或多個CPU)上完成時執(zhí)行指定任務(wù) 的程序代碼。程序代碼可被存儲于一個或多個固定的和/或可移動計算機可讀存儲器裝置 中。對于本發(fā)明的過程方面，某些操作被描述為由以某個順序執(zhí)行的不同步驟組成。 這種實現(xiàn)是示例性并非限制的。在此描述的某些步驟可被組合在一起并在單個操作中執(zhí) 行，且某些步驟能以與本說明書中陳述示例所采用順序不同的順序執(zhí)行。A.示例性色彩信息(Cl)數(shù)據(jù)結(jié)構(gòu)及其應(yīng)用的縱覽圖2示出采用色彩信息(Cl)數(shù)據(jù)結(jié)構(gòu)202的視頻處理管線200。CI數(shù)據(jù)結(jié)構(gòu)202 包含描述用來表達圖像信息204內(nèi)色彩的格式化和/或描述圖像信息如何隨后由管線處理 的信息。該CI數(shù)據(jù)結(jié)構(gòu)提供統(tǒng)一的容器以接收有關(guān)大量不同色彩編碼格式的色彩信息。從 而該CI數(shù)據(jù)結(jié)構(gòu)202定義一類通用接口，以無異常方式擴展管線200可成功處理的圖像信 息類型。根據(jù)另一優(yōu)點，視頻管線中所有功能組件可從CI數(shù)據(jù)結(jié)構(gòu)202中提取，并可能用 有關(guān)圖像信息204的能導(dǎo)出這些組件的新信息來補充它。視頻管線本身包括一系列處理階段，包括輸入階段206、處理階段208和輸出階段 210。對于輸入階段206，輸入源212代表圖像信息204的任一源。源212通常可包括新捕 捉的圖像信息(例如由照相機或掃描儀創(chuàng)建)，或先前捕捉的通過某些路線出現(xiàn)在輸入階 段206的圖像信息，例如經(jīng)廣播傳輸(例如衛(wèi)星或電纜傳輸?shù)?接收的、經(jīng)任意類網(wǎng)絡(luò)接收 的(諸如例如因特網(wǎng)的TCP/IP數(shù)字網(wǎng)絡(luò))、經(jīng)圖像信息的本地存儲(諸如視頻盤、本地數(shù) 據(jù)庫等)接收的等。輸入處理功能214被配置成對圖像信息204執(zhí)行任意類預(yù)處理，它取 決于輸入源212的本性而不同(例如取決于圖像信息204是否是新捕捉的或從預(yù)先捕捉 信息的某些源輸入的)。在輸入先前捕捉/存儲信息的情形中，處理可包括從接收信號中 將圖像信息與音頻信息分離、解壓縮圖像信息等。對于處理階段208，處理功能216被配置 成對已捕捉的圖像信息204執(zhí)行任何類型的處理，諸如將多個視頻信息流混合成一合成信 號，對已捕捉圖像信息204執(zhí)行色彩空間轉(zhuǎn)換等。對于輸出階段210，輸出處理功能218被 配置成執(zhí)行圖像信息204的任何處理以為其向輸出裝置220的輸出做準備。輸出裝置可代 表電視機、計算機監(jiān)視器、存儲裝置(遠程和本地)、任何網(wǎng)絡(luò)可訪問目標位置等。每個功能 組件(214、216、218)可在物理上被實現(xiàn)為用于執(zhí)行所屬任務(wù)的單個裝置，或以串行或并行 方式耦合在一起的多個裝置。在一情形中，管線200中的組件可對應(yīng)于動態(tài)配置的邏輯模 塊(例如軟件模塊)。每個功能組件(214、216、218)包括被配置成處理CI數(shù)據(jù)結(jié)構(gòu)202的相應(yīng)功能 (222、224、226)。該功能(222、224、226)可包括用于讀取CI數(shù)據(jù)結(jié)構(gòu)202中信息、用于解 釋CI數(shù)據(jù)結(jié)構(gòu)202中信息、以及用于將CI數(shù)據(jù)結(jié)構(gòu)202中的經(jīng)解釋信息應(yīng)用于圖像信息 204的處理的邏輯。該功能(222、224、226)還可包括用于導(dǎo)出有關(guān)在圖像信息204中使用 的色彩格式化的其它特征，以及用以將該導(dǎo)出信息提供給CI數(shù)據(jù)結(jié)構(gòu)202以填入CI數(shù)據(jù) 結(jié)構(gòu)202中的先前未知字段的邏輯。例如，功能(222、224、226)可確定在使用某格式?；?此，它可導(dǎo)出(例如通過訪問一預(yù)定查尋表格)該標準具有某些編碼特征。然后功能(222、 224,226)可提供有關(guān)這些導(dǎo)出特征的信息以填入CI數(shù)據(jù)結(jié)構(gòu)202中的先前未知字段。更 具體地，在一實現(xiàn)中，管線200中的組件可自動地將CI數(shù)據(jù)結(jié)構(gòu)202中的未知值設(shè)置為諸如O的指定值。這個動作構(gòu)成CI數(shù)據(jù)結(jié)構(gòu)的初始化。由于這些值被設(shè)置為0，隨后的組件 會注意CI數(shù)據(jù)結(jié)構(gòu)中某些值的未知性質(zhì)。然后這些組件可以自由提供丟失值(如果它們 能夠這樣做的話)。箭頭228 —般表示功能(222、224、226)可從CI數(shù)據(jù)結(jié)構(gòu)202提取信 息。箭頭230 —般表示功能(222、224、226)可添加到CI數(shù)據(jù)結(jié)構(gòu)202。圖2具體地示出功 能組件214在與CI數(shù)據(jù)結(jié)構(gòu)202交互。但如上所述，該同一 CI數(shù)據(jù)結(jié)構(gòu)202被沿視頻管 線200傳遞下去，從而任意其它功能組件(214、216、218)可以所示方式與CI數(shù)據(jù)結(jié)構(gòu)202 交互。不同的功能組件(214、216、218)可依賴于眾多因素來對CI數(shù)據(jù)結(jié)構(gòu)202進行不 同的處理，諸如所涉及的處理階段(206、208、210)、特定應(yīng)用程序的細節(jié)、所處理的色彩格
式等ο 例如，與源212和輸入處理功能214相關(guān)聯(lián)的功能222有助于確定有關(guān)所接收圖 像信息104中使用的格式化標準的信息，并向CI數(shù)據(jù)結(jié)構(gòu)202提供該信息以由管線200的 下游組件使用。一般而言，在新的捕捉情形中，捕捉裝置通常隱含地“知道”應(yīng)用于它所產(chǎn)生 的圖像信息的格式化。另一方面，接收由某些其它源創(chuàng)建的圖像信息的裝置可通過研究與 所接收圖像信息相關(guān)聯(lián)的任何格式相關(guān)信息，或通過作邏輯或可靠猜測來確定應(yīng)用于該圖 像信息的色彩格式化。以下是特定示例。例如，模擬捕捉裝置通常知道與他們所捕捉數(shù)據(jù) 相關(guān)的視頻標準和色彩空間。作為另一示例，由于DVD導(dǎo)航器在解析帶有NTSC內(nèi)容的DVD 的事實，它知道所處理的圖像信息204的色彩空間。作為另一示例，接收MPEG-2基本視頻流 的任何捕捉裝置可導(dǎo)出所使用格式化的某些屬性，因為MPEG-2將色彩信息明顯列在其序 列顯示擴展標題中；例如，標題指示與圖像信息204相關(guān)聯(lián)的元、轉(zhuǎn)換函數(shù)和轉(zhuǎn)換矩陣。作 為另一示例，高清晰度(HD)數(shù)字調(diào)諧器應(yīng)知道它在傳送709色彩空間內(nèi)的HD數(shù)據(jù)等。在 所有這些情形中，功能222可將它“已經(jīng)知道”所采用的色彩格式化的信息提供給CI數(shù)據(jù) 結(jié)構(gòu)202以由管線200中的下游功能組件使用。在已知系統(tǒng)中，該信息被立即丟棄且因此 丟失了。管線200中的色彩空間轉(zhuǎn)換器可使用CI數(shù)據(jù)結(jié)構(gòu)202來確保對所接收的圖像信 息204執(zhí)行了準確的轉(zhuǎn)換操作。換言之，例如，色彩空間轉(zhuǎn)換器可使用從CI數(shù)據(jù)結(jié)構(gòu)202 中收集的信息來確定所使用的轉(zhuǎn)換算法，或確定在算法中使用的設(shè)置/參數(shù)等等。管線200中的混合器用來把不同類型的圖像信息混合在一起，其中這種信息可能 使用不同的色彩格式來表達。例如，一應(yīng)用程序可能想要把數(shù)字照片和疊加圖像信息組合 在一起等等。管線200可使用在CI數(shù)據(jù)結(jié)構(gòu)202中提供的增強式格式化信息以確保所有 被組合的信息具有一通用格式(例如通用色彩空間)。這個操作可在信息由混合器接收之 前例如由(與管線中混合器相關(guān))上游組件執(zhí)行?；蛘咴摬僮骺杀环峙涞綀D形處理硬件。該圖形處理硬件可包括例如由視頻處理卡 (如下參照圖13討論)提供的一個或多個圖形處理單元(GPU)。在此情形中，與要組合信 息相關(guān)聯(lián)的CI數(shù)據(jù)結(jié)構(gòu)202可被沿管線傳送下去直到圖形處理硬件，然后該硬件可使用CI 數(shù)據(jù)結(jié)構(gòu)202把圖像信息轉(zhuǎn)換成一通用格式，從而可組合信息。在該實現(xiàn)中，依靠由CI數(shù) 據(jù)結(jié)構(gòu)202提供的補充色彩信息，視頻管線中的驅(qū)動器不再需要猜想哪種色彩空間或色度 方案是預(yù)期的，因而減少驅(qū)動器(或圖形處理硬件)將作不正確猜想并產(chǎn)生較差輸出結(jié)果 的可能性。
總之，圖2底部行中的各框總結(jié)了應(yīng)用于視頻管線200的CI數(shù)據(jù)結(jié)構(gòu)202的使用 的示例性優(yōu)點?？?32示出CI數(shù)據(jù)結(jié)構(gòu)202具有在管線200中往下傳遞的統(tǒng)一結(jié)構(gòu)。框 234示出管線200中的每個功能組件(214、216、218)可從CI數(shù)據(jù)結(jié)構(gòu)202提取信息，并為 CI數(shù)據(jù)結(jié)構(gòu)202中的未知字段提供值。這就是說，與已知系統(tǒng)相比較，功能組件(214、216、 218)可減少或消除處理圖像信息204需要執(zhí)行的不合理猜測?？?36示出該策略的最終結(jié) 果可導(dǎo)致色彩再現(xiàn)的改進質(zhì)量。即，通過減少某些不準確猜測，視頻管線200將提供具有各 種異常的輸出信息的可能性降低，諸如圖像具有較差對比度、圖像具有看起來不自然的色 彩、圖像具有各種失真(例如動態(tài)非自然信號、剪裁等)等。 根據(jù)另一優(yōu)點，如將在以下章節(jié)D中詳細解釋的，視頻管線200可使用現(xiàn)有的數(shù)據(jù) 結(jié)構(gòu)來傳送CI數(shù)據(jù)結(jié)構(gòu)202。例如，CI數(shù)據(jù)結(jié)構(gòu)202可“駐留”于用來通過管線200傳送 信息的現(xiàn)有數(shù)據(jù)結(jié)構(gòu)的未使用字段?？商峁┮粯擞泚戆l(fā)出未使用字段是否包含CI數(shù)據(jù)結(jié) 構(gòu)202的信號(或者它是否包含無意義的、未指定的信息或可能缺省信息，諸如一串0)。該 措施至少有兩個優(yōu)點。首先，現(xiàn)有尺寸的現(xiàn)有字段的使用意味著無需完全重新設(shè)計現(xiàn)有的 功能組件(214、216、218)以適應(yīng)于新CI數(shù)據(jù)結(jié)構(gòu)202的使用。另外，不具有理解或解釋CI 數(shù)據(jù)結(jié)構(gòu)202的能力的那些功能組件(214、216、218)不需要處理此信息。換言之，不理解 CI數(shù)據(jù)結(jié)構(gòu)的組件完全不受其影響。同時，提供色彩信息的不明顯特性使這些組件能自動 地沿管線200傳遞色彩信息。換言之，色彩信息通常沒有丟失，因為它出現(xiàn)在現(xiàn)有的數(shù)據(jù)字 段中。這使被配置成利用該色彩信息的下游組件能接收來自不知道CI的上游組件中的色 彩信息。以上討論已假設(shè)圖像信息204將基于CI數(shù)據(jù)結(jié)構(gòu)202中的色彩信息在顯示裝置 中立即顯示。然而，CI數(shù)據(jù)結(jié)構(gòu)202還提供一種用于包裝與圖像信息204相關(guān)聯(lián)的色彩信 息的有效技術(shù)，并因而可用作一種存檔技術(shù)以用空間有效方法來存儲圖像信息204和相關(guān) 聯(lián)的CI數(shù)據(jù)結(jié)構(gòu)202 (但仍然保留大量有關(guān)應(yīng)用于圖像信息的格式化的信息)。更具體地，組件可被配置成自動地將CI信息202與圖像信息204存儲在一起。當 后來檢索圖像信息204時，包含CI信息202的保留字段可被解包并被傳送到管線200，從而 為下游組件保留了大量有關(guān)圖像信息204的色彩結(jié)構(gòu)的信息。此外，以上討論已假設(shè)管線200中的組件可僅為管線中的下游組件提供缺少的色 彩信息。然而，管線中的組件可提供該色彩信息由上游組件在其對隨后圖像信息的處理中 使用。例如，考慮視頻管線被應(yīng)用于處理和呈現(xiàn)來自未知視頻源的電影的任務(wù)的情形。管 線中的初始組件之一不能確定應(yīng)用于該視頻信息的格式化的某些特征，并因而在開始時可 能就未能以最優(yōu)方式處理該信息。然而，管線中后來的組件隨后導(dǎo)出已由未知視頻源應(yīng)用 于視頻信息的格式化。這些下游組件可與上游組件通信以通知它隨后接收的來自同一源的 信號具有指定的格式化。然后，上游組件可用更無錯誤的方式處理視頻信息。此外，術(shù)語“下游”并未必然示出系統(tǒng)內(nèi)操作的固定順序。一般而言，管線可用動態(tài) 方式創(chuàng)建以通過串聯(lián)不同的功能組件來提供對圖像信息204的需要操作。在該環(huán)境中，色 彩信息可在媒體類數(shù)據(jù)結(jié)構(gòu)中提供用于在各組件之間協(xié)商。如果管線首先從“輸出端”創(chuàng) 建，色彩信息將隨著組件的連接“反向”流動。圖3以流程圖形式描述圖2中管線200的操作。步驟302要求開始時捕捉/輸入 來自一個或多個源212的圖像信息204。步驟304要求由管線200的適當功能組件(214、216,216)根據(jù)從CI數(shù)據(jù)結(jié)構(gòu)202收集的色彩信息來處理圖像信息204。步驟306要求有選擇地向CI數(shù)據(jù)結(jié)構(gòu)提供由管線200的適當組件(214、216、218)導(dǎo)出的色彩信息以由視 頻管線200的下游組件使用。例如，步驟304和306對應(yīng)于輸入階段206在由流程圖定義 的第一個循環(huán)中執(zhí)行的處理。步驟308確定步驟304和306是否應(yīng)對視頻管線200中的下 一功能組件(214、216、218)重復(fù)。圖3的過程以圖像信息204基于CI數(shù)據(jù)結(jié)構(gòu)202對輸 出裝置(例如電視、計算機監(jiān)視器、存檔裝置、網(wǎng)絡(luò)目標等)的最終輸出而結(jié)束。B.示例性轉(zhuǎn)換操作圖4示出使用圖2的視頻管線200或在另一類管線的環(huán)境中轉(zhuǎn)換圖像信息204的 轉(zhuǎn)換操作400。圖4因此進一步擴展了色彩信息202在視頻管線內(nèi)的使用。圖4所示的其 它特征示出即使不使用色彩信息202情況的視頻處理領(lǐng)域內(nèi)的進步。即，作為縱覽，圖4示 出一種用于將以亮度相關(guān)色彩空間(例如Y’ Cb' Cr')表達的圖像信息轉(zhuǎn)換到線性漸進式 RGB空間，然后對線性漸進式RGB數(shù)據(jù)執(zhí)行某些處理的技術(shù)。此后，該技術(shù)可將該信息轉(zhuǎn)換 回亮度相關(guān)空間(例如Y’ Pb’ Pr')用于向輸出裝置輸出(諸如以亮度相關(guān)色彩空間顯示 圖像信息204的電視裝置、存儲設(shè)備等)。在線性/漸進式RGB色彩空間中處理亮度相關(guān)信 息204與其它方法不同，它不會將圖像信息204轉(zhuǎn)換到中間線性RGB色彩空間，用來以上述 方式進行處理。出于眾多原因，線性RGB處理是有利的。例如，線性RGB處理消除了可能由 處理非線性RGB或非線性YUV色彩空間中的圖像信息引起的亮度和色彩移位非自然信號。圖4的轉(zhuǎn)換操作400包括一系列描述上述轉(zhuǎn)換步驟的示例框。更具體地，該圖中 上面一行的框示出將Y’ Cb’ Cr’圖像信息轉(zhuǎn)換到指定色彩空間用于處理。下面一行的框示 出將處理后的數(shù)據(jù)轉(zhuǎn)換回Y’ Pb’ Pr'數(shù)據(jù)(其中Y’ Pb’ Pr'可定義Y’ Cb' Cr'的模擬對等 體)。對于上面一行，框402指出Y’ Cb' Cr' 4:2:0圖像信息被接收并被增量采樣為 Y’ Cb' Cr' 4:4:4圖像信息。4:2:0符號表示色度信息(Cb，Cr')相對亮度信息(Y’ )進行 子采樣。圖4中框402上示出的代表性樣本指出不同的編碼策略可用不同方法來使色度樣 本相對亮度樣本放置。增量采樣操作內(nèi)插色度信息以便產(chǎn)生與亮度信息一樣多的色度信息 量(例如以提供輸入圖像信息的4:4:4表示)?？?04將一矩陣轉(zhuǎn)換應(yīng)用于Y’ Cb’ Cr' 4:4:4圖像信息以將其轉(zhuǎn)換到另一色彩空 間，即R’ G’ B’色彩空間?？?06通過向其應(yīng)用轉(zhuǎn)換函數(shù)將非線性R’ G’ B’圖像信息轉(zhuǎn)換成線性形式。如上 所述，與R’ G’ B’圖像信息相關(guān)聯(lián)的單引號(’)表示它是非線性形式的；沒有單引號(例 如RGB)通常表示線性數(shù)據(jù)(除非在通常理解所指符號代表非線性信息時移除單引號也是 常見的)。圖4中框406上所示模型轉(zhuǎn)換函數(shù)示出所采用函數(shù)的一般形狀，它也是CRT (未 示出)的固有轉(zhuǎn)換函數(shù)的一般形狀。該模型轉(zhuǎn)換函數(shù)還表示它可采用臨近其曲線的V = O 部分的線性尾部。框408有選擇地執(zhí)行內(nèi)容的解除隔行掃描以將其從隔行掃描形式轉(zhuǎn)換成漸進式 形式以便正確執(zhí)行圖像重新調(diào)整操作?？?10有選擇地轉(zhuǎn)換線性RGB信息的色彩元以在另一色彩空間表達該信息。該轉(zhuǎn) 換可包括將一矩陣轉(zhuǎn)換應(yīng)用于RGB信息以改變其色彩元，使它們與在視頻處理管線中下游 組件所執(zhí)行處理所需的元相對應(yīng)。在一示例中，框410可包括將圖像信息從一 RGB相關(guān)色彩空間轉(zhuǎn)換成另一 RGB相關(guān)色彩空間(例如scRGB)。 框412 —般表示對具有經(jīng)轉(zhuǎn)換色彩空間的圖像信息的任何類型的處理。例如，這 可構(gòu)成在線性漸進式RGB相關(guān)色彩空間中執(zhí)行對圖像信息的處理。圖4的下面一行框一般是上面一行上述操作的逆。即，在框412中處理之后，框414 有選擇地將圖像信息轉(zhuǎn)換到另一色彩空間，諸如轉(zhuǎn)換回RGB色彩空間。如果它需要以隔行 掃描形式存儲或顯示，框416應(yīng)用內(nèi)容的操作性重新隔行掃描。框418應(yīng)用一轉(zhuǎn)換函數(shù)以再 次將RGB圖像信息轉(zhuǎn)換成非線性形式(R’ G’ B’)?？?20將R’ G’ B’圖像信息的色彩空間 轉(zhuǎn)換回將其亮度成份(Y’)與其色度成份(Pb’ Pr’)分開的格式。最后，框422有選擇地子 采樣Y’Pb’Pr’圖像信息以減少色度樣本(Pb’Pr’)相對亮度樣本(Y’)的量。即，該框422 可將Y’ Pb’ Pr’ 4:4:4圖像信息(每個亮度樣本有一個色度樣本)轉(zhuǎn)換成Y’ Pb’ Pr’ 4:2:0 圖像信息(相對亮度樣本有較少的色度樣本)。CI數(shù)據(jù)結(jié)構(gòu)202通過提供有關(guān)每個處理框處理圖像信息204的方式的指令而在 圖4環(huán)境中開始活動。例如，可提供指定管線從亮度相關(guān)色彩空間轉(zhuǎn)換到RGB相關(guān)色彩空 間的方式等的色彩信息。C.色彩信息數(shù)據(jù)結(jié)構(gòu)的示例性合成圖5示出在圖2中引入的CI數(shù)據(jù)結(jié)構(gòu)202的一示例性實現(xiàn)。該CI數(shù)據(jù)結(jié)構(gòu)202 包括定義可能可應(yīng)用于圖像信息204的編碼標準的不同方面的眾多字段。圖5中示出的字 段是代表性的，而不限制可被包裝到CI數(shù)據(jù)結(jié)構(gòu)202的信息類型。其它實現(xiàn)可略去在圖5 中示出的某些字段，或可添加未在圖5中示出的其它字段。本節(jié)提供在圖5中示出的各字段的一般縱覽，隨后是CI數(shù)據(jù)結(jié)構(gòu)202的一示例性 實現(xiàn)的詳細描述。開始，第一字段502定義轉(zhuǎn)換函數(shù)信息。該信息被用來定義如何將(非線性) R’ G’ B’圖像信息204轉(zhuǎn)換成(線性)RGB信息(和/或反之)。第二字段504定義用來編碼圖像信息204的色彩元。例如，該字段504可指定與 RGB圖像信息204相關(guān)聯(lián)的RGB響應(yīng)函數(shù)。第三字段506定義什么視頻光線假設(shè)應(yīng)用于圖像信息204。例如，該字段506可指 定圖像信息204是否被編碼用來在與微暗燈光家庭環(huán)境(通常是信息要在家中電視上呈現(xiàn) 的情形)相反的明亮辦公室環(huán)境中呈現(xiàn)(通常是信息要在計算機監(jiān)視器上呈現(xiàn)的情形)。第四字段508定義可應(yīng)用于圖像信息204的轉(zhuǎn)換矩陣。例如，這些矩陣可定義如 何在Y’ Cb，Cr，色彩空間和R’ G’ B’色彩空間之間轉(zhuǎn)換等等。第五矩陣510定義與圖像信息204相關(guān)聯(lián)的名義范圍信息。更具體地，該字段定 義圖像信息204是否提供參考黑色色階下的指定底腳空間和/或參考白色色階上的指定頂 部空間。最后，第六字段512定義色度的子采樣信息，該信息定義如何采樣色度信息并相 對亮度信息放置。不同的編碼方案可被用來表達如圖5所示的6個字段。根據(jù)一示例性和非限制 方法，一比特集合被分配用來表達CI數(shù)據(jù)結(jié)構(gòu)202。該比特集合可被安排在具有預(yù)定字段 (或用來接收色彩信息的槽)的指定數(shù)據(jù)結(jié)構(gòu)中。在一示例性情形中，可分配16比特來表 達CI數(shù)據(jù)結(jié)構(gòu)202。在另一示例性情形中，可分配24比特來表達CI數(shù)據(jù)結(jié)構(gòu)202。其它實現(xiàn)還可提供其它的CI數(shù)據(jù)結(jié)構(gòu)尺寸，包括少于16比特的尺寸、多于24比特的尺寸等等。在使用24比特的示例性和非限制情形中，可如下組織字段(502-512)。第一 ‘枚 舉’(值的整數(shù)枚舉)VideoTransferFunction可被用來表達第一字段502 ；它可被分配以5 比特，從而占據(jù)24比特CI數(shù)據(jù)結(jié)構(gòu)202的比特23-19。第二枚舉VideoPrimaries可被用 來表達第二字段504 ；它可被分配以5比特，從而占據(jù)CI數(shù)據(jù)結(jié)構(gòu)202的比特18-14。第三 枚舉VideoLighting可被用來表達第三字段506 ；它可被分配以4比特，從而占據(jù)CI數(shù)據(jù) 結(jié)構(gòu)202的比特13-10。第四枚舉TransferMatrix可被用來表達第四字段508 ；它可被分 配以3比特，從而占據(jù)CI數(shù)據(jù)結(jié)構(gòu)202的比特9-7。第五枚舉NominalRange可被用來表達 第五字段512 ；它可被分配以3比特，從而占據(jù)CI數(shù)據(jù)結(jié)構(gòu)202的比特6_4。最后，第六枚 舉VideoChromaSubsampling可被用來表達第六字段512 ；它可被分配以4比特，從而占據(jù) CI數(shù)據(jù)結(jié)構(gòu)202的比特3-0。本節(jié)的剩余部分提供有關(guān)上述6個枚舉的一示例性實現(xiàn)的其它細節(jié)。所提供的細 節(jié)是說明性而非限制性的；可使用具有不同語法的其它數(shù)據(jù)結(jié)構(gòu)。· DXVA_VideoTransferFunctionDXVA_VideoTransferFunction 枚舉指出從(非線性)R，G，B，到(線性)RGB 的 轉(zhuǎn)換函數(shù)。它大約對應(yīng)于圖像數(shù)據(jù)的Y函數(shù)。某些轉(zhuǎn)換函數(shù)具有校正以考慮8比特整數(shù) 量化效應(yīng)。在一示例性實現(xiàn)中，5比特可被用來表達該枚舉(例如24比特CI數(shù)據(jù)結(jié)構(gòu)202 的比特23-19)。DXVA_VideoTransferFunction枚舉的示例性語法羅列如下typedef enum_DXVA_VideoTransferFunction{DXVA_VideoTransFuncMask =BIT {23} I {22} | {21} | {20} | {19}，DXVA_VideoTransFunc_Unknown = 0，DXVA_VideoTransFunc_10 = 1，DXVA_VideoTransFunc_18 = 2，DXVA_VideoTransFunc_20 = 3，DXVA_VideoTransFunc_22 = 4，DXVA_VideoTransFunc_22_709 = 5，DXVA_VideoTransFunc_22_240M = 6，DXVA_Vi deoTransFunc_24_8b i t_sRGB = 7，DXVA_VideoTransFunc_28 = 8，}DXVA_VideoTransferFunction ；該枚舉的第一個成員指出該字段是未知的。如果為進行計算需要，可將該字段設(shè) 置為預(yù)定值。由后綴“10”表示的成員標識具有γ=1.0的線性RGB。由后綴“ 18，，、“ 20 ”、“ 22 ”和“ 28 ”表示的成員表示實際1. 8、2. 0、2. 2和2. 8 γ，例 如對 L，= pow(L, 1/y), L = 0. . . I0 標準 BT470-2 SysM 使用 γ 2. 2 由后綴“22_709”表示的成員相關(guān)于帶有適于由標準ΒΤ1361、ΒΤ709、SMPTE296M、SMPTE170M、BT470、SMPTE274M等定義的格式的低范圍中線性范圍的γ 2. 2曲線。由后綴“22_240Μ”表示的成員相關(guān)于帶有適于SMPTE240M、中間274Μ等的低范圍 中線性范圍的Y 2. 2曲線。由后綴“22_8bit_sRGB”表示的成員相關(guān)于帶有使其能匹配準確的2.2Υ8比特曲 線的低范圍中線性范圍的Y 2. 4曲線。圖6提供適于DXVA_VideoTransferfunction枚舉的其它示例性細節(jié)。· DXVA_VideoPrimariesDXVA_VideoPrimaries枚舉列出標識哪個RGB基本函數(shù)用于圖像信息204的色彩 元。在一示例性實現(xiàn)中，可使用5比特來表達該枚舉(例如24比特CI數(shù)據(jù)結(jié)構(gòu)202的比 特 18-14)。 DXVA_VideoPrimaries枚舉的示例性語法羅列如下typedef enum_DXVA_VideoPrimaries{DXVA_VideoTransFuncMask = BIT{18}BIT{17} BIT{16} BIT{15} BIT{14}，DXVA_V i deoPr imar i e s_Unknown = 0，DXVA_VideoPrimaries_BT601 = 1，DXVA_VideoPrimaries_BT709 = 2，DXVA_VideoPrimaries_BT470_2_SysM = 3，DXVA_VideoPrimaries_BT470_2_SysBG = 4，DXVA_VideoPrimaries_SMPTE170M = 5，DXVA_VideoPrimaries_SMPTE240M = 6，DXVA_V i deoPr imar i e s_EBU3 213 = 7，DXVA_V i deoPr imar i e s_SMPTE_C = 8，}DXVA_VideoPrimaries ；該枚舉的第一個成員指出該字段是未知的。如果為進行計算需要，可將該字段設(shè) 置為預(yù)定值(例如缺省值可被設(shè)置成在標準BT709中指定的元)。具有后綴“BT709”的成員定義與BT709標準相關(guān)聯(lián)的色彩元(也可應(yīng)用于標準 sRGB、scRGB 等)。具有后綴“BT470_2_SysM”的成員定義原始NTSC元。具有“81601，，、“8丁470_2_57886，，、“5]\0^^2401”和“冊詘213，，后綴的成員定義與這 些標準相關(guān)聯(lián)的各個相應(yīng)元。具有后綴“SMPTE170M”的成員定義模擬NTSC元(目前不經(jīng)常使用)。具有后綴“SMPTE_C”的成員定義模擬79NTSC元。圖7提供適于DXVA_VideoPrimaries枚舉的其它示例性細節(jié)?！?DXVA_VideoLightingDXVA_Vide0Lighting枚舉描述預(yù)期的觀看燈光條件。該信息也可被用來改變Y 以產(chǎn)生在不同燈光條件下的可比體驗。在一示例性實現(xiàn)中，可使用4比特來表達該枚舉(例 如24比特CI數(shù)據(jù)結(jié)構(gòu)202的比特13-10)。
DXVA_VideoLighting枚舉的示例性語法羅列如下Typedef enum_DXVA_VideoLighting{DXVA_VideoTransFuncMask =BIT{13} BIT{12} BIT{11} BIT{10},
DXVA_VideoLighting_Unknow = 0，DXVA_VideoLighting_bright = 1，DXVA_VideoLighting_office = 2，DXVA_VideoLighting_dim = 3,DXVA_VideoLighting_dark = 4,}DXVA_VideoLighting ；該枚舉的第一個成員指出該字段是未知的。如果為進行計算需要，可將該字段設(shè) 置為預(yù)定值(例如缺省值可被設(shè)置成假設(shè)想要微暗的觀看條件)。帶有后綴“bright”的成員可對應(yīng)于外部燈光條件。帶有后綴“office”的成員可對應(yīng)于與家庭辦公條件相關(guān)聯(lián)的中等亮度。帶有后綴“dim”的成員可對應(yīng)于與微暗燈光觀看條件相關(guān)聯(lián)的微暗亮度。帶有后綴“dark”的成員可對應(yīng)于與電影院觀看條件相關(guān)聯(lián)的黑暗亮度?！?DXVA_VideoTransferMatrixDXVA_VideoTransferMatrix枚舉描述用來將圖像信息204從Y，Cb，Cr，色彩空間 轉(zhuǎn)換到(演播室)R’ G’ B’色彩空間的轉(zhuǎn)換矩陣。在一示例性實現(xiàn)中，可使用3比特來表達 該枚舉(例如24比特CI數(shù)據(jù)結(jié)構(gòu)202的比特9-7)。DXVA_VideoTransferMatrix枚舉的示例性語法羅列如下typedef enum_DXVA_VideoTransferMatrix{DXVA_VideoTransferMatrixMask =BIT {9} I BIT {8} I BIT {7}，DXVA_VideoTransferMatrix_Unknow = 0，DXVA_VideoTransferMatrix_BT709 = 1，DXVA_VideoTransferMatrix_BT601 = 2，DXVA_VideoTransferMatrix_SMPTE240M = 3，}DXVA_VideoTransferMatrix ；該枚舉的第一個成員指出該字段是未知的。如果為進行計算需要，可將該字段設(shè) 置為預(yù)定值(例如缺省值可被設(shè)置成在用于標準清晰度圖像信息204的標準BT601和用于 高清晰度圖像信息204的標準BT709中使用的轉(zhuǎn)換矩陣規(guī)范)。帶有后綴“BT709”的成員定義在BT709標準中指定的轉(zhuǎn)換矩陣。帶有后綴“BT601”的成員定義在BT601標準中指定的轉(zhuǎn)換矩陣。帶有后綴“SMPTE240M”的成員定義在SMPTE240M標準(是當今未普遍使用的高清 晰度標準)中指定的轉(zhuǎn)換矩陣。圖8和9提供適于DXVA_VideoTransferMatrix枚舉的其它示例性細節(jié)。
· DXVA_NominalRangeDXVA_NominalRange枚舉描述數(shù)據(jù)是否包括頂部空間(在白色參考色階1. 0之外的值)和底腳空間(在黑色參考色階0. 0下“超黑色”)。例如，為確保圖像信息204的適當 解釋，區(qū)分大范圍的R，G，B，(16，16，16上的黑點，235，235，235上的白點)和正常的sRGB 是有用的。在一示例性實現(xiàn)中，可使用3比特來表達該枚舉(例如24比特CI數(shù)據(jù)結(jié)構(gòu)202 的比特6-4)。DXVA_NominalRange枚舉的示例性語法羅列如下typedef enum_DXVA_NominalRange{DXVA_VideoChromaSubsamplingMask =BIT{6} I BIT {5} I BIT{4}，}DXVA_NominalRange_Unknow = 0，DXVA_Nomi na1Range_Norma1 = 1，DXVA_NominalRange_ffide = 2,}DXVA_NominalRange ；該枚舉的第一個成員指出該字段是未知的。如果為進行計算需要，可將該字段設(shè) 置為預(yù)定值。帶有后綴“Normal”的成員定義映射到0-255 (8比特)或0-1023(10比特)圖像 信息204的歸一化色度W. . . 1]。帶有后綴“Wide”的成員定義映射到16-235(8比特)或64-940(10比特)的歸一 化色度
?！?DXVA_VideoChromaSubSamplingDXVA_VideoChromaSubSampling枚舉描述應(yīng)用于Y，Cb，Cr，數(shù)據(jù)的色度編碼方案。 “cosite”變體指出色度樣本與亮度樣本對齊。4:2:0數(shù)據(jù)通常具有在一個或多個方向上與 亮度數(shù)據(jù)對齊的色度數(shù)據(jù)。4:4:4、4:2:2和4:1:1數(shù)據(jù)在兩個方向都對齊。在一示例性實 現(xiàn)中，可使用3比特來表達該枚舉(例如24比特CI數(shù)據(jù)結(jié)構(gòu)202的比特3-0)。DXVA_VideoChromaSubSampling枚舉的示例性語法羅列如下typedef enum_DXVA_VideoChromaSubsampling{DXVA_VideoChromaSubsamplingMask =BIT {3} I BIT {2} |BIT {1} |BIT {0}，DXVA_VideoChromaSubsampling_Unknow = 0，DXVA_VideoChromaSubsampling_ProgressiveChroma = 0x8,DXVA_VideoChromaSubsampling_Horizontally_Cosited = 0x4,DXVA_VideoChromaSubsampling_Vertically_Cosited = 0x2,DXVA_V ideoChromaSubs ampIing_A1i gne dChromaP1ane s = 0x1,can only be 0 if vertically cosited}DXVA_VideoChromaSubsampling ；該枚舉的第一個成員指出該字段是未知的。如果為進行計算需要，可將該字段設(shè)置為預(yù)定值。帶有后綴“ProgressiveChroma”的成員定義被暫時翻譯為漸進式內(nèi)容的色度樣本 (例如從同一幀，而不是從兩個暫時偏移字段)。帶有后綴“Horizontallyjosited”的成員定義與多個亮度樣本水平對齊的色度 樣本。帶有后綴“VertiCally_C0Sited”的成員定義與多個亮度樣本豎直對齊的色度樣 本。帶有后綴“AlignedChromaPlanes”的成員定義具有相同相位對齊的Pb和Pr (或 Cb和Cr)水平。如果數(shù)據(jù)是豎直對齊的該標記為0。圖10-12提供適于DXVA_VideoChromaSubSampling枚舉的其它示例性細節(jié)。艮口， 這些示圖提供了在典型Y’ Cb' Cr'圖像信息204中色度樣本相對亮度樣本位置的歸納。D.色彩信息數(shù)據(jù)結(jié)構(gòu)的一示例性應(yīng)用 有在前面章節(jié)中描述的編碼策略的許多應(yīng)用。圖13-16示出使用稱為 DeinterlaceBltEx的一應(yīng)用編程接口(API)的一示例性應(yīng)用。作為示例，DeinterlaceBltEx功能提供使多個操作被一起執(zhí)行為單個操作的邏 輯，諸如與解除隔行掃描操作一起執(zhí)行的合成操作。合成操作指主圖像流信息與圖像子流 信息的組合。圖像流信息指圖像幀的主(或主要)序列。圖像子流信息指可與主圖像流信 息的圖像幀一起呈現(xiàn)的輔助圖像信息。在一示例中，圖像子流信息可對應(yīng)于近標題數(shù)據(jù)。近 標題數(shù)據(jù)與主圖像流信息組合以形成合成圖像信息用于顯示。解除隔行掃描操作指一種用 于組合在隔行掃描操作中創(chuàng)建的順序圖像字段以提供圖像幀的漸進式(非隔行掃描)呈現(xiàn) 的技術(shù)。DeinterlaceBltEx功能還允許同時執(zhí)行其它類型的操作。(或者，可使用被配置 成執(zhí)行上面標識的串行操作的稱為DeinterlaceBlt的功能。)在一示例性實現(xiàn)中，DeinterlaceBltEx功能提供具有一未使用部分(或部分未使 用部分)的數(shù)據(jù)結(jié)構(gòu)，該部分可被用來傳送CI數(shù)據(jù)結(jié)構(gòu)202。即，在一示例性和非限制的 實現(xiàn)中，該部分可定義一 32比特字。該字的24比特部分可被用來傳送圖5所示信息的6 個字段?，F(xiàn)有結(jié)構(gòu)的另一部分(例如剩下的8比特)可被用來傳送圖像信息204的其它部 分，諸如該圖像信息204是以隔行掃描格式還是以漸進式格式編碼的，等等。更具體地，色彩信息可在DeinterlaceBltEx操作環(huán)境中起很多作用。對于 色彩空間處理的問題，在CI數(shù)據(jù)結(jié)構(gòu)202中指定的色彩信息可指定(a)要對提供給 DeinterlaceBltEx功能的輸入圖像信息執(zhí)行什么色彩空間轉(zhuǎn)換(如果有)；(b)要使用什 么色彩空間以對圖像信息執(zhí)行各種處理任務(wù)；以及(c)要使用什么色彩空間來提供輸出圖 像信息等等。可選擇用于這些任務(wù)的可能色彩空間可包括任何類型的RGB相關(guān)色彩空間、 任何類型的亮度相關(guān)色彩空間(例如YUV)等。此外，可能的色彩空間可以是線性形式或非 線性形式的(例如Y補償?shù)?。例如，在一情形中，一個或多個圖像信息流可從亮度相關(guān)色彩空間被轉(zhuǎn)換到線性 RGB相關(guān)色彩空間。然后可在線性RGB相關(guān)色彩空間中對圖像信息執(zhí)行某些操作，以提供 也在線性RGB相關(guān)色彩空間內(nèi)的輸出。因而，該序列操作可實現(xiàn)如圖4所示的技術(shù)(如前 所述)。在另一情形中，一個或多個圖像信息流可在亮度相關(guān)色彩空間中接收和處理，以 提供也在亮度相關(guān)色彩空間內(nèi)的輸出。在另一情形中，一個或多個圖像信息流可從一類RGB相關(guān)色彩空間被轉(zhuǎn)換到另一類RGB相關(guān)色彩空間，或從一了亮度相關(guān)色彩空間被轉(zhuǎn)換到另一類亮度相關(guān)色彩空間。這些僅僅是DeinterlaceBltEx功能可用的各種各樣處理選 項的說明性示例。在這些情形的任一個中，CI數(shù)據(jù)結(jié)構(gòu)202中的色彩信息可提供管理由 DeinterlaceBltEx功能應(yīng)用的色彩空間選擇的指令。此外，DeinterlaceBltEx功能的獨特能力使色彩空間轉(zhuǎn)換能與在對圖像信息執(zhí)行 的其它操作的相同操作中執(zhí)行(諸如解除隔行掃描和合成)。例如，圖像信息可在該圖像信 息被解除隔行掃描并與視頻子流合成的相同操作中，從亮度相關(guān)的色彩空間被轉(zhuǎn)換到RGB 相關(guān)的色彩空間。或者，對圖像信息執(zhí)行的某些操作也可串行地執(zhí)行。例如，在以下全面描 述的示例中，解除隔行掃描和合成可在YUV色彩空間內(nèi)以單個操作執(zhí)行，隨后是輸出結(jié)果 被轉(zhuǎn)換到RGB相關(guān)色彩空間。作為最后的介紹性評論，DeinterlaceBltEx功能可作為在不同色彩空間中表達的 分別的圖像信息流(諸如一個或多個主視頻流和/或一個或多個視頻子流)。圖像信息流 可具有它們自己的與其相關(guān)聯(lián)的CI數(shù)據(jù)結(jié)構(gòu)202。CI數(shù)據(jù)結(jié)構(gòu)202可包括定義各個流可 如何被轉(zhuǎn)換到同一色彩空間以便對各個流執(zhí)行操作(諸如解除隔行掃描、合成等)的信息。有了以上緒論，圖13示出可被用來實現(xiàn)圖2所示視頻管線200的各方面的示例系 統(tǒng)1300的概況。系統(tǒng)1300可依賴于華盛頓州Redmond微軟 公司生產(chǎn)的DirectX 系列 技術(shù)。DirectX 系列包括，DirectX 視頻加速(DirectX-VA)、Direct3D、DirectDraw 等。然 而，上述原理可使用在其它類技術(shù)平臺上運行的其它類呈現(xiàn)技術(shù)來執(zhí)行。系統(tǒng)1300可代表 個人計算機、游戲控制臺(諸如微軟 公司Xbox 游戲控制臺)、或任何其它類型的裝置。開始時，系統(tǒng)1300接受來自眾多源的任一個的圖像信息。例如，裝置1300可接受 來自網(wǎng)絡(luò)1302 (諸如與因特網(wǎng)耦合的遠程源)、任何類型的數(shù)據(jù)庫1304、任何類型的計算機 可讀盤介質(zhì)1306 (諸如光盤、DVD等)或某些其它源1308 (諸如與圖204中所示源212相關(guān) 聯(lián)的任一個源)的圖像信息。在任意情形中，所接受的信息可包含圖像信息和音頻信息的 組合。一分離(demux)單元1310將音頻信息從圖像信息中分離出來。音頻處理功能1312 處理音頻信息。圖像解碼器1314處理圖像信息。圖像解碼器1314可將經(jīng)壓縮圖像信息從其接受 格式轉(zhuǎn)換成某些其它格式，并對該信息執(zhí)行初始的尺寸調(diào)整或其它操作。圖像解碼器1314 的輸出可包括所謂的純圖像信息以及圖像子流信息。純圖像信息構(gòu)成要在顯示裝置上呈現(xiàn) 的主圖像流。圖像子流信息可構(gòu)成與純圖像信息相關(guān)聯(lián)的任何補充信息，諸如近標題信息、 任何類型的圖形覆蓋信息(諸如各種圖形編輯控件)、由DVD播放器呈現(xiàn)的各類子圖像等。在一示例性實現(xiàn)中，視頻混合呈現(xiàn)器(VMR)模塊1316在對所接收圖像信息的處 理中起主要作用。作為縱覽，VMR模塊1316與圖形接口 1318以及控制圖形模塊1322的顯 示驅(qū)動器1320交互。如以下將要詳細描述的，該交互涉及查明圖形模塊1322的能力。該 交互還涉及協(xié)調(diào)圖形接口 1318、顯示驅(qū)動器1320、以及圖形模塊1322對圖像信息的處理。 在一實現(xiàn)中，圖形接口 1318可使用微軟 公司的DirectX提供的DirectDraw功能實現(xiàn)。 DirectDraw在此環(huán)境中可用作使VMR模塊1316與圖形模塊1322在通信上相耦合的消息傳 送通道。圖形模塊1322本身可構(gòu)成計算機或類似裝置內(nèi)的固定模塊，或者它可構(gòu)成諸如圖 形卡的可分離單元。由VMR模塊1316、圖形接口 1318、顯示器驅(qū)動器1320和圖形模塊1322 示出的豎直功能鏈可被分成用戶模式和內(nèi)核模式。用戶模式指可由用戶通過各種界面操縱的編程功能的各方面。內(nèi)核模式表示不能直接由用戶操縱的編程功能的各方面。圖形模塊1322本身包括一個或多個圖形處理單元(GPU) 1324。GPU 1324通常是類 似于CPU的處理裝置。通常會分配給GPU 1324常由實現(xiàn)裝置1300重復(fù)執(zhí)行的信息集中呈 現(xiàn)任務(wù)。將這些重復(fù)的或信息集中的任務(wù)分配給GPU 1324使CPU (未示出)能有空執(zhí)行其 它任務(wù)，從而改進了裝置1300的性能。該實現(xiàn)分配給GPU 1324的兩個示例性任務(wù)是解除 隔行掃描和速率轉(zhuǎn)換。這些功能由解除隔行掃描邏輯1326和速率轉(zhuǎn)換器邏輯1328表示。 解除隔行掃描邏輯1326將兩個或多個圖像信息字段組合在一起以形成一幀圖像信息。速 率轉(zhuǎn)換器邏輯1328更改一系列圖像幀的幀頻。GPU 1324可執(zhí)行許多其它處理任務(wù)。GPU 1324可與關(guān)聯(lián)于圖形模塊1322的本地存儲器1330交互。該本地存儲器1330 可用作任意數(shù)量的存儲相關(guān)目的。例如，該存儲器1330可存儲隨后轉(zhuǎn)發(fā)給顯示裝置1332 的最終圖像表面。
圖13示出CI數(shù)據(jù)結(jié)構(gòu)202可沿圖13示出的一系列功能組件以類似于圖2環(huán)境 中所述的方式傳遞。即，CI數(shù)據(jù)結(jié)構(gòu)202在其通過系統(tǒng)1300定義的管線中傳遞時具有統(tǒng)一 結(jié)構(gòu)。系統(tǒng)1300中的各個功能組件可利用CI數(shù)據(jù)結(jié)構(gòu)202的色彩信息，或者可能可補充 CI數(shù)據(jù)結(jié)構(gòu)202中的色彩信息以便于下游功能組件。例如，對于色彩空間處理問題，色彩信 息可定義(a)要執(zhí)行什么(若有的話)色彩空間轉(zhuǎn)換(例如從YUV到RGB)，以及要如何執(zhí) 行這些轉(zhuǎn)換；(b)要使用什么色彩空間來對圖像信息執(zhí)行各種處理任務(wù)；以及(C)要使用什 么色彩空間來提供輸出圖像信息等。圖13示出多個CI數(shù)據(jù)結(jié)構(gòu)202可在系統(tǒng)1300執(zhí)行 的處理中起作用；例如，由系統(tǒng)1300處理的每個圖像信息流可具有與其相關(guān)聯(lián)的它自己的 數(shù)據(jù)結(jié)構(gòu)202。這些CI數(shù)據(jù)結(jié)構(gòu)202可協(xié)調(diào)不同圖像信息流到一公共色彩空間的轉(zhuǎn)換。有關(guān)CI數(shù)據(jù)結(jié)構(gòu)202可被結(jié)合到DeinterlaceBltEx框架的示例性方式的其它細 節(jié)將陳述如下。開始時，圖14示出如圖13所示裝置1300的操作的縱覽1400。在步驟1402，VMR 模塊1316查詢顯示器驅(qū)動器1320和圖形模塊1322有關(guān)它所支持的處理模式。在它接收 回答后，在步驟1404，VMR模塊1316發(fā)送另一查詢以發(fā)現(xiàn)更多有關(guān)顯示器驅(qū)動器1320和相 關(guān)聯(lián)的圖形模塊1322的能力的信息。步驟1402和1404在“初始信息處理”的一般標題下 更詳細地討論。在調(diào)查了附加硬件及相關(guān)聯(lián)接口的能力之后，VMR模塊1316打開一圖像流對象 (在1408)使圖像信息和控制信息能被轉(zhuǎn)發(fā)給硬件。然后，在步驟1408，VMR模塊1316協(xié) 調(diào)硬件(例如圖形模塊1322)對一個或多個圖像處理功能的執(zhí)行。一個這種功能是解除隔 行掃描。另一這種功能是子流合成。解除隔行掃描如上所述與合成組合，或者任一功能可 依賴于接收信息獨立執(zhí)行。例如，如果已接收漸進式圖像信息，則無需執(zhí)行解除隔行掃描； 在此情形中，VMR模塊1316可簡單地調(diào)整對象的尺寸、將圖像子流信息添加給它、或執(zhí)行某 些其它功能或功能的組合。可實現(xiàn)除解除隔行掃描和合成之外的許多其它功能。最后，在步驟1410，VMR模塊關(guān)閉它在步驟1406打開的圖像流。該步驟1410可響 應(yīng)于由用戶給出的命令，或僅響應(yīng)于圖像信息流的結(jié)束等。以下討論給出了有關(guān)上述選定步驟的更多詳細信息?！こ跏蓟襟E在上述步驟1402，VMR模塊1316向顯示驅(qū)動器1320詢問它對于輸入圖像格式支持什么處理功能。當顯示驅(qū)動器1320響應(yīng)時，VMR模塊1316發(fā)送對更多有關(guān)顯示驅(qū)動器 1320對特定模式的要求的特定信息的請求。顯示驅(qū)動器1320通過指定信息結(jié)構(gòu)內(nèi)的各種 信息作出響應(yīng)。這種信息標識眾多所需的正向參考樣本、眾多所需的反向參考樣本、輸出幀 的格式等。表示對組合的解除隔行掃描和合成的支持是否由圖形模塊1322及相關(guān)聯(lián)接口 支持的標記也包括在該信息結(jié)構(gòu)中。該標記在一示例性實現(xiàn)中被稱為DXVA_ImagePr0CesS_ Sub-Streams 標記。此外，為了正確地支持組合的解除隔行掃描和合成，圖形模塊1322及相關(guān)聯(lián)接口 和驅(qū)動器應(yīng)能獨立伸展(水平地和/或垂直地)被解除隔行掃描的圖像幀以及所提供的圖 像子流。這在一實現(xiàn)中是必需的，因為主圖像和視頻子流的象素縱橫比可能不同并且實際 上是非正方形的。顯示驅(qū)動器1320可通過返回除DXVA_LiiageProcess_Sub-Streams標記之 外傳達其伸展圖像能力的 DXVA_VideoProcess_StretchX 和 DXVA_VideoProcess_StretchY 標記，來傳遞其處理該功能的能力。此外，DeinterlaceBltEx DDI支持每個源和目標表面的增強色彩信息(其中“源 表面”定義輸入圖像信息，而“目的表面”和“目標表面”定義通過DeinterIaceBltEx操作 產(chǎn)生的輸出圖像信息)。顯示驅(qū)動器1320可通過各種色彩相關(guān)標記(如以下標記)來表示 它具有的對該新色彩信息的支持度DXVA_VideoProcess_Sub-StreamsExtended,DXVA_VideoProcess_YUV2RGBExtended,以及DXVA_VideoProcess_AlphaBlendExtended。對DXVA_VideoProcess_Sub-StreamsExtended標記的支持表示，當視頻信息被解 除隔行掃描、與子流信息合成、寫入目標表面時系統(tǒng)1300可執(zhí)行對源色彩視頻信息和子流 信息的色彩調(diào)整。對DXVA_VideoProcess_YUV2RGBExtended標記的支持表示，當使用為源和目標表 面指定的色彩信息將圖像信息的解除隔行掃描和合成象素寫入目標表面時，系統(tǒng)1300能 執(zhí)行一色彩空間轉(zhuǎn)換操作(例如YUV-到-RGB)。對DXVA_VideoProcess_AlphaBlendExtended標記的支持表示，當圖像信息的解 除隔行掃描和合成象素被寫入目標表面時，系統(tǒng)1300能執(zhí)行對目標表面的α混和操作。·解除隔行掃描步驟VMR模塊1316使用上述DeinterlaceBltEx功能來協(xié)調(diào)圖像模塊1322對解除隔行 掃描和合成的執(zhí)行。更具體地，該DeinterlaceBltEx功能可被實現(xiàn)為對顯示驅(qū)動器1320 的單個調(diào)用，即使在技術(shù)上它涉及一個以上基本操作(色彩空間轉(zhuǎn)換、解除隔行掃描、合成 等)。DeinterlaceBltEx功能將某操作的輸出寫入指定目標表面。更具體地，VMR模塊1316將以下數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)發(fā)給顯示驅(qū)動器1320以實現(xiàn) DeinterlaceBltEx 功能HRESULTDeinterlaceBltEx {[in]HDXVA_DeinterlaceStream hDistrm,[in]REFERENCE_TIME rtTargetFrame,[in]RECT^prcTarge tRect,
[in]DXVA_AYUVsample2BackgroundCo1or，[in]DWORD DestinationFormat,[in]DWORD DestinationFlags, [in]LPDDSURFACE IpDDSDstSurface,[in]LPDXVA_VideoSample2IpDDSrcSurface,[in]DWORD dwNumSurfaces,[in]FLOAT Alpha/氺0. OF transparent,1. OF opaque*/}；在該結(jié)構(gòu)中，rtTargetFrame參數(shù)標識輸出幀在一系列輸出幀內(nèi)的時間位 置。如果僅執(zhí)行了解除隔行掃描，目標時間應(yīng)與參考樣本的rtStart時間或中點時間、 (rtStart+rtEnd) /2之一相一致。如果請求了一幀頻轉(zhuǎn)換，rtTargetFrame時間可與參考樣 本的rtStart或中點時間的任一時間不同。PrcTargetRect參數(shù)標識DeinterlaceBltEx操作應(yīng)寫入的目標表面內(nèi)的位置。 在一實現(xiàn)中，輸出應(yīng)被限制為該長方形內(nèi)的象素；即，PrcTargetRect內(nèi)的每個象素應(yīng)被寫 入，而PrcTargetRect外的象素不應(yīng)以任何方式進行更改。BackgroundColor參數(shù)標識在其上合成所有視頻流和子流的背景色。DestinationFormat參數(shù)包含與目標表面相關(guān)的經(jīng)擴展色彩信息。DestinationFlags參數(shù)包含表示從先前調(diào)用到DeinterlaceBltEx在目標相關(guān)參 數(shù)中的變化的標記集合。這些標記反映背景色、經(jīng)擴展色彩信息、目標長方形或平面α參 數(shù)的變化，并有助于最優(yōu)化驅(qū)動器代碼。目標表面可以是位于視頻存儲器(例如本地存儲器1330)的屏幕外平面。目標平 面的象素格式可在初始化步驟中返回到VMR模塊1316的數(shù)據(jù)結(jié)構(gòu)的d3d0utputFOrmat字 段中指示。在一示例性實現(xiàn)中，在結(jié)構(gòu)中指定的目標表面可以是一 Y相關(guān)色彩空間(例如 YUV)。IpDDSrcSurfaces參數(shù)指向DXVA_VideoSample2結(jié)構(gòu)的數(shù)組。該結(jié)構(gòu)中 的SampleFormat字段表明該樣本是否是解除隔行掃描操作的參考，或者需要與解除 隔行掃描的視頻幀組合的視頻子流樣本。視頻子流樣本應(yīng)具有其樣本格式的DXVA_ SampleSub-stream 值。更具體地，示例性VideoSample2結(jié)構(gòu)標識如下typedef sturct_DXVA_VideoSample2{REFERENCEDIME rtStart ；REFERENCEDIME rtEnd ；DWORDSampleFormat ；DWORDSampleFlags ；VOID氺IpDDSSrcSurface ；RECTrcSrc ；RECTrcDst ；DXVA_AYUVsample2 Pal[16]；
}DXVA_VideoSample2, *LPDXVA_VideoSample2.除了表示樣本是隔行掃描還是漸進式的以外，在上面標識的數(shù)據(jù)結(jié)構(gòu)中的 SampleFormat字段定義CI數(shù)據(jù)結(jié)構(gòu)202可在何處表達。將CI數(shù)據(jù)結(jié)構(gòu)202添加到 SampleFormat字段不增大VideoSampld數(shù)據(jù)結(jié)構(gòu)的大小，或者需要以其它方式重新設(shè)計 DeinterlaceBltEx功能。這樣，將CI數(shù)據(jù)結(jié)構(gòu)202 “硬塞進”該數(shù)據(jù)結(jié)構(gòu)表示通過視頻管 線(包括到特性模塊1322)傳送色彩信息的特別有效方式。對于參考視頻樣本，rtStart和rtEnd字段指示樣本的時間位置。對于視頻子流 樣本，這些字段被清零。源和目標長方形被用于子長方形解除隔行掃描或伸展。注意，視頻子流樣本的伸 展獨立于視頻流，且對伸展的支持在一實現(xiàn)中是強制性的。對于調(diào)色板視頻子流象素格式， DXVA_VideoSample2結(jié)構(gòu)的PAL字段包含在合成子流樣本時可使用的16個調(diào)色板條目。對 于非調(diào)色板象素格式，調(diào)色板將被清零并可被忽略。每個輸入樣本包含表示當前樣本與先前樣本之間的變化的標記集合。這些標記反 映調(diào)色板 、色彩信息、源、和每個樣本的目標長方形的變化，并有助于最優(yōu)化驅(qū)動器代碼。繼續(xù) DeinterlaceBltEx 結(jié)構(gòu)的描述,dwNumSurfaces 參數(shù)表示在 IpDDSrcSurface 數(shù)組中的元素數(shù)量。視頻參考樣本將首先在該數(shù)組中，隨后是Z順序的視頻子流。在 一示例性實現(xiàn)中，被傳遞給驅(qū)動器的視頻子流的數(shù)量可在0-15的范圍內(nèi)。當調(diào)用 DeinterlaceBltEx時，常常傳遞給驅(qū)動器O或1個視頻子流。最后，α參數(shù)在其被寫入目標表面時指示可應(yīng)用于合成背景色、視頻流和子流圖 像的一平面透明度值。應(yīng)注意，DeinterlaceBltEx功能可由VMR模塊1316在接收漸進式視頻和多個圖像 子流時調(diào)用。這可在例如當VMR模塊1316用于包含漸進式和隔行掃描視頻混合的DVD回 放時發(fā)生。在此情形中，顯示器驅(qū)動器1320將不嘗試解除隔行掃描視頻流(因為它已是漸 進式格式)；相反，VMR模塊1316可被配置成將視頻流與任何給定子流組合，按需調(diào)整每個 流的尺寸(如果需要多個參考樣本的解除隔行掃描模式用于漸進式視頻，多個參考樣本將 仍然被發(fā)送給顯示驅(qū)動器1320 ；然而，每個參考樣本將指向同一漸進式視頻幀)。為了完成對DeinterlaceBltEx功能的描述，圖15和16描述該功能可如何將合成 操作和解除隔行掃描操作組合在一個操作中。圖15是可由圖13的系統(tǒng)1300根據(jù)一示例性和非限制情形提供的某些操作的縱 覽。該圖示出向圖像解碼器1504提供經(jīng)壓縮的圖像信息1502以產(chǎn)生解壓縮圖像信息的當 前幀以及CI信息。此外，解壓縮圖像信息1506的當前幀和CI信息，以及一個或多個解壓縮 圖像的先前樣本(例如先前的解壓縮圖像信息1510和1512)，被發(fā)送給解除隔行掃描邏輯 1508。圖15中所示邏輯1508還起將圖像子流信息(例如從圖像子流信息1514、1516等) 添加到正在解除隔行掃描過程中的圖像信息的作用。換言之，邏輯1508有效地組合解除隔 行掃描操作和子流合成操作。此外，如下更詳細所述，邏輯1508執(zhí)行這兩個操作從而它們 可在單個存儲器讀/寫操作中而非多個回合中執(zhí)行。即，圖15的系統(tǒng)1500僅需一個階段 (例如單個存儲器讀/寫事務(wù))(即在一示例性情形中，僅需從存儲器的單次讀取)。上述帶寬效率可通過將圖像信息(例如圖像信息1506、1510、1512等)和圖像子 流信息(例如1514、1516等)分配給GPU模塊1322采用的不同相應(yīng)紋理處理(texturing)單元來獲取。在其最通用應(yīng)用中，紋理處理單元被分配給在三維呈現(xiàn)應(yīng)用過程中進行處理的圖像表面。例如，“紋理”一般指“貼”到形成要呈現(xiàn)三維景象一部分的幾何元(例如三角 形)的表面的圖像。這些不同的紋理表面分配給不同的所謂紋理處理單元。如圖15所示 的系統(tǒng)將圖像信息(例如1506、1510、1512等)和圖像子流信息(1514、1516等)分配給相 應(yīng)的紋理處理單元，并因而獲取解除隔行掃描和合成操作的類似有效性能。更具體地，GPU 邏輯實際上同時讀取和處理來自紋理處理單元集合的每一個的信息，而不是以交錯連續(xù)的 方式。這降低了實現(xiàn)裝置中的總線擁塞，并使實現(xiàn)裝置能以最優(yōu)化幀頻更好地呈現(xiàn)圖像信 息及相關(guān)聯(lián)圖像子流信息。在其它實現(xiàn)中，邏輯1508可執(zhí)行諸如色彩空間轉(zhuǎn)換的其它操作。例如，邏輯1508 可將一個或多個圖像信息流從亮度相關(guān)色彩空間(例如YUV)轉(zhuǎn)換到RGB相關(guān)色彩空間(例 如線性或非線性RGB)?；蛘?，邏輯1508可從一類亮度相關(guān)色彩空間轉(zhuǎn)換到另一類亮度相關(guān) 色彩空間，或從一類RGB相關(guān)色彩空間轉(zhuǎn)換到另一類RGB相關(guān)色彩空間等。在一示例性情 形中，邏輯1508可被用來實現(xiàn)圖4 (如上)所示特征的各方面，其中圖像信息被從亮度相關(guān) 色彩空間轉(zhuǎn)換到線性RGB，隨后在線性RGB色彩空間內(nèi)對圖像信息執(zhí)行處理(諸如解除隔行 掃描，隨后為或結(jié)合線性RGB色彩空間中的任何其它處理)。換言之，邏輯1508的輸出表面 可在RGB相關(guān)色彩空間(諸如線性RGB)被表達。在另一情形中，邏輯1508的輸出可處理亮度相關(guān)色彩空間(例如YUV)內(nèi)的圖像 信息，以仍然在亮度相關(guān)色彩空間中(而不是RGB色彩空間)生成合成的解除隔行掃描的 圖像信息1518。然后邏輯1508或某些其它模塊(未示出)可將亮度相關(guān)色彩信息轉(zhuǎn)換成 RGB相關(guān)信息，它可被提交給顯示器以生成呈現(xiàn)的圖像信息1520。延遲亮度相關(guān)色彩空間 到RGB相關(guān)色彩空間的轉(zhuǎn)換可能節(jié)約帶寬。例如，在一實現(xiàn)中，亮度相關(guān)色彩信息可使用12 比特給出。相反，在一實現(xiàn)中，RGB信息需要32比特來給出。因此，使用亮度相關(guān)信息而非 RGB信息來執(zhí)行諸如合成的任務(wù)削減了與該處理相關(guān)聯(lián)的總線通信量。邏輯1508還可執(zhí)行其它類型的處理功能，諸如調(diào)整圖像尺寸。但邏輯1508無需 執(zhí)行上述的每一個處理操作。例如，如果圖像信息已是漸進式格式，邏輯1508可專用于簡 單地調(diào)整圖像信息的尺寸，或?qū)D像信息執(zhí)行某些其它所需操作(諸如色彩空間轉(zhuǎn)換等)。此外，在其它實現(xiàn)中，一個或多個操作可例如作為分別的操作順序執(zhí)行而不是單 個操作。圖15中另選邏輯1508表示這樣的實現(xiàn)。例如，DeinterlaceBlt功能適于用此方 式處理圖像信息。無論如何，包含在CI數(shù)據(jù)結(jié)構(gòu)202中的色彩信息提供以對特定應(yīng)用所需方式轉(zhuǎn)換 的圖像信息的所需指令。更具體地，當邏輯1508處理多個圖像信息流時，它可咨詢與每個 圖像信息流相關(guān)聯(lián)的CI數(shù)據(jù)結(jié)構(gòu)202。可使用這種每個流的CI信息202來把不同的圖像 信息流(可在不同的相應(yīng)色彩空間中表達)轉(zhuǎn)換到同一色彩空間，諸如線性RGB色彩空間。 該特征是有利的，因為它消除或降低了存儲在一個或多個中間色彩空間中表達的臨時圖像 信息的需要。在上述技術(shù)中，邏輯1508可接收輸入圖像信息、轉(zhuǎn)換之、并將其寫入存儲器； 例如，這避免在信息由輸出裝置(例如個人計算機提供的桌面)顯示之前提供其它合成YUV 圖像信息的需要。對提供色彩空間相關(guān)指令的CI信息202的使用的強調(diào)僅是說明性的。CI信息202 提供了可用來管理如圖15所示操作的豐富的其它信息。例如，CI信息202還可在解除隔行掃描操作中使用以正確地內(nèi)插相應(yīng)的漸進式圖像。圖16示出可被用來獲取由邏輯1508使能的聯(lián)合處理功能的一示例性技術(shù)。艮口， 圖16解釋一種用于在單個操作中解除隔行掃描并合成的技術(shù)。圖16示出紋理處理單元及相關(guān)聯(lián)存儲器的示例性組織1600。這些元件可被用來 同時處理圖像子流信息內(nèi)的主要圖像信息。存儲器和紋理處理單元可使用與圖13所示圖 像模塊1322相關(guān)聯(lián)的本地存儲器1330和/或共享存儲器1334實現(xiàn)。如上所述，交錯和合成的聯(lián)合操作可在圖像信息仍在Y相關(guān)色彩空間中時(諸如 YUV形式)發(fā)生。因此，在該示例性和非限制性情形中，VMR模塊1316分配用于存儲該Y相 關(guān)信息的部分存儲器。第一個框1602可被分配用來存儲Y信息，第二個框1604可被分配 用來存儲第一色度成分(例如U信息)，而第三個框1606可被分配用來存儲第二色度成分 (例如V信息)。向Y信息分配比兩個色度成分多的比特。例如，對于包含720X480象素的 圖像，可分配720 X 480字節(jié)的存儲塊來存儲Y信息，可分配360 X 240字節(jié)的存儲塊來存儲 第一色度成分，并可分配360 X 240字節(jié)的存儲塊來存儲第二色度成分。最后可分配塊1608 的存儲器來存儲子流信息(諸如近標題信息、DVD子圖像顯示信息、各類圖標等)。
在圖16所示的示例性組織1600中，僅示出4個紋理處理單元(1610、1612、1614 和1616)。然而，其它實現(xiàn)將包括4個以上單元。紋理處理單元1610被分配成處理與存儲 器塊1602相關(guān)聯(lián)的圖像輸入表面(例如Y信息)，紋理處理單元1612被分配成處理與存儲 器塊1604相關(guān)聯(lián)的圖像輸入表面(例如第一色度成分，比如U)，而紋理處理單元1614被分 配成處理與存儲器塊1606相關(guān)聯(lián)的圖像輸入表面(例如第二色度成分，比如V)。紋理處理 單元1616被分配成處理與存儲器塊1608相關(guān)聯(lián)的圖像輸入表面(即子流信息)。各存儲 器塊(Y、色度1、色度2和子流信息)是獨立的，且在存儲器中無需連續(xù)。可提供其它存儲 器塊和紋理處理單元來處理其它圖像參考樣本和/或其它圖像子流。例如，包括兩個先前 參考流的應(yīng)用將需要至少9個紋理處理單元(例如三個單元用于當前樣本，6個單元用于兩 個參考樣本)。最后，圖16 —般示出與圖15的GPU 1324相關(guān)聯(lián)的GPU處理邏輯1618。GPU處理 邏輯1618與紋理處理單元交互。GPU處理邏輯1618可執(zhí)行解除隔行掃描、幀頻轉(zhuǎn)換、和/ 或其它任務(wù)。使用YUV相關(guān)信息來解釋圖16的操作僅僅是示例性的。類似的優(yōu)點可通過在諸 如線性RGB的RGB相關(guān)空間內(nèi)執(zhí)行處理操作來獲取(例如以圖4所示方式)。E.示例性計算機環(huán)境在一示例性實現(xiàn)中，在前面各圖中示出的處理的各方面可通過計算裝置執(zhí)行。在 該情形中，圖17提供有關(guān)示例性計算機環(huán)境1700的信息，該環(huán)境可用來實現(xiàn)在前面各圖中 顯示處理的各方面。計算環(huán)境1700包括一通用計算機1702和一顯示裝置1704。然而，計算環(huán)境1700 可包括其它類型的計算裝置。例如，盡管未示出，計算機環(huán)境1700可包括手持式或膝上型 裝置、機頂盒、游戲控制臺、集成到視頻處理/呈現(xiàn)裝置(例如電視、DVR等)的處理功能、 大型計算機等。此外，圖17示出組合在一起的計算機環(huán)境1700的各單元以便于討論。然 而，計算環(huán)境1700可采用分布式處理配置。在分布式計算環(huán)境中，計算資源可物理地散布 于整個環(huán)境中。
示例性計算機1702包括一個或多個處理器或處理單元1706、系統(tǒng)存儲器1708、以 及總線1710?？偩€1710將各個系統(tǒng)組件連接在一起。例如，總線1710將處理器1706連接 到系統(tǒng)存儲器1708。總線1710可使用任何類型的總線結(jié)構(gòu)或總線結(jié)構(gòu)的組合來實現(xiàn)，包括 儲存器總線或存儲器控制器、外圍總線、加速圖形端口、以及使用各種總線架構(gòu)的任一種的 處理器或本地總線。計算機1702還可包括各種計算機可讀介質(zhì)，包括各種類型的可移動或不可移動 的易失性和非易失性介質(zhì)。例如，系統(tǒng)存儲器1708包括諸如隨機存取存儲器(RAM)的易失 性存儲器1712和諸如只讀存儲器(ROM)的非易失性存儲器1714形式的計算機可讀介質(zhì)。 ROM 1714包括在計算機1702元件間傳送如起動時信息的基本例程的基本輸入/輸出系統(tǒng) (BIOS) 1716。RAM 1712通常包含可被處理單元1706立即訪問形式的數(shù)據(jù)和/或程序模塊。其它類型的計算機存儲介質(zhì)包括讀取或?qū)懭氩豢梢苿拥姆且资源判越橘|(zhì)的硬 盤驅(qū)動器1718、讀取或?qū)懭肟梢苿臃且资源疟P1722(例如“軟盤”)的磁盤驅(qū)動器1720、 和讀取或?qū)懭胫T如⑶R0M、DVD-R0M或其它光學(xué)介質(zhì)等可移動非易失性光盤1726的光盤驅(qū) 動器1724。硬盤驅(qū)動器1718、磁盤驅(qū)動器1720、光盤驅(qū)動器1724分別通過一個或多個數(shù)據(jù) 介質(zhì)接口 1728連接至系統(tǒng)總線1710?；蛘?，磁盤驅(qū)動器1720、光盤驅(qū)動器1724可通過一 SCSI接口(未示出)或其它耦合機制連接至系統(tǒng)總線1710。盡管未示出，計算機1702可 包括其它類型的計算機可讀機制，諸如磁卡或其它磁性存儲裝置、閃存卡、CD-ROM、數(shù)字多 功能盤(DVD)或其它光學(xué)存儲、電可擦除只讀存儲器(EEPR0M)等。一般而言，上述計算機可讀介質(zhì)為計算機1702使用提供有計算機可讀指令、數(shù)據(jù) 結(jié)構(gòu)、程序模塊和其它數(shù)據(jù)的非易失性儲存。例如，可讀介質(zhì)可存儲操作系統(tǒng)1730、應(yīng)用模 塊1732、其它程序模塊1734和程序數(shù)據(jù)1736。計算機環(huán)境1700可包括各種輸入裝置。例如，計算機環(huán)境1700包括鍵盤1738和 定位裝置1740(例如“鼠標”)用于將命令和信息輸入計算機1702。計算機環(huán)境1700可包 括其它輸入裝置(未示出)，諸如話筒、操縱桿、游戲墊、衛(wèi)星天線、串行端口、掃描儀、讀卡 裝置、數(shù)碼或視頻照相機等。輸入/輸出接口 1742可將輸入裝置耦合到處理單元1706。更 一般地，輸入裝置可通過諸如任一類接口和諸如并行端口、串行端口、游戲端口、或通用串 行總線(USB)等的總線結(jié)構(gòu)與計算機1702耦合。計算機環(huán)境1700還包括顯示裝置1704。視頻適配器1744使顯示裝置1704與總 線1710耦合。除了顯示裝置1704，計算機環(huán)境1700還可包括其它輸出外圍裝置，諸如揚聲 器(未示出)、打印機(未示出)等。計算機1702可以在使用與一臺或多臺遠程計算機，諸如遠程計算裝置1746的邏 輯連接的網(wǎng)絡(luò)化環(huán)境中運行。遠程計算裝置1746可包括任意類型的計算機裝置，包括通用 個人計算機、便攜式計算機、服務(wù)器、游戲控制臺、網(wǎng)絡(luò)擴展裝置等。遠程計算裝置1746可 包括上述對于計算機1702討論的所有特征，或其一部分。任何類型的網(wǎng)絡(luò)1748，諸如WAN、LAN等，可被用來使計算機1702與遠程計算裝置 1746耦合。計算機1702通過網(wǎng)絡(luò)接口 1750與網(wǎng)絡(luò)1748耦合，該網(wǎng)絡(luò)接口可利用寬帶連 接、調(diào)制解調(diào)器連接、DSL連接、或其它連接策略。盡管未示出，計算環(huán)境1700可提供用于 連接計算機1702和遠程計算裝置1746的無線通信功能(例如通過調(diào)制無線信號、調(diào)制紅 外信號等)。
在結(jié)束時，在本說明書中提出一些可選示例(例如情形A或B)。此外，本說明書包 括在單個實現(xiàn)中組合可選方案的情形(例如情形A和B)，盡管本說明書未明確地在每個實 例中提到這些組合情形。此外，一些特征通過首先標識這些特征可解決的示例性問題在此描述。該說明方 式并不構(gòu)成對其它已用在此指定的方式理解和/或表達問題的許可。對在視頻編碼領(lǐng)域中 出現(xiàn)的問題的理解和表達可被理解為本發(fā)明的一部分。更一般地，盡管本發(fā)明已用結(jié)構(gòu)化特征和/或方法論動作的專用語言進行了描 述，可以理解在所附權(quán)利要求中定義的本發(fā)明不必首先于所述特定特征或動作。相反，特定 特征和動作可被解釋為實現(xiàn)本發(fā)明的示例性形式。
權(quán)利要求
一種用于在包括多個存儲相應(yīng)圖像信息的單元的數(shù)據(jù)處理模塊內(nèi)處理圖像信息的方法，其特征在于，包括把所述多個單元的至少之一分配給圖像信息的主要視頻流；把所述多個單元的至少之一分配給圖像信息的視頻子流；以及以單個操作執(zhí)行涉及所述主要視頻流和所述視頻子流的至少兩個任務(wù)以生成合成視頻信息；其中所述主要視頻流和視頻子流具有它們自己的與其相關(guān)聯(lián)的色彩信息數(shù)據(jù)結(jié)構(gòu)，它表示色彩信息在視頻管線內(nèi)編碼并傳送的方式，所述色彩信息表示描述對應(yīng)的圖像信息的色彩內(nèi)容的信息。
2.如權(quán)利要求1所述的方法，其特征在于，所述多個單元包括多個圖形紋理單元。
3.一種用于在包括多個存儲相應(yīng)圖像信息的單元的數(shù)據(jù)處理模塊內(nèi)處理圖像信息的 設(shè)備，其特征在于，包括用于把所述多個單元的至少之一分配給圖像信息的主要視頻流的裝置；用于把所述多個單元的至少之一分配給圖像信息的視頻子流的裝置；以及用于以單個操作執(zhí)行涉及所述主要視頻流和所述視頻子流的至少兩個任務(wù)以生成合 成視頻信息的裝置；其中所述主要視頻流和視頻子流具有它們自己的與其相關(guān)聯(lián)的色彩信息數(shù)據(jù)結(jié)構(gòu)，它 表示色彩信息在視頻管線內(nèi)編碼并傳送的方式，所述色彩信息表示描述對應(yīng)的圖像信息的 色彩內(nèi)容的信息。
4.一種用于處理圖像信息的方法，其特征在于，包括提供圖像信息的一主要視頻流；提供圖像信息的一視頻子流；以及基于在色彩信息數(shù)據(jù)結(jié)構(gòu)中指定的色彩信息，執(zhí)行涉及所述主要視頻流和所述視頻子 流的至少兩個任務(wù)以生成在指定色彩空間中表達的輸出視頻信息；其中所述色彩信息數(shù)據(jù)結(jié)構(gòu)表示色彩信息在視頻管線內(nèi)編碼并傳送的方式，所述色彩 信息表示描述對應(yīng)的圖像信息的色彩內(nèi)容的信息。
5.如權(quán)利要求4所述的方法，其特征在于，所述指定色彩空間是一RGB相關(guān)色彩空間。
6.如權(quán)利要求5所述的方法，其特征在于，所述RGB相關(guān)色彩空間定義非線性RGB數(shù)據(jù)。
7.如權(quán)利要求5所述的方法，其特征在于，所述RGB相關(guān)色彩空間定義線性RGB數(shù)據(jù)。
8.如權(quán)利要求4所述的方法，其特征在于，所述指定色彩空間是一亮度相關(guān)色彩空間。
9.如權(quán)利要求4所述的方法，其特征在于，所述指定色彩空間定義用于處理多個圖像 信息流的一公共色彩空間。
10.如權(quán)利要求4所述的方法，其特征在于，所述色彩信息標識所述指定色彩空間。
11.如權(quán)利要求4所述的方法，其特征在于，執(zhí)行對多個圖像信息流的操作，每一個分 別具有它自己的與其相關(guān)聯(lián)的色彩信息數(shù)據(jù)結(jié)構(gòu)。
12.如權(quán)利要求4所述的方法，其特征在于，所述至少兩個任務(wù)包括對所述主要視頻流 解除隔行掃描，且其中所述色彩信息數(shù)據(jù)結(jié)構(gòu)包括管理所述解除隔行掃描的信息。
13.如權(quán)利要求4所述的方法，其特征在于，所述至少兩個任務(wù)包括將圖像信息從第一色彩空間轉(zhuǎn)換到第二色彩空間。
14.如權(quán)利要求13所述的方法，其特征在于，所述第一色彩空間是一亮度相關(guān)色彩空 間，而所述第二色彩空間是一 RGB相關(guān)色彩空間。
15.如權(quán)利要求13所述的方法，其特征在于，所述色彩信息數(shù)據(jù)結(jié)構(gòu)中的色彩信息管 理所述轉(zhuǎn)換。
16.如權(quán)利要求4所述的方法，其特征在于，所述至少兩個任務(wù)包括以下的至少兩個(a)對所述主要視頻流解除隔行掃描；(b)組合所述主要視頻流和所述視頻子流；或者(c)將圖像信息從第一色彩空間轉(zhuǎn)換到第二色彩空間。
17.如權(quán)利要求4所述的方法，其特征在于，所述至少兩個任務(wù)在單個操作中執(zhí)行。
18.一種用于處理圖像信息的設(shè)備，其特征在于，包括 用于提供圖像信息的一主要視頻流的裝置；用于提供圖像信息的一視頻子流的裝置；以及基于在色彩信息數(shù)據(jù)結(jié)構(gòu)中指定的色彩信息，用于執(zhí)行涉及所述主要視頻流和所述視 頻子流的至少兩個任務(wù)以生成在指定色彩空間中表達的輸出視頻信息的裝置；其中所述色彩信息數(shù)據(jù)結(jié)構(gòu)表示色彩信息在視頻管線內(nèi)編碼并傳送的方式，所述色彩 信息表示描述對應(yīng)的圖像信息的色彩內(nèi)容的信息。
19.一種用于處理圖像信息的方法，其特征在于，包括將一亮度相關(guān)色彩空間中的輸入圖像信息轉(zhuǎn)換成一 RGB相關(guān)色彩空間內(nèi)的線性圖像 fn息；對所述RGB相關(guān)色彩空間中的線性圖像信息執(zhí)行處理以生成經(jīng)處理信息；以及 將所述經(jīng)處理信息轉(zhuǎn)換成一亮度相關(guān)色彩空間內(nèi)的非線性圖像信息； 其中，所述方法還包括提供一色彩信息數(shù)據(jù)結(jié)構(gòu)，并使用在所述色彩信息數(shù)據(jù)結(jié)構(gòu)中 指定的色彩信息來管理所述輸入信息的轉(zhuǎn)換、所述處理、或所述經(jīng)處理信息的轉(zhuǎn)換的至少之一。
20.如權(quán)利要求19所述的方法，其特征在于，所述轉(zhuǎn)換還涉及在所述處理操作之前將 所述輸入圖像信息從隔行掃描格式轉(zhuǎn)換成漸進式格式，并在處理之后，將所述經(jīng)處理信息 從漸進式格式轉(zhuǎn)換成隔行掃描格式。
21.一種用于處理圖像信息的設(shè)備，其特征在于，包括用于將一亮度相關(guān)色彩空間中的輸入圖像信息轉(zhuǎn)換成一 RGB相關(guān)色彩空間內(nèi)的線性 圖像信息的裝置；用于對所述RGB相關(guān)色彩空間中的線性圖像信息執(zhí)行處理以生成經(jīng)處理信息的裝置；以及用于將所述經(jīng)處理信息轉(zhuǎn)換成一亮度相關(guān)色彩空間內(nèi)的非線性圖像信息的裝置； 其中，所述設(shè)備還包括用于提供一色彩信息數(shù)據(jù)結(jié)構(gòu)的裝置，以使用在所述色彩信息 數(shù)據(jù)結(jié)構(gòu)中指定的色彩信息來管理所述輸入信息的轉(zhuǎn)換、處理、或經(jīng)處理信息的轉(zhuǎn)換的至 少之一。
全文摘要
描述了使用傳送色彩信息的數(shù)據(jù)結(jié)構(gòu)來處理圖像信息的策略。該色彩信息描述應(yīng)用于圖像信息的色彩相關(guān)格式化。該數(shù)據(jù)結(jié)構(gòu)可沿一視頻處理管線向下傳遞，其中該管線中的每個功能組件可從該數(shù)據(jù)結(jié)構(gòu)提取色彩信息以改進其處理的準確性。此外，每個組件可將先前未知的色彩信息提供給該數(shù)據(jù)結(jié)構(gòu)由該管線中其它(下游)組件使用。該數(shù)據(jù)結(jié)構(gòu)的示例性字段可包括視頻轉(zhuǎn)換函數(shù)字段、色彩元字段、圖像光線字段、轉(zhuǎn)換矩陣字段、名義范圍字段、以及視頻色度采樣字段的一個或多個。該轉(zhuǎn)換矩陣字段可被用來將圖像信息從一色彩空間轉(zhuǎn)換到另一空間，諸如從亮度相關(guān)色彩空間到RGB相關(guān)色彩空間?？蓪u進式和線性RGB圖像信息執(zhí)行處理操作。
文檔編號G09G5/36GK101867831SQ20101018352
公開日2010年10月20日 申請日期2004年7月30日 優(yōu)先權(quán)日2003年8月1日
發(fā)明者G·F·伊凡斯, S·J·埃斯特羅普 申請人:微軟公司