用于處理3d視頻的質(zhì)量度量的制作方法
【專利摘要】一種3D視頻裝置（50）處理有待顯示在3D顯示器上的至少第一圖像的視頻信號(hào)（41）。所述3D顯示器（63）需要多個(gè)視圖以用于為觀看者創(chuàng)建3D效果，諸如自動(dòng)立體顯示。所述3D視頻裝置有處理器（52），所述處理器（52）用于基于由用于將所述多個(gè)視圖定向到所述3D顯示器的參數(shù)所適配的3D圖像數(shù)據(jù)來確定經(jīng)處理的視圖，以及計(jì)算指示感知到的3D圖像質(zhì)量的質(zhì)量度量。所述質(zhì)量度量基于所述經(jīng)處理的視圖和另一視圖的圖像值的組合。用于所述參數(shù)的優(yōu)選值基于使用不同值重復(fù)地確定和計(jì)算而被確定。有利地，所述質(zhì)量度量基于圖像內(nèi)容和視差的組合來預(yù)測(cè)所感知到的圖像質(zhì)量。
【專利說明】
用于處理3D視頻的質(zhì)量度量

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種用于處理三維[3D]視頻信號(hào)的3D視頻裝置。3D視頻信號(hào)包括待顯示在3D顯示器上的至少第一圖像。3D顯示器需要多個(gè)視圖以用于為觀看者創(chuàng)建3D效果。3D視頻裝置包括用于接收3D視頻信號(hào)的接收機(jī)。
[0002]本發(fā)明進(jìn)一步涉及一種處理3D視頻信號(hào)的方法。
[0003]本發(fā)明涉及基于3D視頻信號(hào)為相應(yīng)的3D顯示器生成和/或適配視圖的領(lǐng)域。當(dāng)內(nèi)容不意圖用于在特定自動(dòng)立體裝置上回放時(shí)，圖像中的視差/深度可能需要被映射到目標(biāo)顯示裝置的視差范圍上。

【背景技術(shù)】
[0004]文檔“A Perceptual Model for disparity, p.Didyk 等人著，ACMTransact1ns on Graphics, Proc.0f SIGGRAPH, 2011 年，第 30 卷，第 4 期，，提供了一種用于視差的感知模型并且指示它能夠被用于針對(duì)特定觀看條件來適配3D圖像素材。該論文描述了視差對(duì)比在感知上是更加顯著的并且提供了用于重定向(retargeting)的視差差度量。視差差度量基于分析圖像以確定被感知透視的量，所述分析圖像是基于視差差的。針對(duì)不同的觀看條件來適配3D信號(hào)的過程被稱作重定向并且用于重定向的全局操作符被討論，重定向的效果基于度量被確定(例如在第6節(jié)前兩段和第6.2節(jié)中)。


【發(fā)明內(nèi)容】

[0005]已知的差度量是相當(dāng)復(fù)雜的并且需要視差數(shù)據(jù)可得到以用于分析。
[0006]本發(fā)明的目的是提供一種用于提供用于基于不太復(fù)雜的質(zhì)量度量將3D視頻信號(hào)定向到相應(yīng)的3D顯示器同時(shí)優(yōu)化相應(yīng)的3D顯示器的所感知到的3D圖像質(zhì)量的參數(shù)的系統(tǒng)。
[0007]出于這個(gè)目的，根據(jù)本發(fā)明的第一方面，如在開頭段中所描述的裝置包括處理器，所述處理器用于:基于由用于將多個(gè)視圖定向到3D顯示器的參數(shù)所適配的3D圖像數(shù)據(jù)來確定至少一個(gè)經(jīng)處理的視圖；計(jì)算指示感知到的3D圖像質(zhì)量的質(zhì)量度量，該質(zhì)量度量基于經(jīng)處理的視圖和另一視圖的圖像值的組合；以及基于對(duì)于參數(shù)的多個(gè)值執(zhí)行所述確定和計(jì)算為參數(shù)確定優(yōu)選值。
[0008]所述方法包括:接收3D視頻信號(hào)；基于由用于將多個(gè)視圖定向到3D顯示器的參數(shù)所適配的3D圖像數(shù)據(jù)來確定至少一個(gè)經(jīng)處理的視圖；計(jì)算指示感知到的3D圖像質(zhì)量的質(zhì)量度量，該質(zhì)量度量基于經(jīng)處理的視圖和另一視圖的圖像值的組合；以及基于對(duì)于參數(shù)的多個(gè)值執(zhí)行所述確定和計(jì)算為參數(shù)確定優(yōu)選值。
[0009]這些措施具有效果:裝置接收3D視頻信號(hào)并且確定用于針對(duì)相應(yīng)的顯示器來適配視圖以增強(qiáng)當(dāng)由相應(yīng)的3D顯示器為觀看者顯示時(shí)的3D圖像的質(zhì)量的參數(shù)。針對(duì)特定顯示器來適配視圖的過程被稱作針對(duì)3D顯示器來定向視圖。例如，特定顯示器對(duì)于高質(zhì)量3D圖像可以具有有限的深度范圍。例如增益參數(shù)可以被確定以用于應(yīng)用于用于為這樣的顯示器生成或者適配視圖的深度值。在另一示例中，相應(yīng)的顯示器可以具有優(yōu)選深度范圍，通常靠近具有高銳度的顯示屏幕，然而向觀看者突出的3D對(duì)象往往為不太清晰的?？梢詫?duì)視圖應(yīng)用偏移參數(shù)以控制視差的量，并且隨后3D對(duì)象可以向高銳度、優(yōu)選的深度范圍移位。所述裝置有效地提供有用于調(diào)整所述參數(shù)以便優(yōu)化相應(yīng)的3D顯示器的3D效果和感知到的圖像質(zhì)量的自動(dòng)系統(tǒng)。特別地，質(zhì)量度量基于圖像值的組合被計(jì)算以確定所感知到的3D圖像質(zhì)量并且被用來測(cè)量參數(shù)的多個(gè)不同值對(duì)3D圖像質(zhì)量的影響。
[0010]本發(fā)明還基于以下認(rèn)知。傳統(tǒng)上，針對(duì)相應(yīng)的3D顯示器的視圖的調(diào)整可以由觀看者基于他對(duì)3D圖像質(zhì)量的判斷手動(dòng)地執(zhí)行。例如基于通過增益和偏移來處理深度圖或視差圖以將深度映射到相應(yīng)的3D顯示器的優(yōu)選深度范圍中的自動(dòng)調(diào)整可以導(dǎo)致圖像因特定部分而變得模糊和/或相對(duì)小的深度效果。發(fā)明人已看到，這樣的映射往往由具有相對(duì)大的視差但是對(duì)感知到的圖像質(zhì)量具有相對(duì)低的貢獻(xiàn)的相對(duì)大的對(duì)象(諸如遠(yuǎn)方的云)偏置。所提出的質(zhì)量度量基于比較包含由視差所翹曲的圖像數(shù)據(jù)的經(jīng)處理的視圖的圖像值和另一視圖(例如提供有3D視頻信號(hào)的圖像)的圖像值的組合的圖像值。組合的圖像值表示視圖中的圖像內(nèi)容和視差兩者，因?yàn)橐暡钤趦蓚€(gè)視圖中是不同的。有效地，具有高對(duì)比或結(jié)構(gòu)的對(duì)象實(shí)質(zhì)性地對(duì)質(zhì)量度量作出貢獻(xiàn)，然而具有很少可感知特性的對(duì)象幾乎不貢獻(xiàn)，盡管具有大視差。
[0011]當(dāng)圖像度量被用來優(yōu)化影響渲染的圖像的屏幕上視差的參數(shù)時(shí)，重要的是使來自不同視圖的圖像信息聯(lián)系起來。而且為了最好地使這些視圖聯(lián)系起來，所比較的圖像信息優(yōu)選地來自圖像中的所對(duì)應(yīng)的X、y位置。更優(yōu)選地，這牽涉對(duì)輸入和渲染的圖像進(jìn)行重新縮放使得它們的圖像尺寸匹配，在這種情況下相同的x、y位置能夠被匹配。
[0012]有利地，通過將另一視圖和經(jīng)處理的視圖的圖像值的組合用于計(jì)算度量，對(duì)應(yīng)于所感知到的圖像質(zhì)量的量度已被找到。而且，所提出的度量不要求像這樣的視差數(shù)據(jù)或深度圖被提供或者計(jì)算來確定度量。替代地，度量基于經(jīng)處理的圖像和另一視圖的圖像值，所述圖像值通過參數(shù)被修改。
[0013]可選地，另一視圖是基于由參數(shù)所適配的3D圖像數(shù)據(jù)的另一經(jīng)處理的視圖。另一視圖表示不同的視角，并且通過相同的參數(shù)(例如偏移)值被處理。效果是至少兩個(gè)經(jīng)處理的視圖被比較并且質(zhì)量度量表示由于經(jīng)處理的視圖之間的差而導(dǎo)致的感知質(zhì)量。
[0014]可選地，另一視圖是在3D圖像數(shù)據(jù)中可得到的2D視圖。效果是經(jīng)處理的視圖被與具有高質(zhì)量并且沒有由于視圖翹曲而導(dǎo)致的贗像(artifact)的原始2D視圖相比較。
[0015]可選地，另一視圖是基于由參數(shù)所適配的3D圖像數(shù)據(jù)的另一經(jīng)處理的視圖并且經(jīng)處理的視圖和另一經(jīng)處理的視圖被交錯(cuò)以構(gòu)成圖像值的組合。經(jīng)處理的視圖可以對(duì)應(yīng)于通過使多個(gè)視圖交錯(cuò)而待顯示在自動(dòng)立體3D顯示器的像素的陣列上的交錯(cuò)(interleaved) 3D圖像。交錯(cuò)3D圖像通過集合待傳送到顯示屏幕的像素的組合矩陣來構(gòu)建，所述顯示屏幕提供有光學(xué)器件以在不同的方向上適應(yīng)不同的相鄰視圖，使得這樣的不同視圖被觀看者的相應(yīng)的左眼和右眼感知到。例如光學(xué)器件可以是用于構(gòu)成如EP0791847A1中所公開的自動(dòng)立體顯示器(ASD)的柱鏡光柵(lenticular)陣列。
[0016]同一 申請(qǐng)人:的EP 0791847A1示出了與不同視圖相關(guān)聯(lián)的圖像信息如何可以針對(duì)柱鏡光柵ASD被交錯(cuò)。如在EP 0791847A1的圖中可以看到的，在柱鏡光柵(或其他光導(dǎo)向構(gòu)件)下面的顯示面板的相應(yīng)的子像素分配了視圖號(hào)；即它們關(guān)心與該特定視圖相關(guān)聯(lián)的信息。重疊顯示面板的柱鏡光柵(或其它光導(dǎo)向構(gòu)件)隨后將由相應(yīng)的子像素所發(fā)出的光導(dǎo)向觀察者的眼睛，從而給觀察者提供與到左眼的第一視圖和到右眼的第二視圖相關(guān)聯(lián)的像素。假如在第一視圖圖像和第二視圖圖像中提供了適當(dāng)?shù)男畔?，結(jié)果觀察者將感知到立體圖像。
[0017]如EP 0791847A1中所公開的那樣，不同視圖的像素優(yōu)選地在注視顯示面板的相應(yīng)的R、G以及B值時(shí)在子像素級(jí)別下交錯(cuò)。有利地，經(jīng)處理的圖像現(xiàn)在與不得不為最終的3D顯示器生成的交錯(cuò)圖像相似。質(zhì)量度量基于交錯(cuò)圖像例如通過確定交錯(cuò)圖像的銳度而被計(jì)算。
[0018]可選地，處理器被布置用于基于由參數(shù)所適配的3D圖像數(shù)據(jù)來確定至少第一視圖和第二視圖，以及使至少第一視圖和第二視圖交錯(cuò)以確定經(jīng)處理的視圖。將交錯(cuò)視圖與另一視圖例如如在3D視頻信號(hào)中所提供的2D圖像相比較。
[0019]可選地，處理器被布置用于基于最左邊視圖和/或最右邊視圖來確定經(jīng)處理的視圖，多個(gè)視圖形成從最左邊視圖向最右邊視圖延伸的視圖的序列。有利地，最左邊視圖和/或最右邊視圖相對(duì)于另一視圖包含相對(duì)聞的視差。
[0020]可選地，處理器被布置用于基于對(duì)圖像值的組合的峰值信噪比計(jì)算或者基于對(duì)圖像值的組合的銳度計(jì)算來計(jì)算質(zhì)量度量。峰值信噪比(PSNR)是信號(hào)的最大可能的功率與影響其表示的保真度的破壞噪聲的功率之間的比值。PSNR現(xiàn)在提供3D圖像的感知質(zhì)量的量度。
[0021]可選地，在3D裝置中用于定向3D視頻的參數(shù)包括偏移、增益或縮放類型中的至少一個(gè)。這樣的參數(shù)的優(yōu)選值作為用于適配視圖的翹曲的處理?xiàng)l件被應(yīng)用于針對(duì)3D顯示器來定向視圖。偏移在應(yīng)用于視圖時(shí)，相對(duì)于顯示器的平面有效地來回移動(dòng)對(duì)象。有利地用于偏移的優(yōu)選值將重要的對(duì)象移動(dòng)到靠近3D顯示器平面的位置。增益在應(yīng)用于視圖時(shí)，遠(yuǎn)離或向3D顯示器的平面有效地移動(dòng)對(duì)象。有利地，用于增益的優(yōu)選值相對(duì)于3D顯示器平面移動(dòng)重要的對(duì)象。縮放類型指示視圖中的值如何在使視圖翹曲時(shí)被修改成實(shí)際值，例如雙線性縮放、雙三次縮放，或如何適配視錐(viewing cone)。
[0022]可選地，處理器被布置用于通過忽視邊緣區(qū)基于圖像值的組合的中心區(qū)域來計(jì)算質(zhì)量度量。邊緣區(qū)由于通過參數(shù)的適配而可能是擾亂的或不完整的，并且通常不包含相關(guān)的高視差值或突出對(duì)象。有利地，度量當(dāng)僅基于中心區(qū)域時(shí)是更可靠的。
[0023]可選地，處理器被布置用于通過依賴于對(duì)應(yīng)的深度值對(duì)圖像值的組合應(yīng)用加權(quán)來計(jì)算質(zhì)量度量。圖像值之間的差由局部深度進(jìn)一步加權(quán)，例如可以強(qiáng)調(diào)對(duì)感知質(zhì)量有更大影響的突出對(duì)象以對(duì)質(zhì)量度量具有更多貢獻(xiàn)。
[0024]可選地，處理器被布置用于在經(jīng)處理的視圖中確定感興趣區(qū)，并且用于通過對(duì)感興趣區(qū)中的圖像值的組合應(yīng)用加權(quán)來計(jì)算質(zhì)量度量。在感興趣區(qū)中圖像值之間的差被加權(quán)以用于計(jì)算質(zhì)量度量。處理器可以具有用于確定感興趣區(qū)的面部檢測(cè)器。
[0025]可選地，處理器被布置用于依賴于3D視頻信號(hào)中的鏡頭在一個(gè)時(shí)期內(nèi)計(jì)算質(zhì)量度量。參數(shù)的優(yōu)選值有效地適用于具有相同3D配置(例如特定相機(jī)或變焦配置)的3D視頻信號(hào)的時(shí)期。通常，配置在視頻節(jié)目的鏡頭期間是基本上穩(wěn)定的。鏡頭邊界可以是已知的或者能夠在源側(cè)容易地檢測(cè)到，并且用于參數(shù)的優(yōu)選值在與該鏡頭相對(duì)應(yīng)的時(shí)期內(nèi)被有利地確定。
[0026]可選地，處理器可以被進(jìn)一步布置用于依賴于感興趣區(qū)的改變超過預(yù)定閾值(諸如面部的深度位置的實(shí)質(zhì)改變)而更新參數(shù)的優(yōu)選值。
[0027]根據(jù)本發(fā)明的裝置和方法的另外的優(yōu)選實(shí)施例在所附權(quán)利要求中給出，其公開內(nèi)容通過引用并入在本文中。

【專利附圖】

【附圖說明】
[0028]本發(fā)明的這些和其他方面從在以下描述中和參考附圖通過示例的方式所描述的實(shí)施例將是顯而易見的，并且將進(jìn)一步參考在以下描述中和參考附圖通過示例的方式所描述的實(shí)施例被闡明，在附圖中
圖1示出了用于處理3D視頻數(shù)據(jù)并顯示3D視頻數(shù)據(jù)的系統(tǒng)，
圖2示出了處理3D視頻信號(hào)的方法，
圖3示出了視差值的分布，
圖4示出了 3D信號(hào)，
圖5示出了針對(duì)各種偏移值的交錯(cuò)視圖，
圖6示出了針對(duì)偏移參數(shù)的不同值所計(jì)算的質(zhì)量度量，
圖7示出了基于銳度度量來確定偏移的系統(tǒng)，
圖8示出了示例深度圖直方圖，以及圖9示出了用于適配視錐的縮放。
[0029]圖僅僅是圖解的并且不按比例繪制。在圖中，對(duì)應(yīng)于已經(jīng)描述的元素的元素可以具有相同的附圖標(biāo)記。

【具體實(shí)施方式】
[0030]存在3D視頻信號(hào)可以以其根據(jù)所謂的3D視頻格式被格式化和傳送的許多不同的方式。一些格式基于使用2D通道來同樣承載立體信息。在3D視頻信號(hào)中圖像由像素的二維陣列中的圖像值表示。例如左視圖和右視圖能夠被交錯(cuò)存儲(chǔ)或者能夠被并排或自上而下(在彼此之上和下面)地放入幀中。并且可以傳送深度圖，以及可能進(jìn)一步傳送像遮擋或透明數(shù)據(jù)這樣的3D數(shù)據(jù)。視差圖在本文中也被認(rèn)為是一種深度圖。深度圖具有同樣在與圖像相對(duì)應(yīng)的二維陣列中的深度值，但是深度圖可以具有不同于包含在3D信號(hào)中的(一個(gè)或多個(gè))“紋理”輸入圖像的分辨率的分辨率?？梢愿鶕?jù)稱為像這樣的例如MPEG的壓縮方法對(duì)3D視頻數(shù)據(jù)進(jìn)行壓縮。任何3D視頻系統(tǒng)(諸如互聯(lián)網(wǎng)或藍(lán)光盤(BD)可以受益于所提出的增強(qiáng)功能。
[0031]3D顯示器可以是相對(duì)小的單元(例如移動(dòng)電話)、需要快門眼鏡的大型立體顯示器(STD )、任何立體顯示器(STD )、考慮可變基線的高級(jí)STD、基于頭部跟蹤將L和R視圖定向到觀看者眼睛的有源STD，或自動(dòng)立體多視圖顯示器(ASD)等。需要基于3D信號(hào)中的深度/視差數(shù)據(jù)針對(duì)所述不同類型的顯示器(例如針對(duì)ASD和用于可變基線的高級(jí)STD)使視圖翹曲。當(dāng)使用了不意圖用于在自動(dòng)立體裝置上回放的內(nèi)容時(shí)，圖像中的視差/深度需要被映射到目標(biāo)顯示裝置的視差范圍上，這被稱作定向(targeting)。然而，由于定向圖像可能因特定部分而變得模糊和/或存在相對(duì)小的深度效果。
[0032]圖1示出了用于處理3D視頻數(shù)據(jù)并顯示3D視頻數(shù)據(jù)的系統(tǒng)。3D視頻信號(hào)41被提供給3D視頻裝置50，其被耦合到3D顯示裝置60以用于傳送3D顯示信號(hào)56。3D視頻信號(hào)例如可以是諸如使用I HD幀兼容的、多視圖編碼的(MVC)或幀兼容的全分辨率(例如如由杜比所提出的FCFR)的標(biāo)準(zhǔn)立體傳輸?shù)?D TV廣播信號(hào)。建立于幀兼容的基本層，杜比開發(fā)了增強(qiáng)層以再造全分辨率3D圖像。
[0033]圖1進(jìn)一步示出了作為3D視頻信號(hào)的載體的記錄載體54。記錄載體是盤形的并且具有軌道和中心孔。由物理上可檢測(cè)的標(biāo)記的圖案所構(gòu)成的軌道依照構(gòu)成基本上平行的軌道的匝的螺旋或同心圖案布置在一個(gè)或多個(gè)信息層上。記錄載體可以是光學(xué)上可讀的，被稱作光盤，例如DVD或BD (藍(lán)光盤)。信息通過沿著軌道在光學(xué)上可檢測(cè)的標(biāo)記(例如凹點(diǎn)和凸區(qū))被具體化在信息層上。軌道結(jié)構(gòu)還包括位置信息，例如磁頭或地址，用于指示通常稱作信息塊的信息的單元的位置。記錄載體54以像DVD或BD格式這樣的預(yù)定義記錄格式承載表示像例如根據(jù)MPEG2或MPEG4編碼系統(tǒng)所編碼的視頻這樣的數(shù)字編碼的3D圖像數(shù)據(jù)的信息。
[0034]3D視頻裝置50具有用于接收3D視頻信號(hào)41的接收機(jī)，該接收機(jī)具有一個(gè)或多個(gè)信號(hào)接口單元和用于解析傳入視頻信號(hào)的輸入單元51。例如，接收機(jī)可以包括耦合到輸入單元以用于從像DVD或藍(lán)光盤這樣的光學(xué)記錄載體54中檢索3D視頻信息的光盤單元58。替換地(或附加地)，接收機(jī)可以包括用于耦合到網(wǎng)絡(luò)45 (例如互聯(lián)網(wǎng)或廣播網(wǎng))的網(wǎng)絡(luò)接口單元59，這樣的裝置是機(jī)頂盒或像移動(dòng)電話或平板計(jì)算機(jī)這樣的移動(dòng)計(jì)算裝置?？梢詮倪h(yuǎn)程網(wǎng)站或媒體服務(wù)器中檢索3D視頻信號(hào)。3D視頻裝置可以是將圖像輸入信號(hào)轉(zhuǎn)換為具有視圖定向信息(例如，如在下面所描述的用于定向的參數(shù)的優(yōu)選值)的圖像輸出信號(hào)的轉(zhuǎn)換器。這樣的轉(zhuǎn)換器可以被用來將用于特定類型的3D顯示器的輸入3D視頻信號(hào)(例如標(biāo)準(zhǔn)3D內(nèi)容)轉(zhuǎn)換為適合于特定類型或供應(yīng)商的自動(dòng)立體顯示器的視頻信號(hào)。3D顯示器需要多個(gè)視圖以用于為觀看者創(chuàng)建3D效果。在實(shí)踐中，3D視頻裝置可以是具有3D功能的放大器或接收機(jī)、3D光盤播放機(jī)或衛(wèi)星接收機(jī)或機(jī)頂盒或任何類型的媒體播放機(jī)。替換地，3D視頻裝置可以被集成在多視圖ASD (諸如基于狹縫光柵或柱鏡光柵的ADS)中。
[0035]3D視頻裝置具有耦合到輸入單元51以用于處理3D信息以便生成經(jīng)由輸出接口單元55待傳送到3D顯示裝置的3D顯示信號(hào)56 (例如根據(jù)HDMI標(biāo)準(zhǔn)的顯示信號(hào)，見“高清晰度多媒體接口 ； 2010年3月4日的說明書版本1.4a”，其中的3D部分可在用于公開下載的 http://hdm1.0rg/manufacturer/specificat1n, aspx 處得到)的處理器 52。
[0036]3D顯示裝置60用于顯示3D圖像數(shù)據(jù)。該裝置具有用于接收從3D視頻裝置50傳送的包括3D視頻數(shù)據(jù)和視圖定向信息的3D顯示信號(hào)56的輸入接口單元61。該裝置具有用于基于3D視頻信息來提供3D視頻數(shù)據(jù)的多個(gè)視圖的視圖處理器62。視圖可以使用在已知位置處的2D視圖和深度圖從3D圖像數(shù)據(jù)生成?；谑褂迷谝阎恢锰幍囊晥D和深度圖為不同的3D顯示眼位置生成視圖的過程被稱作視圖的翹曲。視圖基于如在下面所討論的視圖定向參數(shù)而被進(jìn)一步適配。替換地，3D視圖裝置中的處理器52可以被布置成執(zhí)行所述視圖處理。為所指定的3D顯示器生成的多個(gè)視圖可以隨著3D圖像信號(hào)向所述3D顯示器傳送。
[0037]3D視頻裝置和顯示器可以被組合成單個(gè)裝置。處理器52和視頻處理器62的功能以及輸出單元55和輸入單元61的剩余功能可以由單個(gè)處理器單元執(zhí)行?，F(xiàn)在對(duì)處理器的功能進(jìn)行描述。
[0038]在操作中，處理器基于由用于將多個(gè)視圖定向到3D顯示器的參數(shù)所適配的多個(gè)視圖中的至少一個(gè)來確定經(jīng)處理的視圖。該參數(shù)例如可以是應(yīng)用于視圖以便將視圖定向到3D顯示器的偏移和/或增益。然后處理器確定經(jīng)處理的視圖的圖像值和另一視圖的圖象值(例如隨3D視頻信號(hào)提供的圖像)的組合，該經(jīng)處理的視圖的圖像值包含由的視差所翹曲的圖像數(shù)據(jù)。
[0039]隨后，計(jì)算指示感知到的3D圖像質(zhì)量的質(zhì)量度量。質(zhì)量度量基于圖像值的組合。確定經(jīng)處理的視圖并且計(jì)算質(zhì)量度量的過程針對(duì)參數(shù)的多個(gè)值被重復(fù)，并且用于該參數(shù)的優(yōu)選值基于相應(yīng)的度量而被確定。
[0040]當(dāng)質(zhì)量度量正基于非交錯(cuò)圖像被計(jì)算時(shí)，優(yōu)選使來自圖像中的對(duì)應(yīng)(X，y)位置的圖像信息聯(lián)系起來。當(dāng)經(jīng)渲染的圖像不在相同的空間分辨率下時(shí)，優(yōu)選地一個(gè)或兩個(gè)圖像都被縮放以便簡(jiǎn)化質(zhì)量度量的計(jì)算，因?yàn)槿缓竽軌蚴褂孟嗤目臻g(X，y)位置。替換地，能夠適配質(zhì)量度量計(jì)算以便處置原始未縮放圖像，只不過例如通過計(jì)算允許非交錯(cuò)圖像的比較的一個(gè)或多個(gè)中間值來使適當(dāng)?shù)膱D像信息聯(lián)系起來。
[0041 ] 所述參數(shù)還可以是縮放的類型(其指示深度圖中的值如何將被轉(zhuǎn)變成在翹曲視圖時(shí)待使用的實(shí)際值)，例如雙線性縮放、雙三次縮放或預(yù)定類型的非線性縮放。對(duì)于不同類型的縮放，質(zhì)量度量被計(jì)算，并且偏好被確定。另一類型的縮放指的是對(duì)視錐的形狀進(jìn)行縮放，其參考圖8在下面被描述。
[0042]圖像值的組合中的另一視圖可以是基于由參數(shù)所適配的3D圖像數(shù)據(jù)的另一經(jīng)處理的視圖。另一視圖表示不同的視角，并且通過參數(shù)的相同值例如偏移而被處理。質(zhì)量度量現(xiàn)在表示由于經(jīng)處理的視圖之間的差而導(dǎo)致的感知質(zhì)量。另一視圖可以是3D圖像數(shù)據(jù)中可得到的2D視圖?，F(xiàn)在將經(jīng)處理的視圖與具有高質(zhì)量并且沒有由于視圖翹曲而導(dǎo)致的贗像的原始2D視圖相比較。
[0043]替換地，另一視圖可以是基于由參數(shù)所適配的3D圖像數(shù)據(jù)的另一經(jīng)處理的視圖，并且經(jīng)處理的視圖和另一經(jīng)處理的視圖被交錯(cuò)以構(gòu)成圖像值的組合?，F(xiàn)在單個(gè)交錯(cuò)圖像包含組合的圖像值。例如，經(jīng)處理的視圖可以對(duì)應(yīng)于通過使多個(gè)視圖交錯(cuò)待顯示在自動(dòng)立體3D顯示器的像素的陣列上的交錯(cuò)3D圖像。質(zhì)量度量還基于像這樣的交錯(cuò)圖像例如通過確定交錯(cuò)圖像的銳度而被計(jì)算。
[0044]處理器可以被布置用于基于由參數(shù)所適配的3D圖像數(shù)據(jù)來確定至少第一視圖和第二視圖，以及使至少第一視圖和第二視圖交錯(cuò)以確定經(jīng)處理的視圖。將交錯(cuò)視圖與另一視圖(例如，如在3D視頻信號(hào)中所提供的2D圖像)相比較以例如基于PSNR計(jì)算來計(jì)算質(zhì)量度量。
[0045]處理器可以被布置用于基于來自從最左邊視圖向最右邊視圖延伸的視圖的序列的最左邊視圖和/或最右邊視圖來確定經(jīng)處理的視圖。這樣的極端視圖確實(shí)具有最聞視差，并且因此質(zhì)量度量將受到實(shí)質(zhì)性的影響。
[0046]圖2示出了處理3D視頻信號(hào)的方法。3D視頻信號(hào)包含待顯示在3D顯示器上的3D圖像數(shù)據(jù)，該3D顯示器需要多個(gè)視圖以用于為觀看者創(chuàng)建3D效果。最初，在階段21 RCV處方法從接收3D視頻信號(hào)開始。接下來在階段SETPAR 22中，為用于將多個(gè)視圖定向到3D顯示器的參數(shù)(例如偏移參數(shù))設(shè)置值。用于該參數(shù)的不同值隨后被設(shè)置用于過程的另外的迭代。接下來，在階段PVIEW 23處，基于由參數(shù)的實(shí)際值所適配的多個(gè)視圖中的至少一個(gè)確定經(jīng)處理的視圖，如上面所描述的那樣。接下來，在階段METR 24處，計(jì)算指示感知到的3D圖像質(zhì)量的質(zhì)量度量。質(zhì)量度量基于經(jīng)處理的視圖和另一視圖的圖像值的組合。接下來，在階段LOOP 25處，判定參數(shù)的另外的值是否需要被評(píng)估。如果需要，則過程在階段SETPAR 22處繼續(xù)。當(dāng)用于參數(shù)的足夠的值已被評(píng)估時(shí)，在階段PREF 26處，用于該參數(shù)的優(yōu)選值基于由針對(duì)該參數(shù)的多個(gè)值的所述確定和計(jì)算的循環(huán)所獲取到的多個(gè)對(duì)應(yīng)的質(zhì)量度量而被確定。例如，可以選擇對(duì)于質(zhì)量度量具有最好值的參數(shù)值，或者可以對(duì)找到來估計(jì)最優(yōu)值(例如最大值)的質(zhì)量度量值執(zhí)行插值。
[0047]重復(fù)計(jì)算有效地提供了其中映射被用來渲染圖像并且隨后誤差量度/度量基于經(jīng)渲染的圖像(或其一部分)被建立以便建立改進(jìn)的映射的解決方案。被確定的誤差量度可以基于由視圖的交錯(cuò)產(chǎn)生的經(jīng)處理的視圖。替代的經(jīng)處理的視圖可以基于在交錯(cuò)之前的一個(gè)或多個(gè)視圖，如上面所描述的那樣。
[0048]3D視頻的處理可以被用來“離線”地(例如在記錄或使用短視頻延遲期間)轉(zhuǎn)換內(nèi)容。例如可以在一鏡頭的一個(gè)時(shí)期內(nèi)確定參數(shù)。在鏡頭開始和結(jié)束時(shí)的視差可以是完全不同的。盡管具有這樣的差，鏡頭內(nèi)的映射需要為連續(xù)的。對(duì)于各時(shí)期的處理可能需要切鏡頭檢測(cè)、離線處理和/或緩沖。像這樣的自動(dòng)地檢測(cè)鏡頭的邊界是已知的。并且邊界可能已經(jīng)被標(biāo)記或者可以在視頻編輯過程期間被確定。例如為面部的特寫鏡頭所確定的偏移值可以繼之以用于遙遠(yuǎn)景色的下一個(gè)鏡頭的下一個(gè)偏移值。
[0049]圖3示出了視差值的分布。該圖示出了來自3D圖像的視差值的圖表。視差從低視差值Disp_l0W到高視差值Disp_high變化并且可以具有如該圖中所示出的統(tǒng)計(jì)分布。視差在圖像內(nèi)容中的分布的示例在-10像素視差處具有中值或重心。這樣的視差范圍必須被映射到深度圖以支持自動(dòng)立體顯示。傳統(tǒng)上，在Disp_low到Disp_high之間的視差可以被線性地映射到深度0..255。低值和高值還可以是分布的5%或95點(diǎn)?？梢允褂苗R頭檢測(cè)器為每個(gè)鏡頭確定視差。然而線性映射可能導(dǎo)致不對(duì)稱分布的問題。替代的映射可能是將分布的重心(即在該示例中-10個(gè)像素)映射到與ASD屏幕上級(jí)別(通常為128)和在這個(gè)屏幕上深度級(jí)別附近為線性的視差范圍相對(duì)應(yīng)的深度值。然而，這樣的映射常常不與在注視ASD時(shí)視覺感知相匹配。常常對(duì)于接近于觀看者(在屏幕之外)的某個(gè)對(duì)象或遠(yuǎn)離觀看者的對(duì)象，能夠觀察到惱人的模糊。模糊是內(nèi)容相關(guān)的。避免模糊的不招人愛的補(bǔ)救是減少總體深度范圍(低增益)，然而這在ASD上導(dǎo)致較低感知深度。手動(dòng)控制也是不招人愛的。
[0050]在實(shí)施例中以下處理被實(shí)現(xiàn)。首先例如通過將立體轉(zhuǎn)換為2D和深度來提供深度圖。然后使用到深度映射的第一合理視差執(zhí)行初始映射，諸如將分布的中心映射到與ASD屏幕級(jí)別相對(duì)應(yīng)的深度值。然后許多視圖由這個(gè)深度和2D信號(hào)生成并且然后交錯(cuò)以創(chuàng)建處理的視圖。交錯(cuò)視圖可以被耦合到ASD顯示面板。構(gòu)思是將經(jīng)處理的視圖用作2D信號(hào)，并且將它與原始2D信號(hào)相比較。對(duì)于一系列深度(或視差)偏移值重復(fù)該過程。像這樣的比較能夠由諸如頻譜分析、FFT等之類的已知方法完成，但是還可以是諸如SAD或PSNR計(jì)算之類的更簡(jiǎn)單方法。用于處理的區(qū)域可以通過避免邊緣數(shù)據(jù)(例如對(duì)于水平和垂直邊緣寬30個(gè)像素的邊緣)而限于圖像的中心區(qū)域。
[0051]圖4示出了 3D信號(hào)。3D視頻信號(hào)包括2D圖像和對(duì)應(yīng)的深度圖。圖4a示出了 2D圖像，并且圖4b示出了對(duì)應(yīng)的深度圖。用于渲染在3D顯示器上的視圖基于2D圖像和深度圖被生成。隨后視圖被交錯(cuò)以創(chuàng)建交錯(cuò)視圖。交錯(cuò)視圖可以被傳送到自動(dòng)立體顯示器的LCD面板。針對(duì)偏移的不同值的交錯(cuò)視圖現(xiàn)在被用作經(jīng)處理的視圖以基于針對(duì)相應(yīng)的偏移的PSNR來計(jì)算質(zhì)量度量，如由圖5和6所圖示的那樣。
[0052]圖5是為具有1920x1080屏幕分辨率的顯示面板而生成的，其中每個(gè)像素由三個(gè)RGB子像素組成。經(jīng)渲染的圖像表示使用不同的深度偏移參數(shù)(即在0-255范圍內(nèi)對(duì)應(yīng)于顯示器上的零視差的深度級(jí)別)渲染的圖像。
[0053]作為輸入圖像的縱橫比和目標(biāo)裝置的縱橫比之間的差的結(jié)果，圖像沿著其水平軸被拉伸。為了更好地觀察相應(yīng)的圖像之間的差，交錯(cuò)圖像的一部分已被放大。為了計(jì)算PSNR質(zhì)量度量，原始輸入圖像(圖4a)被縮放為1920x1080。隨后PSNR質(zhì)量度量被計(jì)算以得到圖5a-5d。交錯(cuò)圖像針對(duì)應(yīng)用了傾斜柱鏡光柵的ASD被渲染。作為交錯(cuò)過程的結(jié)果，相應(yīng)的交錯(cuò)圖像的所有1920x1080個(gè)圖像像素的子像素包括與三個(gè)不同的視圖相關(guān)聯(lián)的視圖信息。
[0054]圖5a_5d與四個(gè)不同的深度偏移值(分別為110、120、130以及140的偏移)相對(duì)應(yīng)。在視覺上，不同的偏移導(dǎo)致在圖像中的不同深度下的對(duì)象作為交錯(cuò)過程和圖像信息在經(jīng)渲染的視圖中的不同位移(視差)的結(jié)果或多或少銳利(sharp)地成像。結(jié)果，在圖5a中可見的杯子上的“清晰的”之字形圖案在圖5b_d中變模糊了。
[0055]圖5a示出了在偏移=110情況下的交錯(cuò)圖片。質(zhì)量度量基于PSNR按2D圖片計(jì)算，并且是25.76 dB。
[0056]圖5b示出了在偏移=120情況下的交錯(cuò)圖片。質(zhì)量度量基于PSNR按2D圖片計(jì)算，并且是26.00 dB。
[0057]圖5c示出了在偏移=130情況下的交錯(cuò)圖片。質(zhì)量度量基于PSNR按2D圖片計(jì)算，并且是25.91 dB。
[0058]圖5d示出了在偏移=140情況下的交錯(cuò)圖片。質(zhì)量度量基于PSNR按2D圖片計(jì)算，并且是25.82 dB。
[0059]在由圖5所圖示的示例中最優(yōu)偏移參數(shù)將是120。
[0060]圖6示出了針對(duì)偏移參數(shù)的不同值所計(jì)算的質(zhì)量度量。該圖示出了基于作為偏移參數(shù)值的函數(shù)的PSNR的質(zhì)量度量值。從圖中的曲線可以看到，120的偏移值產(chǎn)生質(zhì)量度量的最大值。通過人類觀看者的驗(yàn)證確認(rèn)了 120的確是用于這個(gè)圖像的偏移的最優(yōu)值。
[0061]注意的是，該方法不僅考慮視差或僅僅來自2D信號(hào)的信息，而且建立組合分析。由于組合分析，例如具有很少細(xì)節(jié)但是具有大視差值的天空或云幾乎不對(duì)PSNR差作出貢獻(xiàn)。這對(duì)應(yīng)于感知到的3D圖像質(zhì)量，因?yàn)樵谏晕⒛：娘@示位置處的這樣的對(duì)象同樣幾乎不妨礙觀看體驗(yàn)。通過使用具有較少視圖或只一個(gè)極端視圖的交錯(cuò)方案，經(jīng)處理的視圖可以是虛擬交錯(cuò)視圖，即不同于實(shí)際的ASD交錯(cuò)視圖。
[0062]在如圖1中所示出的裝置中，處理器可以被裝配如下。處理器可以具有用于在經(jīng)處理的視圖中確定感興趣區(qū)并且用于通過對(duì)感興趣區(qū)中的圖像值的差應(yīng)用加權(quán)以用于在3D顯示器的優(yōu)選深度范圍內(nèi)顯示感興趣區(qū)來計(jì)算質(zhì)量度量的單元。參數(shù)被確定以便使得能夠在3D顯示器的優(yōu)選深度范圍內(nèi)顯示感興趣區(qū)。有效地，感興趣區(qū)由3D視頻素材中的假定成抓住觀看者的注意力的元素或?qū)ο髽?gòu)成。例如，感興趣區(qū)數(shù)據(jù)可以指示具有將可能得到觀看者的注意的許多細(xì)節(jié)的圖像的區(qū)域。感興趣區(qū)可以是已知的或能夠被檢測(cè)到，或者是也許可在3D視頻信號(hào)中得到的指示。
[0063]在感興趣區(qū)中圖像值之間的差被加權(quán)，例如可以強(qiáng)調(diào)旨在對(duì)感知質(zhì)量具有更大影響的對(duì)象以對(duì)質(zhì)量度量有更多貢獻(xiàn)。例如，處理器可以具有面部檢測(cè)器53。檢測(cè)到的面部可以被用來確定感興趣區(qū)。利用面部檢測(cè)器，可選地結(jié)合深度圖，可以針對(duì)具有面部的區(qū)域?qū)λ鶎?duì)應(yīng)的圖像值差應(yīng)用加權(quán)，例如對(duì)用于PSNR計(jì)算的平方差應(yīng)用5倍正常權(quán)重。并且加權(quán)能夠乘以深度值或得自深度的值，例如針對(duì)在大深度(遠(yuǎn)離屏幕)的面部進(jìn)一步加權(quán)，例如10x，而針對(duì)在小深度的面部(在屏幕后面的面部)加權(quán)例如4x。
[0064]此外，處理器可以被裝配用于通過依賴于對(duì)應(yīng)的深度值對(duì)圖像值的差應(yīng)用加權(quán)來計(jì)算質(zhì)量度量。選擇性地，取決于深度的權(quán)重可以在計(jì)算度量的同時(shí)被應(yīng)用于圖像差，例如在大深度下加權(quán)2x，而在小深度下加權(quán)l(xiāng)x。這涉及感知質(zhì)量，因?yàn)榍熬爸械哪：缺尘爸械哪：歉鼝廊说摹?br> [0065]可選地，可以取決于深度和深度值在屏幕級(jí)別下的絕對(duì)差應(yīng)用權(quán)重。例如，在大深度差下2x的加權(quán)，和在小深度差下Ix的加權(quán)。這涉及感知質(zhì)量，因?yàn)榇_定最優(yōu)(最小PSNR)偏移水平(level)的靈敏度提高了。
[0066]在實(shí)施例中，處理器被裝配用于基于沿著圖像值的組合的水平線進(jìn)行處理來計(jì)算質(zhì)量度量。注意的是，視差差總是在與觀看者的眼睛的取向相對(duì)應(yīng)的水平方向上發(fā)生。因此可以有效地在圖像的水平方向上計(jì)算質(zhì)量度量。這樣的一維計(jì)算是不太復(fù)雜的。并且處理器可以被裝配用于例如通過對(duì)組合的圖像值的矩陣進(jìn)行十中抽一來降低圖像值的組合的分辨率。此外，處理器可以被裝配用于對(duì)圖像值的組合應(yīng)用子采樣模式或隨機(jī)子采樣。子采樣模式可以被設(shè)計(jì)成取相鄰線上的不同像素，以便避免遺漏圖像內(nèi)容中的規(guī)則結(jié)構(gòu)。有利地，隨機(jī)子采樣實(shí)現(xiàn)結(jié)構(gòu)化模式仍然對(duì)所計(jì)算的質(zhì)量度量作出貢獻(xiàn)。
[0067]為3D顯示器自動(dòng)地確定偏移的系統(tǒng)可以基于使用銳度度量。同樣地，銳度是影響3D顯示器尤其是自動(dòng)立體顯示器(ASD)的圖片質(zhì)量的一個(gè)重要參數(shù)。銳度度量可以像上面所描述的那樣應(yīng)用于圖像值的組合。文檔“Local scale control for edge detect1n andblur estimat1n, J.H.Elder 和 S.ff.Zucker 著,” IEEE Transact1ns on PatternAnalysis and Machine Intelligence,第 20 卷，編號(hào) 7，第 699 - 716 頁，1998 年 7 月描述了一種為圖像中的邊緣計(jì)算模糊半徑的方法。
[0068]替換地，該系統(tǒng)可以被應(yīng)用于具有伴隨深度圖的圖像。后者能夠例如從立體對(duì)(左圖像+右圖像)估計(jì)，或者隨著3D視頻數(shù)據(jù)傳送。該系統(tǒng)的構(gòu)思是使用銳度度量對(duì)深度圖的直方圖進(jìn)行加權(quán)。然后與圖像的清晰(在焦點(diǎn)上)區(qū)域相對(duì)應(yīng)的深度值將具有比不清晰區(qū)域更高的權(quán)重。同樣地結(jié)果得到的直方圖的均值將向在焦點(diǎn)上的深度平面偏置。作為銳度度量，可以使用模糊半徑的倒數(shù)。
[0069]圖7示出了基于銳度度量來確定偏移的系統(tǒng)。具有圖像和深度數(shù)據(jù)的3D信號(hào)在輸入端提供。在分段單元61中使用即邊緣檢測(cè)來計(jì)算二元分段圖S。S現(xiàn)在指示能夠計(jì)算模糊半徑的圖像中的像素。在模糊半徑計(jì)算器62中對(duì)于已分段輸入圖像計(jì)算模糊半徑BR
(S)。在倒換器63 (由1/X表示)中模糊半徑的倒數(shù)值被用于確定銳度度量W (S)。在直方圖計(jì)算器64中已分段深度圖的加權(quán)直方圖被計(jì)算。在這個(gè)過程中，深度值深度(S)與銳度度量W (S)相乘(加權(quán))。在平均計(jì)算器65中直方圖的均值被計(jì)算，所述均值現(xiàn)在向輸入圖像的焦平面(=最優(yōu)偏移)偏置。在這樣的系統(tǒng)中處理器將被布置用于為輸入圖像中的各位置計(jì)算銳度度量、確定在各位置處的深度、以所對(duì)應(yīng)的銳度度量對(duì)深度進(jìn)行加權(quán)以及確定經(jīng)加權(quán)的深度的平均值。平均值可以通過對(duì)深度應(yīng)用對(duì)應(yīng)的偏移而被移位為3D顯示器的優(yōu)選銳度值。
[0070]圖8示出了示例深度圖直方圖。該直方圖示出了示例圖片的深度值。深度圖值在0-255之間。圖像在深度=104附近具有焦平面，該深度將是用于ASD將銳利區(qū)域放置于屏幕上的最優(yōu)偏移(零視差)。上圖表81示出了深度圖的原始直方圖。這個(gè)直方圖的均值是深度=86，其大幅度地偏離深度=104的最優(yōu)值。下圖表82示出了使用銳度度量的加權(quán)直方圖。這個(gè)直方圖的均值是深度=96，其更接近于深度=104的最優(yōu)值。
[0071]圖9示出了用于適配視錐的縮放。視錐指的是用于多視圖3D顯示器的翹曲視圖的序列?？s放的類型指示與其中每個(gè)連續(xù)視圖具有與先前視圖相同的視差差的規(guī)則錐相比視錐所被適配的方式。更改錐形狀意指將鄰近視圖的相對(duì)視差改變小于所述相同的視差差的量。
[0072]圖9左上部示出了規(guī)則錐形狀。規(guī)則錐形狀91通常用在傳統(tǒng)的多視圖渲染器中。該形狀對(duì)于大多數(shù)錐具有等量的立體和向錐的下一次重復(fù)的銳利轉(zhuǎn)變。定位于這個(gè)轉(zhuǎn)變區(qū)域中的用戶將感知到大量串?dāng)_和倒立體。在該圖中鋸齒狀曲線指示具有與其在錐中的位置線性地相關(guān)的視差的規(guī)則錐形狀91。視圖在視錐內(nèi)的位置被定義為對(duì)于錐中心來說為零，對(duì)于全左來說為-1并且對(duì)于全右來說為+1。
[0073]應(yīng)該理解的是，更改錐形狀僅改變內(nèi)容在顯示器上的渲染(即視圖合成、交錯(cuò))并且不需要對(duì)顯示器的物理調(diào)整。通過適配視錐可以減少贗像并且可以創(chuàng)建減少的3D效果的區(qū)以便適應(yīng)沒有或具有有限的立體觀看能力或者首選觀看有限的3D或2D視頻的人類。用于適配深度或翹曲的參數(shù)可以是在源側(cè)用于3D視頻素材以便更改錐形狀的縮放的類型。例如可以預(yù)定義用于適配視錐的一組可能的縮放錐形狀并且可以給予每個(gè)形狀一個(gè)索弓丨，然而實(shí)際索引值基于如為該組形狀所計(jì)算的質(zhì)量度量被選擇。
[0074]在該圖的另外三個(gè)圖表中第二曲線示出了適配的錐形狀的三個(gè)示例。在每個(gè)示例中的第二曲線上的視圖與鄰近視圖具有減少的視差差。視錐形狀被適配成通過降低最大渲染位置來減少贗像的可見性。在中心位置處供替換的錐形狀可以具有與規(guī)則錐相同的斜率。在離中心更遠(yuǎn)處，錐形狀被更改(相對(duì)于規(guī)則錐)以限制圖像翹曲。
[0075]圖9右上部示出了循環(huán)錐形狀。循環(huán)錐形狀92被適配成通過創(chuàng)建更大的但是不太強(qiáng)烈的倒立體區(qū)來避免銳利轉(zhuǎn)變。
[0076]圖9左下部示出了有限錐。有限錐形狀93是將最大渲染位置限制為規(guī)則錐的約40%的錐形狀的示例。當(dāng)用戶移動(dòng)通過錐時(shí)，他/她體驗(yàn)到立體、減少的立體、倒立體以及再次減少的立體的循環(huán)。
[0077]圖9右下部示出了 2D-3D錐。2D-3D錐形狀94同樣限制最大渲染位置，但是重新使用錐的外面部分以提供單體(2D)觀看體驗(yàn)。當(dāng)用戶移動(dòng)通過這個(gè)錐時(shí)，他/她體驗(yàn)到立體、倒立體、單體以及再次倒立體的循環(huán)。這個(gè)錐形狀允許其中僅一些成員優(yōu)于單體而首選立體的一群人觀看3D電影。
[0078]總之，本發(fā)明旨在提供旨在減少由映射產(chǎn)生的圖像中的模糊的定向方法。在多視圖(柱鏡光柵/狹縫光柵)顯示器上創(chuàng)建顯示用圖像的標(biāo)準(zhǔn)過程是生成多個(gè)視圖并且通常在像素或子像素級(jí)別上使這些視圖交錯(cuò)，使得不同的視圖被以適合于3D顯示器的方式置于柱鏡光柵下面。提出了將經(jīng)處理的視圖(例如交錯(cuò)圖像)用作正常2D圖像并且針對(duì)映射參數(shù)(諸如偏移)的一系列值將它與另一視圖(例如原始2D信號(hào))相比較，以及計(jì)算質(zhì)量度量。比較可以基于任何方法，諸如頻譜分析或SAD和PSNR測(cè)量。分析不僅考慮視差而且考慮圖像內(nèi)容。也就是說，如果圖像的區(qū)域由于圖像內(nèi)容的性質(zhì)而不對(duì)立體效果作出貢獻(xiàn)，則該特定區(qū)域基本上不對(duì)質(zhì)量度量作出貢獻(xiàn)。
[0079]注意的是，當(dāng)前發(fā)明可以被用于任何類型的3D圖像數(shù)據(jù)，不管是靜止圖片還是移動(dòng)視頻。3D圖像數(shù)據(jù)被假定為作為電子數(shù)字編碼的數(shù)據(jù)而可用。當(dāng)前發(fā)明涉及這樣的圖像數(shù)據(jù)并且在數(shù)字域中操縱該圖像數(shù)據(jù)。
[0080]本發(fā)明可以用硬件和/或軟件或者用可編程組件加以實(shí)現(xiàn)。例如計(jì)算機(jī)程序產(chǎn)品可以實(shí)現(xiàn)如參考圖2所描述的方法。
[0081]將了解的是，上述描述為了清楚已參考不同的功能單元和處理器描述了本發(fā)明的實(shí)施例。然而，將顯而易見的是，在不背離本發(fā)明的情況下可以使用不同的功能單元或處理器之間的功能性的任何適合的分布。例如，圖示為由單獨(dú)的單元、處理器或控制器執(zhí)行的功能性可以由同一處理器或控制器執(zhí)行。因此，對(duì)特定功能單元的參考僅將被視為對(duì)用于提供所描述的功能性的適合裝置的參考，而不是指示嚴(yán)格的邏輯或物理結(jié)構(gòu)或組織。能夠以包括硬件、軟件、固件或這些的任何組合的任何適合的形式實(shí)施本發(fā)明。
[0082]注意的是，在本文檔中單詞“包括”不排除除所列舉的那些之外的其他元素或步驟的存在，并且放在元素之前的單詞“一”或“一個(gè)”不排除多個(gè)這樣的元素的存在，任何附圖標(biāo)記不限制權(quán)利要求的范圍，本發(fā)明可以借助于硬件和軟件兩者來實(shí)現(xiàn)，并且數(shù)個(gè)“構(gòu)件”或“單元”可以由硬件或軟件的相同項(xiàng)表示，以及處理器可以可能與硬件元素協(xié)同實(shí)現(xiàn)一個(gè)或多個(gè)單元的功能。進(jìn)一步地，本發(fā)明不限于實(shí)施例，并且本發(fā)明在于每一個(gè)新穎特征或上面所描述或在相互不同的從屬權(quán)利要求中所記載的特征的組合。
【權(quán)利要求】
1.用于處理三維[3D]視頻信號(hào)(41)的3D視頻裝置(50)，所述3D視頻信號(hào)包括待顯示在3D顯示器上的3D圖像數(shù)據(jù)，該3D顯示器需要多個(gè)視圖以用于為觀看者創(chuàng)建3D效果，所述3D視頻裝置包括: -接收機(jī)(51，58，59)，其用于接收所述3D視頻信號(hào)， -處理器(52)，其用于 基于由用于將所述多個(gè)視圖定向到所述3D顯示器的參數(shù)所適配的所述3D圖像數(shù)據(jù)來確定至少一個(gè)經(jīng)處理的視圖， 計(jì)算指示感知到的3D圖像質(zhì)量的質(zhì)量度量，該質(zhì)量度量基于所述經(jīng)處理的視圖和另一視圖的圖像值的組合，以及 基于對(duì)于所述參數(shù)的多個(gè)值執(zhí)行所述確定和計(jì)算為所述參數(shù)確定優(yōu)選值。
2.如權(quán)利要求1中所要求保護(hù)的3D視頻裝置，其中所述另一視圖是基于由所述參數(shù)所適配的所述3D圖像數(shù)據(jù)的另一經(jīng)處理的視圖，或者所述另一視圖是在所述3D圖像數(shù)據(jù)中可得到的2D視圖，或者所述另一視圖是基于由所述參數(shù)所適配的所述3D圖像數(shù)據(jù)的另一經(jīng)處理的視圖并且所述經(jīng)處理的視圖和所述另一經(jīng)處理的視圖被交錯(cuò)以構(gòu)成圖像值的組合。
3.如權(quán)利要求1中所要求保護(hù)的3D視頻裝置，其中所述處理器(52)被布置用于基于由所述參數(shù)所適配的所述3D圖像數(shù)據(jù)來確定至少第一視圖和第二視圖，以及使所述至少第一視圖和第二視圖交錯(cuò)以確定所述經(jīng)處理的視圖，或者所述處理器被布置用于基于最左邊視圖和/或最右邊視圖來確定所述經(jīng)處理的視圖，所述多個(gè)視圖形成從所述最左邊視圖向所述最右邊視圖延伸的視圖的序列。
4.如權(quán)利要求1中所要求保護(hù)的3D視頻裝置，其中所述處理器(52)被布置用于基于對(duì)圖像值的組合的峰值信噪比計(jì)算或者基于對(duì)圖像值的組合的銳度計(jì)算來計(jì)算所述質(zhì)量度量。
5.如權(quán)利要求1中所要求保護(hù)的3D視頻裝置，其中用于定向所述3D視頻的所述參數(shù)包括以下各項(xiàng)中的至少一個(gè): _偏移; -增益； -縮放的類型。
6.如權(quán)利要求1中所要求保護(hù)的3D視頻裝置，其中所述處理器(52)被布置用于通過忽視邊緣區(qū)基于圖像值的組合的中心區(qū)域來計(jì)算所述質(zhì)量度量，或者用于通過依賴于對(duì)應(yīng)的深度值對(duì)圖像值的組合應(yīng)用加權(quán)來計(jì)算所述質(zhì)量度量。
7.如權(quán)利要求1中所要求保護(hù)的3D視頻裝置，其中所述處理器(52)被布置用于在所述經(jīng)處理的視圖中確定感興趣區(qū)，并且用于通過對(duì)所述感興趣區(qū)中的圖像值的組合應(yīng)用加權(quán)以便在所述3D顯示器的優(yōu)選深度范圍內(nèi)顯示所述感興趣區(qū)來計(jì)算所述質(zhì)量度量。
8.如權(quán)利要求7中所要求保護(hù)的3D視頻裝置，其中所述處理器(52)包括用于確定所述感興趣區(qū)的面部檢測(cè)器(53)。
9.如權(quán)利要求1中所要求保護(hù)的3D視頻裝置，其中所述處理器(52)被布置用于取決于所述3D視頻信號(hào)中的鏡頭在一個(gè)時(shí)期內(nèi)計(jì)算所述質(zhì)量度量。
10.如權(quán)利要求1中所要求保護(hù)的3D視頻裝置，其中所述處理器(52)被布置用于通過以下各項(xiàng)中的至少一個(gè)而基于圖像值的組合的子集來計(jì)算所述質(zhì)量度量: -沿著圖像值的組合的水平線進(jìn)行處理； -降低圖像值的組合的分辨率； -對(duì)圖像值的組合應(yīng)用子采樣模式或隨機(jī)子采樣。
11.如權(quán)利要求1中所要求保護(hù)的3D視頻裝置，其中所述接收機(jī)包括用于讀取用于接收所述3D視頻信號(hào)的記錄載體的讀取單元(58)。
12.如權(quán)利要求1中所要求保護(hù)的3D視頻裝置，其中所述裝置包括: -視圖處理器(62)，其用于基于所述3D視頻信號(hào)來生成所述3D視頻數(shù)據(jù)的多個(gè)視圖并且用于依賴于所述參數(shù)的優(yōu)選值將所述多個(gè)視圖定向到所述3D顯示器； -所述3D顯示器(63)，其用于顯示經(jīng)定向的多個(gè)視圖。
13.處理三維[3D]視頻信號(hào)(41)的方法，所述3D視頻信號(hào)包括待顯示在3D顯示器上的至少第一圖像，該3D顯示器需要多個(gè)視圖以用于為觀看者創(chuàng)建3D效果，所述方法包括: -接收所述3D視頻信號(hào)； -基于由用于將所述多個(gè)視圖定向到所述3D顯示器的參數(shù)所適配的所述3D圖像數(shù)據(jù)來確定至少一個(gè)經(jīng)處理的視圖， -計(jì)算指示感知到的3D圖像質(zhì)量的質(zhì)量度量，該質(zhì)量度量基于所述經(jīng)處理的視圖和另一視圖的圖像值的組合，以及 -基于對(duì)于所述參數(shù)的多個(gè)值執(zhí)行所述確定和計(jì)算為所述參數(shù)確定優(yōu)選值。
14.如權(quán)利要求13中所要求保護(hù)的方法，其中所述另一視圖是基于由所述參數(shù)所適配的所述3D圖像數(shù)據(jù)的另一經(jīng)處理的視圖，或者所述另一視圖是在所述3D圖像數(shù)據(jù)中可得到的2D視圖，或者所述另一視圖是基于由所述參數(shù)所適配的所述3D圖像數(shù)據(jù)的另一經(jīng)處理的視圖并且所述經(jīng)處理的視圖和所述另一經(jīng)處理的視圖被交錯(cuò)以構(gòu)成圖像值的組合。
15.用于處理三維[3D]視頻信號(hào)的計(jì)算機(jī)程序產(chǎn)品，該程序可操作來使處理器執(zhí)行如權(quán)利要求13中所要求保護(hù)的方法的相應(yīng)的步驟。
【文檔編號(hào)】H04N13/00GK104272729SQ201380023230
【公開日】2015年1月7日 申請(qǐng)日期:2013年5月2日 優(yōu)先權(quán)日:2012年5月2日
【發(fā)明者】W.H.A.魯爾斯, B.W.D.索內(nèi)維特 申請(qǐng)人:皇家飛利浦有限公司