專利名稱：視頻信號(hào)處理設(shè)備、視頻信號(hào)處理方法和計(jì)算機(jī)程序的制作方法
技術(shù)領(lǐng)域：
本說明書公開的技術(shù)涉及用于執(zhí)行包括左眼視頻信號(hào)和右眼視頻信號(hào)的立體圖像的圖像質(zhì)量調(diào)節(jié)的視頻信號(hào)處理設(shè)備、視頻信號(hào)處理方法和計(jì)算機(jī)程序。具體地說，本技術(shù)涉及實(shí)現(xiàn)包括在立體圖像中的對(duì)象的邊緣和細(xì)度的增強(qiáng)的視頻信號(hào)處理設(shè)備、視頻信號(hào)處理方法和計(jì)算機(jī)程序。
背景技術(shù)：
通過在左眼與右眼之間顯示具有視差的圖像，可以向觀看者呈現(xiàn)以三維觀看的三維圖像。例如，時(shí)分三維圖像顯示系統(tǒng)包括以時(shí)分方式顯 示互相不同的多個(gè)圖像的顯示設(shè)備與圖像的觀看者佩戴的快門眼鏡的組合。顯示設(shè)備以時(shí)分方式交替顯示左眼圖像和右眼圖像，并且快門眼鏡利用快門機(jī)制與顯示設(shè)備的顯示切換同步地執(zhí)行圖像選擇，以使得左眼圖像和右眼圖像在觀看該圖像的用戶的大腦中融和為三維圖像。注意到，如果左眼圖像與右眼圖像之間的視差量增大，則立體效果增強(qiáng)。例如，已經(jīng)建議了一種調(diào)節(jié)立體效果的方法，在該方法中，根據(jù)在由2D視頻生成3D視頻的處理中獲得的視差信息PR進(jìn)行立體效果調(diào)節(jié)(例如，請(qǐng)參考第11-239364號(hào)日本未審查專利申請(qǐng)公開)。然而，沒有建議檢測(cè)視差信息PR的特定方法。也就是說，在通過由3D視頻檢測(cè)視差信息(深度量)來執(zhí)行立體效果調(diào)節(jié)的情況下，一般的方法的視差信息(深度量)的檢測(cè)精度低。因此，可以認(rèn)為，所獲得的視差信息(深度量)難以用于立體效果調(diào)節(jié)。此外，建議了一種視頻信號(hào)處理設(shè)備，在該視頻信號(hào)處理設(shè)備中，由3D視頻檢測(cè)深度方向(Z軸方向)信息，并且根據(jù)深度方向(Z軸方向)信息來執(zhí)行圖像質(zhì)量改善處理(例如，請(qǐng)參考第2011-19202號(hào)日本未審查專利申請(qǐng)公開)。但是，存在的問題在于檢測(cè)其深度方向(Z軸方向)不同的視頻，如果根據(jù)錯(cuò)誤地檢測(cè)的深度方向(Z軸方向)信息執(zhí)行圖像質(zhì)量改善處理，則圖像質(zhì)量變得不自然。

發(fā)明內(nèi)容
希望提供一種能夠適當(dāng)?shù)貓?zhí)行包括左眼視頻信號(hào)和右眼視頻信號(hào)的立體圖像的圖像質(zhì)量調(diào)節(jié)的優(yōu)良的視頻信號(hào)處理設(shè)備、視頻信號(hào)處理方法以及計(jì)算機(jī)程序。根據(jù)本公開的實(shí)施例，提供了一種視頻信號(hào)處理設(shè)備，包括視頻輸入部分，配置為接收立體圖像的輸入；深度計(jì)算部分，配置為執(zhí)行輸入立體圖像的深度計(jì)算；以及邊緣與細(xì)度增強(qiáng)處理部分，配置為根據(jù)深度計(jì)算部分的深度計(jì)算結(jié)果以變化的立體圖像的邊緣與細(xì)度增強(qiáng)的強(qiáng)度執(zhí)行圖像質(zhì)量調(diào)節(jié)。在上面描述的本公開的實(shí)施例中，邊緣與細(xì)度增強(qiáng)處理部分可以根據(jù)由深度計(jì)算部分的深度計(jì)算結(jié)果確定的聚焦位置來確定邊緣與細(xì)度增強(qiáng)的強(qiáng)度。在上面描述的本公開的實(shí)施例中，如果作為深度計(jì)算部分的深度計(jì)算的結(jié)果確定立體圖像的近視圖部分處于聚焦中，則邊緣與細(xì)度增強(qiáng)處理部分可以提高邊緣與細(xì)度增強(qiáng)的強(qiáng)度，而如果作為深度計(jì)算的結(jié)果確定立體圖像的遠(yuǎn)視圖部分處于聚焦中，則邊緣與細(xì)度增強(qiáng)處理部分可以降低邊緣與細(xì)度增強(qiáng)的強(qiáng)度，并且如果作為深度計(jì)算的結(jié)果確定立體圖像具有深的景深，則邊緣與細(xì)度增強(qiáng)處理部分可以略微降低邊緣與細(xì)度增強(qiáng)的強(qiáng)度。在上面描述的本公開的實(shí)施例中，如果作為深度計(jì)算部分的深度計(jì)算的結(jié)果確定立體圖像的近視圖與遠(yuǎn)視圖之間的深度量差大，則邊緣與細(xì)度增強(qiáng)處理部分可以提高邊緣與細(xì)度增強(qiáng)的強(qiáng)度，而如果作為深度計(jì)算的結(jié)果確定立體圖像的近視圖與遠(yuǎn)視圖之間的深度量差小，則邊緣與細(xì)度增強(qiáng)處理部分可以降低邊緣與細(xì)度增強(qiáng)的強(qiáng)度。在上面描述的本公開的實(shí)施例中，邊緣與細(xì)度增強(qiáng)處理部分可以以均勻強(qiáng)度關(guān)于一幀的整個(gè)圖像執(zhí)行邊緣與細(xì)度增強(qiáng)。在上面描述的本公開的實(shí)施例中，在時(shí)間方向上復(fù)用同步的左眼圖像和右眼圖像的方法中，視頻輸入部分可以接收立體圖像的輸入，并且深度計(jì)算部分可以從左眼圖像提取特征量，然后可以從同步右眼圖像提取特征量，以及可以將左眼圖像的特征量與右眼圖像的特征量進(jìn)行比較，以計(jì)算立體圖像的深度。 在上面描述的本公開的實(shí)施例中，深度計(jì)算部分以預(yù)定數(shù)量的抽頭分別在垂直方向和水平方向上關(guān)于左眼圖像執(zhí)行帶通濾波處理；可以根據(jù)垂直方向的帶通分量與水平方向的帶通分量之積來獲得每個(gè)像素位置的特征量；可以檢測(cè)每個(gè)塊中具有最大特征量的像素位置作為特征點(diǎn)；可以存儲(chǔ)每個(gè)塊的特征點(diǎn)的特征量；可以計(jì)算右眼圖像的每個(gè)塊的所有像素位置的如上所述的相同特征量；可以將計(jì)算的特征量與對(duì)左眼圖像的相應(yīng)塊的特征點(diǎn)存儲(chǔ)的特征量進(jìn)行比較；可以檢測(cè)與每個(gè)塊的左眼圖像的特征點(diǎn)匹配的右眼圖像的像素位置；以及可以存儲(chǔ)與每個(gè)塊的左眼圖像的特征點(diǎn)匹配的右眼圖像的像素位置的深度量和頻帶分量。在上面描述的本公開的實(shí)施例中，對(duì)于左眼圖像的每個(gè)塊的特征點(diǎn)，深度計(jì)算部分可以存儲(chǔ)垂直方向的帶通分量、水平方向的帶通分量、左上像素的平均值、右上像素的平均值、左下像素的平均值、右下像素的平均值、塊中特征點(diǎn)的I坐標(biāo)以及塊中特征點(diǎn)的X坐標(biāo)，作為特征點(diǎn)數(shù)據(jù)；可以在右眼圖像的每個(gè)塊的所有像素位置計(jì)算垂直方向的帶通分量、水平方向的帶通分量、左上像素的平均值、右上像素的平均值、左下像素的平均值、右下像素的平均值、塊的特征點(diǎn)的I坐標(biāo)，作為特征點(diǎn)數(shù)據(jù)；可以取在每個(gè)像素位置的特征點(diǎn)數(shù)據(jù)和在左眼圖像的相應(yīng)特征點(diǎn)的特征點(diǎn)數(shù)據(jù)的絕對(duì)差的加權(quán)和作為每個(gè)像素位置的評(píng)估值；可以獲得右眼圖像的每個(gè)塊中具有最小評(píng)估值的像素位置，作為與左眼圖像的特征點(diǎn)匹配的像素位置；以及可以存儲(chǔ)在與每個(gè)塊中的左眼圖像的特征點(diǎn)匹配的右眼圖像的像素位置的深度量和頻帶分量。在上面描述的本公開的實(shí)施例中，深度計(jì)算部分可以根據(jù)深度量將每個(gè)塊劃分為近視圖和遠(yuǎn)視圖；可以計(jì)算近視圖中塊的深度量和頻帶分量的平均值；以及可以計(jì)算遠(yuǎn)視圖中塊的深度量和頻帶分量的平均值。在上面描述的本公開的實(shí)施例中，深度計(jì)算部分可以通過計(jì)算近視圖塊中的深度量的平均值與遠(yuǎn)視圖塊中的深度量的平均值之差，來獲得立體圖像的近視圖與遠(yuǎn)視圖的深度量之差，如果立體圖像的近視圖與遠(yuǎn)視圖的深度量之差大，則可以提高邊緣與細(xì)度增強(qiáng)的強(qiáng)度的權(quán)重，而如果立體圖像的近視圖與遠(yuǎn)視圖的深度量之差小，則可以降低邊緣與細(xì)度增強(qiáng)的強(qiáng)度的權(quán)重。在上面描述的本公開的實(shí)施例中，深度計(jì)算部分可以通過計(jì)算近視圖塊中的頻帶分量的平均值與遠(yuǎn)視圖塊中的頻帶分量的平均值之差，來獲得立體圖像的近視圖與遠(yuǎn)視圖的頻帶分量之差，如果立體圖像的近視圖與遠(yuǎn)視圖的頻帶分量之差大，則可以提高邊緣與細(xì)度增強(qiáng)的強(qiáng)度的權(quán)重，而如果立體圖像的近視圖與遠(yuǎn)視圖的頻帶分量之差小，則可以降低邊緣與細(xì)度增強(qiáng)的強(qiáng)度的權(quán)重。在上面描述的本公開的實(shí)施例中，深度計(jì)算部分可以將根據(jù)平均深度量給出的權(quán)重和根據(jù)平均頻帶分量給出的權(quán)重組合，然后，可以執(zhí)行低通濾波處理以獲得邊緣與細(xì)度增強(qiáng)的強(qiáng)度。在上面描述的本公開的實(shí)施例中，視頻信號(hào)處理設(shè)備還可以包括幀間運(yùn)動(dòng)檢測(cè)部分，配置為檢測(cè)輸入圖像的幀間運(yùn)動(dòng)，其中如果幀間運(yùn)動(dòng)大，則深度計(jì)算部分可以以具有小時(shí)間常數(shù)的濾波系數(shù)執(zhí)行低通濾波處理，并且如果幀間運(yùn)動(dòng)小，則深度計(jì)算部分可以以具有大時(shí)間常數(shù)的濾波系數(shù)執(zhí)行低通濾波處理。在上面描述的本公開的實(shí)施例中，可以使左眼圖像的塊尺寸小于右眼圖像的塊尺 寸。根據(jù)本公開的另一實(shí)施例，提供了一種處理視頻信號(hào)的方法，包括接收立體圖像的輸入；執(zhí)行輸入立體圖像的深度計(jì)算；以及根據(jù)執(zhí)行深度計(jì)算的深度計(jì)算結(jié)果以變化的立體圖像的邊緣與細(xì)度增強(qiáng)的強(qiáng)度處理邊緣與細(xì)度增強(qiáng)，從而執(zhí)行圖像質(zhì)量調(diào)節(jié)。根據(jù)本公開的另一實(shí)施例，提供了一種以計(jì)算機(jī)可讀格式描述的用于使計(jì)算機(jī)執(zhí)行如下功能的計(jì)算機(jī)程序視頻輸入部分，配置為接收立體圖像的輸入；深度計(jì)算部分，配置為執(zhí)行輸入立體圖像的深度計(jì)算；以及邊緣與細(xì)度增強(qiáng)處理部分，配置為根據(jù)深度計(jì)算部分的深度計(jì)算結(jié)果以變化的立體圖像的邊緣與細(xì)度增強(qiáng)的強(qiáng)度執(zhí)行圖像質(zhì)量調(diào)節(jié)。在上面描述的本公開的實(shí)施例中，計(jì)算機(jī)程序是以計(jì)算機(jī)可讀格式描述用于在計(jì)算機(jī)上實(shí)現(xiàn)預(yù)定處理的計(jì)算機(jī)程序。換句話說，根據(jù)本公開實(shí)施例的計(jì)算機(jī)程序可以安裝到計(jì)算機(jī)中，以在計(jì)算機(jī)上實(shí)現(xiàn)協(xié)同操作，并且可以獲得與上面描述的視頻信號(hào)處理設(shè)備相同的工作效果。利用本說明書公開的技術(shù)，可以提供一種能夠根據(jù)立體圖像的深度計(jì)算結(jié)果適當(dāng)?shù)卣{(diào)節(jié)包括在立體圖像中的對(duì)象的邊緣與細(xì)度增強(qiáng)的強(qiáng)度的優(yōu)良的視頻信號(hào)處理設(shè)備、視頻信號(hào)處理方法、以及計(jì)算機(jī)程序。利用本說明書公開的技術(shù)，不對(duì)包括在視頻的一個(gè)幀中的近視圖部分和遠(yuǎn)視圖部分中的每個(gè)單獨(dú)地改變邊緣與細(xì)度增強(qiáng)的強(qiáng)度。此外，以均勻強(qiáng)度關(guān)于整個(gè)一幀圖像執(zhí)行邊緣與細(xì)度增強(qiáng)。因此，即使在深度計(jì)算中存在錯(cuò)誤檢測(cè)，仍存在不可能產(chǎn)生不自然的圖像質(zhì)量的優(yōu)點(diǎn)。利用本說明書公開的技術(shù)，可以以自然方式關(guān)于立體圖像執(zhí)行邊緣與細(xì)度增強(qiáng)。利用本說明書公開的技術(shù)，可以以小規(guī)模電路配置計(jì)算立體圖像的深度量，并且在計(jì)算時(shí)不需要使用幀存儲(chǔ)器。通過根據(jù)下面描述的實(shí)施例和附圖做更詳細(xì)描述，本說明書公開的技術(shù)的其他目的、特征和優(yōu)點(diǎn)顯而易見。


圖I是示意性地示出根據(jù)本說明書中公開的技術(shù)的視頻信號(hào)處理設(shè)備的配置的圖；圖2A是一般地示出邊緣與細(xì)度增強(qiáng)處理部分根據(jù)深度計(jì)算結(jié)果執(zhí)行的處理的圖；圖2B是一般地示出邊緣與細(xì)度增強(qiáng)處理部分根據(jù)深度計(jì)算結(jié)果執(zhí)行的處理的圖；圖3是在深度計(jì)算部分中用于處理左眼圖像的功能配置的圖；圖4是用于解釋特征量計(jì)算部分執(zhí)行的處理的圖；圖5是示出用于從視頻中提取特征量的帶通濾波器的頻率特性的示例的圖；
圖6是示出在左眼圖像中設(shè)置多個(gè)塊的狀態(tài)的圖；圖7是示出為了與右眼圖像匹配而對(duì)左眼圖像的各個(gè)塊的特征點(diǎn)存儲(chǔ)的特征點(diǎn)數(shù)據(jù)的圖；圖8是示出在深度計(jì)算部分中處理同步的右眼圖像與左眼圖像的功能配置的圖；圖9A是分別示出左眼圖像的塊位置和右眼圖像的塊位置的圖；圖9B是左眼圖像和右眼圖像之間的相應(yīng)塊以重疊方式繪出的圖；圖10是示出在近視圖和遠(yuǎn)視圖的各個(gè)情況下左眼塊中的特征點(diǎn)和右眼塊中的相應(yīng)像素位置的圖；圖11是示出用于提取右眼圖像的頻帶分量的功能配置的示例的圖；圖12是示出在深度計(jì)算部分用于執(zhí)行深度量的統(tǒng)計(jì)處理的功能配置的示例的圖；圖13是示出包括在圖像中的塊的示例的圖；圖14是示出根據(jù)近視圖與遠(yuǎn)視圖之間的深度量之差給出的邊緣與細(xì)度增強(qiáng)的權(quán)重的示例的圖；圖15是示出根據(jù)近視圖與遠(yuǎn)視圖的頻帶分量之差給出的邊緣與細(xì)度增強(qiáng)的權(quán)重的示例的圖；圖16是示出在時(shí)間軸方向上分別關(guān)于帶通分量和高通分量的邊緣與細(xì)度增強(qiáng)的強(qiáng)度執(zhí)行低通濾波處理的配置的示例的圖；圖17是示出用于檢測(cè)幀間運(yùn)動(dòng)的功能配置的示例的圖；圖18是示出邊緣與細(xì)度增強(qiáng)處理部分的內(nèi)部配置的示例的圖。
具體實(shí)施例方式下面將參考附圖詳細(xì)描述本說明書公開的技術(shù)的實(shí)施例。圖I示意性地示出根據(jù)本說明書中公開的技術(shù)的視頻信號(hào)處理設(shè)備100的配置。圖I所示的視頻信號(hào)處理設(shè)備100包括視頻輸入部分101，用于接收立體圖像的輸入；深度計(jì)算部分102，用于計(jì)算輸入的立體圖像的深度；邊緣與細(xì)度增強(qiáng)處理部分103，用于根據(jù)深度計(jì)算結(jié)果調(diào)節(jié)立體圖像的邊緣與細(xì)度增強(qiáng)的強(qiáng)度；以及視頻輸出部分104，用于輸出在執(zhí)行邊緣與細(xì)度增強(qiáng)處理后的立體圖像。輸入到視頻輸入部分101中的立體圖像是例如幀封裝方法的視頻。幀封裝是兩幀圖像(即同步的左眼圖像和右眼圖像)包括在一個(gè)垂直消隱周期內(nèi)的立體圖像信號(hào)的傳輸格式。
深度計(jì)算部分102執(zhí)行立體圖像的深度計(jì)算。作為深度計(jì)算部分102的深度計(jì)算的結(jié)果，分別獲得關(guān)于包括在圖像中的近視圖(near view)部分和遠(yuǎn)視圖(distant view)部分的深度量，以及使得近視圖部分和遠(yuǎn)視圖部分中的哪個(gè)部位聚焦等的信息。因此，根據(jù)該深度獲得邊緣與細(xì)度增強(qiáng)的強(qiáng)度。邊緣與細(xì)度增強(qiáng)處理部分103根據(jù)深度計(jì)算部分102計(jì)算的深度結(jié)果改變立體圖像的邊緣與細(xì)度增強(qiáng)的強(qiáng)度，并且對(duì)輸入的立體圖像執(zhí)行圖像質(zhì)量調(diào)節(jié)。圖2A和2B —般地示出邊緣與細(xì)度增強(qiáng)處理部分103根據(jù)深度計(jì)算結(jié)果執(zhí)行的處理。作為利用深度計(jì)算部分102進(jìn)行深度計(jì)算的結(jié)果，如果確定近視圖部分處于聚焦中，則邊緣與細(xì)度增強(qiáng)處理部分103提高邊緣與細(xì)度增強(qiáng)的強(qiáng)度。相反，如果確定遠(yuǎn)視圖部分處于聚焦中，則邊緣與細(xì)度增強(qiáng)處理部分103降低邊緣與細(xì)度增強(qiáng)的強(qiáng)度。此外，如在泛焦(pan-focus)的情況中，如果景深深，則邊緣與細(xì)度增強(qiáng)處理部分103略微降低邊緣與細(xì)度增強(qiáng)的強(qiáng)度(請(qǐng)參考圖2A)。
此外，如果通過深度計(jì)算，輸入圖像的近視圖與遠(yuǎn)視圖之間的深度量之差大，則深度計(jì)算部分102增大邊緣與細(xì)度增強(qiáng)處理部分103中應(yīng)用的邊緣與細(xì)度增強(qiáng)的強(qiáng)度。相反，如果輸入圖像的近視圖與遠(yuǎn)視圖之間的深度量之差小，則深度計(jì)算部分102減小邊緣與細(xì)度增強(qiáng)處理部分103中應(yīng)用的邊緣與細(xì)度增強(qiáng)的強(qiáng)度(請(qǐng)參考圖2B)。最后，利用基于聚焦位置的邊緣與細(xì)度增強(qiáng)的強(qiáng)度與基于深度量的邊緣與細(xì)度增強(qiáng)的強(qiáng)度之積確定在邊緣與細(xì)度增強(qiáng)處理部分103中應(yīng)用的邊緣與細(xì)度增強(qiáng)的最終強(qiáng)度。這樣，邊緣與細(xì)度增強(qiáng)處理部分103不對(duì)包括在一幀圖像中的近視圖部分和遠(yuǎn)視圖部分單獨(dú)改變邊緣與細(xì)度增強(qiáng)的強(qiáng)度。邊緣與細(xì)度增強(qiáng)處理部分103以均勻強(qiáng)度關(guān)于整個(gè)一幀圖像執(zhí)行邊緣與細(xì)度增強(qiáng)。因此，即使在深度計(jì)算中存在錯(cuò)誤檢測(cè)，但是仍存在不可能產(chǎn)生不自然圖像質(zhì)量的優(yōu)點(diǎn)。如上所述，視頻輸入部分101接收以幀封裝方法的立體圖像的輸入。也就是說，視頻輸入部分101以同步的左眼圖像和右眼圖像的順序接收。因此，深度計(jì)算部分102從首先輸入的左眼圖像中提取特征量。接著，深度計(jì)算部分102從后續(xù)輸入的同步右眼圖像中提取特征量。在左眼圖像的特征量與右眼圖像的特征量之間進(jìn)行比較，以檢測(cè)圖像深度的信息。圖3是在深度計(jì)算部分102用于處理左眼圖像的功能配置。在圖3所示的示例中，深度計(jì)算部分102包括特征量計(jì)算部分301、最大特征量檢測(cè)部分302和特征點(diǎn)存儲(chǔ)部分303，以處理左眼圖像。圖4是示出特征量計(jì)算部分301執(zhí)行的處理。特征量計(jì)算部分301分別在垂直方向和水平方向關(guān)于輸入左眼圖像執(zhí)行9抽頭帶通濾波(BPF)處理。在此，圖5示出用于從視頻中提取特征量的帶通濾波器的頻率特性的示例。在此，假定水平方向上的帶通分量是fx1，而垂直方向上的帶通分量是fy1。并且，特征量計(jì)算部分301計(jì)算每個(gè)像素的水平方向上的帶通分量fx1與垂直方向上的帶通分量fy1的乘積，并且確定每個(gè)像素的計(jì)算結(jié)果fx'Xfy1是每個(gè)像素的特征量。接著，如圖6所示，當(dāng)在輸入左眼圖像中設(shè)置塊數(shù)量時(shí)，最大特征量檢測(cè)部分302檢測(cè)每個(gè)塊中具有最大特征量f^Xfy1的像素位置。每個(gè)塊中具有最大特征量f^Xfy1的像素位置被作為塊的特征點(diǎn)處理。邊緣等易于作為特征點(diǎn)。在計(jì)算特征量時(shí)使用帶通濾波器，因此，噪聲難以成為特征點(diǎn)。此外，特征點(diǎn)存儲(chǔ)部分303存儲(chǔ)在每個(gè)塊的特征點(diǎn)的特征量,作為與同步左眼圖像的匹配數(shù)據(jù)，即，特征點(diǎn)數(shù)據(jù)。特征點(diǎn)存儲(chǔ)部分303關(guān)于左眼圖像的每個(gè)塊的特征點(diǎn)，存儲(chǔ)下面說明的例如用于與右眼圖像匹配的8條特征點(diǎn)數(shù)據(jù)。圖7示出這些特征點(diǎn)數(shù)據(jù)。(I)垂直方向上的帶通分量(fy1)(2)水平方向上的帶通分量(fx1)(3)左上(8 X 4)像素的平均值(ma1)
(4)右上(8 X 4)像素的平均值(mb1)(5)左下(8 X 4)像素的平均值(me1)(6)右下(8 X 4)像素的平均值(md1)(7 )特征點(diǎn)的塊中的y坐標(biāo)(dy1)(8)特征點(diǎn)的塊中的X坐標(biāo)(dx1)處理不需要幀存儲(chǔ)器以存儲(chǔ)關(guān)于左眼圖像的特征點(diǎn)數(shù)據(jù)，如圖3所示。應(yīng)該設(shè)置八行存儲(chǔ)器和用于存儲(chǔ)特征點(diǎn)數(shù)據(jù)的存儲(chǔ)器。此外，圖8示出在深度計(jì)算部分102中處理與左眼圖像同步的右眼圖像的功能配置。在圖8所示的示例中，對(duì)于右眼圖像處理，深度計(jì)算部分102包括特征量計(jì)算部分801、特征點(diǎn)數(shù)據(jù)比較與評(píng)估部分802、最小評(píng)估值檢測(cè)部分803以及深度量與頻帶分量存儲(chǔ)部分 804。特征量計(jì)算部分801掃描每個(gè)塊的所有像素位置，并且計(jì)算在每個(gè)像素位置的如下7條特征點(diǎn)數(shù)據(jù)。(I)垂直方向上的帶通分量(fy")(2)水平方向上的帶通分量(fx")(3)左上(8 X 4)像素的平均值(maD(4)右上(8 X 4)像素的平均值(ml/)(5)左下(8 X 4)像素的平均值(md)(6)右下(8 X 4)像素的平均值(mcf) (7 )特征點(diǎn)的塊中的y坐標(biāo)(dyr)特征點(diǎn)數(shù)據(jù)比較與評(píng)估部分802將右眼圖像的每個(gè)塊中的每個(gè)像素位置的特征點(diǎn)數(shù)據(jù)與對(duì)于左眼圖像的相應(yīng)塊的特征點(diǎn)存儲(chǔ)的特征點(diǎn)數(shù)據(jù)進(jìn)行比較和評(píng)估。具體地說，如下面的表達(dá)式(I)所示，特征點(diǎn)數(shù)據(jù)比較與評(píng)估部分802計(jì)算在右眼圖像的每個(gè)塊中的每個(gè)像素位置的特征點(diǎn)數(shù)據(jù)與在左眼圖像的相應(yīng)塊的特征點(diǎn)的特征點(diǎn)數(shù)據(jù)之間的加權(quán)和絕對(duì)差值，并且確定計(jì)算結(jié)果作為右眼圖像的每個(gè)像素位置的評(píng)估值。評(píng)估值=(IFx1-Ifxr I +1I) X 2+(I Ina1-Iiiar I + | Inb1-Iiibr I + | Inc1-Incr I+1 mc^-mcT |) + | Cly1-Clyr X 4. . . (I)關(guān)于無特征平坦部分等執(zhí)行匹配是困難的圖像處理。因此，應(yīng)當(dāng)明白，在無特征圖像部分中深度檢測(cè)的精度降低。另一方面，在本說明書中公開的技術(shù)中，特征點(diǎn)數(shù)據(jù)比較與評(píng)估部分802僅關(guān)于特征點(diǎn)執(zhí)行如上描述的立體匹配，并由此獲得高精度的深度檢測(cè)。最小評(píng)估值檢測(cè)部分803檢測(cè)右眼圖像的每個(gè)塊中的具有如上所述獲得的最小評(píng)估值的像素位置，作為與左眼圖像的相應(yīng)塊的特征點(diǎn)匹配的像素位置。立體圖像的深度量是視差量，即，與該特征點(diǎn)匹配的左眼圖像的特征點(diǎn)的X坐標(biāo)(dx1)與右眼圖像的像素位置的X坐標(biāo)(df)之差。深度量與頻帶分量存儲(chǔ)部分804存儲(chǔ)所檢測(cè)的在像素位置的深度量和頻帶分量，作為右眼圖像的每個(gè)塊中的最小評(píng)估值。然而，即使根據(jù)評(píng)估值檢測(cè)的像素位置確定為與大多數(shù)塊中的左眼圖像的特征點(diǎn)匹配，仍可能存在圖像整體不匹配。因此，如果塊中檢測(cè)到的最小評(píng)估值是閾值或者更大(在右眼圖像的塊中不存在與左眼圖像的塊中的特征點(diǎn)充分匹配的像素位置)，或者如果右眼圖像的特征量是閾值或者更小(不存在特征，并且塊原始不適于匹配)，則確定不使用由塊獲得的深度量和頻帶分量。實(shí)際上，當(dāng)在右眼圖像的塊中檢測(cè)到的最小評(píng)估值是閾值或者更小時(shí)，并且如果右眼圖像的特征量是閾值或者更大時(shí)，對(duì)于塊設(shè)置指示所獲得的數(shù)據(jù)(深度量和頻帶分量)有效的有效標(biāo)志。對(duì)于設(shè)置了其有效標(biāo)志的塊存儲(chǔ)的深度量和頻帶分量用于后級(jí)邊緣與細(xì)度增強(qiáng)處理。相反，如果有效標(biāo)志未設(shè)置，則不使用對(duì)于該塊存儲(chǔ)的深度量和頻帶分量。 這樣，圖9A分別示出左眼圖像的塊位置和右眼圖像的塊位置。此外，在圖9B中，左眼圖像和右眼圖像之間的相應(yīng)塊以重疊方式繪出。如上所述，首先，從左眼圖像的塊中提取特征點(diǎn)，然后，在右眼圖像的相應(yīng)塊中搜索最匹配該特征點(diǎn)的像素位置。如圖9B所示，左眼圖像的塊的尺寸小，并且放置在右眼圖像的塊內(nèi)，因此，不需要在搜索具有匹配特征點(diǎn)的像素位置時(shí)在塊上搜索像素位置。這樣，右眼圖像的塊關(guān)于左眼圖像的相應(yīng)塊的左端部和右端部中每個(gè)的余量設(shè)置為立體圖像的視差的最大量或者更大。此外，考慮到捕獲立體圖像時(shí)的相機(jī)位置的失準(zhǔn)，分別設(shè)置上端部與下端部每個(gè)的余量。立體圖像的深度量是視差量，即，左眼圖像的特征點(diǎn)的X坐標(biāo)(dx1)與匹配該特征點(diǎn)的右眼圖像的像素位置的X坐標(biāo)(df)之差。圖10分別示出在近視圖和遠(yuǎn)視圖的每個(gè)情況下左眼塊中的特征點(diǎn)和右眼塊中的相應(yīng)像素位置。從圖10可以看出，深度量Ck1-Cklr在近視圖中大，而深度量CbC1-Clf在遠(yuǎn)視圖中小。深度量與頻帶分量存儲(chǔ)部分804計(jì)算并且存儲(chǔ)每個(gè)塊的深度量。如下所述，統(tǒng)計(jì)處理將關(guān)于深度量和頻帶分量的信息分為近視圖和遠(yuǎn)視圖。此外，圖11示出在深度量與頻帶分量存儲(chǔ)部分804中用于提取右眼圖像的頻帶分量的功能配置的示例。垂直帶通濾波器1101接收右眼圖像的輸入，并且在垂直方向上執(zhí)行帶通濾波處理。此外，水平帶通濾波器1102接收右眼圖像的輸入，并且在水平方向上執(zhí)行帶通濾波處理。此外，絕對(duì)值獲取部分1103和1104分別計(jì)算垂直方向上的帶通分量的絕對(duì)值和水平方向上的帶通分量的絕對(duì)值。這些絕對(duì)值相加，且因此，可以獲得右眼圖像的帶通分量(中頻分量)。另一方面，垂直高通濾波器1111接收右眼圖像的輸入，并且在垂直方向上執(zhí)行高通濾波處理。此外，水平高通濾波器1112接收右眼圖像的輸入，并且在水平方向上執(zhí)行高通濾波處理。此外，絕對(duì)值獲取部分1113和1114分別計(jì)算垂直方向上的高通分量的絕對(duì)值和水平方向上的高通分量的絕對(duì)值。這些絕對(duì)值相加，且因此，可以獲得右眼圖像的高通分量(聞?lì)l分量)。深度量與頻帶分量存儲(chǔ)部分804存儲(chǔ)上面描述的在右眼圖像的每個(gè)塊中具有最小評(píng)估值的像素位置，即，與左眼圖像的相應(yīng)塊的特征點(diǎn)匹配的像素位置提取的帶通分量和高通分量。然而，可以對(duì)于每個(gè)塊計(jì)算頻帶分量的平均值并且存儲(chǔ)。這樣，深度量與頻帶分量存儲(chǔ)部分804中使用的圖11所示的濾波器與計(jì)算特征量使用的濾波器不同，但是可以與邊緣與細(xì)度增強(qiáng)處理使用的濾波器是共同的。圖12不出深度計(jì)算部分102用于對(duì)如上所述存儲(chǔ)的深度量和頻帶分量執(zhí)行統(tǒng)計(jì)處理的功能配置的示例。在圖12所示的示例中，深度計(jì)算部分102包括深度量均值計(jì)算部分1201、近視圖深度量均值計(jì)算部分1202、近視圖頻帶分量均值計(jì)算部分1203、遠(yuǎn)視圖深度量均值計(jì)算部分1204以及遠(yuǎn)視圖頻帶分量均值計(jì)算部分1205。例如，如圖13所示，如果圖像(右眼圖像)包括7X8=56個(gè)塊，則利用上面描述的深度量計(jì)算，對(duì)于每一幀獲得56個(gè)深度量，并且存儲(chǔ)它。深度量均值計(jì)算部分1201計(jì)算設(shè)置了其有效標(biāo)志的塊(即，其最小評(píng)估值是閾值或者更小并且其中右眼圖像的特征量是閾值或者更大的塊)的深度量的平均值。近視圖深度量均值計(jì)算部分1202確定比由深度量均值計(jì)算部分1201計(jì)算的平均深度量更大的深度量作為近視圖的深度量，并且計(jì)算這些深度量的平均值。請(qǐng)注意，僅設(shè)置了其有效標(biāo)志的塊被處理。近視圖頻帶分量均值計(jì)算部分1203計(jì)算具有近視圖深度量的特征點(diǎn)的頻帶分量的平均值。請(qǐng)注意，僅設(shè)置了其有效標(biāo)志的塊(特征點(diǎn))被處理。遠(yuǎn)視圖深度量均值計(jì)算部分1204計(jì)算比由深度量均值計(jì)算部分1201計(jì)算的平均深度量更小的深度量的平均值，作為遠(yuǎn)視圖的深度量。注意到，僅設(shè)置了其有效標(biāo)志的塊被處理。遠(yuǎn)視圖頻帶分量均值計(jì)算部分1205計(jì)算具有遠(yuǎn)視圖深度量的特征點(diǎn)的頻帶分量的平均值。注意到，僅設(shè)置了其有效標(biāo)志的塊(特征點(diǎn))被處理。這樣，參考圖11所述，對(duì)于每個(gè)塊存儲(chǔ)的頻帶分量包括兩個(gè)頻帶分量，即，帶通分 量和高通分量。因此，近視圖頻帶分量均值計(jì)算部分1203和遠(yuǎn)視圖頻帶分量均值計(jì)算部分1205分別執(zhí)行帶通分量和高通分量的均值計(jì)算處理。通過由從遠(yuǎn)視圖深度量均值計(jì)算部分1204輸出的遠(yuǎn)視圖深度量的平均值減去從近視圖深度量均值計(jì)算部分1202輸出的近視圖深度量的平均值，可以獲得輸入圖像的近視圖與遠(yuǎn)視圖之間的深度量差值。圖14示出根據(jù)近視圖與遠(yuǎn)視圖之間的深度量之差給出的邊緣與細(xì)度增強(qiáng)的權(quán)重的示例。如圖14所示，當(dāng)深度量差大時(shí)，給出大權(quán)重，如圖2B所示，如果輸入圖像的近視圖與遠(yuǎn)視圖的深度量差大，則提高邊緣與細(xì)度增強(qiáng)的強(qiáng)度。相反，如果輸入圖像的近視圖與遠(yuǎn)視圖之間的深度量差小，則降低邊緣與細(xì)度增強(qiáng)的強(qiáng)度，且因此實(shí)現(xiàn)邊緣與細(xì)度增強(qiáng)處理。深度計(jì)算部分102或者邊緣與細(xì)度增強(qiáng)處理部分103可以根據(jù)深度量差給出權(quán)重。此外，通過由從遠(yuǎn)視圖頻帶分量均值計(jì)算部分1205輸出的遠(yuǎn)視圖頻帶分量的平均值減去從近視圖頻帶分量均值計(jì)算部分1203輸出的近視圖頻帶分量的平均值并且獲得頻帶分量差，可以確定輸入圖像的近視圖部分還是遠(yuǎn)視圖部分處于聚焦中?？梢哉f，當(dāng)頻帶分量差大時(shí)，近視圖部分處于聚焦中，而當(dāng)頻帶分量小時(shí)，遠(yuǎn)視圖部分處于聚焦中。圖15示出根據(jù)近視圖與遠(yuǎn)視圖的頻帶分量之差給出的邊緣與細(xì)度增強(qiáng)的權(quán)重的示例。如圖15所示，當(dāng)頻帶分量差大時(shí)，給出較大的權(quán)重，如圖2A所示，如果近視圖部分處于聚焦中，則提高邊緣與細(xì)度增強(qiáng)的強(qiáng)度。相反，當(dāng)遠(yuǎn)視圖部分處于聚焦中時(shí)，降低邊緣與細(xì)度增強(qiáng)的強(qiáng)度。此外，在具有與泛焦類似的景深深度的圖像的情況下，以略微低的邊緣與細(xì)度增強(qiáng)的強(qiáng)度實(shí)現(xiàn)邊緣與細(xì)度增強(qiáng)處理。深度計(jì)算部分102或者邊緣與細(xì)度增強(qiáng)處理部分103可以根據(jù)頻帶分量差給出權(quán)重。這樣，頻帶分量包括兩個(gè)頻帶分量，S卩，帶通分量和高通分量，且因此，對(duì)于每個(gè)頻帶分量給出上述根據(jù)頻帶分量差的權(quán)重。將如圖14所示獲得的深度量的權(quán)重和如圖15所示獲得的頻帶分量的權(quán)重混合，以獲得邊緣與細(xì)度增強(qiáng)的強(qiáng)度。對(duì)于帶通分量和高通分量的每個(gè)分量獲得邊緣與細(xì)度增強(qiáng)的強(qiáng)度。此外，為了防止邊緣與細(xì)度增強(qiáng)的強(qiáng)度劇烈地改變，在時(shí)間軸方向上關(guān)于邊緣與細(xì)度增強(qiáng)的強(qiáng)度執(zhí)行低通濾波處理。圖16示出在時(shí)間軸方向上分別對(duì)于帶通分量和高通分量的每一個(gè)關(guān)于邊緣與細(xì)度增強(qiáng)強(qiáng)度執(zhí)行低通濾波處理的配置的示例。例如，可以應(yīng)用IIR (無限脈沖響應(yīng))型低通·濾波器。注意到，根據(jù)幀間運(yùn)動(dòng)改變每個(gè)低通濾波器的濾波系數(shù)。圖17示出用于檢測(cè)幀間運(yùn)動(dòng)的功能配置的示例。直方圖創(chuàng)建部分1701對(duì)于輸入圖像的每幀創(chuàng)建亮度的像素?cái)?shù)分布直方圖。絕對(duì)值差和計(jì)算部分1702計(jì)算對(duì)先前幀創(chuàng)建的直方圖與當(dāng)前幀的直方圖之間的絕對(duì)值差和。根據(jù)絕對(duì)值差和，可以進(jìn)行幀間運(yùn)動(dòng)的確定。例如，在快速運(yùn)動(dòng)場(chǎng)景中，幀間運(yùn)動(dòng)變大。在這種情況下，采用時(shí)間常數(shù)小的濾波系數(shù)，以迅速改變邊緣與細(xì)度增強(qiáng)的強(qiáng)度。在這種情況下，創(chuàng)建的運(yùn)動(dòng)快，且因此，即使邊緣與細(xì)度增強(qiáng)強(qiáng)度迅速變化，也是自然的。另一方面，當(dāng)創(chuàng)建的運(yùn)動(dòng)慢時(shí)，幀間運(yùn)動(dòng)變小。在這種情況下，采用時(shí)間常數(shù)大的濾波系數(shù)，以使得邊緣與細(xì)度增強(qiáng)強(qiáng)度不迅速變化。這是因?yàn)?，即使在深度?jì)算中發(fā)生錯(cuò)誤檢測(cè)，只要其是瞬時(shí)錯(cuò)誤檢測(cè)，錯(cuò)誤檢測(cè)的結(jié)果就難以反映在低通濾波處理的邊緣與細(xì)度增強(qiáng)上。圖18示出邊緣與細(xì)度增強(qiáng)處理部分103的內(nèi)部配置的示例。垂直帶通濾波器1801在立體圖像的垂直方向上提取帶通分量，而后級(jí)振幅調(diào)節(jié)部分1805調(diào)節(jié)垂直方向上的提取的帶通分量的振幅。此外，水平帶通濾波器1802在立體圖像的水平方向上提取帶通分量，而后級(jí)振幅調(diào)節(jié)部分1806調(diào)節(jié)水平方向上的提取的帶通分量的振幅。將經(jīng)過振幅調(diào)節(jié)的垂直方向上的帶通分量與水平方向上的帶通分量相加。此外，根據(jù)圖16中的處理的深度計(jì)算獲得的邊緣與細(xì)度增強(qiáng)強(qiáng)度被給予帶通分量。垂直高通濾波器1803在立體圖像的垂直方向上提取高通分量，而后級(jí)振幅調(diào)節(jié)部分1807調(diào)節(jié)所提取的垂直方向上的高通分量的振幅。此外，水平高通部分1804在立體圖像的水平方向上提取高通分量，而后級(jí)振幅調(diào)節(jié)部分1808調(diào)節(jié)高通分量的水平方向上的振幅。經(jīng)過振幅調(diào)節(jié)的垂直方向上的高通分量與水平方向上的高通分量相加。此外，根據(jù)圖16中的處理的深度計(jì)算獲得的邊緣與細(xì)度增強(qiáng)強(qiáng)度被給予高通分量。此外，其強(qiáng)度由深度計(jì)算獲得的邊緣與細(xì)度增強(qiáng)強(qiáng)度給出的帶通分量和高通分量相加，并且將該結(jié)果與輸入信號(hào)相加。簡而言之，根據(jù)本說明書公開的技術(shù)的視頻信號(hào)處理設(shè)備100配置為，根據(jù)立體圖像的聚焦位置和景深改變邊緣與細(xì)度增強(qiáng)強(qiáng)度，如圖2A所示。
此外，可以說，如圖2B所示，視頻信號(hào)處理設(shè)備100配置為，根據(jù)立體圖像的景深改變邊緣與細(xì)度增強(qiáng)強(qiáng)度。此外，可以說，如圖12所示，視頻信號(hào)處理設(shè)備100配置為，將每個(gè)塊的深度量分離為近視圖和遠(yuǎn)視圖，如圖14所示，并且由近視圖深度量與遠(yuǎn)視圖深度量之差計(jì)算邊緣與細(xì)度增強(qiáng)的強(qiáng)度。此外，可以說，如圖12所示，視頻信號(hào)處理設(shè)備100配置為，將每個(gè)塊的深度量分離為近視圖和遠(yuǎn)視圖，并且如圖15所示，由近視圖的頻帶分量和遠(yuǎn)視圖的頻帶分量之差計(jì)算邊緣與細(xì)度增強(qiáng)的強(qiáng)度。此外，可以說，視頻信號(hào)處理設(shè)備100配置為，在計(jì)算深度量時(shí)執(zhí)行匹配每個(gè)塊的左眼圖像和右眼圖像，并且如圖9B所示，為了簡化搜索特征點(diǎn)，使左眼圖像的塊尺寸小于右眼圖像的塊尺寸。這樣，本說明書公開的技術(shù)可以如下配置。 (I) 一種視頻信號(hào)處理設(shè)備，包括視頻輸入部分，配置為接收立體圖像的輸入；深度計(jì)算部分，配置為執(zhí)行輸入立體圖像的深度計(jì)算；以及邊緣與細(xì)度增強(qiáng)處理部分，配置為根據(jù)深度計(jì)算部分的深度計(jì)算結(jié)果以變化的立體圖像的邊緣與細(xì)度增強(qiáng)的強(qiáng)度執(zhí)行圖
像質(zhì)量調(diào)節(jié)。(2)根據(jù)(I)所述的視頻信號(hào)處理設(shè)備，其中，邊緣與細(xì)度增強(qiáng)處理部分根據(jù)由深度計(jì)算部分的深度計(jì)算結(jié)果確定的聚焦位置來確定邊緣與細(xì)度增強(qiáng)的強(qiáng)度。(3)根據(jù)(I)所述的視頻信號(hào)處理設(shè)備，其中，如果作為深度計(jì)算部分的深度計(jì)算的結(jié)果確定立體圖像的近視圖部分處于聚焦中，則邊緣與細(xì)度增強(qiáng)處理部分提高邊緣與細(xì)度增強(qiáng)的強(qiáng)度，而如果作為深度計(jì)算的結(jié)果確定立體圖像的遠(yuǎn)視圖部分處于聚焦中，則邊緣與細(xì)度增強(qiáng)處理部分降低邊緣與細(xì)度增強(qiáng)的強(qiáng)度，并且如果作為深度計(jì)算的結(jié)果確定立體圖像的景深深，則邊緣與細(xì)度增強(qiáng)處理部分略微降低邊緣與細(xì)度增強(qiáng)的強(qiáng)度。(4)根據(jù)(I)所述的視頻信號(hào)處理設(shè)備，其中，如果作為深度計(jì)算部分的深度計(jì)算的結(jié)果確定立體圖像的近視圖與遠(yuǎn)視圖之間的深度量差大，則邊緣與細(xì)度增強(qiáng)處理部分提高邊緣與細(xì)度增強(qiáng)的強(qiáng)度，而如果作為深度計(jì)算的結(jié)果確定立體圖像的近視圖與遠(yuǎn)視圖之間的深度量差小，則邊緣與細(xì)度增強(qiáng)處理部分降低邊緣與細(xì)度增強(qiáng)的強(qiáng)度。(5)根據(jù)(I)所述的視頻信號(hào)處理設(shè)備，其中，邊緣與細(xì)度增強(qiáng)處理部分以均勻強(qiáng)度關(guān)于一幀的整個(gè)圖像執(zhí)行邊緣與細(xì)度增強(qiáng)。(6)根據(jù)(I)所述的視頻信號(hào)處理設(shè)備，其中，視頻輸入部分在時(shí)間方向上復(fù)用同步的左眼圖像和右眼圖像的方法中接收立體圖像的輸入，并且深度計(jì)算部分從左眼圖像提取特征量，然后從同步右眼圖像提取特征量，以及將左眼圖像的特征量與右眼圖像的特征量進(jìn)行比較，從而計(jì)算立體圖像的深度。(7)根據(jù)(6)所述的視頻信號(hào)處理設(shè)備，其中，深度計(jì)算部分以預(yù)定數(shù)量的抽頭分別在垂直方向和水平方向上關(guān)于左眼圖像執(zhí)行帶通濾波處理；根據(jù)垂直方向上的帶通分量與水平方向上的帶通分量之積獲得每個(gè)像素位置的特征量；檢測(cè)每個(gè)塊中具有最大特征量的像素位置作為特征點(diǎn)；存儲(chǔ)每個(gè)塊的特征點(diǎn)的特征量；計(jì)算在右眼圖像的每個(gè)塊的所有像素位置的與如上所述相同的特征量；將計(jì)算的特征量與在對(duì)左眼圖像的相應(yīng)塊的特征點(diǎn)存儲(chǔ)的特征量進(jìn)行比較；檢測(cè)與每個(gè)塊的左眼圖像的特征點(diǎn)匹配的右眼圖像的像素位置；以及存儲(chǔ)在與每個(gè)塊的左眼圖像的特征點(diǎn)匹配的右眼圖像的像素位置的深度量和頻帶分量。(8)根據(jù)(6)所述的視頻信號(hào)處理設(shè)備，其中，深度計(jì)算部分對(duì)于左眼圖像的每個(gè)塊的特征點(diǎn)存儲(chǔ)垂直方向上的帶通分量、水平方向上的帶通分量、左上像素的平均值、右上像素的平均值、左下像素的平均值、右下像素的平均值、塊中特征點(diǎn)的I坐標(biāo)以及塊中特征點(diǎn)的X坐標(biāo)，作為特征點(diǎn)數(shù)據(jù)；在右眼圖像的每個(gè)塊的所有像素位置計(jì)算垂直方向上的帶通分量、水平方向上的帶通分量、左上像素的平均值、右上像素的平均值、左下像素的平均值、右下像素的平均值、塊中的特征點(diǎn)的I坐標(biāo)作為特征點(diǎn)數(shù)據(jù)；取在每個(gè)像素位置的特征點(diǎn)數(shù)據(jù)和在左眼圖像的相應(yīng)特征點(diǎn)的特征點(diǎn)數(shù)據(jù)之間的絕對(duì)值差的加權(quán)和作為每個(gè)像素位置的評(píng)估值；獲得右眼圖像的每個(gè)塊中具有最小評(píng)估值的像素位置，作為與左眼圖像的特征點(diǎn)匹配的像素位置；以及存儲(chǔ)在與每個(gè)塊中的左眼圖像的特征點(diǎn)匹配的右眼圖像的像
素位置的深度量和頻帶分量。(9)根據(jù)(7)或者(8)所述的視頻信號(hào)處理設(shè)備，其中，深度計(jì)算部分根據(jù)深度量將每個(gè)塊劃分為近視圖和遠(yuǎn)視圖；計(jì)算近視圖中塊的深度量和頻帶分量的平均值；以及計(jì)算遠(yuǎn)視圖中塊的深度量和頻帶分量的平均值。(10)根據(jù)(9)所述的視頻信號(hào)處理設(shè)備，其中，深度計(jì)算部分通過計(jì)算近視圖塊中的深度量的平均值與遠(yuǎn)視圖塊中的深度量的平均值之差，來獲得立體圖像的近視圖與遠(yuǎn)視圖的深度量之差，如果立體圖像的近視圖與遠(yuǎn)視圖的深度量之差大，則提高邊緣與細(xì)度增強(qiáng)的強(qiáng)度的權(quán)重，而如果立體圖像的近視圖與遠(yuǎn)視圖的深度量之差小，則降低邊緣與細(xì)度增強(qiáng)的強(qiáng)度的權(quán)重。(11)根據(jù)(9)所述的視頻信號(hào)處理設(shè)備，其中，深度計(jì)算部分通過計(jì)算近視圖塊中的頻帶分量的平均值與遠(yuǎn)視圖塊中的頻帶分量的平均值之差，來獲得立體圖像的近視圖與遠(yuǎn)視圖的頻帶分量之差，如果立體圖像的近視圖與遠(yuǎn)視圖的頻帶分量之差大，則提高邊緣與細(xì)度增強(qiáng)的強(qiáng)度的權(quán)重，而如果立體圖像的近視圖與遠(yuǎn)視圖的頻帶分量之差小，則降低邊緣與細(xì)度增強(qiáng)的強(qiáng)度的權(quán)重。(12)根據(jù)(9)所述的視頻信號(hào)處理設(shè)備，其中，深度計(jì)算部分將根據(jù)平均深度量給出的權(quán)重和根據(jù)平均頻帶分量給出的權(quán)重組合，然后，執(zhí)行低通濾波處理以獲得邊緣與細(xì)度增強(qiáng)的強(qiáng)度。(13)根據(jù)(12)所述的視頻信號(hào)處理設(shè)備，還包括幀間運(yùn)動(dòng)檢測(cè)部分，配置為檢測(cè)輸入圖像的幀間運(yùn)動(dòng)，其中如果幀間運(yùn)動(dòng)大，則深度計(jì)算部分以具有小時(shí)間常數(shù)的濾波系數(shù)執(zhí)行低通濾波處理，并且如果幀間運(yùn)動(dòng)小，則深度計(jì)算部分以具有大時(shí)間常數(shù)的濾波系數(shù)執(zhí)行低通濾波處理。(14)根據(jù)(7)或者(8)所述的視頻信號(hào)處理設(shè)備，其中，使左眼圖像的塊尺寸小于右眼圖像的塊尺寸。(15) 一種處理視頻信號(hào)的方法，包括接收立體圖像的輸入；執(zhí)行輸入立體圖像的深度計(jì)算；以及根據(jù)執(zhí)行深度計(jì)算的深度計(jì)算結(jié)果以變化的立體圖像的邊緣與細(xì)度增強(qiáng)的強(qiáng)度執(zhí)行邊緣與細(xì)度增強(qiáng)，從而執(zhí)行圖像質(zhì)量調(diào)節(jié)。(16)—種由計(jì)算機(jī)可讀格式描述的用于使計(jì)算機(jī)執(zhí)行如下功能的計(jì)算機(jī)程序視頻輸入部分，配置為接收立體圖像的輸入；深度計(jì)算部分，配置為執(zhí)行輸入立體圖像的深度計(jì)算；以及邊緣與細(xì)度增強(qiáng)處理部分，配置為根據(jù)深度計(jì)算部分的深度計(jì)算結(jié)果以變化的立體圖像的邊緣與細(xì)度增強(qiáng)的強(qiáng)度執(zhí)行圖像質(zhì)量調(diào)節(jié)。上面參考特定實(shí)施例詳細(xì)描述了本說明書中公開的技術(shù)。然而，顯然，在不脫離本說明書公開的實(shí)質(zhì)技術(shù)范圍的情況下，本技術(shù)領(lǐng)域內(nèi)的技術(shù)人員可以對(duì)實(shí)施例進(jìn)行修改和變型。本說明書公開的實(shí)施例中的邊緣與細(xì)度增強(qiáng)處理可以由硬件或者軟件執(zhí)行。當(dāng)由硬件執(zhí)行處理時(shí)，以計(jì)算機(jī)可讀格式描述處理過程的計(jì)算機(jī)程序應(yīng)當(dāng)安裝在預(yù)定計(jì)算機(jī)中，并且應(yīng)當(dāng)被執(zhí)行。簡而言之，作為示例公開了本技術(shù)，并且應(yīng)當(dāng)明白，不以限制方式解釋該說明書的描述。為了理解該技術(shù)的要點(diǎn)，應(yīng)當(dāng)考慮所附權(quán)利要求書的范圍。
本公開含有與于2011年8月22日向日本專利局提交的第JP2011-180171號(hào)日本優(yōu)先權(quán)專利申請(qǐng)披露的主題有關(guān)的主題，在此通過引用包括該專利申請(qǐng)的全部內(nèi)容。
權(quán)利要求
1.一種視頻信號(hào)處理設(shè)備，包括 視頻輸入部分，配置為接收立體圖像的輸入； 深度計(jì)算部分，配置為執(zhí)行輸入立體圖像的深度計(jì)算；以及 邊緣與細(xì)度增強(qiáng)處理部分，配置為根據(jù)所述深度計(jì)算部分的深度計(jì)算結(jié)果以變化的立體圖像的邊緣與細(xì)度增強(qiáng)的強(qiáng)度執(zhí)行圖像質(zhì)量調(diào)節(jié)。
2.根據(jù)權(quán)利要求I所述的視頻信號(hào)處理設(shè)備， 其中，所述邊緣與細(xì)度增強(qiáng)處理部分根據(jù)由所述深度計(jì)算部分的深度計(jì)算結(jié)果確定的聚焦位置來確定邊緣與細(xì)度增強(qiáng)的強(qiáng)度。
3.根據(jù)權(quán)利要求I所述的視頻信號(hào)處理設(shè)備， 其中，如果作為所述深度計(jì)算部分的深度計(jì)算的結(jié)果確定所述立體圖像的近視圖部分處于聚焦中，則所述邊緣與細(xì)度增強(qiáng)處理部分提高邊緣與細(xì)度增強(qiáng)的強(qiáng)度，而如果作為深度計(jì)算的結(jié)果確定所述立體圖像的遠(yuǎn)視圖部分處于聚焦中，則所述邊緣與細(xì)度增強(qiáng)處理部分降低邊緣與細(xì)度增強(qiáng)的強(qiáng)度，并且如果作為深度計(jì)算的結(jié)果確定立體圖像的景深深，則所述邊緣與細(xì)度增強(qiáng)處理部分略微降低邊緣與細(xì)度增強(qiáng)的強(qiáng)度。
4.根據(jù)權(quán)利要求I所述的視頻信號(hào)處理設(shè)備， 其中，如果作為所述深度計(jì)算部分的深度計(jì)算的結(jié)果確定所述立體圖像的近視圖與遠(yuǎn)視圖之間的深度量差大，則所述邊緣與細(xì)度增強(qiáng)處理部分提高邊緣與細(xì)度增強(qiáng)的強(qiáng)度，而如果作為深度計(jì)算的結(jié)果確定所述立體圖像的近視圖與遠(yuǎn)視圖之間的深度量差小，則所述邊緣與細(xì)度增強(qiáng)處理部分降低邊緣與細(xì)度增強(qiáng)的強(qiáng)度。
5.根據(jù)權(quán)利要求I所述的視頻信號(hào)處理設(shè)備， 其中，所述邊緣與細(xì)度增強(qiáng)處理部分以均勻強(qiáng)度關(guān)于ー幀的整個(gè)圖像執(zhí)行邊緣與細(xì)度增強(qiáng)。
6.根據(jù)權(quán)利要求I所述的視頻信號(hào)處理設(shè)備， 其中，所述視頻輸入部分在時(shí)間方向上復(fù)用同步的左眼圖像和右眼圖像的方法中接收立體圖像的輸入，并且 所述深度計(jì)算部分從左眼圖像提取特征量，然后從同步右眼圖像提取特征量，以及將左眼圖像的特征量與右眼圖像的特征量進(jìn)行比較，從而計(jì)算立體圖像的深度。
7.根據(jù)權(quán)利要求6所述的視頻信號(hào)處理設(shè)備， 其中，所述深度計(jì)算部分以預(yù)定數(shù)量的抽頭分別在垂直方向和水平方向上關(guān)于左眼圖像執(zhí)行帶通濾波處理；根據(jù)垂直方向上的帶通分量與水平方向上的帶通分量之積獲得每個(gè)像素位置的特征量；檢測(cè)每個(gè)塊中具有最大特征量的像素位置作為特征點(diǎn)；存儲(chǔ)每個(gè)塊的特征點(diǎn)的特征量； 計(jì)算在右眼圖像的每個(gè)塊的所有像素位置的與如上所述相同的特征量；將計(jì)算的特征量與在對(duì)左眼圖像的相應(yīng)塊的特征點(diǎn)存儲(chǔ)的特征量進(jìn)行比較；檢測(cè)與每個(gè)塊的左眼圖像的特征點(diǎn)匹配的右眼圖像的像素位置；以及 存儲(chǔ)在與每個(gè)塊的左眼圖像的特征點(diǎn)匹配的右眼圖像的像素位置的深度量和頻帶分量。
8.根據(jù)權(quán)利要求6所述的視頻信號(hào)處理設(shè)備， 其中，所述深度計(jì)算部分對(duì)于左眼圖像的每個(gè)塊的特征點(diǎn)存儲(chǔ)垂直方向上的帶通分量、水平方向上的帶通分量、左上像素的平均值、右上像素的平均值、左下像素的平均值、右下像素的平均值、塊中特征點(diǎn)的I坐標(biāo)以及塊中特征點(diǎn)的X坐標(biāo)，作為特征點(diǎn)數(shù)據(jù)； 在右眼圖像的每個(gè)塊的所有像素位置計(jì)算垂直方向上的帶通分量、水平方向上的帶通分量、左上像素的平均值、右上像素的平均值、左下像素的平均值、右下像素的平均值、塊的特征點(diǎn)的I坐標(biāo)，作為特征點(diǎn)數(shù)據(jù)；取在每個(gè)像素位置的特征點(diǎn)數(shù)據(jù)和在左眼圖像的相應(yīng)特征點(diǎn)的特征點(diǎn)數(shù)據(jù)的絕對(duì)值差的加權(quán)和作為每個(gè)像素位置的評(píng)估值； 獲得右眼圖像的每個(gè)塊中具有最小評(píng)估值的像素位置，作為與左眼圖像的特征點(diǎn)匹配的像素位置；以及 存儲(chǔ)在與每個(gè)塊中的左眼圖像的特征點(diǎn)匹配的右眼圖像的像素位置的深度量和頻帶分量。
9.根據(jù)權(quán)利要求7所述的視頻信號(hào)處理設(shè)備， 其中，所述深度計(jì)算部分根據(jù)深度量將每個(gè)塊分類為近視圖和遠(yuǎn)視圖；計(jì)算近視圖中塊的深度量和頻帶分量的平均值；以及計(jì)算遠(yuǎn)視圖中塊的深度量和頻帶分量的平均值。
10.根據(jù)權(quán)利要求9所述的視頻信號(hào)處理設(shè)備， 其中，所述深度計(jì)算部分通過計(jì)算近視圖塊中的深度量的平均值與遠(yuǎn)視圖塊中的深度量的平均值之差，來獲得立體圖像的近視圖與遠(yuǎn)視圖的深度量之差， 如果立體圖像的近視圖與遠(yuǎn)視圖的深度量之差大，則提高邊緣與細(xì)度增強(qiáng)的強(qiáng)度的權(quán)重，而如果立體圖像的近視圖與遠(yuǎn)視圖的深度量之差小，則降低邊緣與細(xì)度增強(qiáng)的強(qiáng)度的權(quán)重。
11.根據(jù)權(quán)利要求9所述的視頻信號(hào)處理設(shè)備， 其中，所述深度計(jì)算部分通過計(jì)算近視圖塊中的頻帶分量的平均值與遠(yuǎn)視圖塊中的頻帶分量的平均值之差，來獲得立體圖像的近視圖與遠(yuǎn)視圖的頻帶分量之差， 如果立體圖像的近視圖與遠(yuǎn)視圖的頻帶分量之差大，則提高邊緣與細(xì)度增強(qiáng)的強(qiáng)度的權(quán)重，而如果立體圖像的近視圖與遠(yuǎn)視圖的頻帶分量之差小，則降低邊緣與細(xì)度增強(qiáng)的強(qiáng)度的權(quán)重。
12.根據(jù)權(quán)利要求9所述的視頻信號(hào)處理設(shè)備， 其中，所述深度計(jì)算部分將根據(jù)平均深度量給出的權(quán)重和根據(jù)平均頻帶分量給出的權(quán)重組合，然后執(zhí)行低通濾波處理以獲得邊緣與細(xì)度增強(qiáng)的強(qiáng)度。
13.根據(jù)權(quán)利要求12所述的視頻信號(hào)處理設(shè)備，還包括幀間運(yùn)動(dòng)檢測(cè)部分，配置為檢測(cè)輸入圖像的幀間運(yùn)動(dòng)， 其中，如果幀間運(yùn)動(dòng)大，則所述深度計(jì)算部分以具有小時(shí)間常數(shù)的濾波系數(shù)執(zhí)行低通濾波處理，并且如果幀間運(yùn)動(dòng)小，則所述深度計(jì)算部分以具有大時(shí)間常數(shù)的濾波系數(shù)執(zhí)行低通濾波處理。
14.根據(jù)權(quán)利要求7所述的視頻信號(hào)處理設(shè)備， 其中，使左眼圖像的塊尺寸小于右眼圖像的塊尺寸。
15.ー種處理視頻信號(hào)的方法，包括 接收立體圖像的輸入； 執(zhí)行輸入立體圖像的深度計(jì)算；以及 根據(jù)執(zhí)行深度計(jì)算的深度計(jì)算結(jié)果以變化的立體圖像的邊緣與細(xì)度增強(qiáng)的強(qiáng)度處理邊緣與細(xì)度增強(qiáng)，從而執(zhí)行圖像質(zhì)量調(diào)節(jié)。
16.ー種由計(jì)算機(jī)可讀格式描述的用于使計(jì)算機(jī)執(zhí)行如下功能的計(jì)算機(jī)程序 視頻輸入部分，配置為接收立體圖像的輸入； 深度計(jì)算部分，配置為執(zhí)行輸入立體圖像的深度計(jì)算；以及 邊緣與細(xì)度增強(qiáng)處理部分，配置為根據(jù)深度計(jì)算部分的深度計(jì)算結(jié)果以變化的立體圖像的邊緣與細(xì)度增強(qiáng)的強(qiáng)度執(zhí)行圖像質(zhì)量調(diào)節(jié)。
全文摘要
本發(fā)明公開了視頻信號(hào)處理設(shè)備、視頻信號(hào)處理方法和計(jì)算機(jī)程序。該視頻信號(hào)處理設(shè)備包括視頻輸入部分，配置為接收立體圖像的輸入；深度計(jì)算部分，配置為執(zhí)行輸入立體圖像的深度計(jì)算；以及邊緣與細(xì)度增強(qiáng)處理部分，配置為根據(jù)深度計(jì)算部分的深度計(jì)算結(jié)果以變化的立體圖像的邊緣與細(xì)度增強(qiáng)的強(qiáng)度執(zhí)行圖像質(zhì)量調(diào)節(jié)。
文檔編號(hào)H04N5/208GK102957929SQ20121030005
公開日2013年3月6日 申請(qǐng)日期2012年8月22日 優(yōu)先權(quán)日2011年8月22日
發(fā)明者塚本信 申請(qǐng)人:索尼公司