欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

圖像處理裝置和方法、記錄介質(zhì)和程序的制作方法

文檔序號:2689918閱讀:163來源:國知局
專利名稱:圖像處理裝置和方法、記錄介質(zhì)和程序的制作方法
技術(shù)領(lǐng)域
本公開涉及圖像處理裝置和方法、記錄介質(zhì)和程序,具體而言涉及可用來控制多視點圖像的立體效果的圖像處理裝置和方法、記錄介質(zhì)和程序。
背景技術(shù)
迄今,已提出和開發(fā)了各種成像裝置。另外,已提出了如下的成像裝置:其對通過成像獲得的成像數(shù)據(jù)執(zhí)行預(yù)定的圖像處理,然后輸出成像數(shù)據(jù)。例如,已提出了采用所謂的“光場攝影”的成像裝置,其被稱為“光場相機(jī)”(例如參見2009-165115號日本未實審專利申請公布)。此成像裝置包括成像透鏡、微透鏡陣列、成像器件和圖像處理單元,其中具有單個開ロ的開ロ光圈被設(shè)于成像透鏡的中央部。由于此配置,由成像器件獲取的成像數(shù)據(jù)除了光接收面處的光的強(qiáng)度分布以外還包括光行進(jìn)方向的信息。該配置還允許了在圖像處理單元處重構(gòu)任何視野或焦點處的觀察圖像。對于微透鏡陣列設(shè)有多個微透鏡,其中向每個微透鏡指派了成像器件的多個像素。因此,例如,通過收集每ー個與每個微透鏡處于相同位置的像素的像素值,可以獲得通過執(zhí)行每ー個來自相同方向的入射光的光電轉(zhuǎn)換而獲得的圖像數(shù)據(jù)(即,來自ー個方向的圖像)。以相同的方式,通過根據(jù)像素值的位置管理像素值,可以獲得彼此不同的視點的多個圖像(即,多視點圖像)。

發(fā)明內(nèi)容
然而,在此情況下,多視點圖像的視差(parallax)量依從于成像透鏡的光圈的孔徑,以及指派給微透鏡的成像器件的像素的數(shù)目。因此,在利用這種成像裝置獲得的多視點圖像中,成像透鏡的大小的限制和分辨率的劣化的抑制導(dǎo)致了視差量的不足,因此充分大的視覺立體效果(深度感)是困難的。已發(fā)現(xiàn),希望使得能夠控制多視點圖像的立體效果,以獲得更適當(dāng)水平的立體效果。根據(jù)本公開的ー個實施例,ー種圖像處理裝置,包括:視點分離單元,被配置為將包括多個視點的圖像并且根據(jù)像素的位置和像素值表示光的強(qiáng)度分布和光的行進(jìn)方向的多視點圖像數(shù)據(jù)分離成各個視點中的每個視點的多個單視點圖像數(shù)據(jù);以及視差控制單元,被配置為控制通過由視點分離單元分離成各個視點而獲得的多個單視點圖像數(shù)據(jù)之間
的視差量。視差控制単元可通過向每個單視點圖像數(shù)據(jù)加上微分信號或從每個單視點圖像數(shù)據(jù)中減去微分信號來控制視差量,該微分信號是通過執(zhí)行單視點圖像數(shù)據(jù)的微分來獲得的。視差控制単元可檢測指示要控制的對象的視差量的差異(disparity),并且基于檢測到的差異,校正微分信號并且通過向每個單視點圖像數(shù)據(jù)加上校正后的微分信號或從每個單視點圖像數(shù)據(jù)中減去校正后的微分信號來控制視差量。
圖像處理裝置還可包括:超分辨率(super-resolution)處理單元,被配置為對通過由視點分離單元分離成各個視點而獲得的多個單視點圖像數(shù)據(jù)中的每ー個執(zhí)行將圖像分辨率提升到高分辨率的超分辨率處理;其中,視差控制單元控制分辨率被超分辨率處理單元提升到了高分辨率的多個單視點圖像數(shù)據(jù)之間的視差量。超分辨率處理單元可檢測每個視點之間的指示視差量的差異,并且利用檢測到的差異來執(zhí)行單視點圖像數(shù)據(jù)的超分辨率處理。視差控制単元可利用由超分辨率處理單元檢測到的差異來控制視差量。圖像處理裝置還可包括:噪聲降低處理單元,被配置為對分辨率被超分辨率處理單元提升到了高分辨率的多個單視點圖像數(shù)據(jù)中的每ー個執(zhí)行降低噪聲的噪聲降低處理;其中,視差控制單元控制被噪聲降低處理單元降低了噪聲的多個單視點圖像數(shù)據(jù)之間的視差量。噪聲降低處理單元可利用處理前后的圖像執(zhí)行運動檢測,利用檢測到的運動向量對處理后的圖像執(zhí)行運動補(bǔ)償,并且計算以下各項的算木平均:經(jīng)歷了運動補(bǔ)償?shù)奶幚砗蟮膱D像,以及處理前的圖像。噪聲降低處理單元可使用檢測到的運動向量來對多個單視點圖像數(shù)據(jù)中的每ー個執(zhí)行噪聲降低處理。圖像處理裝置還可包括:超分辨率和噪聲降低處理單元,被配置為對通過由視點分離單元分離成各個視點而獲得的多個單視點圖像數(shù)據(jù)中的每ー個執(zhí)行:將圖像的分辨率提升到高分辨率的超分辨率處理,以及降低噪聲的噪聲降低處理;其中,視差控制單元控制由超分辨率和噪聲降低處理單元將分辨率提升到了高分辨率并降低了噪聲的多個單視點圖像數(shù)據(jù)之間的視差量。超分辨率和噪聲降低處理單元可對多個單視點圖像數(shù)據(jù)的每個超分辨率處理結(jié)果執(zhí)行噪聲降低處理,并且利用噪聲降低處理結(jié)果執(zhí)行超分辨率處理。圖像處理裝置還可包括:初始圖像生成単元,被配置為利用要處理的關(guān)注幀的圖像和在關(guān)注幀之前處理的過去幀的圖像來生成初始圖像;其中,超分辨率和噪聲降低處理単元利用由初始圖像生成単元生成的初始圖像來執(zhí)行超分辨率處理。初始圖像生成単元可檢測關(guān)注幀的圖像和過去幀的圖像之間的運動,利用檢測到的運動向量來執(zhí)行過去幀的圖像的運動補(bǔ)償,并且利用經(jīng)歷了運動補(bǔ)償?shù)倪^去幀的圖像和關(guān)注幀的圖像來生成初始圖像。初始圖像生成単元可利用關(guān)注幀中的要處理的關(guān)注視點的圖像、過去幀中的關(guān)注視點的圖像和過去幀中的不是關(guān)注視點的另ー視點的圖像來生成初始圖像。圖像處理裝置還可包括:超分辨率處理單元,被配置為執(zhí)行單視點圖像數(shù)據(jù)的超分辨率處理以將圖像的分辨率提升到高分辨率;噪聲降低處理單元,被配置為執(zhí)行噪聲降低處理以降低分辨率已被超分辨率處理單元提升到高分辨率的單視點圖像數(shù)據(jù)的噪聲;以及圖像生成単元,被配置為利用噪聲已被噪聲降低處理單元降低的單視點圖像數(shù)據(jù)來生成多個單視點圖像數(shù)據(jù);其中,視差控制單元控制由圖像生成単元生成的多個單視點圖像數(shù)據(jù)之間的視差量。圖像處理裝置還可包括:初始圖像生成単元,被配置為利用要處理的關(guān)注幀的圖像和在關(guān)注幀之前處理的過去幀的圖像來生成初始圖像;其中,超分辨率處理單元利用由初始圖像生成単元生成的初始圖像來執(zhí)行超分辨率處理。圖像處理裝置還可包括:第一存儲單元,被配置為存儲通過由視點分離單元分離成各個視點而獲得的多個單視點圖像數(shù)據(jù);視點順次讀出單元,被配置為每次一個視點地讀出存儲在第一存儲單元中的多個單視點圖像數(shù)據(jù);超分辨率處理單元,被配置為執(zhí)行超分辨率處理以將從視點順次讀出單元讀出的單視點圖像數(shù)據(jù)的分辨率提升到高分辨率;噪聲降低處理單元,被配置為執(zhí)行噪聲降低處理以降低分辨率已被超分辨率處理單元提升到高分辨率的單視點圖像數(shù)據(jù)的噪聲;以及第ニ存儲單元,被配置為存儲噪聲已被噪聲降低處理單元降低的單視點圖像數(shù)據(jù);其中,視差控制單元控制存儲在第二存儲單元中的多個單視點圖像數(shù)據(jù)之間的視差量。根據(jù)本公開的ー個實施例,ー種圖像處理裝置的圖像處理方法包括:視點分離單元將包括多個視點的圖像并且根據(jù)像素的位置和像素值表示光的強(qiáng)度分布和光的行進(jìn)方向的多視點圖像數(shù)據(jù)分離成各個視點中的每個視點的多個單視點圖像數(shù)據(jù);以及視差控制單元控制通過分離成各個視點而獲得的多個單視點圖像數(shù)據(jù)之間的視差量。根據(jù)本公開的ー個實施例,一種計算機(jī)可讀記錄介質(zhì),其中記錄有程序,使得計算機(jī)具有作為以下単元的功能:視點分離單元,被配置為將包括多個視點的圖像并且根據(jù)像素的位置和像素值表示光的強(qiáng)度分布和光的行進(jìn)方向的多視點圖像數(shù)據(jù)分離成各個視點中的每個視點的多個單視點圖像數(shù)據(jù);以及視差控制單元,被配置為控制通過由視點分離単元分離成各個視點而獲得的多個單視點圖像數(shù)據(jù)之間的視差量。根據(jù)本公開的ー個實施例,一種程序使得計算機(jī)具有作為以下単元的功能:視點分離單元,被配置為將包括多個視點的圖像并且根據(jù)像素的位置和像素值表示光的強(qiáng)度分布和光的行進(jìn)方向的多視點圖像數(shù)據(jù)分離成各個視點中的每個視點的多個單視點圖像數(shù)據(jù);以及視差控制單元,被配置為控制通過由視點分離單元分離成各個視點而獲得的多個單視點圖像數(shù)據(jù)之間的視差量。根據(jù)本公開的ー個實施例,包括多個視點的圖像并且根據(jù)像素的位置和像素值表示光的強(qiáng)度分布和光的行進(jìn)方向的多視點圖像數(shù)據(jù)被分離成各個視點中的每個視點的多個單視點圖像數(shù)據(jù),并且通過分離成各個視點而獲得的多個單視點圖像數(shù)據(jù)之間的視差量被控制。根據(jù)本公開,可以處理圖像。特別地,可以控制多視點圖像的立體效果。


圖1是用于描述光場相機(jī)的配置示例的圖;圖2是用于描述生成多視點圖像的方式的示例的圖;圖3是示出圖像處理裝置的主要配置示例的框圖;圖4是示出SR(超分辨率)単元的主要配置示例的框圖;圖5是示出超分辨率處理單元的主要配置示例的框圖;圖6是示出超分辨率處理單元的主要配置示例的框圖;圖7是示出高頻估計単元的主要配置示例的框圖;圖8是示出圖像質(zhì)量控制單元的主要配置示例的框圖;圖9是示出NR(噪聲降低)單元的主要配置示例的框圖10是用于描述噪聲降低處理的流程的示例的流程圖;圖11是用于描述執(zhí)行噪聲降低處理的方式的示例的圖;圖12是示出圖像處理裝置的主要配置示例的框圖;圖13是用于描述視差增強(qiáng)的示例的圖;圖14是用于描述視差增強(qiáng)的示例的圖;圖15是示出視差增強(qiáng)單元的主要配置示例的框圖;圖16是用于描述視差增強(qiáng)的示例的圖;圖17是用于描述視差增強(qiáng)的示例的圖;圖18是用于描述圖像處理的流程的示例的流程圖;圖19是用于描述視差增強(qiáng)處理的流程的示例的流程圖;圖20是示出SR單元的主要配置示例的框圖;圖21是用于描述超分辨率處理的流程的示例的流程圖;圖22是示出圖像處理裝置的主要配置示例的框圖;圖23是用于描述圖像處理的流程的示例的流程圖;圖24是示出圖像處理裝置的主要配置示例的框圖;圖25是用于描述圖像處理的流程的示例的流程圖;圖26是示出圖像處理裝置的主要配置示例的框圖;圖27是用于描述圖像處理的流程的示例的流程圖;圖28是示出圖像處理裝置的主要配置示例的框圖;圖29是用于描述圖像處理的流程的示例的流程圖;圖30是示出圖像處理裝置的主要配置示例的框圖;圖31是示出SR-NR單元的主要配置示例的框圖;圖32是用于描述圖像處理的流程的示例的流程圖;圖33是用于描述SRNR處理的流程的示例的流程圖;圖34是示出圖像處理裝置的主要配置示例的框圖;圖35是用于描述圖像處理的流程的示例的流程圖;圖36是示出圖像處理裝置的主要配置示例的框圖;圖37是用于描述圖像處理的流程的示例的流程圖;圖38是示出圖像處理裝置的主要配置示例的框圖;圖39是用于描述圖像處理的流程的示例的流程圖;圖40是示出圖像處理裝置的主要配置示例的框圖;圖41是用于描述圖像處理的流程的示例的流程圖;圖42是示出圖像處理裝置的主要配置示例的框圖;圖43是用于描述圖像處理的流程的示例的流程圖;圖44是示出成像裝置的主要配置示例的框圖;并且圖45是示出個人計算機(jī)的主要配置示例的框圖。
具體實施例方式現(xiàn)在將描述用于實現(xiàn)本公開的實施例。描述將按以下順序進(jìn)行。
1.第一實施例(圖像處理裝置)2.第二實施例(成像裝置)3.第三實施例(個人計算機(jī))1.第一實施例光場相機(jī)首先,將對光場相機(jī)進(jìn)行描述。光場相機(jī)是使用例如2009-165115號日本未實審專利申請公布中描述的被稱為光場攝影的技術(shù)的成像裝置。如圖1中所示,光場相機(jī)例如包括主透鏡11、微透鏡陣列12和圖像傳感器13,該圖像傳感器13經(jīng)由主透鏡11和微透鏡陣列12接收入射光并且對其執(zhí)行光電轉(zhuǎn)換。如圖1中所示,微透鏡陣列12設(shè)在主透鏡11的焦點位置,并且圖像傳感器13設(shè)在微透鏡陣列12的焦點位置。微透鏡陣列12的微透鏡的每ー個是對圖像傳感器13的多個像素設(shè)置的。圖像傳感器13的像素群組與微透鏡陣列12之間的關(guān)系的示例在圖2的上側(cè)示出。在圖2中,每個方形表示圖像傳感器13的像素,并且圓圈表示微透鏡陣列12的微透鏡。例如,斜線指示的像素21表示設(shè)有藍(lán)色濾光器的藍(lán)像素(B),陰影指示的像素22表示設(shè)有綠色濾光器的綠像素(G),并且空白指示的像素23表示設(shè)有紅色濾光器的紅像素(R)。另外,在圖2中,圖像傳感器13被示為是垂直九個像素乘以水平十二個像素,并且微透鏡陣列12被示為由垂直三個、水平四個微透鏡構(gòu)成。當(dāng)然,可以適當(dāng)?shù)卮_定微透鏡陣列12具有的微透鏡的數(shù)目、圖像傳感器13的像素的數(shù)目和顏色濾光器的布置。在圖2的上側(cè)示出的示例的情況下,對于圖像傳感器13的每三乘三個像素(九個像素)指派ー個微透鏡。在圖2的示例中,與一個微透鏡相對應(yīng)的像素中的每ー個,即其上重疊了ー個圓圈的三乘三個像素中的每ー個,通過該微透鏡接收來自相互不同方向的入射光。也就是說,在圖2中的示例的情況下,來自九個方向的光被九個像素接收。對于與其他微透鏡相對應(yīng)的像素也是如此。由于這樣的配置,在由圖像傳感器13獲得的圖像數(shù)據(jù)圖像中包括九個視點的圖像。例如,如圖2中的箭頭31至34所指示,收集每個微透鏡中的相同位置處的像素的像素值,由此可以獲得通過執(zhí)行來自同一方向的入射光的光電轉(zhuǎn)換而獲得的圖像數(shù)據(jù)(即,一個特定方向的圖像)。在圖2中的示例的情況下,這種圖像處理(視點分離)使得能夠獲得各自具有不同視點的九個圖像,如圖2的下側(cè)所示。注意,與每個微透鏡相對應(yīng)的圖像傳感器13的像素的數(shù)目是任選的。也就是說,在圖像傳感器13中,獲得與對應(yīng)于每個微透鏡的像素的數(shù)目相等的數(shù)目的視點圖像。光場相機(jī)允許了容易地獲得成像圖像,該成像圖像包括多個視點的圖像,可在任選的定時被劃分成每個視點的圖像,并且從該成像圖像可提取期望視點的圖像。圖像處理裝置現(xiàn)在將描述根據(jù)從這種光場相機(jī)獲得的成像圖像(多視點圖像)生成可對其進(jìn)行3D顯示的圖像(右眼圖像和左眼圖像)的圖像處理。圖3是示出圖像處理裝置的主要配置示例的框圖。圖3中所示的圖像處理裝置50對例如參考圖1和2所描述的由光場相機(jī)成像并從光場相機(jī)獲得的成像圖像(多視點圖像)執(zhí)行圖像處理,并且生成用于立體顯示(所謂的3D顯示)的圖像(右眼圖像和左眼圖像)。如圖3中所示,圖像處理裝置50包括視點分離單元51、顯影單元52-1和顯影單元52-2、校正單元53-1和校正單元53-2、SR(超分辨率)單元54以及NR單元55_1和NR単元55-2。在以下描述中,在不必彼此區(qū)分顯影單元52-1和顯影單元52-2的情況下,它們將被簡稱為“顯影単元52”。另外,在不必彼此區(qū)分校正単元53-1和校正単元53-2的情況下,它們將被簡稱為“校正單元53”。此外,在不必彼此區(qū)分NR單元55-1和NR單元55_2的情況下,它們將被簡稱為“NR単元55”。視點分離單元51被輸入以例如以上所述的光場相機(jī)獲得的多視點成像圖像。例如,在光場相機(jī)中拍攝運動圖像,并且將運動圖像的幀圖像順次輸入到視點分離單元51。從這些輸入圖像,視點分離單元51生成用于立體顯示的右眼圖像和左眼圖像。例如,在光場相機(jī)中,像圖2的示例中那樣向每個微透鏡指派垂直三個像素乘水平三個像素,并且在輸入圖像中,也是垂直三個像素乘水平三個像素構(gòu)成ー個集合,并且每個集合由九個不同視點的圖像構(gòu)成。在此情況下,視點分離單元51從每個三像素乘三像素集合提取并收集中間層的左右像素,從而生成用于立體顯示的右眼圖像(視點R圖像)和左眼圖像(視點L圖像)。視點分離單元51將所生成的視點R圖像提供給顯影単元52-1,并且將視點L圖像提供給顯影単元52-2。在輸入圖像是運動圖像的幀圖像的情況下,視點分離單元51對每個幀圖像執(zhí)行上述處理。顯影單元52執(zhí)行用于將從視點分離單元51提供來的圖像數(shù)據(jù)(RAW數(shù)據(jù))轉(zhuǎn)換成根據(jù)預(yù)定標(biāo)準(zhǔn)的格式的顯影處理。顯影單元52-1對視點R圖像的數(shù)據(jù)進(jìn)行顯影并提供給校正単元53-1。顯影單元52-2對視點L圖像的數(shù)據(jù)進(jìn)行顯影并提供給校正単元53-2。在輸入圖像是運動圖像的幀圖像的情況下,顯影單元52對每個幀圖像執(zhí)行上述顯影處理。校正単元53使顯影的圖像數(shù)據(jù)經(jīng)歷任選的圖像校正,例如對曝光、亮度、對比度、飽和度、銳度等等的校正。校正単元53-1校正視點R圖像的數(shù)據(jù),并將其提供給SR単元54。校正単元53-2校正視點L圖像的數(shù)據(jù),并將其提供給SR単元54。在輸入圖像是運動圖像的幀圖像的情況下,校正単元53對每個幀圖像執(zhí)行上述校正處理。從圖2中的示例可以看出,經(jīng)歷了視點分離的圖像具有比成像圖像低的分辨率。也就是說,視點R圖像和視點L圖像是低分辨率圖像。因此,SR単元54對提供來的視點R圖像和視點L圖像執(zhí)行超分辨率處理,以使其分辨率是高分辨率。SR単元54通過利用多個幀圖像或者通過利用多視點的圖像(即,利用多個圖像)來使得視點R圖像和視點L圖像是高分辨率。SR単元54將分辨率已被提升到高分辨率的視點R圖像數(shù)據(jù)提供給NR單元55-1。另外,SR単元54將分辨率已被提升到高分辨率的視點L圖像數(shù)據(jù)提供給NR単元55-2。SR單元54對每個幀圖像執(zhí)行這種超分辨率處理。在光場相機(jī)的情況下,經(jīng)由微透鏡的光被輸入到每個像素,因此可能存在沒有接收到充分的光的像素。因此,由光場相機(jī)獲得的成像圖像傾向于具有更大量的噪聲。因此,NR単元55對分辨率已被提升到高分辨率的圖像執(zhí)行噪聲降低處理,以降低噪聲。NR単元55-1對視點R圖像數(shù)據(jù)執(zhí)行噪聲降低處理,并且輸出其處理結(jié)果(已經(jīng)歷了噪聲降低處理的視點R圖像的數(shù)據(jù))。NR単元55-2對視點L圖像數(shù)據(jù)執(zhí)行噪聲降低處理,并且輸出其處理結(jié)果(已經(jīng)歷了噪聲降低處理的視點L圖像的數(shù)據(jù))。在輸入圖像是運動圖像的幀圖像的情況下,NR単元55對每個幀圖像執(zhí)行上述噪聲降低處理。
SR 單元接下來,將描述SR單元54。圖4是示出SR單元54的主要配置示例的框圖。如圖4中所示,SR単元54包括執(zhí)行視點R圖像的數(shù)據(jù)的超分辨率處理的視點R超分辨率處理單元60-1,和執(zhí)行視點L圖像的數(shù)據(jù)的超分辨率處理的視點L超分辨率處理單元60-2。在以下描述中,在不必彼此區(qū)分視點R超分辨率處理單元60-1和視點L超分辨率處理單元60-2的情況下,它們將被簡稱為“超分辨率處理單元60”。如圖4中所示,SR単元54對兩個輸入的視點R圖像和視點L圖像執(zhí)行超分辨率處理,并輸出每個的處理結(jié)果(視點R處理結(jié)果和視點L處理結(jié)果)。雖然每個的處理是基本相同的,但視點R超分辨率處理單元60-1以視點R圖像作為初始圖像(標(biāo)準(zhǔn)圖像)執(zhí)行視點R超分辨率處理,而視點L超分辨率處理單元60-2以視點L圖像作為初始圖像(標(biāo)準(zhǔn)圖像)執(zhí)行超分辨率處理。超分辨率處理單元圖5是示出圖4中的超分辨率處理單元60的主要配置示例的框圖。如圖5中所示,超分辨率處理單元60具有或者更準(zhǔn)確地說是視點R超分辨率處理單元60-1和視點L超分辨率處理單元60-2中的每ー個具有初始圖像生成単元61、開關(guān)62、超分辨率處理單元63和收斂判定單元64。超分辨率處理單兀60被輸入以多個低分辨率圖像(gl,g2, , gn),并且輸出一個高分辨率圖像。這多個低分辨率圖像(gl,g2,...,gn)可以是要處理的關(guān)注視點處的當(dāng)前幀(關(guān)注幀)和從這個關(guān)注幀起的過去的幀(過去幀)的多個幀的圖像,或者可以是關(guān)注幀的包括關(guān)注視點在內(nèi)的多視點圖像。低分辨率圖像gl是關(guān)注幀中的關(guān)注視點的圖像。初始圖像生成単元61將低分辨率圖像gl設(shè)定為超分辨率處理結(jié)果的初始值(初始圖像)并將其存儲。開關(guān)62切換提供到超分辨率處理單元63的圖像的提供源。在超分辨率處理單元63中,重復(fù)執(zhí)行相同的處理,其中開關(guān)62只在第一次執(zhí)行時將初始圖像生成單元61的輸出連接到超分辨率處理單元63,并且在所有其他次將收斂判定單元64的輸出連接到超分辨率處理單元63。也就是說,在初始圖像生成単元61處設(shè)定的初始圖像(即,低分辨率圖像gl)只在超分辨率處理單元63處的重復(fù)處理中的第一次時被提供到超分辨率處理單元63,而從第二次起,來自前次的處理結(jié)果被提供到超分辨率處理單元63。超分辨率處理單元63使用n個低分辨率圖像gl、g2等等直到gn,并且還使用用戶設(shè)定值a,來執(zhí)行從開關(guān)62提供來的圖像的超分辨率處理,并將其處理結(jié)果(高分辨率圖像)提供給收斂判定単元64。收斂判定単元64判定對于從超分辨率處理單元63提供來的超分辨率處理結(jié)果(高分辨率圖像)是否執(zhí)行了充分的收斂。在判定已對超分辨率處理結(jié)果執(zhí)行了充分的收斂的情況下,收斂判定単元64將超分辨率處理結(jié)果(高分辨率圖像)輸出到外部,并且停止處理。另外,在判定尚未執(zhí)行充分的收斂的情況下,收斂判定単元64將超分辨率處理結(jié)果(高分辨率圖像)提供給開關(guān)62。在此情況下,超分辨率處理單元63對來自前次的處理結(jié)果(高分辨率圖像)執(zhí)行超分辨率處理。超分辨率處理單元圖6是示出圖5中的超分辨率處理單元63的主要配置示例的框圖。如圖6中所示,超分辨率處理單元63包括高頻估計單元71-1至高頻估計單元71-n,以及加法單元72、圖像質(zhì)量控制單元73、乘法器74、加法単元75、比例計算單元76、乘法器77以及減法単元78。在以下描述中,在不必彼此區(qū)分高頻估計單元71-1至高頻估計單元71-n的情況下,它們將被簡稱為“高頻估計單元71”。高頻估計單元71-1至高頻估計單元71-n的姆ー個利用低分辨率圖像gl至gn中的與其自身相對應(yīng)的圖像以及從開關(guān)62提供來的重構(gòu)中途結(jié)果的圖像(包括初始圖像),執(zhí)行用于恢復(fù)圖像的高頻成分的校正值的計算。例如,高頻估計単元71-1利用重構(gòu)中途結(jié)果的圖像(包括初始圖像)和低分辨率圖像gl計算校正值。高頻估計単元71-2利用重構(gòu)中途結(jié)果的圖像(包括初始圖像)和低分辨率圖像g2計算校正值。高頻估計単元71-n利用重構(gòu)中途結(jié)果的圖像(包括初始圖像)和低分辨率圖像gn計算校正值。高頻估計単元71-1至高頻估計単元71-n將其各自的處理結(jié)果提供給加法単元72。加法単元72將高頻估計單元71-1至高頻估計単元71-n的處理結(jié)果相加,并將其提供給加法単元75。圖像質(zhì)量控制單元73使用從開關(guān)62提供來的重構(gòu)中途結(jié)果的圖像(包括初始圖像)來計算用于像素值的控制值,以實現(xiàn)基于圖像的先驗概率模型的理想圖像。圖像質(zhì)量控制單元73將處理結(jié)果提供給乘法器74。乘法器74將圖像質(zhì)量控制単元73的輸出乘以用戶設(shè)定值a。乘以用戶設(shè)定值a使得用戶可以任意地控制圖像的最終圖像質(zhì)量。注意,可以作出布置,其中乘以預(yù)定的固定值而不是用戶設(shè)定值a,另外可以完全省略此乘法。乘法器74將乘法結(jié)果提供給加法単元75。加法單元75將從乘法器74提供來的乘法結(jié)果與從加法單元72提供來的加法結(jié)果相加。加法単元75將此加法結(jié)果提供給比例計算單元76和乘法器77。比例計算單元76利用從開關(guān)62提供來的重構(gòu)中途結(jié)果的圖像(包括初始圖像)和從加法単元75提供來的像素值控制信號(控制值),來確定用于最終控制值的比例值。比例計算單元76將所確定的比例值提供給乘法器77。乘法器77將從加法単元75提供來的像素值控制信號(控制值)乘以從比例計算単元76提供來的比例值,并將乘法結(jié)果提供給減法単元78。減法單元78從從開關(guān)62提供來的重構(gòu)中途結(jié)果的圖像(包括初始圖像)中減去從乘法器77提供來的乘法結(jié)果,并將減法結(jié)果提供給收斂判定単元64。高頻估計單元收斂判定単元64(圖5)判定例如以下式(I)中的超分辨率收斂式是否成立。也就是說,超分辨率處理單元63 (圖5)計算以下式(I)的右側(cè)。
權(quán)利要求
1.ー種圖像處理裝置,包括: 視點分離單元,被配置為將包括多視點的圖像并且根據(jù)各像素的位置和像素值表示光的強(qiáng)度分布和光的行進(jìn)方向的多視點圖像數(shù)據(jù)分離成各個視點中的每個視點的多個單視點圖像數(shù)據(jù);以及 視差控制単元,被配置為控制通過由所述視點分離單元分離成各個視點而獲得的多個單視點圖像數(shù)據(jù)之間的視差量。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置,其中,所述視差控制單元通過向每個單視點圖像數(shù)據(jù)加上微分信號或從每個單視點圖像數(shù)據(jù)中減去微分信號來控制所述視差量,該微分信號是通過執(zhí)行單視點圖像數(shù)據(jù)的微分來獲得的。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置,其中,所述視差控制單元 檢測指示要控制的對象的視差量的差異,并且 基于檢測到的差異,校正所述微分信號并且通過向每個單視點圖像數(shù)據(jù)加上校正后的微分信號或從每個單視 點圖像數(shù)據(jù)中減去校正后的微分信號來控制所述視差量。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置,還包括: 超分辨率處理單元,被配置為對通過由所述視點分離單元分離成各個視點而獲得的多個單視點圖像數(shù)據(jù)中的每ー個執(zhí)行將圖像分辨率提升到高分辨率的超分辨率處理; 其中,所述視差控制單元控制分辨率被所述超分辨率處理單元提升到了高分辨率的多個單視點圖像數(shù)據(jù)之間的視差量。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置,其中,所述超分辨率處理單元檢測每個視點之間的指示視差量的差異,并且利用檢測到的差異來執(zhí)行單視點圖像數(shù)據(jù)的超分辨率處理。
6.根據(jù)權(quán)利要求5所述的圖像處理裝置,其中,所述視差控制單元利用由所述超分辨率處理單元檢測到的差異來控制所述視差量。
7.根據(jù)權(quán)利要求4所述的圖像處理裝置,還包括: 噪聲降低處理單元,被配置為對分辨率被所述超分辨率處理單元提升到了高分辨率的多個單視點圖像數(shù)據(jù)中的每ー個執(zhí)行降低噪聲的噪聲降低處理; 其中,所述視差控制單元控制被所述噪聲降低處理單元降低了噪聲的多個單視點圖像數(shù)據(jù)之間的視差量。
8.根據(jù)權(quán)利要求7所述的圖像處理裝置,其中,所述噪聲降低處理單元 利用處理前后的圖像執(zhí)行運動檢測, 利用檢測到的運動向量對處理后的圖像執(zhí)行運動補(bǔ)償,并且 計算以下各項的算木平均: 經(jīng)歷了運動補(bǔ)償?shù)奶幚砗蟮膱D像,以及 處理前的圖像。
9.根據(jù)權(quán)利要求8所述的圖像處理裝置,其中,所述噪聲降低處理單元使用檢測到的運動向量來對多個所述單視點圖像數(shù)據(jù)中的每ー個執(zhí)行噪聲降低處理。
10.根據(jù)權(quán)利要求1所述的圖像處理裝置,還包括: 超分辨率和噪聲降低處理單元,被配置為對通過由所述視點分離單元分離成各個視點而獲得的多個單視點圖像數(shù)據(jù)中的每ー個執(zhí)行:將圖像的分辨率提升到高分辨率的超分辨率處理,以及 降低噪聲的噪聲降低處理; 其中,所述視差控制單元控制由所述超分辨率和噪聲降低處理單元將分辨率提升到了高分辨率并降低了噪聲的多個單視點圖像數(shù)據(jù)之間的視差量。
11.根據(jù)權(quán)利要求10所述的圖像處理裝置,其中,所述超分辨率和噪聲降低處理單元 對多個所述單視點圖像數(shù)據(jù)的每個超分辨率處理結(jié)果執(zhí)行噪聲降低處理,并且 利用噪聲降低處理結(jié)果執(zhí)行超分辨率處理。
12.根據(jù)權(quán)利要求10所述的圖像處理裝置,還包括: 初始圖像生成単元,被配置為利用要處理的關(guān)注幀的圖像和在關(guān)注幀之前處理的過去幀的圖像來生成初始圖像; 其中,所述超分辨率和噪聲降低處理單元利用由所述初始圖像生成単元生成的初始圖像來執(zhí)行超分辨率處理。
13.根據(jù)權(quán)利要求12所述的圖像處理裝置,其中,所述初始圖像生成単元 檢測所述關(guān)注幀的圖像和所述過去幀的圖像之間的運動, 利用檢測到的運動向量來執(zhí)行所述過去幀的圖像的運動補(bǔ)償,并且 利用經(jīng)歷了運動補(bǔ)償?shù)倪^去幀的圖像和所述關(guān)注幀的圖像來生成所述初始圖像。
14.根據(jù)權(quán)利要求12所述的圖像處理裝置,其中,所述初始圖像生成単元利用所述關(guān)注幀中的要處理的關(guān)注視點的圖像、所述過去幀中的所述關(guān)注視點的圖像和所述過去幀中的不是所述關(guān)注視點的另ー視點的圖像來生成所述初始圖像。
15.根據(jù)權(quán)利要求1所述的圖像處理裝置,還包括: 超分辨率處理單元,被配置為執(zhí)行單視點圖像數(shù)據(jù)的超分辨率處理以將圖像的分辨率提升到高分辨率; 噪聲降低處理單元,被配置為執(zhí)行噪聲降低處理以降低分辨率已被所述超分辨率處理單元提升到高分辨率的單視點圖像數(shù)據(jù)的噪聲;以及 圖像生成単元,被配置為利用噪聲已被所述噪聲降低處理單元降低的單視點圖像數(shù)據(jù)來生成多個所述單視點圖像數(shù)據(jù); 其中,所述視差控制單元控制由所述圖像生成単元生成的多個單視點圖像數(shù)據(jù)之間的視差量。
16.根據(jù)權(quán)利要求15所述的圖像處理裝置,還包括: 初始圖像生成単元,被配置為利用要處理的關(guān)注幀的圖像和在關(guān)注幀之前處理的過去幀的圖像來生成初始圖像; 其中,所述超分辨率處理單元利用由所述初始圖像生成単元生成的初始圖像來執(zhí)行超分辨率處理。
17.根據(jù)權(quán)利要求1所述的圖像處理裝置,還包括: 第一存儲單元,被配置為存儲通過由所述視點分離單元分離成各個視點而獲得的多個單視點圖像數(shù)據(jù); 視點順次讀出單元,被配置為每次一個視點地讀出存儲在所述第一存儲單元中的多個單視點圖像數(shù)據(jù); 超分辨率處理單元,被配置為執(zhí)行超分辨率處理以將從所述視點順次讀出單元讀出的單視點圖像數(shù)據(jù)的分辨率提升到高分辨率; 噪聲降低處理單元,被配置為執(zhí)行噪聲降低處理以降低分辨率已被所述超分辨率處理單元提升到高分辨率的單視點圖像數(shù)據(jù)的噪聲;以及 第二存儲單元,被配置為存儲噪聲已被所述噪聲降低處理單元降低的單視點圖像數(shù)據(jù); 其中,所述視差控制單元控制存儲在所述第二存儲單元中的多個單視點圖像數(shù)據(jù)之間的視差量。
18.ー種圖像處理裝置的圖像處理方法,該方法包括: 視點分離單元將包括多視點的圖像并且根據(jù)各像素的位置和像素值表示光的強(qiáng)度分布和光的行進(jìn)方向的多視點圖像數(shù)據(jù)分離成各個視點中的每個視點的多個單視點圖像數(shù)據(jù);以及 視差控制單元控制通過分離成各個視點而獲得的多個單視點圖像數(shù)據(jù)之間的視差量。
19.一種計算機(jī)可讀記錄介質(zhì),其中記錄有程序以使得計算機(jī)具有作為以下単元的功倉泛: 視點分離單元,被配置為將包括多視點的圖像并且根據(jù)各像素的位置和像素值表示光的強(qiáng)度分布和光的行進(jìn)方向的多視點圖像數(shù)據(jù)分離成各個視點中的每個視點的多個單視點圖像數(shù)據(jù);以及 視差控制単元,被配置為控制通過由所述視點分離單元分離成各個視點而獲得的多個單視點圖像數(shù)據(jù)之間的視差量。
20.ー種程序,使得計算機(jī)具有作為以下単元的功能: 視點分離單元,被配置為將包括多視點的圖像并且根據(jù)各像素的位置和像素值表示光的強(qiáng)度分布和光的行進(jìn)方向的多視點圖像數(shù)據(jù)分離成各個視點中的每個視點的多個單視點圖像數(shù)據(jù);以及 視差控制単元,被配置為控制通過由所述視點分離單元分離成各個視點而獲得的多個單視點圖像數(shù)據(jù)之間的視差量。
全文摘要
本發(fā)明公開了圖像處理裝置和方法、記錄介質(zhì)和程序。一種圖像處理裝置包括視點分離單元,被配置為將包括多視點的圖像并且根據(jù)各像素的位置和像素值表示光的強(qiáng)度分布和光的行進(jìn)方向的多視點圖像數(shù)據(jù)分離成各個視點中的每個視點的多個單視點圖像數(shù)據(jù);以及視差控制單元,被配置為控制通過由視點分離單元分離成各個視點而獲得的多個單視點圖像數(shù)據(jù)之間的視差量。
文檔編號G02B27/22GK103139587SQ20121047766
公開日2013年6月5日 申請日期2012年11月21日 優(yōu)先權(quán)日2011年11月28日
發(fā)明者名云武文, 村山淳, 山崎壽夫, 玉山研 申請人:索尼公司
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
大洼县| 宕昌县| 霸州市| 灵台县| 体育| 伊金霍洛旗| 朝阳市| 黑水县| 苏尼特右旗| 阳山县| 前郭尔| 团风县| 天峨县| 弋阳县| 荔浦县| 洞口县| 上饶市| 太谷县| 屯留县| 连州市| 阿拉尔市| 安岳县| 紫金县| 黔江区| 登封市| 山阴县| 乌兰察布市| 金秀| 偏关县| 德格县| 游戏| 双江| 桐梓县| 阿合奇县| 大洼县| 赫章县| 连州市| 都兰县| 襄城县| 芒康县| 黄浦区|