本發(fā)明涉及進(jìn)行明亮度不同的圖像信號(hào)的合成處理的圖像處理裝置和攝像系統(tǒng)。

背景技術(shù)：

近年來(lái)，公知有如下技術(shù)：在通過(guò)對(duì)明亮度(曝光量)不同的輸入圖像進(jìn)行合成而生成擴(kuò)大了動(dòng)態(tài)范圍的圖像即hdr(highdynamicrange：高動(dòng)態(tài)范圍)圖像后，對(duì)該hdr圖像實(shí)施灰度壓縮處理，生成監(jiān)視器中能夠顯示的灰度壓縮圖像(例如參照專利文獻(xiàn)1)。

現(xiàn)有技術(shù)文獻(xiàn)

專利文獻(xiàn)

專利文獻(xiàn)1：日本特表2012-513172號(hào)公報(bào)

技術(shù)實(shí)現(xiàn)要素：

發(fā)明要解決的課題

但是，在專利文獻(xiàn)1公開的現(xiàn)有的灰度壓縮處理中，相對(duì)于輸入圖像的顏色再現(xiàn)性較低。特別是在醫(yī)學(xué)診斷中，根據(jù)患部的色調(diào)來(lái)進(jìn)行診斷，所以，當(dāng)監(jiān)視器中顯示的灰度壓縮圖像的色調(diào)與由內(nèi)窺鏡得到的輸入圖像的色調(diào)不同時(shí)，診斷結(jié)果可能不同。

本發(fā)明是鑒于上述情況而完成的，其目的在于，提供在對(duì)明亮度不同的輸入圖像進(jìn)行了合成、灰度壓縮的情況下也能夠抑制灰度壓縮圖像相對(duì)于輸入圖像的顏色再現(xiàn)性降低的圖像處理裝置和攝像系統(tǒng)。

用于解決課題的手段

為了解決上述課題并實(shí)現(xiàn)目的，本發(fā)明的圖像處理裝置的特征在于，所述圖像處理裝置具有：hdr圖像生成部，其對(duì)分別包含曝光量不同的第1圖像數(shù)據(jù)和第2圖像數(shù)據(jù)在內(nèi)的第1信號(hào)和第2信號(hào)進(jìn)行高動(dòng)態(tài)范圍合成，生成hdr圖像信號(hào)；灰度壓縮部，其對(duì)由所述hdr圖像生成部生成的hdr圖像信號(hào)實(shí)施灰度壓縮處理，由此生成顯示用的第1灰度壓縮圖像信號(hào)；以及顏色校正部，其根據(jù)所述第1信號(hào)和第2信號(hào)以及所述第1灰度壓縮圖像信號(hào)實(shí)施顏色校正，由此生成第2灰度壓縮圖像信號(hào)。

并且，本發(fā)明的攝像系統(tǒng)的特征在于，所述攝像系統(tǒng)具有：攝像裝置，其具有對(duì)來(lái)自外部的光進(jìn)行光電轉(zhuǎn)換的多個(gè)像素，生成曝光量不同的第1攝像信號(hào)和第2攝像信號(hào)；hdr圖像生成部，其對(duì)所述第1攝像信號(hào)和第2攝像信號(hào)進(jìn)行高動(dòng)態(tài)范圍合成，生成hdr圖像信號(hào)；灰度壓縮部，其對(duì)由所述hdr圖像生成部生成的hdr圖像信號(hào)實(shí)施灰度壓縮處理，由此生成顯示用的第1灰度壓縮圖像信號(hào)；以及顏色校正部，其根據(jù)所述第1攝像信號(hào)和第2攝像信號(hào)以及所述第1灰度壓縮圖像信號(hào)實(shí)施顏色校正，由此生成第2灰度壓縮圖像信號(hào)。

并且，本發(fā)明的攝像系統(tǒng)的特征在于，在上述發(fā)明中，所述hdr圖像生成部根據(jù)對(duì)所述第1攝像信號(hào)的像素值乘以大于0且小于1的第1系數(shù)而得到的值以及對(duì)所述第2攝像信號(hào)的像素值乘以與所述第1系數(shù)之和為1的第2系數(shù)而得到的值，生成所述hdr圖像信號(hào)，所述顏色校正部根據(jù)所述第1攝像信號(hào)和第2攝像信號(hào)、所述第1灰度壓縮圖像信號(hào)以及所述第1系數(shù)和第2系數(shù)，生成所述第2灰度壓縮圖像信號(hào)。

并且，本發(fā)明的攝像系統(tǒng)的特征在于，在上述發(fā)明中，所述顏色校正部具有：增益圖計(jì)算部，其通過(guò)對(duì)所述第1系數(shù)乘以所述第1灰度壓縮圖像信號(hào)的代表值相對(duì)于所述第1攝像信號(hào)的代表值的比，計(jì)算第1增益值，并且，通過(guò)對(duì)所述第2系數(shù)乘以所述第1灰度壓縮圖像信號(hào)的代表值相對(duì)于所述第2攝像信號(hào)的代表值的比，計(jì)算第2增益值，由此計(jì)算與像素位置對(duì)應(yīng)的增益圖；以及再合成處理部，其根據(jù)所述增益圖計(jì)算部計(jì)算出的所述增益圖對(duì)所述第1攝像信號(hào)和第2攝像信號(hào)再次進(jìn)行高動(dòng)態(tài)范圍合成，由此生成所述第2灰度壓縮圖像信號(hào)。

并且，本發(fā)明的攝像系統(tǒng)的特征在于，在上述發(fā)明中，所述攝像系統(tǒng)還具有射出照明光的光源裝置，所述第1攝像信號(hào)是對(duì)以第1照明強(qiáng)度被照明的被攝體進(jìn)行攝像而得到的攝像信號(hào)，所述第2攝像信號(hào)是對(duì)以與第1照明強(qiáng)度不同的第2照明強(qiáng)度被照明的被攝體進(jìn)行攝像而得到的攝像信號(hào)。

發(fā)明效果

根據(jù)本發(fā)明，發(fā)揮在對(duì)明亮度不同的輸入圖像進(jìn)行了合成、灰度壓縮的情況下也能夠抑制灰度壓縮圖像相對(duì)于輸入圖像的顏色再現(xiàn)性降低這樣的效果。

附圖說(shuō)明

圖1是示出本發(fā)明的一個(gè)實(shí)施方式的內(nèi)窺鏡系統(tǒng)的概略結(jié)構(gòu)的圖。

圖2是示出本發(fā)明的一個(gè)實(shí)施方式的內(nèi)窺鏡系統(tǒng)的概略結(jié)構(gòu)的框圖。

圖3是說(shuō)明基于本發(fā)明的一個(gè)實(shí)施方式的內(nèi)窺鏡系統(tǒng)的圖像生成的示意圖。

具體實(shí)施方式

下面，對(duì)用于實(shí)施本發(fā)明的方式(以下稱為“實(shí)施方式”)進(jìn)行說(shuō)明。在實(shí)施方式中，作為包含本發(fā)明的圖像處理裝置的攝像系統(tǒng)的一例，說(shuō)明對(duì)患者等被檢體內(nèi)的圖像進(jìn)行攝像并顯示的醫(yī)療用的內(nèi)窺鏡系統(tǒng)。并且，本發(fā)明不由該實(shí)施方式限定。并且，在附圖的記載中，對(duì)相同部分標(biāo)注相同標(biāo)號(hào)進(jìn)行說(shuō)明。

圖1是示出本發(fā)明的一個(gè)實(shí)施方式的內(nèi)窺鏡系統(tǒng)的概略結(jié)構(gòu)的圖。圖2是示出本實(shí)施方式的內(nèi)窺鏡系統(tǒng)的概略結(jié)構(gòu)的框圖。

圖1和圖2所示的內(nèi)窺鏡系統(tǒng)1具有：內(nèi)窺鏡2，其通過(guò)將前端部插入到被檢體內(nèi)，拍攝被檢體的體內(nèi)圖像；光源裝置3，其產(chǎn)生從內(nèi)窺鏡2的前端射出的照明光；處理裝置4，其對(duì)內(nèi)窺鏡2進(jìn)行攝像而得到的攝像信號(hào)實(shí)施規(guī)定的信號(hào)處理，并且對(duì)內(nèi)窺鏡系統(tǒng)1整體的動(dòng)作進(jìn)行總括控制；以及顯示裝置5，其顯示通過(guò)處理裝置4的信號(hào)處理而生成的體內(nèi)圖像。

內(nèi)窺鏡2具有：插入部21，其具有撓性且呈細(xì)長(zhǎng)形狀；操作部22，其與插入部21的基端側(cè)連接，受理各種操作信號(hào)的輸入；以及通用軟線23，其從操作部22向與插入部21延伸的方向不同的方向延伸，內(nèi)置有與光源裝置3和處理裝置4連接的各種纜線。

插入部21具有：前端部24，其內(nèi)置有攝像元件244(攝像裝置)，該攝像元件中呈二維狀排列有接收光并進(jìn)行光電轉(zhuǎn)換而生成信號(hào)的像素；彎曲自如的彎曲部25，其由多個(gè)彎曲塊構(gòu)成；具有撓性的長(zhǎng)條狀的撓性管部26，其與彎曲部25的基端側(cè)連接。插入部21被插入到被檢體的體腔內(nèi)，通過(guò)攝像元件244對(duì)位于外光無(wú)法到達(dá)的位置的活體組織等被攝體進(jìn)行攝像。

前端部24具有：光導(dǎo)241，其使用玻璃纖維等構(gòu)成，成為光源裝置3發(fā)出的光的導(dǎo)光路；照明透鏡242，其設(shè)置在光導(dǎo)241的前端；會(huì)聚用的光學(xué)系統(tǒng)243；以及攝像元件244，其設(shè)置在光學(xué)系統(tǒng)243的成像位置，接收光學(xué)系統(tǒng)243會(huì)聚后的光并將其光電轉(zhuǎn)換為電信號(hào)，實(shí)施規(guī)定的信號(hào)處理。

光學(xué)系統(tǒng)243使用一個(gè)或多個(gè)透鏡構(gòu)成，具有使視場(chǎng)角變化的光學(xué)變焦功能和使焦點(diǎn)變化的對(duì)焦功能。

攝像元件244對(duì)來(lái)自光學(xué)系統(tǒng)243的光進(jìn)行光電轉(zhuǎn)換，生成電信號(hào)(攝像信號(hào))。具體而言，攝像元件244具有：受光部244a，其呈矩陣狀排列有多個(gè)像素，該多個(gè)像素分別具有蓄積與光量對(duì)應(yīng)的電荷的光電二極管或?qū)墓怆姸O管傳輸?shù)碾姾赊D(zhuǎn)換為電壓電平的電容器等，各像素對(duì)來(lái)自光學(xué)系統(tǒng)243的光進(jìn)行光電轉(zhuǎn)換而生成電信號(hào)；以及讀出部244b，其依次讀出受光部244a的多個(gè)像素中的任意設(shè)定為讀出對(duì)象的像素生成的電信號(hào)，作為攝像信號(hào)進(jìn)行輸出。攝像元件244根據(jù)從處理裝置4接收到的驅(qū)動(dòng)信號(hào)對(duì)前端部24的各種動(dòng)作進(jìn)行控制。攝像元件244例如使用ccd(chargecoupleddevice：電荷耦合器件)圖像傳感器或cmos(complementarymetaloxidesemiconductor：互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器實(shí)現(xiàn)。

操作部22具有：彎曲旋鈕221，其使彎曲部25向上下方向和左右方向彎曲；處置器具插入部222，其將活體鉗子、電刀和檢查探針等處置器具插入到被檢體的體腔內(nèi)；以及作為操作輸入部的多個(gè)開關(guān)223，其除了輸入處理裝置4、光源裝置3的操作指示信號(hào)以外，還輸入送氣單元、送水單元、畫面顯示控制等周邊設(shè)備的操作指示信號(hào)。從處置器具插入部222插入的處置器具經(jīng)由前端部24的處置器具通道(未圖示)而從開口部(未圖示)露出。

通用軟線23至少內(nèi)置有光導(dǎo)241和匯集一個(gè)或多個(gè)信號(hào)線而得到的集合纜線245。集合纜線245包含用于傳送攝像信號(hào)的信號(hào)線、用于傳送對(duì)攝像元件244進(jìn)行驅(qū)動(dòng)的驅(qū)動(dòng)信號(hào)的信號(hào)線、用于發(fā)送接收包含與內(nèi)窺鏡2(攝像元件244)有關(guān)的固有信息等在內(nèi)的信息的信號(hào)線。

接著，對(duì)光源裝置3的結(jié)構(gòu)進(jìn)行說(shuō)明。光源裝置3具有照明部31和照明控制部32。照明部31在照明控制部32的控制下，針對(duì)被攝體(被檢體)依次切換并射出不同曝光量的照明光。照明部31具有光源31a和光源驅(qū)動(dòng)器31b。

光源31a使用射出白色光的led光源和一個(gè)或多個(gè)透鏡等構(gòu)成，通過(guò)led光源的驅(qū)動(dòng)而射出光(照明光)。光源31a產(chǎn)生的照明光經(jīng)由光導(dǎo)241而從前端部24的前端朝向被攝體射出。另外，光源31a也可以使用紅色led光源、綠色led光源和藍(lán)色led光源構(gòu)成，通過(guò)從任意光源射出光，來(lái)射出具有紅色光、綠色光和藍(lán)色光中的任意波段的光作為照明光。

光源驅(qū)動(dòng)器31b在照明控制部32的控制下，對(duì)光源31a供給電流，由此使光源31a射出照明光。

照明控制部32根據(jù)來(lái)自處理裝置4的控制信號(hào)，對(duì)向光源31a供給的電力量進(jìn)行控制，并且對(duì)光源31a的驅(qū)動(dòng)定時(shí)進(jìn)行控制。通過(guò)照明控制部32的控制，照明部31通過(guò)以第1曝光量進(jìn)行曝光的第1曝光處理以及以與第1曝光量不同的第2曝光量進(jìn)行曝光的第2曝光處理，分別對(duì)被攝體進(jìn)行曝光。在本實(shí)施方式中，設(shè)第1曝光量大于第2曝光量來(lái)進(jìn)行說(shuō)明。照明控制部32例如通過(guò)使照明光的照明強(qiáng)度變化，來(lái)調(diào)整曝光量。

接著，對(duì)處理裝置4的結(jié)構(gòu)進(jìn)行說(shuō)明。處理裝置4具有攝像信號(hào)取得部41、hdr(highdynamicrange：高動(dòng)態(tài)范圍)圖像生成部42、灰度壓縮部43、顏色校正部44、輸入部45、存儲(chǔ)部46、控制部47。另外，通過(guò)hdr圖像生成部42、灰度壓縮部43和顏色校正部44構(gòu)成圖像處理裝置。

攝像信號(hào)取得部41從內(nèi)窺鏡2接收攝像元件244輸出的攝像信號(hào)。圖3是說(shuō)明基于本實(shí)施方式的內(nèi)窺鏡系統(tǒng)的圖像生成的示意圖。攝像信號(hào)取得部41對(duì)所取得的攝像信號(hào)實(shí)施噪聲去除、a/d轉(zhuǎn)換、同時(shí)化處理(例如在使用濾色器等得到每個(gè)顏色成分的攝像信號(hào)的情況下進(jìn)行)等信號(hào)處理，生成包含輸入圖像(圖像數(shù)據(jù))的攝像信號(hào)。攝像信號(hào)取得部41生成通過(guò)第1曝光處理即長(zhǎng)曝光處理得到的長(zhǎng)曝光圖像pl1～pl3以及通過(guò)第2曝光處理即短曝光處理得到的短曝光圖像ps1、ps2作為輸入圖像，并且將所生成的輸入圖像存儲(chǔ)在存儲(chǔ)部46中。各輸入圖像是通過(guò)信號(hào)處理而賦予了紅色(r)、綠色(g)和藍(lán)色(b)的顏色成分的圖像。在圖3中，設(shè)攝像信號(hào)取得部41按照長(zhǎng)曝光圖像pl1、短曝光圖像ps1、長(zhǎng)曝光圖像pl2、短曝光圖像ps2、長(zhǎng)曝光圖像pl3的順序取得圖像來(lái)進(jìn)行說(shuō)明。

攝像信號(hào)取得部41將最新幀的攝像信號(hào)和存儲(chǔ)在存儲(chǔ)部46中的最新幀的前1幀的攝像信號(hào)輸出到hdr圖像生成部42和顏色校正部44。在本實(shí)施方式中，攝像信號(hào)取得部41將包含以第1曝光量進(jìn)行攝像而得到的長(zhǎng)曝光圖像(第1圖像數(shù)據(jù))在內(nèi)的第1攝像信號(hào)和包含以第2曝光量進(jìn)行攝像而得到的短曝光圖像(第2圖像數(shù)據(jù))在內(nèi)的第2攝像信號(hào)輸出到hdr圖像生成部42和顏色校正部44，該第2攝像信號(hào)是第1攝像信號(hào)之前或之后的幀的攝像信號(hào)。關(guān)于長(zhǎng)曝光圖像和短曝光圖像，在一方是輸入圖像的情況下，另一方成為存儲(chǔ)在存儲(chǔ)部46中的存儲(chǔ)圖像。

hdr圖像生成部42從攝像信號(hào)取得部41取得包含攝像元件244生成的不同曝光量的圖像在內(nèi)的第1攝像信號(hào)和第2攝像信號(hào)，通過(guò)對(duì)曝光量不同的圖像進(jìn)行合成，生成包含擴(kuò)大了動(dòng)態(tài)范圍的hdr圖像ph1～ph4(例如每通道的位數(shù)為32位)在內(nèi)的hdr圖像信號(hào)。hdr圖像生成部42具有：加權(quán)相加部421，其進(jìn)行第1攝像信號(hào)與第2攝像信號(hào)的加權(quán)相加處理，生成hdr圖像信號(hào)；以及加權(quán)相加系數(shù)計(jì)算部422，其計(jì)算加權(quán)相加部421的加權(quán)相加處理時(shí)使用的加權(quán)相加系數(shù)。

加權(quán)相加部421將進(jìn)行第1攝像信號(hào)與第2攝像信號(hào)的加權(quán)相加處理而生成的hdr圖像信號(hào)輸出到灰度壓縮部43。具體而言，加權(quán)相加部421利用正交坐標(biāo)系(x,y)表示各像素的位置，并且，在設(shè)第1攝像信號(hào)sl中的長(zhǎng)曝光圖像的像素值為l(x,y)、第2攝像信號(hào)ss中的短曝光圖像的像素值為s(x,y)、加權(quán)相加系數(shù)為α(x,y)(0<α(x,y)<1)、hdr圖像信號(hào)sh中的hdr圖像的像素值為h(x,y)時(shí)，通過(guò)下式(1)導(dǎo)出hdr圖像的像素值h(x,y)。另外，下面，設(shè)加權(quán)相加系數(shù)α是針對(duì)短曝光圖像設(shè)定的系數(shù)來(lái)進(jìn)行說(shuō)明。

h(x,y)＝(1-α(x,y))×l(x,y)

+α(x,y)×β×s(x,y)…(1)

這里，β是為了調(diào)整短曝光與長(zhǎng)曝光的曝光量之差而作用于短曝光側(cè)的系數(shù)，在設(shè)短曝光處理的曝光量為e1、長(zhǎng)曝光處理的曝光量為e2時(shí)，利用β＝e2/e1表示。另外，在使該系數(shù)作用于長(zhǎng)曝光側(cè)的情況下，系數(shù)β’利用β’＝e1/e2表示。

加權(quán)相加系數(shù)計(jì)算部422根據(jù)長(zhǎng)曝光圖像的明亮度(像素值l(x,y))設(shè)定加權(quán)相加系數(shù)α(x,y)。具體而言，加權(quán)相加系數(shù)計(jì)算部422參照存儲(chǔ)部46，長(zhǎng)曝光圖像的像素值l(x,y)相對(duì)于預(yù)先設(shè)定的基準(zhǔn)值越大，則將加權(quán)相加系數(shù)α(x,y)的值設(shè)定為越大，長(zhǎng)曝光圖像的像素值l(x,y)相對(duì)于基準(zhǔn)值越小，則將加權(quán)相加系數(shù)α(x,y)設(shè)定為越小。加權(quán)相加系數(shù)計(jì)算部422按照每個(gè)像素位置(坐標(biāo))設(shè)定加權(quán)相加系數(shù)α(x,y)。另外，加權(quán)相加系數(shù)計(jì)算部422進(jìn)行各系數(shù)的設(shè)定，使得針對(duì)像素值s(x,y)的加權(quán)相加系數(shù)(第1系數(shù))與針對(duì)像素值l(x,y)的加權(quán)相加系數(shù)(第2系數(shù))之和成為1。

灰度壓縮部43通過(guò)對(duì)hdr圖像生成部42生成的hdr圖像信號(hào)sh實(shí)施灰度壓縮處理、例如使每通道的位數(shù)從32位變成12位的處理，生成包含將動(dòng)態(tài)范圍降低到顯示裝置5能夠顯示的尺寸的灰度壓縮圖像pt1～pt4(色調(diào)映射圖像)在內(nèi)的灰度壓縮圖像信號(hào)st(第1灰度壓縮圖像信號(hào))。

顏色校正部44根據(jù)從攝像信號(hào)取得部41輸入的第1攝像信號(hào)sl和第2攝像信號(hào)ss、灰度壓縮部43生成的灰度壓縮圖像信號(hào)st以及加權(quán)相加系數(shù)α(x,y)，對(duì)第1攝像信號(hào)sl和第2攝像信號(hào)ss實(shí)施顏色校正處理，生成包含顏色校正圖像的顏色校正圖像信號(hào)st’。

顏色校正部44具有：亮度成分提取部441，其提取第1攝像信號(hào)sl、第2攝像信號(hào)ss和灰度壓縮圖像信號(hào)st的各信號(hào)的亮度成分；增益圖計(jì)算部442，其根據(jù)亮度成分提取部441提取出的亮度成分和加權(quán)相加系數(shù)α(x,y)計(jì)算增益圖；以及再合成處理部443，其根據(jù)增益圖對(duì)各像素中的像素值進(jìn)行校正，在生成對(duì)第1攝像信號(hào)sl和第2攝像信號(hào)ss進(jìn)行再合成而得到的校正hdr圖像信號(hào)后，通過(guò)對(duì)該校正hdr圖像信號(hào)實(shí)施灰度壓縮處理，生成包含校正灰度壓縮圖像即顏色校正圖像在內(nèi)的顏色校正圖像信號(hào)st’(第2灰度壓縮圖像信號(hào))。

亮度成分提取部441針對(duì)所輸入的第1攝像信號(hào)sl、第2攝像信號(hào)ss和灰度壓縮圖像信號(hào)st，對(duì)利用rgb表現(xiàn)的值進(jìn)行ycbcr轉(zhuǎn)換處理，將其分離成亮度(y)成分和色差(crcb)成分，提取各信號(hào)的亮度(y)成分。亮度成分提取部441將包含從第1攝像信號(hào)sl中提取出的亮度成分的亮度成分信號(hào)yl、包含從第2攝像信號(hào)ss中提取出的亮度成分的亮度成分信號(hào)ys和包含從灰度壓縮圖像信號(hào)st中提取出的亮度成分的亮度成分信號(hào)yt輸出到增益圖計(jì)算部442。

增益圖計(jì)算部442根據(jù)亮度成分提取部441提取出的亮度成分和加權(quán)相加系數(shù)α(x,y)計(jì)算增益圖。具體而言，在設(shè)第1攝像信號(hào)sl中的像素位置(x,y)的增益值為gl(x,y)、第2攝像信號(hào)ss中的像素位置(x,y)的增益值為gs(x,y)、第1攝像信號(hào)sl中的長(zhǎng)曝光圖像的像素值l(x,y)的亮度成分為yl(x,y)、第2攝像信號(hào)ss中的短曝光圖像的像素值s(x,y)的亮度成分為ys(x,y)、灰度壓縮圖像信號(hào)st中的灰度壓縮圖像的像素值t(x,y)的亮度成分為yt(x,y)時(shí)，通過(guò)下式(2)導(dǎo)出增益值gl(x,y)，通過(guò)下式(3)導(dǎo)出增益值gs(x,y)。

gl(x,y)＝(1-α(x,y))×yt(x,y)/yl(x,y)…(2)

gs(x,y)＝α(x,y)×yt(x,y)/ys(x,y)…(3)

增益圖計(jì)算部442根據(jù)上式(2)、(3)，計(jì)算對(duì)各像素位置賦予了增益值gl(x,y)而成的第1增益圖gl和對(duì)各像素位置賦予了增益值gs(x,y)而成的第2增益圖gs。增益圖計(jì)算部442將計(jì)算出的第1增益圖gl和第2增益圖gs輸出到再合成處理部443。

再合成處理部443根據(jù)增益圖計(jì)算部442計(jì)算出的第1增益圖gl和第2增益圖gs對(duì)各像素中的像素值進(jìn)行校正，在生成對(duì)第1攝像信號(hào)sl和第2攝像信號(hào)ss進(jìn)行再合成而得到的校正hdr圖像信號(hào)sq后，通過(guò)對(duì)該校正hdr圖像信號(hào)sq實(shí)施灰度壓縮處理，生成包含校正灰度壓縮圖像即顏色校正圖像的顏色校正圖像信號(hào)st’。具體而言，再合成處理部443在設(shè)校正hdr圖像信號(hào)sq中的校正hdr圖像的像素值為q(x,y)時(shí)，通過(guò)下式(4)導(dǎo)出像素值q(x,y)。

q(x,y)＝gl(x,y)×l(x,y)

+gs(x,y)×s(x,y)…(4)

再合成處理部443根據(jù)第1增益圖gl和第2增益圖gs計(jì)算像素值q(x,y)，在生成校正hdr圖像信號(hào)sq后，通過(guò)對(duì)該校正hdr圖像信號(hào)sq實(shí)施灰度壓縮處理，生成包含校正灰度壓縮圖像即顏色校正圖像pc1～pc4的顏色校正圖像信號(hào)st’。該顏色校正圖像是對(duì)上述灰度壓縮圖像(色調(diào)映射圖像)實(shí)施了顏色校正處理后的圖像。

顏色校正部44對(duì)所生成的包含顏色校正圖像的顏色校正圖像信號(hào)st’實(shí)施光學(xué)黑體減法處理、白平衡調(diào)整處理、顏色矩陣運(yùn)算處理、伽馬校正處理、顏色再現(xiàn)處理、邊緣強(qiáng)調(diào)處理和格式轉(zhuǎn)換處理等之后，將處理后的顏色校正圖像信號(hào)st’輸出到顯示裝置5。

輸入部45受理指示內(nèi)窺鏡系統(tǒng)1的動(dòng)作的動(dòng)作指示信號(hào)等各種信號(hào)的輸入。

存儲(chǔ)部46使用閃存或dram(dynamicrandomaccessmemory動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)等半導(dǎo)體存儲(chǔ)器實(shí)現(xiàn)。存儲(chǔ)部46存儲(chǔ)用于使內(nèi)窺鏡系統(tǒng)1進(jìn)行動(dòng)作的各種程序以及包含內(nèi)窺鏡系統(tǒng)1的動(dòng)作所需要的各種參數(shù)等的數(shù)據(jù)。并且，存儲(chǔ)部46存儲(chǔ)處理裝置4的識(shí)別信息。這里，在識(shí)別信息中包含處理裝置4的固有信息(id)、年代和說(shuō)明書(spec)信息等。

存儲(chǔ)部46存儲(chǔ)與由攝像信號(hào)取得部41實(shí)施信號(hào)處理后的攝像信號(hào)對(duì)應(yīng)的圖像、即通過(guò)第1曝光處理進(jìn)行攝像而得到的長(zhǎng)曝光圖像和通過(guò)第2曝光處理進(jìn)行攝像而得到的短曝光圖像等圖像數(shù)據(jù)；加權(quán)相加部421的加權(quán)相加處理時(shí)使用的加權(quán)相加系數(shù)的基準(zhǔn)值；加權(quán)相加系數(shù)相對(duì)于該基準(zhǔn)值的增減率等。存儲(chǔ)部46例如也可以具有存儲(chǔ)第1和第2攝像信號(hào)的環(huán)形緩沖區(qū)。該情況下，環(huán)形緩沖區(qū)在容量不足時(shí)(存儲(chǔ)規(guī)定幀數(shù)的攝像信號(hào)時(shí))，利用最新的攝像信號(hào)覆蓋最老的攝像信號(hào)，由此，從最新的攝像信號(hào)起以時(shí)間序列存儲(chǔ)規(guī)定幀數(shù)。

控制部47使用cpu(centralprocessingunit：中央處理單元)等構(gòu)成，進(jìn)行包含攝像元件244和光源裝置3在內(nèi)的各結(jié)構(gòu)部的驅(qū)動(dòng)控制、以及針對(duì)各結(jié)構(gòu)部的信息的輸入輸出控制等。控制部47參照存儲(chǔ)部46中存儲(chǔ)的攝像控制用的控制信息數(shù)據(jù)(例如讀出定時(shí)等)，經(jīng)由集合纜線245中包含的規(guī)定的信號(hào)線向攝像元件244發(fā)送該控制信息數(shù)據(jù)。

并且，控制部47根據(jù)基于所取得的攝像信號(hào)的圖像檢測(cè)明亮度，設(shè)定曝光量，生成使光源31a以與該設(shè)定的曝光量對(duì)應(yīng)的發(fā)光量(包含強(qiáng)度和時(shí)間)進(jìn)行發(fā)光的控制信號(hào)。

顯示裝置5經(jīng)由影像纜線顯示與處理裝置4(顏色校正部44)生成的顏色校正圖像信號(hào)st’對(duì)應(yīng)的顏色校正圖像pc1～pc4。顯示裝置5使用液晶或有機(jī)el(electroluminescence：電致發(fā)光)等監(jiān)視器構(gòu)成。

在以上說(shuō)明的內(nèi)窺鏡系統(tǒng)1中，根據(jù)輸入到處理裝置4的攝像信號(hào)，在hdr圖像生成部42根據(jù)曝光量不同的第1和第2攝像信號(hào)(攝像信號(hào)sl、ss)生成hdr圖像信號(hào)sh后，灰度壓縮部43生成灰度壓縮圖像信號(hào)st，顏色校正部44根據(jù)攝像信號(hào)sl、ss和灰度壓縮圖像信號(hào)st的各圖像的亮度(y)成分計(jì)算增益圖gl、gs，再次構(gòu)筑根據(jù)計(jì)算出的增益圖gl、gs實(shí)施顏色校正后的灰度壓縮圖像信號(hào)，生成顏色校正圖像信號(hào)st’，顯示裝置5顯示基于再次構(gòu)筑的顏色校正圖像信號(hào)st’的顏色校正圖像(顏色校正圖像pc1～pc4)。

根據(jù)上述本發(fā)明的一個(gè)實(shí)施方式，在根據(jù)曝光量(明亮度)不同的第1和第2攝像信號(hào)生成hdr圖像信號(hào)后，生成灰度壓縮圖像信號(hào)，根據(jù)第1和第2攝像信號(hào)以及灰度壓縮圖像信號(hào)的各圖像的亮度成分計(jì)算增益圖，再次構(gòu)筑根據(jù)計(jì)算出的增益圖實(shí)施顏色校正后的灰度壓縮圖像，所以，在進(jìn)行了灰度壓縮的情況下，也能夠抑制灰度壓縮圖像相對(duì)于輸入圖像的顏色再現(xiàn)性降低。

另外，在上述實(shí)施方式中，設(shè)根據(jù)ycbcr顏色空間將亮度(y)成分作為代表值并根據(jù)亮度(y)成分計(jì)算增益圖來(lái)進(jìn)行說(shuō)明，但是，不限于ycbcr顏色空間，例如，也可以使用由色相(hue)、彩度(saturationchroma)、明度(valuelightnessbrightness)這三個(gè)成分構(gòu)成的hsv顏色空間、利用三維空間的l^*a^*b^*顏色空間等，分離成顏色和亮度，使用亮度的信息計(jì)算增益圖。例如，在使用l^*a^*b^*顏色空間的情況下，使用三刺激值(xyz空間(三維空間)的y成分)作為代表值。

另外，在上述實(shí)施方式中，設(shè)加權(quán)相加系數(shù)α是針對(duì)短曝光圖像設(shè)定的系數(shù)來(lái)進(jìn)行說(shuō)明，但是，也可以是針對(duì)長(zhǎng)曝光圖像設(shè)定的系數(shù)。

并且，在上述實(shí)施方式中，設(shè)使用通過(guò)不同的兩個(gè)曝光處理生成的攝像信號(hào)來(lái)進(jìn)行說(shuō)明，但是，也可以使用通過(guò)三個(gè)以上的曝光處理生成的攝像信號(hào)。

并且，在上述實(shí)施方式中，也可以是能夠?qū)叶葔嚎s后的顏色校正處理的執(zhí)行或不執(zhí)行進(jìn)行切換?？梢愿鶕?jù)基于用戶對(duì)開關(guān)等的操作的指示輸入來(lái)進(jìn)行該切換，也可以通過(guò)對(duì)進(jìn)行攝像而得到的圖像進(jìn)行分析來(lái)自動(dòng)進(jìn)行切換。在通過(guò)圖像分析來(lái)判斷切換的情況下，例如，也可以根據(jù)圖像的亮度分布計(jì)算圖像的明暗差，如果該計(jì)算結(jié)果大于預(yù)先設(shè)定的明暗差，則執(zhí)行顏色校正處理，如果該計(jì)算結(jié)果為預(yù)先設(shè)定的明暗差以下，則不執(zhí)行該處理。

并且，在上述實(shí)施方式中，設(shè)光源裝置3與處理裝置4分開來(lái)進(jìn)行說(shuō)明，但是，光源裝置3和處理裝置4也可以是一體的，例如在處理裝置4的內(nèi)部設(shè)置有照明部31和照明控制部32。

并且，在上述實(shí)施方式中，設(shè)本發(fā)明的圖像處理裝置作為內(nèi)窺鏡系統(tǒng)1的hdr圖像生成部42、灰度壓縮部43和顏色校正部44發(fā)揮功能來(lái)進(jìn)行說(shuō)明，該內(nèi)窺鏡系統(tǒng)1使用觀察對(duì)象是被檢體內(nèi)的活體組織等的內(nèi)窺鏡2，但是，也可以應(yīng)用于使用觀測(cè)材料特性的工業(yè)用內(nèi)窺鏡或膠囊型內(nèi)窺鏡的內(nèi)窺鏡系統(tǒng)。與體內(nèi)、體外無(wú)關(guān)，都能夠應(yīng)用本發(fā)明的圖像處理裝置。

并且，在上述實(shí)施方式中，舉出內(nèi)窺鏡系統(tǒng)作為例子來(lái)進(jìn)行說(shuō)明，但是，例如在對(duì)設(shè)置在數(shù)字靜止照相機(jī)等中的evf(electronicviewfinder：電子取景器)輸出影像的情況下也能夠應(yīng)用。該情況下，與使用光學(xué)式取景器的情況相比，在逆光狀態(tài)等場(chǎng)景中的明暗差較大的情況下，也能夠再現(xiàn)原畫的色調(diào)，并提高被攝體的視覺辨認(rèn)性。

產(chǎn)業(yè)上的可利用性

如上所述，本發(fā)明的圖像處理裝置和攝像系統(tǒng)在進(jìn)行了灰度壓縮的情況下抑制灰度壓縮圖像相對(duì)于輸入圖像的顏色再現(xiàn)性降低的方面是有用的。

標(biāo)號(hào)說(shuō)明

1：內(nèi)窺鏡系統(tǒng)；2：內(nèi)窺鏡；3：光源裝置；4：處理裝置；5：顯示裝置；21：插入部；22：操作部；23：通用軟線；24：前端部；25：彎曲部；26：撓性管部；31：照明部；32：照明控制部；41：攝像信號(hào)取得部；42：hdr圖像生成部；43：灰度壓縮部；44：顏色校正部；45：輸入部；46：存儲(chǔ)部；47：控制部；421：加權(quán)相加部；422：加權(quán)相加系數(shù)計(jì)算部；441：亮度成分提取部；442：增益圖計(jì)算部；443：再合成處理部。