專利名稱：圖像處理裝置和存儲了圖像處理程序的存儲介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置和存儲了圖像處理程序的存儲介質(zhì)，特別是作為用于從原圖像獲得藝術(shù)性高的圖像的圖像處理，涉及能夠?qū)崿F(xiàn)考慮原圖像整體從而生成使藝術(shù)性演出效果進一步提高的圖像數(shù)據(jù)的圖像處理的技術(shù)。
背景技術(shù)：
近年來，出于提高欣賞通過攝像等所取得的圖像時的演出效果的目的，執(zhí)行對原圖像數(shù)據(jù)實施提高藝術(shù)性的加工的圖像處理。例如，在日本特開平8-44867號公報中，公開了如下的技術(shù)為了實現(xiàn)上述目的， 以像素單位取得對于原圖像的亮度、彩度、色相的信息，利用這些信息，模擬描繪變換為提高藝術(shù)性的圖像(例如水彩畫、油彩畫)的數(shù)據(jù)時的運筆、色彩。但是，在日本特開平8-44867號公報所記載的技術(shù)中，為了以像素單位進行模擬， 在考慮圖像整體來提高藝術(shù)性這一點上存在不足。

發(fā)明內(nèi)容
本發(fā)明鑒于這樣的狀況而作，目的在于作為用于從原圖像獲得藝術(shù)性高的圖像的圖像處理，能夠?qū)崿F(xiàn)生成考慮原圖像整體來進一步提高藝術(shù)性的演出效果的圖像數(shù)據(jù)的圖像處理。為了實現(xiàn)上述目的，第一方式的發(fā)明具備輸入單元，其輸入圖像數(shù)據(jù)；變換單元，其將通過所述輸入單元輸入的所述圖像數(shù)據(jù)變換為包含亮度分量的顏色空間的形態(tài)的數(shù)據(jù)；選擇單元，其針對由所述變換單元變換后的所述圖像數(shù)據(jù)，按所述顏色空間的每個分量選擇多個像素的數(shù)據(jù)；紋理處理單元，其對由所述選擇單元選擇了的所述多個像素的數(shù)據(jù)，以同一運筆圖式實施利用了該像素的顏色的紋理處理；陰影處理單元，其對由所述變換單元變換后的所述圖像數(shù)據(jù)中的亮度低的像素區(qū)域的數(shù)據(jù)，利用該像素的顏色實施陰影處理，附加與所述運筆圖式的方向大致垂直方向的斜線表現(xiàn)；合成單元，其合成由所述紋理處理單元實施了所述紋理處理的所述圖像數(shù)據(jù)、和由所述陰影處理單元實施了所述陰影處理的所述圖像數(shù)據(jù)；輪廓強調(diào)處理單元，其根據(jù)由所述變換單元變換后的所述圖像數(shù)據(jù)的亮度分量，實施輪廓強調(diào)處理，強調(diào)由所述合成單元合成后的數(shù)據(jù)的所述圖像的輪廓部分；和存儲控制單元，其控制由所述輪廓強調(diào)處理單元實施了所述輪廓強調(diào)處理的所述圖像數(shù)據(jù)的存儲。此外，第二方式的發(fā)明在上述第一方式的發(fā)明中，所述選擇單元包括像素選擇單元，該像素選擇單元針對由所述變換單元變換后的所述圖像數(shù)據(jù)，選擇該圖像中的任意一行的像素列，產(chǎn)生隨機數(shù)，從由所述像素選擇單元所選擇的所述像素列中選擇所述多個像
ο此外，第三方式的發(fā)明在上述第一或第二方的發(fā)明中，所述運筆圖式是線狀圖式。此外，第四方式的發(fā)明在上述第一至第三方式的發(fā)明中，所述輸入單元包括攝像
4單元。此外，為了實現(xiàn)上述目的，第五方式的發(fā)明使對所輸入的圖像數(shù)據(jù)實施圖像處理的計算機實現(xiàn)如下功能變換功能，將所輸入的所述圖像數(shù)據(jù)變換為包含亮度分量的顏色空間的形態(tài)的數(shù)據(jù)；選擇功能，針對通過實現(xiàn)所述變換功能而變換后的所述圖像數(shù)據(jù)，按所述顏色空間的每個分量選擇多個像素的數(shù)據(jù)；紋理處理功能，對通過實現(xiàn)所述選擇功能而選擇的所述多個像素的數(shù)據(jù)，以同一運筆圖式實施利用了該像素的顏色的紋理處理；陰影處理功能，對通過實現(xiàn)所述變換功能而變換后的所述圖像數(shù)據(jù)中的亮度低的像素區(qū)域的數(shù)據(jù)，利用該像素的顏色實施陰影處理，附加與所述運筆圖式的方向大致垂直方向的斜線表現(xiàn)；合成功能，合成通過實現(xiàn)所述紋理處理功能而實施了所述紋理處理的所述圖像數(shù)據(jù)、和通過實現(xiàn)所述陰影處理功能而實施了所述陰影處理的所述圖像數(shù)據(jù)；輪廓強調(diào)處理功能， 根據(jù)通過實現(xiàn)所述變換功能而變換后的所述圖像數(shù)據(jù)的亮度分量，實施輪廓強調(diào)處理，強調(diào)通過實現(xiàn)所述合成功能而合成了的數(shù)據(jù)的所述圖像的輪廓部分；和存儲控制功能，控制通過實現(xiàn)所述輪廓強調(diào)處理功能而實施了所述輪廓強調(diào)處理的所述圖像數(shù)據(jù)的存儲。


圖1是表示本發(fā)明的一個實施方式的攝像裝置的硬件結(jié)構(gòu)的模塊圖。圖2是表示圖1的攝像裝置的功能性結(jié)構(gòu)的功能模塊圖。圖3是表示圖2的攝像裝置執(zhí)行的彩色蠟筆畫風(pastel-like)圖像生成處理的流程的一例的流程圖。圖4是表示圖3的彩色蠟筆畫風圖像生成處理的步驟S4的處理結(jié)果的一例的圖。圖5是表示圖3的彩色蠟筆畫風圖像生成處理的步驟S5的處理結(jié)果的一例的圖。圖6是表示在圖3的彩色蠟筆畫風圖像生成處理的步驟S6的處理中使用的運筆圖式的一例的圖。圖7是表示圖3的彩色蠟筆畫風圖像生成處理的步驟S6的處理結(jié)果的一例的圖。圖8是表示在圖3的彩色蠟筆畫風圖像生成處理的步驟Sll的處理、為了生成邊緣提取圖像而采用的索貝爾(sobel)濾波器的一例的圖。圖9是表示作為圖3的彩色蠟筆畫風圖像生成處理的結(jié)果而得到的彩色蠟筆畫風圖像的一例的圖。圖10是圖9的彩色蠟筆畫風圖像的部分區(qū)域放大圖。圖11是圖9的彩色蠟筆畫風圖像的一部分，是放大了與圖10不同的區(qū)域的圖。
具體實施例方式以下，基于

本發(fā)明的一個實施方式。圖1是表示作為本發(fā)明的圖像處理裝置的一個實施方式的攝像裝置1的硬件結(jié)構(gòu)的模塊圖。攝像裝置1能夠通過例如數(shù)碼照相機構(gòu)成。攝像裝置1 具備 CPU (Central Processing Unit) 11、R0M (Read Only Memory) 12、 RAM (Random Access Memory) 13、總線(bus) 14、輸入輸出接口 15、攝像部 16、操作部 17、顯示部18、存儲部19、通信部20、驅(qū)動器21。CPUll按照R0M12中記錄的程序執(zhí)行各種處理。或者，CPUll按照從存儲部19加載到RAM13中的程序執(zhí)行各種處理。在RAM13中還適當存儲CPUll執(zhí)行各種處理所需的數(shù)據(jù)等。例如在本實施方式中，在R0M12、存儲部19中存儲有實現(xiàn)后述的圖2的圖像變換部 52至存儲控制部59的各功能的程序。因此，CPUll通過執(zhí)行基于這些程序的處理，能夠?qū)崿F(xiàn)后述的圖2的圖像變換部52至存儲控制部59的各功能。CPU1UR0M12以及RAM13通過總線14相互連接。在該總線14上還連接了輸入輸出接口 15。在輸入輸出接口 15上連接了攝像部16、操作部17、顯示部18、存儲部19以及通信部20。雖然未進行圖示，但攝像部16具備光學(xué)透鏡部和圖像傳感器。為了對被攝體進行攝影，光學(xué)透鏡部由聚光的透鏡、例如聚焦透鏡、變焦透鏡等構(gòu)成。聚焦透鏡是使被攝體像成像在圖像傳感器的受光面上的透鏡。變焦透鏡是使焦點距離在一定范圍自由變化的透鏡。在光學(xué)透鏡部中還根據(jù)需要設(shè)置了用于調(diào)整焦點、曝光、白平衡等設(shè)定參數(shù)的外圍電路。圖像傳感器由光電變換元件、AFE(Analog Front End，模擬前端)等構(gòu)成。光電變換元件由例如 CMOS (Complementary Metal Oxide Semiconductor)型的光電變換元件等構(gòu)成。在光電變換元件中，從光學(xué)透鏡部入射被攝體像。因此，光電變換元件每隔一定時間對被攝體像進行光電變換(攝像)從而積蓄圖像信號，并將積蓄的圖像信號作為模擬信號依次提供給AFE。AFE對該模擬的圖像信號，執(zhí)行A/D(Analog/Digital)變換處理等各種信號處理。 通過各種信號處理，生成數(shù)字信號，作為攝像部16的輸出信號輸出。另外，以下將攝像部16的輸出信號稱為“攝像圖像數(shù)據(jù)”。因此，從攝像部16輸出攝像圖像數(shù)據(jù)，適當提供給CPUll等。操作部17由各種按鈕等構(gòu)成，接受用戶的指示操作。顯示部18顯示各種圖像。存儲部19由DRAM (Dynamic Random Access Memory)等構(gòu)成，臨時存儲從攝像部 16輸出的攝像圖像的數(shù)據(jù)。此外，存儲部19還存儲各種圖像處理所需要的各種數(shù)據(jù)，例如， 圖像數(shù)據(jù)、各種標記(flag)的值、閾值等。通信部20控制經(jīng)由包括因特網(wǎng)的網(wǎng)絡(luò)與其他裝置(未圖示)之間進行的通信。輸入輸出接口 15上還根據(jù)需要而連接驅(qū)動器21，適當安裝磁盤、光盤、光磁盤或者半導(dǎo)體存儲器等構(gòu)成的可移動介質(zhì)31。而且，根據(jù)需要向存儲部19安裝從這些介質(zhì)讀出的程序。此外，可移動介質(zhì)31還可以與存儲部19同樣地存儲存儲部19中存儲的圖像數(shù)據(jù)等各種數(shù)據(jù)。圖2是表示用于執(zhí)行彩色蠟筆畫風圖像生成處理的攝像裝置1的功能性結(jié)構(gòu)的功能模塊圖。這里，所謂彩色蠟筆畫風圖像生成處理，是指從作為圖像處理對象而輸入的原圖像(以下稱為“原圖像”)的數(shù)據(jù)，直到生成作為藝術(shù)性高的圖像的一種的如用蠟筆、鋼筆等描畫的那樣的圖像(以下稱為“彩色蠟筆畫風圖像”)的數(shù)據(jù)為止的一系列處理。
如圖2所示，為了實現(xiàn)彩色蠟筆畫風圖像生成處理，攝像裝置1具備圖像輸入部 51、圖像變換部52、處理對象選擇部53、紋理(texture)處理部54、陰影(hatching)處理部55、合成部56、輪廓強調(diào)處理部57、邊緣提取圖像生成部58、存儲控制部59和圖像存儲部60。在本實施方式中，由圖1所示的結(jié)構(gòu)中的攝像部16、通信部20、驅(qū)動器21等構(gòu)成圖像輸入部51，輸入原圖像數(shù)據(jù)。S卩，在本實施方式中，不僅從攝像部16輸出的攝像圖像的數(shù)據(jù)，從其他裝置發(fā)送來從而由通信部20接收的圖像數(shù)據(jù)、通過驅(qū)動器21從可移動介質(zhì)31讀出的圖像的數(shù)據(jù)等也作為原圖像數(shù)據(jù)輸入圖像輸入部51。在本實施方式中，圖像變換部52至存儲控制部59的每一個還作為圖1所示的結(jié)構(gòu)中的稱為CPUll的硬件和存儲在R0M12等中的程序(軟件)的組合而構(gòu)成。此外，圖像存儲部60作為圖1所示的結(jié)構(gòu)中的攝像裝置1的RAM13或者存儲部19 或者可移動介質(zhì)31內(nèi)的一個區(qū)域而構(gòu)成。圖像變換部52執(zhí)行將輸入圖像輸入部51的原圖像數(shù)據(jù)從輸入時的形態(tài)變換為包含亮度分量的顏色空間的形態(tài)的處理。以下，將這種處理稱為“圖像變換處理”。作為本實施方式的圖像變換處理后的顏色空間，如圖2所示，采用所謂YUV空間。 即，在本實施方式中，通過圖像變換部52的圖像變換處理，能夠得到由亮度分量(以下稱為 “Y分量”)、亮度分量與藍色分量之色差分量(以下稱為“U分量”)、以及亮度分量與紅色分量之色差分量(以下稱為“V分量”)構(gòu)成的數(shù)據(jù)。另外，以下，將匯集Y分量、U分量以及V分量的數(shù)據(jù)稱為“YUV分量”。處理對象選擇部53針對圖像變換部52的圖像變換處理后的原圖像數(shù)據(jù)，按顏色空間的每個分量，在本實施方式中按每個YUV分量，選擇成為后述的紋理處理對象的多個像素數(shù)據(jù)。紋理處理部M對由處理對象選擇部53選擇的多個像素數(shù)據(jù)，實施利用同一運筆圖式采用了該像素的顏色的紋理處理。這里，所謂“紋理處理”，是指對圖像粘貼模仿蠟筆、鋼筆等的筆跡的紋理的圖像處理。在本說明書中，將該“模仿蠟筆、鋼筆等的筆跡的紋理”的圖式稱為“運筆圖式”。作為運筆圖式而采用的紋理的形狀、大小等不做特別限定。但是，在本實施方式中，作為運筆圖式，采用如后述的圖6所示那樣的線狀圖式，如上所述，該運筆圖式(同一運筆圖式)用于對各像素的各個數(shù)據(jù)的紋理處理。這樣的紋理處理對按每YUV分量選擇的多個像素的各像素的數(shù)據(jù)的每一個反復(fù)執(zhí)行，由此得到彩色蠟筆畫風圖像數(shù)據(jù)。這里，所謂上述“采用了像素的顏色的紋理處理”，不僅包括粘貼像素的顏色本身的紋理的處理，還包括粘貼利用像素的顏色信息而運算出的顏色的紋理的處理。S卩，在本實施方式中，根據(jù)紋理的亮度、和粘貼紋理的像素位置的像素的顏色信息 (YUV分量中的處理對象分量的值)，運算并決定紋理的顏色。具體而言，在本實施方式中， 使紋理的密度小一些，留下空白，從而得到如在白紙上用蠟筆、鋼筆等描繪的那樣的彩色蠟筆畫風圖像數(shù)據(jù)。為此，為了減少空白與紋理的顏色的間隙，紋理的顏色采用使原圖像的亮度稍微高些的顏色。
另外，對于運筆圖式、紋理處理的更詳細情況，作為圖3的步驟S3至S8的處理，采用圖4至圖7等在后面進行敘述。如此，從紋理處理部M輸出的彩色蠟筆畫風圖像數(shù)據(jù)有可能還是沒有使明暗部的差變得清晰的圖像數(shù)據(jù)。因此，對于由YUV分量構(gòu)成的圖像數(shù)據(jù)中的亮度低的(暗的)像素區(qū)域的數(shù)據(jù)，陰影處理部55采用該像素的顏色，實施附加與運筆圖式的方向大致垂直方向的運筆的斜線表現(xiàn)的處理(以下稱為“陰影處理”)。另外，陰影處理部55的處理對象在圖2中表現(xiàn)為紋理處理部M的輸出數(shù)據(jù)，但是不特別限定于圖2所示的例，此外也可以是例如圖像變換部52的輸出數(shù)據(jù)。合成部56執(zhí)行將陰影處理部55輸出的圖像數(shù)據(jù)和紋理處理部M輸出的圖像數(shù)據(jù)合成的處理(以下稱為“合成處理”)。通過合成部56的輸出數(shù)據(jù)而表現(xiàn)的圖像(以下稱為“合成圖像”)，在亮度低的像素區(qū)域中，在紋理上增加了大致相反方向(與運筆圖式的方向大致垂直的方向)的斜線，所以成為清楚地表現(xiàn)了明暗部的差異的圖像。另外，對于陰影處理以及合成處理的更詳細情況，后面作為圖3的步驟S9以及S 10的處理進行敘述。輪廓強調(diào)處理部57根據(jù)從圖像變換部52輸出的Y分量，對從合成部56輸出的合成圖像數(shù)據(jù)，實施強調(diào)輪廓(邊緣edge)的圖像處理(以下稱為“輪廓強調(diào)處理”)。具體而言，邊緣提取圖像生成部58根據(jù)從圖像變換部52輸出的Y分量，生成將邊緣強度作為像素值的圖像數(shù)據(jù)。以下，將如此生成的圖像數(shù)據(jù)稱為“邊緣提取圖像數(shù)據(jù)”。輪廓強調(diào)處理部57將如此由邊緣提取圖像生成部58生成的邊緣提取圖像數(shù)據(jù)中的、具有邊緣強度高的像素值的區(qū)域作為邊緣(輪廓)區(qū)域，對從合成部56輸出的合成圖像的Y分量中的邊緣區(qū)域，實施輪廓強調(diào)處理。另外，對于還包括邊緣提取圖像數(shù)據(jù)的生成方法的輪廓強調(diào)處理的更詳細情況， 后面作為圖3的步驟Sll的處理，利用圖11等進行敘述。存儲控制部59執(zhí)行將由輪廓強調(diào)處理部57實施了輪廓強調(diào)處理的圖像數(shù)據(jù)存儲在圖像存儲部60中的控制處理(以下稱為“圖像存儲處理”)。下面，說明具有這樣的功能性結(jié)構(gòu)的攝像裝置1執(zhí)行的彩色蠟筆畫風圖像生成處理。圖3是表示彩色蠟筆畫風圖像生成處理的流程的一例的流程圖。在步驟Sl中，圖像輸入部51判斷是否輸入了原圖像數(shù)據(jù)。在沒有輸入原圖像數(shù)據(jù)時，在步驟Sl中判斷為“否”，再次執(zhí)行步驟Sl的判斷處理。即，直到輸入原圖像數(shù)據(jù)為止，反復(fù)步驟Si的判斷處理，彩色蠟筆畫風圖像生成處理進入待機狀態(tài)。之后，向圖像輸入部51輸入原圖像數(shù)據(jù)后，在步驟Sl中判斷為“是”，處理進入步馬聚S2 ο在步驟S2中，圖像變換部52對輸入圖像輸入部51的原圖像數(shù)據(jù)執(zhí)行圖像變換處理。據(jù)此，在本實施方式中，如上所述，得到原圖像的YUV分量，提供給處理對象選擇部53。在步驟S3中，處理對象選擇部53選擇原圖像的YUV種類的分量中的規(guī)定的一種分量，作為處理對象分量。在步驟S4中，處理對象選擇部53從處理對象分量的構(gòu)成圖像的多行(line)中， 選擇任意的行作為處理對象行。在步驟S5中，處理對象選擇部53從處理對象行中選擇多個處理對象像素。具體而言，雖然沒有進行圖示，但處理對象選擇部53包括像素選擇部，該像素選擇部對處理對象分量，選擇該分量的圖像中的任意一行像素列。通過該像素選擇部執(zhí)行步驟S4的處理。接著，作為步驟S5的處理，處理對象選擇部53例如產(chǎn)生隨機數(shù)，利用該隨機數(shù)，從由像素選擇部選擇的像素列中選擇多個像素作為處理對象像素。將處理對象選擇部53的選擇結(jié)果通知紋理處理部M后，處理進入步驟S6。在步驟S6中，紋理處理部M根據(jù)作為處理對象而選擇的多個像素，執(zhí)行上述紋理處理。進而以下，參照圖4至圖7，具體地說明步驟S4至S6的處理。圖4是表示步驟S4的處理結(jié)果的一例的圖。圖5是表示步驟S5的處理結(jié)果的一例的圖。圖6是表示步驟S6的處理中使用的運筆圖式的一例的圖。圖7是表示步驟S6的處理結(jié)果的一例的圖。在圖4、圖5以及圖7中，示出由步驟S3的處理選擇的分量的圖像中的一個區(qū)域 (同一區(qū)域)。在圖4至圖7中，一個正方形表示一個像素。在本例中，如圖4的中空箭頭所示，在步驟S4的處理，選擇圖4的描繪范圍內(nèi)的從上數(shù)第4行的行，作為處理對象行。如圖5所示，在步驟S5的處理，從構(gòu)成該處理對象行的像素列中，選擇4個像素Pl 至P4作為處理對象像素。如圖7所示，在步驟S6的處理，在4個像素Pl至P4的各像素位置，作為圖6所示的運筆圖式，分別粘貼紋理Tl至T4，紋理Tl至T4分別具有基于4個像素Pl至P4的各像素值(在步驟S3的處理所選擇的處理對象分量的各值)而運算出的4個顏色的每一個。返回圖3，對從處理對象分量任意選擇的行，執(zhí)行步驟S4至S6的處理后，處理進入步驟S7。在步驟S7中，紋理處理部M判斷處理對象分量的紋理處理是否結(jié)束。步驟S7的判斷處理不做特別限定，例如，作為步驟S7的判斷處理，紋理處理部M 可以進行如下判斷對處理對象分量整體的所有行執(zhí)行步驟S4至S6的處理。但是，在本實施方式中，如上所述，使紋理的密度小一些，留下空白，從而生成如在白紙上用蠟筆、鋼筆等描繪的那樣的彩色蠟筆畫風圖像數(shù)據(jù)。為了生成這樣的數(shù)據(jù)，對處理對象分量整體的所有行執(zhí)行步驟S4至S6的處理時，有可能會成為紋理的密度變得過濃的結(jié)果。因此，為了使紋理的密度適當，只要對某程度的數(shù)量的行執(zhí)行步驟S4至S6的處理即可。
因此，作為本實施方式的步驟S7的判斷條件，預(yù)先將該“某程度的數(shù)量”定義為閾值，采用步驟S4至S6的處理的反復(fù)次數(shù)超過了閾值這一判斷條件。因此，對于處理對象分量，步驟S4至S6的處理的反復(fù)次數(shù)沒有超過閾值時，在步驟S7中判斷為“否”，處理返回步驟S4，反復(fù)以后的處理。即，對于處理對象分量，直到步驟S4至S6的處理的反復(fù)次數(shù)超過閾值為止的期間，反復(fù)步驟S4至S7 “否”的循環(huán)處理，每次將任意的行選擇為處理對象行，選擇處理對象的多個像素，分別執(zhí)行基于該多個像素的每一個的紋理處理。之后，對于處理對象分量，步驟S4至S6的處理的反復(fù)次數(shù)超過閾值時，在步驟S7 中判斷為“是”，處理進入步驟S8。在步驟S8中，紋理處理部M判斷是否結(jié)束了全部YUV分量的紋理處理。在YUV分量中存在還沒有被選擇為處理對象的種類的分量時，在步驟S8中判斷為 “否”，處理返回步驟S3，反復(fù)之后的處理。即，在步驟S3的處理，YUV種類的分量中沒有成為處理對象的一種分量被選擇為下一處理對象分量。然后，對下一處理對象種類的分量，反復(fù)步驟S4至S7 “否”的循環(huán)處理，每次將任意的行選擇為處理對象行，選擇處理對象的多個像素，分別執(zhí)行基于該多個像素的每一個的紋理處理。對YUV分量的全部分量執(zhí)行以上的處理后，在步驟S8中判斷為“是”，處理進入步驟S9。如此，在本實施方式中，按每個YUV分量，設(shè)定處理對象行，利用各自的隨機數(shù)選擇處理對象的多個像素，分別執(zhí)行基于該多個像素的每一個的紋理處理。因此，在步驟S8中判斷為“是”的時點得到的彩色蠟筆畫風圖像數(shù)據(jù)中，例如，有可能存在僅實施了基于U分量的著色的紋理的區(qū)域，相反也有可能存在沒有實施基于U分量的著色的區(qū)域。同樣地，有可能存在僅實施了基于V分量的著色的紋理的區(qū)域，相反也有可能存在沒有實施基于V分量的著色的區(qū)域。這樣的彩色蠟筆畫風圖像表現(xiàn)為隨機改變紋理的顏色并進行粘貼的樣子映入用戶的眼睛。但是，在步驟S8中判斷為“是”的時點得到的彩色蠟筆畫風圖像數(shù)據(jù)中，如上所述，有可能成為沒有使明暗部的差異明確的圖像數(shù)據(jù)。因此，在步驟S8中判斷為“是”時，在步驟S9中，陰影處理部55對由YUV分量構(gòu)成的圖像數(shù)據(jù)中的亮度低的像素區(qū)域的數(shù)據(jù)，采用該像素的顏色，實施由與運筆圖式的方向大致垂直方向的斜線表現(xiàn)構(gòu)成的陰影處理。然后，在步驟SlO中，合成部56對在步驟S8中判斷為“是”的時點得到的彩色蠟筆畫風圖像的圖像數(shù)據(jù)，執(zhí)行合成由步驟S9的處理實施了陰影處理的圖像(亮度低的像素區(qū)域中與紋理大致垂直方向的斜線的圖像)的數(shù)據(jù)的合成處理。如此，在步驟S9以及SlO的處理中，為了清楚地表現(xiàn)彩色蠟筆畫風圖像的明暗部的差異，對于能夠判斷為暗的部分的部分(亮度低的部分)，能夠掌握為是在與紋理大致垂直方向上添加斜線的處理。通過執(zhí)行這樣的步驟S9以及SlO的處理，能夠獲得作為與繪畫技法的一種的“陰影”接近的效果。
具體而言，作為步驟S9以及SlO的處理，對于亮度值成為閾值以下的區(qū)域的數(shù)據(jù)， 實施斜線的層和α混合(Alpha Blending)的圖像處理。這里，斜線部不是黑色，構(gòu)成斜線部的各像素的顏色直接采用原圖像中的同一像素位置的像素的顏色。據(jù)此，亮度值為閾值以下的區(qū)域與粘貼了其他紋理的區(qū)域相比變得相對較暗，并且表現(xiàn)為自然地映入用戶的眼睛。如此，執(zhí)行步驟S9以及SlO的處理，得到上述那樣的合成圖像數(shù)據(jù)后，處理進入步驟 S11。在步驟Sll中，輪廓強調(diào)處理部57根據(jù)步驟S2的圖像變換處理后的原圖像的Y 分量，對合成圖像數(shù)據(jù)實施輪廓強調(diào)處理。這里，對輪廓強調(diào)處理進行更詳細的說明。如上所述，在本實施方式中，為了執(zhí)行輪廓強調(diào)處理，通過邊緣提取圖像生成部58 生成邊緣提取圖像數(shù)據(jù)。邊緣提取圖像數(shù)據(jù)的生成方法不做特別限定，但是在本實施方式中，采用了如圖8 所示的利用索貝爾濾波器生成邊緣提取圖像數(shù)據(jù)的方法。以下，對本實施方式的邊緣提取圖像的生成方法進行更詳細的說明。圖8是表示水平方向像素數(shù)X垂直方向像素數(shù)=3X3的索貝爾濾波器的一例。 具體而言，圖8(A)是表示垂直分量提取用索貝爾濾波器的一例的圖。圖8(B)是表示水平分量提取用索貝爾濾波器的一例的圖。邊緣提取圖像生成部58從與圖像變換部52輸出的與Y分量對應(yīng)的構(gòu)成原圖像的各像素中，設(shè)定要關(guān)注的關(guān)注像素，作為處理的對象。邊緣提取圖像生成部58對關(guān)注像素的數(shù)據(jù)(Y分量值)，分別施加圖8 (A)所示的垂直分量提取用索貝爾濾波器以及圖8(B)所示的水平分量提取用索貝爾濾波器。另外，以下，將對關(guān)注像素的數(shù)據(jù)(Y分量值)施加了圖8(A)所示的垂直分量提取用索貝爾濾波器的結(jié)果所得到的值稱為“垂直索貝爾值”。該垂直索貝爾值越大，表示關(guān)注像素的垂直方向的邊緣強度越高。此外，以下，將對關(guān)注像素的數(shù)據(jù)(Y分量值)施加了圖8(B)所示的水平分量提取用索貝爾濾波器的結(jié)果所得到的值稱為“水平索貝爾值”。該水平索貝爾值越大，表示關(guān)注像素的水平方向的邊緣強度越高。如此，求出關(guān)注像素的垂直索貝爾值以及水平索貝爾值后，如下那樣計算邊緣提取圖像中的關(guān)注像素的像素值(表示關(guān)注像素的邊緣強度的值)。S卩，邊緣提取圖像生成部58通過運算下式(1)來計算邊緣提取圖像中的關(guān)注像素的像素值。邊緣提取圖像的關(guān)注像素的像素值=(垂直索貝爾值的絕對值+水平索貝爾值的絕對值)/2···(1)式(1)所示的像素值越大，表示關(guān)注像素的邊緣強度越高，即，關(guān)注像素是邊緣的部分的可能性越高。邊緣提取圖像生成部58依次將構(gòu)成原圖像的Y分量的各像素的數(shù)據(jù)設(shè)定為關(guān)注像素的數(shù)據(jù)，反復(fù)上述處理，由此生成邊緣提取圖像數(shù)據(jù)。輪廓強調(diào)處理部57將如此由邊緣提取圖像生成部58生成的邊緣提取圖像數(shù)據(jù)中的、具有大的像素值的區(qū)域(邊緣強度高的區(qū)域)作為邊緣(輪廓)區(qū)域，對從合成部56 輸出的合成圖像的Y分量中的邊緣區(qū)域?qū)嵤┹喞獜娬{(diào)處理。據(jù)此，圖3的步驟Sll的處理結(jié)束，之后處理進入步驟S12。在步驟S12中，存儲控制部59執(zhí)行將由步驟Sll的處理實施了輪廓強調(diào)處理的彩色蠟筆畫風圖像數(shù)據(jù)存儲在圖像存儲部60中的圖像存儲處理。據(jù)此，彩色蠟筆畫風圖像生成處理結(jié)束。圖9是表示作為彩色蠟筆畫風圖像生成處理的結(jié)果而得到的彩色蠟筆畫風圖像的一例的圖。圖10是圖9的彩色蠟筆畫風圖像的部分區(qū)域放大圖。圖11是圖9的彩色蠟筆畫風圖像的一部分，是放大了與圖10不同的區(qū)域的圖。對包含汽車作為被攝體的原圖像(未圖示)的數(shù)據(jù)，實施圖3的彩色蠟筆畫風圖像生成處理后，生成圖9所示的彩色蠟筆畫風圖像81的數(shù)據(jù)，存儲在圖像存儲部60(圖2)中?？芍?，彩色蠟筆畫風圖像81中的亮度高的區(qū)域、例如汽車的車罩(bonnet)中被陽光直射的明亮的區(qū)域91，如圖10的放大圖中橢圓范圍內(nèi)突出顯示的那樣，利用朝向左下的斜線狀的紋理進行表現(xiàn)，不存在與該紋理大致垂直方向的斜線。另一方面，可知，彩色蠟筆畫風圖像81中的亮度暗的區(qū)域、例如汽車的車門下側(cè)由于影子而變暗的區(qū)域92，如圖11的放大圖中橢圓范圍內(nèi)突出顯示的那樣，與朝向左下的斜線狀的紋理一起表現(xiàn)了朝向與該紋理大致垂直方向的右下的暗的斜線。如此，通過執(zhí)行本實施方式的彩色蠟筆畫風圖像生成處理，能夠生成考慮原圖像整體的明暗而進一步提高了藝術(shù)性的演出效果的彩色蠟筆畫風圖像81等的數(shù)據(jù)。另外，本發(fā)明不限定于所述實施方式，在能夠?qū)崿F(xiàn)本發(fā)明的目的的范圍內(nèi)的變形、 改良等也包括在本發(fā)明中。例如，作為圖2的處理對象選擇部53、紋理處理部54、陰影處理部55以及合成部 56的處理對象，在所述實施方式中采用了與原圖像相同尺寸的數(shù)據(jù)，但不限定于此。具體而言，例如，攝像裝置1的RAM13等存儲器容量不做限定，雖然處理尺寸大的紋理是困難的，但是為了表現(xiàn)如蠟筆、鋼筆描畫的樣子，有時需要處理一定尺寸以上的紋理。在這樣的情況下，可以對從圖像變換部52輸出的YUV分量實施縮小處理，將該結(jié)果所得到的縮小圖像數(shù)據(jù)提供給處理對象選擇部53。但是，在該情況下，需要通過對合成部 56的輸出數(shù)據(jù)實施放大處理，從而將圖像尺寸返回到原圖像的尺寸。此外例如，邊緣提取圖像生成部58的邊緣提取圖像數(shù)據(jù)的生成方法，在所述實施方式中為了提高精度，而采用了對從圖像變換部52輸出的Y分量施加索貝爾濾波器的方法，但是不限定于此。具體而言例如，可以采用對從圖像變換部52輸出的Y分量，施加LPF(L0W Pass Filter 低通濾波器)，對施加了該LPF的數(shù)據(jù)，施加索貝爾濾波器，由此生成邊緣提取圖像數(shù)據(jù)的方法。此外例如，在需要高速化時，可以采用如下方法對從圖像變換部52輸出的Y分量、或者對其施加了 LPF的數(shù)據(jù)，施加拉普拉斯(Laplacian)濾波器等、索貝爾濾波器以外
12的任意濾波器，由此生成邊緣提取圖像數(shù)據(jù)。此外例如，在上述實施方式中，以適用本發(fā)明的圖像處理裝置為數(shù)碼照相機等攝像裝置為例進行了說明。但是，本發(fā)明不限定于攝像裝置，不管有無攝像功能，能夠應(yīng)用于能夠執(zhí)行上述圖像處理的一般電子設(shè)備中。具體而言例如，本發(fā)明能夠應(yīng)用于個人計算機、 攝像機、便攜式導(dǎo)航裝置、便攜式游戲機等。上述的一系列處理能夠由硬件執(zhí)行，也能夠由軟件執(zhí)行。在通過軟件執(zhí)行一系列處理時，構(gòu)成該軟件的程序從網(wǎng)絡(luò)、記錄介質(zhì)安裝到計算機等中。計算機可以是組裝在專用硬件中的計算機。此外，計算機還可以是通過安裝各種程序從而能夠執(zhí)行各種功能的計算機，例如通用個人計算機。包含這樣的程序的記錄介質(zhì)，不僅可以通過為了向用戶提供程序而與裝置本體單獨分配的圖1的可移動介質(zhì)31構(gòu)成，還可以通過以預(yù)先組裝到裝置本體內(nèi)的狀態(tài)向用戶提供的記錄介質(zhì)等構(gòu)成。例如，通過磁盤(包括軟盤)、光盤或者光磁盤等構(gòu)成可移動介質(zhì)。 例如，通過CD-ROM(CompactDisk-Read Only Memory)、DVD(Digital Versatile Disk)等構(gòu)成光盤。通過MD (Mini-Disk)等構(gòu)成光磁盤。此外，以預(yù)先組裝到裝置本體內(nèi)的狀態(tài)向用戶提供的記錄介質(zhì)，例如，通過記錄有程序的圖1的R0M12、圖1的存儲部19中所包含的硬盤等構(gòu)成。另外，在本說明書中，記述記錄介質(zhì)中所記錄的程序的步驟，當然包括按照其順序在時間序列上進行的處理，但不是一定要在時間序列上處理，也包括并行或者個別執(zhí)行的處理。
權(quán)利要求
1.一種圖像處理裝置，具備 輸入單元，其輸入圖像數(shù)據(jù)；變換單元，其將通過所述輸入單元輸入的所述圖像數(shù)據(jù)變換為包含亮度分量的顏色空間的形態(tài)的數(shù)據(jù)；選擇單元，其針對由所述變換單元變換后的所述圖像數(shù)據(jù)，按所述顏色空間的每個分量選擇多個像素的數(shù)據(jù)；紋理處理單元，其對由所述選擇單元選擇的所述多個像素的數(shù)據(jù)，以同一運筆圖式實施利用了該像素的顏色的紋理處理；陰影處理單元，其對由所述變換單元變換后的所述圖像數(shù)據(jù)中的亮度低的像素區(qū)域的數(shù)據(jù)，利用該像素的顏色實施陰影處理，附加與所述運筆圖式的方向大致垂直方向的斜線表現(xiàn)；合成單元，其合成由所述紋理處理單元實施了所述紋理處理的所述圖像數(shù)據(jù)、和由所述陰影處理單元實施了所述陰影處理的所述圖像數(shù)據(jù)；輪廓強調(diào)處理單元，其根據(jù)由所述變換單元變換后的所述圖像數(shù)據(jù)的亮度分量，實施輪廓強調(diào)處理，強調(diào)由所述合成單元合成后的數(shù)據(jù)的所述圖像的輪廓部分；和存儲控制單元，其控制由所述輪廓強調(diào)處理單元實施了所述輪廓強調(diào)處理的所述圖像數(shù)據(jù)的存儲。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，所述選擇單元包括像素選擇單元，該像素選擇單元針對由所述變換單元變換后的所述圖像數(shù)據(jù)，選擇該圖像中的任意一行的像素列，產(chǎn)生隨機數(shù)，根據(jù)所產(chǎn)生的隨機數(shù)，從由所述像素選擇單元所選擇的所述像素列中選擇所述多個像素。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述運筆圖式是線狀圖式。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述輸入單元包括攝像單元。
5.一種存儲介質(zhì)，存儲了用于使對所輸入的圖像數(shù)據(jù)實施圖像處理的計算機實現(xiàn)以下功能的程序變換功能，將所輸入的所述圖像數(shù)據(jù)變換為包含亮度分量的顏色空間的形態(tài)的數(shù)據(jù)； 選擇功能，針對通過實現(xiàn)所述變換功能而變換后的所述圖像數(shù)據(jù)，按所述顏色空間的每個分量選擇多個像素的數(shù)據(jù)；紋理處理功能，對通過實現(xiàn)所述選擇功能而選擇的所述多個像素的數(shù)據(jù)，以同一運筆圖式實施利用了該像素的顏色的紋理處理；陰影處理功能，對通過實現(xiàn)所述變換功能而變換后的所述圖像數(shù)據(jù)中的亮度低的像素區(qū)域的數(shù)據(jù)，利用該像素的顏色實施陰影處理，附加與所述運筆圖式的方向大致垂直方向的斜線表現(xiàn)；合成功能，合成通過實現(xiàn)所述紋理處理功能而實施了所述紋理處理的所述圖像數(shù)據(jù)、 和通過實現(xiàn)所述陰影處理功能而實施了所述陰影處理的所述圖像數(shù)據(jù)；輪廓強調(diào)處理功能，根據(jù)通過實現(xiàn)所述變換功能而變換后的所述圖像數(shù)據(jù)的亮度分量，實施輪廓強調(diào)處理，強調(diào)通過實現(xiàn)所述合成功能而合成的數(shù)據(jù)的所述圖像的輪廓部分； 和存儲控制功能，控制通過實現(xiàn)所述輪廓強調(diào)處理功能而實施了所述輪廓強調(diào)處理的所述圖像數(shù)據(jù)的存儲。
全文摘要
本發(fā)明提供一種圖像處理裝置和存儲了圖像處理程序的存儲介質(zhì)，紋理處理部(54)對由處理對象選擇部(53)選擇的多個像素的數(shù)據(jù)以同一運筆圖式實施利用了該像素的顏色的紋理處理。陰影處理部(55)對由YUV分量構(gòu)成的圖像數(shù)據(jù)中的亮度低的(暗的)像素區(qū)域的數(shù)據(jù)，利用該像素的顏色實施陰影處理，附加與運筆圖式的方向大致垂直方向的斜線表現(xiàn)。合成部(56)執(zhí)行合成從陰影處理部(55)輸出的圖像數(shù)據(jù)和從紋理處理部(54)輸出的圖像數(shù)據(jù)的合成處理。由此，考慮原圖像整體來生成進一步提高了藝術(shù)性的演出效果的圖像數(shù)據(jù)。
文檔編號G06T11/00GK102169586SQ201110036938
公開日2011年8月31日 申請日期2011年2月10日 優(yōu)先權(quán)日2010年2月22日
發(fā)明者松本直也 申請人:卡西歐計算機株式會社