專利名稱：圖像處理裝置、攝像裝置、程序和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置、攝像裝置、程序和圖像處理方法等。
背景技術(shù)：
如今，有的數(shù)碼相機、攝像機能切換使用靜止圖像拍攝方式和動態(tài)圖像拍攝方式。例如，在動態(tài)圖像拍攝中用戶通過進行按鈕操作，能拍攝分辨率比動態(tài)圖像高的靜止圖像。
現(xiàn)有技術(shù)文獻_4] 專利文獻專利文獻I :特開2009-124621號公報專利文獻2 :特開2008-243037號公報

發(fā)明內(nèi)容
_7] 發(fā)明要解決的問題然而，在切換靜止圖像拍攝方式和動態(tài)圖像拍攝方式的方法中，存在當用戶注意快門時機時往往已經(jīng)錯過了決定性的瞬間的問題。為了實現(xiàn)該決定性的瞬間的拍攝，本發(fā)明人考慮利用像素移位的方法從動態(tài)圖像生成任意定時的高分辨靜止圖像。作為像素移位的方法，例如專利文獻1、2中公開了從通過像素移位取得的低分辨圖像合成高分辨圖像的方法。然而，在專利文獻1、2的方法中，存在處理負荷増大、有時難以推定像素值的問題。根據(jù)本發(fā)明的幾個實施方式，能提供能以簡單處理從低分辨動態(tài)圖像取得高分辨圖像的圖像處理裝置、攝像裝置、程序和圖像處理方法等。用于解決問題的方案本發(fā)明的一個實施方式涉及ー種圖像處理裝置，包括存儲部，其在按攝像元件的每多個像素設(shè)定作為取得受光值的単位的受光單位，將包含于上述受光單位的多個像素的像素值相加而作為上述受光單位的受光值來讀出，取得低分辨幀圖像的情況下，存儲所取得的上述低分辨幀圖像；推定運算部，其根據(jù)存儲于上述存儲部的多個低分辨幀圖像，推定包含于上述受光單位的各像素的像素值；以及圖像輸出部，其根據(jù)由上述推定運算部推定出的像素值來輸出分辨率比上述低分辨幀圖像高的高分辨幀圖像，在上述圖像處理裝置中，ー邊使上述受光單位重疊ー邊依次進行像素移位而讀出上述受光單位的受光值，取得上述低分辨幀圖像，上述推定運算部根據(jù)使上述受光單位依次進行像素移位而得到的多個受光值來推定包含于上述受光單位的各像素的像素值。根據(jù)本發(fā)明的一個實施方式，將包含于受光單位的多個像素的像素值相加來讀出受光值，取得低分辨幀圖像。一邊使受光単位重疊地依次進行像素移位ー邊讀出該受光值。根據(jù)使受光単位依次進行像素移位而得到的多個受光值來推定包含于受光単位的各像素的像素值，根據(jù)推定出的像素值來輸出高分辨幀圖像。由此，能以簡單的處理從低分辨動態(tài)圖像取得高分辨圖像等。
另外，在本發(fā)明的一個實施方式中也可以是，通過上述像素移位將上述受光單位依次設(shè)定于第I方位和上述第I方位的下一個的第2方位，上述第I方位的受光單位與上述第2方位的受光單位重疊，在該情況下，上述推定運算部求出上述第I方位的受光單位、第2方位的受光單位的受光值的差分值，用上述差分值表示從上述第I方位的受光單位除去重疊區(qū)域后的第I受光區(qū)域的受光值即第I中間像素值與從上述第2方位的受光單位除去上述重疊區(qū)域后的第2受光區(qū)域的受光值即第2中間像素值之間的關(guān)系式，用上述關(guān)系式推定上述第I中間像素值、第2中間像素值，用推定出的上述第I中間像素值來求出上述受光單位的各像素的像素值。這樣，從ー邊使受光単位重疊地依次進行像素移位一邊讀出的受光值推定中間像素值，能從推定出的中間像素值求出最終的推定像素值。由此，能簡化高分辨幀圖像的像素值推定。另外，在本發(fā)明的一個實施方式中也可以是，上述推定運算部在設(shè)包含上述第I中間像素值、第2中間像素值的連續(xù)的中間像素值為中間像素值模式的情況下，用上述受 光単位的受光值來表示上述中間像素值模式的中間像素值間的關(guān)系式，對用中間像素值間的關(guān)系式表示的上述中間像素值模式和上述受光單位的受光值進行比較來評價類似性，根據(jù)上述類似性的評價結(jié)果，以使上述類似性為最高的方式?jīng)Q定上述中間像素值模式的中間像素值的值。這樣，能根據(jù)使受光単位重疊地進行像素移位而取得的多個受光值來推定中間像素值。另外，在本發(fā)明的一個實施方式中也可以是，上述推定運算部求出表示用中間像素值間的關(guān)系式表示的上述中間像素值模式與上述受光單位的受光值之間的誤差的評價函數(shù)，以使上述評價函數(shù)的值為最小的方式?jīng)Q定上述中間像素值模式的中間像素值的值。這樣，以使評價函數(shù)的值最小的方式?jīng)Q定中間像素值的值，由此能以使中間像素值模式與受光值的類似性最高的方式?jīng)Q定中間像素值的值。另外，在本發(fā)明的一個實施方式中也可以是，根據(jù)已知的高分辨幀圖像，取得上述中間像素值模式對上述受光單位的受光值的對應(yīng)關(guān)系作為預先決定上述受光單位的受光值與上述中間像素值模式的類似性的預見信息，上述推定運算部根據(jù)上述預見信息來評價用中間像素值間的關(guān)系式表示的上述中間像素值模式與所取得的上述受光單位的受光值之間的類似性。這樣，能根據(jù)基于已知的高分辨幀圖像而取得的預見信息來評價類似性，根據(jù)其評價結(jié)果來決定中間像素值。另外，在本發(fā)明的一個實施方式中也可以是，上述推定運算部具有神經(jīng)網(wǎng)絡(luò)，上述神經(jīng)網(wǎng)絡(luò)將如下系數(shù)用作節(jié)點的權(quán)重系數(shù)該系數(shù)是通過基于上述已知的高分辨幀圖像的學習而作為上述預見信息得到的系數(shù)，上述神經(jīng)網(wǎng)絡(luò)接受中間像素值模式和上述受光單位的受光值，輸出上述類似性的評價結(jié)果，上述推定運算部根據(jù)來自上述神經(jīng)網(wǎng)絡(luò)的上述類似性的評價結(jié)果來決定上述中間像素值模式的中間像素值的值。這樣，通過使用以節(jié)點的權(quán)重系數(shù)作為預見信息的神經(jīng)網(wǎng)絡(luò)，能實現(xiàn)基于預見信息的類似性評價。另外，在本發(fā)明的一個實施方式中也可以是，將上述受光單位的各像素值加權(quán)相加而作為上述受光單位的受光值來讀出，上述推定運算部根據(jù)通過加權(quán)相加得到的上述受光単位的受光值來推定上述受光單位的各像素的像素值。這樣，對受光単位的各像素值進行加權(quán)相加來取得低分辨幀圖像，能從所取得的低分辨幀圖像推定高分辨幀圖像的像素值。另外，在本發(fā)明的一個實施方式中也可以是，按各幀進行上述像素移位，通過上述像素移位將上述受光單位依次設(shè)定于多個方位，按每多個幀將上述受光單位設(shè)定于相同的方位，上述低分辨幀圖像是按時間序列與各方位對應(yīng)取得的連續(xù)低分辨幀圖像，在該情況下，包括插值處理部，上述插值處理部進行對上述各幀中的上述多個方位的受光單位的受光值進行插值的處理，上述插值處理部對插值對象的幀的上述連續(xù)低分辨幀圖像中的欠缺的方位的受光單位的受光值，用上述插值對象的幀的前后幀的上述連續(xù)低分辨幀圖像中的與上述欠缺的方位相同的方位的受光單位的受光值進行時間軸插值，上述推定運算部根據(jù)通過上述時間軸插值進行了插值的上述連續(xù)低分辨幀圖像來推定上述各幀中的上述受光 單位的各像素的像素值。這樣，通過像素移位取得受光值，用所取得的受光值對欠缺的方位的受光值進行插值，能從插值后的受光值求出受光單位的各像素的像素值。另外，在本發(fā)明的一個實施方式中也可以是，上述圖像輸出部將以由上述推定運算部推定出的上述各幀中的上述受光單位的各像素的像素值為基礎(chǔ)的各幀中的上述高分辨幀圖像作為靜止圖像或者動態(tài)圖像來輸出。這樣，能將各幀中的高分辨幀圖像作為靜止圖像或者動態(tài)圖像來輸出。另外，在本發(fā)明的一個實施方式中也可以是，上述插值處理部通過時間軸插值濾波來進行上述時間軸插值。這樣，能通過時間軸插值濾波來進行時間軸插值。另外，在本發(fā)明的一個實施方式中也可以是，上述插值處理部在上述前后幀中的受光單位的受光值的差分值小于規(guī)定的閾值的情況下，用上述前后幀中的與上述欠缺的方位相同的方位的受光單位的受光值來對上述插值對象的幀中的上述欠缺的方位的受光單位的受光值進行插值，在上述前后幀中的受光單位的受光值的差分值大于規(guī)定的閾值的情況下，用在上述插值對象的幀中取得的受光值對上述插值對象的幀中的上述欠缺的方位的受光單位的受光值進行插值。這樣，能根據(jù)插值對象的幀的前后幀中的受光單位的受光值的差分值來進行插值對象的幀中的受光值的時間軸插值。另外，在本發(fā)明的一個實施方式中也可以是，第I受光單位與第2受光單位是相鄰的受光單位，通過像素移位將上述第I受光單位、第2受光單位依次設(shè)定于第I方位和上述第I方位的下一個的第2方位，上述第I方位的上述第I受光單位、第2方位的上述第I受光単位在第I重疊區(qū)域中重疊，上述第I方位的上述第2受光單位、第2方位的上述第2受光単位在第2重疊區(qū)域中重疊，在該情況下，上述推定運算部推定從上述第I方位的上述第I受光單位除去上述第I重疊區(qū)域后的第I受光區(qū)域的受光值即第I中間像素值與從上述第2方位的上述第I受光單位除去上述第I重疊區(qū)域后的第2受光區(qū)域的受光值即第2中間像素值，將從上述第I方位的上述第2受光單位除去上述第2重疊區(qū)域后的第3受光區(qū)域的受光值即第3中間像素值設(shè)為未知數(shù)，用使用了上述未知數(shù)的關(guān)系式來表示從上述第2方位的上述第2受光單位除去上述第2重疊區(qū)域后的第4受光區(qū)域的受光值即第4中間像素值，根據(jù)作為與上述第3受光區(qū)域相同的區(qū)域的上述第2受光區(qū)域的中間像素值而求出的上述第2中間像素值來設(shè)定上述未知數(shù)的探索范圍，在設(shè)定的上述探索范圍中探索性地求出上述未知數(shù)來推定上述第3中間像素值。這樣，能根據(jù)先求出的第2中間像素值來設(shè)定接著推定的未知數(shù)的探索范圍。另外，在本發(fā)明的一個實施方式中也可以是，第I受光單位與第2受光單位是相鄰的受光單位，通過像素移位將上述第I受光單位、第2受光單位依次設(shè)定于第I方位和上述第I方位的下一個的第2方位，上述第I方位的上述第I受光單位、第2方位的上述第I受光単位在第I重疊區(qū)域中重疊，上述第I方位的上述第2受光單位、第2方位的上述第2受光単位在第2重疊區(qū)域中重疊，在該情況下，上述推定運算部推定第I中間像素值模式，上述第I中間像素值模式是包括第I中間像素值和第2中間像素值的連續(xù)的中間像素值，上 述第I中間像素值是從上述第I方位的上述第I受光單位除去上述第I重疊區(qū)域后的第I受光區(qū)域的受光值，上述第2中間像素值是從上述第2方位的上述第I受光單位除去上述第I重疊區(qū)域后的第2受光區(qū)域的受光值；推定第2中間像素值模式，上述第2中間像素值模式是包括第3中間像素值和第4中間像素值的連續(xù)的中間像素值，上述第3中間像素值是從上述第I方位的上述第2受光單位除去上述第2重疊區(qū)域后的第3受光區(qū)域的受光值，上述第4中間像素值是從上述第2方位的上述第2受光單位除去上述第2重疊區(qū)域后的第4受光區(qū)域的受光值；推定第3中間像素值模式，上述第3中間像素值模式是包括第5中間像素值、但不包括上述第I中間像素值、第4中間像素值的連續(xù)的中間像素值，上述第5中間像素值是作為上述第2方位的上述第I受光單位與上述第I方位的上述第2受光單位的重疊區(qū)域的第5受光區(qū)域的受光值，在上述第3受光區(qū)域、第5受光區(qū)域是與上述第2受光區(qū)域相同的受光區(qū)域的情況下，根據(jù)通過上述第I 第3中間像素值模式的推定而得到的上述第2中間像素值、第3中間像素值、第5中間像素值來最終決定上述相同的受光區(qū)域的中間像素值。這樣，根據(jù)對相同的受光區(qū)域的中間像素值進行3次推定而求出的3個推定值，能決定該受光區(qū)域的最終的中間像素值。另外，在本發(fā)明的一個實施方式中也可以是，上述推定運算部對通過推定而得到的像素值進行根據(jù)上述受光單位內(nèi)的像素位置而不同的濾波系數(shù)的濾波處理。這樣，能對通過推定而得到的像素值進行與受光單位內(nèi)的像素位置相應(yīng)的濾波處理。另外，在本發(fā)明的一個實施方式中也可以是，被拍攝體的明亮度越暗像素數(shù)越多地設(shè)定包含于上述受光單位的像素數(shù)，上述圖像輸出部在上述被拍攝體的明亮度越暗時輸出靈敏度越高的上述高分辨幀圖像。這樣，根據(jù)被拍攝體的明亮度來設(shè)定包含于受光単位的像素數(shù)，能輸出與被拍攝體的明亮度相應(yīng)的靈敏度的高分辨幀圖像。另外，在本發(fā)明的一個實施方式中也可以是，上述攝像元件是彩色攝像元件，將相鄰的多個像素不依賴于像素的顔色地設(shè)定于上述受光單位，將設(shè)定于上述受光單位的上述相鄰的多個像素的像素值相加而讀出，取得上述低分辨率幀圖像，上述推定運算部根據(jù)所取得的上述低分辨率幀圖像來推定上述受光單位的各像素的像素值，上述圖像輸出部根據(jù)由上述推定運算部推定出的像素值來輸出彩色的上述高分辨幀圖像。另外，在本發(fā)明的一個實施方式中也可以是，上述攝像元件是彩色攝像元件，將相同顔色的多個像素設(shè)定于上述受光單位，將設(shè)定于上述受光單位的上述相同顔色的多個像素的像素值相加而讀出，取得上述低分辨率幀圖像，上述推定運算部根據(jù)所取得的上述低分辨率幀圖像來推定上述受光單位的各像素的像素值，上述圖像輸出部根據(jù)由上述推定運算部推定出的像素值來輸出彩色的上述高分辨幀圖像。根據(jù)本發(fā)明這些實施方式，在使用彩色攝像元件的情況下，也能取得低分辨幀圖像，從該低分辨幀圖像進行像素值的推定，取得彩色的高分辨幀圖像。另外，本發(fā)明的其它實施方式涉及ー種攝像裝置 ，包括攝像元件；讀出控制部，其按上述攝像元件的每多個像素設(shè)定受光単位，將上述受光單位的多個像素的像素值相加而作為上述受光單位的受光值來讀出，取得低分辨率幀圖像；存儲部，其存儲由上述讀出控制部取得的上述低分辨幀圖像；推定運算部，其根據(jù)存儲于上述存儲部的多個低分辨幀圖像來推定上述受光單位的各像素的像素值；以及圖像輸出部，其根據(jù)由上述推定運算部推定出的像素值來輸出分辨率比上述低分辨幀圖像高的高分辨幀圖像，上述讀出控制部ー邊使上述受光單位重疊ー邊依次進行像素移位而讀出上述受光單位的受光值來取得上述低分辨幀圖像，上述推定運算部根據(jù)使上述受光單位依次進行像素移位而得到的多個受光值來推定上述受光單位的各像素的像素值。另外，本發(fā)明的其它實施方式涉及ー種程序，使計算機作為如下裝置發(fā)揮功能存儲部，其在按攝像元件的每多個像素設(shè)定作為取得受光值的単位的受光單位，將包含于上述受光単位的多個像素的像素值相加而作為上述受光單位的受光值來讀出，取得低分辨率幀圖像的情況下，存儲所取得的上述低分辨幀圖像；推定運算部，其根據(jù)存儲于上述存儲部的多個低分辨幀圖像來推定包含于上述受光單位的各像素的像素值；以及圖像輸出部，其根據(jù)由上述推定運算部推定出的像素值來輸出分辨率比上述低分辨幀圖像高的高分辨幀圖像，在上述程序中，ー邊使上述受光單位重疊ー邊依次進行像素移位而讀出上述受光單位的受光值，取得上述低分辨幀圖像，上述推定運算部根據(jù)使上述受光單位依次進行像素移位而得到的多個受光值來推定包含于上述受光單位的各像素的像素值。另外，本發(fā)明的其它實施方式涉及ー種圖像處理方法，按攝像元件的每多個像素設(shè)定受光単位，ー邊使上述受光單位重疊ー邊依次進行像素移位而將上述受光單位的多個像素的像素值相加來作為上述受光單位的受光值讀出，取得低分辨幀圖像，在該情況下，存儲所取得的上述低分辨幀圖像，根據(jù)作為構(gòu)成所存儲的多個低分辨幀圖像的受光值的、通過使上述受光單位依次進行像素移位而得到的多個受光值，推定上述受光單位的各像素的像素值，根據(jù)推定出的像素值來輸出分辨率比上述低分辨幀圖像高的高分辨幀圖像。


[圖I]圖I(A)是推定處理塊的說明圖，圖I(B)是受光単位的說明圖。[圖2]圖2(A)是推定像素值的說明圖，圖2(B)是中間像素值的說明圖。[圖3]圖3是第I推定方法的中間像素值的推定方法的說明圖。[圖4]圖4是第I推定方法的中間像素值的推定方法的說明圖。[圖5]圖5是第I推定方法的中間像素值的推定方法的說明圖。
[圖6]圖6(A)、圖6(B)是第I推定方法的推定像素值的推定方法的說明圖。[圖7]圖7是第I推定方法的推定像素值的推定方法的說明圖。[圖8]圖8是第I推定方法的推定像素值的推定方法的說明圖。[圖9]圖9是第I推定方法的推定像素值的推定方法的說明圖。[圖10]圖10是第2推定方法的說明圖。[圖11]圖11是第2推定方法的說明圖。[圖12]圖12是第2推定方法的說明圖。[圖13]圖13是第2推定方法的說明圖。 [圖14]圖14是第2推定方法的探索范圍設(shè)定的說明圖。[圖15]圖15是第2推定方法的概要說明圖。[圖16]圖16是第3推定方法的說明圖。[圖17]圖17是第3推定方法的概要說明圖。[圖18]圖18是第4推定處理的說明圖。[圖19]圖19是噪聲濾波的構(gòu)成例。[圖20]圖20是第5推定處理中的權(quán)重系數(shù)的說明圖。[圖21]圖21(A)、圖21 (B)是第5推定處理中的中間像素值的推定方法的說明圖。[圖22]圖22是第5推定處理中的中間像素值的推定方法的說明圖。[圖23]圖23是第5推定處理中的中間像素值的推定方法的說明圖。[圖24]圖24是第5推定處理中的中間像素值的推定方法的說明圖。[圖25]圖25(A)、圖25 (B)是第5推定處理中的推定像素值的推定方法的說明圖。[圖26]圖26是第5推定處理中的推定像素值的推定方法的說明圖。[圖27]圖27是第5推定處理中的推定像素值的推定方法的說明圖。[圖28]圖28是第5推定處理中的推定像素值的推定方法的說明圖。[圖29]圖29是受光值的第I插值方法的說明圖。[圖30]圖30是插值處理的定時圖例。[圖31]圖31是攝像裝置和圖像處理裝置的第I詳細構(gòu)成例。[圖32]圖32是對融合幀的動態(tài)補償?shù)恼f明圖。[圖33]圖33是受光值的第2插值方法的說明圖。[圖34]圖34是受光值的第2插值方法的說明圖。[圖35]圖35是彩色圖像的第I推定方法的說明圖。[圖36]圖36是彩色圖像的第2推定方法的說明圖。[圖37]圖37是彩色圖像的第2推定方法的說明圖。[圖38]圖38是彩色圖像的第2推定方法的說明圖。[圖39]圖39是彩色圖像的第2推定方法的說明圖。[圖40]圖40是適應(yīng)于明亮度的相加像素數(shù)的設(shè)定方法。[圖41]圖41是攝像裝置和圖像處理裝置的第2詳細構(gòu)成例。
具體實施例方式下面詳細說明本發(fā)明的優(yōu)選實施方式。此外，以下說明的本實施方式并非對權(quán)利要求中記載的本發(fā)明的內(nèi)容進行不當限定，在本實施方式中說明的構(gòu)成未必都是本發(fā)明的解決方案所必須的。I.比較仞丨首先說明本實施方式的比較例。在數(shù)碼相機、攝像機的產(chǎn)品中，有些以靜止圖像拍攝為主的數(shù)碼相機帶有動態(tài)圖像拍攝功能，有些以動態(tài)圖像拍攝為主的攝像機帶有靜止圖像拍攝功能。這些照相機多是切換使用靜止圖像拍攝方式和動態(tài)圖像拍攝方式。其中，存在能以伴隨動態(tài)圖像拍攝的高幀速率拍攝高精細靜止圖像的產(chǎn)品，它能進行短時間的高速連拍。若使用這種器材，則具有能用ー個器材來進行靜止圖像和動態(tài)圖像的拍攝的便利性。然而，在這些方法中，存在難以不會錯過很多人所追求的快門時機地得到高質(zhì)量的靜止圖像的問題。例如，在動態(tài)圖像拍攝中瞬時切換為拍攝高質(zhì)量靜止圖像的方式的方法中，存在動態(tài)圖像被中斷，在用戶注意到時已經(jīng)錯過了決定性的瞬間的問題。為了解決不會錯過該快門時機的問題，想到了通過動態(tài)圖像拍攝無遺漏地拍攝全 部場景，從其中自由得到?jīng)Q定性的瞬間作為高質(zhì)量的靜止圖像的方法。為了實現(xiàn)該方法，需要能以高幀速率拍攝高精細圖像。然而，該方法的實現(xiàn)并不容易。例如，為了以60fps(fps :幀/秒)連續(xù)拍攝1200萬像素的圖像，需要能進行超高速拍攝的攝像元件、對攝像數(shù)據(jù)進行超高速處理的處理電路、超高速數(shù)據(jù)壓縮處理功能、記錄龐大數(shù)據(jù)的記錄單元。為此，需要使用多個攝像元件、并行處理、大規(guī)模存儲器、高能力散熱機構(gòu)等，在追求小型化、低成本的民用器材中并不現(xiàn)實。如果不是動態(tài)圖像拍攝的高清(200萬像素)程度的分辨率的高質(zhì)量的靜止圖像，可以實現(xiàn)，但是作為高清程度的分辨率的靜止圖像是不充分的。另外，作為進行高幀速率的動態(tài)圖像拍攝的方法，可考慮如下方法使用能用多像素拍攝高精細圖像的高像素圖像傳感器，通過像素的間拔讀出或者相鄰像素的相加讀出來進行低分辨圖像化，通過減少I次讀出數(shù)據(jù)來實現(xiàn)。然而，在該方法中，無法以高幀速率拍攝聞精細圖像。為了解決該問題，需要從以高幀速率拍攝到的低分辨圖像得到高分辨圖像。作為從低分辨圖像得到高分辨圖像的方法，可考慮如下方法例如對通過像素偏移而拍攝到的低分辨圖像進行所謂超分辨處理來生成高分辨圖像。例如，可考慮使用相加讀出的方法。即，將低分辨圖像依次進行位置偏移并且讀出后，根據(jù)該多個位置偏移圖像來暫時假定高精細化圖像。并且，使假定的圖像惡化來生成低分辨圖像，將其與原來的低分辨圖像進行比較，以其差異最小的方式使高精細圖像變形，推定高精細圖像。作為該超分辨處理，已知ML(Maximum-Likelihood :最大似然)法、MAP (Maximum A Posterior :最大后驗概率)法、POCS (Pro jection Onto Convex Set :凸集投影)法、IBP (Iterative Back Projection :迭代反投影)法等。另外，作為使用超分辨處理的方法，有上述專利文獻I公開的方法。在該方法中，在動態(tài)圖像拍攝時按時間序列依次拍攝進行了像素移位的低分辨圖像，將該多個低分辨圖像合成來假定高分辨圖像。并且，對該假定的高分辨圖像實施上述超分辨處理，推定似然高的高分辨圖像。然而，在這些方法中，使用通過多使用ニ維濾波的反復運算來提高推定精度的一般超分辨處理。因此，存在處理的規(guī)模非常大，處理時間增加，難以應(yīng)用于處理能力、成本受限的器材的問題。例如，當用于數(shù)碼相機這種小型便攜攝像裝置吋，出現(xiàn)處理電路的規(guī)模會變大、消耗電カ増大、產(chǎn)生大量的熱、成本大幅度増加等問題。另外，在上述專利文獻2中公開了用進行了像素移位的多個低分辨圖像來生成高分辨圖像的方法。在該方法中，使構(gòu)成想求出的高分辨圖像的假像素為副像素，以該副像素的平均值與拍攝到的低分辨圖像的像素值一致的方式推定副像素的像素值。在該像素值的推定中，設(shè)定多個副像素的初始值，從低分辨圖像的像素值減去除了想算出的副像素以外的副像素的像素值來求出像素值，將其應(yīng)用于依次相鄰的像素。然而，在該方法中，存在如果初始值確定不好則推定誤差會非常大的問題。在該方法中，為了設(shè)定初始值，從圖像找出副像素的像素值變化小、涵蓋它們的低分辨像素值大致等于它們的平均值的部分。因此，當無法從拍攝圖像找到適于初始值的設(shè)定的部分時，就難以進行初始值的推定。另外，也會需要探索適于初始值的設(shè)定的部分的處理。2.第I推定方法 因此，在本實施方式中，通過像素偏移來拍攝高幀速率的低分辨動態(tài)圖像，用簡單的像素推定方法從該低分辨圖像生成高分辨圖像。并且，用生成的高分辨圖像取得動態(tài)圖像中的任意定時的高分辨靜止圖像，或者取得高幀速率的高分辨動態(tài)圖像。下面使用附圖詳細說明這樣的本實施方式的方法。圖1(A)、圖I(B)示出了用于像素推定的推定處理塊和受光單位的示意性說明圖。在圖1(A)、圖I(B)中，用實線的方形示出攝像元件上的像素，用i示出水平方向(水平掃描方向)的像素位置，用j示出垂直方向的像素位置(i、j為自然數(shù))。如圖I(A)所示，設(shè)定以mXn像素為I塊的推定處理塊Bk。。、Bk10,…。在本實施方式中，按每個該推定處理塊來進行高分辨圖像的像素值的推定處理。圖I(B)示意性地示出上述推定處理塊中的I個。如圖I(B)所示，將4像素(廣義上為多個像素)設(shè)定為I個受光単位，將該受光単位內(nèi)的4像素的像素值相加讀出(混合讀出)，取得受光單位的受光值 ^OO a(m-l(n-l) (相加像素值，4像素相加值)。該受光單位按每4像素設(shè)定，通過按每幀偏移I像素地設(shè)定受光單位來依次取得受光值aTO
(n-i) ο例如，在第I幀中取得···，在第2幀中取得a1(l、a3(l、···，在第3幀中取得an、a31、···，在第4巾貞中取得aQ1、a21、…。用圖2(A) 圖9說明本實施方式的像素推定方法。下面為了簡化說明，以按每2X2像素設(shè)定推定處理塊的情況為例進行說明。此外，像素推定所用的受光值Btltl an可以是通過相加讀出而取得的受光值，也可以是通過后述的時間軸插值進行插值后的受光值。圖2(A)、圖2(B)示出推定像素值和中間像素值的說明圖。如圖2㈧所示，用受光值Btltl an來最終推定像素值V。。 V22 (推定像素值)。即，設(shè)攝像元件的像素間距為P，從由像素間距為2p的受光單位取得的低分辨圖像推定分辨率(像素數(shù))與像素間距為P的攝像元件相同的高分辨圖像。此時，如圖2⑶所示，從受光值aQQ an推定中間像素值bQ(l b21 (中間推定像素值，2像素相加值)，從該中間像素值bTO b21推定像素值Vt v22。以圖3示出的水平方向的最初的行的中間像素值1 b2(l為例說明該中間像素值的推定方法。在受光值與中間像素值之間，下式(I)的關(guān)系成立。
a00 = b00+b10,a10 = b10+b20…(I)設(shè)bQQ為未知數(shù)(初始變量，初始值)對上式(I)進行變形，則如下式⑵所示，能將中間像素值b1(l、b2(l表示為1 的函數(shù)。V1=(未知數(shù))，
b10 — aQQ-boo，b20 = b00+ δ i0 = b00+ (a10-a00) …(2)在此，如下式(3)所示，δ Ici是錯開I個移位的受光值的差分值，與中間像素值b2Q、b00的差分值對應(yīng)。δ i0 = a10-a00= (b10+b20) - (b00+b10)= b20-b00…(3)這樣，能求出以bTO為未知數(shù)的高精細的中間像素值Ibtltl,b1(l，b2(l}的組合模式。為了決定表示為該1 的函數(shù)的中間像素值的絕對值(值，數(shù)值)，需要求出未知數(shù)b,如圖4所示，在本實施方式中，將通過重疊移位采樣來檢測的像素值的模式{a,a10}與中間像素值的模式Ibc^bwb2J進行比較。并且，導出其誤差最小的未知數(shù)1 ，將導出的未知數(shù)1 設(shè)定為最終的中間像素值bTO。具體地說，如下式(4)所示，用未知數(shù)bTO的函數(shù)表示誤差的評價函數(shù)Ej。并且，如圖5所示，探索性地求出使評價函數(shù)Ej為最小(極小值)的未知數(shù)V1= α (初始值)(最小ニ乘法)。[數(shù)I]eij =(^f-bIj)2-bd+i)j
22…(4)
IEj = ^eij
/=O如上式(4)所示，在本實施方式中，進行中間像素值的平均值與具有低頻成分的模式{a, a10}的誤差評價。由此，能抑制導出包含大量高頻成分的模式作為中間像素值{b00, b10, b20}的推定解的情況。即，即使未知數(shù)的推定不正確，也會生成包含大量低頻成分的圖像。因此，能抑制生成在比低頻成分更容易增強不自然感的高頻成分中包含錯誤的模式，作為圖像不會看起來有失自然。由此，能對高頻成分比低頻成分小的自然圖像進行合理的像素推定。這樣，推定中間像素值bTO的值，將推定出的1 的值代入上式(2)來決定中間像素值b1(l、b20的值。并且，同樣將V作為未知數(shù)來推定第2行中間像素值V b21。下面說明用推定出的中間像素值bu求出最終的推定像素值Vij的方法。圖6㈧、圖6(B)示意性地示出中間像素值和推定像素值的說明圖。如圖6(A)所示，用由上述方法推定出的3列中間像素值1 b21中的2列中間像素值1 bn來進行推定。如圖6(B)所示，從中間像素值1 bn推定像素值Vtltl V12。下面為了簡化說明，以圖7示出的第I列像素值Vw Vtl2為例進行說明。像素值Vt Vtl2的推定用與上述中間像素值的推定方法同樣的方法進行。具體地說，中間像素值V^btll與使像素值Vw Vtl2在垂直方向上以2像素為單位分別移位I像素地重疊采樣的值等價。因此，在中間像素值與推定像素值之間，下式(5)的關(guān)系成立。b00 = v00+v01,b01 = v01+v02…(5)如下式(6)所示，能將像素值V(ll、Vtl2表示為未知數(shù)Vtltl的函數(shù)。V。。=(未知數(shù))，V01 — b00_v00JV02 = V00+ δ J0 = V00+ (b01-b00) …(6)在此，如下式(7)所示，Sjci為錯開I移位的中間像素值的差分值，與像素值Vq2、V00的差分值對應(yīng)。δ i0 = b01-b00= (v01+v02) - (v00+v01)= V02-V00…(7)如圖8所示，導出使中間像素值的模式{bQ(l，b1Q}與推定像素值的模式Ivcitl, Vtll, vQ2}的誤差為最小的未知數(shù)Vo。。即，如下式(8)所示，用評價函數(shù)Ei表示誤差，如圖9所示，探索性地求出使該評價函數(shù)Ei最小的未知數(shù)Vw = β。[數(shù)2]
權(quán)利要求
1.ー種圖像處理裝置，其特征在干， 包括 存儲部，其在按攝像元件的每多個像素設(shè)定作為取得受光值的単位的受光單位，將包含于上述受光單位的多個像素的像素值相加而作為上述受光單位的受光值來讀出，取得低分辨幀圖像的情況下，存儲所取得的上述低分辨幀圖像； 推定運算部，其根據(jù)存儲于上述存儲部的多個低分辨幀圖像來推定包含于上述受光單位的各像素的像素值；以及 圖像輸出部，其根據(jù)由上述推定運算部推定出的像素值來輸出分辨率比上述低分辨幀圖像高的高分辨幀圖像， 在上述圖像處理裝置中，ー邊使上述受光單位重疊ー邊依次進行像素移位而讀出上述受光單位的受光值，取得上述低分辨幀圖像， 上述推定運算部根據(jù)使上述受光單位依次進行像素移位而得到的多個受光值來推定包含于上述受光單位的各像素的像素值。
2.根據(jù)權(quán)利要求I所述的圖像處理裝置，其特征在干， 通過上述像素移位將上述受光單位依次設(shè)定于第I方位和上述第I方位的下一個的第2方位，上述第I方位的受光單位與上述第2方位的受光單位重疊，在該情況下， 上述推定運算部求出上述第I方位的受光單位、第2方位的受光單位的受光值的差分值， 用上述差分值表示從上述第I方位的受光單位除去重疊區(qū)域后的第I受光區(qū)域的受光值即第I中間像素值與從上述第2方位的受光單位除去上述重疊區(qū)域后的第2受光區(qū)域的受光值即第2中間像素值之間的關(guān)系式， 用上述關(guān)系式推定上述第I中間像素值、第2中間像素值，用推定出的上述第I中間像素值來求出上述受光單位的各像素的像素值。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在干， 上述推定運算部在設(shè)包含上述第I中間像素值、第2中間像素值的連續(xù)的中間像素值為中間像素值模式的情況下，用上述受光單位的受光值來表示上述中間像素值模式的中間像素值間的關(guān)系式， 對用中間像素值間的關(guān)系式表示的上述中間像素值模式和上述受光單位的受光值進行比較來評價類似性， 根據(jù)上述類似性的評價結(jié)果，以使上述類似性為最高的方式?jīng)Q定上述中間像素值模式的中間像素值的值。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在干， 上述推定運算部求出表示用中間像素值間的關(guān)系式表示的上述中間像素值模式與上述受光単位的受光值之間的誤差的評價函數(shù)，以使上述評價函數(shù)的值為最小的方式?jīng)Q定上述中間像素值模式的中間像素值的值。
5.根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在干， 根據(jù)已知的高分辨幀圖像，取得上述中間像素值模式對上述受光單位的受光值的對應(yīng)關(guān)系作為預先決定上述受光單位的受光值與上述中間像素值模式的類似性的預見信息，上述推定運算部根據(jù)上述預見信息來評價用中間像素值間的關(guān)系式表示的上述中間像素值模式與所取得的上述受光單位的受光值之間的類似性。
6.根據(jù)權(quán)利要求5所述的圖像處理裝置，其特征在干， 上述推定運算部具有神經(jīng)網(wǎng)絡(luò)，上述神經(jīng)網(wǎng)絡(luò)將如下系數(shù)用作節(jié)點的權(quán)重系數(shù)該系數(shù)是通過基于上述已知的高分辨幀圖像的學習而作為上述預見信息得到的系數(shù)， 上述神經(jīng)網(wǎng)絡(luò)接受中間像素值模式和上述受光單位的受光值，輸出上述類似性的評價結(jié)果， 上述推定運算部根據(jù)來自上述神經(jīng)網(wǎng)絡(luò)的上述類似性的評價結(jié)果來決定上述中間像素值模式的中間像素值的值。
7.根據(jù)權(quán)利要求I所述的圖像處理裝置，其特征在干， 將上述受光單位的各像素值加權(quán)相加而作為上述受光單位的受光值來讀出， 上述推定運算部根據(jù)通過加權(quán)相加得到的上述受光單位的受光值來推定上述受光單位的各像素的像素值。
8.根據(jù)權(quán)利要求I所述的圖像處理裝置，其特征在干， 按各幀進行上述像素移位，通過上述像素移位將上述受光單位依次設(shè)定于多個方位，按每多個幀將上述受光單位設(shè)定于相同的方位，上述低分辨幀圖像是按時間序列與各方位對應(yīng)取得的連續(xù)低分辨幀圖像，在該情況下， 包括插值處理部，上述插值處理部進行對上述各幀中的上述多個方位的受光單位的受光值進行插值的處理，上述插值處理部對插值對象的幀的上述連續(xù)低分辨幀圖像中的欠缺的方位的受光單位的受光值，用上述插值對象的幀的前后幀的上述連續(xù)低分辨幀圖像中的與上述欠缺的方位相同的方位的受光單位的受光值進行時間軸插值， 上述推定運算部根據(jù)通過上述時間軸插值進行了插值的上述連續(xù)低分辨幀圖像來推定上述各幀中的上述受光單位的各像素的像素值。
9.根據(jù)權(quán)利要求8所述的圖像處理裝置，其特征在干， 上述圖像輸出部將以由上述推定運算部推定出的上述各幀中的上述受光單位的各像素的像素值為基礎(chǔ)的各幀中的上述高分辨幀圖像作為靜止圖像或者動態(tài)圖像來輸出。
10.根據(jù)權(quán)利要求8所述的圖像處理裝置，其特征在干， 上述插值處理部通過時間軸插值濾波來進行上述時間軸插值。
11.根據(jù)權(quán)利要求8所述的圖像處理裝置，其特征在干， 上述插值處理部在上述前后幀中的受光單位的受光值的差分值小于規(guī)定的閾值的情況下，用上述前后幀中的與上述欠缺的方位相同的方位的受光單位的受光值來對上述插值對象的幀中的上述欠缺的方位的受光單位的受光值進行插值， 在上述前后幀中的受光單位的受光值的差分值大于規(guī)定的閾值的情況下，用在上述插值對象的幀中取得的受光值對上述插值對象的幀中的上述欠缺的方位的受光單位的受光值進行插值。
12.根據(jù)權(quán)利要求I所述的圖像處理裝置，其特征在干， 第I受光單位與第2受光單位是相鄰的受光單位，通過像素移位將上述第I受光單位、第2受光單位依次設(shè)定于第I方位和上述第I方位的下一個的第2方位，上述第I方位的上述第I受光單位、第2方位的上述第I受光單位在第I重疊區(qū)域中重疊，上述第I方位的上述第2受光單位、第2方位的上述第2受光單位在第2重疊區(qū)域中重疊，在該情況下，上述推定運算部推定從上述第I方位的上述第I受光單位除去上述第I重疊區(qū)域后的第I受光區(qū)域的受光值即第I中間像素值與從上述第2方位的上述第I受光單位除去上述第I重疊區(qū)域后的第2受光區(qū)域的受光值即第2中間像素值， 將從上述第I方位的上述第2受光單位除去上述第2重疊區(qū)域后的第3受光區(qū)域的受光值即第3中間像素值設(shè)為未知數(shù)， 用使用了上述未知數(shù)的關(guān)系式來表示從上述第2方位的上述第2受光單位除去上述第2重疊區(qū)域后的第4受光區(qū)域的受光值即第4中間像素值， 根據(jù)作為與上述第3受光區(qū)域相同的區(qū)域的上述第2受光區(qū)域的中間像素值而求出的上述第2中間像素值來設(shè)定上述未知數(shù)的探索范圍， 在設(shè)定的上述探索范圍中探索性地求出上述未知數(shù)來推定上述第3中間像素值。
13.根據(jù)權(quán)利要求I所述的圖像處理裝置，其特征在干， 第I受光單位與第2受光單位是相鄰的受光單位，通過像素移位將上述第I受光單位、第2受光單位依次設(shè)定于第I方位和上述第I方位的下一個的第2方位，上述第I方位的上述第I受光單位、第2方位的上述第I受光單位在第I重疊區(qū)域中重疊，上述第I方位的上述第2受光單位、第2方位的上述第2受光單位在第2重疊區(qū)域中重疊，在該情況下，上述推定運算部推定第I中間像素值模式，上述第I中間像素值模式是包括第I中間像素值和第2中間像素值的連續(xù)的中間像素值，上述第I中間像素值是從上述第I方位的上述第I受光單位除去上述第I重疊區(qū)域后的第I受光區(qū)域的受光值，上述第2中間像素值是從上述第2方位的上述第I受光單位除去上述第I重疊區(qū)域后的第2受光區(qū)域的受光值； 推定第2中間像素值模式，上述第2中間像素值模式是包括第3中間像素值和第4中間像素值的連續(xù)的中間像素值，上述第3中間像素值是從上述第I方位的上述第2受光單位除去上述第2重疊區(qū)域后的第3受光區(qū)域的受光值，上述第4中間像素值是從上述第2方位的上述第2受光單位除去上述第2重疊區(qū)域后的第4受光區(qū)域的受光值； 推定第3中間像素值模式，上述第3中間像素值模式是包括第5中間像素值、但不包括上述第I中間像素值、第4中間像素值的連續(xù)的中間像素值，上述第5中間像素值是作為上述第2方位的上述第I受光單位與上述第I方位的上述第2受光單位的重疊區(qū)域的第5受光區(qū)域的受光值， 在上述第3受光區(qū)域、第5受光區(qū)域是與上述第2受光區(qū)域相同的受光區(qū)域的情況下，根據(jù)通過上述第I 第3中間像素值模式的推定而得到的上述第2中間像素值、第3中間像素值、第5中間像素值來最終決定上述相同的受光區(qū)域的中間像素值。
14.根據(jù)權(quán)利要求I至13中的任ー項所述的圖像處理裝置，其特征在干， 上述推定運算部對通過推定而得到的像素值進行根據(jù)上述受光單位內(nèi)的像素位置而不同的濾波系數(shù)的濾波處理。
15.根據(jù)權(quán)利要求I至13中的任ー項所述的圖像處理裝置，其特征在干， 被拍攝體的明亮度越暗像素數(shù)越多地設(shè)定包含于上述受光單位的像素數(shù)， 上述圖像輸出部在上述被拍攝體的明亮度越暗時輸出靈敏度越高的上述高分辨幀圖像。
16.根據(jù)權(quán)利要求I至13中的任ー項所述的圖像處理裝置，其特征在干，上述攝像元件是彩色攝像元件，將相鄰的多個像素不依賴于像素的顔色地設(shè)定于上述受光單位，將設(shè)定于上述受光單位的上述相鄰的多個像素的像素值相加而讀出，取得上述低分辨率幀圖像， 上述推定運算部根據(jù)所取得的上述低分辨率幀圖像來推定上述受光單位的各像素的像素值， 上述圖像輸出部根據(jù)由上述推定運算部推定出的像素值來輸出彩色的上述高分辨幀圖像。
17.根據(jù)權(quán)利要求I至13中的任ー項所述的圖像處理裝置，其特征在干， 上述攝像元件是彩色攝像元件，將相同顔色的多個像素設(shè)定于上述受光單位，將設(shè)定于上述受光單位的上述相同顔色的多個像素的像素值相加而讀出，取得上述低分辨率幀圖像， 上述推定運算部根據(jù)所取得的上述低分辨率幀圖像來推定上述受光單位的各像素的像素值， 上述圖像輸出部根據(jù)由上述推定運算部推定出的像素值來輸出彩色的上述高分辨幀圖像。
18.一種攝像裝置，其特征在干， 包括 攝像元件； 讀出控制部，其按上述攝像元件的每多個像素設(shè)定受光単位，將上述受光單位的多個像素的像素值相加而作為上述受光單位的受光值來讀出，取得低分辨率幀圖像； 存儲部，其存儲由上述讀出控制部取得的上述低分辨幀圖像； 推定運算部，其根據(jù)存儲于上述存儲部的多個低分辨幀圖像來推定上述受光單位的各像素的像素值；以及 圖像輸出部，其根據(jù)由上述推定運算部推定出的像素值來輸出分辨率比上述低分辨幀圖像高的高分辨幀圖像， 上述讀出控制部ー邊使上述受光單位重疊ー邊依次進行像素移位而讀出上述受光單位的受光值來取得上述低分辨幀圖像， 上述推定運算部 根據(jù)使上述受光單位依次進行像素移位而得到的多個受光值來推定上述受光單位的各像素的像素值。
19.ー種程序，其特征在干， 使計算機作為如下裝置發(fā)揮功能 存儲部，其在按攝像元件的每多個像素設(shè)定作為取得受光值的単位的受光單位，將包含于上述受光單位的多個像素的像素值相加而作為上述受光單位的受光值來讀出，取得低分辨率幀圖像的情況下，存儲所取得的上述低分辨幀圖像； 推定運算部，其根據(jù)存儲于上述存儲部的多個低分辨幀圖像來推定包含于上述受光單位的各像素的像素值；以及 圖像輸出部，其根據(jù)由上述推定運算部推定出的像素值來輸出分辨率比上述低分辨幀圖像高的高分辨幀圖像，在上述程序中，ー邊使上述受光單位重疊ー邊依次進行像素移位而讀出上述受光單位的受光值，取得上述低分辨幀圖像， 上述推定運算部根據(jù)使上述受光單位依次進行像素移位而得到的多個受光值來推定包含于上述受光單位的各像素的像素值。
20.ー種圖像處理方法，其特征在干， 按攝像元件的每多個像素設(shè)定受光単位，ー邊使上述受光單位重疊ー邊依次進行像素移位而將上述受光單位的多個像素的像素值相加來作為上述受光單位的受光值讀出，取得低分辨幀圖像，在該情況下，存儲所取得的上述低分辨幀圖像， 根據(jù)作為構(gòu)成所存儲的多個低分辨幀圖像的受光值的、通過使上述受光單位依次進行像素移位而得到的多個受光值，推定上述受光單位的各像素的像素值，根據(jù)推定出的像素值來輸出分辨率比上述低分辨幀圖像高的高分辨幀圖像。
全文摘要
提供能以簡單的處理從低分辨動態(tài)圖像取得高分辨圖像的圖像處理裝置、攝像裝置、程序和圖像處理方法等。按每多個像素設(shè)定受光單位。將包含于受光單位的多個像素的像素值相加而作為受光值(a00～a11)來讀出，取得低分辨幀圖像。圖像處理裝置包括推定運算部，其根據(jù)多個低分辨幀圖像來推定包含于受光單位的各像素的像素值(v00～v11)；以及圖像輸出部，其根據(jù)推定出的像素值來輸出高分辨幀圖像。并且，一邊使受光單位重疊地依次進行像素移位一邊讀出受光值(a00～a11)。推定運算部根據(jù)通過像素移位得到的多個受光值(a00～a11)來推定包含于受光單位的各像素的像素值(v00～v11)。
文檔編號G06T3/00GK102726037SQ20118000523
公開日2012年10月10日 申請日期2011年1月20日 優(yōu)先權(quán)日2010年1月21日
發(fā)明者今出慎一 申請人:奧林巴斯株式會社