專利名稱：圖像處理裝置、圖像處理方法和調(diào)度裝置的制作方法
技術(shù)領(lǐng)域：
這里討論的實(shí)施例涉及圖像處理裝置、圖像處理方法和調(diào)度裝置。
背景技術(shù)：
諸如數(shù)字相機(jī)和裝配有相機(jī)的移動(dòng)電話之類的圖像處理裝置對(duì)圖像數(shù)據(jù)執(zhí)行各種類型的圖像處理，并且作為結(jié)果得到的圖像數(shù)據(jù)被顯示在顯示單元上，或者被輸出到外圖像處理裝置中的圖像處理的示例例如包括從存儲(chǔ)器讀取圖像數(shù)據(jù)，執(zhí)行圖像處理，并且將結(jié)果再存儲(chǔ)到存儲(chǔ)器中。為了例如在諸如顏色校正處理之類的圖像處理實(shí)例中處理多個(gè)像素，存儲(chǔ)在存儲(chǔ)器中的多個(gè)像素的像素值被讀出，并進(jìn)行校正處理，并且再次被存儲(chǔ)在存儲(chǔ)器中。在利用這樣的存儲(chǔ)器的圖像處理涉及例如圖像幀的順序輸入的情況中，通過在讀取存儲(chǔ)在存儲(chǔ)器中的前一幀的圖像數(shù)據(jù)之前將下一幀的圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器中將使得圖像幀的順序的一致性得不到維持。在例如在順序流水線中執(zhí)行多個(gè)圖像處理的情況中，在已經(jīng)處理的圖像數(shù)據(jù)被存儲(chǔ)在存儲(chǔ)器中之前，要從存儲(chǔ)器讀取圖像數(shù)據(jù)以便執(zhí)行下一圖像處理。這使得圖像處理順序的一致性得不到維持。如果圖像幀的順序或者圖像處理的順序的一致性得不到維持，則存在這樣的實(shí)例，其中，在最后的圖像處理之后所輸出的圖像數(shù)據(jù)異常，從而使得圖像數(shù)據(jù)本身的一致性無法保持。用于維持圖像數(shù)據(jù)的一致性的技術(shù)例如包括在日本早期公開專利公開No. 11-161776中公開的技術(shù)。例如，數(shù)據(jù)坐標(biāo)被輸出給檢查單元以判斷具有與將被處理的數(shù)據(jù)的坐標(biāo)相同坐標(biāo)的數(shù)據(jù)是否在當(dāng)前處理中，并且如果檢查單元判定通過流水線處理單元輸入的數(shù)據(jù)坐標(biāo)在當(dāng)前處理中，則流水線處理單元的操作中止。然而，使用數(shù)據(jù)坐標(biāo)的上述判斷技術(shù)涉及針對(duì)數(shù)據(jù)的所有坐標(biāo)位置判斷數(shù)據(jù)是否在當(dāng)前處理中。因此，例如，所輸入圖像數(shù)據(jù)中的所有像素被監(jiān)控。在這樣的情況中，多幀圖像數(shù)據(jù)的輸入涉及對(duì)所有幀的所有像素的判斷。因此，上述技術(shù)會(huì)導(dǎo)致非常大量的處理時(shí)間和功耗。

發(fā)明內(nèi)容
因此，本發(fā)明的一個(gè)方面的目的是提供能夠使圖像數(shù)據(jù)一致性得到維持的圖像處理裝置、圖像處理方法和調(diào)度裝置。本發(fā)明一個(gè)方面的另一目的是提供能夠改善處理時(shí)間和功耗的圖像處理裝置、圖像處理方法和調(diào)度裝置。根據(jù)本發(fā)明的一個(gè)方面，一種用于對(duì)圖像數(shù)據(jù)執(zhí)行圖像處理的圖像處理裝置包括圖像計(jì)算單元，該圖像計(jì)算單元對(duì)圖像數(shù)據(jù)執(zhí)行包括矩陣處理的圖像處理，該矩陣處理通過利用在第一方向和與第一方向相交的第二方向上表示的多個(gè)像素的像素值來執(zhí)行計(jì)算；調(diào)度單元，該調(diào)度單元基于多個(gè)像素的大小以及利用被復(fù)制的像素值執(zhí)行矩陣處理的邊緣處理存在與否，來計(jì)算圖像數(shù)據(jù)中的第一圖像幀與第二圖像幀之間的等待像素的數(shù)目；以及圖像數(shù)據(jù)輸入控制單元，該圖像數(shù)據(jù)輸入控制單元將第一圖像幀的圖像數(shù)據(jù)輸出給圖像計(jì)算單元，將第二圖像幀的圖像數(shù)據(jù)的輸出延遲等待像素的數(shù)目，并且將第二圖像幀的圖像數(shù)據(jù)輸出給圖像計(jì)算單元。本發(fā)明成功提供了能夠維持圖像數(shù)據(jù)一致性的圖像處理裝置、圖像處理方法和調(diào)度裝置。同樣，本發(fā)明成功提供了能夠改善處理時(shí)間和功耗的圖像處理裝置、圖像處理方法和調(diào)度裝置。


圖IA是圖示出數(shù)字相機(jī)的外觀圖的示例的示圖，并且圖IB是圖示出裝配有相機(jī)的移動(dòng)電話的外觀圖的示例的示圖；圖2是圖示出數(shù)字相機(jī)的配置示例的示圖；圖3是圖示出圖像數(shù)據(jù)輸入控制電路的配置示例的示圖；圖4A和圖4B是圖示出矩陣處理的示例的示圖；圖5是圖示出命令的示例的示圖；圖6是圖示出調(diào)度電路35的配置示例的示圖；圖7A至圖7J是圖示出具有邊緣處理的矩陣處理的示例的示圖；圖8A至圖8G是圖示出具有邊緣處理的矩陣處理中的波形的示例的示圖；圖9A至圖9G是圖示出沒有邊緣處理的矩陣處理的示例的示圖；圖IOA至圖IOG是圖示出沒有邊緣處理的矩陣處理中的波形的示例的示圖；圖IlA至圖IlD是圖示出另一矩陣處理中的波形的示例的示圖；圖12是圖示出等待行數(shù)計(jì)算處理的操作示例的流程圖；圖13A是圖示出刪除行數(shù)計(jì)算處理的操作示例的流程圖，并且圖1 是圖示出擴(kuò)展行數(shù)計(jì)算處理的操作示例的流程圖；圖14是圖示出等待行計(jì)算處理中的處理對(duì)象的示例的示圖；圖15是圖示出等待行計(jì)算處理中的處理對(duì)象的示例的示圖；圖16A至圖16G是圖示出圖像處理塊中的波形的示例的示圖；圖17A至圖17D是圖示出圖像處理塊中的波形的示例的示圖；圖18A至圖18E是圖示出圖像處理塊中的波形的示例的示圖；以及圖19是圖示出PDA的配置示例的示圖。
具體實(shí)施例方式下面，將說明實(shí)現(xiàn)本發(fā)明的實(shí)施例。圖IA和圖IB是圖示出圖像處理裝置的示例的外觀示圖。圖IA圖示出了數(shù)字相機(jī)100的示例，并且圖IB圖示出了裝配有相機(jī)的移動(dòng)電話200的示例。數(shù)字相機(jī)100和裝配有相機(jī)的移動(dòng)電話200分別包括成像單元110、210。成像單元110、210捕捉圖像并生成圖像數(shù)據(jù)。數(shù)字相機(jī)100和裝配有相機(jī)的移動(dòng)電話200可以對(duì)由成像單元110、210生成的圖像數(shù)據(jù)執(zhí)行圖像處理。在本實(shí)施例中，將說明圖像處理裝置是數(shù)字相機(jī)100的示例。(圖像處理裝置的配置示例)圖2是圖示出作為圖像處理裝置的示例的數(shù)字相機(jī)100的配置示例的示圖。數(shù)字相機(jī)100包括成像電路10和圖像處理電路20。成像電路10 (或成像單元110)是以圖像數(shù)據(jù)的形式輸出所捕捉圖像的成像元件，例如，CCD (電荷耦合器件)或CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)。圖像處理電路20例如對(duì)圖像數(shù)據(jù)執(zhí)行各種類型的圖像處理。圖像處理電路20包括CPU 21和圖像處理計(jì)算電路30。圖像處理計(jì)算電路30包括圖像數(shù)據(jù)輸入控制電路31、圖像計(jì)算電路32、存儲(chǔ)器33、地址解碼器電路34和調(diào)度電路35。在上電之后，例如，CPU(中央處理單元)21向地址解碼器電路34輸出各種命令。下面將說明這些各種命令。圖像數(shù)據(jù)輸入控制電路(或圖像數(shù)據(jù)輸入控制單元)31接收由成像電路10輸出的圖像數(shù)據(jù)的輸入，并且基于由調(diào)度電路35輸出的“下一幀輸入之前的等待行的數(shù)目”(以下稱為等待行數(shù))輸出下一幀的圖像數(shù)據(jù)。例如，等待行數(shù)可以是多個(gè)等待行的像素?cái)?shù)目，在該情況中，等待行數(shù)是針對(duì)一個(gè)等待行中包括的像素?cái)?shù)目的“等待像素?cái)?shù)目”。圖3是圖示出圖像數(shù)據(jù)輸入控制電路31的配置示例的示圖。圖像數(shù)據(jù)輸入控制電路31包括存儲(chǔ)器311和控制單元312。存儲(chǔ)器311存儲(chǔ)由成像電路10輸出的圖像數(shù)據(jù)，并且向圖像計(jì)算電路32輸出在控制單元312的控制下存儲(chǔ)的圖像數(shù)據(jù)。例如，控制單元312以如下方式控制存儲(chǔ)器311 在從存儲(chǔ)器311輸出前一幀的最后一行之后，存儲(chǔ)在存儲(chǔ)器311中的下一幀的引導(dǎo)行(leading line)的圖像數(shù)據(jù)在被延遲與等待行數(shù)相對(duì)應(yīng)的行數(shù)后(或者在與等待行相對(duì)應(yīng)的時(shí)間過去之后)被輸出。后面將進(jìn)一步詳細(xì)說明該操作。返回圖2，圖像計(jì)算電路(圖像計(jì)算單元、圖像計(jì)算裝置)32是用于對(duì)圖像數(shù)據(jù)執(zhí)行各種類型的圖像處理的電路。在圖2的示例中，圖像計(jì)算電路32包括增益處理電路321、RGB/YUV轉(zhuǎn)換電路322、平滑電路323、顏色校正處理電路3M和帶通濾波器電路325。增益處理電路321例如是放大器，其將輸入圖像數(shù)據(jù)的像素值增大到給定值或更高，從而維持將被輸出的圖像數(shù)據(jù)的給定像素值(或灰度值)。例如，由數(shù)字相機(jī)100在暗處捕捉的圖像的圖像數(shù)據(jù)具有等于或低于給定值的像素值。因此，增益處理電路321允許獲取具有不低于給定像素值的像素值的圖像數(shù)據(jù)。RGB/YUV轉(zhuǎn)換電路322在增益處理之后，執(zhí)行從RGB圖像數(shù)據(jù)到Y(jié)UV圖像數(shù)據(jù)的顏色轉(zhuǎn)換。RGB/YUV轉(zhuǎn)換電路322例如支持用于轉(zhuǎn)換的公式，從而使得向YUV圖像數(shù)據(jù)的顏色轉(zhuǎn)換通過向所輸入的RGB圖像數(shù)據(jù)應(yīng)用這些公式來實(shí)現(xiàn)。例如，可以通過轉(zhuǎn)換為YUV圖像數(shù)據(jù)而將圖像數(shù)據(jù)顯示在顯示單元(未示出)上。平滑電路323在顏色轉(zhuǎn)換之后，通過將感興趣的像素周圍的像素的像素值與某系數(shù)(例如，平滑系數(shù))或給定公式相乘來對(duì)與其它像素的像素值明顯不同的像素值進(jìn)行平均化或?qū)⑵淙コ?。顏色校正處理電?M例如通過利用顏色校正處理電路3M所支持的公式或各種系數(shù)(例如，顏色校正系數(shù))提升或降低感興趣的像素的每個(gè)相鄰像素的像素值來調(diào)節(jié)所捕捉圖像的色度Ome)。例如由電阻器或線圈組成的帶通濾波器電路325讓顏色校正后的圖像數(shù)據(jù)中的特定波長(zhǎng)頻帶的圖像數(shù)據(jù)通過，從而允許顯示用戶可以更容易看到的圖像。在本實(shí)施例中，圖像計(jì)算電路32的各種圖像處理塊321至325執(zhí)行矩陣處理。圖4A和圖4B是圖示出矩陣處理的示例的示圖。在矩陣處理中，例如，利用跨越多行的多個(gè)像素的像素值來執(zhí)行計(jì)算。在矩陣處理中，例如，執(zhí)行利用矩陣區(qū)域內(nèi)的像素值的處理。矩陣在這里是在圖像幀的水平和垂直方向上由正方形表示的多個(gè)像素的區(qū)域。例如，當(dāng)?shù)谝环较蛏系南袼財(cái)?shù)目與第二方向上的像素?cái)?shù)目相等時(shí)，矩陣表示第一方向上的多個(gè)像素和與第一方向正交的第二方向上的多個(gè)像素。替代地，例如，矩陣可以表示橫跨多行布置的多個(gè)像素的區(qū)域、針對(duì)每行布置的多個(gè)像素的區(qū)域，或者每個(gè)區(qū)域中的像素?cái)?shù)目相同的多個(gè)區(qū)域。在圖4A和圖4B的示例中，3個(gè)像素X 3個(gè)像素是矩陣區(qū)域，從而使得中心像素(b，2)的像素值被作為矩陣處理的結(jié)果輸出。除了矩陣處理以外，還可以執(zhí)行任何其它處理，只要該處理可以橫跨多行被執(zhí)行。例如，增益處理電路321通過例如將矩陣區(qū)域中的九個(gè)像素的像素值平均化或與系數(shù)相乘來對(duì)中心像素的像素值執(zhí)行增益處理。RGB/YUV轉(zhuǎn)換電路322例如將九個(gè)像素的像素值代入一公式，從而對(duì)中心像素的像素值執(zhí)行到Y(jié)UV像素值的轉(zhuǎn)換。平滑電路323、顏色校正處理電路3M和帶通濾波器電路325利用矩陣區(qū)域中的多個(gè)像素類似地執(zhí)行處理。矩陣處理本身可以是圖像處理塊321至325中的圖像處理的實(shí)例。替代地，矩陣處理可以在每個(gè)圖像處理塊321至325中被執(zhí)行，然后各個(gè)圖像處理被實(shí)現(xiàn)。圖像處理例如包括矩陣處理。除了 3個(gè)像素X3個(gè)像素以外，矩陣處理中的矩陣區(qū)域還可以是7X7、9X9、11X11等，只要像素?cái)?shù)目的區(qū)域使得中心像素被布置在該區(qū)域中即可。后面將進(jìn)一步詳細(xì)描述矩陣處理。返回圖2，存儲(chǔ)器33存儲(chǔ)由帶通濾波器電路325輸出的圖像數(shù)據(jù)。存儲(chǔ)器33可以在給定時(shí)間段期間存儲(chǔ)圖像數(shù)據(jù)，或者可以存儲(chǔ)圖像數(shù)據(jù)直到從CPU 21等輸入刪除指令為止。存儲(chǔ)器33可被設(shè)置為可附接到數(shù)字相機(jī)100/可從數(shù)字相機(jī)100移除。當(dāng)在數(shù)字相機(jī)100的顯示單元上顯示圖像時(shí)，例如，顯示單元被控制為使得圖像數(shù)據(jù)被從存儲(chǔ)器33讀取并被顯示在顯示單元上。響應(yīng)于來自CPU 21的命令，地址解碼器電路34例如將該命令中包含的數(shù)據(jù)存儲(chǔ)在地址解碼器電路34中的存儲(chǔ)器的某地址處，并且將所存儲(chǔ)的數(shù)據(jù)輸出給調(diào)度電路35和/或圖像計(jì)算電路32。圖5是圖示出命令的示例的示圖。由CPU 21輸出的一個(gè)命令是“地址”和“數(shù)據(jù)”的集合。例如，“地址”指示地址解碼器電路34的存儲(chǔ)器中的地址，并且預(yù)先建立的命令的“數(shù)據(jù)”被存儲(chǔ)在該地址處。命令中的“數(shù)據(jù)”表示命令的值。在圖5所示的示例中，地址“0001”表示矩陣大小值被保存在地址解碼器電路34中的地址。矩陣大小值(例如，在3X3像素矩陣的情況中，“3”被存儲(chǔ))被存儲(chǔ)在該地址處。命令可以是指示邊緣處理存在與否的命令。邊緣處理是在矩陣處理執(zhí)行期間，在一些實(shí)例中被執(zhí)行，而在一些實(shí)例中不被執(zhí)行的處理。因此，指定邊緣處理的命令包括表示邊緣處理存在與否的數(shù)據(jù)形式的值(例如，如果值為“1”則邊緣處理存在，如果值為“0”則邊緣處理不存在)。后面將進(jìn)一步說明邊緣處理。在數(shù)字相機(jī)100上電之后，例如，CPU 21將各種命令輸出給地址解碼器電路34，如上所述。返回圖2，地址解碼器電路34接收由CPU 21輸出的命令的輸入，針對(duì)每種類型的命令將命令中包含的數(shù)據(jù)存儲(chǔ)在某地址處，并且根據(jù)命令的類型輸出包含在命令中的數(shù)據(jù)。例如，地址解碼器電路34將矩陣大小值和邊緣處理存在與否輸出給調(diào)度電路35，將平滑系數(shù)輸出給平滑電路323，并且將顏色校正系數(shù)輸出給顏色校正處理電路324。調(diào)度電路(調(diào)度單元、調(diào)度裝置)35基于矩陣大小值和邊緣處理存在與否來計(jì)算等待行數(shù)，并且將計(jì)算出的等待行數(shù)輸出給圖像數(shù)據(jù)輸入控制電路31。圖6是圖示出調(diào)度電路35的配置示例的示圖。調(diào)度電路35包括刪除行數(shù)計(jì)算單元351、擴(kuò)展行數(shù)計(jì)算單元352和等待行數(shù)計(jì)算單元353。刪除行數(shù)計(jì)算單元351基于矩陣大小值和邊緣處理存在與否來計(jì)算刪除行的數(shù)目，并且將計(jì)算出的刪除行的數(shù)目輸出給等待行數(shù)計(jì)算單元353。(矩陣處理)將描述矩陣處理來說明刪除行數(shù)。圖7A至圖IlD是圖示出矩陣處理的示例的示圖。在這些附圖中，圖7A至圖7D是用于說明在邊緣處理被執(zhí)行的情況中3X3像素矩陣處理的操作示例的示圖。執(zhí)行矩陣處理的圖像處理塊321至325例如不可以利用未經(jīng)修改的、所輸入圖像數(shù)據(jù)的第一行中的像素(a，l)作為中心像素來創(chuàng)建針對(duì)該像素的3X3像素矩陣(例如，圖7B)。因此，圖像處理塊321至325通過復(fù)制圖像幀的第一行和最后一行以及第一列和最后一列中的像素的像素值來執(zhí)行內(nèi)插，從而擴(kuò)展該圖像幀(例如，如圖7C所示)。S卩，該圖像幀的邊緣處的像素通過復(fù)制被擴(kuò)展。通過以像素(a，l)作為中心像素，可以創(chuàng)建九像素矩陣((a，l)至(a，3)、(a，l)至(a，3)以及(b，1)至(b，3))。類似地，通過以最后一行中的像素(h，8)作為中心像素，可以創(chuàng)建九像素矩陣((g，7)至(g，8)、(h，7)至(h，8)以及(h，7)至(h，8))。在矩陣創(chuàng)建之后，圖像處理塊321至325利用所創(chuàng)建的矩陣來計(jì)算中心像素的像素值。當(dāng)輸出輸出圖像數(shù)據(jù)時(shí)，圖像處理塊321至325通過以像素的數(shù)目與輸入圖像數(shù)據(jù)中的像素?cái)?shù)目相等的方式執(zhí)行處理來輸出圖像數(shù)據(jù)(例如，圖7D)。因此，邊緣處理是利用所復(fù)制(拷貝)的像素值發(fā)起矩陣處理的處理。替代地，邊緣處理是這樣的處理，其通過復(fù)制幀邊緣(周邊)處的像素進(jìn)行內(nèi)插來發(fā)起矩陣處理，從而使得此后的輸出圖像數(shù)據(jù)具有與輸入圖像數(shù)據(jù)相同數(shù)目的像素。圖8A至圖8G圖示出了在邊緣處理存在的情況中由圖像處理塊321至325執(zhí)行的3X3像素矩陣處理中的波形示圖的示例。圖8A圖示出了一行的圖像數(shù)據(jù)被輸入從而使得該圖像數(shù)據(jù)在“高電平”(HIGH)被輸入的定時(shí)。圖像處理塊321至325中的每個(gè)都設(shè)置有例如輸入緩沖器和兩個(gè)行緩沖器(LB-1和LB-2)。圖8B至圖8D圖示出了其行被輸入給輸入緩沖器和兩個(gè)行緩沖器的圖像數(shù)據(jù)。圖8E圖示出了一行的圖像數(shù)據(jù)被輸出從而使得該圖像數(shù)據(jù)在“高電平”(HIGH)被輸入的定時(shí)。與行“a”的圖像數(shù)據(jù)的輸入(圖8D)同時(shí)，圖像處理塊321至325例如將圖像數(shù)據(jù)寫入輸入緩沖器，然后將圖像數(shù)據(jù)寫入行緩沖器LB-I (圖8C)，如圖8C和圖8D所示。結(jié)果，第一行“a”中的圖像數(shù)據(jù)被復(fù)制，并且該圖像幀被擴(kuò)展(例如，圖7C)。對(duì)于最后一行“h”，圖像數(shù)據(jù)在下一寫入輸入緩沖器的定時(shí)處被寫入行緩沖器LB-I。當(dāng)輸入第二行“b”的圖像數(shù)據(jù)時(shí)，例如，行“a”的圖像數(shù)據(jù)被存儲(chǔ)在兩個(gè)行緩沖器LB-ULB-2中，并且行“b”的圖像數(shù)據(jù)被存儲(chǔ)在輸入緩沖器中。因此，可以利用每行“a”、“a”和“b”來創(chuàng)建矩陣。因此，矩陣處理針對(duì)第一行“a”被執(zhí)行，并且第一行的輸出數(shù)據(jù)“a”可被輸出(例如，圖8E)。此后，按行的順序重復(fù)上面的處理。圖8F和圖8G與圖8A和圖8E相同，但是以更形象化的方式圖示出了輸入-輸出關(guān)系。關(guān)注具有邊緣處理的3X3像素矩陣處理中的引導(dǎo)行，在輸入定時(shí)和輸出定時(shí)處，圖像數(shù)據(jù)在一行被刪除的情況下被輸出，如圖8F和圖8G所示。在輸出定時(shí)處，圖像數(shù)據(jù)基于矩陣處理關(guān)系在相對(duì)于輸入定時(shí)被延遲一行之后被輸出。因此取決于矩陣處理的處理時(shí)間的影響，存在這樣的實(shí)例，其中，在矩陣處理中，引導(dǎo)行的輸出波形在相對(duì)于輸入波形某一行被刪除(或延遲)之后被輸出。相差的行數(shù)例如被稱為刪除行數(shù)。在3X3像素矩陣處理中，例如，在邊緣處理被執(zhí)行的情況中，刪除行數(shù)為“ 1 ”。關(guān)注最后一行的波形，圖8F和圖8G是在輸入了最后一行“h”的圖像數(shù)據(jù)之后的一行的輸出波形。在此情況中，同樣，在輸入了最后一行的圖像數(shù)據(jù)之后，矩陣被創(chuàng)建(例如，圖8C和圖8D)。因此，在輸出圖像數(shù)據(jù)的輸出定時(shí)處相對(duì)于輸入圖像數(shù)據(jù)發(fā)生了一行的延遲。取決于矩陣處理的處理時(shí)間的影響，存在這樣的實(shí)例，其中，在該矩陣處理中，最后一行的輸出波形在相對(duì)于輸入波形被擴(kuò)展(或延遲)一定行數(shù)之后被輸出。相差的行數(shù)例如被稱為擴(kuò)展行數(shù)。在3 X 3像素矩陣處理中，例如，在邊緣處理被執(zhí)行的情況中，擴(kuò)展行數(shù)為“1”。接下來將說明在不執(zhí)行邊緣處理的情況中的3X3像素矩陣處理。圖9A至圖9G是圖示出沒有邊緣處理的矩陣處理的示例。圖像處理塊321至325例如不可以在將被處理的像素位于圖像幀的邊緣的情況中(例如，像素(a，l))創(chuàng)建矩陣。在此情況中，處理像素是從圖像幀的邊緣向內(nèi)一個(gè)像素的像素(例如，像素(b，2))。不存在邊緣處理在此表示這樣的處理，其中，例如，圖像幀的邊緣附近的像素被擦除，并且基于圖像幀的邊緣處的像素不被處理并且從該邊緣向內(nèi)一個(gè)像素的像素被處理的關(guān)系來輸出結(jié)果。如圖9C所示，在沒有邊緣處理時(shí)，陰影區(qū)域中的像素被擦除，并且向內(nèi)一個(gè)像素的像素的像素值作為輸出數(shù)據(jù)被輸出。在不執(zhí)行邊緣處理的實(shí)例中利用多個(gè)像素獲得中心像素的像素值的特征與執(zhí)行邊緣處理的實(shí)例中相同(例如，圖9D至圖 9G)。圖IOA至圖IOG是圖示出沒有邊緣處理的矩陣處理的波形示圖的示例的示圖。圖IOA圖示出了一行圖像數(shù)據(jù)被輸入從而使得該圖像數(shù)據(jù)在“高電平”(HIGH)被輸入給圖像處理塊321至325的定時(shí)。圖IOB至圖IOD圖示出了圖像數(shù)據(jù)的哪一行被輸入。圖IOE圖示出了一行圖像數(shù)據(jù)被輸出從而使得圖像數(shù)據(jù)在“高電平”(HIGH)被輸出的定時(shí)。例如，行“a”的圖像數(shù)據(jù)在圖像幀的初始行“a”被輸入的定時(shí)處被存儲(chǔ)在輸入緩沖器中。接下來，在下一行“b”的圖像數(shù)據(jù)被輸入的定時(shí)處，存儲(chǔ)在輸入緩沖器中的行“a”的圖像數(shù)據(jù)被存儲(chǔ)在行緩沖器LB-I中，并且所輸入的行“b”的圖像數(shù)據(jù)被存儲(chǔ)在輸入緩沖器中。接下來，在行“C”的圖像數(shù)據(jù)被輸入的定時(shí)處，行“C”的圖像數(shù)據(jù)被存儲(chǔ)在輸入緩沖器中，行“b”的圖像數(shù)據(jù)被存儲(chǔ)在行緩沖器LB-I中，并且行“a”的圖像數(shù)據(jù)被存儲(chǔ)在行緩沖器LB-2中。三行圖像數(shù)據(jù)由此被放在一起，從而使得圖像處理塊321至325可以創(chuàng)建矩陣(在圖9D和圖9F中)。例如，可以在行“C”的圖像數(shù)據(jù)被輸入的定時(shí)處輸出初始行“b”。此后按照行的順序重復(fù)以上處理。圖IOF和圖IOG與圖IOA和圖IOE相同，但是以更形象化的方式圖示出了輸入-輸出關(guān)系。關(guān)注引導(dǎo)行，如圖IOF和圖IOG所示，在輸入-輸出關(guān)系中，輸出波形相對(duì)于輸入波形被延遲了兩行。因此，在沒有邊緣處理的3X3像素矩陣處理中，刪除行數(shù)為“2”。關(guān)注輸出行數(shù)，輸入波形和輸出波形在同一定時(shí)處結(jié)束。因此，在此情況中擴(kuò)展行數(shù)為“0”?？傊?，在3X3像素矩陣處理中，如果執(zhí)行邊緣處理，則刪除行數(shù)為“1”并且擴(kuò)展行數(shù)為“1”。在3X3像素矩陣處理中，如果不執(zhí)行邊緣處理，則刪除行數(shù)為“2”并且擴(kuò)展行數(shù)為 “0”。因此，對(duì)于相同的矩陣大小，刪除行數(shù)和擴(kuò)展行數(shù)可以取決于邊緣處理是否存在而取不同的值。刪除行數(shù)和擴(kuò)展行數(shù)可以根據(jù)矩陣大小而取不同的值。圖IlA和圖IlB是圖示出在5X5像素矩陣處理中執(zhí)行邊緣處理的情況中輸入波形和輸出波形的示例的示圖。圖IlC和圖IlD是圖示出在沒有邊緣處理的情況中5X5像素矩陣處理中的輸入波形和輸出波形的示例的示圖。在5X5像素矩陣處理中執(zhí)行邊緣處理的情況中，例如，通過對(duì)初始一行的輸入執(zhí)行復(fù)制兩次來創(chuàng)建兩行圖像數(shù)據(jù)，并且當(dāng)?shù)谌袌D像數(shù)據(jù)輸入時(shí)，針對(duì)該初始的第一行創(chuàng)建矩陣。如圖IlB所示，刪除行數(shù)為“2”。在最后一行中，同樣，通過在最后一行輸入之后執(zhí)行復(fù)制兩次來創(chuàng)建兩行圖像數(shù)據(jù)。因此，擴(kuò)展行數(shù)為“2”。圖IlC和圖IlD是圖示出沒有邊緣處理的5X5像素矩陣處理中的輸入波形和輸出波形之間的關(guān)系的示圖。將省略對(duì)該情況的詳細(xì)說明，但是刪除行數(shù)為“4”并且擴(kuò)展行數(shù)為“0”。因此，刪除行數(shù)和擴(kuò)展行數(shù)取決于矩陣大小和邊緣處理存在與否而不同。返回圖6，刪除行數(shù)計(jì)算單元351基于所輸入的矩陣大小值和邊緣處理存在與否來計(jì)算上述刪除行數(shù)。后面將進(jìn)一步詳細(xì)說明該計(jì)算處理。擴(kuò)展行數(shù)計(jì)算單元352基于由地址解碼器電路34輸出的矩陣大小值和邊緣處理存在與否來計(jì)算上述擴(kuò)展行數(shù)。后面將進(jìn)一步詳細(xì)說明該計(jì)算處理。等待行數(shù)計(jì)算單元353基于計(jì)算出的刪除行數(shù)和擴(kuò)展行數(shù)來計(jì)算等待行數(shù)，并且將結(jié)果輸出給圖像數(shù)據(jù)輸入控制電路31。后面將進(jìn)一步詳細(xì)說明該等待行數(shù)計(jì)算處理。(圖像處理裝置的操作示例)接下來說明操作示例。圖12是圖示出調(diào)度電路35中的等待行數(shù)計(jì)算處理的操作示例的流程圖。等待行數(shù)計(jì)算處理例如在上電時(shí)被執(zhí)行，因?yàn)镃PU 21在那時(shí)輸出命令。等待行數(shù)計(jì)算處理與圖像數(shù)據(jù)處理(由圖像計(jì)算電路32執(zhí)行的圖像處理)相獨(dú)立地被執(zhí)行。在對(duì)圖像數(shù)據(jù)執(zhí)行圖像處理之前執(zhí)行等待行數(shù)計(jì)算處理。等待行數(shù)被輸出給圖像數(shù)據(jù)輸入控制電路31。在等待行數(shù)計(jì)算處理中，基于圖像處理塊321至325的矩陣處理中的刪除行數(shù)和擴(kuò)展行數(shù)，針對(duì)執(zhí)行圖像處理的圖像計(jì)算電路32的每個(gè)圖像處理塊321至325執(zhí)行計(jì)算。圖14是圖示出等待行計(jì)算處理中的處理對(duì)象的示例的示圖。在該等待行數(shù)計(jì)算處理中，根據(jù)圖像計(jì)算電路32中的圖像處理塊的數(shù)目來執(zhí)行多次循環(huán)(S13至S18)。在通過重復(fù)循環(huán)累積等待行數(shù)的同時(shí)在每次循環(huán)中計(jì)算等待行數(shù)，以便在最后一次循環(huán)完成時(shí)計(jì)算出最終的行數(shù)。例如，調(diào)度電路35在初始循環(huán)中計(jì)算RGB/YUV轉(zhuǎn)換電路322與增益處理電路321的間隔(處理I)中的等待行數(shù)。調(diào)度電路35在下一循環(huán)中計(jì)算RGB/YUV轉(zhuǎn)換電路322與平滑電路323的間隔(處II)中的等待行數(shù)。調(diào)度電路35以處理I至處理IV為處理對(duì)象，基于等待行數(shù)計(jì)算處理來計(jì)算等待行數(shù)。圖15是圖示出等待行數(shù)計(jì)算處理的示例的示圖，其中，用于計(jì)算等待行數(shù)的處理取決于從處理I到處理IV的部分而被執(zhí)行。如圖15所示，在等待行計(jì)算處理的處理I中，計(jì)算是基于增益處理電路321的矩陣處理(圖15中的“處理A”)中的刪除行數(shù)以及作為下一處理塊的RGB/YUV轉(zhuǎn)換電路322中的矩陣處理(圖15中的“處理B”)中的擴(kuò)展行數(shù)來執(zhí)行的。在處理II中，等待行數(shù)是基于RGB/YUV轉(zhuǎn)換電路322中的矩陣處理(“處理B”)中的刪除行數(shù)以及平滑電路323中的矩陣處理(圖15中的“處理C”)中的擴(kuò)展行數(shù)來計(jì)算的。在處理III和處理IV中，等待行數(shù)計(jì)算處理是利用如圖15所示的刪除行數(shù)和擴(kuò)展行數(shù)作為處理對(duì)象被執(zhí)行的。后面將進(jìn)一步說明在不參考同一塊而參考下一矩陣處理塊的同時(shí)來執(zhí)行計(jì)算的原因。在圖15所示的示例中，增益處理電路321執(zhí)行沒有邊緣處理的3X3像素矩陣處理的矩陣處理(“處理A” )。RGB/YUV轉(zhuǎn)換電路322執(zhí)行具有邊緣處理的9X9矩陣處理(“處理B”)。平滑電路323執(zhí)行具有邊緣處理的5X5矩陣處理(“處理C”)，顏色校正處理電路3 處理具有邊緣處理的11X11像素矩陣處理(“處理D”)，并且?guī)V波器電路325處理沒有邊緣處理的5 X 5像素矩陣處理(“處理E”)。作為下面描述的刪除行計(jì)算處理和擴(kuò)展行計(jì)算處理的結(jié)果，“處理A”中的刪除行數(shù)被計(jì)算為“2”，并且擴(kuò)展行數(shù)被計(jì)算為“0”。“處理B”中計(jì)算出的刪除行數(shù)為“4”，并且計(jì)算出的擴(kuò)展行數(shù)為“4”。圖15圖示出了在每個(gè)計(jì)算處理中計(jì)算出的結(jié)果。接下來返回圖12說明等待行數(shù)計(jì)算處理。為了更容易理解，圖像處理塊321至325中的矩陣處理將是上面描述的示例(其中，處理A是沒有邊緣處理的3 X 3像素處理，處理B是具有邊緣處理的9X9像素處理，等等)。如圖15所示的刪除行數(shù)和擴(kuò)展行數(shù)是根據(jù)下面描述的計(jì)算處理來計(jì)算的。當(dāng)?shù)却袛?shù)計(jì)算處理開始時(shí)(SlO)，調(diào)度電路35將下一幀輸入之前的等待行數(shù)設(shè)為“0”(Sll)。例如，等待行數(shù)計(jì)算單元353將作為初始值的等待行數(shù)設(shè)為“0”。接下來，調(diào)度電路35將循環(huán)計(jì)數(shù)k設(shè)為(n-1)，其中，η是每個(gè)執(zhí)行處理的循環(huán)次數(shù)(S12)。例如，該設(shè)置由等待行數(shù)計(jì)算單元353執(zhí)行。例如，對(duì)于初始循環(huán)，等待行數(shù)計(jì)算單元353中的處理對(duì)象是處理I。接下來，調(diào)度電路35執(zhí)行刪除行數(shù)計(jì)算處理(SU)。該處理例如由刪除行數(shù)計(jì)算單元351執(zhí)行。圖13Α是圖示出刪除行數(shù)計(jì)算處理的操作示例的流程圖。當(dāng)處理開始時(shí)(S131)，刪除行數(shù)計(jì)算單元351檢查如由地址解碼器電路34輸出的邊緣處理是否存在(S132)。如果存在邊緣處理，則刪除行數(shù)計(jì)算單元351計(jì)算(矩陣大小值/2 (在小數(shù)點(diǎn)處向下舍入))作為刪除行數(shù)(S132中為“是”、S133)。如果不存在邊緣處理，則刪除行數(shù)計(jì)算單元351計(jì)算(矩陣大小值/2+1 (在小數(shù)點(diǎn)處向下舍入))作為刪除行數(shù)(S132中為“否”、S134)。在圖15所示的示例中，例如，處理I的“處理A” (增益處理電路321)中沒有邊緣處理，并且矩陣大小值為“3”(表示3X 3個(gè)像素)。因此，在S132中獲得否，并且S134的處理被執(zhí)行。在此情況中，刪除行數(shù)被計(jì)算為“3/2+1”，在小數(shù)點(diǎn)處向下舍入成“2”。一旦刪除行數(shù)計(jì)算單元351計(jì)算出刪除行數(shù)(S133、S134)，刪除行計(jì)算處理就結(jié)束(S135)。返回圖12，調(diào)度電路35接下來執(zhí)行緊鄰此后的矩陣處理塊的擴(kuò)展行數(shù)計(jì)算處理(S14)。緊鄰此后的矩陣處理塊例如表示相對(duì)于作為刪除行數(shù)計(jì)算處理(S13)所計(jì)算的刪除行數(shù)的對(duì)象的圖像處理塊來在其處執(zhí)行下一矩陣處理的圖像處理塊。在刪除行數(shù)在增益處理電路321中被計(jì)算出的情況中(S13)，緊鄰的后續(xù)矩陣處理塊是RGB/YUV轉(zhuǎn)換電路322。圖13B是圖示出擴(kuò)展行數(shù)計(jì)算處理的操作示例的流程圖。當(dāng)處理開始時(shí)(S141)，擴(kuò)展行數(shù)計(jì)算單元352檢查如由地址解碼器電路34輸出的邊緣處理是否存在(S142)。如果存在邊緣處理，則擴(kuò)展行數(shù)計(jì)算單元352計(jì)算(矩陣大小值/2 (在小數(shù)點(diǎn)處向下舍入))作為擴(kuò)展行數(shù)(S142中為“是”、S143)。如果不存在邊緣處理，則擴(kuò)展行數(shù)計(jì)算單元352將0計(jì)算作為擴(kuò)展行數(shù)(S142中為“否”、S144)。如果不存在邊緣處理，如圖IOG和圖IlD所示，可以在最后一行輸入中創(chuàng)建矩陣，并且矩陣處理可以終止。因此，擴(kuò)展行數(shù)為“0”。在圖15的示例中，“處理B” (RGB/YUV轉(zhuǎn)換電路322)中的矩陣處理是具有邊緣處理的9X9矩陣處理。因此，在S142中獲得“是”，并且在S133中計(jì)算出擴(kuò)展行數(shù)“4”。返回圖12，接下來，等待行數(shù)計(jì)算單元353將在前一循環(huán)(S17)中計(jì)算出的等待行數(shù)與刪除行數(shù)相加(S15)。在初始循環(huán)(處理I)中，“0”被設(shè)置為等待行數(shù)的初始值(S11)。因此，等待行數(shù)計(jì)算單元353將“0”與刪除行數(shù)“2”相加。接下來，等待行數(shù)計(jì)算單元353從在S15中計(jì)算出的(刪除行數(shù)+等待行數(shù)=X)中減去在S14中計(jì)算出的擴(kuò)展行數(shù)，以判斷相減值是否等于或小于“0” (S16)。如下面詳細(xì)說明的，可能存在這樣的部分，例如，其中，當(dāng)相減值等于或小于“0”時(shí)，在每個(gè)處理塊中，第一幀的最后一行的輸出定時(shí)與第二幀的引導(dǎo)行的輸入定時(shí)重疊。反之，會(huì)出現(xiàn)這樣的實(shí)例，其中，例如，當(dāng)相減值等于或大于“1”時(shí)，第二幀的引導(dǎo)行在第一幀的最后一行的輸出定時(shí)之后被輸入?；赟16的處理，調(diào)度電路35例如判斷在各幀之間是否存在一定行數(shù)的延遲，或者判斷等待行數(shù)是否將被計(jì)算出來。當(dāng)相減值等于或小于“0”時(shí)(S16中為是)，調(diào)度電路35計(jì)算相減值作為等待行數(shù)(S17)。例如，該計(jì)算由等待行數(shù)計(jì)算單元353執(zhí)行，以使得當(dāng)相減值為“_2”時(shí)“2”被計(jì)算為等待行數(shù)，并且當(dāng)相減值為“_5”時(shí)“5”被計(jì)算為等待行數(shù)。在圖15的示例中，在處理I中增益處理電路321的矩陣處理中的刪除行數(shù)為“2” (S13)，RGB/YUV轉(zhuǎn)換電路322中的矩陣處理的擴(kuò)展行數(shù)為“4” (S14)，則相減值為“_2”，并且“2”被計(jì)算作為等待行數(shù)(S17)。等待行數(shù)計(jì)算單元353將計(jì)算出的等待行數(shù)與直到前一循環(huán)時(shí)計(jì)算出的等待行數(shù)相加。在處理I的示例中，計(jì)算出的等待行數(shù)“2”被與由于初始循環(huán)而在Sll中設(shè)置的“0”相加。
如果相減值等于或小于“0” (S16中為否)，則調(diào)度電路35不計(jì)算等待行數(shù)，而執(zhí)Rsis的處理。在幀之間，如果相減值等于或小于“0”，則如上所述，下一幀的引導(dǎo)行在前一幀的最后一行輸出之后被輸入。因此，調(diào)度電路35可以省略等待行數(shù)的計(jì)算(維持直到前一循環(huán)時(shí)計(jì)算出的等待行數(shù))。調(diào)度電路35將等待行數(shù)相加(S17)，或者如果相減值不是“0”(S16中為否)，則將下一 k設(shè)為(k-Ι)，以從循環(huán)計(jì)數(shù)中減去一次循環(huán)，并且判斷所設(shè)置的k是否為“0” (S17)。在圖15的示例中，判斷從處理I到處理IV的循環(huán)是否結(jié)束。一旦所有處理結(jié)束(當(dāng)k = 0，S18中為是)，調(diào)度電路35就將通過直到該時(shí)刻時(shí)的循環(huán)而累積的等待行數(shù)建立為等待行數(shù)(S19)，將等待行數(shù)輸出給圖像數(shù)據(jù)輸入控制電路31，并且終止等待行數(shù)計(jì)算處理(S20)。如果處理并未完全結(jié)束(當(dāng)k不為0，S18中為否)，則處理再次移到S13，并且等待行數(shù)計(jì)算單元353重復(fù)上述處理。在圖15的示例中，在處理I完成之后，從S13到S18的循環(huán)再次被重復(fù)。在第二次循環(huán)中，計(jì)算處理II的等待行數(shù)。在此情況中，X是刪除行數(shù)“4”+等待行數(shù)“2” =“6”，并且減去擴(kuò)展行數(shù)“2”的結(jié)果不等于或小于“0”(S16中為否)。因此，不計(jì)算等待行數(shù)。在此情況中，等待行數(shù)的累積值保持為“2”。在第三次循環(huán)中，計(jì)算處理III的等待行數(shù)。這里，X =刪除行數(shù)“2” +等待行數(shù)“2”=“4”，并且當(dāng)減去擴(kuò)展行數(shù)“5”時(shí)獲得“_1” (S16中為是)。在此情況中，等待行數(shù)計(jì)算單元353計(jì)算出等待行數(shù)為“1”，并且作為與到此為止計(jì)算出的等待行數(shù)“2”相加的結(jié)果，將等待行數(shù)取為“3”。在第四次循環(huán)中，計(jì)算處理IV的等待行數(shù)。這里，X=刪除行數(shù)“5”+等待行數(shù)“3” = “8”。減去擴(kuò)展行數(shù)“0”時(shí)得到不等于或小于“0”的“8” (S16中為否)。在此情況中，等待行數(shù)計(jì)算單元353計(jì)算處理對(duì)象的等待行數(shù)(k = 0，S18中為是)，并且等待行數(shù)“3”是最終的等待行數(shù)(S19)。等待行數(shù)計(jì)算單元353將等待行數(shù)“3”作為“下一幀輸入之前的等待行數(shù)”輸出給圖像數(shù)據(jù)輸入控制電路31。在所輸入的圖像數(shù)據(jù)的該幀的最后一行輸出之后，圖像數(shù)據(jù)輸入控制電路31在下一定時(shí)處不輸出第二幀的引導(dǎo)行，而是執(zhí)行“3”行的延遲，并且將第二幀的引導(dǎo)行輸出給增益處理電路321。結(jié)果，這使得能夠在前一幀的圖像數(shù)據(jù)輸出之后輸入下一幀的圖像數(shù)據(jù)，同時(shí)在圖像計(jì)算電路32的所有圖像處理塊(增益處理電路321至帶通濾波器電路32 中維持圖像數(shù)據(jù)的一致性。按照輸入幀順序依次被執(zhí)行各個(gè)圖像處理的圖像數(shù)據(jù)被存儲(chǔ)在存儲(chǔ)器33中。圖16A至圖16G是圖示出當(dāng)?shù)却袛?shù)為“3”時(shí)圖像處理塊中的波形的示例的示圖。如圖16A至圖16G中的圓圈內(nèi)的箭頭所指示的，在圖像處理塊中不存在第一幀的輸出與第二幀的輸入相重疊的定時(shí)。例如，在處理D (顏色校正處理電路324)中，第一幀的圖像數(shù)據(jù)的最后一行被輸出，然后，在下一定時(shí)處，第二幀的圖像數(shù)據(jù)的引導(dǎo)行被輸入，如圖16E所示。圖16A至圖16G所示的波形圖指示出在本實(shí)施例中數(shù)據(jù)一致性得到維持。在本圖像處理裝置中，不執(zhí)行判斷輸入圖像數(shù)據(jù)的所有幀中的所有像素的處理。替代地，例如僅執(zhí)行計(jì)算刪除行數(shù)并且比較相減值的處理。因此，與判斷所有像素的情況相比，可以減少處理時(shí)間和功耗。
(計(jì)算相減值的原因等)接下來將說明在其它考慮因素中基于在等待行數(shù)計(jì)算處理(例如，在圖12中)中計(jì)算出的相減值來計(jì)算(S16，S17)等待行數(shù)的原因。圖17A至圖18E是圖示出圖像處理塊321至324中的波形示例的示圖。圖17A圖示出了在沒有等待行時(shí)以連續(xù)的定時(shí)將幀輸入給增益處理電路321( “處理A”)的情況中的幀之間的波形示圖的示例。圖15的示例將被用作圖像處理塊321至324中的矩陣處理的示例。當(dāng)圖像數(shù)據(jù)輸入控制電路31在連續(xù)的定時(shí)處輸出每幀而不延遲多個(gè)等待行時(shí)，圖像數(shù)據(jù)在諸如圖17A所示的定時(shí)之類的定時(shí)處被輸入給增益處理電路321。如圖17A所示，增益處理電路321在已向其輸入了第一幀的最后一行之后，在下一定時(shí)處輸入第二幀的引導(dǎo)行。在此情況中，增益處理電路321中的刪除行數(shù)為“2”，并且由增益處理電路321輸出的第一幀與第二幀之間的幀間波形圖例如為圖17B所示的波形圖。在輸入-輸出關(guān)系中，第二幀的引導(dǎo)行以“兩行”被刪除的方式被輸出。例如，該波形被原樣輸入給RGB/YUV轉(zhuǎn)換電路322。在RGB/YUV轉(zhuǎn)換電路322 (“處理B”)中，此時(shí)的擴(kuò)展行數(shù)為“4”。因此，由RGB/YUV轉(zhuǎn)換電路322輸出的波形圖例如為圖17C所示的波形圖。關(guān)注圖17B和圖17C，第二幀的圖像數(shù)據(jù)在第一幀的圖像數(shù)據(jù)的輸出完全結(jié)束之前(圖17C)被輸入給(圖17B) RGB/YUV轉(zhuǎn)換電路322。RGB/YUV轉(zhuǎn)換電路322在第一幀的最后兩行與第二幀的初始兩行彼此重疊的定時(shí)處執(zhí)行處理。在這樣的情況中，該處理是在幀之間缺乏圖像數(shù)據(jù)一致性的狀態(tài)中被執(zhí)行的。在等待行數(shù)計(jì)算處理中(例如，圖12)，判斷相減值(X-擴(kuò)展行數(shù))是否等于或小于“0”(S16)。在該示例的情況中，刪除行數(shù)為“4”，擴(kuò)展行數(shù)為“2”并且相減值為“_2”。該值“_2”指示重疊行數(shù)為“2”行。因此，調(diào)度電路35設(shè)置等待行數(shù)=2并且將等待行數(shù)輸出給圖像數(shù)據(jù)輸入控制電路31。圖像數(shù)據(jù)輸入控制電路31將下一幀的輸出定時(shí)延遲“2”行，并且輸出下一幀。在增益處理電路321中，同樣，下一幀被延遲兩行輸出。圖17D是圖示出增益處理電路321中第一幀和第二幀的輸出波形(或RGB/YUV轉(zhuǎn)換電路322的輸入波形)的示例的示圖。圖17C與圖17D之間的比較揭示出在RGB/YUV轉(zhuǎn)換電路322中，第二幀的引導(dǎo)行在第一幀的最后一行輸出(圖17C)之后被輸入(圖17D)。由此使得幀之間的圖像數(shù)據(jù)一致性得到維持。圖18A和圖18B圖示出了在等待行數(shù)=2的情況中在平滑電路323 ( “處理C”)中第一幀和第二幀之間的幀間波形圖的示例。如圖18A所示，平滑電路323中的輸入波形是按原樣輸入的、RGB/YUV轉(zhuǎn)換電路322的輸出波形。在平滑電路323中擴(kuò)展行數(shù)被計(jì)算為“2”(例如，圖13B，圖15)。因此，平滑電路323的輸出波形變?yōu)槔鐖D18B所示的波形圖。圖18A與圖18B之間的比較指示出在平滑電路323中，第二幀的引導(dǎo)行在第一幀的最后一行輸出(圖18B)之后被輸入(圖18A)。從而，維持了幀一致性。等待行數(shù)計(jì)算處理中的相減值為“4”，其不等于或小于“0”。因此不必計(jì)算等待行數(shù)(圖12的S16中為否)。如圖18A和圖18B所示，相減值“4”例如指示出在輸出一幀的最后一行之后在輸入下一幀的引導(dǎo)行之前平滑電路323中的延遲的延遲行數(shù)。圖18C和圖18D圖示出了在等待行數(shù)=2的情況中在顏色校正處理電路3M (“處理D”)中第一幀和第二幀之間的幀間波形圖的示例。如圖18C所示，平滑電路323的輸出被按原樣輸入給顏色校正處理電路324。在顏色校正處理電路324中擴(kuò)展行數(shù)被計(jì)算為“5”(例如，圖13B，圖15)。因此，顏色校正處理電路324的輸出波形例如變?yōu)槿鐖D18D所示的波形。圖18C與圖18D之間的比較指示出在顏色校正處理電路324中，在第一幀的最后一行被輸出時(shí)(圖18D)，第二幀的引導(dǎo)行被輸出(圖18C)。在此示例中，出現(xiàn)了一行重疊時(shí)段。在等待行數(shù)計(jì)算處理中，相減值被計(jì)算為“_1”，其等于或小于“0”(圖12的S16中為是)。因此，調(diào)度電路35將相減值的“1”與等待行數(shù)相加，并且計(jì)算將總和“3”作為等待行數(shù)。如圖18E所示，作為顏色校正處理電路324中的結(jié)果維持了一致性，這是因?yàn)榈诙囊龑?dǎo)行在第一幀的最后一行輸出(圖18D)之后被輸入(圖18E)。因此，在等待行計(jì)算處理中，相減值的計(jì)算例如涉及檢查(S16)幀之間前一幀的最后一行與下一幀的引導(dǎo)行是否彼此重疊，并且如果是，則計(jì)算重疊行數(shù)作為等待行數(shù)(S17)。(其它示例)在上述示例中，作為圖像處理裝置的示例已說明了數(shù)字相機(jī)100。諸如移動(dòng)電話或PDA(個(gè)人數(shù)字助理)之類的信息便攜終端也可被用作圖像處理裝置。上面說明的示例涉及被配置為捕捉圖像的數(shù)字相機(jī)100或裝配有相機(jī)的移動(dòng)電話200，然而這些示例也適用于經(jīng)由無線通信接收?qǐng)D像數(shù)據(jù)的諸如移動(dòng)電話或PDA之類的信息便攜終端。圖19是圖示出PDA 300的配置示例的示圖。PDA 300還包括通信單元60。通信單元60經(jīng)由無線通信從諸如基站之類的外部裝置接收?qǐng)D像數(shù)據(jù)，并且將圖像數(shù)據(jù)輸出給圖像處理電路20。通信單元60還可以不通過無線通信而通過有線通信從外部裝置接收?qǐng)D像數(shù)據(jù)。在此情況中，圖19所示的圖像處理裝置可以是個(gè)人計(jì)算機(jī)，而非PDA。在圖19或圖2所示的圖像處理裝置中，存儲(chǔ)器33可以具有隨機(jī)可存取盤類記錄介質(zhì)形式的存儲(chǔ)單元，例如，硬盤、DVD (數(shù)字視頻盤)等。在此情況中，圖像處理裝置可以是具有內(nèi)置硬盤或DVD的記錄和再現(xiàn)裝置。本實(shí)施例可被用在任何裝置中，只要后者包括圖像處理電路20即可。替代地，本實(shí)施例可被用在任何裝置中，只要該裝置包括圖像處理電路20或圖像處理計(jì)算電路30形式的圖像處理裝置即可。本發(fā)明成功提供了能夠維持圖像數(shù)據(jù)一致性的圖像處理裝置、圖像處理方法和調(diào)度裝置。同樣，本發(fā)明成功提供了能夠改善處理時(shí)間和功耗的圖像處理裝置、圖像處理方法和調(diào)度裝置。在此所闡述的所有示例和條件語言希望用于教導(dǎo)的目的，以輔助讀者理解本發(fā)明和由發(fā)明人為了深化技術(shù)所貢獻(xiàn)的概念，并且被構(gòu)造為既不限于這些具體闡述的示例和條件，也不限于與顯示本發(fā)明的優(yōu)勢(shì)和劣勢(shì)有關(guān)的說明書中的這些示例的組織。雖然已詳細(xì)描述了本發(fā)明的一個(gè)或多個(gè)實(shí)施例，但是應(yīng)當(dāng)明白，可以在不脫離本發(fā)明的精神和范圍的情況下對(duì)其作出各種改變、替代和變更。
權(quán)利要求
1.一種用于對(duì)圖像數(shù)據(jù)執(zhí)行圖像處理的圖像處理裝置，包括圖像計(jì)算單元，所述圖像計(jì)算單元對(duì)圖像數(shù)據(jù)執(zhí)行包括矩陣處理的圖像處理，所述矩陣處理通過利用在第一方向和與所述第一方向相交的第二方向上表示的多個(gè)像素的像素值來執(zhí)行計(jì)算；調(diào)度單元，所述調(diào)度單元基于所述多個(gè)像素的大小以及利用被復(fù)制的像素值執(zhí)行所述矩陣處理的邊緣處理存在與否，來計(jì)算所述圖像數(shù)據(jù)中的第一圖像幀與第二圖像幀之間的等待像素的數(shù)目；以及圖像數(shù)據(jù)輸入控制單元，所述圖像數(shù)據(jù)輸入控制單元將所述第一圖像幀的圖像數(shù)據(jù)輸出給所述圖像計(jì)算單元，將所述第二圖像幀的圖像數(shù)據(jù)的輸出延遲所述等待像素的數(shù)目，并且將所述第二圖像幀的圖像數(shù)據(jù)輸出給所述圖像計(jì)算單元。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中所述圖像計(jì)算單元順序地執(zhí)行第一矩陣處理和第二矩陣處理，并且所述調(diào)度單元基于所述第一矩陣處理和所述第二矩陣處理中的各個(gè)處理中的所述多個(gè)像素的大小以及所述邊緣處理存在與否來計(jì)算所述等待像素的數(shù)目。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中所述調(diào)度單元基于所述多個(gè)像素的大小以及所述邊緣處理存在與否來計(jì)算所述矩陣處理之前和之后的延遲行的數(shù)目，并且基于所述延遲行的數(shù)目來計(jì)算所述等待像素的數(shù)目。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中所述調(diào)度單元包括刪除行數(shù)計(jì)算單元，所述刪除行數(shù)計(jì)算單元基于所述多個(gè)像素的大小以及所述邊緣處理存在與否，來計(jì)算在由所述圖像計(jì)算單元執(zhí)行的所述矩陣處理中在圖像幀的起始行的圖像數(shù)據(jù)被輸入之后直到通過所述矩陣處理處理的所述起始行的圖像數(shù)據(jù)被輸出為止的延遲行的數(shù)目，作為刪除行的數(shù)目，擴(kuò)展行數(shù)計(jì)算單元，所述擴(kuò)展行數(shù)計(jì)算單元基于所述多個(gè)像素的大小以及所述邊緣處理存在與否，來計(jì)算在由所述圖像計(jì)算單元執(zhí)行的所述矩陣處理中在所述圖像幀的最后一行的圖像數(shù)據(jù)被輸入之后直到通過所述矩陣處理處理的所述最后一行的圖像數(shù)據(jù)被輸出為止的延遲行的數(shù)目，作為擴(kuò)展行的數(shù)目，以及等待行數(shù)計(jì)算單元，所述等待行數(shù)計(jì)算單元基于所述刪除行的數(shù)目和所述擴(kuò)展行的數(shù)目來計(jì)算所述等待像素的數(shù)目。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中所述圖像計(jì)算單元順序地執(zhí)行第一矩陣處理和第二矩陣處理，并且所述等待行數(shù)計(jì)算單元基于所述第一矩陣處理的所述刪除行的數(shù)目以及所述第二矩陣處理的所述擴(kuò)展行的數(shù)目來計(jì)算所述等待像素的數(shù)目。
6.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括中央處理單元，所述中央處理單元將所述多個(gè)像素的大小以及所述邊緣處理存在與否作為命令輸出，其中所述調(diào)度單元基于從所述中央處理單元輸出的所述多個(gè)像素的大小以及所述邊緣處理存在與否來計(jì)算所述等待像素的數(shù)目。
7.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中所述多個(gè)像素的大小等于所述第一方向上的像素?cái)?shù)目與所述第二方向上的像素?cái)?shù)目相等的像素?cái)?shù)目，并且所述像素?cái)?shù)目是所述第一方向上或所述第二方向上大于1的像素?cái)?shù)目。
8.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中所述圖像計(jì)算單元復(fù)制圖像幀的邊緣處的像素的像素值，通過利用被復(fù)制的像素值執(zhí)行矩陣處理來執(zhí)行所述邊緣處理，并且通過不利用所述圖像幀的邊緣處的像素的像素值作為由所述矩陣處理處理的像素值來執(zhí)行所述矩陣處理而不執(zhí)行所述邊緣處理。
9.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括存儲(chǔ)單元，所述存儲(chǔ)單元存儲(chǔ)從所述圖像計(jì)算單元輸出的、經(jīng)過圖像處理處理的所述圖像數(shù)據(jù)。
10.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括成像單元，所述成像單元捕捉圖像并且生成所述圖像數(shù)據(jù)，其中，所述成像單元將所述圖像數(shù)據(jù)輸出給所述圖像數(shù)據(jù)輸入控制單元。
11.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括通信單元，所述通信單元接收由外部裝置發(fā)送的所述圖像數(shù)據(jù)，其中所述通信單元將所接收的圖像數(shù)據(jù)輸出給所述圖像數(shù)據(jù)輸入控制單元。
12.一種用于對(duì)圖像數(shù)據(jù)執(zhí)行圖像處理的圖像處理裝置中的圖像處理方法，該方法包括在圖像計(jì)算單元執(zhí)行包括矩陣處理的圖像處理的情況下，由調(diào)度單元基于多個(gè)像素的大小以及通過利用被復(fù)制的像素值執(zhí)行所述矩陣處理的邊緣處理存在與否，來計(jì)算所述圖像數(shù)據(jù)中的第一圖像幀與第二圖像幀之間的等待像素的數(shù)目，其中所述矩陣處理通過利用在第一方向和與所述第一方向相交的第二方向上表示的所述多個(gè)像素的像素值來執(zhí)行計(jì)算；以及由圖像數(shù)據(jù)輸入控制單元將所述第一圖像幀的圖像數(shù)據(jù)輸出給所述圖像計(jì)算單元，將所述第二圖像幀的圖像數(shù)據(jù)的輸出延遲所述等待像素的數(shù)目，并且將所述第二圖像幀的圖像數(shù)據(jù)輸出給所述圖像計(jì)算單元。
13.—種針對(duì)圖像計(jì)算裝置的調(diào)度裝置，所述圖像計(jì)算裝置用于對(duì)圖像數(shù)據(jù)執(zhí)行包括矩陣處理的圖像處理，所述矩陣處理通過利用在第一方向和與所述第一方向相交的第二方向上表示的多個(gè)像素的像素值來執(zhí)行計(jì)算，所述調(diào)度裝置包括等待行數(shù)計(jì)算單元，所述等待行數(shù)計(jì)算單元基于所述多個(gè)像素的大小以及利用被復(fù)制的像素值執(zhí)行所述矩陣處理的邊緣處理存在與否，來計(jì)算所述圖像數(shù)據(jù)中的第一圖像幀與第二圖像幀之間的等待像素的數(shù)目，其中所述第一圖像幀的圖像數(shù)據(jù)被輸出給所述圖像計(jì)算裝置，所述第二圖像幀的圖像數(shù)據(jù)的輸出被延遲所述等待像素的數(shù)目，并且所述第二圖像幀的圖像數(shù)據(jù)被輸出給所述圖像計(jì)算裝置。
全文摘要
本發(fā)明公開了圖像處理裝置、圖像處理方法和調(diào)度裝置。一種用于對(duì)圖像數(shù)據(jù)執(zhí)行圖像處理的圖像處理裝置包括圖像計(jì)算單元，其對(duì)圖像數(shù)據(jù)執(zhí)行包括矩陣處理的圖像處理，該矩陣處理通過利用在第一方向和與第一方向相交的第二方向上表示的多個(gè)像素的像素值來執(zhí)行計(jì)算；調(diào)度單元，其基于多個(gè)像素的大小以及利用被復(fù)制的像素值執(zhí)行矩陣處理的邊緣處理存在與否，來計(jì)算圖像數(shù)據(jù)中的第一圖像幀與第二圖像幀之間的等待像素的數(shù)目；以及圖像數(shù)據(jù)輸入控制單元，其將第一圖像幀的圖像數(shù)據(jù)輸出給圖像計(jì)算單元，將第二圖像幀的圖像數(shù)據(jù)的輸出延遲等待像素的數(shù)目，并且將第二圖像幀的圖像數(shù)據(jù)輸出給圖像計(jì)算單元。
文檔編號(hào)G06T1/60GK102385743SQ20111018018
公開日2012年3月21日 申請(qǐng)日期2011年6月24日 優(yōu)先權(quán)日2010年8月30日
發(fā)明者安藤演彥, 高橋遼平 申請(qǐng)人:富士通半導(dǎo)體股份有限公司