專利名稱:圖像處理裝置和程序的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及一種圖像處理裝置,本發(fā)明特別涉及一種裝置和程序,通過對壓縮活動圖像數(shù)據(jù)執(zhí)行圖像增強處理來獲得壓縮處理的活動圖像數(shù)據(jù)。
背景技術(shù):
為使活動圖像完美的顯示,提高圖像質(zhì)量,在由攝影獲得的活動圖像上進行諸如灰度校正的處理(在下文指圖像增強處理)。日本專利號為3087409的專利就是一種針對灰度校正提出的方法。在這個方法中,首先,對如NTSC信號的視頻信號進行A/D轉(zhuǎn)換產(chǎn)生活動圖像數(shù)據(jù);接著,計算出有關(guān)該活動圖像數(shù)據(jù)的亮度柱狀圖;再以此亮度柱狀圖為依據(jù)產(chǎn)生用于灰度校正的查找表。
最近隨著數(shù)碼相機及帶有照相機的移動電話的普及,活動圖像常常與如NTSC信號的視頻信號和根據(jù)如MPEG壓縮標準處理的數(shù)字壓縮數(shù)據(jù)有關(guān)。與靜止的圖像攝影不同,快門很難用在活動圖像攝影上。因此,采用如數(shù)碼相機的成像設(shè)備拍攝的活動圖像容易發(fā)暗。為了顯示已經(jīng)被數(shù)字壓縮的包含有壓縮圖像數(shù)據(jù)的活動圖像,在如NTSC信號的模擬信號情況下,有必要對壓縮圖像數(shù)據(jù)進行圖像增強處理。
這種活動圖像數(shù)據(jù)記錄在記錄介質(zhì)上并以壓縮狀態(tài)傳送著。因此,顯示活動圖像數(shù)據(jù)的設(shè)備需要在活動圖像數(shù)據(jù)已經(jīng)被壓縮的前提下,對該活動圖像數(shù)據(jù)執(zhí)行顯示處理。因此,對壓縮的活動圖像數(shù)據(jù)進行圖像增強處理產(chǎn)生的處理后的圖像數(shù)據(jù)需要根據(jù)該顯示設(shè)備壓縮。
然而,為了通過圖像增強處理獲得壓縮處理的活動圖像數(shù)據(jù),根據(jù)如MPEG壓縮標準的數(shù)字壓縮的活動圖像數(shù)據(jù)(下文指壓縮活動圖像數(shù)據(jù))首先被解碼。該解碼數(shù)據(jù)接著進行圖像增強處理。在下文,校正(增強)數(shù)據(jù)被編碼產(chǎn)生壓縮處理的活動圖像數(shù)據(jù)。由于編碼解碼活動圖像數(shù)據(jù)需要大量操作,這是一個耗時的處理過程。通信領(lǐng)域也注意到了處理時間長這一問題。
在作為通信形式之一的移動通信領(lǐng)域,移動終端如移動電話已被廣泛普及并且其功能已經(jīng)改善。因此,與圖像有關(guān)的服務(wù)已經(jīng)提供給這樣的移動終端。例如,一些通信中繼服務(wù)器就具有圖像增強功能。當一封電子郵件從一個發(fā)送移動電話傳遞到一個接收移動電話時,中繼服務(wù)器在附屬于從發(fā)送移動電話發(fā)送的電子郵件中的圖像數(shù)據(jù)上執(zhí)行如灰度校正、白平衡校正、密度校正、和銳度處理的圖像增強處理。此后,中繼服務(wù)器發(fā)送該圖像數(shù)據(jù)給接收移動電話,或為將來下載臨時存儲該圖像數(shù)據(jù)。如果該圖像增強處理在服務(wù)器沒有很快執(zhí)行,用戶會感覺很郁悶。因此,這個服務(wù)不是提高了,而是降低了。而且,如果圖像增強處理所需時間很長,該服務(wù)器需要具有大容量的存儲設(shè)備來存儲將被處理的圖像數(shù)據(jù)。在這種方式中,服務(wù)器變得更昂貴了。
同樣的現(xiàn)象也被視頻電話領(lǐng)域注意到了。如果圖像增強處理不能被很快執(zhí)行,用戶就不能實時看到對方他/她的圖像。因此,這樣的視頻電話變得沒有意義,并且通信不能很順暢地進行。
這個問題在其它領(lǐng)域也被注意到了。比如,當記錄在如CD-ROM記錄介質(zhì)中的活動圖像數(shù)據(jù)顯示在計算機顯示器時,計算機執(zhí)行適合活動圖像顯示的圖像增強處理。然而,如果圖像增強處理延長,象在通信時的情況一樣,用戶就會感到郁悶。
發(fā)明的簡述本發(fā)明是基于上述情況的考慮而構(gòu)思的。因此本發(fā)明的一個目的是提供一種圖像處理裝置和程序,通過對壓縮活動圖像數(shù)據(jù)執(zhí)行圖像增強處理有效地產(chǎn)生壓縮處理的活動圖像數(shù)據(jù)。
本發(fā)明的第一圖像處理裝置是一種圖像處理裝置,用于通過對壓縮活動圖像數(shù)據(jù)執(zhí)行圖像增強處理獲得壓縮處理活動圖像數(shù)據(jù)。第一圖像處理裝置包括分割裝置,用于把壓縮活動圖像數(shù)據(jù)分割為需校正的目標部分和不校正的非目標部分;解碼裝置,用于通過解碼目標部分獲得解碼數(shù)據(jù);校正裝置,用于通過對解碼數(shù)據(jù)執(zhí)行圖像增強處理獲得校正的解碼數(shù)據(jù);編碼裝置,用于對該校正的解碼數(shù)據(jù)編碼;和合并裝置,用于通過將編碼過的目標部分和非目標部分合并獲得壓縮處理的活動圖像數(shù)據(jù)。
壓縮活動圖像數(shù)據(jù)的目標部分是指如果該部分增強能影響整個活動圖像數(shù)據(jù)的圖像質(zhì)量的部分。
非目標部分是指對該部分增強并不影響圖像質(zhì)量的部分?;蛘撸摲悄繕瞬糠质侵覆挥绊懽鳛槟繕瞬糠值膱D像質(zhì)量的部分。換句話說,非目標部分即使其上的圖像增強處理沒有執(zhí)行也不太影響圖像質(zhì)量,因此它表示不需要圖像增強處理的部分。
這兩部分如何分開是依靠產(chǎn)生壓縮活動圖像數(shù)據(jù)的壓縮方法?;顒訄D像數(shù)據(jù)通常包括多個幀。在一種壓縮方法中,第一幀是獨立的,作為參考幀,其它的幀通過與第一幀的差別來表示。在這種情況下,只有第一幀具有獨立于其它幀的數(shù)據(jù),而其它幀用與第一幀的差別來表示。因此,如果對第一幀進行圖像增強處理,其它幀也被校正。換句話說,圖像增強處理所需的解碼處理只對第一幀進行。因此,第一幀是目標部分,而其它幀是非目標部分。
在這種情況下,第一幀指在壓縮的活動圖像數(shù)據(jù)結(jié)構(gòu)中首先出現(xiàn)的幀,不一定指在時間順序上首先出現(xiàn)的幀。
同時,內(nèi)部幀和相關(guān)幀包括壓縮活動圖像數(shù)據(jù),該數(shù)據(jù)的產(chǎn)生可根據(jù)成為用于活動圖像工業(yè)主流標準的MPEG,根據(jù)用于視頻電話的ITU-T H.261和ITU-T H263標準,和根據(jù)如用于移動電話的活動圖像壓縮標準的方法產(chǎn)生。每個內(nèi)部幀具有不依賴其它幀數(shù)據(jù)的數(shù)據(jù),相關(guān)幀包括幀之間的差異。這樣,如果圖像增強處理在內(nèi)部幀上進行,包括依賴內(nèi)部幀數(shù)據(jù)的相關(guān)幀也被校正了。因此,圖像增強處理所需的解碼處理只對內(nèi)部幀進行。從而,內(nèi)部幀是目標部分而相關(guān)幀是非目標部分。
盡管相關(guān)幀確實包括幀間的差別并依賴于內(nèi)部幀數(shù)據(jù),根據(jù)一種壓縮方法,相關(guān)幀依賴其它幀的程度是不同的。比如,在包括I幀,P幀和B幀的壓縮活動圖像數(shù)據(jù)的情況下,I幀是獨立于其它幀的。P幀和B幀包括幀之間的差別并且不是獨立的。然而,每個P幀只依賴于它前面(過去的)的一幀,而B幀依賴于該幀的前一幀和該幀的后一幀(將來的)。因此,P幀比B幀更獨立,通過對P幀執(zhí)行圖像增強處理,圖像質(zhì)量能改善更多。在這種情況下,I幀和P幀是目標部分,而B幀是非目標部分。
為通過校正裝置執(zhí)行目標部分的圖像增強處理,目標部分需要首先通過解碼裝置解碼。本發(fā)明第一圖像處理裝置的解碼裝置最好將目標部分解碼為能使校正裝置在其上執(zhí)行圖像增強處理的程度?;顒訄D像數(shù)據(jù)常常以分步方式壓縮,并且解碼處理通過以壓縮相反順序的逆操作來執(zhí)行。比如,如果解碼根據(jù)MPEG壓縮的活動圖像數(shù)據(jù),首先在其上進行可變長解碼??勺冮L解碼后的數(shù)據(jù)接著分解為運動矢量,DCT系數(shù)等等。進而運動估算和補償及DCT的逆過程IDCT被執(zhí)行。由于圖像增強處理能對DCT系數(shù)進行,解碼處理沒必要直到IDCT步驟后執(zhí)行。因此,解碼裝置不執(zhí)行IDCT,而是給校正裝置提供DCT系數(shù)。校正裝置接著對DCT系數(shù)執(zhí)行圖像增強處理。在下文的編碼步驟,采用了校正的DCT系數(shù),并且尋找DCT系數(shù)的步驟變得沒必要了。在這種方式,編碼處理所需的時間也就縮短了。
本發(fā)明的第二圖像處理裝置是一種裝置,用于通過對根據(jù)采用第一幀作為參考幀的壓縮方法獲得的壓縮活動圖像數(shù)據(jù)執(zhí)行圖像增強處理而獲得壓縮處理的活動圖像數(shù)據(jù)的裝置。第二圖像處理裝置包括分割裝置,用于把壓縮活動圖像數(shù)據(jù)分割為第一幀和其它幀;解碼裝置,用于通過解碼第一幀獲得解碼的第一幀;校正裝置,用于通過對解碼的第一幀執(zhí)行圖像增強處理獲得校正的解碼第一幀;編碼裝置,用于對該校正的解碼第一幀編碼獲得校正的第一幀;和合并裝置,用于通過將校正的第一幀和其它幀合并獲得壓縮處理的活動圖像數(shù)據(jù)。
本發(fā)明的第三圖像處理裝置是一種裝置,用于通過對包括內(nèi)部幀和相關(guān)幀的壓縮活動圖像數(shù)據(jù)執(zhí)行圖像增強處理而獲得壓縮處理的活動圖像數(shù)據(jù)的裝置。第三圖像處理裝置包括分割裝置,用于把壓縮活動圖像數(shù)據(jù)分割為內(nèi)部幀和相關(guān)幀;解碼裝置,用于通過解碼內(nèi)部幀獲得解碼的內(nèi)部幀;校正裝置,用于通過對解碼的內(nèi)部幀執(zhí)行圖像增強處理獲得校正的解碼內(nèi)部幀;編碼裝置,用于對該校正的解碼內(nèi)部幀編碼獲得校正的內(nèi)部幀;和合并裝置,用于通過將校正的內(nèi)部幀和相關(guān)幀合并獲得壓縮處理的活動圖像數(shù)據(jù)。
如上所述,通過根據(jù)MPEG或包括內(nèi)部幀和相關(guān)幀的類似壓縮,獲得壓縮的活動圖像數(shù)據(jù)。相關(guān)幀通常依賴于內(nèi)部幀。然而,在一些情況下,相關(guān)幀可包括獨立數(shù)據(jù)(即不依賴其它幀的數(shù)據(jù))。獨立數(shù)據(jù)被稱為內(nèi)部塊,而非獨立數(shù)據(jù)被稱為相關(guān)塊。為處理這種情況,本發(fā)明的第三圖像處理裝置最好還包括塊分割裝置,用于將相關(guān)幀分割為內(nèi)部塊和相關(guān)塊。在此情況下,解碼裝置還通過解碼內(nèi)部塊獲得解碼的內(nèi)部塊,并且校正裝置還通過對解碼的內(nèi)部塊執(zhí)行圖像增強處理獲得校正的解碼內(nèi)部塊。編碼裝置還通過編碼該校正的解碼內(nèi)部塊獲得校正的內(nèi)部塊,并且合并裝置通過合并校正的內(nèi)部幀和校正的內(nèi)部塊與相關(guān)塊獲得壓縮處理的活動圖像數(shù)據(jù)。
本發(fā)明的第四圖像處理裝置是一種裝置,用于通過對包括I幀,P幀和B幀的壓縮活動圖像數(shù)據(jù)執(zhí)行圖像增強處理而獲得壓縮處理活動圖像數(shù)據(jù)的裝置。第四圖像處理裝置包括分割裝置,用于把壓縮活動圖像數(shù)據(jù)分割為I幀,P幀和B幀;解碼裝置,用于通過解碼I幀和P幀獲得解碼的I幀和解碼的P幀;校正裝置,用于通過對解碼的I幀和解碼的P幀執(zhí)行圖像增強處理獲得校正的解碼I幀和校正的解碼P幀;編碼裝置,用于對該校正的解碼的I幀和校正的解碼的P幀編碼獲得校正的I幀和校正的P幀;和合并裝置,用于通過將校正的I幀和校正的P幀與B幀合并獲得壓縮處理的活動圖像數(shù)據(jù)。
本發(fā)明的第四圖像處理裝置最好還包括塊分割裝置,用于將B幀分割為內(nèi)部塊和相關(guān)塊。在此情況下,解碼裝置還通過解碼該內(nèi)部塊獲得解碼的內(nèi)部塊,并且校正裝置還通過對解碼的內(nèi)部塊執(zhí)行圖像增強處理獲得校正的解碼內(nèi)部塊。編碼裝置接著通過編碼該校正的解碼內(nèi)部塊獲得校正的內(nèi)部塊,并且合并裝置通過將校正的I幀,校正的P幀和校正的內(nèi)部塊與相關(guān)塊合并獲得壓縮處理的活動圖像數(shù)據(jù)。
本發(fā)明的第五圖像處理裝置是一種裝置,用于通過對主要包含每幀DCT系數(shù)數(shù)據(jù)和運動向量數(shù)據(jù)的壓縮活動圖像數(shù)據(jù)執(zhí)行圖像增強處理而獲得壓縮處理的活動圖像數(shù)據(jù)的裝置。第五圖像處理裝置包括提取裝置,用于從壓縮的活動圖像數(shù)據(jù)中提取DCT系數(shù)數(shù)據(jù)和運動向量數(shù)據(jù);解碼裝置,用于通過利用DCT系數(shù)數(shù)據(jù)和運動向量數(shù)據(jù)解碼該壓縮活動圖像數(shù)據(jù)獲得解碼數(shù)據(jù);校正裝置,用于通過對解碼數(shù)據(jù)執(zhí)行圖像增強處理獲得校正的解碼數(shù)據(jù);和編碼裝置,用于對該校正的解碼數(shù)據(jù)編碼獲得壓縮處理的活動圖像數(shù)據(jù)。第五圖像處理裝置的特征在于該編碼裝置利用由提取裝置獲得的運動向量數(shù)據(jù)編碼該校正的解碼數(shù)據(jù)。
根據(jù)MPEG壓縮的圖像數(shù)據(jù),除了表示每幀是內(nèi)部幀或相關(guān)幀的首部信息外,主要包括每幀的DCT系數(shù)和運動向量。當壓縮活動圖像數(shù)據(jù)被解碼和已經(jīng)解碼和圖像增強處理后的壓縮活動圖像數(shù)據(jù)被編碼時,運動向量是必須的。本發(fā)明的第五圖像處理裝置注意到實際尋找運動向量需要大量的編碼操作,而運動向量對圖像質(zhì)量如色調(diào)的影響卻不是很大。因此,運動向量不重新在編碼處理中找到,而用在解碼處理的運動向量被采用。在此方式下,產(chǎn)生壓縮處理的活動圖像數(shù)據(jù)的時間就被縮短了。
本發(fā)明的第六圖像處理裝置是一種裝置,用于通過對包括多個幀的壓縮活動圖像數(shù)據(jù)執(zhí)行圖像增強處理而獲得壓縮處理的活動圖像數(shù)據(jù)的裝置。第六圖像處理裝置包括分割裝置,用于把壓縮活動圖像數(shù)據(jù)分割為目標幀和非目標幀;解碼裝置,用于通過解碼目標幀獲得解碼幀;校正裝置,用于通過對解碼幀執(zhí)行圖像增強處理獲得校正的解碼幀;編碼裝置,用于對該校正的解碼幀編碼獲得校正幀;和合并裝置,用于通過將校正幀和非目標幀合并獲得壓縮處理的活動圖像數(shù)據(jù)。第六圖像處理裝置的特征在于校正裝置包括校正參數(shù)計算裝置,用于通過利用相應(yīng)的解碼幀數(shù)據(jù)計算每個解碼幀的校正參數(shù);參數(shù)調(diào)整裝置,用于通過利用相應(yīng)將要調(diào)整的該校正參數(shù)的解碼幀之前和/或之后的解碼幀的校正參數(shù)調(diào)整其校正參數(shù)獲得每個解碼幀的調(diào)整參數(shù);和校正提取裝置,用于利用該調(diào)整參數(shù)執(zhí)行每個解碼幀的圖像增強處理。
目標幀是指,如果在其上執(zhí)行圖像增強處理,影響整個活動圖像數(shù)據(jù)的圖像質(zhì)量的幀。
非目標幀是指,在其上進行增強處理并不影響整個活動圖像的圖像質(zhì)量的幀?;蛘撸悄繕藥覆幌衲繕藥菢佑绊憟D像質(zhì)量的幀。換句話說,即使在非目標幀上不執(zhí)行圖像增強處理,也不太影響圖像質(zhì)量,因此非目標幀是不需要圖像增強處理的幀。
目標幀和非目標幀如何劃分依靠產(chǎn)生壓縮活動圖像數(shù)據(jù)的壓縮方法?;顒訄D像數(shù)據(jù)通常包括多個幀,并且內(nèi)部幀和相關(guān)幀包括活動圖像數(shù)據(jù),該數(shù)據(jù)的壓縮可根據(jù)成為用于活動圖像工業(yè)主流標準的MPEG,根據(jù)用于視頻電話等的ITU-T H.261和ITU-T H263標準,和根據(jù)如用于移動電話的活動圖像壓縮標準的方法壓縮。每個內(nèi)部幀具有不依賴其它幀數(shù)據(jù)的數(shù)據(jù),相關(guān)幀包括幀之間的差異。這樣,如果圖像增強處理在內(nèi)部幀上進行,包括依賴內(nèi)部幀的數(shù)據(jù)的相關(guān)幀也被校正了。因此,圖像增強處理所需的解碼處理只對內(nèi)部幀進行。從而,內(nèi)部幀是目標幀而相關(guān)幀是非目標幀。
盡管相關(guān)幀確實包括幀間的差別并依賴于內(nèi)部幀數(shù)據(jù),根據(jù)一種壓縮方法,相關(guān)幀依賴其它幀的程度是不同的。比如,在包括I幀,P幀和B幀的壓縮活動圖像數(shù)據(jù)的情況下,I幀是獨立于其它幀的。P幀和B幀包括幀之間的差別并且不是獨立的。然而,每個P幀只依賴于它前面(過去的)的一幀,而每個B幀依賴于該幀的前一幀和該幀的后一幀(將來的)。因此,P幀比B幀更獨立,通過對P幀執(zhí)行圖像增強處理,圖像質(zhì)量能改善更多。在這種情況下,在第六圖像處理裝置中,I幀和P幀最好用作目標幀,而B幀用作非目標幀,盡管I幀可單獨用作目標幀,而P幀和B幀用作非目標幀。
在通過解碼裝置解碼目標幀獲得的解碼幀上執(zhí)行圖像增強處理,本發(fā)明第六圖像處理裝置的校正裝置基于其上數(shù)據(jù),利用校正參數(shù)計算裝置對每個解碼幀計算校正參數(shù)。校正裝置的參數(shù)調(diào)整裝置接著利用解碼幀前和/或后的校正參數(shù)調(diào)整每個解碼幀的校正參數(shù)。校正裝置的校正提取裝置接著利用其上的調(diào)整參數(shù)對每個解碼幀執(zhí)行圖像增強處理。
參數(shù)調(diào)整裝置為每個解碼幀設(shè)置調(diào)整參數(shù),該調(diào)整參數(shù)為其上校正參數(shù)和至少一個相應(yīng)該解碼幀之前和/或后的解碼幀的校正參數(shù)的平均值。
本發(fā)明的第七圖像處理裝置是一種裝置,用于通過對包括內(nèi)部幀和相關(guān)幀的壓縮活動圖像數(shù)據(jù)執(zhí)行圖像增強處理而獲得壓縮處理的活動圖像數(shù)據(jù)的裝置。第七圖像處理裝置包括分割裝置,用于把壓縮活動圖像數(shù)據(jù)分割為內(nèi)部幀,目標相關(guān)幀和非目標相關(guān)幀;解碼裝置,用于通過解碼內(nèi)部幀和目標相關(guān)幀獲得包括解碼內(nèi)部幀和解碼目標相關(guān)幀的解碼幀;校正裝置,用于通過對解碼幀執(zhí)行圖像增強處理獲得校正的解碼幀;編碼裝置,用于對該校正的解碼幀編碼獲得校正幀;和合并裝置,用于通過將校正幀和非目標相關(guān)幀合并獲得壓縮處理的活動圖像數(shù)據(jù)。第七圖像處理裝置的特征在于校正裝置,用于通過計算校正參數(shù)對解碼內(nèi)部幀和利用緊接著在前于該解碼目標相關(guān)幀的解碼內(nèi)部幀的校正參數(shù)對解碼目標相關(guān)幀執(zhí)行圖像增強處理。
非目標相關(guān)幀是指不是獨立的幀,即使其上進行圖像增強處理也不影響整個活動圖像數(shù)據(jù)的圖像質(zhì)量。目標相關(guān)幀是指,如果在其上執(zhí)行圖像增強處理,影響整個活動圖像數(shù)據(jù)的圖像質(zhì)量比非目標相關(guān)幀要多的幀,盡管目標相關(guān)幀也不獨立。更明確地,如上所述,根據(jù)如MPEG的壓縮方法壓縮的活動圖像數(shù)據(jù)包括內(nèi)部幀(如上述的I幀)和相關(guān)幀。相關(guān)幀可被分割為低依賴性幀(如P幀)和高依賴性幀(如B幀)。在這種情況下,I幀可以是第七圖像處理裝置的內(nèi)部幀,而P幀和B幀可以分別是目標相關(guān)幀和非目標相關(guān)幀。
換句話說,本發(fā)明的第七圖像處理裝置通過對內(nèi)部幀和目標相關(guān)幀執(zhí)行解碼處理,圖像增強處理和編碼處理獲得校正幀。壓縮處理的活動圖像數(shù)據(jù)接著通過合并校正幀和非目標相關(guān)幀而獲得。對解碼內(nèi)部幀和解碼目標相關(guān)幀執(zhí)行圖像增強處理的校正裝置,只計算解碼內(nèi)部幀的校正參數(shù)并不找出解碼目標相關(guān)幀的校正參數(shù)。然而,校正裝置也利用緊接著在前于該解碼內(nèi)部幀的校正參數(shù)執(zhí)行每個解碼相關(guān)幀的圖像增強處理。
在一些情況下,通過一種壓縮方法獲得的壓縮活動圖像數(shù)據(jù)使得只第一幀成為內(nèi)部幀。在這樣的壓縮活動圖像數(shù)據(jù)中,只有第一幀是內(nèi)部幀,而緊接著在前面的解碼內(nèi)部幀是所有目標相關(guān)幀的解碼第一幀。在這種情況下,校正裝置計算解碼第一幀的校正參數(shù),并且在其上執(zhí)行圖像增強處理。校正裝置也利用解碼第一幀的校正參數(shù)執(zhí)行所有目標相關(guān)幀的圖像增強處理。
在這種情況下,第一幀指在壓縮的活動圖像數(shù)據(jù)結(jié)構(gòu)中首先出現(xiàn)的幀,不一定必須指在時間順序中首先出現(xiàn)的幀。
本發(fā)明的第一程序是指使計算機執(zhí)行的通過對壓縮活動圖像數(shù)據(jù)進行圖像增強處理而獲得壓縮處理的活動圖像數(shù)據(jù)的圖像處理程序。該圖像處理程序包括的步驟為將壓縮的活動圖像數(shù)據(jù)分割為需校正的目標部分和不需校正的非目標部分;解碼目標部分獲得解碼數(shù)據(jù);對解碼數(shù)據(jù)執(zhí)行圖像增強處理而獲得校正的解碼數(shù)據(jù);對該校正的解碼數(shù)據(jù)編碼;和將編碼過的目標部分和非目標部分合并獲得壓縮處理的活動圖像數(shù)據(jù)。
本發(fā)明的第二程序是一種使計算機執(zhí)行的通過對采用根據(jù)第一幀作為參考幀的壓縮方法獲得的壓縮活動圖像數(shù)據(jù)進行圖像增強處理而獲得壓縮處理活動圖像數(shù)據(jù)的圖像處理程序。該圖像處理程序包括步驟把壓縮活動圖像數(shù)據(jù)分割為第一幀和其它幀;解碼第一幀而獲得解碼的第一幀;對解碼的第一幀執(zhí)行圖像增強處理獲得校正的解碼第一幀;對該校正的解碼第一幀編碼獲得校正的第一幀;和將校正的第一幀和其它幀合并獲得壓縮處理的活動圖像數(shù)據(jù)。
本發(fā)明的第三程序是一種使得計算機執(zhí)行的通過對包括內(nèi)部幀和相關(guān)幀的壓縮活動圖像數(shù)據(jù)進行圖像增強處理而獲得壓縮處理的活動圖像數(shù)據(jù)的圖像處理程序。該圖像處理程序包括步驟為把壓縮活動圖像數(shù)據(jù)分割為內(nèi)部幀和相關(guān)幀;解碼內(nèi)部幀獲得解碼的內(nèi)部幀;對解碼的內(nèi)部幀執(zhí)行圖像增強處理獲得校正的解碼內(nèi)部幀;對該校正的解碼內(nèi)部幀編碼獲得校正的內(nèi)部幀;和將校正的內(nèi)部幀和相關(guān)幀合并獲得壓縮處理的活動圖像數(shù)據(jù)。
在這種情況,分割步驟最好還包括將相關(guān)幀分割為內(nèi)部塊和相關(guān)塊的步驟。因此,解碼步驟為解碼內(nèi)部塊獲得解碼的內(nèi)部塊的步驟,執(zhí)行圖像增強處理的步驟為對解碼內(nèi)部塊執(zhí)行圖像增強處理獲得校正的解碼內(nèi)部塊的步驟。編碼步驟為編碼該校正的解碼內(nèi)部塊獲得校正的內(nèi)部塊的步驟,合并步驟為將校正的內(nèi)部幀和校正的內(nèi)部塊與相關(guān)塊合并而獲得壓縮處理的活動圖像數(shù)據(jù)的步驟。
本發(fā)明的第四程序是一種使得計算機執(zhí)行的通過對包括I幀,P幀和B幀的壓縮活動圖像數(shù)據(jù)進行圖像增強處理而獲得壓縮處理的活動圖像數(shù)據(jù)的圖像處理程序。該圖像處理程序包括將壓縮活動圖像數(shù)據(jù)分割為I幀,P幀和B幀;解碼I幀和P幀獲得解碼的I幀和解碼的P幀;對解碼的I幀和解碼的P幀執(zhí)行圖像增強處理獲得校正的解碼I幀和校正的解碼P幀;對該校正的解碼的I幀和校正的解碼的P幀編碼獲得校正的I幀和校正的P幀;和將校正的I幀和校正的P幀與B幀合并獲得壓縮處理的活動圖像數(shù)據(jù)。
分割步驟最好還包括將B幀分割為內(nèi)部塊和相關(guān)塊的步驟。因此,解碼步驟為解碼該內(nèi)部塊獲得解碼的內(nèi)部塊的步驟,執(zhí)行圖像增強處理的步驟為對解碼的內(nèi)部塊執(zhí)行圖像增強處理獲得校正的解碼內(nèi)部塊的步驟。編碼步驟為編碼該校正的解碼內(nèi)部塊獲得校正的內(nèi)部塊的步驟,合并步驟是將校正的I幀,校正的P幀和校正的內(nèi)部塊與相關(guān)塊合并獲得壓縮處理的活動圖像數(shù)據(jù)的步驟。
本發(fā)明的第五程序是一種使計算機執(zhí)行的通過對主要包含每幀DCT系數(shù)數(shù)據(jù)和運動向量數(shù)據(jù)的壓縮活動圖像數(shù)據(jù)進行圖像增強處理而獲得壓縮處理的活動圖像數(shù)據(jù)的圖像處理程序。該圖像處理程序包括的步驟為從壓縮的活動圖像數(shù)據(jù)中提取DCT系數(shù)數(shù)據(jù)和運動向量數(shù)據(jù);利用DCT系數(shù)數(shù)據(jù)和運動向量數(shù)據(jù)解碼該壓縮活動圖像數(shù)據(jù)獲得解碼數(shù)據(jù);對解碼數(shù)據(jù)執(zhí)行圖像增強處理獲得校正的解碼數(shù)據(jù);和對該校正的解碼數(shù)據(jù)編碼獲得壓縮處理的活動圖像數(shù)據(jù)。編碼步驟最好是利用在提取步驟中獲得的運動向量數(shù)據(jù)編碼該校正的解碼數(shù)據(jù)的步驟。
本發(fā)明的第六程序是一種使計算機執(zhí)行的通過對包括多個幀的壓縮活動圖像數(shù)據(jù)進行圖像增強處理而獲得壓縮處理的活動圖像數(shù)據(jù)的圖像處理程序。圖像處理程序包括的步驟為把壓縮活動圖像數(shù)據(jù)分割為目標幀和非目標幀;解碼目標幀獲得解碼幀;對解碼幀執(zhí)行圖像增強處理獲得校正的解碼幀;對校正的解碼幀編碼獲得校正幀;和將校正幀和非目標幀合并獲得壓縮處理的活動圖像數(shù)據(jù)。第六程序的特征在于執(zhí)行圖像增強處理的步驟還包括步驟利用相應(yīng)的解碼幀數(shù)據(jù)計算每個解碼幀的校正參數(shù);利用相應(yīng)將要調(diào)整的該校正參數(shù)的解碼幀之前和/或之后的解碼幀的校正參數(shù)調(diào)整其上的校正參數(shù)獲得每個解碼幀的調(diào)整參數(shù);和利用該調(diào)整參數(shù)執(zhí)行每個解碼幀的圖像增強處理。
本發(fā)明的第七程序是一種使計算機執(zhí)行的通過對包括內(nèi)部幀和相關(guān)幀的壓縮活動圖像數(shù)據(jù)進行圖像增強處理而獲得壓縮處理的活動圖像數(shù)據(jù)的圖像處理程序。該圖像處理程序包括的步驟為
把壓縮活動圖像數(shù)據(jù)分割為內(nèi)部幀,目標相關(guān)幀和非目標相關(guān)幀;解碼內(nèi)部幀和目標相關(guān)幀獲得包括解碼內(nèi)部幀和解碼目標相關(guān)幀的解碼幀;對解碼幀執(zhí)行圖像增強處理獲得校正的解碼幀;對該校正的解碼幀編碼獲得校正幀;和將校正幀和非目標相關(guān)幀合并獲得壓縮處理的活動圖像數(shù)據(jù)。第七程序的特征在于執(zhí)行圖像增強處理的步驟是通過計算校正參數(shù)對解碼內(nèi)部幀和利用緊接著在前于該解碼目標相關(guān)幀的該解碼內(nèi)部幀的校正參數(shù)對解碼目標相關(guān)幀執(zhí)行圖像增強處理的步驟。
根據(jù)本發(fā)明第一圖像處理裝置,通過對壓縮活動圖像數(shù)據(jù)執(zhí)行圖像增強處理獲得壓縮處理的活動圖像數(shù)據(jù)時,壓縮的活動圖像數(shù)據(jù)首先被分割為目標部分和非目標部分。接著影響圖像質(zhì)量的目標部分被解碼處理和圖像增強處理。因此,在沒有對非目標部分執(zhí)行解碼處理和圖像增強處理時,壓縮的活動圖像數(shù)據(jù)能被處理為可以達到實現(xiàn)良好顯示效果的壓縮處理的活動圖像數(shù)據(jù)。另外,產(chǎn)生壓縮處理的活動圖像數(shù)據(jù)所需的時間被縮短了。
在本發(fā)明第一圖像處理裝置中,如果解碼裝置對目標部分執(zhí)行解碼處理達到允許校正裝置在其上執(zhí)行圖像增強處理的程度,解碼處理所需時間也就被縮短了。
在本發(fā)明第二圖像處理裝置中,第一幀從根據(jù)一種壓縮方法產(chǎn)生的壓縮活動圖像數(shù)據(jù)中分離出來,該壓縮方法利用第一幀作為參考幀,并且只對第一幀進行解碼處理,圖像增強處理和編碼處理。因此,壓縮處理的活動圖像數(shù)據(jù)是將校正的第一幀和其它幀合并而獲得的。在這種方式,不需要對表示與第一幀差異的其它幀執(zhí)行解碼處理和圖像增強處理,因此可以獲得能適合顯示的壓縮處理的活動圖像數(shù)據(jù),同時縮短了所需時間。
根據(jù)本發(fā)明第三圖像處理裝置,把內(nèi)部幀與壓縮的活動圖像數(shù)據(jù)中的相關(guān)幀分離,并且解碼處理,圖像增強處理和編碼處理只對內(nèi)部幀進行。接著,通過將校正的內(nèi)部幀和相關(guān)幀合并而獲得壓縮處理的活動圖像數(shù)據(jù)。因此,對表示幀之間差別的相關(guān)幀執(zhí)行解碼處理,圖像增強處理和編碼處理可被節(jié)省下來。在這種方式,壓縮的活動圖像數(shù)據(jù)可被校正為能適合顯示的壓縮處理的活動圖像數(shù)據(jù),并且所需的時間也縮短了。
如果第三圖像處理裝置進一步包括塊分割裝置,將相關(guān)幀分割為相關(guān)塊和內(nèi)部塊,并且如果圖像增強處理(和其上所述的解碼處理及編碼處理)也對內(nèi)部塊執(zhí)行,圖像質(zhì)量能進一步提高。
根據(jù)本發(fā)明第四圖像處理裝置,壓縮的活動圖像數(shù)據(jù)被分割為I幀,P幀和B幀,并且只對I幀和P幀進行解碼處理,圖像增強處理和編碼處理。接著將B幀與校正的I幀和校正的P幀合并而獲得壓縮處理的活動圖像數(shù)據(jù)。因此,不用對表示與在前和在后幀差別的相關(guān)幀執(zhí)行解碼處理,圖像增強處理和編碼處理了。在這種方式,壓縮的活動圖像數(shù)據(jù)可被校正為能適合顯示的壓縮處理的活動圖像數(shù)據(jù),同時所需的時間也縮短了。
如果第四圖像處理裝置進一步包括塊分割裝置,將B幀分割為內(nèi)部塊和相關(guān)塊,并且如果圖像增強處理(和其上所述的解碼處理及編碼處理)也對內(nèi)部塊執(zhí)行,圖像質(zhì)量能提高更多。
本發(fā)明第五圖像處理裝置,從壓縮的活動圖像數(shù)據(jù)中提取DCT系數(shù)數(shù)據(jù)和運動向量數(shù)據(jù),并且利用DCT系數(shù)數(shù)據(jù)和運動向量數(shù)據(jù)對壓縮的活動圖像數(shù)據(jù)執(zhí)行解碼處理和圖像增強處理。當校正圖像數(shù)據(jù)被進行編碼處理時,運動向量數(shù)據(jù)不被重新找到,在解碼處理過程中已經(jīng)被提取的運動向量數(shù)據(jù)被用于編碼處理。在這種方式,活動圖像數(shù)據(jù)可根據(jù)圖像質(zhì)量被合適地校正,同時在編碼中找出運動向量數(shù)據(jù)的操作可被避免掉了。因此壓縮處理的活動圖像數(shù)據(jù)可有效地產(chǎn)生。
當對包括多個幀的壓縮活動圖像數(shù)據(jù)執(zhí)行圖像增強處理時,如果將要校正的每個幀(如內(nèi)部幀)的校正參數(shù)利用相應(yīng)幀的數(shù)據(jù)被找到,在一些情況下,校正參數(shù)實際上可根據(jù)該幀內(nèi)場景的改變而改變。在這種情況下,當壓縮處理的活動圖像數(shù)據(jù)在根據(jù)上面的方式找到的校正參數(shù)被校正后顯示時,亮度改變可導致圖像的閃爍變大,因此觀看圖像數(shù)據(jù)的用戶會不舒服。根據(jù)本發(fā)明第六圖像處理裝置,壓縮的活動圖像數(shù)據(jù)被分割為目標幀和非目標幀。接著通過只對目標幀執(zhí)行解碼處理,圖像增強處理和編碼處理而獲得校正幀。這時,首先通過解碼目標幀獲得解碼幀。接著依據(jù)在前和/或后解碼幀找到的校正參數(shù)調(diào)整基于每個解碼幀數(shù)據(jù)找到的校正參數(shù)。利用調(diào)整參數(shù)對解碼幀執(zhí)行圖像增強處理。然后,將編碼處理之后獲得的校正幀與非目標幀合并來產(chǎn)生壓縮處理的活動圖像數(shù)據(jù)。在這種方式,通過減少一些將被解碼和編碼的數(shù)據(jù)量來縮短處理時間。另外,在壓縮處理的活動圖像數(shù)據(jù)顯示時,其上的亮度變化可通過調(diào)整校正參數(shù)而被抑止。
本發(fā)明第七圖像處理裝置,將壓縮的活動圖像數(shù)據(jù)分割為內(nèi)部幀,目標相關(guān)幀和非目標相關(guān)幀。只對內(nèi)部幀和目標相關(guān)幀執(zhí)行解碼處理,圖像增強處理和編碼處理來產(chǎn)生校正幀。接著將校正幀與非目標相關(guān)幀合并來產(chǎn)生壓縮處理的活動圖像數(shù)據(jù)。當執(zhí)行圖像增強處理時,基于解碼內(nèi)部幀找到校正參數(shù)。校正參數(shù)不是為目標相關(guān)幀而找的,而是將緊接著在前于每個目標相關(guān)幀的內(nèi)部幀的校正參數(shù)用作為其上的校正參數(shù)。因此,利用校正參數(shù)而執(zhí)行圖像增強處理。在這種方式通過減少被解碼和編碼的數(shù)據(jù)量來縮短處理數(shù)據(jù)的時間,校正參數(shù)的突然改變可被防止。另外,壓縮處理的活動圖像數(shù)據(jù)的亮度變化也在顯示時被預(yù)防了。
附圖的簡要說明圖1表示作為本發(fā)明圖像處理裝置和圖像處理程序第一實施例的移動電話系統(tǒng)A的結(jié)構(gòu)框圖;圖2A和2B為圖1所示的移動電話系統(tǒng)A中的中繼服務(wù)器100的結(jié)構(gòu)框圖;圖3為圖2所示的中繼服務(wù)器100的操作流程圖;圖4為中繼服務(wù)器100中的運動圖像處理單元70的操作流程圖;圖5表示作為本發(fā)明圖像處理裝置和圖像處理程序第二實施例的移動電話系統(tǒng)B的結(jié)構(gòu)框圖;圖6A和6B為圖5所示的移動電話系統(tǒng)B中的中繼服務(wù)器200的結(jié)構(gòu)框圖;圖7表示圖6所示的中繼服務(wù)器200的操作流程圖;圖8為中繼服務(wù)器200中的活動圖像處理單元170的操作流程圖;圖9表示作為本發(fā)明圖像處理裝置和圖像處理程序第三實施例的移動電話系統(tǒng)C的結(jié)構(gòu)框圖;圖10A和10B為圖9所示的移動電話系統(tǒng)C中的中繼服務(wù)器300的結(jié)構(gòu)框圖;圖11為圖10所示的中繼服務(wù)器300的操作流程圖;圖12為中繼服務(wù)器300中的活動圖像操作單元270的操作流程圖;圖13表示作為本發(fā)明圖像處理裝置和圖像處理程序第四實施例的移動電話系統(tǒng)D的結(jié)構(gòu)框圖;圖14A和14B為圖13所示的移動電話系統(tǒng)D中的中繼服務(wù)器400的結(jié)構(gòu)框圖;圖15為圖14所示的中繼服務(wù)器400的操作流程圖;圖16為中繼服務(wù)器400中的活動圖像處理單元370的操作流程圖;圖17表示作為本發(fā)明圖像處理裝置和圖像處理程序第五實施例移動電話系統(tǒng)E的結(jié)構(gòu)框圖;圖18A和18B為圖17所示的移動電話系統(tǒng)E中的中繼服務(wù)器500的結(jié)構(gòu)框圖;圖19為圖18所示的中繼服務(wù)器500的操作流程圖;圖20為中繼服務(wù)器500中的活動圖像處理單元470的操作流程圖;圖21表示作為本發(fā)明圖像處理裝置和圖像處理程序第六實施例的移動電話系統(tǒng)F的結(jié)構(gòu)框圖;圖22A和22B為圖21所示的移動電話系統(tǒng)F中的中繼服務(wù)器600的結(jié)構(gòu)框圖;圖23為圖22所示的中繼服務(wù)器600的操作流程圖;圖24為中繼服務(wù)器600中的活動圖像處理單元570的操作流程圖;圖25表示作為本發(fā)明圖像處理裝置和圖像處理程序第七實施例的移動電話系統(tǒng)G的結(jié)構(gòu)框圖;圖26A和26B為圖25所示的移動電話系統(tǒng)G中的中繼服務(wù)器700的結(jié)構(gòu)框圖;圖27為圖26所示的中繼服務(wù)器700的操作流程圖;和圖28為中繼服務(wù)器700中的活動圖像處理單元670的操作流程圖;優(yōu)選實施例的說明下面,將參照
本發(fā)明的圖像處理裝置和程序的實施例。在以下的解釋中,“圖像”用“圖像數(shù)據(jù)”表示,圖像和圖像數(shù)據(jù)用來表示相同的對象。
圖1是表示作為本發(fā)明圖像處理裝置和圖像處理程序第一實施例的移動電話系統(tǒng)A的結(jié)構(gòu)框圖。如圖1所示,第一實施例中的移動電話系統(tǒng)A包括多個移動電話10和用于移動電話10之間中繼通信的中繼服務(wù)器100。移動電話10通過移動電話通信網(wǎng)絡(luò)20連接到中繼服務(wù)器100。中繼服務(wù)器100中繼移動電話10之間的話音通信以及電子郵件。下文中,為了更好的理解本發(fā)明的范圍,將詳細說明在兩個移動電話10之間發(fā)送和接收附有圖像數(shù)據(jù)的電子郵件時中繼服務(wù)器100的操作。
圖2A和2B是表示圖1所示的移動電話系統(tǒng)A中的中繼服務(wù)器100的結(jié)構(gòu)框圖。如圖2A所示,移動電話系統(tǒng)A中的中繼服務(wù)器100包括通信單元30,控制單元40,存儲單元50,靜止圖像處理單元60和活動圖像處理單元70。通信單元30執(zhí)行與移動電話10之間的無線發(fā)送和接收??刂茊卧?0控制包括通信單元30的整個服務(wù)器100的操作。存儲單元50在控制單元40的控制下存儲除了附屬于電子郵件的圖像之外的數(shù)據(jù)T。靜止圖像處理單元60對附屬于電子郵件中的靜止圖像S執(zhí)行圖像增強處理,獲得校正的靜止圖像S′。活動圖像處理單元70對附屬于電子郵件的活動圖像G執(zhí)行圖像增強處理,獲得校正的活動圖像G′。
靜止圖像S,校正的靜止圖像S′,活動圖像G,校正的活動圖像G′都被壓縮。
控制單元40把通過通信單元30從作為發(fā)送端的兩個移動電話10中的一個接收的電子郵件的數(shù)據(jù)T存儲在存儲單元50中。如上所述,數(shù)據(jù)T不包括附屬于電子郵件的圖像。附屬圖像是靜止圖像S時,控制單元40接著向靜止圖像處理單元60輸出附屬圖像??刂茊卧?0接著使靜止圖像處理單元60對靜止圖像S執(zhí)行圖像增強處理,獲得校正的靜止圖像S′。附屬圖像是活動圖像G時,控制單元40輸出附屬圖像到活動圖像處理單元70,使活動圖像處理單元70對活動圖像G執(zhí)行圖像增強處理。以這種方式,獲得校正的活動圖像G′。控制單元40把校正的靜止圖像S′或校正的活動圖像G′附屬到存儲在存儲單元50中的數(shù)據(jù)T中,并通過通信單元30把附有處理的圖像的電子郵件發(fā)送到作為接收端的其他移動電話10。
圖2B為圖2A所示的中繼服務(wù)器100中的活動圖像處理單元70的結(jié)構(gòu)框圖。如圖2B所示,活動圖像處理單元70包括分割單元72,解碼單元74,校正單元76,編碼單元80和合并單元82。分割單元72把壓縮的活動圖像數(shù)據(jù)G分為將被校正的目標數(shù)據(jù)G0和不被校正的非目標數(shù)據(jù)G1。解碼單元74通過解碼目標數(shù)據(jù)G0獲得解碼的數(shù)據(jù)G01。校正單元76通過對解碼的數(shù)據(jù)G01執(zhí)行圖像增強處理獲得校正的解碼數(shù)據(jù)G02。編碼單元80通過編碼校正的解碼數(shù)據(jù)G02獲得編碼的校正數(shù)據(jù)G03。合并單元82通過合并編碼的校正數(shù)據(jù)G03和非目標數(shù)據(jù)G1獲得校正的活動圖像數(shù)據(jù)G′。
編碼單元74對目標數(shù)據(jù)G0執(zhí)行解碼處理到能使校正單元76執(zhí)行圖像增強處理的程度。
圖3是中繼服務(wù)器100的操作流程圖。當中繼服務(wù)器100經(jīng)通信單元30接收到從發(fā)送移動電話10發(fā)送的電子郵件和附屬其中的圖像時(步驟S10),控制單元40判斷附屬圖像是靜止圖像S還是活動圖像G(步驟S20)。如果附屬圖像是靜止圖像S時(步驟S20否),控制單元40在存儲單元50中存儲除了附屬圖像之外的數(shù)據(jù)T,向靜止圖像處理單元60輸出靜止圖像S(步驟S25)。靜止圖像處理單元60對靜止圖像S執(zhí)行諸如色調(diào)校正的圖像增強處理,獲得校正的靜止圖像S′(步驟S30)??刂茊卧?0把校正的靜止圖像S′附加到存儲在存儲單元50中的數(shù)據(jù)T中,通過通信單元30向接收移動電話10發(fā)送附有校正的圖像的電子郵件(步驟S90)。
在步驟20,如果附屬圖像被判定為活動圖像G時(步驟S20是),控制單元40在存儲單元50中存儲除了附屬圖像之外的數(shù)據(jù)T,向活動圖像處理單元70輸出活動圖像G(步驟S35)?;顒訄D像處理單元70對活動圖像G執(zhí)行諸如色調(diào)校正的圖像增強處理(下文中稱為活動圖像增強處理P1),獲得校正的活動圖像G′(步驟S40)??刂茊卧?0把校正的活動圖像G′附加到存儲在存儲單元50中的數(shù)據(jù)T中,通過通信單元30向接收移動電話10發(fā)送附有校正的圖像的電子郵件(步驟S90)。
圖4為中繼服務(wù)器100中運動圖像處理單元70的操作流程圖。為了使活動圖像處理單元70對活動圖像G執(zhí)行活動圖像增強處理P1,首先,分割單元72把壓縮的活動圖像數(shù)據(jù)G分為目標數(shù)據(jù)G0和非目標數(shù)據(jù)G1(步驟S42)。解碼單元74解碼目標數(shù)據(jù)G0,獲得解碼數(shù)據(jù)G01(步驟S46)。校正單元76對解碼的數(shù)據(jù)G01執(zhí)行活動圖像增強處理P1,從而產(chǎn)生校正的解碼數(shù)據(jù)G02(步驟S46)。編碼單元80編碼校正的解碼數(shù)據(jù)G02,獲得編碼的校正數(shù)據(jù)G03(步驟S48)。合并單元82接著把編碼的校正數(shù)據(jù)G03與由分割單元72分開的非目標數(shù)據(jù)G1合并,獲得校正的活動圖像G′(步驟S50)。校正的活動圖像G′發(fā)送到控制單元40。
圖5表示作為本發(fā)明圖像處理裝置和圖像處理程序第二實施例的移動電話系統(tǒng)B的結(jié)構(gòu)框圖。如圖5所示,第二實施例中的移動電話系統(tǒng)B包括多個移動電話110和用于移動電話110之間中繼通信的中繼服務(wù)器200。移動電話110通過移動電話通信網(wǎng)絡(luò)120連接到中繼服務(wù)器200。中繼服務(wù)器200中繼移動電話110之間的話音通信以及電子郵件。為了更好的理解本發(fā)明的保護范圍,將再次詳細說明在兩個移動電話110之間發(fā)送和接收附有圖像數(shù)據(jù)的電子郵件時中繼服務(wù)器200的操作。
圖6A和6B表示圖5所示的移動電話系統(tǒng)B中的中繼服務(wù)器200的結(jié)構(gòu)框圖。如圖6A所示,移動電話系統(tǒng)B中的中繼服務(wù)器200包括通信單元130,控制單元140,存儲單元150,靜止圖像處理單元160和活動圖像處理單元170。通信單元130執(zhí)行與移動電話110之間的無線發(fā)送和接收。控制單元140控制包括通信單元130的整個服務(wù)器200的操作。存儲單元150在控制單元140的控制下存儲除了附屬在電子郵件上的圖像之外的數(shù)據(jù)T。靜止圖像處理單元160對附屬于電子郵件的靜止圖像S執(zhí)行圖像增強處理,獲得校正的靜止圖像S′。活動圖像處理單元170對附屬于電子郵件的活動圖像G執(zhí)行圖像增強處理,獲得校正的活動圖像G′。
靜止圖像S,校正的靜止圖像S′,活動圖像G,校正的活動圖像G′都被壓縮?;顒訄D像G包括多個幀,并且根據(jù)將第一幀作為參考幀的方法被壓縮。
控制單元140把通過通信單元130從作為發(fā)送端的兩個移動電話110中的一個接收的電子郵件中的數(shù)據(jù)T存儲在存儲單元150中。如上所述,數(shù)據(jù)T不包括附屬于電子郵件的圖像。附屬圖像是靜止圖像S時,控制單元140也向靜止圖像處理單元160輸出附屬圖像。控制單元140接著使靜止圖像處理單元1 60對靜止圖像S執(zhí)行圖像增強處理,獲得校正的靜止圖像S′。附屬圖像是活動圖像G時,控制單元140輸出附屬圖像到活動圖像處理單元170,使活動圖像處理單元170對活動圖像G執(zhí)行圖像增強處理。以這種方式,獲得校正的活動圖像G′??刂茊卧?40把校正的靜止圖像S′或校正的活動圖像G′附屬到存儲在存儲單元150中的數(shù)據(jù)T中,并通過通信單元130把附有校正的圖像的電子郵件發(fā)送到作為接收端的其他移動電話110。
圖6B為圖6A所示的中繼服務(wù)器200中的活動圖像處理單元170的結(jié)構(gòu)框圖。如圖6B所示,活動圖像處理單元170包括幀分割單元172,解碼單元174,校正單元176,編碼單元178和合并單元180。幀分割單元172把壓縮的活動圖像數(shù)據(jù)G分為第一幀(下文成為第一幀F(xiàn)0)和其他幀F(xiàn)1。解碼單元174通過解碼第一幀F(xiàn)0獲得解碼的第一幀F(xiàn)01。校正單元176通過對解碼的第一組幀F(xiàn)01執(zhí)行圖像增強處理獲得校正的解碼第一幀F(xiàn)02。編碼單元178通過編碼校正的解碼第一幀F(xiàn)02獲得編碼的第一幀F(xiàn)03。合并單元180通過合并校正的第一幀F(xiàn)03和其他幀F(xiàn)1獲得校正的活動圖像數(shù)據(jù)G′。
圖7表示中繼服務(wù)器200的操作流程圖。當中繼服務(wù)器200經(jīng)通信單元130接收從發(fā)送移動電話110發(fā)送的附屬有圖像的電子郵件后(步驟S110),控制單元140判斷附屬圖像是靜止圖像S還是活動圖像G(步驟S120)。附屬圖像是靜止圖像S時(步驟S120否),控制單元140在存儲單元150中存儲除了附屬圖像之外的數(shù)據(jù)T,向靜止圖像處理單元160輸出靜止圖像S(步驟S125)。靜止圖像處理單元160對靜止圖像S執(zhí)行諸如色調(diào)校正的圖像增強處理,獲得校正的靜止圖像S′(步驟S130)??刂茊卧?40把校正的靜止圖像S′附加到存儲在存儲單元150中的數(shù)據(jù)T中,通過通信單元130向接收移動電話110發(fā)送附有校正的圖像的電子郵件(步驟S190)。
在步驟S120,如果附屬圖像被判定為活動圖像G時(步驟S120是),控制單元140在存儲單元150中存儲除了附屬圖像之外的數(shù)據(jù)T,向活動圖像處理單元170輸出活動圖像G(步驟S135)?;顒訄D像處理單元170對活動圖像G執(zhí)行諸如色調(diào)校正的圖像增強處理(下文中稱為活動圖像增強處理P2),獲得校正的活動圖象G’(步驟S140)??刂茊卧?40將校正的活動圖象G’附加到儲存在存儲單元150的數(shù)據(jù)T上,并通過通信單元130把附有校正圖象的電子郵件發(fā)送給接收移動電話110(步驟S190)。
圖8為中繼器200中活動圖象處理單元170的操作流程圖。當活動圖象處理單元170對活動圖象G執(zhí)行活動圖象增強處理P2時,幀分割單元172首先把壓縮的活動圖像數(shù)據(jù)G分割為第一幀F(xiàn)0和其他幀F(xiàn)1(步驟S142)。解碼單元174解碼第一幀F(xiàn)0,獲得解碼的第一幀F(xiàn)01(步驟S144)。校正單元176對解碼的第一幀F(xiàn)01執(zhí)行活動圖像增強處理P2,從而產(chǎn)生校正的解碼第一幀F(xiàn)02(步驟S146)。編碼單元178編碼校正的解碼第一幀F(xiàn)02,獲得校正的第一幀F(xiàn)03(步驟S148)。合并單元180將校正的第一幀F(xiàn)03和由幀分割單元172分離的其他幀F(xiàn)1合并,獲得校正的活動圖像G′(步驟S150)。校正的活動圖像G′被發(fā)送到控制單元140。
圖9表示作為本發(fā)明圖像處理裝置和圖像處理程序第三實施例的移動電話系統(tǒng)C的結(jié)構(gòu)框圖。如圖9所示,第三實施例中的移動電話系統(tǒng)C包括多個移動電話210和用于移動電話210之間中繼通信的中繼服務(wù)器300。移動電話210通過移動電話通信網(wǎng)絡(luò)220連接到中繼服務(wù)器200。中繼服務(wù)器300中繼移動電話210之間的話音通信以及電子郵件。為了更好的理解本發(fā)明的保護范圍,將再次詳細說明在兩個移動電話210之間發(fā)送和接收附有圖像數(shù)據(jù)的電子郵件時中繼服務(wù)器300的操作。
圖10A和10B為圖9所示的移動電話系統(tǒng)C中的中繼服務(wù)器300的結(jié)構(gòu)框圖。如圖10A所示,移動電話系統(tǒng)C中的中繼服務(wù)器300包括通信單元230,控制單元240,存儲單元250,靜止圖像處理單元260和活動圖像處理單元270。通信單元230執(zhí)行與移動電話210之間的無線發(fā)送和接收。控制單元240控制包括通信單元230的整個中繼服務(wù)器300的操作。存儲單元250在控制單元240的控制下存儲除了附屬于電子郵件的圖像之外的數(shù)據(jù)T。靜止圖像處理單元260對附屬于電子郵件的靜止圖像S執(zhí)行圖像增強處理,獲得校正的靜止圖像S′。活動圖像處理單元270對附屬于電子郵件的活動圖像G執(zhí)行圖像增強處理,獲得校正的活動圖像G′。
靜止圖像S,校正的靜止圖像S′,活動圖像G,校正的活動圖像G′都被壓縮。活動圖像G包括內(nèi)部幀和相關(guān)幀。內(nèi)部幀是獨立的。相關(guān)幀包括幀之間的差異,是不獨立的。
控制單元240把通過通信單元230從作為發(fā)送端的兩個移動電話210中的一個接收的電子郵件的數(shù)據(jù)T存儲在存儲單元250中。如上所述,數(shù)據(jù)T不包括附屬于電子郵件的圖像。附屬圖像是靜止圖像S時,控制單元240還向靜止圖像處理單元260輸出附屬圖像。控制單元240接著使靜止圖像處理單元260對靜止圖像S執(zhí)行圖像增強處理,獲得校正的靜止圖像S′。附屬圖像是活動圖像G時,控制單元240輸出附屬圖像到活動圖像處理單元270,使活動圖像處理單元270對活動圖像G執(zhí)行圖像增強處理。以這種方式,獲得校正的活動圖像G′??刂茊卧?40把校正的靜止圖像S′或校正的活動圖像G′附加到存儲在存儲單元250中的數(shù)據(jù)T中,并通過通信單元230把附有校正的圖像的電子郵件發(fā)送給作為接收端的其他移動電話210。
圖10B為圖10A所示的中繼服務(wù)器300中的活動圖像處理單元270的結(jié)構(gòu)框圖。如圖10B所示,活動圖像處理單元270包括幀分割單元272,塊分割單元274,解碼單元276,校正單元278,編碼單元280和合并單元282。幀分割單元272把壓縮的活動圖像數(shù)據(jù)G分為內(nèi)部幀和相關(guān)幀。塊分割單元274進一步把相關(guān)幀分為內(nèi)部塊和相關(guān)塊。解碼單元276通過解碼內(nèi)部幀和內(nèi)部塊獲得解碼的內(nèi)部幀和解碼的內(nèi)部塊(下文中共同稱為解碼的數(shù)據(jù)M0)。校正單元278通過對解碼的數(shù)據(jù)M0執(zhí)行圖像增強處理獲得校正的解碼內(nèi)部幀和校正的解碼內(nèi)部塊(下文中共同稱為校正的解碼數(shù)據(jù)M01)。編碼單元280通過編碼校正的解碼數(shù)據(jù)M01獲得校正的內(nèi)部幀和校正的內(nèi)部塊(下文中共同稱為校正數(shù)據(jù)M02)。合并單元282通過將校正的數(shù)據(jù)M02和相關(guān)塊合并獲得校正的活動圖像數(shù)據(jù)G′。
圖11為中繼服務(wù)器300的操作流程圖。當中繼服務(wù)器300經(jīng)通信單元230接收從發(fā)送移動電話210發(fā)送的附屬有圖像的電子郵件后(步驟S210),控制單元240判斷附屬圖像是靜止圖像S還是活動圖像G(步驟S220)。附屬圖像是靜止圖像S時(步驟S220否),控制單元240在存儲單元250中存儲除了附屬圖像之外的數(shù)據(jù)T,向靜止圖像處理單元260輸出靜止圖像S(步驟S225)。靜止圖像處理單元260對靜止圖像S執(zhí)行諸如色調(diào)校正的圖像增強處理,獲得校正的靜止圖像S′(步驟S230)。控制單元240把校正的靜止圖像S′附加到存儲在存儲單元250中的數(shù)據(jù)T,通過通信單元230向接收移動電話210發(fā)送附有校正的圖像的電子郵件(步驟S290)。
在步驟220,當附屬圖像被判定為活動圖像G時(步驟S220是),控制單元240在存儲單元250中存儲除了附屬圖像之外的數(shù)據(jù)T,向活動圖像處理單元270輸出活動圖像G(步驟S235)?;顒訄D像處理單元270對活動圖像G執(zhí)行諸如色調(diào)校正的圖像增強處理(下文中稱為活動圖像增強處理P3),獲得校正的活動圖像G′(步驟S240)。控制單元240把校正的活動圖像G′附加到存儲在存儲單元250中的數(shù)據(jù)T中,通過通信單元230向接收移動電話210發(fā)送附有校正的圖像的電子郵件(步驟S290)。
圖12為中繼服務(wù)器300中的活動圖像操作單元270的操作流程圖?;顒訄D像處理單元270對活動圖像G執(zhí)行活動圖像增強處理P3時,幀分割單元272首先把壓縮的活動圖像數(shù)據(jù)G分割為內(nèi)部幀和相關(guān)幀(步驟S242)。塊分割單元274進一步把相關(guān)幀分為內(nèi)部塊和相關(guān)塊(步驟S244)。解碼單元276解碼內(nèi)部幀和內(nèi)部塊,獲得解碼的數(shù)據(jù)M0(步驟S246)。校正單元278對解碼的數(shù)據(jù)M0執(zhí)行活動圖像增強處理P3,從而產(chǎn)生校正的解碼數(shù)據(jù)M01(步驟S248)。編碼單元280編碼校正的解碼數(shù)據(jù)M01,獲得校正的數(shù)據(jù)M02(步驟S250)。合并單元282合并校正的數(shù)據(jù)M02和相關(guān)塊,獲得校正的活動圖像G′(步驟S252)。校正的活動圖像G′被發(fā)送到控制單元240中。
圖13是本發(fā)明圖像處理裝置和程序第四實施例移動電話系統(tǒng)D的結(jié)構(gòu)框圖。如圖13所示,第四實施例中的移動電話系統(tǒng)D包括多個移動電話310和用于移動電話310之間中繼通信的中繼服務(wù)器400。移動電話310通過移動電話通信網(wǎng)絡(luò)320連接到中繼服務(wù)器400。中繼服務(wù)器400中繼移動電話310之間的話音通信以及電子郵件。為了更好的理解本發(fā)明的保護范圍,將再次詳細說明在兩個移動電話310之間發(fā)送和接收附有圖像數(shù)據(jù)的電子郵件時中繼服務(wù)器400的操作。
圖14A和14B為圖13所示的移動電話系統(tǒng)D中的中繼服務(wù)器400的結(jié)構(gòu)框圖。如圖14A所示,移動電話系統(tǒng)D的中繼服務(wù)器400包括通信單元330,控制單元340,存儲單元350,靜止圖像處理單元360和活動圖像處理單元370。通信單元330執(zhí)行與移動電話310之間的無線發(fā)送和接收??刂茊卧?40控制包括通信單元330的整個中繼服務(wù)器400的操作。存儲單元350在控制單元340的控制下存儲除了附屬于電子郵件的圖像之外的數(shù)據(jù)T。靜止圖像處理單元360對附屬于電子郵件的靜止圖像S執(zhí)行圖像增強處理,獲得校正的靜止圖像S′。活動圖像處理單元370對附屬于電子郵件的活動圖像G執(zhí)行圖像增強處理,獲得校正的活動圖像G′。
靜止圖像S,校正的靜止圖像S′,活動圖像G,校正的活動圖像G′都被壓縮?;顒訄D像G根據(jù)MPEG等方法壓縮的,它包括I幀,P幀和B幀。I幀是獨立的。每個P幀只與前一幀相關(guān)。每個B幀與前一幀和接下來的一幀相關(guān)。
控制單元340把通過通信單元330從作為發(fā)送端的兩個移動電話310中的一個接收的電子郵件的數(shù)據(jù)T存儲在存儲單元350中。如上所述,數(shù)據(jù)T不包括附屬于電子郵件的圖像。附屬圖像是靜止圖像S時,控制單元340也向靜止圖像處理單元360輸出附屬圖像。控制單元340接著使靜止圖像處理單元360對靜止圖像S執(zhí)行圖像增強處理,獲得校正的靜止圖像S′。附屬圖像是活動圖像G時,控制單元340輸出附屬圖像到活動圖像處理單元370,使活動圖像處理單元370對活動圖像G執(zhí)行圖像增強處理。以這種方式,獲得校正的活動圖像G′??刂茊卧?40把校正的靜止圖像S′或校正的活動圖像G′附加到存儲在存儲單元350中的數(shù)據(jù)T中,并通過通信單元330把附有校正的圖像的電子郵件發(fā)送給作為接收端的其他移動電話310。
圖14B為圖14A所示的中繼服務(wù)器400中的活動圖像處理單元370的結(jié)構(gòu)框圖。如圖14B所示,活動圖像處理單元370包括幀分割單元372,塊分割單元374,解碼單元376,校正單元378,編碼單元380和合并單元382。幀分割單元372把壓縮的活動圖像數(shù)據(jù)G分為I幀,P幀和B幀。塊分割單元374把B幀分為內(nèi)部塊和相關(guān)塊。解碼單元376通過解碼I幀、P幀和內(nèi)部塊獲得解碼的I幀、解碼的P幀和解碼的內(nèi)部塊(下文中共同稱為解碼的數(shù)據(jù)N0)。校正單元378通過對解碼的數(shù)據(jù)N0執(zhí)行圖像增強處理獲得校正的解碼I幀、校正的解碼P幀和校正的解碼內(nèi)部塊(下文中共同稱為校正的解碼數(shù)據(jù)N01)。編碼單元380通過編碼校正的解碼數(shù)據(jù)N01獲得校正的I幀、校正的P幀和校正的內(nèi)部塊(下文中共同稱為校正數(shù)據(jù)N02)。合并單元382通過將校正的數(shù)據(jù)M02和相關(guān)塊合并獲得校正的活動圖像數(shù)據(jù)G′。編碼單元380具有一個參考幀存儲器,它在圖14B中未示出。當每個校正的解碼P幀被編碼時,參考幀存儲器保存校正的解碼I幀的前一幀和/或校正的解碼P幀的前一幀的數(shù)據(jù)作為參考(它是對應(yīng)的P幀所依據(jù)的幀)。保存在參考幀存儲器中的數(shù)據(jù)用于編碼對應(yīng)的校正的解碼P幀。
圖15為中繼服務(wù)器400的操作流程圖。當中繼服務(wù)器400經(jīng)通信單元430接收從發(fā)送移動電話310發(fā)送的附屬有圖像的電子郵件后(步驟S310),控制單元340判斷附屬圖像是靜止圖像S還是活動圖像G(步驟S320)。附屬圖像是靜止圖像S時(步驟S320否),控制單元340在存儲單元350中存儲除了附屬圖像之外的數(shù)據(jù)T,向靜止圖像處理單元360輸出靜止圖像S(步驟S325)。靜止圖像處理單元360對靜止圖像S執(zhí)行諸如色調(diào)校正的圖像增強處理,獲得校正的靜止圖像S′(步驟S330)。控制單元340把校正的靜止圖像S′附加到存儲在存儲單元350中的數(shù)據(jù)T中,通過通信單元330向接收移動電話310發(fā)送附有校正的圖像的電子郵件(步驟S390)。
在步驟S320,當附屬圖像被判定為活動圖像G時(步驟S320是),控制單元340在存儲單元350中存儲除了附屬圖像之外的數(shù)據(jù)T,向活動圖像處理單元370輸出活動圖像G(步驟S335)?;顒訄D像處理單元370對活動圖像G執(zhí)行諸如色調(diào)校正的圖像增強處理(下文中稱為活動圖像增強處理P4),獲得校正的活動圖像G′(步驟S340)。控制單元340把校正的活動圖像G′附加到存儲在存儲單元350中的數(shù)據(jù)T中,通過通信單元330向作為接收端的移動電話310發(fā)送附有校正的圖像的電子郵件(步驟S390)。
圖16為中繼服務(wù)器400中的活動圖像操作單元370的操作流程圖。活動圖像處理單元370對活動圖像G執(zhí)行活動圖像增強處理P4時,幀分割單元372首先把壓縮的活動圖像數(shù)據(jù)G分割為I幀、P幀和B幀(步驟S342)。塊分割單元374進一步把B幀分為內(nèi)部塊和相關(guān)塊(步驟S344)。解碼單元376解碼I幀、P幀和相關(guān)塊,獲得解碼的數(shù)據(jù)N0(步驟S346)。校正單元378對解碼的數(shù)據(jù)N0執(zhí)行活動圖像增強處理P4,從而產(chǎn)生校正的解碼數(shù)據(jù)N01(步驟S348)。編碼單元380編碼校正的解碼數(shù)據(jù)N01,獲得校正的數(shù)據(jù)N02(步驟S350)。合并單元382合并校正的數(shù)據(jù)N02和相關(guān)塊,獲得校正的活動圖像G′(步驟S352)。校正的活動圖像G′被發(fā)送到控制單元340。
圖17為本發(fā)明圖像處理裝置和圖像處理程序第五實施例的移動電話系統(tǒng)E的結(jié)構(gòu)框圖。如圖17所示,第五實施例中的移動電話系統(tǒng)E包括多個移動電話410和用于移動電話410之間中繼通信的中繼服務(wù)器500。移動電話410通過移動電話通信網(wǎng)絡(luò)420連接到中繼服務(wù)器500。中繼服務(wù)器500中繼移動電話410之間的話音通信以及電子郵件。為了更好的理解本發(fā)明的保護范圍,將再次詳細說明在兩個移動電話410之間發(fā)送和接收附有圖像數(shù)據(jù)的電子郵件時中繼服務(wù)器500的操作。
圖18A和18B為圖17所示的移動電話系統(tǒng)E中的中繼服務(wù)器500的結(jié)構(gòu)框圖。如圖18A所示,移動電話系統(tǒng)E中的中繼服務(wù)器500包括通信單元430,控制單元440,存儲單元450,靜止圖像處理單元460和活動圖像處理單元470。通信單元430執(zhí)行與移動電話410之間的無線發(fā)送和接收??刂茊卧?40控制包括通信單元430的整個中繼服務(wù)器500的操作。存儲單元450在控制單元440的控制下存儲除了附屬于電子郵件的圖像之外的數(shù)據(jù)T。靜止圖像處理單元460對附屬于電子郵件的靜止圖像S執(zhí)行圖像增強處理,獲得校正的靜止圖像S′?;顒訄D像處理單元470對附屬于電子郵件的活動圖像G執(zhí)行圖像增強處理,獲得校正的活動圖像G′。
靜止圖像S,校正的靜止圖像S′,活動圖像G,校正的活動圖像G′都被壓縮?;顒訄D像G根據(jù)MPEG等方法壓縮,它包括包頭信息和幀。每幀主要包括DCT系數(shù)數(shù)據(jù)和運動向量數(shù)據(jù)。
控制單元440把通過通信單元430從作為發(fā)送端的兩個移動電話410中的一個接收的電子郵件的數(shù)據(jù)T存儲在存儲單元450中。如上所述,數(shù)據(jù)T不包括附屬于電子郵件的圖像。附屬圖像是靜止圖像S時,控制單元440也向靜止圖像處理單元460輸出附屬圖像??刂茊卧?40接著使靜止圖像處理單元460對靜止圖像S執(zhí)行圖像增強處理,獲得校正的靜止圖像S′。附屬圖像是活動圖像G時,控制單元440向活動圖像處理單元470輸出附屬圖像,使活動圖像處理單元470對活動圖像G執(zhí)行圖像增強處理。以這種方式,獲得校正的活動圖像G′??刂茊卧?40把校正的靜止圖像S′或校正的活動圖像G′附加到存儲在存儲單元450中的數(shù)據(jù)T中,并通過通信單元430把附有處理的圖像的電子郵件發(fā)送給作為接收端的其他移動電話410。
圖18B為圖18A所示的中繼服務(wù)器500中的活動圖像處理單元470的結(jié)構(gòu)框圖。如圖18B所示,活動圖像處理單元470包括提取單元472,解碼單元474,校正單元476,和編碼單元478。提取單元472從壓縮的活動圖像數(shù)據(jù)G中提取DCT系數(shù)數(shù)據(jù)和活動向量數(shù)據(jù)。解碼單元474同時利用DCT系數(shù)數(shù)據(jù)和運動向量數(shù)據(jù),通過解碼壓縮的活動圖像數(shù)據(jù)G獲得解碼的數(shù)據(jù)R0。校正單元476通過對解碼的數(shù)據(jù)R0執(zhí)行圖像增強處理獲得校正的解碼數(shù)據(jù)R′0。編碼單元478通過使用運動向量數(shù)據(jù)編碼校正的解碼數(shù)據(jù)R′0獲得校正的活動圖像G′。編碼單元478具有一個參考幀存儲器,它在圖18B中未示出。當每幀被編碼時,參考幀存儲器保存將被編碼的對應(yīng)幀所依據(jù)的幀的校正的解碼數(shù)據(jù)R′0。保存在參考幀存儲器中的數(shù)據(jù)作為編碼對應(yīng)幀的參考。
圖19為中繼服務(wù)器500的操作流程圖。當中繼服務(wù)器500經(jīng)通信單元430接收從發(fā)送移動電話410發(fā)送的附屬有圖像的電子郵件后(步驟S410),控制單元440判斷附屬圖像是靜止圖像S還是活動圖像G(步驟S420)。附屬圖像是靜止圖像S時(步驟S420否),控制單元440在存儲單元450中存儲除了附屬圖像之外的數(shù)據(jù)T,并向靜止圖像處理單元460輸出靜止圖像S(步驟S425)。靜止圖像處理單元460對靜止圖像S執(zhí)行諸如色調(diào)校正的圖像增強處理,獲得校正的靜止圖像S′(步驟S430)??刂茊卧?40把校正的靜止圖像S′附加到存儲在存儲單元450中的數(shù)據(jù)T中,通過通信單元430向接收移動電話410發(fā)送附有校正的圖像的電子郵件(步驟S490)。
當附屬圖像在步驟S420被判定為活動圖像G時(步驟S420是),控制單元440在存儲單元450中存儲除了附屬圖像之外的數(shù)據(jù)T,向活動圖像處理單元470輸出活動圖像G(步驟S435)?;顒訄D像處理單元470對活動圖像G執(zhí)行諸如色調(diào)校正的圖像增強處理(下文中稱為活動圖像增強處理P5),獲得校正的活動圖像G′(步驟S440)??刂茊卧?40把校正的活動圖像G′附加到存儲在存儲單元450中的數(shù)據(jù)T中,通過通信單元430向接收移動電話410發(fā)送附有校正的圖像的電子郵件(步驟S490)。
圖20為中繼服務(wù)器500中的活動圖像操作單元470的操作流程圖。為了使活動圖像處理單元470對活動圖像G執(zhí)行活動圖像增強處理P5,提取單元472首先從壓縮的活動圖像數(shù)據(jù)G中提取DCT系數(shù)數(shù)據(jù)和運動向量數(shù)據(jù)(步驟S442)。解碼單元474使用DCT系數(shù)數(shù)據(jù)和運動向量數(shù)據(jù)解碼每一幀,獲得解碼的數(shù)據(jù)R0(步驟S444)。校正單元476對解碼的數(shù)據(jù)R0執(zhí)行活動圖像增強處理P5,從而產(chǎn)生校正的解碼數(shù)據(jù)R′0(步驟S446)。編碼單元478使用每一幀的運動向量數(shù)據(jù)編碼校正的解碼數(shù)據(jù)R′0,獲得校正的活動圖像數(shù)據(jù)G′(步驟S448)。校正的活動圖像G′被發(fā)送到控制單元440。
在作為本發(fā)明上述第一到第四實施例的移動電話系統(tǒng)A到D中,壓縮的活動圖像數(shù)據(jù)首先將通過諸如色調(diào)校正的圖像增強處理分為被校正的部分和不被校正的部分。接下來,只對將被校正的部分進行解碼處理、圖像增強處理和編碼處理,然后,與不被處理的部分合并后獲得處理后的壓縮活動圖像數(shù)據(jù)。因此,為了適當顯示處理的壓縮活動圖像數(shù)據(jù)可以執(zhí)行圖像增強處理,通過減少將被解碼和編碼的數(shù)據(jù)量,產(chǎn)生處理數(shù)據(jù)所需要的時間被有效地縮短。
作為本發(fā)明第五實施例的移動電話系統(tǒng)E使用這一事實,即當對根據(jù)MPEG等產(chǎn)生并包括主要具有DCT系數(shù)數(shù)據(jù)和運動向量數(shù)據(jù)的幀的壓縮活動圖像數(shù)據(jù)執(zhí)行圖像增強處理時,運動向量很少影響諸如色調(diào)的圖像質(zhì)量。因此,當壓縮的活動圖像數(shù)據(jù)在被解碼并受到圖像增強處理后被編碼時,通過使用解碼時從壓縮的活動圖像數(shù)據(jù)中提取的運動向量數(shù)據(jù)執(zhí)行編碼處理。以這種方式,在圖像增強處理后編碼時,用于找到運動向量數(shù)據(jù)的操作就不必要了,這會縮短處理的時間。因此,通過圖像增強處理能夠有效地獲得被處理的壓縮活動圖像數(shù)據(jù)。
圖21表示作為本發(fā)明圖像處理裝置和程序第六實施例的移動電話系統(tǒng)F的結(jié)構(gòu)框圖。如圖21所示,在第六實施例中的移動電話系統(tǒng)F包括多個移動電話510和用于移動電話510之間中繼通信的中繼服務(wù)器600。移動電話510通過移動電話通信網(wǎng)絡(luò)520連接到中繼服務(wù)器600。中繼服務(wù)器600中繼移動電話510之間的話音通信以及電子郵件。為了更好的理解本發(fā)明的保護范圍,將再次詳細說明在兩個移動電話510之間發(fā)送和接收附有圖像數(shù)據(jù)的電子郵件時中繼服務(wù)器600的操作。
圖22A和22B為圖21所示的移動電話系統(tǒng)F中的中繼服務(wù)器600的結(jié)構(gòu)框圖。如圖22A所示,移動電話系統(tǒng)F中的中繼服務(wù)器600包括通信單元530,控制單元540,存儲單元550,靜止圖像處理單元560和活動圖像處理單元570。通信單元530執(zhí)行與移動電話510之間的無線發(fā)送和接收。控制單元540控制包括通信單元530的整個中繼服務(wù)器600的操作。存儲單元550在控制單元540的控制下存儲除了附屬于電子郵件的圖像之外的數(shù)據(jù)T。靜止圖像處理單元560對附屬于電子郵件的靜止圖像S執(zhí)行圖像增強處理,獲得校正的靜止圖像S′?;顒訄D像處理單元570對附屬于電子郵件的活動圖像G執(zhí)行圖像增強處理,獲得校正的活動圖像G′。
靜止圖像S,校正的靜止圖像S′,活動圖像G,校正的活動圖像G′都被壓縮?;顒訄D像G包括內(nèi)部幀和相關(guān)幀。內(nèi)部幀是獨立的。相關(guān)幀包括幀之間的差異,不是獨立的。
控制單元540把通過通信單元530從作為發(fā)送端的兩個移動電話510中的一個接收的電子郵件的數(shù)據(jù)T存儲在存儲單元550中。如上所述,數(shù)據(jù)T不包括附屬于電子郵件的圖像。附屬圖像是靜止圖像S時,控制單元540也向靜止圖像處理單元560輸出附屬圖像??刂茊卧?40接著使靜止圖像處理單元560對靜止圖像S執(zhí)行圖像增強處理,獲得校正的靜止圖像S′。附屬圖像是活動圖像G時,控制單元540輸出附屬圖像到活動圖像處理單元570,使活動圖像處理單元570對活動圖像G執(zhí)行圖像增強處理。以這種方式,獲得校正的活動圖像G′??刂茊卧?40把校正的靜止圖像S′或校正的活動圖像G′附加到存儲在存儲單元550中的數(shù)據(jù)T中,并通過通信單元530把附有校正的圖像的電子郵件發(fā)送到作為接收端的其他移動電話510。
圖22B為圖22A所示的中繼服務(wù)器600中的活動圖像處理單元570的結(jié)構(gòu)框圖。如圖22B所示,活動圖像處理單元570包括幀分割單元572,解碼單元574,校正單元576,編碼單元584和合并單元586。幀分割單元572把壓縮的活動圖像數(shù)據(jù)G分為內(nèi)部幀和相關(guān)幀。解碼單元574通過解碼內(nèi)部幀獲得解碼的內(nèi)部幀M0。校正單元576通過對解碼的內(nèi)部幀M0執(zhí)行圖像增強處理獲得校正的解碼內(nèi)部幀M01。編碼單元584通過對校正的解碼內(nèi)部幀M01編碼獲得校正的內(nèi)部幀M02。合并單元586通過將校正的內(nèi)部幀M02和相關(guān)幀合并獲得校正的活動圖像數(shù)據(jù)G′。
活動圖像處理單元570中的校正單元576對解碼的內(nèi)部幀M0執(zhí)行圖像增強處理,它包括參數(shù)計算單元578,參數(shù)調(diào)整單元580和校正執(zhí)行單元582。參數(shù)計算單元578使用與解碼的內(nèi)部幀M0對應(yīng)的數(shù)據(jù),對將被校正的每個解碼內(nèi)部幀M0計算校正參數(shù)f。參數(shù)調(diào)整單元580將對應(yīng)的解碼的內(nèi)部幀M0和夾在對應(yīng)解碼的內(nèi)部幀M0之間的兩個解碼的內(nèi)部幀M0的校正參數(shù)f取平均值。參數(shù)調(diào)整單元580把該平均值用作對應(yīng)的解碼的內(nèi)部幀M0的調(diào)整參數(shù)f。校正執(zhí)行單元582利用調(diào)整的參數(shù)f對每個解碼的內(nèi)部幀M0執(zhí)行圖像增強處理,獲得校正的解碼內(nèi)部幀M01。
圖23為中繼服務(wù)器600的操作流程圖。當中繼服務(wù)器500經(jīng)通信單元530接收從發(fā)送移動電話510發(fā)送的附屬有圖像的電子郵件后(步驟S510),控制單元540判斷附屬圖像是靜止圖像S還是活動圖像G(步驟S520)。附屬圖像是靜止圖像S時(步驟S520否),控制單元540在存儲單元550中存儲除了附屬圖像之外的數(shù)據(jù)T,向靜止圖像處理單元560輸出靜止圖像S(步驟S525)。靜止圖像處理單元560 對靜止圖像S執(zhí)行諸如色調(diào)校正的圖像增強處理,獲得校正的靜止圖像S′(步驟S530)??刂茊卧?40把校正的靜止圖像S′附加到存儲在存儲單元550中的數(shù)據(jù)T中,并通過通信單元530向接收移動電話510發(fā)送附有校正圖像的電子郵件(步驟S590)。
在步驟520,如果附屬圖像被判定為活動圖像G時(步驟S520是),控制單元540在存儲單元550中存儲除了附屬圖像之外的數(shù)據(jù)T,向活動圖像處理單元570輸出活動圖像G(步驟S535)。活動圖像處理單元570對活動圖像G執(zhí)行諸如色調(diào)校正的圖像增強處理(下文中稱為活動圖像增強處理P1),獲得校正的活動圖像G′(步驟S540)??刂茊卧?40把校正的活動圖像G′附加到存儲在存儲單元550中的數(shù)據(jù)T中,并通過通信單元530向接收移動電話510發(fā)送附有校正圖像的電子郵件(步驟S590)。
圖24為中繼服務(wù)器600中的活動圖像操作單元570的操作流程圖。當活動圖像處理單元570對活動圖像G執(zhí)行活動圖像增強處理P1時,幀分割單元572首先把壓縮的活動圖像數(shù)據(jù)G分為內(nèi)部幀和相關(guān)幀(步驟S542)。解碼單元574解碼內(nèi)部幀,獲得解碼的內(nèi)部幀M0(步驟S544)。校正單元576中的參數(shù)計算單元578用其中的數(shù)據(jù)計算每個解碼的內(nèi)部幀M0的校正參數(shù)f,把校正參數(shù)f輸出到參數(shù)調(diào)整單元580(步驟S546)。參數(shù)調(diào)整單元580取對應(yīng)的解碼的內(nèi)部幀M0和夾在中間的兩個解碼的內(nèi)部幀M0的校正參數(shù)f的平均值,把該平均值作為調(diào)整參數(shù)f輸出到校正執(zhí)行單元582(步驟S548)。校正執(zhí)行單元582接著使用調(diào)整的參數(shù)f對每個解碼的內(nèi)部幀M0執(zhí)行活動圖像增強處理P1,獲得校正的解碼內(nèi)部幀M01(步驟S550)。編碼單元584編碼校正的解碼內(nèi)部幀M01,獲得校正的內(nèi)部幀M02,輸出到合并單元586(步驟S552)。合并單元586合并校正的內(nèi)部幀M02和相關(guān)幀,獲得校正的活動圖像G′(步驟S554)。校正的活動圖像G′被發(fā)送到控制單元540。
以上已經(jīng)說明,根據(jù)本發(fā)明第六實施例的移動電話系統(tǒng)F,中繼服務(wù)器600中的活動圖像處理單元570首先把壓縮的活動圖像數(shù)據(jù)G分為內(nèi)部幀和相關(guān)幀,用于執(zhí)行活動圖像增強處理。只有內(nèi)部幀受到解碼處理,活動圖像增強處理和編碼處理,獲得校正的內(nèi)部幀M02。校正的內(nèi)部幀接著與相關(guān)幀合并,產(chǎn)生處理后的壓縮活動圖像數(shù)據(jù)G′。這時,利用校正參數(shù)的平均值對每個解碼的內(nèi)部幀執(zhí)行活動圖像增強處理,校正參數(shù)的平均值用其中的數(shù)據(jù)從對應(yīng)的解碼內(nèi)部幀和夾在中間的兩個解碼的內(nèi)部幀中找到。以這種方式,通過減少被編碼和解碼的數(shù)據(jù)量,縮短處理時間,調(diào)整校正參數(shù)能夠防止處理后的壓縮活動圖像在顯示時亮度發(fā)生變化。
圖25表示作為本發(fā)明圖像處理裝置和程序第七實施例的移動電話系統(tǒng)G的結(jié)構(gòu)框圖。如圖25所示,第七實施例中的移動電話系統(tǒng)G包括多個移動電話610和用于移動電話610之間中繼通信的中繼服務(wù)器700。移動電話610通過移動電話通信網(wǎng)絡(luò)620連接到中繼服務(wù)器700。中繼服務(wù)器700中繼移動電話610之間的話音通信以及電子郵件。為了更好的理解本發(fā)明的保護范圍,將再次詳細說明在兩個移動電話610之間發(fā)送和接收附有圖像數(shù)據(jù)的電子郵件時中繼服務(wù)器700的操作。
圖26A和26B為圖25所示的移動電話系統(tǒng)G中的中繼服務(wù)器700的結(jié)構(gòu)框圖。如圖26A所示,移動電話系統(tǒng)G的中繼服務(wù)器700包括通信單元630,控制單元640,存儲單元650,靜止圖像處理單元660和活動圖像處理單元670。通信單元630執(zhí)行與移動電話610之間的無線發(fā)送和接收??刂茊卧?40控制包括通信單元630的整個中繼服務(wù)器700的操作。存儲單元650在控制單元640的控制下存儲除了附屬于電子郵件的圖像之外的數(shù)據(jù)T。靜止圖像處理單元660對附屬于電子郵件的靜止圖像S執(zhí)行圖像增強處理,獲得校正的靜止圖像S′?;顒訄D像處理單元670對附屬于電子郵件的活動圖像G執(zhí)行圖像增強處理,獲得校正的活動圖像G′。
靜止圖像S,校正的靜止圖像S′,活動圖像G,校正的活動圖像G′都被壓縮。活動圖像G根據(jù)MPEG等方法進行壓縮,它包括I幀,P幀和B幀。I幀是獨立的。每個P幀只與前一幀相關(guān),而每個B幀與前一幀和后一幀相關(guān)。
控制單元640把通過通信單元630從作為發(fā)送端的兩個移動電話610中的一個接收的電子郵件的數(shù)據(jù)T存儲在存儲單元650中。如上所述,數(shù)據(jù)T不包括附屬于電子郵件的圖像。附屬圖像是靜止圖像S時,控制單元640也向靜止圖像處理單元660輸出附屬圖像??刂茊卧?40接著使靜止圖像處理單元660對靜止圖像S執(zhí)行圖像增強處理,獲得校正的靜止圖像S′。附屬圖像是活動圖像G時,控制單元640輸出附屬圖像到活動圖像處理單元670,使活動圖像處理單元670對活動圖像G執(zhí)行圖像增強處理。以這種方式,獲得校正的活動圖像G′??刂茊卧?40把校正的靜止圖像S′或校正的活動圖像G′附加到存儲在存儲單元650中的數(shù)據(jù)T中,并通過通信單元630把附有校正的圖像的電子郵件發(fā)送到作為接收端的其他移動電話610。
圖26B為圖26A所示的中繼服務(wù)器700中的活動圖像處理單元670的結(jié)構(gòu)框圖。如圖26B所示,活動圖像處理單元670包括幀分割單元672,解碼單元674,校正單元676,編碼單元682和合并單元684。幀分割單元672把壓縮的活動圖像數(shù)據(jù)G分為I幀,P幀和B幀。解碼單元674通過解碼I幀和P幀獲得解碼的I幀I0和解碼的P幀P0。校正單元676通過對解碼的I幀I0和解碼的P幀P0執(zhí)行圖像增強處理獲得校正的解碼I幀I01和校正的解碼P幀P01。編碼單元682通過編碼校正的解碼I幀I01和校正的解碼P幀P01獲得校正的I幀I02和校正的P幀P02。合并單元684通過將校正的I幀I02、校正的P幀P02和B幀合并獲得校正的活動圖像數(shù)據(jù)G′。校正單元676包括參數(shù)計算單元678和校正執(zhí)行單元680。參數(shù)計算單元678使用其中的數(shù)據(jù),對每個解碼I幀I0計算校正參數(shù)f。校正執(zhí)行單元680用校正參數(shù)f對每個解碼的I幀I0執(zhí)行圖像增強處理,獲得校正的解碼I幀I01。校正執(zhí)行單元680也使用前面的解碼I幀I0的校正參數(shù)對夾在解碼的I幀I0和緊接著的解碼I幀I0之間的每個解碼P幀P0執(zhí)行圖像增強處理。以這種方式,獲得校正的解碼P幀P01。
圖27表示中繼服務(wù)器700的操作流程圖。當中繼服務(wù)器700經(jīng)通信單元630接收從發(fā)送移動電話610發(fā)送的附屬有圖像的電子郵件后(步驟S610),控制單元640判斷附屬圖像是靜止圖像S還是活動圖像G(步驟S620)。附屬圖像是靜止圖像S時(步驟S620否),控制單元640在存儲單元650中存儲除了附屬圖像之外的數(shù)據(jù)T,并向靜止圖像處理單元660輸出靜止圖像S(步驟S625)。靜止圖像處理單元660對靜止圖像S執(zhí)行諸如色調(diào)校正的圖像增強處理,獲得校正的靜止圖像S′(步驟S630)。控制單元640把校正的靜止圖像S′附加到存儲在存儲單元650中的數(shù)據(jù)T中,并通過通信單元630向接收移動電話610發(fā)送附有校正的圖像的電子郵件(步驟S690)。
在步驟620,當附屬圖像被判定為活動圖像G時(步驟S620是),控制單元640在存儲單元650中存儲除了附屬圖像之外的數(shù)據(jù)T,向活動圖像處理單元670輸出活動圖像G(步驟S635)。活動圖像處理單元670對活動圖像G執(zhí)行諸如色調(diào)校正的圖像增強處理(下文中稱為活動圖像增強處理P2),獲得校正的活動圖像G′(步驟S640)??刂茊卧?40把校正的活動圖像G′附加到存儲在存儲單元650中的數(shù)據(jù)T中,并通過通信單元630向接收移動電話610發(fā)送附有校正的圖像的電子郵件(步驟S690)。
圖28表示中繼服務(wù)器700中的活動圖像操作單元670的操作流程圖。當活動圖像處理單元670對活動圖像G執(zhí)行活動圖像增強處理P2時,幀分割單元672首先把壓縮的活動圖像數(shù)據(jù)G分為I幀,P幀和B幀(步驟S642)。解碼單元674解碼I幀和P幀,獲得解碼的I幀I0和解碼的P幀P0(步驟S644)。校正單元676中的參數(shù)計算單元678用其中的數(shù)據(jù)計算第一個解碼I幀I0的校正參數(shù)f(步驟S646和S648)。校正執(zhí)行單元680使用校正參數(shù)f對夾在第一個解碼I幀I0和第二個解碼I幀I0中間的所有的解碼P幀執(zhí)行活動圖像增強處理P2(步驟S650)。校正單元676在步驟S648和S650對所有的解碼I幀I0和解碼P幀P0執(zhí)行處理(步驟S652否),獲得校正的解碼I幀I01和校正的解碼P幀P01(步驟S654)。換句話說,參數(shù)計算單元678執(zhí)行計算處理,用其中的數(shù)據(jù)找出對解碼的第i個I幀I0的校正參數(shù)f(步驟S648),并且校正執(zhí)行單元680利用校正參數(shù)f對解碼的第i個I幀I0和夾在解碼的第i個I幀I0與解碼的第(i+1)個I幀I0中間的解碼的P幀P0進行校正執(zhí)行處理(步驟S650)。計算處理和校正執(zhí)行處理不斷重復(fù)進行,直到所有的解碼I幀和解碼P幀都被校正(步驟S652否)。編碼單元682編碼校正的解碼I幀I01和校正的解碼P幀P01,獲得校正的I幀I02和校正的P幀P02(步驟S656)。合并單元684把校正的I幀I02、校正的P幀P02和B幀進行合并,獲得校正的活動圖像G′(步驟S660)。校正的活動圖像G′被發(fā)送到控制單元640。
以上已經(jīng)說明,根據(jù)本發(fā)明的第七實施例的移動電話系統(tǒng)G,中繼服務(wù)器700中的活動圖像處理單元670首先把壓縮的活動圖像數(shù)據(jù)G分為I幀,P幀和B幀,用于對活動圖像數(shù)據(jù)G執(zhí)行活動圖像增強處理P2。只對I幀和P幀進行解碼處理,活動圖像增強處理和編碼處理,獲得校正的I幀I02和校正的P幀P02。校正的I幀I02和校正的P幀P02接著與B幀合并,獲得處理后的活動圖像數(shù)據(jù)G′。執(zhí)行活動圖像增強處理時,利用其中的數(shù)據(jù)找到每個解碼的I幀I0的校正參數(shù)f,利用校正參數(shù)f對相應(yīng)的解碼I幀I0執(zhí)行活動圖像增強處理。對每個解碼的P幀P0,沒有找到校正參數(shù)時,對應(yīng)的P幀前一個解碼I幀I0的校正參數(shù)用作對P0的活動圖像增強處理的校正參數(shù)。以這種方式,將被解碼和編碼的數(shù)據(jù)量減少,縮短處理時間。另外,還能夠防止校正參數(shù)f改變過大,也防止處理后的壓縮活動圖像數(shù)據(jù)G′顯示時的亮度波動。
盡管上文中說明了本發(fā)明的圖像處理裝置和程序的優(yōu)選實施例,本發(fā)明不限于上述的實施例。在本發(fā)明的范圍內(nèi),能夠作出各種修改。
例如,在圖9所示的移動電話系統(tǒng)C中,中繼服務(wù)器300的活動圖像處理單元270把壓縮的活動圖像數(shù)據(jù)G分為內(nèi)部幀和相關(guān)幀。相關(guān)幀進一步被分為內(nèi)部塊和相關(guān)塊。為改善圖像質(zhì)量,對內(nèi)部幀和內(nèi)部塊執(zhí)行解碼處理和圖像增強處理。但是,壓縮的活動圖像數(shù)據(jù)可以只被分為內(nèi)部幀和相關(guān)幀,只在內(nèi)部幀上執(zhí)行解碼處理和圖像增強處理。
同理,如圖13所示的移動電話系統(tǒng)D中的活動圖像處理單元270,中繼服務(wù)器400中的活動圖像處理單元370也不必把B幀分為內(nèi)部塊和相關(guān)塊。這時,活動圖像處理單元370只對I幀和P幀執(zhí)行解碼處理和圖像增強處理。
在圖21所示的移動電話系統(tǒng)F中的中繼系統(tǒng)600的活動圖像處理單元570中,參數(shù)調(diào)整單元580用對應(yīng)的解碼內(nèi)部幀和兩個夾在解碼內(nèi)部幀中間的內(nèi)部幀找到的校正參數(shù)f的平均值,調(diào)整每個解碼的內(nèi)部幀的校正參數(shù)f。接著使用以上述方式調(diào)整的校正參數(shù)f對對應(yīng)的解碼內(nèi)部幀執(zhí)行圖像增強處理。以這種方式,能夠防止數(shù)據(jù)顯示時,處理的壓縮活動圖像數(shù)據(jù)的亮度變化明顯。但是,在活動圖像的照片上,一個活動圖像可以有多個場景,比如在某種情況下從門外的場景變到門內(nèi)的場景。如果在場景變化前后,用幀的平均校正參數(shù)對活動圖像執(zhí)行上述的圖像增強處理,場景變化可能變得不清楚。對于這種包括場景變化的活動圖像數(shù)據(jù),可以用場景檢測技術(shù)檢測表示場景變化的邊界幀。這時,通過把夾在兩個相鄰邊界幀中間的屬于同一場景的幀的校正參數(shù)平均,調(diào)整校正參數(shù)。以這種方式,能夠清楚地顯示場景變化,同時能夠防止處理的壓縮活動圖像數(shù)據(jù)中亮度改變過大。
盡管本發(fā)明的圖像處理裝置和程序被應(yīng)用到了第一到第七的移動電話系統(tǒng)實施例中,但是本發(fā)明的應(yīng)用并不限于移動電話系統(tǒng)。本發(fā)明的圖像處理裝置和程序能夠應(yīng)用到諸如視頻電話和活動圖像顯示裝置的任意系統(tǒng)或裝置中,它們都是通過對壓縮的活動圖像數(shù)據(jù)執(zhí)行圖像增強處理獲得處理后的壓縮活動圖像數(shù)據(jù)。
權(quán)利要求
1.一種圖像處理裝置,用于通過對壓縮活動圖像數(shù)據(jù)執(zhí)行圖像增強處理獲得壓縮處理的活動圖像數(shù)據(jù)的裝置,該圖像處理裝置包括分割裝置,用于把壓縮活動圖像數(shù)據(jù)分割為將被校正的目標部分和不被校正的非目標部分;解碼裝置,用于通過解碼目標部分獲得解碼數(shù)據(jù);校正裝置,用于通過對解碼數(shù)據(jù)執(zhí)行圖像增強處理獲得校正的解碼數(shù)據(jù);編碼裝置,用于對該校正的解碼數(shù)據(jù)編碼;和合并裝置,用于通過將編碼過的目標部分和非目標部分合并獲得壓縮處理的活動圖像數(shù)據(jù)。
2.如權(quán)利要求1所述的圖像處理裝置,其中解碼裝置解碼目標部分到能使校正裝置在其上執(zhí)行圖像增強處理的程度。
3.一種圖像增強處理裝置,用于對通過根據(jù)采用第一幀作為參考幀的壓縮方法獲得的壓縮活動圖像數(shù)據(jù)執(zhí)行圖像增強處理而獲得壓縮處理的活動圖像數(shù)據(jù)的裝置,該圖像處理裝置包括分割裝置,用于把壓縮活動圖像數(shù)據(jù)分割為第一幀和其它幀;解碼裝置,用于通過解碼第一幀獲得解碼的第一幀;校正裝置,用于通過對解碼的第一幀執(zhí)行圖像增強處理獲得校正的解碼第一幀;編碼裝置,用于對該校正的解碼第一幀編碼獲得校正的第一幀;和合并裝置,用于通過將校正的第一幀和其它幀合并獲得壓縮處理的活動圖像數(shù)據(jù)。
4.一種圖像處理裝置,用于通過對包括內(nèi)部幀和相關(guān)幀的壓縮活動圖像數(shù)據(jù)執(zhí)行圖像增強處理而獲得壓縮處理的活動圖像數(shù)據(jù)的裝置,該圖像處理裝置包括分割裝置,用于把壓縮活動圖像數(shù)據(jù)分割為內(nèi)部幀和相關(guān)幀;解碼裝置,用于通過解碼內(nèi)部幀獲得解碼的內(nèi)部幀;校正裝置,用于通過對解碼的內(nèi)部幀執(zhí)行圖像增強處理獲得校正的解碼內(nèi)部幀;編碼裝置,用于通過對該校正的解碼內(nèi)部幀編碼獲得校正的內(nèi)部幀;和合并裝置,用于通過將校正的內(nèi)部幀和相關(guān)幀合并獲得壓縮處理的活動圖像數(shù)據(jù)。
5.如權(quán)利要求4所述的圖像處理裝置進一步包括塊分割裝置,用于將相關(guān)幀分割為內(nèi)部塊和相關(guān)塊,解碼裝置還通過解碼內(nèi)部塊獲得解碼的內(nèi)部塊,校正裝置還通過對解碼的內(nèi)部塊執(zhí)行圖像增強處理獲得校正的解碼內(nèi)部塊,編碼裝置還通過編碼該校正的解碼內(nèi)部塊獲得校正的內(nèi)部塊,和合并裝置通過將校正的內(nèi)部幀和校正的內(nèi)部塊與相關(guān)塊合并獲得壓縮處理的活動圖像數(shù)據(jù)。
6.一種圖像處理裝置,用于通過對包括I幀,P幀和B幀的壓縮活動圖像數(shù)據(jù)執(zhí)行圖像增強處理而獲得壓縮處理的活動圖像數(shù)據(jù)的裝置,該圖像處理裝置包括分割裝置,用于把壓縮活動圖像數(shù)據(jù)分割為I幀,P幀和B幀;解碼裝置,用于通過解碼I幀和P幀獲得解碼的I幀和解碼的P幀;校正裝置,用于通過對解碼的I幀和解碼的P幀執(zhí)行圖像增強處理獲得校正的解碼I幀和校正的解碼P幀;編碼裝置,用于對該校正的解碼的I幀和校正的解碼的P幀編碼獲得校正的I幀和校正的P幀;和合并裝置,用于通過將校正的I幀和校正的P幀與B幀合并獲得壓縮處理的活動圖像數(shù)據(jù)。
7.如權(quán)利要求6所述的圖像處理裝置進一步包括塊分割裝置,用于將B幀分割為內(nèi)部塊和相關(guān)塊,解碼裝置還通過解碼該內(nèi)部塊獲得解碼的內(nèi)部塊,校正裝置還通過對解碼的內(nèi)部塊執(zhí)行圖像增強處理獲得校正的解碼內(nèi)部塊,編碼裝置還通過編碼該校正的解碼內(nèi)部塊獲得校正的內(nèi)部塊,和合并裝置通過將校正的I幀,校正的P幀和校正的內(nèi)部塊與相關(guān)塊合并獲得壓縮處理的活動圖像數(shù)據(jù)。
8.一種圖像處理裝置,用于通過對主要包含每幀DCT系數(shù)數(shù)據(jù)和運動向量數(shù)據(jù)的壓縮活動圖像數(shù)據(jù)執(zhí)行圖像增強處理而獲得壓縮處理的活動圖像數(shù)據(jù)的裝置,該圖像處理裝置包括提取裝置,用于從壓縮的活動圖像數(shù)據(jù)中提取DCT系數(shù)數(shù)據(jù)和運動向量數(shù)據(jù);解碼裝置,用于通過利用DCT系數(shù)數(shù)據(jù)和運動向量數(shù)據(jù)解碼該壓縮活動圖像數(shù)據(jù)獲得解碼數(shù)據(jù);校正裝置,用于通過對解碼數(shù)據(jù)執(zhí)行圖像增強處理獲得校正的解碼數(shù)據(jù);和編碼裝置,用于對該校正的解碼數(shù)據(jù)編碼獲得壓縮處理的活動圖像數(shù)據(jù),其中該編碼裝置利用由提取裝置獲得的運動向量數(shù)據(jù)編碼該校正的解碼數(shù)據(jù)。
9.一種圖像處理裝置,用于通過對包括多個幀的壓縮活動圖像數(shù)據(jù)執(zhí)行圖像增強處理而獲得壓縮處理的活動圖像數(shù)據(jù)的裝置,該圖像處理裝置包括分割裝置,用于把壓縮活動圖像數(shù)據(jù)分割為目標幀和非目標幀;解碼裝置,用于通過解碼目標幀獲得解碼幀;校正裝置,用于通過對解碼幀執(zhí)行圖像增強處理獲得校正的解碼幀;編碼裝置,用于對該校正的解碼幀編碼獲得校正幀;和合并裝置,用于通過將校正幀和非目標幀合并獲得壓縮處理的活動圖像數(shù)據(jù),其中該校正裝置包括校正參數(shù)計算裝置,用于通過利用相應(yīng)的解碼幀數(shù)據(jù)計算每個解碼幀的校正參數(shù);參數(shù)調(diào)整裝置,用于通過利用將要調(diào)整的該校正參數(shù)相應(yīng)的解碼幀之前和/或之后的解碼幀或幀組的校正參數(shù),調(diào)整其校正參數(shù)獲得每個解碼幀的調(diào)整參數(shù);和校正執(zhí)行裝置,用于利用該調(diào)整參數(shù)執(zhí)行每個解碼幀的圖像增強處理。
10.如權(quán)利要求9所述的圖像處理裝置,其中參數(shù)調(diào)整裝置為每個解碼幀設(shè)置調(diào)整參數(shù),該調(diào)整參數(shù)為其上的校正參數(shù)和至少一個相應(yīng)該解碼幀之前和/或后的解碼幀的校正參數(shù)的平均值。
11.一種圖像處理裝置,用于通過對包括內(nèi)部幀和相關(guān)幀的壓縮活動圖像數(shù)據(jù)執(zhí)行圖像增強處理而獲得壓縮處理的活動圖像數(shù)據(jù)的裝置,該圖像處理裝置包括分割裝置,用于把壓縮活動圖像數(shù)據(jù)分割為內(nèi)部幀,目標相關(guān)幀和非目標相關(guān)幀;解碼裝置,用于通過解碼內(nèi)部幀和目標相關(guān)幀獲得包括解碼內(nèi)部幀和解碼目標相關(guān)幀的解碼幀;校正裝置,用于通過對解碼幀執(zhí)行圖像增強處理獲得校正的解碼幀;編碼裝置,用于對該校正的解碼幀編碼獲得校正幀;和合并裝置,用于通過將校正幀和非目標相關(guān)幀合并獲得壓縮處理的活動圖像數(shù)據(jù),其中校正裝置通過計算校正參數(shù)對解碼內(nèi)部幀和利用緊接著在前于該解碼目標相關(guān)幀的解碼內(nèi)部幀的校正參數(shù)對解碼目標相關(guān)幀執(zhí)行圖像增強處理。
12.一種使計算機執(zhí)行的通過壓縮活動圖像數(shù)據(jù)進行圖像增強處理而獲得壓縮處理的活動圖像數(shù)據(jù)的圖像處理程序,該圖像處理程序包括的步驟為將壓縮的活動圖像數(shù)據(jù)分割為需校正的目標部分和不需校正的非目標部分;解碼目標部分獲得解碼數(shù)據(jù);對解碼數(shù)據(jù)執(zhí)行圖像增強處理而獲得校正的解碼數(shù)據(jù);對該校正的解碼數(shù)據(jù)編碼;和將編碼過的目標部分和非目標部分合并獲得壓縮處理的活動圖像數(shù)據(jù)。
13.一種使計算機執(zhí)行的通過對采用根據(jù)第一幀作為參考幀的壓縮方法獲得的壓縮活動圖像數(shù)據(jù)進行圖像增強處理而獲得壓縮處理的活動圖像數(shù)據(jù)的圖像處理程序,該圖像處理程序包括的步驟把壓縮活動圖像數(shù)據(jù)分割為第一幀和其它幀;解碼第一幀而獲得解碼的第一幀;對解碼的第一幀執(zhí)行圖像增強處理獲得校正的解碼第一幀;對該校正的解碼第一幀編碼獲得校正的第一幀;和將校正的第一幀與其它幀合并獲得壓縮處理的活動圖像數(shù)據(jù)。
14.一種使計算機執(zhí)行的通過對包括內(nèi)部幀和相關(guān)幀的壓縮活動圖像數(shù)據(jù)進行圖像增強處理而獲得壓縮處理的活動圖像數(shù)據(jù)的圖像處理程序,該圖像處理程序包括的步驟為把壓縮活動圖像數(shù)據(jù)分割為內(nèi)部幀和相關(guān)幀;解碼內(nèi)部幀獲得解碼的內(nèi)部幀;對解碼的內(nèi)部幀執(zhí)行圖像增強處理獲得校正的解碼內(nèi)部幀;對該校正的解碼內(nèi)部幀編碼獲得校正的內(nèi)部幀;和將校正的內(nèi)部幀與相關(guān)幀合并獲得壓縮處理的活動圖像數(shù)據(jù)。
15.如權(quán)利要求14所述的程序,分割步驟還包括將相關(guān)幀分割為內(nèi)部塊和相關(guān)塊的步驟,解碼步驟是解碼內(nèi)部幀和內(nèi)部塊獲得解碼的內(nèi)部幀和解碼的內(nèi)部塊的步驟,執(zhí)行圖像增強處理的步驟是對解碼的內(nèi)部幀和解碼的內(nèi)部塊執(zhí)行圖像增強處理獲得校正的解碼內(nèi)部幀和校正的解碼內(nèi)部塊的步驟,編碼步驟是對該校正的解碼內(nèi)部幀和校正的解碼內(nèi)部塊編碼獲得校正的內(nèi)部幀和校正的內(nèi)部塊的步驟,和合并步驟是將校正的內(nèi)部幀和校正的內(nèi)部塊與相關(guān)塊合并獲得壓縮處理的活動圖像數(shù)據(jù)的步驟。
16.一種使計算機執(zhí)行的通過對包括I幀,P幀和B幀的壓縮活動圖像數(shù)據(jù)進行圖像增強處理而獲得壓縮處理的活動圖像數(shù)據(jù)的圖像處理程序,該圖像處理程序包括將壓縮活動圖像數(shù)據(jù)分割為I幀,P幀和B幀;解碼I幀和P幀獲得解碼的I幀和解碼的P幀;對解碼的I幀和解碼的P幀執(zhí)行圖像增強處理獲得校正的解碼I幀和校正的解碼P幀;對該校正的解碼的I幀和校正的解碼的P幀編碼獲得校正的I幀和校正的P幀;和將校正的I幀和校正的P幀與B幀合并獲得壓縮處理的活動圖像數(shù)據(jù)。
17.如權(quán)利要求16所述的程序,分割步驟進一步包括分割B幀為內(nèi)部塊和相關(guān)塊的步驟,解碼步驟是解碼該I幀,P幀和內(nèi)部塊獲得解碼的I幀,解碼的P幀和解碼的內(nèi)部塊的步驟,執(zhí)行圖像增強處理的步驟是對解碼的I幀,解碼的P幀和解碼的內(nèi)部塊執(zhí)行圖像增強處理獲得校正的解碼I幀,校正的解碼P幀和校正的解碼內(nèi)部塊的步驟,編碼步驟是對該校正的解碼I幀,校正的解碼P幀和校正的解碼內(nèi)部塊編碼獲得校正的I幀,校正的P幀和校正的內(nèi)部塊的步驟,合并步驟是將校正的I幀,校正的P幀和校正的內(nèi)部塊與相關(guān)塊合并獲得壓縮處理的活動圖像數(shù)據(jù)的步驟。
18.一種使計算機執(zhí)行的通過對主要包含每幀DCT系數(shù)數(shù)據(jù)和運動向量數(shù)據(jù)的壓縮活動圖像數(shù)據(jù)進行圖像增強處理而獲得壓縮處理的活動圖像數(shù)據(jù)的圖像處理程序,該圖像處理程序包括的步驟為從壓縮的活動圖像數(shù)據(jù)中提取DCT系數(shù)數(shù)據(jù)和運動向量數(shù)據(jù);利用DCT系數(shù)數(shù)據(jù)和運動向量數(shù)據(jù)解碼該壓縮活動圖像數(shù)據(jù)獲得解碼數(shù)據(jù);對解碼數(shù)據(jù)執(zhí)行圖像增強處理獲得校正的解碼數(shù)據(jù);和對該校正的解碼數(shù)據(jù)編碼獲得壓縮處理的活動圖像數(shù)據(jù),其中編碼步驟是利用在提取步驟中獲得的運動向量數(shù)據(jù)編碼該校正的解碼數(shù)據(jù)的步驟。
19.一種使計算機執(zhí)行的通過對包括多個幀的壓縮活動圖像數(shù)據(jù)進行圖像增強處理而獲得壓縮處理的活動圖像數(shù)據(jù)的圖像處理程序,該圖像處理程序包括的步驟為把壓縮活動圖像數(shù)據(jù)分割為目標幀和非目標幀;解碼目標幀獲得解碼幀;對解碼幀執(zhí)行圖像增強處理獲得校正的解碼幀;對校正的解碼幀編碼獲得校正幀;和將校正幀和非目標幀合并獲得壓縮處理的活動圖像數(shù)據(jù),其中執(zhí)行圖像增強處理的步驟還包括步驟利用相應(yīng)的解碼幀數(shù)據(jù)計算每個解碼幀的校正參數(shù);利用相應(yīng)將要調(diào)整的該校正參數(shù)的解碼幀之前和/或之后的解碼幀或幀組的校正參數(shù),調(diào)整其上的校正參數(shù)獲得每個解碼幀的調(diào)整參數(shù);和利用該調(diào)整參數(shù)對每個解碼幀執(zhí)行圖像增強處理。
20.一種使計算機執(zhí)行的通過對包括內(nèi)部幀和相關(guān)幀的壓縮活動圖像數(shù)據(jù)進行圖像增強處理而獲得壓縮處理的活動圖像數(shù)據(jù)的圖像處理程序,該圖像處理程序包括的步驟為把壓縮活動圖像數(shù)據(jù)分割為內(nèi)部幀,目標相關(guān)幀和非目標相關(guān)幀;解碼內(nèi)部幀和目標相關(guān)幀獲得包括解碼內(nèi)部幀和解碼目標相關(guān)幀的解碼幀;對解碼幀執(zhí)行圖像增強處理獲得校正的解碼幀;對該校正的解碼幀編碼獲得校正幀;和將校正幀和非目標相關(guān)幀合并獲得壓縮處理的活動圖像數(shù)據(jù),其中執(zhí)行圖像增強處理的步驟是通過計算校正參數(shù)對解碼內(nèi)部幀和利用緊接著在前于該解碼目標相關(guān)幀的解碼內(nèi)部幀的校正參數(shù)對解碼目標相關(guān)幀執(zhí)行圖像增強處理的步驟。
全文摘要
獲得壓縮處理的活動圖像數(shù)據(jù)的處理過程可通過對壓縮活動圖像數(shù)據(jù)進行圖像增強處理被有效地執(zhí)行。在移動電話系統(tǒng)中繼服務(wù)器的活動圖像處理單元中,分割單元把附屬于一封電子郵件的壓縮活動圖像數(shù)據(jù)分割為將校正的目標部分和不校正的非目標部分。解碼單元解碼目標部分產(chǎn)生解碼數(shù)據(jù)。校正單元對解碼數(shù)據(jù)執(zhí)行圖像增強處理獲得校正的解碼數(shù)據(jù)。編碼單元對該校正的解碼數(shù)據(jù)編碼而獲得編碼校正數(shù)據(jù)。合并單元將編碼的校正數(shù)據(jù)和非目標部分合并獲得壓縮處理的活動圖像數(shù)據(jù)。
文檔編號H04N7/50GK1525738SQ20041003308
公開日2004年9月1日 申請日期2004年2月14日 優(yōu)先權(quán)日2003年2月14日
發(fā)明者野中俊一郎, 樹, 池谷直樹 申請人:富士膠片株式會社