專利名稱：攝像設(shè)備、圖像處理設(shè)備及其控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種攝像設(shè)備、圖像處理設(shè)備及其控制方法。
背景技術(shù)：
此前，已經(jīng)提出了將圖像信號的分辨率從標(biāo)準(zhǔn)清晰度(SD) 轉(zhuǎn)換成高清晰度(HD)的圖像數(shù)據(jù)轉(zhuǎn)換設(shè)備等(參見日本特開 2003-323612)。日本特開2003-323612中所公開的設(shè)備為了根據(jù)
圖像信號的特性進(jìn)行最優(yōu)處理，在進(jìn)行分辨率轉(zhuǎn)換時，基于每 一像素塊的某些特性量，來進(jìn)行分類。該想法意圖通過針對各 分類進(jìn)行適當(dāng)?shù)姆直媛兽D(zhuǎn)換，來獲得整個圖像的良好的分辨率 轉(zhuǎn)換結(jié)果。
另外，提出了這樣一種圖像處理設(shè)備獲取被攝體的運(yùn)動 圖像數(shù)據(jù)，并將該數(shù)據(jù)轉(zhuǎn)換成具有低分辨率的運(yùn)動圖像數(shù)據(jù)， 并生成具有高分辨率的靜止圖像數(shù)據(jù)(參見日本特開 2006-352630)。
在日本特開2003-323612中，使用預(yù)先提供的學(xué)習(xí)圖像來創(chuàng) 建對任何內(nèi)容的圖像共同適用的分辨率轉(zhuǎn)換表，并在回放期間 使用該表進(jìn)行分辨率轉(zhuǎn)換。然而，上述分辨率轉(zhuǎn)換表具有大量 學(xué)習(xí)圖像的平均特性，并未針對實(shí)際進(jìn)行分辨率轉(zhuǎn)換的各個圖 像進(jìn)行最優(yōu)化。
此外，在日本特開2006-352630中，生成運(yùn)動圖像數(shù)據(jù)，其 中，所獲取的運(yùn)動圖像數(shù)據(jù)已經(jīng)被轉(zhuǎn)換成具有低分辨率，并且 根據(jù)轉(zhuǎn)換成具有低分辨率之前的運(yùn)動圖像數(shù)據(jù)，生成靜止圖像 數(shù)據(jù)。然而，使用該靜止圖像數(shù)據(jù)作為一般的照片數(shù)據(jù)。因此， 靜止圖像數(shù)據(jù)的生成定時遵從用戶記錄靜止圖像的指令。換句話說，該靜止圖像數(shù)據(jù)不是為了在分辨率轉(zhuǎn)換中使用而生成的。

發(fā)明內(nèi)容
考慮到傳統(tǒng)技術(shù)的上述問題做出了本發(fā)明。希望提供這樣
一種攝像設(shè)備及其控制方法即使在回放過程中進(jìn)行分辨率轉(zhuǎn) 換以提高分辨率的情況下，該攝像設(shè)備也進(jìn)行使得能夠獲得良 好的分辨率轉(zhuǎn)換結(jié)果的攝像。
本發(fā)明還可以提供一種能夠良好地回放由本發(fā)明的攝像設(shè) 備所拍攝的圖像的圖像處理設(shè)備及其控制方法。
根據(jù)本發(fā)明的一個方面，提供一種攝像設(shè)備，用于拍攝運(yùn) 動圖像，所述攝像設(shè)備包括判斷部件，用于從構(gòu)成所述運(yùn)動 圖像的多個圖像幀中，判斷在所述運(yùn)動圖像的分辨率轉(zhuǎn)換中要 用作參考圖像幀的圖像幀；文件生成部件，用于根據(jù)由所述判 斷部件判斷出的所述參考圖像幀，生成參考圖像數(shù)據(jù)文件；編 碼部件，用于降低所述多個圖像幀的分辨率，并根據(jù)分辨率降 低后的圖像幀，生成編碼運(yùn)動圖像數(shù)據(jù)文件；信息生成部件， 用于生成指定所述參考圖像幀的信息；列表生成部件，用于生 成將由所述信息生成部件生成的、指定所述參考圖像幀的信息 與指定所述參考圖像數(shù)據(jù)文件的信息相關(guān)聯(lián)的列表；以及第一 記錄控制部件，用于將所述參考圖像數(shù)據(jù)文件、所述編碼運(yùn)動 圖像數(shù)據(jù)文件和所述列表存儲在第 一 存儲部件中。
根據(jù)本發(fā)明的另一方面，提供一種圖像處理設(shè)備，包括 獲取部件，用于從攝像設(shè)備獲取參考圖像數(shù)據(jù)文件、編碼運(yùn)動 圖像數(shù)據(jù)文件和列表，并將所獲取的所述參考圖像數(shù)據(jù)文件、 所述編碼運(yùn)動圖像數(shù)據(jù)文件和所述列表存儲在第三存儲部件 中；第一讀出部件，用于從所述第三存儲部件讀出所述參考圖 像數(shù)據(jù)文件；分辨率降低部件，用于根據(jù)所讀取的所述參考圖像數(shù)據(jù)文件中包括的參考圖像幀，生成具有與構(gòu)成所述編碼運(yùn) 動圖像數(shù)據(jù)文件的圖像幀相等的分辨率的低分辨率參考圖像 幀；分辨率轉(zhuǎn)換表生成部件，用于根據(jù)所述參考圖像幀和所述 低分辨率參考圖像幀，生成用于提高構(gòu)成所述編碼運(yùn)動圖像數(shù)據(jù)文件的圖像幀的分辨率的分辨率轉(zhuǎn)換表；第二讀出部件，用 于從所述第三存儲部件讀出所述列表；列表編輯部件，用于將 所述分辨率轉(zhuǎn)換表與所述列表相關(guān)聯(lián)，并輸出由此生成的列表； 第二記錄控制部件，用于將所述分辨率轉(zhuǎn)換表和由所述列表編 輯部件輸出的所述列表記錄在所述第三存儲部件中；解碼部件，用于對所述編碼運(yùn)動圖像數(shù)據(jù)文件進(jìn)行解碼，并輸出構(gòu)成所述 編碼運(yùn)動圖像數(shù)據(jù)文件的圖像幀；分辨率轉(zhuǎn)換部件，用于在基 于所述列表來應(yīng)用所述分辨率轉(zhuǎn)換表的情況下，對由所述解碼 部件輸出的圖像幀進(jìn)行分辨率轉(zhuǎn)換；以及輸出部件，用于輸出 進(jìn)行所述分辨率轉(zhuǎn)換后的圖像幀。根據(jù)本發(fā)明的另一方面，提供一種圖像處理設(shè)備，包括 獲取部件，用于從攝像設(shè)備獲取編碼運(yùn)動圖像數(shù)據(jù)文件、列表 和分辨率轉(zhuǎn)換表，其中，所述攝像設(shè)備包括分辨率降低部件，用于根據(jù)所讀取的參考圖像數(shù)據(jù)文件中包括的參考圖像幀，生 成具有與構(gòu)成所述編碼運(yùn)動圖像數(shù)據(jù)文件的圖像幀相等的分辨率的低分辨率參考圖像幀；分辨率轉(zhuǎn)換表生成部件，用于根據(jù) 所述參考圖像幀和所述低分辨率參考圖像幀，生成用于提高構(gòu) 成所述編碼運(yùn)動圖像數(shù)據(jù)文件的圖像幀的分辨率的分辨率轉(zhuǎn)換 表，并輸出所生成的所述分辨率轉(zhuǎn)換表；以及列表編輯部件， 用于將所述分辨率轉(zhuǎn)換表與所述列表相關(guān)聯(lián)，并輸出由此生成 的列表，所述圖像處理設(shè)備被配置為將所獲取的所述編碼運(yùn)動 圖像數(shù)據(jù)文件、所述列表和所述分辨率轉(zhuǎn)換表存儲在第三存儲 部件中，所述圖像處理設(shè)備還包括解碼部件，用于對所述編碼運(yùn)動圖像數(shù)據(jù)文件進(jìn)行解碼，并輸出構(gòu)成所述編碼運(yùn)動圖像 數(shù)據(jù)文件的圖像幀；分辨率轉(zhuǎn)換部件，用于在基于所述列表來 應(yīng)用所述分辨率轉(zhuǎn)換表的情況下，對由所述解碼部件輸出的圖像幀進(jìn)行分辨率轉(zhuǎn)換；以及輸出部件，用于輸出進(jìn)行所述分辨 率轉(zhuǎn)換后的圖像幀。根據(jù)本發(fā)明的另一方面，提供一種用于拍攝運(yùn)動圖像的攝 像設(shè)備的控制方法，所述控制方法包括以下步驟判斷步驟， 用于從構(gòu)成所述運(yùn)動圖像的多個圖像幀中，判斷在所述運(yùn)動圖 像的分辨率轉(zhuǎn)換中要用作參考圖像幀的圖像幀；文件生成步驟， 用于根據(jù)所述參考圖像幀，生成參考圖像數(shù)據(jù)文件；編碼步驟， 用于降低所述多個圖像幀的分辨率，并根據(jù)分辨率降低后的圖 像幀，生成編碼運(yùn)動圖像數(shù)據(jù)文件；信息生成步驟，用于生成 指定所述參考圖像幀的信息；列表生成步驟，用于生成將在所 述信息生成步驟中所生成的、指定所述參考圖像幀的信息與指 定所述參考圖像數(shù)據(jù)文件的信息相關(guān)聯(lián)的列表；以及第一記錄 控制步驟，用于將所述參考圖像數(shù)據(jù)文件、所述編碼運(yùn)動圖像 數(shù)據(jù)文件和所述列表存儲在第一存儲單元中。根據(jù)本發(fā)明的另一方面，提供一種用于對由攝像設(shè)備拍攝 的圖像進(jìn)行處理的圖像處理設(shè)備的控制方法，所述攝像設(shè)備包 括判斷部件，用于從構(gòu)成運(yùn)動圖像的多個圖像幀中，判斷在 所述運(yùn)動圖像的分辨率轉(zhuǎn)換中要用作參考圖像幀的圖像幀；文 件生成部件，用于根據(jù)由所述判斷部件判斷出的所述參考圖像 幀，生成參考圖像數(shù)據(jù)文件；編碼部件，用于降低所述多個圖 像幀的分辨率，并根據(jù)分辨率降低后的圖像幀，生成編碼運(yùn)動 圖像數(shù)據(jù)文件；信息生成部件，用于生成指定所述參考圖像幀 的信息；以及列表生成部件，用于生成將由所述信息生成部件 生成的、指定所述參考圖像幀的信息與指定所述參考圖像數(shù)據(jù)文件的信息相關(guān)聯(lián)的列表，所述控制方法包括獲取步驟，用 于獲取由所述攝像設(shè)備生成的所述參考圖像數(shù)據(jù)文件、所述編 碼運(yùn)動圖像數(shù)據(jù)文件和所述列表，并將所獲取的所述參考圖像 數(shù)據(jù)文件、所述編碼運(yùn)動圖像數(shù)據(jù)文件和所述列表存儲在存儲單元中；分辨率降低步驟，用于根據(jù)所讀取的所述參考圖像數(shù) 據(jù)文件中包括的所述參考圖像幀，生成具有與構(gòu)成所述編碼運(yùn) 動圖像數(shù)據(jù)文件的圖像幀相等的分辨率的低分辨率參考圖像 幀；分辨率轉(zhuǎn)換表生成步驟，用于根據(jù)所述參考圖像幀和所述 低分辨率參考圖像幀，生成用于提高構(gòu)成所述編碼運(yùn)動圖像數(shù) 據(jù)文件的圖像幀的分辨率的分辨率轉(zhuǎn)換表；列表編輯步驟，用 于將所述分辨率轉(zhuǎn)換表與所述列表相關(guān)聯(lián)，并輸出由此生成的 列表；記錄控制步驟，用于將所述分辨率轉(zhuǎn)換表和在所述列表 編輯步驟中輸出的所述列表存儲到所述存儲單元；解碼步驟，用于對所述編碼運(yùn)動圖像數(shù)據(jù)文件進(jìn)行解碼，并輸出構(gòu)成所述 編碼運(yùn)動圖像數(shù)據(jù)文件的圖像幀；分辨率轉(zhuǎn)換步驟，用于在基 于所述列表來應(yīng)用所述分辨率轉(zhuǎn)換表的情況下，對在所述解碼 步驟中輸出的圖像幀進(jìn)行分辨率轉(zhuǎn)換；以及輸出步驟，用于輸 出進(jìn)行所述分辨率轉(zhuǎn)換后的圖像幀。根據(jù)本發(fā)明的另 一方面，提供一種用于對由攝像設(shè)備拍攝 的圖像進(jìn)行處理的圖像處理設(shè)備的控制方法，所述攝像設(shè)備包 括分辨率降低部件，用于根據(jù)所讀取的參考圖像數(shù)據(jù)文件中 包括的參考圖像幀，生成具有與構(gòu)成編碼運(yùn)動圖像數(shù)據(jù)文件的 圖像幀相等的分辨率的低分辨率參考圖像幀；分辨率轉(zhuǎn)換表生 成部件，用于根據(jù)所述參考圖像幀和所述低分辨率參考圖像幀， 生成用于提高構(gòu)成所述編碼運(yùn)動圖像數(shù)據(jù)文件的圖像幀的分辨 率的分辨率轉(zhuǎn)換表，并輸出所生成的所述分辨率轉(zhuǎn)換表；以及 列表編輯部件，用于將所述分辨率轉(zhuǎn)換表與所述列表相關(guān)聯(lián)，并輸出由此生成的列表，所述控制方法包括獲取步驟，用于 獲取由所述攝像設(shè)備生成的所述編碼運(yùn)動圖像數(shù)據(jù)文件、所述 列表和所述分辨率轉(zhuǎn)換表，并將所獲取的所述編碼運(yùn)動圖像數(shù)據(jù)文件、所述列表和所述分辨率轉(zhuǎn)換表存儲在存儲單元中；解碼步驟，用于對所述編碼運(yùn)動圖像數(shù)據(jù)文件進(jìn)行解碼，并輸出構(gòu)成所述編碼運(yùn)動圖像數(shù)據(jù)文件的圖像幀；分辨率轉(zhuǎn)換步驟， 用于在基于所述列表來應(yīng)用所述分辨率轉(zhuǎn)換表的情況下，對在 所述解碼步驟中輸出的圖像幀進(jìn)行分辨率轉(zhuǎn)換；以及輸出步驟， 用于輸出進(jìn)行所述分辨率轉(zhuǎn)換后的圖像幀。通過以下結(jié)合附圖對典型實(shí)施例的說明，本發(fā)明的其它特 征將變得明顯。


圖1是示出根據(jù)本發(fā)明第 一 實(shí)施例的攝像設(shè)備的典型結(jié)構(gòu) 的框圖；圖2示出由根據(jù)本發(fā)明第 一 實(shí)施例的攝像設(shè)備所生成的典 型內(nèi)容信息列表；圖3是示出根據(jù)本發(fā)明第 一 實(shí)施例的攝像設(shè)備中的用于提 取參考圖像的典型操作的流程圖；圖4是示出根據(jù)本發(fā)明第一實(shí)施例的圖像處理設(shè)備的典型 結(jié)構(gòu)的框圖；圖5是示出根據(jù)本發(fā)明第 一 實(shí)施例的圖像處理設(shè)備中的分 辨率轉(zhuǎn)換表生成單元的典型結(jié)構(gòu)的框圖；圖6示出由根據(jù)本發(fā)明第 一實(shí)施例的圖像處理設(shè)備中的內(nèi) 容信息列表編輯單元編輯后的典型內(nèi)容信息列表；圖7示出當(dāng)播放與圖6的內(nèi)容信息列表中所示的內(nèi)容A相對 應(yīng)的編碼運(yùn)動圖像數(shù)據(jù)文件時的分辨率轉(zhuǎn)換表的應(yīng)用定時；圖8是示出根據(jù)本發(fā)明第二實(shí)施例的攝像設(shè)備的典型結(jié)構(gòu)
的框圖9示出由根據(jù)本發(fā)明第二實(shí)施例的攝像設(shè)備所生成的典 型內(nèi)容信息列表；
圖IO是示出根據(jù)本發(fā)明第二實(shí)施例的攝像設(shè)備中的用于 提取參考圖像的典型操作的流程圖11是示出根據(jù)本發(fā)明第三實(shí)施例的攝像設(shè)備的典型結(jié) 構(gòu)的框圖12示出存儲在根據(jù)本發(fā)明第三實(shí)施例的攝像設(shè)備中的 直方圖參考表單元中的典型表格；
圖13是示出根據(jù)本發(fā)明第四實(shí)施例的攝像設(shè)備的典型結(jié) 構(gòu)的框圖；以及
圖14是示出根據(jù)本發(fā)明第四實(shí)施例的圖像處理設(shè)備的典 型結(jié)構(gòu)的框圖。
具體實(shí)施例方式
現(xiàn)在將根據(jù)附圖詳細(xì)說明本發(fā)明的優(yōu)選實(shí)施例。 第一實(shí)施例
首先應(yīng)該注意，本發(fā)明中的"分辨率"的意義不局限于給定 區(qū)域的像素密度，例如每英寸的像素數(shù)。本發(fā)明中的"分辨率" 是還表示圖像信號中原有的像素數(shù)的表達(dá)。因此，分辨率轉(zhuǎn)換 不僅是指轉(zhuǎn)換像素密度，而且還指用于改變像素數(shù)的處理。降 低分辨率包含用于減少來自圖像信號的像素數(shù)的處理。提高分 辨率包含用于增加圖像信號中所包括的像素數(shù)的處理。應(yīng)該理 解，以符合上述定義的方式利用本發(fā)明的權(quán)利要求書、說明書
和附圖中的術(shù)語"分辨率"。
在本實(shí)施例中，攝像設(shè)備從一 系列的拍攝圖像幀中提取滿足特定條件的圖像幀作為參考圖像，并在不降低分辨率(不減少 像素數(shù))的情況下存儲所提取的圖像幀。然后，攝像設(shè)備在根據(jù) 標(biāo)準(zhǔn)或設(shè)置相對例如拍攝時圖像的分辨率來降低分辨率之后， 將壓縮編碼處理應(yīng)用于所拍攝的圖像幀，并且生成并存儲 一 系 列壓縮圖像幀，作為編碼運(yùn)動圖像數(shù)據(jù)文件。該攝像設(shè)備生成 用于指定作為參考圖像所提取的圖像幀的信息。該攝像設(shè)備還 生成并存儲將用于指定提取的圖像幀的信息與用于指定參考圖 像的參考圖像數(shù)據(jù)文件的信息相關(guān)聯(lián)的列表。
注意，在本發(fā)明中，"數(shù)據(jù)文件"是用于處理具有給定連貫
性(coherence)的數(shù)據(jù)的單位，并且單個數(shù)據(jù)文件至少包括按照 給定規(guī)則所分類的一個數(shù)據(jù)集合。根據(jù)需要，還包括與數(shù)據(jù)集 合有關(guān)的信息等的附加信息。例如，參考圖像數(shù)據(jù)文件包括構(gòu) 成作為參考圖像所提取的圖像幀的像素數(shù)據(jù)的 一 個或更多個集 合。另外，編碼運(yùn)動圖像數(shù)據(jù)文件包括一個或更多個圖像幀的 像素數(shù)據(jù)。例如，可以通過文件名稱來唯一地指定數(shù)據(jù)文件。
此外，本實(shí)施例的圖像處理設(shè)備獲取由攝像設(shè)備所存儲的 參考圖像、內(nèi)容信息列表和編碼運(yùn)動圖像數(shù)據(jù)文件。該圖像處 理設(shè)備使用參考圖像來生成用于提高構(gòu)成編碼運(yùn)動圖像數(shù)據(jù)文 件的圖像幀的分辨率的分辨率轉(zhuǎn)換表。該圖像處理設(shè)備對編碼 運(yùn)動圖像數(shù)據(jù)文件進(jìn)行解碼，使用基于內(nèi)容信息列表所指定的 分辨率轉(zhuǎn)換表對解碼后的圖像幀進(jìn)行分辨率轉(zhuǎn)換，并且顯示分
辨率轉(zhuǎn)換后的圖像幀。由于該處理，可以使用適合實(shí)際要進(jìn)行 分辨率轉(zhuǎn)換的圖像的分辨率轉(zhuǎn)換表來進(jìn)行分辨率轉(zhuǎn)換，從而使
得可以獲得高質(zhì)量結(jié)果。
現(xiàn)在將詳細(xì)說明典型裝置結(jié)構(gòu)和操作。
圖l是示出根據(jù)本發(fā)明第 一 實(shí)施例的攝像設(shè)備100的典型 結(jié)構(gòu)的框圖。攝像設(shè)備100具有運(yùn)動圖像拍攝功能。攝像單元101設(shè)置有CCD、 CMOS或類似的圖像傳感器，并 且以像素為單位生成與由鏡頭(未示出)所形成的光學(xué)圖像相對 應(yīng)的視頻信號。模數(shù)(A/D)轉(zhuǎn)換單元102將由攝像單元101所生成 的視頻信號轉(zhuǎn)換成數(shù)字信號。圖像處理單元103進(jìn)行伽馬校正和 白平衡調(diào)整等的圖像處理。
場景變化檢測單元104計算根據(jù)等級對例如構(gòu)成單個輸入 圖像(圖像幀)的像素的亮度和顏色信號進(jìn)行分類的直方圖，并 且存儲所生成的直方圖。場景變化檢測單元104將當(dāng)前輸入的圖 像幀的直方圖與先前圖像幀的直方圖進(jìn)行比較，并且如果直方 圖的變化量大于所設(shè)置的閾值，則判斷為場景已改變。在該判 斷處理之后，場景變化檢測單元10 4清除先前圖像幀的直方圖數(shù)據(jù)。
如果判斷為場景已改變，則場景變化檢測單元104通知參 考圖像提取單元105提取當(dāng)前圖像幀作為參考圖像。
在從場景變化檢測單元10 4接收到該通知時，用作文件生 成單元的參考圖像提取單元105將當(dāng)前圖像幀識別為場景變化 之后的第 一個圖像幀。參考圖像提取單元105生成包括沒有降低 分辨率的當(dāng)前圖像幀的數(shù)據(jù)的參考圖像數(shù)據(jù)文件，并將所生成 的參考圖像數(shù)據(jù)文件發(fā)送給第一記錄控制單元106。
參考圖像提取單元105還通知內(nèi)容信息列表生成單元107 已提取了參考圖像。參考圖像提取單元105還將所有輸入的圖像 幀的數(shù)據(jù)發(fā)送給編碼器單元10 8,而不管當(dāng)前幀是否作為參考圖 像。
用作編碼單元的編碼器單元108根據(jù)例如MPEG2或H.264 等的編碼系統(tǒng)對輸入的圖像幀的數(shù)據(jù)進(jìn)行壓縮編碼，并將由此 所獲得的編碼運(yùn)動圖像數(shù)據(jù)文件發(fā)送給第一記錄控制單元106。 注意，在本實(shí)施例中，在將圖像幀的分辨率降低到基于預(yù)定標(biāo)準(zhǔn)或用戶設(shè)置等的分辨率之后進(jìn)行壓縮編碼。例如，情況如下
根據(jù)由HDV標(biāo)準(zhǔn)所確定的分辨率(1440x 1080像素)的拍攝圖像 生成并記錄SD(720x480像素)圖像；或者根據(jù)具有高于 1440xl08(H象素的分辨率的圖l象生成并記錄HDV圖像。因此， 在本實(shí)施例中，參考圖像的分辨率高于構(gòu)成編碼運(yùn)動圖像數(shù)據(jù) 文件的圖像幀的分辨率。
如果提取當(dāng)前圖像幀作為參考圖像，則編碼器單元108將 當(dāng)前圖像幀的回放時間信息發(fā)送給內(nèi)容信息列表生成單元107。 例如，在圖像幀被配置為MPEG2-TS編碼運(yùn)動圖像數(shù)據(jù)文件的 情況下，可以使用插入在PES報頭中的呈現(xiàn)時間戳記 (presentation time stamp ， PTS)作為回方文時間信息?？梢岳萌?意格式的時間信息，只要在播放編碼運(yùn)動圖像數(shù)據(jù)文件時可以 指定參考圖像的回放時間即可。也就是說，編碼器單元108還用 作生成用于指定作為參考圖像所提取的圖像幀的信息的信息生 成單元。
注意，在本實(shí)施例中，盡管使用編碼器單元108所生成的 回放時間信息作為用于指定作為參考圖像所提取的圖像幀的信 息，但是本發(fā)明的信息生成單元不必局限于編碼單元。另外， 用于指定圖像幀的信息不局限于回放時間信息。任何信息都是 可接受的，只要該信息能夠指定和識別圖像幀。
內(nèi)容信息列表生成單元107生成例如如圖2所示的內(nèi)容信 息列表，該內(nèi)容信息列表將用于指定編碼運(yùn)動圖像數(shù)據(jù)文件的 信息(內(nèi)容名稱)與從編碼器單元108接收到的回放時間信息以 及用于指定參考圖像數(shù)據(jù)文件的信息(圖像數(shù)據(jù)文件名稱)相關(guān) 聯(lián)。內(nèi)容信息列表生成單元107將所生成的內(nèi)容信息列表發(fā)送給 第一記錄控制單元106。
第 一記錄控制單元106將來自參考圖像提取單元105的參考圖像數(shù)據(jù)文件、來自內(nèi)容信息列表生成單元107的內(nèi)容信息列 表、以及來自編碼器單元108的編碼運(yùn)動圖像數(shù)據(jù)文件存儲在用
作第一存儲單元的第一累積單元109中。
第 一 累積單元109是例如HDD或半導(dǎo)體存儲器等的存儲單 元，并且存儲拍攝的圖像數(shù)據(jù)文件、參考圖像數(shù)據(jù)文件和內(nèi)容 信息列表等。
當(dāng)利用攝像設(shè)備100播放拍攝的圖像數(shù)據(jù)文件時，將存儲 在第 一 累積單元10 9中的圖像數(shù)據(jù)文件提供給解碼器單元110 。 解碼器單元110對編碼圖像數(shù)據(jù)文件進(jìn)行解碼處理，并將解碼后 的圖像數(shù)據(jù)提供給數(shù)模(D/A)轉(zhuǎn)換單元111。 D/A轉(zhuǎn)換單元lll將 由解碼器單元110解碼后的數(shù)字?jǐn)?shù)據(jù)轉(zhuǎn)換成模擬數(shù)據(jù)，并將模擬 數(shù)據(jù)輸出到顯示單元112。顯示單元112顯示來自D/A轉(zhuǎn)換單元 111的模擬數(shù)據(jù)作為視頻。
網(wǎng)絡(luò)接口 (1/F)單元113是例如以太網(wǎng)接口或IEEE 1394接口 等的網(wǎng)絡(luò)接口 。本實(shí)施例的攝像設(shè)備10 0能夠相互關(guān)聯(lián)地將存儲 在第 一 累積單元109中的圖像數(shù)據(jù)文件、參考圖像和內(nèi)容信息列 表發(fā)送給例如具有圖像回放功能的設(shè)備等的外部裝置。
圖3是示出本實(shí)施例的攝像設(shè)備100中的用于提取參考圖 像的典型操作的流程圖。
當(dāng)啟動攝像設(shè)備100時，場景變化檢測單元104首先判斷是 否存在圖像輸入，即，攝像設(shè)備100是否處于拍攝狀態(tài)(S301)。 如果存在圖像輸入，則場景變化檢測單元10 4計算輸入圖像幀的 直方圖(S302)。然后，場景變化檢測單元104將計算出的直方圖 的數(shù)據(jù)臨時存儲在內(nèi)部存儲器等(未示出)中(S303)。
接著，場景變化檢測單元104基于臨時存儲在內(nèi)部存儲器 等中的先前圖像幀的直方圖數(shù)據(jù)和此時計算出的直方圖的數(shù) 據(jù)，判斷場景是否已改變(S304)。例如，如果直方圖的變化量大于閾值，則可以判斷為場景已改變(即，已輸入極大不同于直 到此時為止所拍攝的圖像的圖像)。任何用于計算直方圖的變化 量的方法都是可接受的。例如，可以使用形狀的相關(guān)性或相同 等級數(shù)據(jù)的頻率中的總差。注意，還可以利用不基于直方圖的 方法來檢測場景的變化。
在判斷關(guān)于當(dāng)前幀是否存在場景變化之后，場景變化檢測
單元104清除先前圖像幀的直方圖數(shù)據(jù)(S305、 S306),而不管判 斷結(jié)果。當(dāng)對于后續(xù)圖像幀進(jìn)行場景變化判斷時，使用當(dāng)前圖 像幀的直方圖數(shù)據(jù)作為先前圖像幀的直方圖數(shù)據(jù)。
如果判斷為存在場景變化，則場景變化檢測單元10 4將該 情況通知給參考圖像提取單元105。參考圖像提取單元105提取 與該通知相對應(yīng)的圖像幀作為參考圖像(S307)。參考圖像提取 單元105生成圖像數(shù)據(jù)文件，并且將所生成的圖像數(shù)據(jù)文件輸出 到第一記錄控制單元106,其中，該圖像數(shù)據(jù)文件包括所提取的 處于原始分辨率的且優(yōu)選處于未編碼狀態(tài)或無損編碼狀態(tài)的參 考圖像。參考圖像提取單元105還將用于指定所生成的圖像數(shù)據(jù) 文件的信息(例如，圖像數(shù)據(jù)文件名稱)通知給內(nèi)容信息列表生 成單元107。參考圖像提取單元105還將所有輸入圖像幀輸出到 編碼器單元108。
編碼器單元108使用MPEG2或H.264等的壓縮編碼系統(tǒng)，對 從參考圖像提取單元105輸入的所有圖像幀進(jìn)行編碼(S308 、 S310)。此時，如果已提取了待編碼的圖像幀作為參考圖像，則 編碼器單元10 8將該圖像幀的回放時間信息通知給內(nèi)容信息列 表生成單元107。
在S311,場景變化檢測單元104判斷是否已經(jīng)輸入了所有 幀，即，拍攝是否已經(jīng)結(jié)束。如果還未輸入所有幀(S311:否)， 則在S312處理進(jìn)行到下一圖像幀，并且在S302中再次計算直方圖。另一方面，如果已經(jīng)輸入了所有幀(S311:是)，則內(nèi)容信息 列表生成單元107生成上述內(nèi)容信息列表(S313)。
在S314,第 一記錄控制單元106將來自編碼器單元108的編 碼運(yùn)動圖像數(shù)據(jù)文件、來自參考圖像提取單元105的參考圖像數(shù) 據(jù)文件和來自內(nèi)容信息列表生成單元107的內(nèi)容信息列表相互 關(guān)聯(lián)地記錄到第一累積單元109。
然后處理返回到S301,并再次等待要輸入的下 一 圖像。 圖4是示出根據(jù)本實(shí)施例的圖像處理設(shè)備400的典型結(jié)構(gòu) 的框圖。
網(wǎng)絡(luò)接口 (1/F)單元401是例如以太網(wǎng)接口或IEEE 1394接口 等的網(wǎng)絡(luò)接口 。發(fā)送和接收的數(shù)據(jù)或者可以通過網(wǎng)絡(luò)I/F單元 401進(jìn)行通信的裝置沒有任何限制。然而，這里，圖像處理設(shè)備 400將被描述為通過網(wǎng)絡(luò)I/F單元401與圖l所示的攝像設(shè)備100 連接以形成圖像處理系統(tǒng)，并從攝像設(shè)備IOO接收數(shù)據(jù)。
網(wǎng)絡(luò)I/F單元401接收來自攝像設(shè)備100的編碼運(yùn)動圖像數(shù) 據(jù)文件、參考圖像數(shù)據(jù)文件和內(nèi)容信息列表，并將它們寫入作 為HDD或半導(dǎo)體存儲器等的存儲單元且用作第三存儲單元的 第二累積單元402。
用作第 一讀出單元的參考圖像讀出單元403讀出累積在第 二累積單元4 02中的參考圖像數(shù)據(jù)文件，并將讀取的參考圖像數(shù) 據(jù)文件提供給分辨率轉(zhuǎn)換表生成單元404。分辨率轉(zhuǎn)換表生成單 元404使用參考圖像來生成分辨率轉(zhuǎn)換表。
圖5是示出分辨率轉(zhuǎn)換表生成單元4 04的典型結(jié)構(gòu)的框圖。 分辨率轉(zhuǎn)換表生成單元404包括累積參考圖像數(shù)據(jù)文件的學(xué)習(xí) 數(shù)據(jù)庫單元501、對參考圖像幀進(jìn)行下采樣的下采樣單元502和 學(xué)習(xí)電路單元503。
學(xué)習(xí)數(shù)據(jù)庫單元501將從參考圖像讀出單元403所接收到的參考圖像數(shù)據(jù)文件添加到內(nèi)部學(xué)習(xí)數(shù)據(jù)庫。另一方面，學(xué)習(xí) 數(shù)據(jù)庫單元501將累積在學(xué)習(xí)數(shù)據(jù)庫中的參考圖像數(shù)據(jù)文件順
序輸出到下采樣單元502和學(xué)習(xí)電路單元503。
用作分辨率降低單元的下采樣單元502對包括在輸入的參 考圖像數(shù)據(jù)文件中的參考圖像幀進(jìn)行抽取(decimate)和濾波，并 將參考圖像幀下采樣成與構(gòu)成編碼運(yùn)動圖像數(shù)據(jù)文件的圖像幀 相同的分辨率。下采樣單元5 0 2將所獲得的低分辨率參考圖像幀 輸出到學(xué)習(xí)電路單元503。學(xué)習(xí)電路單元503使用從下采樣單元 502輸入的低分辨率參考圖像幀和從學(xué)習(xí)數(shù)據(jù)庫單元501輸入的 高分辨率參考圖像幀，例如通過最小二乘誤差準(zhǔn)則進(jìn)行學(xué)習(xí)， 并生成分辨率轉(zhuǎn)換表。
這里所生成的分辨率轉(zhuǎn)換表對通過對輸入圖像中的像素 之間的特性信息進(jìn)行編碼所獲得的數(shù)據(jù)進(jìn)行索引，并獲得像素 密度增加的結(jié)果。也就是說，生成使得能夠根據(jù)相應(yīng)的低分辨 率參考圖像幀獲得高分辨率參考圖像幀的分辨率轉(zhuǎn)換表。盡管 說明了利用最小二乘法的學(xué)習(xí)，但是也可以使用神經(jīng)網(wǎng)絡(luò)進(jìn)行 分辨率轉(zhuǎn)換表的學(xué)習(xí)。學(xué)習(xí)電路單元503將所獲得的分辨率轉(zhuǎn)換 表輸出到第二記錄控制單元405。學(xué)習(xí)電路單元503還將用于指 定所生成的分辨率轉(zhuǎn)換表的信息(例如，表名稱)和用于指定所 使用的參考圖像數(shù)據(jù)文件的信息通知給內(nèi)容信息列表編輯單元 407。
返回圖4,用作第二讀出單元的內(nèi)容信息列表讀出單元406 從第二累積單元402讀出內(nèi)容信息列表，并將讀取的列表提供給 內(nèi)容信息列表編輯單元407。內(nèi)容信息列表編輯單元407將從分 辨率轉(zhuǎn)換表生成單元404所通知的用于指定分辨率轉(zhuǎn)換表的信 息添加到內(nèi)容信息列表，并將由此生成的列表輸出到第二記錄 控制單元405。圖6示出由內(nèi)容信息列表編輯單元407所輸出的典型的編輯后的內(nèi)容信息列表。如圖6所示，與回放時間相關(guān)聯(lián)地 添加了指定分辨率轉(zhuǎn)換表的信息。
第二記錄控制單元405進(jìn)行控制，以將由分辨率轉(zhuǎn)換表生 成單元4 04所生成的分辨率轉(zhuǎn)換表和由內(nèi)容信息列表編輯單元 407編輯后的內(nèi)容信息列表寫入第二累積單元402 。
當(dāng)播放編碼運(yùn)動圖像數(shù)據(jù)文件時，解碼器單元408在從第 二累積單元402讀出編碼運(yùn)動圖像數(shù)據(jù)文件的同時進(jìn)行解碼，并 將解碼后的圖像幀順序提供給分辨率轉(zhuǎn)換單元409。解碼器單元 408還將解碼后的圖像幀的PTS輸出到分辨率轉(zhuǎn)換表讀出單元 410,作為回放時間信息。
如果從解碼器單元408所接收到的回力t時間信息所示的回 放時間與內(nèi)容信息列表中所包括的回放時間 一 致，則分辨率轉(zhuǎn) 換表讀出單元410從第二累積單元402讀出與該回放時間相關(guān)聯(lián) 的分辨率轉(zhuǎn)換表。然后，分辨率轉(zhuǎn)換表讀出單元410將讀取的分 辨率轉(zhuǎn)換表提供給分辨率轉(zhuǎn)換單元409。
分辨率轉(zhuǎn)換單元409使用從分辨率轉(zhuǎn)換表讀出單元410所 接收到的分辨率轉(zhuǎn)換表，對從解碼器單元408所輸入的圖像幀進(jìn) 行分辨率轉(zhuǎn)換，并提高圖像幀的分辨率。利用分辨率轉(zhuǎn)換，對 通過分析輸入圖像并對像素的特性信息進(jìn)行編碼所獲得的數(shù)據(jù) 進(jìn)行索引，并通過應(yīng)用分辨率轉(zhuǎn)換表來增加像素密度，以獲得 分辨率比輸入圖像的分辨率高的圖像。圖像處理單元411進(jìn)行顏 色處理和伽馬處理等的圖像處理，并將分辨率轉(zhuǎn)換后的圖像顯 示在顯示單元412上。
圖7示出當(dāng)播放與圖6的內(nèi)容信息列表中所示的內(nèi)容A相對 應(yīng)的編碼運(yùn)動圖像數(shù)據(jù)文件時的分辨率轉(zhuǎn)換表的應(yīng)用定時。
分辨率轉(zhuǎn)換單元409從回放時間TaO 701處的圖像幀開始在 分辨率轉(zhuǎn)換中應(yīng)用第一分辨率轉(zhuǎn)換表TBL—AO 702。然后，在對到達(dá)回放時間Tal之前的圖像幀所進(jìn)行的分辨率轉(zhuǎn)換中應(yīng)用 TBL—A0。
然后，從回放時間Tal 703處的圖像幀開始，在分辨率轉(zhuǎn)換 中應(yīng)用分辨率轉(zhuǎn)換表TBL—Al 704。與上述類似地，在對到達(dá)回 放時間Ta2 705之前的圖像幀所進(jìn)行的分辨率轉(zhuǎn)換中應(yīng)用 TBL—Al。此外，從回放時間Ta2處的圖像幀開始，分辨率轉(zhuǎn)換 單元409切換為應(yīng)用分辨率轉(zhuǎn)換表TBL—A2 706。
因此，每當(dāng)檢測到場景變化時，應(yīng)用根據(jù)場景的代表圖像 (這里為場景的第 一 個圖像)所生成的分辨率轉(zhuǎn)換表。由于構(gòu)成 相同場景的圖像幀通常高度相關(guān)，因而可以通過應(yīng)用根據(jù)場景 的代表圖像所生成的分辨率轉(zhuǎn)換表，來獲得適合于構(gòu)成該場景 的圖像幀的分辨率轉(zhuǎn)換結(jié)果。
圖像傳感器的像素數(shù)相對于運(yùn)動圖像記錄格式的確定周 期而快速增加。還存在相當(dāng)多的諸如攝像機(jī)的主要用于拍攝運(yùn) 動圖像的設(shè)備，考慮到對于高分辨率靜止圖像記錄的需求，這 些設(shè)備設(shè)置有具有比運(yùn)動圖像記錄中所使用的更多的像素的圖 像傳感器。然而，存在如下情況即使拍攝高分辨率圖像，由 于在降低分辨率之后才進(jìn)行運(yùn)動圖像記錄，因而它們未必能得 到有效利用。相反，本實(shí)施例通過將實(shí)際拍攝的高分辨率圖像 用于生成分辨率轉(zhuǎn)換表，使得能夠以高精度和簡單結(jié)構(gòu)生成適 合應(yīng)用分辨率轉(zhuǎn)換的圖像的分辨率轉(zhuǎn)換表。
利用本實(shí)施例的攝像設(shè)備IOO,在降低分辨率之前提取在 進(jìn)行運(yùn)動圖像拍攝時所獲得的圖像幀，作為參考圖像。因此， 拍攝參考圖像和構(gòu)成編碼運(yùn)動圖像數(shù)據(jù)文件的圖像幀的照相機(jī) 的拍攝條件(焦距、景深、曝光條件等)將必然相同。然而，例 如，當(dāng)使用多部照相機(jī)與運(yùn)動圖像分開地拍攝用作參考圖像的 靜止圖像時，可以通過在多部照相機(jī)之間進(jìn)行通信以使拍攝條件一致，從而提取合適的靜止圖像作為參考圖像。
本實(shí)施例的回放設(shè)備通過使用參考圖像的學(xué)習(xí)處理來生
成分辨率轉(zhuǎn)換表。然而，可以利用分辨率轉(zhuǎn)換表生成單元404
預(yù)先提供多種模式的分辨率轉(zhuǎn)換表，并且可以使用其中一個分 辨率轉(zhuǎn)換表。具體地，可以將多個分辨率轉(zhuǎn)換表應(yīng)用于下采樣 后的參考圖像，并使用產(chǎn)生與原始(高分辨率)參考圖像最接近 的圖像的分辨率轉(zhuǎn)換表。
在通過網(wǎng)絡(luò)將內(nèi)容文件(編碼運(yùn)動圖像數(shù)據(jù)文件)、參考圖
像和內(nèi)容信息列表從攝像設(shè)備100傳送至回放設(shè)備的方面說明 了本實(shí)施例。然而，可以通過存儲卡或光盤等可移動存儲介質(zhì) 或者高清晰度多々某體接口 (High-Definition Multimedia Interface, HDMI)等數(shù)據(jù)可通信顯示接口進(jìn)行該傳送。
另外，盡管在本實(shí)施例中提取檢測到場景變化的第一個圖
像幀作為參考圖像，但是，可以通過對相同場景中所包括的多 個圖像幀進(jìn)行平均來生成單個參考圖像。還可以從相同場景中 提取多個參考圖像。例如，在提取判斷為場景變化的第一個圖 像幀作為參考圖像之后，可以提取表現(xiàn)出與該參考圖像的直方 圖的高度相似性的圖像幀作為該場景中的附加參考圖像。在這 種情況下，在內(nèi)容信息列表中將多個參考圖像與相同回放時間 相關(guān)聯(lián)。圖像處理設(shè)備400中的分辨率轉(zhuǎn)換表生成單元404基于 與相同回放時間相關(guān)聯(lián)的多個(原始分辨率和下采樣后的)參考 圖像，生成單個分辨率轉(zhuǎn)換表。
在本實(shí)施例中，攝像設(shè)備100對每個場景提取高分辨率參 考圖像，同時圖像處理設(shè)備400使用參考圖像生成分辨率轉(zhuǎn)換 表，并在進(jìn)行回放時對每個場景切換所應(yīng)用的分辨率轉(zhuǎn)換表的 同時，進(jìn)行分辨率轉(zhuǎn)換，這使得能夠獲得適合于圖像幀的內(nèi)容 的分辨率轉(zhuǎn)換結(jié)果。注意，代替每當(dāng)出現(xiàn)場景變化時提取參考圖像，可以通過 在攝像設(shè)備1 0 0中設(shè)置定時器等，在經(jīng)歷特定設(shè)定時間段時提取 參考圖像。另外，可以在接通攝像設(shè)備100的記錄開關(guān)時提取參
考圖像。
使用以比構(gòu)成編碼運(yùn)動圖像數(shù)據(jù)文件的圖像幀的分辨率 更高的分辨率實(shí)際所拍攝的圖像幀作為參考圖像，使得與根據(jù) 無關(guān)圖像所生成的分辨率轉(zhuǎn)換表相比能夠獲得更良好的結(jié)果。
第二實(shí)施例
在第一實(shí)施例中，為每一場景提取參考圖像，然而，在本 實(shí)施例中，存儲先前提取的參考圖像，并再使用這些參考圖像。
圖8是示出根據(jù)本實(shí)施例的攝像設(shè)備100，的典型結(jié)構(gòu)的框 圖。在圖8中，相同的附圖標(biāo)記用于與圖l中相同的組成元件， 并且省略對其的重復(fù)說明。以下的說明重點(diǎn)在于本實(shí)施例的特 征結(jié)構(gòu)及其操作。
直方圖存儲單元802以與用于指定相應(yīng)的參考圖像數(shù)據(jù)文 件的信息相關(guān)聯(lián)的方式保存作為參考圖像已提取的圖像幀的直 方圖數(shù)據(jù)。
類似于第 一實(shí)施例，場景變化檢測單元104基于直方圖判 斷是否存在場景變化。如果判斷為場景已改變，則將當(dāng)前圖像 幀的直方圖數(shù)據(jù)輸出到直方圖比較單元801。
直方圖比較單元801將從場景變化檢測單元104所接收到 的直方圖數(shù)據(jù)與存儲在直方圖存儲單元802中的直方圖數(shù)據(jù)進(jìn) 行比較。如果比較結(jié)果表示不存在表現(xiàn)出高相似性的所存儲的 直方圖，則直方圖比較單元801判斷為提取當(dāng)前圖像幀作為參考 圖像，并且通知參考圖像提取單元803提取當(dāng)前圖像幀作為參考 圖像。然后，在判斷為提取當(dāng)前圖像幀作為參考圖像的情況下， 直方圖比較單元801將當(dāng)前圖像幀的直方圖數(shù)據(jù)存儲在直方圖存儲單元802中。
這里，可以利用任意方法得出直方圖之間的相似性。例如， 如果構(gòu)成直方圖的各等級的頻率值的總差超過閾值，則可以判 斷為相似性{氐。
另 一方面，如果發(fā)現(xiàn)任何所存儲的直方圖表現(xiàn)出高相似
性，則直方圖比較單元801判斷為先前所提取的參考圖像中的一 個近似當(dāng)前圖像幀。在這種情況下，直方圖比較單元801通知用 于指定與發(fā)現(xiàn)具有高相似性的直方圖.相對應(yīng)的過去的參考圖像 數(shù)據(jù)文件的信息，而不是通知提取當(dāng)前圖像幀作為參考圖像。 接收到提取參考圖像的通知的參考圖像提取單元803以與
第 一 實(shí)施例中的參考圖像提取單元105類似的方式，根據(jù)當(dāng)前圖 像幀生成參考圖像數(shù)據(jù)文件，并將所生成的參考圖像數(shù)據(jù)文件 提供給第一記錄控制單元106。參考圖像提取單元803還將用于 指定參考圖像數(shù)據(jù)文件的信息(例如，文件名稱)通知給直方圖 比較單元801。
直方圖比較單元801在從參考圖像提取單元803接收到該 通知時，與存儲在直方圖存儲單元802中的當(dāng)前圖像幀的直方圖
數(shù)據(jù)相關(guān)聯(lián)地存儲所通知的用于指定參考圖像數(shù)據(jù)文件的信
自
如果從直方圖比較單元801接收到用于指定參考圖像數(shù)據(jù) 文件的信息的通知，則參考圖像提取單元803進(jìn)一 步將該信息通 知給內(nèi)容信息列表生成單元804。
編碼器單元108使用MPEG2或H.264等壓縮編碼系統(tǒng)，對從 參考圖像提取單元803所輸入的所有圖像幀進(jìn)行編碼。此時，如 果待編碼的圖像幀是作為參考圖像所提取的圖像幀或判斷為場 景變化的圖像幀，則編碼器單元108將該圖像幀的回放時間信息 通知給內(nèi)容信息列表生成單元804。內(nèi)容信息列表生成單元804以與第 一 實(shí)施例類似的方式生 成內(nèi)容信息列表。與第一實(shí)施例的不同僅在于從參考圖像提 取單元803所提供的用于指定參考圖像數(shù)據(jù)文件的信息可以是 用于指定過去的參考圖像數(shù)據(jù)文件的信息。
例如，如果判斷為從回放時間Ta2開始的場景(場景3)的第 一個圖像幀的直方圖類似于從回放時間TaO開始的場景(場景1) 的第 一個圖像幀的直方圖，則生成例如圖9所示的內(nèi)容信息列 表。在圖9中，同樣使用與場景l(fā)相對應(yīng)的參考圖像數(shù)據(jù)文件(圖 像AO)作為與場景3相對應(yīng)的參考圖像數(shù)據(jù)文件。
圖10是示出本實(shí)施例的攝像設(shè)備100，中的用于提取參考圖 像的典型操作的流程圖。這里，僅示出不同于圖3所述的第一實(shí) 施例的流程圖的部分。
與第一實(shí)施例類似地進(jìn)行圖3中的S301 ~ S305的處理。然 而，場景變化^r測單元104將判斷為發(fā)生了場景變化通知給直方 圖比較單元801而不是參考圖像提取單元803。
在S1002，直方圖比較單元801將當(dāng)前圖像幀的直方圖與存 儲在直方圖存儲單元802中的直方圖進(jìn)行比較。
接著，在S1003,直方圖比較單元801判斷存儲在直方圖存 儲單元802中的任一直方圖是否與當(dāng)前圖像幀的直方圖類似。
如果沒有判斷為類似的直方圖，則直方圖比較單元801通 知參考圖像提取單元105提取當(dāng)前圖像幀作為參考圖像。參考圖 像提取單元105提取當(dāng)前圖像幀作為參考圖像(S307),生成參考 圖像數(shù)據(jù)文件，并將所生成的參考圖像數(shù)據(jù)文件提供給第 一記 錄控制單元106。參考圖像提取單元105還將用于指定參考圖像 數(shù)據(jù)文件的信息通知給直方圖比較單元801。
接著，直方圖比較單元801將當(dāng)前圖像幀的直方圖存儲在 直方圖存儲單元802中(S1007)。此時，直方圖比較單元801將當(dāng)前圖像幀的直方圖與用于指定參考圖像數(shù)據(jù)文件的信息相關(guān)聯(lián)
地存儲在直方圖存儲單元802中。
然后，進(jìn)4亍/人S308開始的處理。
另一方面，如果存在S1003中判斷為類似的直方圖，則直 方圖比較單元801從直方圖存儲單元802讀出用于指定與該直方 圖相對應(yīng)的參考圖像數(shù)據(jù)文件的信息。然后，直方圖比較單元 8 01將用于指定參考圖像數(shù)據(jù)文件的信息通知給內(nèi)容信息列表 生成單元804(S1004)。
編碼器單元108^f吏用MPEG2或H.264等壓縮編碼系統(tǒng)，對當(dāng) 前圖像幀進(jìn)行編碼(S1005)。然后，編碼器單元108將當(dāng)前圖像 幀的回放時間信息通知給內(nèi)容信息列表生成單元804(S 1006)。
然后，進(jìn)行從S311(圖3)開始的處理。
由于根據(jù)本實(shí)施例的圖像處理設(shè)備的結(jié)構(gòu)和操作可以與 第一實(shí)施例的圖像處理設(shè)備400的結(jié)構(gòu)和才乘作相同，因而省略對 其的說明。
注意，在本實(shí)施例中，將判斷為發(fā)生場景變化的圖像幀的 直方圖與過去的參考圖像的直方圖進(jìn)行比較，并且，如果不存 在類似的直方圖，則提取該圖像幀作為參考圖像。然而，可以 存儲過去的參考圖像本身，并且可以基于圖像之間的相似性來 決定提取作為參考圖像的圖像幀。
另外，還可以使用隨后的圖像作為先前的參考圖像，而不 是再使用先前所提取的參考圖像。也就是說，在圖9的例子的情 況下，代替作為類似的先前參考圖像的圖像AO,可以將與回放 時間Ta2相對應(yīng)的圖像幀(假定為圖像A2)與回放時間TaO相關(guān) 聯(lián)?？蛇x地，可以優(yōu)先使用類似的圖像中具有認(rèn)為是表示高分 辨率的大的高頻分量的圖像。
因此，由于共享相似的參考圖像，因而本實(shí)施例的攝像設(shè)備1 0 0 ，使得可以降低用于累積高分辨率參考圖像所需的存儲容
曰f 。
第三實(shí)施例
圖11是示出根據(jù)本發(fā)明第三實(shí)施例的攝像設(shè)備100"的典
型結(jié)構(gòu)的框圖。在圖ll中，相同的附圖標(biāo)記用于與圖l中相同的 組成元件，并且省略對其不必要的說明。
直方圖檢測單元1 IOH十算構(gòu)成輸入圖像幀的像素的亮度 和顏色分量的直方圖，作為示出該圖像幀的特性的信息，并且 將該數(shù)據(jù)發(fā)送到參考圖像提取單元1102。
由鍵盤、按鈕或開關(guān)等構(gòu)成的操作單元1103是用戶向攝像 設(shè)備100，，輸入指令的接口 。在本實(shí)施例中，操作單元1103設(shè)置 有用于設(shè)置攝像設(shè)備100"的拍攝模式(場景)的、用作拍攝模式 設(shè)置單元的模式設(shè)置撥盤，該拍攝模式例如是肖像模式、運(yùn)動
模式和黃昏模式等。
利用拍攝模式指示單元1104檢測使用模式設(shè)置撥盤所設(shè) 置的拍攝模式，并將檢測到的拍攝模式通知給參考圖像提取單 元U02。
直方圖參考表單元1105存儲這樣的表在該表中，將本實(shí) 施例的攝像設(shè)備100"中每個可設(shè)置的拍攝模式與直方圖相關(guān) 聯(lián)，該直方圖是表示認(rèn)為以該拍攝模式所拍攝的圖像應(yīng)該具有 的代表圖像特性的信息。
例如，將黃昏拍攝的圖像的直方圖特性(例如，相對于藍(lán)色 分量來說，紅色分量非常多)存儲為與黃昏模式相對應(yīng)的直方 圖。圖12示出由直方圖參考表單元1105所存儲的典型表。這里， 列出作為指定相應(yīng)的直方圖數(shù)據(jù)的信息的數(shù)據(jù)文件名稱，作為 參考直方圖。還將直方圖數(shù)據(jù)存儲在直方圖參考表單元1105中。
參考圖像提取單元1102以從拍攝模式指示單元1104所通知的拍攝模式作為關(guān)鍵詞，對直方圖參考表單元1105進(jìn)行搜索， 并獲取具有與當(dāng)前拍攝模式相對應(yīng)的代表特性的直方圖。然后， 參考圖像提取單元1 1 0 2將所獲取的直方圖與從直方圖檢測單元 1 1 0 1所接收到的當(dāng)前圖像幀的直方圖進(jìn)行比較。
如果直方圖中相應(yīng)等級的值的總差等于或小于閾值，則參
考圖像提取單元1102判斷為當(dāng)前圖像幀具有以當(dāng)前拍攝模式所
拍攝的圖像幀的代表特性，并且提取當(dāng)前圖像幀作為參考圖像。
參考圖像提取單元1102以與第 一 實(shí)施例中的參考圖像提 取單元105類似的方式，生成參考圖像數(shù)據(jù)文件，并且將所生成 的參考圖像數(shù)據(jù)文件輸出到第 一 記錄控制單元10 6 。參考圖像提 取單元1102還將所有輸入的圖像幀提供給編碼器單元108,并通 知作為參考圖像所提取的圖像幀。參考圖像提取單元1102還將 用于指定參考圖像數(shù)據(jù)文件的信息通知給內(nèi)容信息列表生成單 元107。
由于包括第 一記錄控制單元106、內(nèi)容信息列表生成單元 107和編碼器單元108的其它組成元件的^1栗作如在第 一 實(shí)施例中 所述，因而省略對其的說明。
第 一 實(shí)施例的圖像處理設(shè)備400可以使用本實(shí)施例的攝像 設(shè)備IOO，，所記錄的編碼運(yùn)動圖像數(shù)據(jù)文件、內(nèi)容信息列表和參 考圖像數(shù)據(jù)文件。
在本實(shí)施例中，預(yù)先提供具有與拍攝模式相對應(yīng)的特性的 代表直方圖，并且從所拍攝的圖像幀中提取具有與代表直方圖 相似的直方圖的圖像幀作為代表圖像。
因此，在實(shí)際拍攝的高分辨率圖像幀中，可以使用對拍攝 模式典型的圖像幀來生成分辨率轉(zhuǎn)換表。因此，在分辨率轉(zhuǎn)換 之后進(jìn)行回放的情況下生成與拍攝模式相對應(yīng)的分辨率轉(zhuǎn)換 表，從而能夠獲得符合所拍攝的對象的傾向的分辨率轉(zhuǎn)換結(jié)果。這里，作為參考圖像提取的圖像幀被視作為第 一 實(shí)施例中 的場景的第一個圖像幀，并且如第一實(shí)施例中所述，生成與各 個參考圖像相對應(yīng)的分辨率轉(zhuǎn)換表。然而，在將從特定拍攝模 式下的拍攝開始直到切換了拍攝模式或者指示結(jié)束拍攝為止所 記錄的運(yùn)動圖像組當(dāng)作 一 個場景的情況下，可以根據(jù)相同場景 內(nèi)所提取的多個參考圖像來創(chuàng)建單個分辨率轉(zhuǎn)換表。在這種情 況下，在內(nèi)容信息列表中，多個參考圖像與相同回放時間相關(guān)
聯(lián)。圖像處理設(shè)備400的分辨率轉(zhuǎn)換表生成單元404基于與相同
回放時間相關(guān)聯(lián)的多個(原始分辨率和下采樣后的)參考圖像， 生成單個分辨率轉(zhuǎn)換表。 第四實(shí)施例
圖13是示出根據(jù)本發(fā)明第四實(shí)施例的攝像設(shè)備100"，的典 型結(jié)構(gòu)的框圖。在圖13中，相同附圖標(biāo)記用于與圖l和4相同的 組成元件，并且省略對其不必要的說明。
本實(shí)施例的攝像設(shè)備100，"具有由第 一 實(shí)施例的圖像處理 設(shè)備400所進(jìn)行的生成分辨率轉(zhuǎn)換表的功能。
具體地，可以通過將包括在根據(jù)第一實(shí)施例的圖像處理設(shè) 備400中的參考圖像讀出單元403、分辨率轉(zhuǎn)換表生成單元404、 內(nèi)容信息列表讀出單元406和內(nèi)容信息列表編輯單元407與根據(jù) 第 一 實(shí)施例的攝像設(shè)備IOO組合，獲得根據(jù)第四實(shí)施例的攝像設(shè) 備100,"。
本實(shí)施例的攝像設(shè)備100，"所進(jìn)行的用來累積參考圖像數(shù) 據(jù)文件并對第 一 累積單元109中的運(yùn)動圖像數(shù)據(jù)文件和內(nèi)容信 息列表進(jìn)行編碼的處理與第 一 實(shí)施例的處理類似。另 一 方面， 當(dāng)將參考圖像數(shù)據(jù)文件新添加到第 一 累積單元109時，參考圖像 讀出單元403讀出該參考圖像數(shù)據(jù)文件，并且將所讀取的參考圖 像數(shù)據(jù)文件提供給分辨率轉(zhuǎn)換表生成單元404。如使用圖5所述，分辨率轉(zhuǎn)換表生成單元404使用高分辨率參考圖像和通過下采 樣生成的、分辨率與構(gòu)成編碼運(yùn)動圖像數(shù)據(jù)文件的圖像幀的分 辨率相同的參考圖像，來生成分辨率轉(zhuǎn)換表。將所生成的分辨
率轉(zhuǎn)換表輸出到第 一記錄控制單元106。分辨率轉(zhuǎn)換表生成單元 404還向內(nèi)容信息列表編輯單元407通知用于指定所生成的分辨 率轉(zhuǎn)換表的信息(例如，表名稱)和用于指定所使用的參考圖像 的信息。
第 一 記錄控制單元10 6將由分辨率轉(zhuǎn)換表生成單元4 0 4所 生成的分辨率轉(zhuǎn)換表存儲在第 一 累積單元109中。
內(nèi)容信息列表讀出單元406從第 一 累積單元109讀出內(nèi)容 信息列表，并將所讀取的內(nèi)容信息列表提供給內(nèi)容信息列表編 輯單元407。內(nèi)容信息列表編輯單元407基于內(nèi)容信息列表中的 參考圖像數(shù)據(jù)文件名稱，添加從分辨率轉(zhuǎn)換表生成單元404所通 知的用于指定分辨率轉(zhuǎn)換表的信息，并且將由此得到的列表輸 出到第 一記錄控制單元106。
第 一記錄控制單元106將由內(nèi)容信息列表編輯單元407編 輯后的內(nèi)容信息列表存儲在第一累積單元109中。一旦結(jié)束了圖 像輸入，并且完成了用于生成分辨率轉(zhuǎn)換表的處理，則第一記 錄控制單元106從第 一 累積單元109刪除在生成分辨率轉(zhuǎn)換表中 所使用的參考圖像數(shù)據(jù)文件。
最后，將編碼運(yùn)動圖像數(shù)據(jù)文件、編輯后的內(nèi)容信息列表 和分辨率轉(zhuǎn)換表記錄到第 一 累積單元10 9 。
圖14是示出根據(jù)本實(shí)施例的圖像處理設(shè)備400，的典型結(jié)構(gòu)
的框圖。
圖像處理設(shè)備400，通過網(wǎng)絡(luò)I/F單元401從圖13所示的攝像
設(shè)備100，"獲取編碼運(yùn)動圖像數(shù)據(jù)文件、編輯后的內(nèi)容信息列表 和分辨率轉(zhuǎn)換表，并將所獲取的文件、列表和表存儲在第二累積單元402中。
當(dāng)播放編碼運(yùn)動圖像數(shù)據(jù)文件時，解碼器單元408在從第 二累積單元402讀出編碼運(yùn)動圖像數(shù)據(jù)文件的同時，進(jìn)行解碼， 并將解碼后的圖像幀順序提供給分辨率轉(zhuǎn)換單元409。解碼器單 元408還將解碼后的圖像幀的PTS輸出到分辨率轉(zhuǎn)換表讀出單 元410,作為回》文時間信息。
如果從解碼器單元408所接收到的回放時間信息所示的回 放時間與包括在內(nèi)容信息列表中的回放時間 一 致，則分辨率轉(zhuǎn) 換表讀出單元410從第二累積單元402讀出與該回放時間相關(guān)聯(lián) 的分辨率轉(zhuǎn)換表。然后，分辨率轉(zhuǎn)換表讀出單元410將所讀取的 分辨率轉(zhuǎn)換表提供給分辨率轉(zhuǎn)換單元409。
分辨率轉(zhuǎn)換單元409使用從分辨率轉(zhuǎn)換表讀出單元410所 接收到的分辨率轉(zhuǎn)換表，對從解碼器單元408所輸入的圖像幀進(jìn) 行分辨率轉(zhuǎn)換，并且提高圖像幀的分辨率。利用分辨率轉(zhuǎn)換，
對通過分析輸入圖像并對像素之間的特性進(jìn)行編碼所獲得的數(shù) 據(jù)進(jìn)行索引，并通過應(yīng)用分辨率轉(zhuǎn)換表增大像素密度，以獲得 分辨率比輸入圖像的分辨率高的圖像。圖像處理單元411進(jìn)行顏 色處理和伽馬處理等圖像處理，并且將分辨率轉(zhuǎn)換后的圖像顯 示在顯示單元412上。
由于在攝像設(shè)備100"，中生成分辨率轉(zhuǎn)換表，因此本實(shí)施例 的攝像設(shè)備100，"和回放設(shè)備使得能夠清除所提取的參考圖像 幀，并且能夠降低用于累積參考圖像幀所需的存儲容量。由于 不需要將參考圖像數(shù)據(jù)文件從攝像設(shè)備100，，，傳送到回放設(shè)備， 因而還可以減少網(wǎng)絡(luò)上流動的數(shù)據(jù)量。
注意，即使在本實(shí)施例中，以下結(jié)構(gòu)也是可以的在該結(jié) 構(gòu)中，如第一實(shí)施例中所述，從一個場景提取多個參考圖像， 并且根據(jù)多個參考圖像創(chuàng)建單個分辨率轉(zhuǎn)換表。其它實(shí)施例
注意，還可以利用在系統(tǒng)或設(shè)備的計算才幾(或CPU、 MPU等) 上運(yùn)行的軟件來實(shí)現(xiàn)上述實(shí)施例。
因此，為了通過計算機(jī)實(shí)現(xiàn)上述實(shí)施例，還通過提供給計 算機(jī)的計算機(jī)程序來實(shí)現(xiàn)本發(fā)明。換句話說，用于實(shí)現(xiàn)上述實(shí)
施例的功能的計算^L程序也是本發(fā)明的 一 個方面。
注意，用于實(shí)現(xiàn)上述實(shí)施例的計算機(jī)程序可以采用任何形 式，只要是計算機(jī)可讀的。例如，該計算機(jī)程序可以包括對象 代碼、由解釋程序執(zhí)行的程序或提供給操作系統(tǒng)的腳本數(shù)據(jù)， 但是不局限于這些配置。
通過存儲介質(zhì)或通過有線/無線通信將用于實(shí)現(xiàn)上述實(shí)施 例的計算機(jī)程序提供給計算機(jī)。用于提供該程序的存儲介質(zhì)的
例子包括軟盤、硬盤和磁帶等磁性存儲介質(zhì)，MO、 CD和DVD 等光/磁光存儲介質(zhì)，以及非易失性半導(dǎo)體存儲器。
用于使用有線或無線通信提供計算機(jī)程序的一種方法包 括利用計算機(jī)網(wǎng)絡(luò)上的服務(wù)器。在這種情況下，將能夠成為形
成本發(fā)明的計算機(jī)程序的數(shù)據(jù)文件(程序文件)存儲在該服務(wù)器 上。該程序文件可以是執(zhí)行格式或源代碼。
然后通過將該程序文件下載到訪問該服務(wù)器的客戶計算 機(jī)，來提供該計算機(jī)程序。在這種情況下，還可以將該程序文 件分成多個分段文件，并在不同服務(wù)器間分散這些分段文件。
也就是說，將實(shí)現(xiàn)上述實(shí)施例的程序文件提供給客戶計算 機(jī)的服務(wù)器設(shè)備也是本發(fā)明的一個方面。
還可以以加密形式來分發(fā)存儲有用于實(shí)現(xiàn)上述實(shí)施例的 計算機(jī)程序的存儲介質(zhì)，向滿足規(guī)定要求的用戶提供解密密鑰 信息，并允許安裝到用戶計算機(jī)。例如，可以通過因特網(wǎng)從網(wǎng) 站進(jìn)行下載來提供密鑰信息。用于實(shí)現(xiàn)上述實(shí)施例的計算機(jī)程序可以利用已經(jīng)在計算 機(jī)上運(yùn)行的操作系統(tǒng)的功能。
此外，可以由安裝在計算機(jī)中的擴(kuò)展板等固件構(gòu)成用于實(shí) 現(xiàn)上述實(shí)施例的計算機(jī)程序的 一 部分，或者可以通過設(shè)置有擴(kuò) 展板等的C P U來執(zhí)行該計算機(jī)程序的 一 部分。
盡管在"提取，，圖像幀以用作參考圖像的方面，說明了本發(fā) 明的實(shí)施例，但是不必從圖像幀的序列中去除該圖像幀。例如， 可以通過復(fù)制相關(guān)數(shù)據(jù)，從而將參考圖像幀保留在幀序列中來 實(shí)現(xiàn)這樣的"提取"。
盡管參考典型實(shí)施例說明了本發(fā)明，但是應(yīng)該理解，本發(fā) 明不局限于所公開的典型實(shí)施例。所附權(quán)利要求書的范圍符合 最寬的解釋，以包含所有這類修改、等同結(jié)構(gòu)和功能。
權(quán)利要求
1. 一種攝像設(shè)備，用于拍攝運(yùn)動圖像，所述攝像設(shè)備包括判斷部件，用于從構(gòu)成所述運(yùn)動圖像的多個圖像幀中，判斷在所述運(yùn)動圖像的分辨率轉(zhuǎn)換中要用作參考圖像幀的圖像幀；文件生成部件，用于根據(jù)由所述判斷部件判斷出的所述參考圖像幀，生成參考圖像數(shù)據(jù)文件；編碼部件，用于降低所述多個圖像幀的分辨率，并根據(jù)分辨率降低后的圖像幀，生成編碼運(yùn)動圖像數(shù)據(jù)文件；信息生成部件，用于生成指定所述參考圖像幀的信息；列表生成部件，用于生成將由所述信息生成部件生成的、指定所述參考圖像幀的信息與指定所述參考圖像數(shù)據(jù)文件的信息相關(guān)聯(lián)的列表；以及第一記錄控制部件，用于將所述參考圖像數(shù)據(jù)文件、所述編碼運(yùn)動圖像數(shù)據(jù)文件和所述列表存儲在第一存儲部件中。
2. 根據(jù)權(quán)利要求l所述的攝像設(shè)備，其特征在于，所述判 斷部件從所述多個圖像幀中，將被判斷為相對先前圖像幀發(fā)生 場景變化的圖像幀判斷為所述參考圖像幀。
3. 根據(jù)權(quán)利要求l所述的攝像設(shè)備，其特征在于，還包括 累積部件，所述累積部件用于累積與所述參考圖像幀有關(guān)的信 自、其中，如果在所述多個圖像幀中發(fā)現(xiàn)新判斷出的圖像幀， 則所述判斷部件參考所述累積部件，判斷是否已經(jīng)使用相似圖 像幀作為參考圖像幀，以及如果所述判斷部件判斷為已經(jīng)使用相似圖像幀作為參考像幀生成的參考圖像數(shù)據(jù)文件的信息與指定所述新判斷出的 圖像幀的信息相關(guān)聯(lián)。
4. 根據(jù)權(quán)利要求l所述的攝像設(shè)備，其特征在于，還包括 拍攝模式設(shè)置部件，用于允許用戶設(shè)置多個拍攝模式之一 ；以及第二存儲部件，用于與表示拍攝模式的代表圖像特性的信 息相關(guān)聯(lián)地存儲所述多個拍攝模式中的每個拍攝模式，其中，所述判斷部件參考所述第二存儲部件，從所述多個 圖像幀中，將被判斷為具有與由所述拍攝模式設(shè)置部件設(shè)置的 所述拍攝模式相對應(yīng)的所述代表圖像特性的圖像幀判斷為所述 參考圖像幀。
5. 根據(jù)權(quán)利要求l所述的攝像設(shè)備，其特征在于，還包括 第一讀出部件，用于從所述第一存儲部件讀出所述參考圖像數(shù)據(jù)文件；分辨率降低部件，用于根據(jù)所讀取的所述參考圖像數(shù)據(jù)文 件中包括的所述參考圖像幀，生成具有與構(gòu)成所述編碼運(yùn)動圖 像數(shù)據(jù)文件的圖像幀相等的分辨率的低分辨率參考圖像幀；分辨率轉(zhuǎn)換表生成部件，用于根據(jù)所述參考圖像幀和所述 低分辨率參考圖像幀，生成用于提高構(gòu)成所述編碼運(yùn)動圖像數(shù) 據(jù)文件的圖像幀的分辨率的分辨率轉(zhuǎn)換表，并將所生成的所述 分辨率轉(zhuǎn)換表輸出到所述第 一 記錄控制部件；第二讀出部件，用于從所述第一存儲部件讀出所述列表；以及列表編輯部件，用于將所述分辨率轉(zhuǎn)換表與所述列表相關(guān) 聯(lián)，并將由此生成的列表輸出到所述第 一記錄控制部件，其中，所述第一記錄控制部件將所述分辨率轉(zhuǎn)換表和來自 所述列表編輯部件的所述列表記錄到所述第 一 存儲部件。
6. 根據(jù)權(quán)利要求5所述的攝像設(shè)備，其特征在于，所述第 一記錄控制部件從所述第一存儲部件刪除在生成所述分辨率轉(zhuǎn)換表時所使用的所述參考圖像數(shù)據(jù)文件。
7. —種圖像處理設(shè)備，包括獲取部件，用于從攝像設(shè)備獲取參考圖像數(shù)據(jù)文件、編碼 運(yùn)動圖像數(shù)據(jù)文件和列表，并將所獲取的所述參考圖像數(shù)據(jù)文 件、所述編碼運(yùn)動圖像數(shù)據(jù)文件和所述列表存儲在第三存儲部件中；第一讀出部件，用于從所述第三存儲部件讀出所述參考圖像數(shù)據(jù)文件；分辨率降低部件，用于根據(jù)所讀取的所述參考圖像數(shù)據(jù)文 件中包括的參考圖像幀，生成具有與構(gòu)成所述編碼運(yùn)動圖像數(shù) 據(jù)文件的圖像幀相等的分辨率的低分辨率參考圖像幀；分辨率轉(zhuǎn)換表生成部件，用于根據(jù)所述參考圖像幀和所述低分辨率參考圖像幀，生成用于提高構(gòu)成所述編碼運(yùn)動圖像數(shù) 據(jù)文件的圖像幀的分辨率的分辨率轉(zhuǎn)換表；第二讀出部件，用于從所述第三存儲部件讀出所述列表；列表編輯部件，用于將所述分辨率轉(zhuǎn)換表與所述列表相關(guān) 聯(lián)，并輸出由此生成的列表；第二記錄控制部件，用于將所述分辨率轉(zhuǎn)換表和由所述列 表編輯部件輸出的所述列表記錄在所述第三存儲部件中；解碼部件，用于對所述編碼運(yùn)動圖像數(shù)據(jù)文件進(jìn)行解碼，并輸出構(gòu)成所述編碼運(yùn)動圖像數(shù)據(jù)文件的圖像幀；分辨率轉(zhuǎn)換部件，用于在基于所述列表來應(yīng)用所述分辨率 轉(zhuǎn)換表的情況下，對由所述解碼部件輸出的圖像幀進(jìn)行分辨率 轉(zhuǎn)換；以及輸出部件，用于輸出進(jìn)行所述分辨率轉(zhuǎn)換后的圖像幀。
8. —種圖像處理設(shè)備，包括獲取部件，用于從攝像設(shè)備獲取編碼運(yùn)動圖像數(shù)據(jù)文件、列表和分辨率轉(zhuǎn)換表，其中，所述攝像設(shè)備包括分辨率降低部件，用于根據(jù)所讀取的參考圖像數(shù)據(jù)文件中 包括的參考圖像幀，生成具有與構(gòu)成所述編碼運(yùn)動圖像數(shù)據(jù)文 件的圖像幀相等的分辨率的低分辨率參考圖像幀；分辨率轉(zhuǎn)換表生成部件，用于根據(jù)所述參考圖像幀和所述低分辨率參考圖像幀，生成用于提高構(gòu)成所述編碼運(yùn)動圖像數(shù) 據(jù)文件的圖像幀的分辨率的分辨率轉(zhuǎn)換表，并輸出所生成的所 述分辨率轉(zhuǎn)換表；以及列表編輯部件，用于將所述分辨率轉(zhuǎn)換表與所述列表相關(guān) 聯(lián)，并輸出由此生成的列表，所述圖像處理設(shè)備被配置為將所獲取的所述編碼運(yùn)動圖像 數(shù)據(jù)文件、所述列表和所述分辨率轉(zhuǎn)換表存儲在第三存儲部件 中，所述圖像處理設(shè)備還包括解碼部件，用于對所述編碼運(yùn)動圖像數(shù)據(jù)文件進(jìn)行解碼，并輸出構(gòu)成所述編碼運(yùn)動圖像數(shù)據(jù)文件的圖像幀；分辨率轉(zhuǎn)換部件，用于在基于所述列表來應(yīng)用所述分辨率轉(zhuǎn)換表的情況下，對由所述解碼部件輸出的圖像幀進(jìn)行分辨率 轉(zhuǎn)換；以及輸出部件，用于輸出進(jìn)行所述分辨率轉(zhuǎn)換后的圖像幀。
9. 一種用于拍攝運(yùn)動圖像的攝像設(shè)備的控制方法，所述控制方法包括以下步驟判斷步驟，用于從構(gòu)成所述運(yùn)動圖像的多個圖像幀中，判斷在所述運(yùn)動圖像的分辨率轉(zhuǎn)換中要用作參考圖像幀的圖像文件生成步驟，用于根據(jù)所述參考圖像幀，生成參考圖像 數(shù)據(jù)文件；編碼步驟，用于降低所述多個圖像幀的分辨率，并根據(jù)分辨率降低后的圖像幀，生成編碼運(yùn)動圖像數(shù)據(jù)文件；信息生成步驟，用于生成指定所述參考圖像幀的信息； 列表生成步驟，用于生成將在所述信息生成步驟中所生成的、指定所述參考圖像幀的信息與指定所述參考圖像數(shù)據(jù)文件的信息相關(guān)聯(lián)的列表；以及第一記錄控制步驟，用于將所述參考圖像數(shù)據(jù)文件、所述編碼運(yùn)動圖像數(shù)據(jù)文件和所述列表存儲在第 一 存儲單元中。
10. 根據(jù)權(quán)利要求9所述的控制方法，其特征在于，所述判 斷步驟包括從所述多個圖像幀中，將被判斷為相對先前圖像幀 發(fā)生場景變化的圖像幀定義為所述參考圖像幀。
11. 根據(jù)權(quán)利要求9所述的控制方法，其特征在于，包括存 儲與所述參考圖像幀有關(guān)的信息，以及其中，如果在所述多個圖像幀中發(fā)現(xiàn)新判斷出的圖像幀， 則在所述判斷步驟中參考與所述參考圖像幀有關(guān)的信息，判斷 是否已經(jīng)使用相似圖像幀作為參考圖像幀，如果在所述判斷步驟中判斷為已經(jīng)使用相似圖像幀作為參 考圖像幀，則在所述列表中將指定根據(jù)所述相似圖像幀生成的 所迷參考圖像數(shù)據(jù)文件的信息與指定新判斷出的圖像幀的信息 相關(guān)聯(lián)。
12. 根據(jù)權(quán)利要求9所述的控制方法，其特征在于，還包括 拍攝模式設(shè)置步驟，用于允許用戶設(shè)置多個拍攝模式之一；以及第二存儲步驟，用于與表示拍攝模式的代表圖像特性的信 息相關(guān)聯(lián)地將所述多個拍攝模式中的每個拍攝模式存儲在第二 存儲單元中，其中，在所述判斷步驟中，參考所述第二存儲單元，從所述多個圖像幀中，將被判斷為具有與由所述用戶設(shè)置的所述拍 攝模式相對應(yīng)的所述代表圖像特性的圖像幀判斷為所述參考圖像幀。
13. 根據(jù)權(quán)利要求9所述的控制方法，其特征在于，還包括 第一讀出步驟，用于從所述第一存儲單元讀出所述參考圖像數(shù)據(jù)文件；分辨率降低步驟，用于根據(jù)所讀取的所述參考圖像數(shù)據(jù)文 件中包括的所述參考圖像幀，生成具有與構(gòu)成所述編碼運(yùn)動圖 像數(shù)據(jù)文件的圖像幀相等的分辨率的低分辨率參考圖像幀；分辨率轉(zhuǎn)換表生成步驟，用于根據(jù)所述參考圖像幀和所述 低分辨率參考圖像幀，生成用于提高構(gòu)成所述編碼運(yùn)動圖像數(shù) 據(jù)文件的圖像幀的分辨率的分辨率轉(zhuǎn)換表；第二讀出步驟，用于從所述第一存儲單元讀出所述列表；以及列表編輯步驟，用于將所述分辨率轉(zhuǎn)換表與所述列表相關(guān)聯(lián)，其中，將所述分辨率轉(zhuǎn)換表和已與所述分辨率轉(zhuǎn)換表相關(guān) 聯(lián)的所述列表存儲在所述第一存儲單元中。
14. 根據(jù)權(quán)利要求13所述的控制方法，其特征在于，在生 成所述分辨率轉(zhuǎn)換表之后，從所述第一存儲單元刪除在生成所 述分辨率轉(zhuǎn)換表時所使用的所述參考圖像數(shù)據(jù)文件。
15. —種用于對由攝像設(shè)備拍攝的圖像進(jìn)行處理的圖像處 理設(shè)備的控制方法，所述攝像設(shè)備包括判斷部件，用于從構(gòu)成運(yùn)動圖像的多個圖像幀中，判斷在 所述運(yùn)動圖像的分辨率轉(zhuǎn)換中要用作參考圖像幀的圖像幀；考圖像幀，生成參考圖像數(shù)據(jù)文件；編碼部件，用于降低所述多個圖像幀的分辨率，并根據(jù)分 辨率降低后的圖像幀，生成編碼運(yùn)動圖像數(shù)據(jù)文件；信息生成部件，用于生成指定所述參考圖像幀的信息；以及列表生成部件，用于生成將由所述信息生成部件生成的、 指定所述參考圖像幀的信息與指定所述參考圖像數(shù)據(jù)文件的信 息 相關(guān)聯(lián)的列表，所述控制方法包括獲取步驟，用于獲取由所述攝像設(shè)備生成的所述參考圖像 數(shù)據(jù)文件、所述編碼運(yùn)動圖像數(shù)據(jù)文件和所述列表，并將所獲 取的所述參考圖像數(shù)據(jù)文件、所述編碼運(yùn)動圖像數(shù)據(jù)文件和所 述列表存儲在存儲單元中；分辨率降低步驟，用于根據(jù)所讀取的所述參考圖像數(shù)據(jù)文 件中包括的所述參考圖像幀，生成具有與構(gòu)成所述編碼運(yùn)動圖 像數(shù)據(jù)文件的圖像幀相等的分辨率的低分辨率參考圖像幀；分辨率轉(zhuǎn)換表生成步驟，用于根據(jù)所述參考圖像幀和所述 低分辨率參考圖像幀，生成用于提高構(gòu)成所述編碼運(yùn)動圖像數(shù) 據(jù)文件的圖像幀的分辨率的分辨率轉(zhuǎn)換表；列表編輯步驟，用于將所述分辨率轉(zhuǎn)換表與所述列表相關(guān) 聯(lián)，并輸出由此生成的列表；記錄控制步驟，用于將所述分辨率轉(zhuǎn)換表和在所述列表編 輯步驟中輸出的所述列表存儲到所述存儲單元；解碼步驟，用于對所述編碼運(yùn)動圖像數(shù)據(jù)文件進(jìn)行解碼， 并輸出構(gòu)成所述編碼運(yùn)動圖像數(shù)據(jù)文件的圖像幀；分辨率轉(zhuǎn)換步驟，用于在基于所述列表來應(yīng)用所述分辨率轉(zhuǎn)換表的情況下，對在所述解碼步驟中輸出的圖像幀進(jìn)行分辨率轉(zhuǎn)換；以及輸出步驟，用于輸出進(jìn)行所述分辨率轉(zhuǎn)換后的圖像帕。
16. —種用于對由攝像設(shè)備拍攝的圖像進(jìn)行處理的圖像處 理設(shè)備的控制方法，所述攝像設(shè)備包括分辨率降低部件，用于根據(jù)所讀取的參考圖像數(shù)據(jù)文件中 包括的參考圖像幀，生成具有與構(gòu)成編碼運(yùn)動圖像數(shù)據(jù)文件的 圖像幀相等的分辨率的低分辨率參考圖像幀；分辨率轉(zhuǎn)換表生成部件，用于根據(jù)所述參考圖像幀和所述低分辨率參考圖像幀，生成用于提高構(gòu)成所述編碼運(yùn)動圖像數(shù) 據(jù)文件的圖像幀的分辨率的分辨率轉(zhuǎn)換表，并輸出所生成的所 述分辨率轉(zhuǎn)換表；以及列表編輯部件，用于將所述分辨率轉(zhuǎn)換表與所述列表相關(guān) 聯(lián)，并l俞出由此生成的列表，所述控制方法包括獲取步驟，用于獲取由所述攝像設(shè)備生成的所述編碼運(yùn)動 圖像數(shù)據(jù)文件、所述列表和所述分辨率轉(zhuǎn)換表，并將所獲取的 所述編碼運(yùn)動圖像數(shù)據(jù)文件、所述列表和所述分辨率轉(zhuǎn)換表存 儲在存儲單元中；解碼步驟，用于對所述編碼運(yùn)動圖像數(shù)據(jù)文件進(jìn)行解碼，并輸出構(gòu)成所述編碼運(yùn)動圖像數(shù)據(jù)文件的圖像幀；分辨率轉(zhuǎn)換步驟，用于在基于所述列表來應(yīng)用所述分辨率轉(zhuǎn)換表的情況下，對在所述解碼步驟中輸出的圖像幀進(jìn)行分辨 率轉(zhuǎn)換；以及輸出步驟，用于輸出進(jìn)行所述分辨率轉(zhuǎn)換后的圖像幀。
全文摘要
本發(fā)明提供一種攝像設(shè)備、圖像處理設(shè)備及其控制方法。攝像設(shè)備使用例如直方圖，從構(gòu)成運(yùn)動圖像的多個圖像幀中，判斷提取作為參考圖像幀的圖像幀，并生成參考圖像數(shù)據(jù)文件。編碼器單元對降低分辨率后的多個圖像幀進(jìn)行編碼，并生成編碼運(yùn)動圖像數(shù)據(jù)文件。利用內(nèi)容信息列表生成單元生成用于將參考圖像幀與用于指定相應(yīng)的參考圖像數(shù)據(jù)文件的信息相關(guān)聯(lián)的列表。然后，記錄參考圖像數(shù)據(jù)文件、編碼運(yùn)動圖像數(shù)據(jù)文件和列表。
文檔編號H04N5/92GK101287089SQ20081009066
公開日2008年10月15日 申請日期2008年4月9日 優(yōu)先權(quán)日2007年4月9日
發(fā)明者松崎英一, 桐原俊, 森川健一, 荒谷俊太郎 申請人:佳能株式會社