專利名稱：圖像處理設備、運動圖像再現(xiàn)設備及其處理方法和程序的制作方法
技術領域：
本發(fā)明涉及圖像處理設備，尤其涉及圖像處理設備、運動圖像再現(xiàn)設備及其中的處理方法以及用于使計算機執(zhí)行該處理方法的程序。

背景技術：
近年來，數(shù)字攝像機正在普及。因此，例如父母使用數(shù)字攝像機對幼兒園的活動進行拍攝現(xiàn)在是常見的場景。如果在這種情況下由例如父母進行視頻拍攝，那么父母往往大多拍攝他們的孩子，同時，為了詳細描述活動，往往會適當拍攝這種活動的場景本身。
由此拍攝的運動圖像可以例如在家中使用運動圖像再現(xiàn)設備來再現(xiàn)。例如，在觀看以孩子為焦點而拍攝的運動圖像的過程中，再現(xiàn)主要包括自己孩子的運動圖像。然而，如果再現(xiàn)時間很長，那么隨著再現(xiàn)時間流逝，持續(xù)觀看具有同一主題的運動圖像會降低觀看者對正在再現(xiàn)的運動圖像的興趣。因此，為了提高觀看興趣，提出了一種方法，其中顯示與當前顯示的圖像相關聯(lián)的其他圖像等。
例如，提出了一種圖像顯示方法，其中根據(jù)運動圖像的進程來滾動顯示視頻索引(靜態(tài)圖像)(例如日本特開Hei 11-289517(圖7))。
根據(jù)上述現(xiàn)有技術，將相對于運動圖像的過去、現(xiàn)在以及將來的靜態(tài)圖像顯示為視頻索引，可以與當前顯示的運動圖像一起觀看過去、現(xiàn)在以及將來的靜態(tài)圖像。因此，例如，在觀看某人孩子的幼兒園組織的活動中拍攝的運動圖像時，如果將某人孩子顯示為當前的運動圖像，那么可以將與當前運動圖像相關聯(lián)的活動場景等顯示為過去或者將來的靜態(tài)圖像。在此情況下，在觀看某人孩子的圖像的同時，可以觀看該活動場景等，可以很容易明白該活動的內(nèi)容，從而增強觀看者的興趣。
然而，在上述現(xiàn)有技術中，在將某人孩子顯示為當前運動圖像的情況下，可能不會將活動場景等顯示為過去或者將來的靜態(tài)圖像，因而顯示與當前運動圖像的內(nèi)容近似相同的內(nèi)容。這種情況下，需要保持觀看者對運動圖像的興趣。
因此，提出了一種方法，其中為了在觀看經(jīng)受圖像拍攝的中心人物等的同時允許適當了解該中心人物周圍的情況，基于圖像拍攝設備的運動信息，對構成該運動圖像的每個圖像進行轉換，并依次地合成轉換后的圖像以供再現(xiàn)。然而，如果圖像拍攝人例如在左右方向快速移動圖像拍攝設備，可能檢測不到合適的運動信息。此外，例如，如果圖像拍攝人停止記錄已拍攝圖像然后重新開始記錄不同的場景，可能在場景變化之前和之后檢測不到正確的運動信息。
這樣，如果不能檢測到構成該運動圖像的每個圖像的正確的運動信息，例如，表示該運動圖像的合成圖像可能不被正確顯示。因此重要的是在運動圖像的再現(xiàn)過程中正確顯示合成圖像，以容易了解該運動圖像的內(nèi)容。
本發(fā)明的一個目的是，在觀看圖像拍攝設備拍攝的運動圖像時，提供對該運動圖像的內(nèi)容的容易了解。


發(fā)明內(nèi)容
在執(zhí)行本發(fā)明時并且根據(jù)其第一實施例，提供一種圖像處理設備，及其處理方法，以及用于使計算機執(zhí)行該處理方法的程序，包括運動圖像存儲裝置，用于存儲圖像拍攝設備拍攝的已拍攝運動圖像；轉換信息存儲裝置，用于為在所述已拍攝運動圖像的時間軸上相對于構成所述已拍攝運動圖像的第一已拍攝圖像位于所述第一已拍攝圖像之后的每個第二已拍攝圖像，存儲用于轉換所述第二已拍攝圖像的轉換信息；圖像保持裝置，用于保持包括在所述時間軸上位于所述第二已拍攝圖像之前的每個已拍攝圖像的日志圖像；特征量提取裝置，用于提取與所述第二已拍攝圖像相關聯(lián)的特征量；圖像轉換裝置，用于基于所述轉換信息對所述第二已拍攝圖像進行轉換；判定裝置，用于基于所述提取的特征量來判定合成所述第二已拍攝圖像與所述日志圖像是否必要；以及圖像合成裝置，如果所述判定裝置判定合成所述第二已拍攝圖像與所述日志圖像是必要的，合成所述轉換后的第二已拍攝圖像與所述圖像保持裝置中保持的所述日志圖像，并將合成后的圖像保持在所述圖像保持裝置中作為新日志圖像，以及如果所述判定裝置判定合成所述第二已拍攝圖像與所述日志圖像是不必要的，在不合成所述第二已拍攝圖像與所述圖像保持裝置中保持的所述日志圖像的情況下，將所述第二已拍攝圖像保持在所述圖像保持裝置中。因此，提供了一種功能，其提取與第二已拍攝圖像相關聯(lián)的特征量，基于轉換信息對所述第二已拍攝圖像進行轉換，基于特征量來判定對所述第二已拍攝圖像與日志圖像的合成，以及，如果判定要執(zhí)行對所述第二已拍攝圖像與日志圖像的合成，將轉換后的第二已拍攝圖像與日志圖像進行合成以提供新日志圖像，以及，如果判定不執(zhí)行對所述第二已拍攝圖像與日志圖像的合成，不將所述第二已拍攝圖像與日志圖像合成，將第二已拍攝圖像保持在圖像保持裝置中。
此外，在第一實施例中，如果所述判定裝置判定不執(zhí)行對所述第二已拍攝圖像與所述日志圖像的合成，所述圖像合成裝置可以擦除所述圖像保持裝置中保持的所述日志圖像，并將所述第二已拍攝圖像保持在所述圖像保持裝置中作為新日志圖像。因此，如果判定不合成所述第二已拍攝圖像和日志圖像，擦除日志圖像并將所述第二已拍攝圖像保持在圖像保持裝置中作為新日志圖像。
此外，在第一實施例中，如果所述判定裝置判定不執(zhí)行對所述第二已拍攝圖像與所述日志圖像的合成，所述圖像合成裝置可以將所述第二已拍攝圖像安排在與所述日志圖像在所述圖像保持裝置中的安排位置不同的位置，并將所述第二已拍攝圖像保持在所述圖像保持裝置中作為新日志圖像。因此，提供如下功能如果判定不合成所述第二已拍攝圖像和日志圖像，將所述第二已拍攝圖像安排在與日志圖像的安排位置不同的位置，以提供新日志圖像。
此外，在第一實施例中，所述特征量提取裝置可以通過對構成所述已拍攝圖像的每個圖像的特定變化進行檢測來提取特征量，以及所述判定裝置可以通過將所述提取的特征量與預定閾值比較來判定所述第二已拍攝圖像是否對應于場景變化點，如果發(fā)現(xiàn)所述第二已拍攝圖像對應于所述場景變化點，判定不將所述第二已拍攝圖像與所述日志圖像合成在一起。因此，提供如下功能通過對構成運動圖像的每個圖像的特定變化進行檢測來提取特征量，以及通過將所述提取的特征量與預定閾值比較來判定所述第二已拍攝圖像是否對應于場景變化點，如果發(fā)現(xiàn)所述第二已拍攝圖像對應于所述場景變化點，判定不將所述第二已拍攝圖像與所述日志圖像合成在一起。
此外，在第一實施例中，所述轉換信息可以包括與拉近/拉遠、平移以及轉動相關聯(lián)的要素，所述特征量提取裝置可以基于與所述第二已拍攝圖像相關聯(lián)的所述轉換信息來提取平移分量、轉動分量以及拉近/拉遠分量；以及所述判定裝置可以通過將所述提取的所述平移分量、所述轉動分量以及所述拉近/拉遠分量的至少一個與預定閾值比較，來判定所述合成是否必要。因此，提供如下功能基于與所述第二已拍攝圖像相關聯(lián)的所述轉換信息來提取平移分量、轉動分量以及拉近/拉遠分量，以及將這些提取的平移分量、轉動分量以及拉近/拉遠分量中的至少一個與預定閾值比較，來判定所述合成是否必要。
此外，在第一實施例中，所述特征量提取裝置可以基于與從所述時間軸上位于所述第二已拍攝圖像之前預定數(shù)量的已拍攝圖像直至所述第二已拍攝圖像的每一個已拍攝圖像相關聯(lián)的轉換信息，來提取平移分量、轉動分量以及拉近/拉遠分量，以及計算所述提取的平移分量、所述轉動分量以及所述拉近/拉遠分量中的每一個的平均值，以及所述判定裝置可以通過將平移分量、轉動分量以及拉近/拉遠分量的所述計算平均值中的至少一個與預定閾值比較，來判定所述合成是否必要。因此，提供如下功能基于與從所述時間軸上位于所述第二已拍攝圖像之前預定數(shù)量的已拍攝圖像直至所述第二已拍攝圖像的每一個已拍攝圖像相關聯(lián)的轉換信息，來提取平移分量、轉動分量以及拉近/拉遠分量，以及計算這些提取的平移分量、轉動分量以及拉近/拉遠分量的平均值，以及將這些提取的平移分量、轉動分量以及拉近/拉遠分量的所述計算平均值中的至少一個與預定閾值比較，來判定所述合成是否必要。
此外，在第一實施例中，所述特征量提取裝置可以基于與從所述時間軸上位于所述第二已拍攝圖像之前預定數(shù)量的已拍攝圖像直至所述第二已拍攝圖像的每一個已拍攝圖像相關聯(lián)的轉換信息，來提取平移分量、轉動分量以及拉近/拉遠分量，以及計算所述提取的平移分量、所述轉動分量以及所述拉近/拉遠分量中的每一個的積分值，以及所述判定裝置可以通過將平移分量、轉動分量以及拉近/拉遠分量的所述計算積分值中的至少一個與預定閾值比較，來判定所述合成是否必要。因此，提供如下功能基于與從所述時間軸上位于所述第二已拍攝圖像之前預定數(shù)量的已拍攝圖像直至所述第二已拍攝圖像的每一個已拍攝圖像相關聯(lián)的轉換信息，來提取平移分量、轉動分量以及拉近/拉遠分量，分別計算這些提取的平移分量、轉動分量以及拉近/拉遠分量的積分值，以及將平移分量、轉動分量以及拉近/拉遠分量的所述計算積分值中的至少一個與預定閾值比較，來判定所述合成是否必要。
在執(zhí)行本發(fā)明時并且根據(jù)其第二實施例，提供了一種圖像處理設備，及其處理方法以及用于使計算機執(zhí)行該方法的程序，包括運動圖像存儲裝置，用于存儲圖像拍攝設備拍攝的已拍攝運動圖像；轉換信息存儲裝置，用于為在所述已拍攝運動圖像的時間軸上相對于構成所述已拍攝運動圖像的第一已拍攝圖像位于所述第一已拍攝圖像之后的每個第二已拍攝圖像，存儲用于轉換所述第二已拍攝圖像的轉換信息；圖像保持裝置，用于保持包括在所述時間軸上位于所述第二已拍攝圖像之前的每個已拍攝圖像的日志圖像；判定裝置，用于基于從所述日志圖像被保持在所述圖像保持裝置中起經(jīng)過的時間來判定合成所述第二已拍攝圖像與所述日志圖像是否必要；圖像轉換裝置，用于基于所述轉換信息轉換所述第二已拍攝圖像；以及圖像合成裝置，如果所述判定裝置判定所述第二已拍攝圖像與所述日志圖像的合成是必要的，合成所述轉換后的第二已拍攝圖像與所述圖像保持裝置中保持的所述日志圖像，并將合成后的圖像保持在所述圖像保持裝置中作為新日志圖像，以及如果所述判定裝置判定所述第二已拍攝圖像與所述日志圖像的合成是不必要的，在不合成所述第二已拍攝圖像與所述圖像保持裝置中保持的所述日志圖像的情況下，將所述第二已拍攝圖像保持在所述圖像保持裝置中。因此，提供如下功能基于從所述日志圖像被保持在所述圖像保持裝置中起經(jīng)過的時間來判定合成所述第二已拍攝圖像與所述日志圖像是否必要，基于所述轉換信息轉換所述第二已拍攝圖像，如果判定所述第二已拍攝圖像與所述日志圖像的合成是必要的，合成所述轉換后的第二已拍攝圖像與所述日志圖像，以提供新日志圖像，以及如果判定所述第二已拍攝圖像與所述日志圖像的合成是不必要的，在不合成所述第二已拍攝圖像與所述日志圖像的情況下將所述第二已拍攝圖像保持在所述圖像保持裝置中。
在執(zhí)行本發(fā)明時并且根據(jù)其第三實施例，提供了一種圖像處理設備，及其處理方法以及用于使得計算機執(zhí)行該處理方法的程序，包括運動圖像存儲裝置，用于存儲圖像拍攝設備拍攝的已拍攝運動圖像；轉換信息存儲裝置，用于為在所述已拍攝運動圖像的時間軸上相對于構成所述已拍攝運動圖像的第一已拍攝圖像位于所述第一已拍攝圖像之后的每個第二已拍攝圖像，存儲用于轉換所述第二已拍攝圖像的轉換信息；圖像保持裝置，用于保持包括在所述時間軸上位于所述第二已拍攝圖像之前的每個已拍攝圖像的日志圖像；特征量提取裝置，用于提取與所述第二已拍攝圖像相關聯(lián)的特征量；轉換信息校正裝置，用于基于所述提取的特征量來校正所述轉換信息；圖像轉換裝置，用于基于所述校正后的所述轉換信息對所述第二已拍攝圖像進行轉換；以及圖像合成裝置，用于合成所述轉換后的第二已拍攝圖像與所述圖像保持裝置中保持的所述日志圖像，并將合成后的圖像保持在所述圖像保持裝置中作為新日志圖像。因此，提供如下功能提取與所述第二已拍攝圖像相關聯(lián)的特征量，基于所述提取的特征量來校正所述轉換信息，基于所述校正后的轉換信息對所述第二已拍攝圖像進行轉換，以及合成所述轉換后的第二已拍攝圖像與所述日志圖像，以保持在所述圖像保持裝置中作為新日志圖像。
此外，在第三實施例中，所述轉換信息校正裝置可以通過將所述提取的特征量與預定閾值比較來判定對所述轉換信息的校正是否必要，以及如果發(fā)現(xiàn)有必要對所述轉換信息進行校正，可以校正所述轉換信息，以及如果所述轉換信息已經(jīng)被校正，所述圖像轉換裝置可以基于所述校正后的轉換信息對所述第二已拍攝圖像進行轉換，以及如果所述轉換信息未被校正，可以基于所述轉換信息對所述第二已拍攝圖像進行轉換。因此，提供如下功能通過將所述提取的特征量與預定閾值比較來判定對所述轉換信息的校正是否必要，以及如果發(fā)現(xiàn)有必要對所述轉換信息進行校正，可以校正所述轉換信息，以及如果所述轉換信息已經(jīng)被校正，所述圖像轉換裝置基于所述校正后的轉換信息對所述第二已拍攝圖像進行轉換，以及如果所述轉換信息未被校正，基于所述轉換信息對所述第二已拍攝圖像進行轉換。
此外，在第三實施例中，如果發(fā)現(xiàn)有必要校正所述轉換信息，所述轉換信息校正裝置可以將所述轉換信息校正為預定轉換信息。因此，提供如下功能如果確定有必要校正所述轉換信息，將所述轉換信息校正為預定轉換信息。
此外，在第三實施例中，如果發(fā)現(xiàn)有必要校正所述轉換信息，所述轉換信息校正裝置可以基于與在所述時間軸上位于所述第二已拍攝圖像之前的已拍攝圖像相關聯(lián)的轉換信息和與位于所述第二已拍攝圖像之后的已拍攝圖像相關聯(lián)的轉換信息，對所述轉換信息進行校正。因此，可以提供如下功能如果確定有必要校正所述轉換信息，基于與在所述時間軸上位于所述第二已拍攝圖像之前的已拍攝圖像相關聯(lián)的轉換信息和與位于所述第二已拍攝圖像之后的已拍攝圖像相關聯(lián)的轉換信息，對所述轉換信息進行校正。
在執(zhí)行本發(fā)明時并且根據(jù)其第四實施例，提供了一種圖像處理設備，及其處理方法以及用于使計算機執(zhí)行該處理方法的程序，包括特征量提取裝置，用于提取與構成圖像拍攝設備所拍攝的已拍攝運動圖像的已拍攝圖像相關聯(lián)的特征量；判定裝置，用于基于所述提取的特征量來判定是否必要對合成圖像進行分割；以及圖像合成裝置，如果所述判定裝置發(fā)現(xiàn)不執(zhí)行對合成圖像的分割，基于在圖像拍攝時所述圖像拍攝設備的運動信息合成所述已拍攝圖像與已經(jīng)形成的合成圖像，以及如果所述判定裝置發(fā)現(xiàn)要執(zhí)行對合成圖像的分割，基于所述運動信息來創(chuàng)建與已經(jīng)形成的合成圖像不同的新合成圖像。因此，提供如下功能提取與構成圖像拍攝設備所拍攝的已拍攝運動圖像的已拍攝圖像相關聯(lián)的特征量，基于所述提取的特征量來判定是否必要對合成圖像進行分割，以及，如果判定不執(zhí)行對合成圖像的分割，基于運動信息合成所述已拍攝圖像與已經(jīng)形成的合成圖像，以及如果判定要執(zhí)行對合成圖像的分割，基于所述運動信息來創(chuàng)建與已經(jīng)形成的合成圖像不同的新合成圖像。
在執(zhí)行本發(fā)明時并且根據(jù)其第五實施例，提供了一種運動圖像再現(xiàn)設備，及其處理方法以及用于使計算機執(zhí)行該處理方法的程序，包括運動圖像存儲裝置，用于存儲所述圖像拍攝設備拍攝的已拍攝運動圖像；轉換信息存儲裝置，用于為所述已拍攝運動圖像的時間軸上相對于構成所述已拍攝運動圖像的第一已拍攝圖像位于所述第一已拍攝圖像之后的每個第二已拍攝圖像，存儲用于轉換所述第二已拍攝圖像的轉換信息；圖像保持裝置，用于保持包括在所述時間軸上位于所述第二已拍攝圖像之前的每一個已拍攝圖像的日志圖像；特征量提取裝置，用于提取與所述第二已拍攝圖像相關聯(lián)的特征量；圖像轉換裝置，用于基于所述轉換信息轉換所述第二已拍攝圖像；判定裝置，用于基于所述提取的特征量來判定合成所述第二已拍攝圖像與所述日志圖像是否必要；以及圖像合成裝置，如果所述判定裝置判定所述第二已拍攝圖像與所述日志圖像的合成有必要，合成所述轉換后的第二已拍攝圖像與所述圖像保持裝置中保持的所述日志圖像，并將合成后的圖像保持在所述圖像保持裝置中作為新日志圖像，以及如果所述判定裝置判定所述第二已拍攝圖像與所述日志圖像的合成不必要，在不合成所述第二已拍攝圖像與所述圖像保持裝置中保持的所述日志圖像的情況下，將所述第二已拍攝圖像保持在所述圖像保持裝置中；以及顯示控制裝置，用于將所述圖像保持裝置中保持的新日志圖像或所述第二已拍攝圖像依次地顯示在顯示裝置。因此，提供如下功能提取與所述第二已拍攝圖像相關聯(lián)的特征量，基于所述轉換信息轉換所述第二已拍攝圖像，基于所述特征量來判定合成所述第二已拍攝圖像與所述日志圖像是否必要，以及，如果判定所述第二已拍攝圖像與所述日志圖像的合成有必要，合成所述第二已拍攝圖像與所述日志圖像以提供新日志圖像，以及，如果判定所述第二已拍攝圖像與所述日志圖像的合成不必要，在不合成所述第二已拍攝圖像與所述日志圖像的情況下，將所述第二已拍攝圖像保持在所述圖像保持裝置中，并且依次地顯示所述圖像保持裝置中保持的新日志圖像或所述第二已拍攝圖像。
根據(jù)本發(fā)明，提供了極好的效果，即在觀看圖像拍攝設備拍攝的運動圖像時，可以容易地理解運動圖像的內(nèi)容。



圖1是例示了實施為本發(fā)明的一個實施例的圖像處理設備100的示例性功能結構的框圖。
圖2是例示了本發(fā)明實施例的攝像機工作檢測塊120的示例性功能結構的框圖。
圖3是例示了本發(fā)明實施例中的特征量提取塊150的示例性功能結構的框圖。
圖4示意性示出以時間順序排列與構成運動圖像的多個幀相對應的多個圖像的示例。
圖5是示意性示出記錄到運動圖像存儲塊200和元數(shù)據(jù)存儲塊210的各個文件的圖。
圖6例示了與構成運動圖像的幀相對應的圖像的示例圖。
圖7例示了與構成運動圖像的幀相對應的帶有簡化背景等的圖像。
圖8示出通過使用預定仿射變換參數(shù)對矩形340轉換的情況。
圖9是在本發(fā)明實施例表示圖像處理設備100的仿射變換參數(shù)檢測處理的處理過程流程圖。
圖10示出例示了攝像機拍攝的運動圖像的轉變的示例圖。
圖11例示與圖10所示的每個圖像的緊接的前一幀相對應的圖像，并且示出虛線表示的光流(optical flow)的示例。
圖12例示了包括圖10所示的圖像401到403的運動圖像合成的示例性圖像合成。
圖13例示了攝像機拍攝的運動圖像的轉變的示例。
圖14以虛線例示與圖13所示的每個圖像的緊接的前一幀相對應的圖像，并且示出待檢測光流的例子。
圖15例示了在包括圖13所示圖像421到423的運動圖像合成的示例性合成。
圖16例示了攝像機拍攝的運動圖像的轉變的示例。
圖17以虛線例示了與圖16所示的每個圖像的緊接的前一幀相對應的圖像，并且示出待檢測的示例性光流。
圖18例示了在包括圖16所示的圖像441到443的圖像合成的示例性合成。
圖19示意性示出本發(fā)明實施例的運動圖像存儲塊200存儲的運動圖像文件的每個幀與顯示區(qū)域之間的關系。
圖20示意性示出本發(fā)明實施例的運動圖像存儲塊200存儲的運動圖像文件的幀的流。
圖21示出在再現(xiàn)攝像機拍攝的運動圖像以及對圖像480的當前圖像482之前的圖像484仿射變換的情況下的顯示例子(圖像480)。
圖22示出以放大方式顯示圖21所示的框483所包圍的圖像區(qū)域的情況下的圖像485，以及在將仿射變換后的當前圖像存儲在圖像存儲器220的狀態(tài)下被存儲在顯示存儲器240的圖像487。
圖23示出攝像機拍攝的運動圖像的轉變示例。
圖24示出攝像機拍攝的運動圖像的轉變示例。
圖25示出攝像機拍攝的運動圖像的轉變示例。
圖26示出攝像機拍攝的運動圖像的轉變示例。
圖27示意性示出已經(jīng)將構成運動圖像文件500的圖像501到517合成的情況。
圖28示意性示出構成運動圖像的每個幀與對每個幀計算出的場景變化分數(shù)之間的關系。
圖29示意性示出已經(jīng)將構成運動圖像530的圖像551到567合成的情況。
圖30示意性示出已經(jīng)將構成運動圖像530的圖像551到567合成的情況。
圖31示出攝像機拍攝的運動圖像所構成的合成圖像的示例。
圖32示出攝像機拍攝的運動圖像所構成的合成圖像的示例。
圖33是本發(fā)明實施例中表示圖像處理設備100的運動圖像再現(xiàn)處理的處理過程流程圖。
圖34是表示本發(fā)明實施例中的圖像處理設備100的運動圖像再現(xiàn)處理的處理過程的轉換信息校正處理過程的流程圖。
圖35是表示本發(fā)明實施例中的圖像處理設備100的運動圖像再現(xiàn)處理的處理過程的合成圖像分割判定處理過程的流程圖。
圖36是例示了本發(fā)明實施例的多核處理器800的示例結構的圖。
圖37是例示了本發(fā)明實施例的控制處理器核801的示例結構的圖。
圖38是例示了本發(fā)明實施例的算術處理器核(#1)811的示例結構的圖。
圖39是示意性例示了本發(fā)明實施例的多核處理器800的運算方法的圖。
圖40示意性例示了在本發(fā)明實施例的多核處理器800執(zhí)行算術運算的情況下的程序和數(shù)據(jù)流的圖。
圖41是示意性例示了由不同指令處理兩個或更多個數(shù)據(jù)的算術運算方法的概要和由一條指令處理兩個或更多個數(shù)據(jù)的SIMD運算的概要的圖。
圖42例示本發(fā)明實施例的算術處理器核(#1)811執(zhí)行的程序的示例結構。
圖43例示在通過Sobel濾波器830對本發(fā)明實施例的主存儲器781存儲的圖像數(shù)據(jù)進行濾波的情況下的數(shù)據(jù)結構和處理流程的概要。
圖44例示在本發(fā)明實施例中通過使用Sobel濾波器830對主存儲器781存儲的圖像數(shù)據(jù)執(zhí)行SIMD運算的情況下的數(shù)據(jù)流的概要。
圖45例示了在本發(fā)明實施例使用Sobel濾波器830的濾波處理中從第一緩沖區(qū)831存儲的圖像數(shù)據(jù)創(chuàng)建9個向量的向量創(chuàng)建方法的概要。
圖46例示了在本發(fā)明實施例使用Sobel濾波器830執(zhí)行濾波處理的情況下使用SIMD指令對向量數(shù)據(jù)841到849執(zhí)行向量計算的向量計算方法的概要。
圖47例示本發(fā)明實施例的按時間順序的攝像機工作參數(shù)計算處理流的概要。
圖48示意性例示了作為記錄介質(zhì)例子的藍光盤880的內(nèi)部結構、記錄在藍光盤880上的數(shù)據(jù)881到884、以及能夠再現(xiàn)藍光盤880的藍光再現(xiàn)機890。

具體實施例方式 以下參照附圖對本發(fā)明實施例進行詳細描述。
圖1是例示本發(fā)明實施例的圖像處理設備100的示例性功能結構的框圖。圖像處理設備100具有運動圖像輸入塊110、攝像機工作檢測塊120、記錄控制塊130、文件捕獲塊140、特征量提取塊150、轉換信息校正塊160、合成圖像分割判定塊170、圖像轉換塊180、圖像合成塊190、運動圖像存儲塊200、元數(shù)據(jù)存儲塊210、圖像存儲器220、顯示區(qū)域取出塊230、顯示存儲器240、顯示控制塊250、顯示塊260以及操作接受塊270。圖像處理設備100可以通過個人計算機實現(xiàn)，個人計算機被配置成通過對諸如數(shù)字攝像機的圖像拍攝設備拍攝的運動圖像進行視頻分析來提取特征量，并且通過利用所提取的特征量來執(zhí)行各種圖像處理。
運動圖像輸入塊110是這樣的運動圖像輸入塊，即，通過它輸入諸如數(shù)字攝像機等(以下簡稱為“攝像機”)的圖像拍攝設備所拍攝的運動圖像，然后將輸入的運動圖像輸出到攝像機工作檢測塊120。
攝像機工作檢測塊120對從運動圖像輸入塊110輸出的運動圖像進行分析，以檢測圖像拍攝時攝像機的運動信息(攝像機工作)，從而向記錄控制塊130輸出基于攝像機運動信息計算出的仿射變換參數(shù)(攝像機工作參數(shù))。即，攝像機工作檢測塊120從構成運動圖像的每個圖像提取特征點，提取該特征點的光流(運動向量)，然后對所提取的特征點的光流進行分析以選擇代表主導性運動的特征點，從而基于代表主導性運動的特征點的光流來估計攝像機工作。這里，主導性運動表示，對兩個或更多個特征點，各個光流之中的相對多的光流所表明的規(guī)則運動。應當指出將參照圖2詳細描述攝像機工作檢測塊120。
記錄控制塊130將從運動圖像輸入塊110輸出到運動圖像存儲塊200的運動圖像記錄為運動圖像文件，然后通過將從攝像機工作檢測塊120輸出到元數(shù)據(jù)存儲塊210的仿射變換參數(shù)與對應的運動圖像和對應的幀相關聯(lián)，將仿射變換參數(shù)存儲為元數(shù)據(jù)文件。
運動圖像存儲塊200在記錄控制塊130的控制下，將從運動圖像輸入塊110輸出的運動圖像存儲到運動圖像文件。此外，運動圖像存儲塊200響應來自文件捕獲塊140的請求而向文件捕獲塊140提供運動圖像文件。應當指出，將參照圖5詳細描述待存儲在運動圖像存儲塊200的運動圖像文件。
元數(shù)據(jù)存儲塊210在記錄控制塊130的控制下將從攝像機工作檢測塊120輸出的仿射變換參數(shù)存儲為元數(shù)據(jù)文件。此外，響應于來自文件捕獲塊140的請求，元數(shù)據(jù)存儲塊210向文件捕獲塊140提供元數(shù)據(jù)文件。應當指出，將參照圖5詳細描述待存儲在元數(shù)據(jù)存儲塊210的元數(shù)據(jù)文件。
文件捕獲塊響應于操作接受塊接受的操作輸入，獲得運動圖像存儲塊200和元數(shù)據(jù)存儲塊210中存儲的至少一個文件，并將各個獲得文件的信息提供給各個塊。更具體地，如果操作接受塊270接受了對運動圖像合成和再現(xiàn)的指定操作，文件捕獲塊140獲取運動圖像存儲塊200存儲的指定運動圖像以及元數(shù)據(jù)存儲塊210存儲的與該運動圖像文件相關聯(lián)的元數(shù)據(jù)文件，將所獲得的運動圖像文件的運動圖像和元數(shù)據(jù)文件的仿射變換參數(shù)輸出到特征量提取塊150和圖像轉換塊180，并且將仿射變換參數(shù)輸出到轉換信息校正塊160。特征量提取塊150基于構成從文件捕獲塊140輸出的運動圖像的每個圖像以及與各圖像相關聯(lián)的仿射變換參數(shù)，提取特征量，然后將提取的特征量輸出到轉換信息校正塊160和合成圖像分割判定塊170。在本發(fā)明實施例中，作為例子，從以下方面來描述特征量提取塊150提取的特征量構成運動圖像的每個圖像中的場景變化分數(shù)、從仿射變換參數(shù)提取的攝像機工作的分量(X方向和Y方向的縮放分量、平移分量以及旋轉分量)、與這些分量的預定數(shù)量個幀相關聯(lián)的平均值、以及這些分量從起始幀到當前幀的積分值。這里，場景變化分數(shù)是基于構成運動圖像的每個圖像的顏色直方圖而計算的值，并且是檢測場景變化點時使用的值。場景變化點是表示在運動圖像中的圖像拍攝場景瞬間變化的情況下的邊界點的位置，緊接在該邊界點之后的圖像是對應于該場景變化點的圖像。應當指出將參照圖3詳細描述特征量提取塊150。此外，將參照圖6和圖7詳細描述攝像機工作的各個分量。此外，將參照圖4詳細描述場景變化點。
轉換信息校正塊160基于從特征量提取塊150輸出的特征量對從文件捕獲塊140輸出的仿射變換參數(shù)進行校正，然后將校正后的仿射變換參數(shù)輸出到圖像轉換塊180。更具體地，轉換信息校正塊160將從特征量提取塊150輸出的特征量與閾值比較，以確定是否要校正從文件捕獲塊140輸出的仿射變換參數(shù)，如果發(fā)現(xiàn)要校正仿射變換參數(shù)，則校正該仿射變換參數(shù)，將校正后的仿射變換參數(shù)輸出到圖像轉換塊180。另一方面，如果發(fā)現(xiàn)不必校正仿射變換參數(shù)，則轉換信息校正塊160不校正仿射變換參數(shù)，不向圖像轉換塊180輸出。這里，在本發(fā)明實施例中，將通過以下示例描述使用仿射變換參數(shù)矩陣(作為單位矩陣)進行校正；和使用與位于當前幀之前和之后的幀相關聯(lián)的仿射變換參數(shù)來計算線性插值矩陣，以將仿射變換參數(shù)矩陣替換為計算出的線性插值矩陣，來進行校正。應當指出將參照圖27詳細描述仿射變換參數(shù)的校正。
基于從特征量提取塊150輸出的特征量，合成圖像分割判定塊170確定是否從當前形成的合成圖像分割出與當前幀相對應的圖像以供再現(xiàn)，如果要分割出與當前幀相對應的圖像以供再現(xiàn)，向圖像轉換塊180和圖像合成塊190輸出要分割出與當前幀相對應的圖像以供再現(xiàn)的信息，并且向特征量提取塊150輸出擦除直至緊接的前一幀的計算出的攝像機工作分量的指示。此外，當開始圖像合成再現(xiàn)時，合成圖像分割判定塊170測量從開始幀到當前幀的再現(xiàn)時間，以確定是否要從當前形成的合成圖像分割出與當前幀相對應的圖像以供再現(xiàn)。此外，如果已分割與當前幀相對應的圖像，合成圖像分割判定塊170類似地測量從開始幀到分割時的當前幀的再現(xiàn)時間，然后基于再現(xiàn)時間，確定是否從當前形成的合成圖像分割并再現(xiàn)與當前幀相對應的圖像。需要指出將參照圖28到圖30詳細描述圖像分割。
對于每個幀，圖像轉換塊180對構成從文件捕獲塊140輸出的運動圖像文件的運動圖像的圖像進行仿射變換，其中使用與該圖像相對應的仿射變換參數(shù)，然后將仿射變換后的圖像輸出到圖像合成塊190。此外，如果已經(jīng)從轉換信息校正塊160輸出了校正后的仿射變換參數(shù)，圖像轉換塊180通過使用校正后的仿射變換參數(shù)，對每個幀執(zhí)行仿射變換。此外，如果已經(jīng)從合成圖像分割判定塊170輸出了表示要對與當前幀相對應的圖像進行分割以供再現(xiàn)的信息，圖像轉換塊180使用單位矩陣對與當前幀相對應的圖像進行仿射變換，將仿射變換后的圖像輸出到圖像合成塊190。應當指出將參照圖10到圖20詳細描述圖像轉換。
圖像合成塊190用圖像轉換塊180仿射變換后的圖像改寫在圖像存儲器220保持的直至緊接的前一幀的幀的合成圖像，并將合成的新合成圖像存儲在圖像存儲器220。此外，如果已經(jīng)從170輸出了表示要分割與當前幀相對應的圖像以供再現(xiàn)的信息，圖像合成塊190擦除圖像存儲器220保持的與直至緊接的前一幀的幀相對應的合成圖像，并將與當前幀相對應的圖像保持在圖像存儲器220中。然后，對于當前幀之后的幀，用圖像轉換塊180仿射變換后的圖像改寫在圖像存儲器220保持的合成圖像，以合成圖像。應當指出，如果響應于操作接受塊270接受的操作輸入，從合成圖像分割判定塊170輸出了表示要分割與當前幀相對應的圖像以供再現(xiàn)的信息，圖像合成塊190能夠將與當前幀相對應的圖像保持在圖像存儲器220中的與保持合成圖像的位置不同的位置，其中圖像存儲器220保持的與直至當前幀的幀相對應的合成圖像被保留。將參照圖28到圖30對要分割與當前幀相對應的圖像以供再現(xiàn)的情況下的這種圖像合成進行詳細描述。
此外，基于從顯示區(qū)域取出塊230輸出的顯示區(qū)域中的當前圖像的位置，圖像合成塊190用圖像轉換塊180仿射變換后的當前圖像改寫顯示存儲器240保持的合成圖像，以進行合成。這里，根據(jù)顯示放大倍數(shù)的值來確定顯示存儲器中合成的當前圖像的大小。應當指出，將參照圖20等對顯示存儲器中的當前圖像的合成進行詳細描述。這里，圖像合成塊190對圖像轉換塊180仿射變換后的圖像進行壓縮，并用壓縮圖像改寫在圖像存儲器220中保持的合成圖像，從而使得要改寫在顯示存儲器中保持的合成圖像的當前圖像成為具有比非壓縮圖像或壓縮日志圖像的分辨率高的分辨率的拍攝圖像。因此，可以使輸出合成圖像時的日志圖像成為壓縮圖像，并且可以使當前圖像成為具有比非壓縮圖像或壓縮日志圖像的分辨率高的分辨率的拍攝圖像。
圖像存儲器220是保持圖像合成塊190創(chuàng)建的合成圖像的工作緩沖區(qū)，并將保持的合成圖像提供給圖像合成塊190或顯示區(qū)域取出塊230。即，圖像存儲器220是保持日志圖像的圖像存儲器。
顯示區(qū)域取出塊230用于從圖像存儲器220保持的合成圖像取出位于經(jīng)受顯示的顯示區(qū)域的范圍內(nèi)的圖像，并將取出的圖像保持在顯示存儲器。應當指出將參照圖19、圖20等詳細描述從顯示區(qū)域的范圍取出圖像，并且將參照圖20等詳細描述當前圖像在顯示區(qū)域中的位置的計算。
顯示存儲器240是保持顯示區(qū)域取出塊230從圖像存儲器220取出的圖像的顯示緩沖區(qū)，所保持的圖像被顯示在顯示塊260。
對于每個幀，顯示控制塊250依次地顯示保持在顯示存儲器中的合成圖像。
在顯示控制塊250的控制下，顯示塊260顯示圖像存儲器240存儲的圖像。例如，顯示塊260可以實現(xiàn)為個人計算機顯示器或電視顯示器。應當指出將參照圖23、圖26等描述合成圖像的顯示例子。
操作接受塊270具有各種輸入鍵組成的鍵盤以及鼠標(點擊裝置)，并且在接受來自這些鼠標等的操作輸入時，將接受的操作輸入的內(nèi)容輸出到文件捕獲塊140、圖像合成塊190或顯示區(qū)域取出塊230。還可以將操作接受塊270和顯示塊260的至少一部分配置在一個單元中作為觸摸板。
參照圖2，示出本發(fā)明實施例的攝像機工作檢測塊120的示例功能結構。攝像機工作檢測塊120具有特征點提取單元121、光流計算單元122以及攝像機工作參數(shù)計算單元123。
特征點提取單元121提取與構成從運動圖像輸入塊110輸出的運動圖像的幀相對應的特征點，并將提取的特征點輸出給光流計算單元122。這里，特征點提取單元121對于構成從運動圖像輸入塊110輸出的運動圖像的各個幀的起始幀，從整個圖像提取特征點，以及對于除起始幀以外的其他幀，從與對應于緊接的前一幀的圖像相比的新拍攝的區(qū)域部分中提取特征點。應當指出，對于特征點，可以選擇垂直或水平邊沿梯度尖銳的點(通常稱為“角點”，以下稱為“角點”)。角點是難以光流計算的特征點，并且可以通過利用邊沿檢測來獲得。應當指出將參照圖6到圖7詳細描述對角點的提取。此外，在本例子中，特征點提取單元121對于起始幀從整個圖像提取特征點，對于除起始幀以外的其他幀，從與對應于緊接的前一幀的圖像相比的新拍攝的區(qū)域部分中提取特征點；不過，對于除起始幀以外的幀，根據(jù)處理性能和其他因素來從整個圖像提取特征點也是可行的。
光流計算單元122計算從特征點提取單元121輸出的各特征點的光流，然后將計算獲得的光流輸出到攝像機工作參數(shù)計算單元123。更具體地，通過比較與構成從運動圖像輸入塊110輸出的運動圖像的連續(xù)兩個幀(當前幀和緊接的前一幀)相對應的圖像，獲得對應于緊接的前一幀的圖像中的各特征點所對應的光流作為當前幀的光流。此外，對于構成運動圖像的每個幀，獲得光流。應當指出，對于檢測光流的檢測方法，可以使用諸如梯度方法或塊匹配方法的檢測方法。應當指出將參照圖6到圖7詳細描述光流計算。
攝像機工作參數(shù)計算單元123利用與從光流計算單元122輸出的各特征點相對應的光流，執(zhí)行攝像機工作參數(shù)計算處理以提取攝像機工作參數(shù)。將計算出的攝像機工作參數(shù)輸出到記錄控制塊130。這里，在本發(fā)明實施例中，根據(jù)攝像機工作，分別對構成被再現(xiàn)的運動圖像的每個圖像進行轉換和合成。對于圖像轉換，利用光流計算單元122計算的光流來提取攝像機工作，然后基于提取的工作來計算攝像機工作參數(shù)(轉換參數(shù))。應當指出，在本發(fā)明實施例中，使用如下例子仿射變換被用于轉換構成被再現(xiàn)的運動圖像的圖像的方法。此外，將將描述如下例子對于攝像機工作參數(shù)，使用與基于光流計算出的仿射變換參數(shù)的矩陣的逆矩陣相對應的仿射變換參數(shù)。即，在本發(fā)明實施例中，如果不是表示連續(xù)多個圖像之間的特征點運動的仿射矩陣、而是將連續(xù)多個圖像中的一個圖像作為基準圖像，用作轉換信息的仿射變換參數(shù)被限定為與表示該基準圖像的下一圖像要移動到何處的仿射矩陣相對應的仿射變換參數(shù)。此外，以下描述了將仿射變換參數(shù)用作攝像機工作參數(shù)的示例；然而，使用諸如射影變換(projectivetransformation)的另一圖像轉換方法也是可行的。應當指出也可以使用諸如射影變換的另一圖像轉換方法。還應當指出可以通過使用三個向量來獲得仿射變換參數(shù)。還應當指出可以通過使用四個向量來獲得投射(project)變換參數(shù)。這里，攝像機工作參數(shù)是相對于構成拍攝圖像的多個拍攝圖像中的至少一個拍攝圖像來對其他拍攝圖像進行轉換的轉換信息，并且包括至少在攝像機坐標系中描述的位置信息和姿態(tài)信息。即，攝像機工作參數(shù)包括與圖像拍攝人拍攝圖像的情況下的位置和姿態(tài)相關聯(lián)的信息。此外，基于攝像機工作參數(shù)計算單元123獲得的仿射變換參數(shù)，可以推測圖像拍攝人操作的攝像機工作，如拉近(zoom-in)、拉遠(zoom-out)、搖攝(pan)、傾斜(tilt)、旋轉(rotate)等。應當指出將參照圖6到圖7詳細描述仿射變換參數(shù)的計算。
圖3是例示了本發(fā)明實施例的特征量提取塊150的示例功能結構的框圖。特征量提取塊150具有顏色直方圖提取單元151、連續(xù)幀間差值計算單元152、場景變化分數(shù)計算單元153、攝像機工作分量計算單元155、攝像機工作分量保持單元156、攝像機工作分量平均值計算單元157、以及攝像機工作分量積分值計算單元158。
顏色直方圖提取單元151對每個幀提取構成從文件捕獲塊140輸出的運動圖像的每個整個圖像的顏色直方圖，并將提取的顏色直方圖輸出到連續(xù)幀間差值計算單元152。
連續(xù)幀間差值計算單元152計算從顏色直方圖提取單元151輸出的兩個連續(xù)幀之間的顏色直方圖的顏色分布的差值，并將計算出的差值輸出到場景變化分數(shù)計算單元153。這里，在本發(fā)明實施例中，通過利用EMD(陸地運動者距離，Earth Movers Distance)對計算的相似度進行數(shù)字化而獲得的值作為兩個連續(xù)幀之間的顏色直方圖的顏色分布的差值。應當指出EMD代表顏色分布之間的距離，并用于相似圖像搜索等(例如參見日本特開2007-206919)。
場景變化分數(shù)計算單元153對從連續(xù)幀間差值計算單元152輸出的顏色直方圖的顏色分布差值，通過高通濾波器，去除幀間差值的偏移差值(去除DC分量)，從而將DC分量去除后的值計算為場景變化分數(shù)，將計算出的場景變化分數(shù)輸出到轉換信息校正塊160和合成圖像分割判定塊170。應當指出，在本發(fā)明實施例中，描述了利用基于EMD計算的相似性來計算兩個連續(xù)幀之間的差值并基于該差值來計算場景變化分數(shù)的示例；計算時間軸上構成運動圖像的幀之間的另一差值以基于該差值計算場景變化分數(shù)也是可行的。
攝像機工作分量計算單元155根據(jù)與文件捕獲塊140輸出的當前幀相對應的仿射變換參數(shù)來計算攝像機工作分量(x方向和y方向的平移分量、縮放分量以及轉動分量)，將計算出的攝像機工作分量輸出到轉換信息校正塊160、攝像機工作分量平均值計算單元157、以及攝像機工作分量積分值計算單元158，然后將計算出的攝像機工作分量保持在攝像機工作分量保持單元156。
攝像機工作分量保持單元156為每個幀保持攝像機工作分量計算單元155計算出的直至當前幀的攝像機工作分量，將所保持的攝像機工作分量提供給攝像機工作分量平均值計算單元157和攝像機工作分量積分值計算單元158。此外，如果來自合成圖像分割判定塊170的擦除直至緊接的前一幀的計算出的攝像機工作分量的指令，攝像機工作分量保持單元156擦除所保持的攝像機工作分量。
攝像機工作分量平均值計算單元157基于從攝像機工作分量計算單元155輸出的與當前幀相對應的攝像機工作分量和攝像機工作分量保持單元156保持的與從緊接的前一幀起的直至預定數(shù)量個幀的幀相對應的攝像機工作分量，計算攝像機工作分量的平均值，然后將計算出的攝像機工作分量的平均值輸出到合成圖像分割判定塊170。可以將用于計算攝像機工作分量的平均值的幀數(shù)量設定為例如約5個。
攝像機工作分量積分值計算單元158基于從攝像機工作分量計算單元155輸出的與當前幀相對應的攝像機工作分量和與從攝像機工作分量保持單元156中保持的起始幀起直至前一幀的幀相對應的攝像機工作分量，計算攝像機工作分量的積分值，然后將計算出的攝像機工作分量的積分值輸出到合成圖像分割判定塊170。這里，如果從合成圖像分割判定塊170輸出了表示要擦除直至緊接的前一幀的計算出的攝像機工作分量的指示，擦除攝像機工作分量保持單元156中保持的攝像機工作的每個分量。因此，如果計算了指定幀的下一幀之后的攝像機工作分量的積分值，攝像機工作分量積分值計算單元158通過利用從攝像機工作分量計算單元155輸出的與當前幀相對應的攝像機工作分量和攝像機工作分量保持單元156中保持的從進行指示時的幀起到緊接的前一幀的每個幀所對應的攝像機工作分量，來計算攝像機工作分量的積分值。
以下參照附圖詳細描述運動圖像中的場景變化點。
圖4示意性示出以時間序列排列與構成運動圖像的幀相對應的圖像的示例。在該圖中，示意性示出與構成圖像拍攝設備拍攝的運動圖像350的分量相對應的圖像351到358。應當指出，對于圖像351到358，為了描述方便起見，以簡化方式示出數(shù)字、主題等。如該圖中所示，盡管圖像351到358是包括在一個運動圖像350中的圖像，但是三個場景在圖像拍攝時間和位置上互不相同，因而隨著這些場景所在的各幀的變化，主題的構圖、顏色等也瞬時變化。這樣，如果主題的構圖、顏色等瞬時變化并且連續(xù)兩個幀的直方圖差值超過閾值，將場景變化點確定為位于這兩個連續(xù)幀之間。轉換信息校正塊160和合成圖像分割判定塊170來執(zhí)行場景變化點確定。這里，在確定場景變化點時使用的閾值可以是對于轉換信息校正塊160和合成圖像分割判定塊170這兩者相同的值，或者是在這些塊之間不同的值。例如，為了防止頻率分割，可以將合成圖像分割判定塊170的閾值設定為高于轉換信息校正塊160的閾值。
例如，圖像351到353是拍攝在街上行走的人并且此人正在移動的圖像，因而，盡管此人的位置在圖像之間稍微不同，但是這些圖像整體上給人以大體相似的印象。因此，與圖像351到353相關聯(lián)的兩個連續(xù)幀之間的直方圖差值不超過閾值，從而確定在這兩個連續(xù)幀之間沒有場景變化點。
此外，圖像354到356是拍攝山前方的房子的圖像，這些圖像是通過水平移動圖像拍攝設備而拍攝的，因而，盡管主題的位置在圖像之間水平地稍微不同，但是這些圖像整體上給人以大體相似的印象。然而，如果在圖像353與圖像354之間比較，圖像拍攝時間和位置對應于不同的場景切換部分，因而整個圖像很大程度上彼此不同。因此，將圖像353與圖像354之間的邊界確定為場景變化點。此外，將圖像356與圖像357之間的邊界類似地確定為場景變化點。因此，如果確定了場景變化點，在本發(fā)明實施例中將緊接該邊界點之后的圖像確定為與場景變化點相對應的圖像。例如與場景變化點相對應的圖像是圖像354和357。
參照圖5，示意性示出被記錄到本發(fā)明實施例中的運動圖像存儲塊200和元數(shù)據(jù)存儲塊210的每個文件。圖5(a)示出存儲在運動圖像存儲塊200中的運動圖像文件201到204，和與運動圖像文件201到204相關聯(lián)的存儲在元數(shù)據(jù)存儲塊210中的元數(shù)據(jù)文件211到213。這里，假設對每個運動圖像文件分配用于標識運動圖像存儲塊200存儲的每個運動圖像文件的運動圖像ID。例如，將″#1″分配給運動圖像文件201，將″#2″分配給運動圖像文件202，將″#n″分配給運動圖像文件204。
圖5(b)示意性示出存儲在運動圖像存儲塊200中的運動圖像文件201，和與運動圖像文件201相關聯(lián)的存儲在元數(shù)據(jù)存儲塊210中的元數(shù)據(jù)文件211。這里，運動圖像文件201是n個幀構成的運動圖像文件，并將這n個幀表示為幀″1″205到″n″208。
此外，與運動圖像ID 214、幀號215以及仿射變換參數(shù)216相關聯(lián)地存儲元數(shù)據(jù)211。
運動圖像ID 214是分配給對應的運動圖像文件的運動圖像ID；例如，存儲分配給運動圖像文件201的″#1″。
幀號215是構成對應的運動圖像文件的運動圖像的每個幀的序列號；例如，存儲與構成運動圖像文件201的運動圖像的幀″1″205到″n″208相對應的″1″到″n″。
仿射變換參數(shù)216是對運動圖像的每個幀計算出的仿射變換參數(shù)，與幀號215相對應。應當指出與幀號215″1″相對應的仿射參數(shù)216″al，bl，cl，dl，el，fl″是單位矩陣的仿射變換參數(shù)。此外，與幀號215″m″(m是2或更大的整數(shù))相對應的仿射變換參數(shù)216″am，bm，cm，dm，em，fm″是與幀“m”的緊接的前一幀″m-1″相對應的仿射變換參數(shù)。
以下參照附圖詳細描述檢測用于圖像轉換的仿射變換參數(shù)的檢測方法。
圖6(a)到(c)示出與構成運動圖像的幀相對應的圖像的示例。圖7(a)示出通過略去背景等而簡化的圖像，帶有與圖5所示圖像300所對應的緊接的前一幀相對應的圖像。圖7(b)和(c)示出帶有圖6所示的圖像300的通過略去背景等而簡化的圖像。
圖6和圖7所示的圖像300，320以及330包括安裝馬301，321以及331的圖像，和布置在這些安裝馬圖像301，321以及331的前方的蛇圖像302，322以及332。此外，如圖6所示，在這些圖像的背景中，存在旗幟、椅子等，這些旗幟在風中飄揚。
圖7(a)所示的圖像320是對與圖6(a)到(c)和圖7(b)和(c)所示的圖像300和330所對應的緊接的前一幀相對應的圖像進行簡化而獲得的圖像。與兩個連續(xù)幀相對應的圖像320和330是表示在畫面中的主題逐漸放大的情況下的轉變的圖像。即，在圖像拍攝時，執(zhí)行拉近操作，其為用于逐漸放大畫面中的主題的操作。
在本發(fā)明實施例中，例如采用如下方法從構成運動圖像的圖像檢測特征點，然后計算與該特征點相對應的光流，以計算仿射變換參數(shù)。在本例子中，描述以角點作為特征點的情況。
這里，參照圖7(a)到(c)，作為示例描述如下方法將與從圖像320和330檢測的3個角點相對應的光流用于計算仿射變換參數(shù)。
例如，假設在圖7(a)所示的圖像320，已經(jīng)將馬圖像321的嘴附近的角點323、馬圖像321的騎手臀部附近的角點324以及蛇圖像322的嘴附近的角點325檢測為特征點。在此情況下，在圖7(b)所示的圖像330中，通過梯度方法或塊匹配方法檢測到圖像320中的角點323，324以及325的光流337，338以及339。然后，基于檢測的這些光流337，338以及339，檢測與圖像320的角點323，324以及325相對應的角點333，334以及335。
這里，例如，由于圖7(a)和(b)所示圖像320和330包括的馬圖像321、331和蛇圖像322、332安裝在地面上，因此無論攝像機如何工作，這些圖像都不會移動。因此，基于從馬圖像321、331和蛇圖像322、332檢測到的角點獲得的光流，可以正確地估計攝像機工作。例如，如圖7(c)所示，基于圖像330檢測到的3個光流337到339，可以估計出在點336周圍，圖像330是圖像架板320的放大。因此，可以將拍攝圖像330時的攝像機工作確定為點336周圍的拉近操作。這樣，在無論攝像機如何工作都不移動的對象中，可以檢測到角點，然后基于對這些角點獲得的光流，可以正確檢測到具有一定規(guī)則性的攝像機工作。因此，利用對這些角點獲得的光流，可以獲得仿射變換參數(shù)。
然而，如在風中飄揚的旗幟，圖像可能包括無論攝像機如何工作都會移動的對象。例如，圖6所示的圖像300包含在風中飄揚的旗幟。如果在無論攝像機如何工作都會移動的對象中檢測到角點以及利用對所檢測的角點獲得的光流來估計攝像機工作，那么不能正確地估計攝像機工作。
例如，箭頭表示圖6(b)所示的圖像300中檢測的光流，末端的白圓圈表示通過光流檢測到的角點。這里，角點303到305是與圖7(b)和(c)所示的角點333到335相對應的角點。此外，角點306到311是對位于馬圖像301的背景中的旗幟所檢測到的角點。然后，由于這些旗幟在風中飄揚，受風影響的每個旗幟的運動被檢測為光流。即，對于無論攝像機如何工作都會運動的旗幟，檢測出與角點306到311相對應的各光流。因此，如果在計算仿射變換參數(shù)的3個光流中包括與角點306到311中的至少一個角點相對應的光流，則不會檢測出正確的攝像機工作。
如上所述，例如，可以從拍攝圖像中檢測到無論攝像機如何工作都會運動的對象的光流(與圖6(b)所示角點306到311相對應的光流)，和對于攝像機工作來說具有一定規(guī)則性的光流(除與圖6(b)所示角點306到311相對應的光流以外的光流)。
因此，在本發(fā)明實施例中，描述如下示例基于3個光流來計算仿射變換參數(shù)的仿射變換參數(shù)計算處理被執(zhí)行兩次或更多次，以獲得兩個或更多個仿射變換參數(shù)，然后從所獲得的兩個或更多個仿射變換參數(shù)中選擇最優(yōu)仿射變換參數(shù)。應當指出，在本例子中，假設構成運動圖像的每個圖像中包括的運動對象的尺寸相對于圖像的面積來說相對小。
這里，以簡單方式描述仿射變換。在二維空間中，運動源的位置為(x，y)，并且仿射變換后的運動目的地位置為(x′，y′)，那么可以由以下公式1表示仿射信息的行列式。
[數(shù)學表達式1] ...(公式1) 在以上表達式中，a到f表示仿射變換參數(shù)。此外，可以由以下公式表示基于這些仿射變換參數(shù)的仿射矩陣AM。在此情況下，可以通過以下公式分別獲得x方向的縮放分量XZ、Y方向的縮放分量YZ、X方向的平移分量XT、Y方向的平移分量YT、X方向的轉動分量θx以及Y方向的轉動分量θy。應當指出，在單位矩陣的情況下，滿足a＝e＝1，b＝c＝d＝f＝0。
[數(shù)學表達式2] XT＝cYT＝f 如上所述，可以從仿射變換參數(shù)獲得攝像機工作分量(X方向和Y方向縮放分量、平移分量以及轉動分量)。應當指出，將參照圖8描述轉動分量。
圖8示出利用預定仿射變換參數(shù)對矩形340轉換的情況。如圖所示，令利用預定仿射變換參數(shù)對矩形340轉換后的矩形為矩形341，在xy坐標中，矩形340的兩個邊為與頂點相接觸的x軸和y軸，該頂點對應于原點，其為矩形340的一個頂點。在此情況下，令矩形340和341的x軸側的邊形成的角為轉動分量θx，并且矩形340和341的y軸側的邊形成的角為轉動分量θy。
以下描述計算攝像機工作分量的平均值和積分值的計算方法。
攝像機工作分量的平均值是將對與預定數(shù)量個幀相對應的攝像機工作分量相加而獲得的值除以預定數(shù)量而獲得的值。例如，在攝像機工作分量的X方向的平移分量的平均值的計算中，如果預定數(shù)量為5，并且經(jīng)受該計算的幀1到5的攝像機工作參數(shù)的X方向的平移分量是XT1到XT5，則可以通過″(XT1+XT2+XT3+XT4+XT5)/5″來獲得平均值。應當指出，使用將對攝像機工作分量相加所獲得的值除以被計算的幀之間經(jīng)過的時間而獲得的平均速度，而不使用攝像機工作分量的平均值，也是可行的。
此外，攝像機工作分量的積分值是對與從起始幀到當前幀的每個幀相對應的攝像機工作分量進行相加而獲得的值。例如，在攝像機工作分量的X方向的平移分量的積分值的計算中，如果從起始幀到當前幀的幀1到5的攝像機工作分量的X方向的平移分量是XT1到XT5，那么可以通過″XT1+XT 2+XT3+XT4+XT5″來獲得積分值。
以下描述仿射變換參數(shù)計算方法。
首先，在與作為構成運動圖像的多個幀之一的當前幀相對應的圖像中，從特征點中選擇3個特征點，其中從這些特征點檢測到光流。例如，從圖6(b)所示的圖像300檢測的角點(由白圓圈表示)隨機選擇3個角點。應當指出，如果使用射影變換參數(shù)作為攝像機工作參數(shù)，則隨機選擇4個特征點。
接著，利用與所選擇的3個特征點相對應的3個光流來計算仿射變換參數(shù)。例如，利用與圖6(b)所示圖像300的角點中的3個角點(由白圓圈表示)相對應的光流(由連接到白圓圈的箭頭表示)來計算仿射變換參數(shù)?？梢酝ㄟ^使用公式1來獲得仿射變換參數(shù)。
接著，基于獲得的仿射變換參數(shù)，獲得仿射變換參數(shù)的分數(shù)。更具體地，通過利用所獲得的仿射變換參數(shù)，獲得與當前幀的緊接的前一幀相對應的圖像中的所有特征點的運動目的地的位置。然后，在利用仿射變換參數(shù)獲得的特征點的運動目的地的位置與在當前幀中檢測到的特征點的位置之間進行比較，以計算相互對應的兩個特征點的位置之間的差值。至于所述差值，例如，計算這兩個相對應的位置之間的絕對距離。然后，對每個特征點在計算出的差值與預設閾值之間比較，將具有比閾值小的差值的特征點數(shù)量計算為仿射變換參數(shù)的分數(shù)。這樣，從特征點(從這些特征點檢測到光流)中隨機選擇3個特征點，基于與這些特征點相對應的光流，重復計算仿射變換參數(shù)分數(shù)的處理預定次數(shù)，從而計算仿射變換參數(shù)的兩個或更多個分數(shù)。所述預定次數(shù)可以根據(jù)被比較圖像的類型或者圖像處理設備100的處理性能等來適當設定，或者利用固定值來設定。通過考慮圖像處理設備100的處理性能，例如，預定次數(shù)可以是20左右。
例如，假設圖6(b)所示的圖像300檢測的角點中的3個角點，除角點306到311以外。如果通過利用與如此選擇的3個角點相對應的3個光流來計算仿射變換參數(shù)，獲得用于根據(jù)某些規(guī)則對與緊接的前一圖像相對應的圖像進行轉換的仿射變換參數(shù)，因為，如上所述，這3個光流具有一定的規(guī)則性。因此，對于除角點306到311以外的角點，在利用仿射變換參數(shù)而獲得的角點的位置與在當前幀中檢測到的角點的位置之間的所獲得的差值，計算相對小的值。因此，仿射變換參數(shù)的分數(shù)取大值。
另一方面，假設從圖6(b)所示圖像300中檢測的角點中選擇了包括角點306到311的至少一個角點的3個角點。如果利用與如此選擇的3個角點相對應的3個光流來計算仿射變換參數(shù)，則獲得不能轉換與緊接的前一圖像相對應的圖像的仿射變換參數(shù)，因為，在這3個光流中包括沒有一定規(guī)則性的光流。因此，對于在利用仿射變換參數(shù)而獲得的角點的位置與在當前幀中獲得的角點的位置之間的差值，在特定角點獲得相對大的值。因此，仿射變換參數(shù)的分數(shù)取小值。
接著，在獲得的兩個或更多個仿射變換參數(shù)分數(shù)中，選擇具有最大分數(shù)值的仿射變換參數(shù)作為代表性仿射變換參數(shù)。然后，計算代表性仿射變換參數(shù)的矩陣的逆矩陣，將逆矩陣的仿射變換參數(shù)與當前幀相關聯(lián)地記錄到元數(shù)據(jù)存儲塊210。結果，在對構成運動圖像的圖像的仿射變換中，可以使用最優(yōu)仿射變換參數(shù)來執(zhí)行仿射變換。
如上所述，如果構成運動圖像的每個圖像中包括運動的對象(運動對象)，如人、汽車等，并且如果這種運動對象的尺寸相對于圖像的面積來說相對小，可以在不受運動對象的影響的情況下提取攝像機工作。
此外，通過提取攝像機工作，可以估計被視為圖像拍攝人有意進行的運動，如拉近、拉遠、搖攝、傾斜以及轉動。應當指出，在公式1中，可以基于兩個光流來計算仿射變換參數(shù)，其中a＝e，d＝-b。例如，如果例如使用基于3個光流計算的仿射變換參數(shù)對圖像進行仿射變換，可以將矩形圖像轉換成平行四邊形。相反，如果例如使用基于2個光流計算出的仿射變換參數(shù)對圖像進行仿射變換，可以對矩形狀態(tài)的圖像執(zhí)行平移、轉動以及縮放(縮放比例在xy方向相同)中的至少一個。在本發(fā)明實施例中，將描述使用基于3個光流計算出的仿射變換參數(shù)執(zhí)行圖像轉換的例子；如果利用基于兩個光流計算出的仿射變換參數(shù)來執(zhí)行圖像轉換，那么本發(fā)明實施例也是適用的。
以下參照附圖描述本發(fā)明實施例的圖像處理設備100的操作。
參照圖9，示出流程圖，表示本發(fā)明實施例的圖像處理設備100進行的仿射變換參數(shù)檢測處理的處理過程。
首先，在運動圖像輸入塊110中輸入運動圖像文件(步驟S900)。接著，對運動圖像輸入塊110中輸入的運動圖像文件進行解碼，并按時間序列獲得一個幀的圖像(步驟S901)。接著，確定所獲得的一個幀是否為在運動圖像輸入塊110中輸入的運動圖像數(shù)據(jù)的起始幀(步驟S902)。如果發(fā)現(xiàn)所獲得的一個幀是起始幀(步驟S902)，從與起始幀相對應的整個圖像提取特征點(步驟S903)。例如，如圖6(b)所示，在該圖像中提取兩個或更多個角點。接著，選擇單位矩陣的仿射變換參數(shù)作為仿射變換參數(shù)(步驟S904)，此時本過程進行到步驟S914。
另一方面，如果發(fā)現(xiàn)所獲得的一個幀不是起始幀(步驟S902)，則從相對于與緊接的前一幀相對應的圖像來說新拍攝的區(qū)域中提取特征點(步驟S905)。即，在與緊接的前一幀相對應的圖像中已經(jīng)提取的特征點可以通過與該特征點相對應的光流來獲得，因此在與當前幀相對應的圖像中不提取這些特征點。
接著，計算從與緊接的前一幀相對應的圖像中提取的每個特征點的光流(步驟S906)。即，如圖6(b)所示，計算每個角點的光流。
接著，將變量i初始化為“1”(步驟S907)。接著，從計算出光流的特征點中選擇M個特征點(步驟S908)。例如，如果使用仿射變換參數(shù)作為攝像機工作參數(shù)，隨機選擇3個特征點。此外，如果使用射影變換參數(shù)作為攝像機工作參數(shù)，隨機選擇4個特征點。接著，基于對所選擇的M個特征點計算出的M個光流，計算仿射變換參數(shù)(步驟S909)。
接著，基于計算的仿射變換參數(shù)，計算仿射變換參數(shù)的分數(shù)(步驟S910)。更具體地，利用計算獲得的仿射變換參數(shù)，獲得與緊接的前一幀相對應的圖像中的所有特征點的運動目的地的位置。然后，在通過仿射變換參數(shù)獲得的特征點的位置與步驟S906的光流計算中獲得的與當前幀相對應的圖像中的特征點的位置之間進行比較，以為每個特征點計算兩個相應特征點的位置之間的差值。至于差值，例如，計算兩個相應位置之間的絕對距離。接著，對每個特征點，比較計算的差值與預設閾值，以獲得差值小于閾值的特征點的數(shù)量，作為仿射變換參數(shù)的分數(shù)。
接著，將“1”加到變量i(步驟S911)，以確定變量i是否大于常數(shù)N(步驟S912)。如果變量i小于常數(shù)N(步驟S912)，則本過程返回到步驟S908，以重復仿射變換參數(shù)分數(shù)計算處理(步驟S908到S910)。例如，可以使用20作為常數(shù)N。
另一方面，如果變量i大于常數(shù)N(步驟S912)，則根據(jù)所獲得的仿射變換參數(shù)的分數(shù)，選擇具有最大值的仿射變換參數(shù)作為代表性仿射變換參數(shù)(步驟S913)。接著，將與所選仿射變換參數(shù)的矩陣的逆矩陣相對應的仿射變換參數(shù)與當前幀相關聯(lián)地記錄到元數(shù)據(jù)存儲塊210(步驟S914)。應當指出，如果當前幀是起始幀，將所選單位矩陣的仿射變換參數(shù)與起始幀相關聯(lián)地記錄到元數(shù)據(jù)存儲塊210。接著，以改寫方式存儲與當前幀相對應的圖像和該圖像中的特征點(步驟S915)。
接著，確定當前幀是否為在運動圖像輸入塊110中輸入的運動圖像的最后一幀(步驟S916)。如果當前幀不是最后一幀(步驟S916)，本過程返回到步驟S901以重復仿射變換參數(shù)檢測處理(步驟S901到S915)。另一方面，如果當前幀是最后一幀(步驟S916)，則仿射變換參數(shù)檢測處理結束。
在本發(fā)明實施例中，已經(jīng)通過例如如下示例進行了描述其中對于攝像機工作參數(shù)的檢測，基于構成運動圖像的圖像中檢測到的光流來檢測仿射變換參數(shù)；不過，還可以在攝像機上布置傳感器(如加速度傳感器或例如陀螺儀傳感器)或在縮放操作中使用的縮放按鈕，檢測攝像機在圖像拍攝時的運動量，然后獲得與所檢測的攝像機運動量有關的攝像機工作參數(shù)。應當指出，當確定攝像機工作參數(shù)計算單元123獲得的攝像機工作參數(shù)是否正確時，可以使用在圖像拍攝時檢測的攝像機運動量。此外，還可以由攝像機工作參數(shù)計算單元123事先檢測兩個或更多個攝像機工作參數(shù)，以及基于在圖像拍攝時檢測的攝像機運動量，這些攝像機工作參數(shù)之一。
以下參照附圖詳細描述使用攝像機工作檢測塊120計算的仿射變換參數(shù)來合成/再現(xiàn)一個運動圖像的情況。應當指出，圖10到圖18所示圖像是以簡化方式示出的，并且為了描述方便起見，將兩個連續(xù)幀之間的運動量示出為很大。
首先，描述如下情況在攝像機拍攝圖像時，在放大倍數(shù)保持不變的情況下，攝像機的鏡頭方向相對于攝像機位置向上、向下、向左或向右移動。
圖10示出攝像機拍攝的運動圖像的轉變的例子。圖10示出與運動圖像中包括的連續(xù)幀相對應的圖像401到403，在運動圖像中，以山為背景拍攝人400。在該例子中，圖像拍攝人通過將攝像機鏡頭向右側和向上移動來拍攝圖像。在此情況下，在構成運動圖像的圖像中，攝像機拍攝到的運動圖像中包括的人400從右向左和向下移動。
圖11以虛線示出與圖10所示的每個圖像中的緊接的前一幀相對應的圖像和要檢測的光流的例子。圖11(a)所示的圖像401與圖10(a)所示的圖像401相同。圖11(b)所示的圖像402的實線部分與圖10(b)所示的圖像402的相同，圖11(b)所示的圖像402的虛線部分與圖11(a)所示的圖像401的實線部分相同。圖11(b)所示的圖像402的箭頭404到406表示從圖像402檢測的光流的例子。類似的，圖11(c)所示的圖像403的實線部分與圖10(c)所示的圖像403的相同，圖11(c)所示的圖像403的虛線部分與圖11(b)所示的圖像402的實線部分相同。圖11(c)所示的圖像403的箭頭407到409表示從圖像403檢測的光流的例子。
如圖11(b)和(c)所示，圖像包括的人400和背景山隨著攝像機移動而移動?；谕ㄟ^該移動所檢測的光流，可以對每個幀獲得仿射變換參數(shù)。
圖12示出圖像合成示例，其中包括圖10所示的圖像401到403的運動圖像在被合成時被再現(xiàn)。應當指出，在本發(fā)明實施例中，對構成兩個運動圖像的每個圖像進行合成，使得隨著再現(xiàn)時間的流逝，顯示塊260上顯示的圖像變得比普通圖像大。因此，要首先顯示的圖像以比顯示塊260的顯示面積尺寸相對較小的尺寸來顯示。應當指出，用戶指定要首先顯示的圖像的大小和位置也是可行的。
如圖12(a)所示，首先顯示僅與起始幀相對應的圖像401。這里，令與圖像401相對應的仿射變換參數(shù)的矩陣(3×3矩陣)為A1，那么獲得A1的值，然后通過獲得的A1矩陣，相對于起始幀的圖像401的位置和尺寸，對圖像401進行仿射變換。這里，由于A1是單位矩陣，因此不對圖像401的位置和尺寸進行轉換。接著，如果與下一幀相對應的圖像402被合成，利用與該幀相關聯(lián)的仿射變換參數(shù)對圖像402進行仿射變換。更具體地，令與圖像402相對應的仿射變換參數(shù)的矩陣為A2，并且與圖像401相對應的仿射變換參數(shù)的矩陣為A1，那么獲得A2×A1的值，利用獲得的矩陣A2×A1相對于起始幀的圖像401的位置和尺寸，對圖像402進行仿射變換。在圖12(b)所示的圖像中，僅對圖像402的位置進行轉換。然后，用通過仿射變換參數(shù)仿射變換后的圖像402改寫與緊接的前一幀相對應的圖像401。即，在圖像401的區(qū)域中，在與圖像402相交疊的區(qū)域410重寫圖像402的圖像。此外，在圖像401的區(qū)域中，將與圖像402不交疊的區(qū)域411同圖像401的圖像相合成。即，如果與第二幀相對應的圖像402被顯示，通過將圖像402的整個部分與圖像401的對應于區(qū)域411的部分合成而獲得的圖像被顯示，如圖12(b)所示。此外，還可以在當前幀的周圍顯示表示已顯示的圖像之中的最新近的圖像的圖像幀。在圖12(b)中，在圖像402周圍顯示圖像幀。此外，將對圖像402進行仿射變換的仿射變換參數(shù)保持在圖像轉換塊180中。
接著，如果與隨后的幀相對應的圖像403被合成，使用與該幀相關聯(lián)的仿射變換參數(shù)對圖像403進行仿射變換。即，通過利用與圖像403相對應的仿射變換參數(shù)的矩陣和用于緊接的前一仿射變換的與圖像402相對應的仿射變換參數(shù)的矩陣而獲得的仿射變換參數(shù)，對圖像403進行仿射變換。更具體地，令圖像403的仿射變換參數(shù)的矩陣為A3，圖像402的仿射變換參數(shù)的矩陣為A2，圖像401的仿射變換參數(shù)的矩陣為A1，那么獲得A1×A2×A3，然后通過獲得的矩陣A1×A2×A3，相對于起始幀的圖像401的位置和尺寸，對圖像403進行仿射變換。在圖12(c)所示的圖像中，僅對圖像403的位置進行轉換。然后，用通過仿射變換參數(shù)仿射變換后的圖像403改寫與前一幀相對應的圖像401和圖像402的合成圖像。即，在圖像401和圖像402的合成圖像的區(qū)域中，在與圖像403相交疊的區(qū)域413和414上重寫圖像403的圖像。此外，在圖像401和圖像402的合成圖像的區(qū)域中，對與圖像403不交疊的區(qū)域411和412，圖像401和圖像402的合成圖像被合成。即，如果與第三幀相對應的圖像403被合成，圖像403的整個部分、和與圖像401的區(qū)域411相對應的部分和與圖像402的區(qū)域412相對應的部分合成的圖像被顯示，如圖12(c)所示。此外，如果在與當前幀相對應的圖像周圍顯示表示已顯示的圖像之中的最新近的圖像的圖像幀，在圖12(c)所示的圖像403周圍顯示圖像幀。即，把與圖像402和403相對應的仿射變換參數(shù)的矩陣相乘而獲得的仿射變換參數(shù)保持在圖像轉換塊180中。這樣，在與當前幀相對應的圖像的仿射變換中，利用與當前幀相對應的仿射變換參數(shù)的矩陣和與緊接的前一幀之前的每個幀相對應的仿射變換參數(shù)的矩陣而獲得的仿射變換參數(shù)，對與當前幀相對應的圖像進行仿射變換。將仿射變換中獲得的仿射變換參數(shù)保持在圖像轉換塊180中，以用于下一仿射變換。這對于圖15和圖18所示例子是相同的。
以下描述如下情況在鏡頭方向保持不動的情況下，在攝像機拍攝圖像時改變放大倍數(shù)。
圖13示出攝像機拍攝的運動圖像的轉變的例子。圖13示出在以山為背景來拍攝人420的情況下運動圖像包括的連續(xù)幀所對應的圖像421到423。在該例子中，圖像拍攝人在提高攝像機鏡頭的放大倍數(shù)的同時拍攝圖像。在此情況下，在構成運動圖像的圖像中，攝像機拍攝的運動圖像中包括的人420的尺寸變大。應當指出，盡管在提高放大倍數(shù)時攝像機位置移動了一點，但是這里的描述是在不考慮攝像機位置移動的情況下進行的。
圖14以虛線示出圖13所示的各圖像中的與緊接的前一幀相對應的圖像并且示出要檢測的光流。圖14(a)所示的圖像421與圖13(a)所示的圖像421相同。圖14(b)所示的圖像422的實線部分與圖13(b)所示的圖像422的相同，圖14(b)所示的圖像422的實線部分與圖13(b)所示的圖像422的相同，圖14(b)所示的圖像422的虛線部分與圖13(a)所示的圖像421的相同。圖14(b)所示的圖像422中的箭頭424到426表示從圖像422檢測的光流的例子。類似的，圖14(c)所示的圖像423的實線部分與圖13(c)所示的圖像423的相同，圖14(c)所示的圖像423的虛線部分與圖13(b)所示的圖像422的實線部分相同。圖14(c)所示的圖像423中的箭頭427到429表示從圖像423檢測的光流的例子。
如圖14(b)和(c)所示，圖像包括的人420和背景山隨著放大倍數(shù)的變化而變化?；谕ㄟ^該變化所檢測的光流，可以對每個幀獲得仿射變換參數(shù)。
圖15示出在再現(xiàn)包括圖13所示的圖像421到423的圖像的情況下的顯示例子。
如圖15(a)所示，首先，僅顯示與起始幀相對應的圖像421。接著，如果對與后一幀相對應的圖像422進行合成，使用與該幀相關聯(lián)的仿射變換參數(shù)對圖像422進行仿射變換。在圖15(b)所示的圖像中，僅對圖像422的大小進行轉換。然后，用通過仿射變換參數(shù)仿射變換后的圖像422重寫與緊接的前一幀相對應的圖像421。即，在圖像421的區(qū)域中，在與圖像422相交疊的區(qū)域上重寫圖像422的圖像。在此情況下，由于圖像421與圖像422的所有區(qū)域相交疊，因此將圖像422的所有圖像重寫在圖像421上。此外，在圖像421的區(qū)域中，將與圖像422不相交疊的區(qū)域431與圖像421的圖像合成。即，如果顯示與第二幀相對應的圖像422，將圖像422的整個部分和與圖像421的區(qū)域431相對應的部分合成而獲得的圖像被顯示，如圖15(b)所示。此外，還可以在當前幀的周圍顯示表示已顯示的圖像之中的最新近的圖像的圖像幀。在圖15(b)中，在圖像422的周圍顯示圖像幀。此外，將對圖像422進行仿射變換的仿射變換參數(shù)保持在圖像轉換塊180中。
接著，如果對與下一幀相對應的圖像423進行合成，使用與該幀相關聯(lián)的仿射變換參數(shù)對圖像423進行仿射變換。即，利用通過把與圖像423相對應的仿射變換參數(shù)的矩陣、和與圖像422相對應的用于緊接的前一仿射變換的仿射變換參數(shù)的矩陣相乘而獲得的仿射變換參數(shù)，對圖像423進行仿射變換。在圖15(c)所示的圖像中，僅對圖像423的大小進行轉換。然后，仿射變換后的圖像423重寫在圖像421和422的與前一幀相對應的合成圖像上。即，在圖像421和422的合成圖像的區(qū)域中，與圖像423相交疊的區(qū)域上重寫圖像423的圖像。在此情況下，圖像423與圖像421和422的所有區(qū)域相交疊，因此將圖像423的所有圖像重寫在圖像421和422的合成圖像上。此外，在圖像421和422的合成圖像的區(qū)域中，對于與圖像423不相交疊的區(qū)域432和433，圖像421和422的合成圖像被合成。即，如果與第三幀相對應的圖像423被合成，圖像423的整個部分、圖像421的與區(qū)域432相對應的部分、以及圖像422的與區(qū)域433相對應的部分被合成，如圖15(c)所示。即，如果顯示與第三幀相對應的圖像423，則顯示將圖像423的整個部分和圖像421中的與區(qū)域432相對應的部分合成而獲得的圖像，如圖15(b)所示。此外，還可以在當前幀的周圍顯示表示已顯示的圖像之中的最新近的圖像的圖像幀。在圖15(b)中，在圖像423的周圍顯示圖像幀。此外，將對圖像423進行仿射變換的仿射變換參數(shù)保持在圖像轉換塊180中。即，將通過使用圖像422和423中的每一個的仿射變換參數(shù)而獲得的仿射變換參數(shù)保持在圖像轉換塊180中。
以下描述如下情況攝像機鏡頭方向和放大倍數(shù)保持不變，在攝像機拍攝圖像時攝像機繞著圖像拍攝方向轉動。
圖16示出攝像機拍攝的運動圖像的轉變的例子。圖16示出在以山為背景來拍攝人440的情況下運動圖像包括的連續(xù)幀所對應的圖像441到443。在該例子中，圖像拍攝人在繞圖像拍攝方向轉動攝像機的同時拍攝圖像。在此情況下，在構成該運動圖像的圖像中，攝像機拍攝的運動圖像中包括的人440轉動。應當指出，盡管隨著攝像機轉動攝像機位置會移動一點，但是這里的描述是在不考慮攝像機位置移動的情況下進行的。
圖17以虛線示出圖15所示的各圖像中的與緊接的前一幀相對應的圖像并且示出要檢測的光流的例子。圖17(a)所示的圖像441與圖16(a)所示的圖像441相同。此外，圖17(b)所示的圖像442的實線部分與圖16(b)所示的圖像442的相同，圖17(b)所示的圖像442的虛線部分與圖16(a)所示的圖像441的實線部分相同。此外，圖17(b)所示的箭頭444到446表示從圖像442檢測的光流。類似的，圖17(c)所示的圖像443的實線部分與圖16(c)所示的圖像443的相同，圖17(c)所示的圖像443的虛線部分與圖16(b)所示的圖像442的實線部分相同。圖17(c)所示的圖像443中的箭頭447到449表示從圖像443檢測的光流的例子。
如圖17(b)和(c)所示，圖像包括的人440和背景山隨著攝像機轉動而旋轉運動?；谕ㄟ^該轉動運動所檢測到的光流，可以對每個幀獲得仿射變換參數(shù)。
圖18示出合成包括圖16所示的圖像441到443的運動圖像的情況下的合成示例。
如圖18(a)所示，首先，僅顯示與起始幀相對應的圖像441。接著，如果對與后一幀相對應的圖像442進行合成，通過使用與該幀相關聯(lián)的仿射變換參數(shù)對圖像442進行仿射變換。在圖18(b)所示的圖像中，僅對圖像442的角度進行轉換。然后，將通過仿射變換參數(shù)仿射變換后的圖像442重寫在與緊接的前一幀相對應的圖像441上。即，在圖像441的區(qū)域中，在與圖像442相交疊的區(qū)域450重寫圖像442的圖像。此外，在圖像441的區(qū)域中，將與圖像442不相交疊的區(qū)域451和452與圖像441的圖像合成。即，如果顯示與第二幀相對應的圖像442，顯示將圖像442的整個部分和與區(qū)域451和452相對應的部分合成而獲得的圖像，如圖18(b)所示。此外，還可以在當前幀的周圍顯示表示已顯示的圖像中的最新近的圖像的圖像幀。在圖18(b)中，在圖像442的周圍顯示圖像幀。此外，將對圖像442進行仿射變換的仿射變換參數(shù)保持在圖像轉換塊180中。
接著，如果對與下一幀相對應的圖像443進行合成，通過使用與該幀相關聯(lián)的仿射變換參數(shù)對圖像443進行仿射變換。即，通過使用與圖像443相對應的仿射變換參數(shù)的矩陣、和與圖像442相對應的用于緊接的前一仿射變換的仿射變換參數(shù)的矩陣而獲得的仿射變換參數(shù)，對圖像443進行仿射變換。在圖18(c)所示的圖像中，僅對圖像443的角度進行轉換。然后，將仿射變換后的圖像443重寫在與前一幀相對應的圖像441和442的合成圖像上。即，在圖像441和442的合成圖像的區(qū)域中，在與圖像443相交疊的區(qū)域453到457上重寫圖像443的圖像。此外，在圖像441和442的合成圖像的區(qū)域中，將與圖像443不相交疊的區(qū)域458到461與圖像441和442的合成圖像進一步合成。即，如果顯示與第三幀相對應的圖像443，通過將圖像443的整個部分和圖像441中的與區(qū)域459相對應的部分以及圖像442中的與區(qū)域458和461相對應的部分合成而獲得的圖像被顯示，如圖18(c)所示。此外，還可以在當前幀的周圍顯示表示已顯示的圖像中的最新近的圖像的圖像幀。在圖18(c)中，在圖像443的周圍顯示圖像幀。此外，將對圖像443進行仿射變換的仿射變換參數(shù)保持在圖像轉換塊180中。即，將使用圖像442和443中的每一個的仿射變換參數(shù)而獲得的仿射變換參數(shù)保持在圖像轉換塊180中。
圖19示意性示出本發(fā)明實施例的運動圖像存儲塊200中存儲的運動圖像文件的每個幀與顯示區(qū)域之間的關系。這里，僅例示了操作接受塊270、元數(shù)據(jù)存儲塊210以及圖像存儲器220，略去了其他結構。此外，以下描述使用如下例子對于構成圖5(b)所示的運動圖像文件201的幀“1”到“3”，使用元數(shù)據(jù)文件211存儲的仿射變換參數(shù)216在圖像存儲器220中創(chuàng)建合成圖像。應當指出，圖19示出在圖像存儲器220中保持一個運動圖像的示例；在圖像存儲器220中保持兩個或更多個運動圖像以創(chuàng)建合成圖像也是可行的。
圖19(a)示出如下情況作為構成圖像5(b)所示的運動圖像文件201的各個幀中的第一幀的幀1(205)被存儲在圖像存儲器220中。例如，如圖19(a)所示，與運動圖像文件201的幀1(205)相對應的圖像471被存儲在圖像存儲器220中。這里，在圖像存儲器220中，可以將與第一幀相對應的圖像471的位置和大小存儲在預定位置或者用戶通過操作接受塊270指定的位置。替換地，例如，使用與要再現(xiàn)的運動圖像相關聯(lián)的元數(shù)據(jù)文件，可以計算出通過構成該運動圖像的每個幀來創(chuàng)建的合成圖像的大小，以基于該計算來確定存儲圖像471的位置。應當指出以下描述是基于如下假設布置在圖像存儲器220上的圖像471的左上位置是原點，水平方向(橫軸)是x軸，垂直方向(縱軸)是y軸。
如圖19(a)所示，布置在圖像存儲器220上的帶有圖像471的顯示區(qū)域是顯示區(qū)域470。例如，可以基于通過運動圖像創(chuàng)建的合成圖像的位置和大小，根據(jù)操作接受塊470接受的顯示放大倍數(shù)值來確定顯示區(qū)域470。例如，可以通過仿射變換參數(shù)來確定圖像471的顯示區(qū)域470的位置。即，如果指定用于拉遠當前圖像的顯示放大倍數(shù)“0.5倍”，通過將x方向和y方向的縮放分量加倍的仿射變換參數(shù)來設定顯示區(qū)域。此外，在相對于當前圖像對顯示區(qū)域平移或旋轉的情況下，可以利用仿射變換參數(shù)來確定顯示區(qū)域的位置和范圍。
圖19(b)示出圖5(b)所示的構成運動圖像文件201的各個幀中的幀2(206)被存儲在圖像存儲器220中的情況。在此情況下，如上所述，利用元數(shù)據(jù)文件211中存儲的與幀號215″1″和″2″相關聯(lián)的仿射變換參數(shù)216，對與幀2(206)相對應的圖像472進行轉換，以用它重寫圖像471。
圖19(c)示出圖5(b)所示的構成運動圖像文件201的各個幀中的幀3被存儲在圖像存儲器220中的情況。在此情況下，同樣，如上所述，利用元數(shù)據(jù)文件211中存儲的與幀號215″1″到″3″相關聯(lián)的仿射變換參數(shù)，對與幀3相對應的圖像473進行轉換，以用它重寫圖像471和472。
如上所述，顯示位于布置在圖像存儲器220上的顯示區(qū)域的范圍內(nèi)的圖像允許依次地顯示正在再現(xiàn)的合成圖像。這里，如果當前圖像被仿射變換以被合成在圖像存儲器220中，可以執(zhí)行轉換到低分辨率的分辨率轉換處理以及壓縮處理，以進行畫面質(zhì)量轉換。因此，如果通過增大顯示放大倍數(shù)以拉近方式顯示當前圖像，包括當前圖像的合成圖像可能會模糊。因此，在本例子中，對于正在再現(xiàn)的當前圖像，利用圖像存儲器220中的合成之前的圖像來顯示合成圖像。以下參照附圖詳細描述該顯示方法。
圖20示意性示出在本發(fā)明實施例中存儲在運動圖像存儲塊200中的運動圖像文件的幀流。這里，僅例示了操作接受塊270、運動圖像存儲塊200、元數(shù)據(jù)存儲塊210、圖像存儲器220以及顯示存儲器的關系，略去了對其他結構的例示。應當指出，圖20示出在顯示塊260顯示一個運動圖像的示例；當在顯示塊260顯示兩個或更多個運動圖像時也執(zhí)行合成。
圖20(a)以簡化方式示出圖5(b)所示的運動圖像文件201和元數(shù)據(jù)文件211。以下，將描述顯示與構成運動圖像文件201的幀i(207)相對應的圖像的示例。即，假設對于與構成運動圖像文件201的幀1到″i-1″相對應的圖像，已經(jīng)創(chuàng)建了合成圖像。
圖20(b)示意性示出保持有合成圖像的圖像存儲器220，合成圖像中合成有與構成運動圖像文件201的幀相對應的圖像。如圖19(b)所示，首先將與構成運動圖像文件201的幀1(661)相對應的圖像471保持在圖像存儲器220中。然后，在將圖像471保持在圖像存儲器220之后，利用元數(shù)據(jù)文件211中存儲的與幀2到″i-1″相關聯(lián)的仿射變換參數(shù)216的值，對與構成運動圖像文件201的幀2到″i-1″相對應的圖像依次地進行仿射變換，然后將仿射變換后的圖像依次地重寫在圖像存儲器220以保持其中。然后，從保持在圖像存儲器220中的合成圖像中，顯示區(qū)域取出塊230為每個幀取出位于顯示區(qū)域中的圖像。
與幀1到″i-1″相對應的圖像的合成圖像被保持在圖像存儲器220的情況下，利用元數(shù)據(jù)文件211中存儲的與幀1到i相關聯(lián)的仿射變換參數(shù)216，對與構成運動圖像文件201的幀i(207)相對應的圖像進行仿射變換，然后將仿射變換后的當前圖像474重寫在圖像存儲器220以保持其中。接著，從保持在圖像存儲器220中的合成圖像中，顯示區(qū)域取出塊230取出位于顯示區(qū)域470中的圖像，并將取出的圖像保持在顯示存儲器240中，例如，如圖20(c)所示。
圖20(c)示意性示出保持有顯示區(qū)域取出塊230取出的圖像的顯示存儲器240。這里，與顯示區(qū)域取出塊230取出的圖像的當前幀相對應的當前圖像475不是顯示區(qū)域取出塊230從圖像存儲器220取出的當前圖像474，而是從運動圖像存儲塊200取出的圖像轉換塊180仿射變換后的圖像。這里，可以基于當前圖像474在圖像存儲器220中的位置和大小以及顯示區(qū)域470在圖像存儲器220中的位置和大小，來確定當前圖像475在顯示存儲器中的存儲位置。例如，令元數(shù)據(jù)文件211存儲的與幀號215的″1″到″i″相關聯(lián)的仿射變換參數(shù)矩陣是A1，...，Ai，并且用于確定顯示區(qū)域470的仿射變換參數(shù)的矩陣(例如對圖像存儲器220的矩陣)是C，那么，相對于圖像471的位置，可以通過使用Inv(C)×A1×...×Ai來確定當前圖像475在顯示存儲器中的存儲位置。
如圖20(c)所示，將顯示區(qū)域取出塊230取出的圖像保持在顯示存儲器240中，并將從運動圖像存儲塊200取出并且由圖像轉換塊180仿射變換后的圖像重寫在顯示區(qū)域取出塊230取出的圖像上，以保持在顯示存儲器240中。然后，將顯示存儲器240保持的圖像顯示在顯示塊260。這樣，對于當前圖像，在被保持在圖像存儲器220中之前、在為了縮減而被處理之后(例如在仿射變換之后)的圖像可以被用于顯示相對精細的當前圖像。此外，如果通過用戶操作執(zhí)行例如拉近，可以按精細狀態(tài)顯示當前圖像。
如上所述，由于可以將從運動圖像存儲塊200取出并且經(jīng)仿射變換后的圖像(而非保持在圖像存儲器220中的合成圖像)用作當前圖像，因此可以觀看相對精細的圖像。將參照圖21和圖22詳細描述顯示例子。
圖21(a)示出在再現(xiàn)攝像機拍攝的運動圖像的情況下的顯示例子。在該例子中，示出圖像480，其中正在再現(xiàn)運動圖像，該運動圖像拍攝在大建筑物前方的草皮花園中玩耍的家長和孩子，攝像機正在水平移動。這里，在圖像480中，全景地形成了與構成運動圖像的幀相對應的圖像合成的圖像481。此外，與圖像480中的當前幀相對應的圖像是當前圖像482。
這里，將描述以拉近方式顯示框483包圍的圖像區(qū)域的情況。在顯示塊260顯示的圖像的拉近/拉遠顯示中，用戶可以通過操作所述操作接受塊270的顯示放大倍數(shù)指定鍵來指定期望的顯示放大倍數(shù)。例如，如圖21(a)所示，如果在顯示塊260顯示有圖像480并且以拉近方式顯示框483包圍的圖像區(qū)，用戶可以通過操作所述操作接受塊270上的顯示放大倍數(shù)指定鍵來指定顯示放大倍數(shù)和位置，從而以拉近方式顯示框483包圍的圖像區(qū)。
圖21(b)示出在圖像480中的當前圖像482被仿射變換之前的圖像484。
圖22(a)示出在以拉近方式顯示圖21(a)所示的框483包圍的圖像區(qū)的情況下的圖像485。圖22(a)所示的圖像485是在仿射變換后的當前圖像被存儲在圖像存儲器220中之前的狀態(tài)下在顯示存儲器240中合成的圖像。這樣，在當前圖像486的該區(qū)域中，顯示了在被存儲在圖像存儲器220中之前相對精細的圖像。因此，當前圖像486與除該區(qū)域以外的區(qū)域比較時，可以看到相對來說比其他區(qū)域要精細的當前圖像486。另一方面，圖22(b)所示的圖像487是在仿射變換后的當前圖像被存儲在圖像存儲器220中的情況下顯示存儲器240中存儲的圖像。如果這樣顯示圖像，與另一區(qū)域的圖像大約相同的圖像也顯示在圖像488的區(qū)域中。即，根據(jù)本發(fā)明實施例，在執(zhí)行圖像合成顯示時，可以對顯示存儲器240保持的日志圖像進行壓縮，但是，對于當前圖像，可以使用未壓縮圖像或具有比日志圖像的分辨率更高的分辨率的圖像，從而實現(xiàn)高畫面質(zhì)量的圖像合成顯示。
以下描述對攝像機實際拍攝的運動圖像進行合成和再現(xiàn)的顯示例子。在以下示出的顯示例子中，在顯示塊260的顯示區(qū)域中，只在與構成至少任何一個運動圖像的當前幀或先前幀相對應的圖像的區(qū)域顯示合成圖像，其他區(qū)域被變黑。此外，對應于當前圖像的圖像被加框。應當指出，在以下示出的顯示例子中，示出一個運動圖像的再現(xiàn)過程的半途中的顯示例子。此外，實際上，對每個幀依次地顯示合成圖像；然而，在圖中，示出按預定數(shù)量的幀間隔的顯示例子，并且略去了對這些幀之間顯示的合成圖像的例示。因此，在圖中，與當前幀相對應的幀的移動很大。
圖23到26示出攝像機拍攝的運動圖像的轉變的示例。在這些圖中，示出構成運動圖像的圖像730到741，其中通過主要沿水平方向移動攝像機來拍攝在大建筑物前方的草皮花園中玩耍的家長和孩子的運動圖像。應當指出，該運動圖像與圖21和圖22所示的運動圖像相同。
在這些圖中示出的圖像730到741中，與當前幀相對應的圖像是圖像750。應當指出，在這些圖中示出的圖像730到741中，即使在合成圖像之間存在差別也以相同的標號750表示當前圖像。如這些圖所示，在已拍攝圖像中包括的圖像拍攝主題(草皮花園等)固定于畫面，并且與當前幀相對應的圖像750隨著攝像機移動而在畫面上移動。如下顯示使得觀看者可以看到，與當前幀相對應的當前圖像根據(jù)攝像機的移動而在顯示塊260示出為黑色的顯示區(qū)域中移動。此外，在當前圖像在合成圖像上移動的情況下，合成圖像上的位置和當前圖像的位置也相應移動。
在以上描述中，主要使用如下再現(xiàn)例子在再現(xiàn)運動圖像的過程中，使用仿射變換參數(shù)對這些圖像轉換來合成構成運動圖像的圖像。結果，可以再現(xiàn)任何類型的運動圖像以全景展開狀態(tài)觀看。
然而，某些運動圖像類型和某些檢測到的仿射變換參數(shù)可能不允許通過全景展開運動圖像來進行合適的合成以供再現(xiàn)。例如，被再現(xiàn)的運動圖像可能包括從攝像機拍攝的狀態(tài)起未被編輯的運動圖像(未編輯運動圖像)和在攝像機拍攝之后經(jīng)過編輯的運動圖像(編輯運動圖像)。未編輯運動圖像可能例如包括包括其一部分或全部失焦的部分的運動圖像；包括在圖像拍攝過程中不希望的人突然在攝像機前經(jīng)過的部分的運動圖像；在圖像中包括在圖像拍攝過程中的攝像機劇烈運動的運動圖像；或在圖像拍攝運動圖像記錄按鈕被按壓的情況下拍攝另一場景的運動圖像。此外，編輯運動圖像可以例如包括通過編輯而將不同場景鏈接起來的運動圖像。
例如，如果未編輯運動圖像失焦或者在圖像拍攝過程中攝像機等劇烈移動，不能執(zhí)行仿射變換參數(shù)的正確檢測，可能導致對仿射變換參數(shù)的錯誤檢測。如果按此方式執(zhí)行仿射變換參數(shù)的錯誤檢測，不能執(zhí)行圖像的正確轉換。此外，例如，如果在編輯運動圖像中通過編輯而將不同場景鏈接起來，有可能這些不同場景展開或合成為一個合成圖像。因此，在本發(fā)明實施例中，在運動圖像的合成再現(xiàn)中，可以基于從構成運動圖像的每個圖像提取的特征量，執(zhí)行仿射變換參數(shù)的校正、或合成圖像的分割，從而通過全景地展開更多類型的運動圖像來適當進行合成再現(xiàn)，以享受合成再現(xiàn)。
首先，將描述對仿射變換參數(shù)的校正。在本發(fā)明實施例中，如果從構成運動圖像的每個圖像提取的特征量滿足預定條件，執(zhí)行對仿射變換參數(shù)的校正。因此，可以抑制對具有大尺寸的、位于與攝像機的運動完全分隔的位置的圖像的轉換，并且可以提高最終全景形成的合成圖像的質(zhì)量。這里，與仿射變換參數(shù)的校正相關聯(lián)的預定條件是例如場景變化分數(shù)高于閾值、或者至少一個攝像機工作分量高于閾值。此外，所述條件可以是同時滿足這兩個要求。這里，在確定了場景變化點的位置，可能對仿射變換參數(shù)進行錯誤檢測，因而校正可以防止合成圖像的失敗。
此外，仿射變換參數(shù)校正方法包括使用單位矩陣替換的校正方法或通過抑制攝像機工作速度的矩陣(例如線性插值矩陣)的校正方法。因此，可以抑制高速攝像機工作以提高運動圖像的可視性(viewability)。此外，即使進行了仿射變換參數(shù)的錯誤檢測，也可以抑制與該錯誤檢測相關聯(lián)的圖像的合成的影響。應當指出將參照圖27詳細描述仿射變換參數(shù)校正方法。
應當指出，只要作為運動圖像的可視性不喪失，就期望對于某些應用來說盡可能不校正仿射變換參數(shù)，包括高速攝像機工作。因此，還可以設置以響應于來自操作接受塊270的操作輸入而禁用校正。
以下描述對合成圖像進行分割的情況。在本發(fā)明實施例中，如果從構成運動圖像的每個圖像提取的特征量滿足預定條件，提供與前面的圖像形成的合成圖像不同的合成圖像。因此，可以分離不連續(xù)運動圖像，從而避免形成不一致的合成圖像。此外，因為可以使與場景相對應的圖像分散，因此可以容易執(zhí)行長時間跨度的運動圖像搜索。
這里，與合成圖像的分割相關聯(lián)的預定條件可以包括場景變化分數(shù)超過閾值、至少一個攝像機工作分量超過閾值、至少一個攝像機工作分量的平均值超過閾值、至少一個攝像機工作分量的積分值超過閾值(拉近/拉遠比的閾值確定、搖攝或傾角的閾值確定等)、或者從開始時間(這里是包括分割之后的第一幀)起的再現(xiàn)時間超過閾值。所述預定條件是滿足這些要求中的至少兩個，也是可行的。應當指出，將參照圖28到圖30詳細描述合成圖像分割方法。
以下詳細描述與合成圖像的分割相關聯(lián)的上述預定條件。
例如，如果場景變化分數(shù)超過閾值，可以確定與該場景變化分數(shù)相對應的位置是場景變化點。這樣，被確定為場景變化點的位置可能是剪輯點(編輯點)，或者是盡管在同一場景但是主題表現(xiàn)出很大變化的位置。因此，與被確定為場景變化點的位置相對應的圖像被分割，可以防止在完全不同的主題被合成的情況下形成合成圖像。
此外，如果將攝像機工作分量用作分割合成圖像的情況下的條件，那么優(yōu)選的是在相對長時間上的攝像機工作分量，而不是瞬間的攝像機工作分量。即，優(yōu)選的是，使用過去幾幀的分量的平均值(被應用低通濾波器的值)，而不是與一個幀相關聯(lián)的攝像機工作分量，來執(zhí)行閾值確定。這可以防止過度的分割。此外，如果攝像機工作具有特定持續(xù)時間的運動，在拍攝運動圖像記錄按鈕(REC按鈕)被按壓的情況下，可以假設轉變到下一場景的情況，從而可以正確確定分割位置。
此外，使用例如場景變化分數(shù)超過閾值或者至少一個攝像機工作分量平均值超過閾值的合成圖像分割條件，可以防止過度分割。
此外，攝像機工作分量積分值的縮放分量積分值是相對構成運動圖像的起始幀(這里是包括分割之后的第一幀)的與當前幀相對應的攝像機工作分量的拉近/拉遠分量的變化量，并且可以將該縮放分量積分值用于閾值確定。例如，如果在攝像機拍攝圖像時過度進行拉近操作，正被合成以供再現(xiàn)的合成圖像中的當前圖像可能會變得太小，從而可能使當前圖像難以看到。因此，如果攝像機工作分量的拉近/拉遠分量的變化量變大，提供分割合成圖像而獲得的新合成圖像可以使得容易觀看與合成再現(xiàn)相關聯(lián)的運動圖像。此外，在例如通過在長時間從后方跟隨某個主題拍攝圖像的情況下，獲得與攝像機的拉近操作相同的效果。因此，通過執(zhí)行類似的分割處理可以使得容易觀看與合成再現(xiàn)相關聯(lián)的運動圖像。
此外，攝像機工作分量積分值的平移分量積分值是相對構成運動圖像的起始幀(這里是包括分割之后的第一幀)的與當前幀相對應的攝像機工作分量的平移分量的變化量，并且可以將該平移分量積分值用于閾值確定。應當指出，可以將該平移分量積分值視為搖攝角或傾角。例如，在攝像機進行實際圖像拍攝時，難以區(qū)分以下兩種情況持有攝像機的圖像拍攝人，通過轉動圖像拍攝人來拍攝圖像；以及，面向一個方向的持有攝像機的圖像拍攝人，通過側向移動來拍攝圖像。然而，在圖像拍攝人轉動以拍攝圖像的情況下，攝像機的轉動角會被反映到合成圖像的尺寸。因此，可以通過假設搖攝角或傾角與平移分量相同來執(zhí)行分割處理。例如，如果在攝像機拍攝圖像時過度執(zhí)行了搖攝操作，合成再現(xiàn)過程中的合成圖像可能會在水平方向變得太長。另一方面，如果在攝像機拍攝圖像時過度執(zhí)行了傾斜操作，合成再現(xiàn)過程中的合成圖像可能會在垂直方向變得太長。因此，有可能難以看到與當前幀或合成圖像相對應的圖像。因此，如果攝像機工作分量的平移分量的變化量變大，提供通過分割合成圖像而獲得的新合成圖像可以使得容易觀看與合成再現(xiàn)相關聯(lián)的運動圖像。
以下描述要滿足的條件是從起始幀(這里是包括分割之后的第一幀)起的再現(xiàn)時間超過閾值的情況。例如，如果將長時間拍攝的運動圖像顯示為一個全景合成圖像并且圖像拍攝空間中的圖像拍攝范圍特別窄，會出現(xiàn)許多交疊的幀，從而可能丟失一定量的與該運動圖像相關聯(lián)的信息。例如，如果出現(xiàn)許多交疊的幀，再現(xiàn)時間相對晚的圖像會被重寫到再現(xiàn)時間相對早的圖像上。這里，可能不會將再現(xiàn)時間相對早的圖像顯示為被包括在合成圖像中，從而劣化作為合成圖像的索引的功能以及可視性。因此，對特定時間段(例如5分鐘)的合成圖像進行強制分割，可以增強作為合成圖像的索引的功能和合成圖像的可視性。
應當指出，如果合成圖像的分割間隔的時間太短，運動圖像的可視性可能會降低，因而可以設定最短再現(xiàn)時間(例如5秒)。即，如果滿足與合成圖像的分割相關聯(lián)的上述預定條件，在分割合成圖像之后在最短再現(xiàn)時間的范圍內(nèi)，不執(zhí)行分割處理。
這樣，通過在運動圖像中的場景的不連續(xù)點等處分割合成圖像，可以增強作為待顯示的合成圖像的索引的功能，并且可以通過提供作為運動圖像的一致性來增強每個合成圖像的可視性。
應當指出，基于每個要素，可以獨立地執(zhí)行這些分割確定，或者僅當兩個或更多個要素同時滿足條件時才可以分割。此外，例如，在為構成運動圖像的每個圖像檢測仿射變換參數(shù)時，可以將不能獲得特征點之間的對應關系的檢測結果等與幀相關聯(lián)地存儲在元數(shù)據(jù)存儲塊210中，并且基于這些檢測結果，可以確定是否有必要進行校正或分割。即，如果超過閾值但是檢測結果表現(xiàn)為普通檢測，可以確定不必校正。
以下參照附圖詳細描述與圖像相關聯(lián)的仿射變換參數(shù)的一部分被校正以創(chuàng)建合成圖像的示例。
圖27示意性示出已經(jīng)合成了構成運動圖像文件500的圖像501到517的情況。圖27(a)示出使用與圖像501到517相關聯(lián)的仿射變換參數(shù)而合成圖像501到517的情況，圖27(b)和(c)示出使用與圖像501到517相關聯(lián)的仿射變換參數(shù)(其中一部分經(jīng)過校正)而合成了圖像501到517的示例。
在這些圖中，使用如下示例在構成運動圖像文件500的圖像501到517中，在拍攝圖像508到510的區(qū)段過程中一個人突然在攝像機前方穿過，通過陰影在內(nèi)部表示，使得不能對圖像508到510獲得正確的仿射變換參數(shù)。還假設，在圖像501到517中，與圖像508到510相對應的攝像機工作分量的平移分量和轉動分量中的至少一個超過閾值，圖像508到510滿足上述校正條件。
因此，在攝像機工作分量的平移分量和轉動分量中的至少一個超過閾值的情況下，如果使用與圖像508到510相關聯(lián)的仿射變換參數(shù)對圖像508到510進行仿射變換，那么可能無論攝像機的運動如何都對圖像508到510轉換。例如，如圖27(a)所述，無論攝像機的運動如何，圖像508到510可能被轉換大于其他圖像的轉換量。在這種情況下，在圖像501到517形成的合成圖像中，圖像508到510中的一部分在很大程度上不同于實際主題的一部分，從而很可能使正被再現(xiàn)的合成圖像和要最終形成的合成圖像很難看。因此，如果滿足上述校正條件，則對其仿射變換參數(shù)進行校正使得可以防止合成圖像在很大程度上不同于實際主題的一部分，從而使正被再現(xiàn)的合成圖像和要最終形成的合成圖像容易觀看。
對于仿射變換參數(shù)校正方法，在本發(fā)明實施例中描述將仿射變換參數(shù)的矩陣校正為單位矩陣的校正方法，和基于與交叉方向的圖像相關聯(lián)的仿射變換參數(shù)的矩陣來執(zhí)行線性插值的校正方法。
首先，將描述把仿射變換參數(shù)的矩陣校正為單位矩陣的校正方法。例如，令3個連續(xù)圖像是圖像n-1到n+1并且與這些圖像相關聯(lián)的仿射變換參數(shù)矩陣是Rn-1，Rn，Rn+1；那么，如果與圖像n相關聯(lián)的特征量滿足校正條件，轉換信息校正塊160進行Rn＝E(單位矩陣)的校正。例如，如圖27(a)所示，如果與圖像508到510相對應的攝像機工作分量的平移分量和轉動分量中的至少一個超過閾值，轉換信息校正塊160將這些仿射變換參數(shù)矩陣校正為單位矩陣。然后，通過校正后的單位矩陣來轉換圖像508到510。
這樣，由于使用單位矩陣來轉換圖像508到510，因此當相對于圖像507來看時，圖像508到510實際上不被轉換，從而在緊接的前一圖像507的相同位置被合成。即，如圖27(b)所示，將圖像508到510重寫在內(nèi)部陰影表示的圖像507的位置。應當指出，使用與圖像511相關聯(lián)的仿射變換參數(shù)，對緊接在圖像510之后的圖像511進行正常轉換。
以下描述基于與交叉方向的圖像相關聯(lián)的仿射變換參數(shù)的矩陣來執(zhí)行線性插值的校正方法。例如，令3個連續(xù)圖像是圖像n-1到n+1并且與這些圖像相關聯(lián)的仿射變換參數(shù)矩陣是Rn-1，Rn，Rn+1；那么，如果與圖像n相關聯(lián)的特征量滿足校正條件并且與圖像n-1，n+1相關聯(lián)的特征量不滿足校正條件，轉換信息校正塊160進行Rn＝{(Rn-1)+(Rn+1)}/2的校正。此外，例如，令5個連續(xù)圖像是圖像n-2到n+2并且與這些圖像相關聯(lián)的仿射變換參數(shù)矩陣是Rn-2到Rn+2；那么，如果與圖像n-1，n，n+1相關聯(lián)的特征量滿足校正條件并且與圖像n-2，n+2相關聯(lián)的特征量不滿足校正條件，轉換信息校正塊160進行Rn-1，Rn，Rn+1＝{(Rn-2)+(Rn+2)}/2的校正。即，使用例如與位于其特征量滿足校正條件的圖像之前和之后的兩個圖像相關聯(lián)的仿射變換參數(shù)矩陣的平均值作為線性插值矩陣，來進行校正。此外，如果其特征量滿足校正條件的圖像連續(xù)，提取作為位于這些連續(xù)圖像之前的圖像的先前圖像和作為位于這些連續(xù)圖像之后的圖像的后續(xù)圖像。應當指出，先前圖像和后續(xù)圖像是其特征量不滿足校正條件的圖像中的、沿交叉方向相鄰于上述連續(xù)圖像的圖像。然后，使用與所提取的先前圖像和后續(xù)圖像相關聯(lián)的仿射變換參數(shù)矩陣的平均值來校正。
例如，令與圖像507到511相關聯(lián)的仿射變換參數(shù)矩陣是A7到A11，那么，如果如圖27(a)所示與圖像508到510相對應的攝像機工作分量的平移分量和轉動分量中的至少一個超過閾值，轉換信息校正塊160使用與位于圖像508到510之前和之后的圖像507和511相關聯(lián)的矩陣A7、A11，來計算線性插值矩陣((A7+A11)/2)，從而基于該線性插值矩陣將A8到A10校正為＝(A7+A11)/2。然后，通過轉換后的矩陣(A7+A11)/2對圖像508到510依次地轉換。
即，由于使用線性插值矩陣對圖像508到510進行轉換，通過位于圖像508到510之前和之后的圖像507和圖像511的轉換量的平均值對圖像508到510進行轉換，并且如圖27(c)所示，例如，用轉換后的圖像重寫在內(nèi)部用陰影表示的圖像507，從而依次地合成了圖像508到510。接下來，使用與圖像511相關聯(lián)的仿射變換參數(shù)對緊接在圖像510之后的圖像511執(zhí)行普通轉換。
這樣，在對滿足校正條件的圖像的轉換中，對其仿射變換參數(shù)進行校正使得可以容易觀看正被再現(xiàn)的合成圖像或已創(chuàng)建的合成圖像。例如，在圖27(a)所示的圖像501到517中，如果與圖像508到510相關聯(lián)的仿射變換參數(shù)是不可靠的仿射變換參數(shù)(如果特征量超過閾值)，沿不同于攝像機運動的方向來轉換圖像507到517。為此，對與圖像508到510相關聯(lián)的仿射變換參數(shù)進行校正可以防止沿不同于攝像機運動的方向來轉換圖像507到517，從而使得容易觀看正被再現(xiàn)的合成圖像或已創(chuàng)建的合成圖像。
應當指出，在本發(fā)明實施例中，對于校正仿射變換參數(shù)的校正方法，描述了將仿射變換矩陣校正為單位矩陣的情況、或將仿射變換矩陣校正為線性插值矩陣的情況；還可以在將與直至預定數(shù)量個被校正圖像的圖像相關聯(lián)的仿射變換參數(shù)的矩陣依次地相加而進行了加法之后，計算矩陣的平均值，從而例如到該平均值矩陣的校正。
以下參照附圖詳細描述如下示例如果確定有必要分割，創(chuàng)建與先前圖像創(chuàng)建的合成圖像不同的合成圖像。
圖28示意性示出構成運動圖像的每個幀與為每個幀計算的場景變化分數(shù)之間的關系。圖28(a)所示的曲線圖以時間順序表示為構成運動圖像的每個幀計算的場景變化分數(shù)，橫軸表示圖像拍攝時間，縱軸表示場景變化分數(shù)。此外，虛線533表示確定與各幀相對應的圖像是否對應于場景變化點的閾值。即，如果場景變化分數(shù)超過虛線533，將與該場景變化分數(shù)相對應的圖像確定為對應于場景變化點的圖像。例如，在構成運動圖像530的幀1到20中，將表示為幀11(531)計算的場景變化分數(shù)的位置表示為點532。在此情況下，點532超過點533，因而將與幀11(531)相對應的圖像確定為對應于場景變化點。應當指出，在幀1到20中，除幀11(531)的場景變化分數(shù)以外的場景變化分數(shù)位于虛線533以下，因而不將其圖像確定為對應于場景變化點的圖像。應當指出，轉換信息校正塊160和合成圖像分割判定塊170執(zhí)行場景變化分數(shù)確定。
圖29示意性示出已經(jīng)合成了構成圖28(b)所示的運動圖像530的圖像551到567的情況。圖29(a)示出已經(jīng)使用與圖像551到567相關聯(lián)的仿射變換參數(shù)合成了圖像551到567的情況，圖29(b)和(c)示出為了合成而分割圖像551到567中的一部分的情況下的轉變。應當指出，構成圖29所示的運動圖像530的圖像551到567是與圖28(b)所示的幀1到17相對應的圖像，并且在內(nèi)部由陰影表示的圖像561是對應于圖28(b)所示的幀11(531)的圖像。即，圖像561是對應于場景變化點的圖像。此外，假設與圖像561相對應的攝像機工作分量平均值中的至少一個超過閾值。這里，在本例子中，如果與當前圖像相對應的場景變化分數(shù)超過閾值并且攝像機工作分量平均值中的至少一個超過閾值，不使用與該當前圖像相關聯(lián)的仿射變換參數(shù)對當前圖像進行轉換，與當前合成圖像分開地新創(chuàng)建合成圖像。
如圖28(a)所示，如果確定在幀11(531)中計算的場景變化分數(shù)超過閾值并且圖像561是對應于該場景變化點的圖像，則很有可能圖像561是在不同于圖像551到560的場景中拍攝的圖像，盡管被包括在運動圖像530中。此外，很有可能圖像561之后的圖像562到567是在不同于圖像551到560的場景中拍攝的圖像，盡管在與圖像561相同的場景中被拍攝。在此情況下，如圖29(a)所示，如果用與圖像551到560不同的場景中拍攝的圖像561到567重寫圖像551到560以進行合成，會形成包括兩個不同場景的合成圖像，使得在不相關的位置合成兩個不同場景，可能使得觀看者難以觀看。此外，由于與圖像561相對應的攝像機工作分量平均值中的至少一個超過閾值，因此對預定數(shù)量個幀檢測到高于特定水平的運動。
因此，如圖29(b)所示，如果在合成再現(xiàn)已經(jīng)進行到圖像560之后當前圖像變成滿足分割條件的圖像561，如圖29(c)所示擦除圖像551到560，圖像561保持在保持起始幀的位置。然后，依次地合成圖像561之后的圖像562到567。在本例子中，已經(jīng)描述，如果當前圖像滿足分割條件，則擦除當前圖像之前的圖像形成的合成圖像，并且從當前圖像開始合成再現(xiàn)；然而，還可以在顯示由當前圖像之前的圖像形成的合成圖像的情況下，執(zhí)行從當前圖像起的合成再現(xiàn)。即，每次執(zhí)行場景變化時，可以改變運動圖像被合成的位置，以依次地創(chuàng)建合成圖像。圖30示出分割處理。
圖30示意性示出已經(jīng)合成了構成圖28(b)所示的運動圖像530的圖像551到567的情況。應當指出，圖30(a)所示的合成圖像與圖29(a)所示的合成圖像相同。圖30(b)和(c)示出圖像551到567中的一部分被分割以用于合成，表示分割前的合成圖像被保留的情況下的轉變。應當指出，除了分割前的合成圖像被保留并且將當前圖像布置在與分割前的合成圖像的位置不同的位置以外，該處理與圖29所示的相同。
如圖30(b)所示，將與構成運動圖像的起始幀相對應的圖像的布置位置設定到xy坐標的原點，并將滿足分割條件的圖像的布置位置設定為xy坐標的布置位置580。然后，如圖30(b)所示，如果在合成再現(xiàn)已經(jīng)執(zhí)行到圖像560之后當前圖像變成滿足分割條件的圖像561，如圖30(c)所示，將圖像561保持在與圖像551到560形成的合成圖像的位置不同的布置位置580。接下來，在保留圖像551到560形成的合成圖像的情況下，依次地合成圖像561之后的圖像562到567。應當指出，還可以預先設定滿足分割條件的圖像的保持位置，或者基于合成圖像的大小來確定布置位置，使該布置位置不同于已經(jīng)形成的合成圖像的位置。此外，圖30描述了將已經(jīng)形成的合成圖像的右側設定為滿足分割條件的圖像的保持位置的例子；設定另一方向作為保持位置也是可行的。
以下示出攝像機實際拍攝的運動圖像形成的合成圖像的顯示例子。
圖31和圖32示出攝像機拍攝的運動圖像形成的合成圖像的示例。圖31示出在如下情況下運動圖像形成的合成圖像590，592，593當建筑物內(nèi)部的圖像拍攝人正在透過窗戶拍攝室外圖像時，圖像拍攝人通過相對快速的搖攝操作將攝像機方向改變到左側，以拍攝室內(nèi)圖像。即，在合成圖像590中，右側的圖像是相對早的圖像，左側的圖像是較晚的。此外，圖31(a)所示的虛線圓591包圍的圖像的一部分是通過相對快速的搖攝操作改變攝像機方向的一部分。因此，如果通過相對快速的搖攝操作改變了攝像機方向，有時候難以適當檢測執(zhí)行搖攝操作的位置的仿射變換參數(shù)，使得可能無論圖像拍攝空間如何都合成搖攝操作之前和之后的主題。例如，如圖31(a)所示，由虛線圓591包圍的部分合成了實際上彼此分開的室外主題和室內(nèi)主題。因此，執(zhí)行合成圖像的上述分割或仿射變換參數(shù)的上述校正使得可以根據(jù)主題來創(chuàng)建合成圖像。應當指出，在本例子中，假設在圖31(a)所示的虛線圓591包圍圖像的所述部分中滿足仿射變換參數(shù)校正條件和合成圖像分割條件。
圖31(b)和(c)示出執(zhí)行上述合成圖像分割的情況下的轉變。應當指出，圖31(b)所示的合成圖像592是與圖31(a)所示的合成圖像590的右側部分相對應的合成圖像。這里，在形成圖31(b)所示的合成圖像592的過程中，在圖31(a)所示的虛線圓591包圍的圖像部分中滿足合成圖像分割條件，因而擦除圖31(b)所示的合成圖像592。然后，將滿足合成圖像分割條件的圖像顯示在起始幀的布置位置，并依次地合成隨后的圖像以形成合成圖像593。這樣，在合成了包括不同場景的運動圖像以進行再現(xiàn)的情況下，如果發(fā)生從第一場景到另一場景的變化，可以再現(xiàn)與第一場景不同的另一合成圖像，使得用戶可以根據(jù)場景來觀看合成圖像。應當指出，在本例子中，擦除已經(jīng)形成的合成圖像，然后再現(xiàn)另一合成圖像；在保留已經(jīng)形成的合成圖像的情況下再現(xiàn)另一合成圖像也是可行的。
與圖31所示的情況一樣，圖32示出在如下情況下運動圖像形成的合成圖像590，594，595當建筑物內(nèi)部的圖像拍攝人正在透過窗戶拍攝室外圖像時，圖像拍攝人通過相對快速的搖攝操作將攝像機方向改變到左側，以拍攝室內(nèi)圖像。應當指出，合成圖像590和虛線圓591與圖31(a)所示的相同。
圖32(b)和(c)示出執(zhí)行上述仿射變換參數(shù)校正和合成圖像分割的情況下的顯示轉變。應當指出，圖32(b)所示的合成圖像594是與圖32(a)所示的合成圖像590的右側部分相對應的合成圖像。這里，在形成圖32(b)所示的合成圖像594的過程中，在圖32(a)所示的虛線圓591包圍的圖像部分中滿足仿射變換參數(shù)校正條件和合成圖像分割條件，因而執(zhí)行仿射變換參數(shù)，但是擦除圖32(b)所示的合成圖像594。然后，將滿足合成圖像分割條件的圖像顯示在起始幀的布置位置，并依次地合成隨后的圖像以形成合成圖像595。在此情況下，緊接在分割之后，如果滿足合成圖像分割條件，不執(zhí)行分割，但是，如果滿足仿射變換參數(shù)校正條件，則依次地校正仿射變換參數(shù)。這樣，圖32(c)所示的合成圖像595不同于圖31(c)所示的合成圖像593，因為依次地執(zhí)行仿射變換參數(shù)校正。即，由于在圖32(a)所示虛線圓591包圍的圖像的左側部分中執(zhí)行仿射變換參數(shù)校正，因此與圖31(c)所示的合成圖像593相比可以減小水平方向的變化，從而適當校正執(zhí)行相對快速的搖攝操作的圖像部分。
應當指出，對于圖31(c)和FIG.32(c)所示的合成圖像593、595，室外主題的一部分被合成在右側，但是例如可以通過調(diào)節(jié)閾值來合成室外主題和室內(nèi)主題。應當指出，在再現(xiàn)運動圖像時，用時間軸上較晚的圖像重寫在時間軸上較早的圖像以進行合成。因此，在執(zhí)行分割的位置附近，緊接在分割之后的場景圖像交疊在緊接在分割之前的場景圖像上，使得可以使緊接在分割之前的場景較不模糊。這樣，在合成以再現(xiàn)包括不同場景的運動圖像時，如果出現(xiàn)從第一場景到另一場景的變化，則可以將另一場景的合成圖像再現(xiàn)為與第一場景不同的合成圖像，從而允許用戶根據(jù)場景觀看合成圖像。此外，可以對由于相對快速的搖攝操作而不適當檢測的仿射變換參數(shù)進行校正，以減少合成圖像中的不必要的變化。應當指出，在本例子中，擦除已經(jīng)形成的合成圖像，然后再現(xiàn)另一合成圖像；還可以在保留已經(jīng)形成的合成圖像的情況下再現(xiàn)另一合成圖像。
以下參照附圖描述本發(fā)明實施例的圖像處理設備100的操作。
圖33示出在本發(fā)明實施例中圖像處理設備100的運動圖像再現(xiàn)處理的處理過程流程圖。應當指出，在本例子中，如果從合成圖像分割判定塊170輸出了表示與當前幀相對應的圖像要被分割以供顯示的信息，擦除與當前幀之前的幀相對應的圖像的合成圖像。
首先，在圖像存儲器220中分配比構成運動圖像的圖像的大小更大的工作緩沖區(qū)(步驟S921)。接著，文件捕獲塊140從運動圖像存儲塊200獲取通過操作接受塊270選擇的運動圖像文件，然后從元數(shù)據(jù)存儲塊210獲取與這些運動圖像文件相關聯(lián)的元數(shù)據(jù)文件(步驟S922)。
接著，文件捕獲塊140對運動圖像文件解碼以獲得作為構成運動圖像文件的幀之一的當前幀(步驟S923)。接著，文件捕獲塊140從元數(shù)據(jù)文件獲取與所捕獲的當前幀相對應的仿射變換參數(shù)(步驟S924)。這里，如果當前幀是起始幀，獲得單位矩陣的仿射變換參數(shù)。
接著，特征量提取塊150計算與當前幀相對應的圖像的場景變化分數(shù)(步驟S925)。接著，攝像機工作分量計算單元155根據(jù)與當前幀相對應的仿射變換參數(shù)來計算各攝像機工作分量(步驟S926)。接著，攝像機工作分量平均值計算單元157基于與當前幀相對應的各攝像機工作分量和攝像機工作分量保持單元156中保持的與從緊接的前一幀起直至預定數(shù)量個幀的每個幀相對應的各攝像機工作分量，來計算攝像機工作分量的平均值(步驟S927)。接著，攝像機工作分量積分值計算單元158基于與當前幀相對應的各攝像機工作分量和攝像機工作分量保持單元156中保持的與從起始幀起直至緊接的前一幀的每個幀相對應的各攝像機工作分量，來計算攝像機工作分量的積分值(步驟S928)。
然后，執(zhí)行轉換信息校正處理(步驟S940)。應當指出，將參照圖34詳細描述該執(zhí)行轉換信息校正處理。接著，執(zhí)行合成圖像分割判定處理(步驟S950)。應當指出，將參照圖35詳細描述該合成圖像分割判定處理。
接著，圖像轉換塊180使用仿射變換參數(shù)對與當前幀相對應的圖像進行仿射變換(步驟S929)。這里，如果從合成圖像分割判定塊170輸出了表示與當前幀相對應的圖像要被分割以供再現(xiàn)的信息，使用單位矩陣來執(zhí)行仿射變換，使得不轉換實際圖像。此外，如果未從合成圖像分割判定塊170輸出表示與當前幀相對應的圖像要被分割以供再現(xiàn)的信息，并且轉換信息校正塊160校正了仿射變換參數(shù)，則使用校正后的仿射變換參數(shù)來執(zhí)行仿射變換。另一方面，如果未從合成圖像分割判定塊170輸出表示與當前幀相對應的圖像要被分割以供再現(xiàn)的信息，并且未由轉換信息校正塊160校正仿射變換參數(shù)，則使用與當前幀相對應的仿射變換參數(shù)來執(zhí)行仿射變換。應當指出，如果當前幀是起始幀，使用單位矩陣來執(zhí)行仿射變換，使得不轉換實際圖像。
接著，圖像合成塊190用與仿射變換后的當前幀相對應的圖像重寫與該當前幀之前的各幀相對應的各圖像的合成圖像，以進行合成，并將合成有與當前幀相對應的圖像的圖像存儲在圖像存儲器220中(步驟S930)。這里，如果從合成圖像分割判定塊170輸出了表示與當前幀相對應的圖像要被分割以供再現(xiàn)的信息，則僅將與當前幀相對應的圖像存儲在圖像存儲器220中，因為擦除了與當前幀之前的幀相對應的各圖像的合成圖像。
接著，顯示區(qū)域取出塊230使用仿射變換參數(shù)來確定與指定的顯示放大倍數(shù)和位置相對應的顯示區(qū)域的位置和大小(步驟S931)。接著，顯示區(qū)域取出塊230從圖像存儲器220取出包括在顯示區(qū)域中的合成圖像(步驟S932)。接著，顯示區(qū)域取出塊230將從圖像存儲器220取出的合成圖像存儲在顯示存儲器240中(步驟S933)。
接著，顯示區(qū)域取出塊230使用用于當前幀的轉換的仿射變換參數(shù)矩陣和用于確定顯示區(qū)域的仿射變換參數(shù)矩陣的逆矩陣，來確定當前圖像在顯示存儲器240中的位置(步驟S934)。接著，圖像合成塊190用仿射變換后的當前圖像重寫在顯示存儲器240中存儲的合成圖像，以進行合成(步驟S935)。接著，將顯示存儲器240中存儲的合成圖像顯示在顯示塊260(步驟S936)。這里，如果從合成圖像分割判定塊170輸出了表示與當前幀相對應的圖像要被分割以供再現(xiàn)的信息，僅將與當前幀相對應的圖像顯示在顯示塊260中，因為擦除了與當前幀之前的幀相對應的各圖像的合成圖像。
接著，確定當前幀在構成輸入的運動圖像文件的幀中是否為結尾幀(步驟S937)。如果當前幀不是結尾幀(步驟S937)，本過程返回到步驟S923以重復運動圖像合成再現(xiàn)處理(步驟S923到S936)。另一方面，如果當前幀是結尾幀(步驟S973)，釋放所分配的工作緩沖區(qū)(步驟S938)，以結束運動圖像再現(xiàn)處理。
圖34是表示本發(fā)明實施例的圖像處理設備100的運動圖像再現(xiàn)處理的處理過程的轉換信息校正處理過程(圖33所示的步驟S940的處理過程)的流程圖。在本例子中，基于與當前幀相對應的攝像機工作分量中的至少一個是否超過閾值以及場景變化分數(shù)是否超過閾值，來校正與當前幀相對應的仿射變換參數(shù)。此外，描述將待校正仿射變換參數(shù)矩陣校正為單位矩陣的例子。
首先，轉換信息校正塊160確定與當前幀相對應的攝像機工作分量中的至少一個是否超過閾值(步驟S941)。如果與當前幀相對應的攝像機工作分量中的至少一個并不超過閾值(步驟S941)，轉換信息校正塊160確定為當前幀計算出的場景變化分數(shù)是否超過閾值(步驟S942)。如果為當前幀計算出的場景變化不分數(shù)超過閾值(步驟S942)，不必校正與當前幀相對應的仿射變換參數(shù)，因而結束轉換信息校正處理的操作。
另一方面，如果與當前幀相對應的攝像機工作分量中的至少一個超過閾值(步驟S941)，或者為當前幀計算出的場景變化分數(shù)超過閾值(步驟S942)，轉換信息校正塊160將與當前幀相對應的仿射變換參數(shù)矩陣校正為單位矩陣(步驟S943)。應當指出，如果使用線性插值矩陣而非單位矩陣來執(zhí)行校正并且如果在步驟S941或S942中發(fā)現(xiàn)超過了閾值，則在步驟S943使用與當前幀的交叉方向的各個幀相對應的仿射變換參數(shù)來計算線性插值矩陣，并使用線性插值矩陣來執(zhí)行校正。
圖35是表示本發(fā)明實施例的圖像處理設備100的運動圖像再現(xiàn)處理的處理過程的合成圖像分割判定處理過程(圖33所示的步驟S950的處理過程)的流程圖。在本例子中，根據(jù)與當前幀相對應的攝像機工作分量平均值中的至少一個是否超過閾值并且場景變化分數(shù)是否超過閾值、與當前幀相對應的攝像機工作分量積分值中的至少一個是否超過閾值、以及再現(xiàn)時間是否超過閾值，來確定是否有必要分割與當前幀相對應的圖像。
首先，合成圖像分割判定塊170確定與當前幀相對應的攝像機工作分量平均值中的至少一個是否超過閾值(步驟S951)。如果與當前幀相對應的攝像機工作分量平均值中的至少一個并不超過閾值(步驟S951)，則本過程進行到步驟S953。另一方面，如果與當前幀相對應的攝像機工作分量平均值中的至少一個超過閾值(步驟S951)，合成圖像分割判定塊170確定為當前幀計算出的場景變化分數(shù)是否超過閾值(步驟S952)。
如果為當前幀計算出的場景變化分數(shù)不超過閾值(步驟S952)，則合成圖像分割判定塊170確定與當前幀相對應的攝像機工作分量積分值中的至少一個是否超過閾值(步驟S953)。如果與當前幀相對應的攝像機工作分量積分值中的至少一個并不超過閾值(步驟S953)，則合成圖像分割判定塊170確定從圖像存儲器220中保持的當前合成圖像中包括的圖像的起始幀起的再現(xiàn)時間是否超過了閾值(步驟S954)。如果從圖像存儲器220中保持的當前合成圖像中包括的圖像的起始幀起的再現(xiàn)時間尚未超過閾值(步驟S954)，則不必分割與當前幀相對應的圖像，從而結束合成圖像分割判定處理的操作。
另一方面，如果與當前幀相對應的攝像機工作分量平均值中的至少一個超過閾值并且為當前幀計算出的場景變化分數(shù)超過閾值(步驟S951，S952)，如果與當前幀相對應的攝像機工作分量積分值中的至少一個超過閾值(步驟S953)，或者如果從圖像存儲器220中保持的當前合成圖像中包括的圖像的起始幀起的再現(xiàn)時間已經(jīng)超過閾值(步驟S954)，則圖像合成塊190擦除圖像存儲器220中保持的合成圖像(步驟S955)。接著，圖像轉換塊180將與當前幀相對應的仿射變換參數(shù)矩陣改變成單位矩陣(步驟S956)。
以下參照附圖詳細描述本發(fā)明實施例的多核處理器的特征點提取處理和光流計算處理。
圖36是本發(fā)明實施例的多核處理器800的示例結構。多核處理器800是在一個CPU(中央處理器)上安裝有兩個或更多個不同類型的處理器核的處理器。即，為了保持每個分立的處理器的處理性能并且實現(xiàn)簡單的結構，多核處理器800具有兩種類型的處理器核，一種類型用于所有用途(應用)，另一類型在一定程度上被優(yōu)化以用于預定用途。
多核處理器800具有控制處理器核801、算術處理器核(#1)811到(#8)818以及總線802，并連接到主存儲器781。此外，多核處理器800連接到其他裝置，如圖形裝置782和I/O裝置783。對于多核處理器800，例如可以使用“單元(單元寬帶引擎)”，其為本申請人等開發(fā)的微型處理器。
控制處理器核801是主要執(zhí)行頻繁的線程切換(例如操作系統(tǒng))的控制處理器核。應當指出，參照圖37詳細描述控制處理器核801。
算術處理器核(#1)811到(#8)818是擅長多媒體處理的簡單且小型的算術處理器核。應當指出，參照圖38詳細描述算術處理器核(#1)811到(#8)818。
總線802是稱為EIB(器件互連總線)的快速總線，控制處理器核801以及各算術處理器核(#1)811到(#8)818連接到總線802，各處理器核經(jīng)由總線802執(zhí)行數(shù)據(jù)訪問。
連接到總線802的主存儲器781存儲要裝載到各處理器核中的各種程序，用于各處理器核的處理所需的數(shù)據(jù)和經(jīng)各處理器核處理的數(shù)據(jù)。
圖形裝置782是連接到總線802的圖形裝置，并且I/O裝置783是連接到總線802的外部輸入/輸出裝置。
圖37示出本發(fā)明實施例的控制處理器核801的示例性結構?？刂铺幚砥骱?01具有控制處理器單元803和控制處理器存儲系統(tǒng)806。
控制處理器單元803是提供執(zhí)行控制處理器801的算術運算處理的核的單元，并且具有基于微型處理器架構的指令集，和作為主高速緩存的指令高速緩存804和數(shù)據(jù)高速緩存805。例如，指令高速緩存804是32KB指令高速緩存，數(shù)據(jù)高速緩存805是32KB數(shù)據(jù)高速緩存。
控制處理器存儲系統(tǒng)806是控制從控制處理器單元803到主存儲器781的數(shù)據(jù)訪問的單元，并且具有用于加速來自控制處理器單元803的存儲器訪問的512KB的二級高速緩存807。
圖38示出本發(fā)明實施例的算術處理器核(#1)811的示例性結構。算術處理器核(#1)811具有算術處理器單元820和存儲器流控制器822。應當指出，算術處理器核(#1)812到算術處理器核(#1)818與算術處理器核(#1)811的結構相同，因而略去對這些算術處理器核的描述。
算術處理器單元820是提供用于算術處理器核(#1)811的算術處理的核的單元，并且具有與控制處理器核801的控制處理器單元803的指令集不同的獨特指令集。此外，算術處理器單元820具有本地儲存器(LSLocal Store)821。
本地儲存器821是專用于算術處理器單元820的存儲器，并且是唯一可以從算術處理器單元820直接查詢的存儲器。作為本地儲存器821，例如可以使用256K字節(jié)存儲大小的存儲器。應當指出，對于算術處理器單元820訪問主存儲器781或另一算術處理器核(算術處理器核(#1)812到(#8)818)上的本地儲存器，算術處理器單元820必須使用存儲器流控制器822。
存儲器流控制器822是用于與主存儲器781以及其他算術處理器核之間傳送數(shù)據(jù)的單元，并且稱為MFC(Memory Flow Controller)。這里，通過稱為通道的接口，算術處理器單元820請求存儲器流控制器822來數(shù)據(jù)傳送等。
至于上述多核處理器800的編程模型，提出了各種模型。作為這些編程模型中的一個最基本的模型，已知如下模型其中在控制處理器核801執(zhí)行主程序，并在算術處理器核(#1)811到(#8)818執(zhí)行子程序。在本發(fā)明的實施例中，參照附圖詳細描述使用該模型的多核處理器800的算術操作方法。
圖39示意性示出本發(fā)明實施例的多核處理器800的算術運算方法。在本例子中，在控制處理器核801使用數(shù)據(jù)785執(zhí)行任務784時，各個算術處理器核使用用于處理任務786所需的數(shù)據(jù)787(數(shù)據(jù)785的一部分)來執(zhí)行任務786，任務786是任務784的一部分。
如圖所示，如果控制處理器核801使用數(shù)據(jù)785執(zhí)行任務784，則各個算術處理器核使用用于處理任務786所需的數(shù)據(jù)787(數(shù)據(jù)785的一部分)來執(zhí)行任務786，任務786是任務784的一部分。在本發(fā)明實施例中，各個算術處理器核為構成運動圖像的各個幀執(zhí)行算術運算處理。
如圖所示，多核處理器800的算術運算允許并行使用算術處理器核(#1)811到(#8)818在相對短時間內(nèi)執(zhí)行相對大量的算術運算，并且在算術處理器核(#1)811到(#8)818使用SIMD(單指令/多數(shù)據(jù))運算允許利用少量指令來執(zhí)行相對大量的算術運算。應當指出，參照圖43到圖46詳細描述SIMD運算。
圖40示意性示出在本發(fā)明實施例的多核處理器800執(zhí)行的算術運算中的程序和數(shù)據(jù)流。這里，算術處理器核(#1)811用作算術處理器核(#1)811到(#8)818的描述示例；對于算術處理器核(#1)812到(#8)818也是如此。
首先，控制處理器核801向算術處理器核(#1)811發(fā)送指令以將主存儲器781存儲的算術處理器核程序823裝載到算術處理器核(#1)811的本地儲存器821。因此，算術處理器核(#1)811將主存儲器781存儲的算術處理器核程序823裝載到本地儲存器821。
接著，控制處理器核801指示算術處理器核(#1)811執(zhí)行本地儲存器821存儲的算術處理器核程序825。
接著，算術處理器核(#1)811將用于執(zhí)行本地儲存器821存儲的算術處理器核程序825所需的數(shù)據(jù)824從主存儲器781傳送到本地儲存器821。
接著，基于本地儲存器821存儲的算術處理器核程序825，算術處理器核(#1)811對從主存儲器781傳送的數(shù)據(jù)826操作，并根據(jù)條件執(zhí)行處理，將處理結果存儲在本地儲存器821中。
接著，算術處理器核(#1)811將基于本地儲存器821存儲的算術處理器核程序825而執(zhí)行的處理結果從本地儲存器821傳送到主存儲器781。
接著，算術處理器核(#1)811將算術運算處理的結束通知給控制處理器核801。
以下參照附圖詳細描述使用多核處理器800執(zhí)行的SIMD算術運算。這里，SIMD算術運算表示使用一條指令來執(zhí)行處理兩條或更多條數(shù)據(jù)的算術運算方法。
圖41(a)示意性示出使用每條指令執(zhí)行處理兩條或更多條數(shù)據(jù)的算術運算方法的概要。圖41(b)所示的算術運算方法是一種普通算術運算方法，例如稱為標量算術運算。例如，將數(shù)據(jù)″A1″加到數(shù)據(jù)″B1″的指令提供了處理結果數(shù)據(jù)″C1″。此外，按相同方式執(zhí)行其他3個算術運算；即，分別通過加法指令將同一列的數(shù)據(jù)″A2，″″A3″以及″A4″加到同一列的數(shù)據(jù)″B2，″″B3″以及″B4″，提供數(shù)據(jù)″C2，″″C3″以及″C4″作為處理結果。這樣，在標量運算中，對兩條或更多條數(shù)據(jù)的處理要求發(fā)出相應的指令。
圖41(b)示意性示出使用單條指令執(zhí)行兩條或更多條數(shù)據(jù)的處理的SIMD算術運算的概要。這里，有時將用于SIMD算術運算的數(shù)據(jù)集合(虛線827和828包圍的多條數(shù)據(jù))稱為矢量數(shù)據(jù)。并且可以將使用這種矢量數(shù)據(jù)執(zhí)行的SIMD算術運算稱為矢量運算。
例如，將虛線827包圍的矢量數(shù)據(jù)(″A1，″″A2，″″A3″以及″A4″)加到虛線828包圍的矢量數(shù)據(jù)(″B1，″″B2，″″B3″以及″B4″)的單條指令提供了處理結果″C1，″″C2，″″C3″以及″C4″(虛線829包圍的數(shù)據(jù))。這樣，在SIMD運算中，可以使用單條指令來執(zhí)行對兩條或更多條數(shù)據(jù)的處理，從而以高速執(zhí)行算術運算處理。此外，多核處理器800的控制處理器核801執(zhí)行與這些SIMD運算相關聯(lián)的指令，并且對該指令的兩條或更多條數(shù)據(jù)的算術運算處理由算術處理器核(#1)811到(#8)818并行執(zhí)行。
另一方面，例如，SIMD運算不能執(zhí)行這樣的處理對數(shù)據(jù)″A1″和″B1″的加法，對數(shù)據(jù)″A2″和″B2″的減法，對數(shù)據(jù)″A3″和″B3″的乘法，對數(shù)據(jù)″A4″和″B4″的除法。即，不能執(zhí)行對兩條或更多條數(shù)據(jù)執(zhí)行不同類型處理的SIMD運算處理。
以下參照附圖詳細描述在執(zhí)行特征點提取處理和光流計算處理時的SIMD運算的特定算術運算方法。
圖42示出本發(fā)明實施例的控制處理器核801或算術處理器核(#1)811執(zhí)行的程序的示例結構。這里，僅例示了算術處理器核(#1)811；算術處理器核(#1)812到(#8)818中也執(zhí)行相同的處理。
控制處理器核801執(zhí)行作為解碼851、交織853以及調(diào)整大小854的解碼852。解碼852是對運動圖像文件解碼的處理。交織853是去除每個解碼幀的交織的處理。調(diào)整大小854是減小每個去除交織的幀的處理。
此外，控制處理器核801執(zhí)行發(fā)送指令857和859和接收最終結束858和860，作為算術處理器核管理856。發(fā)送指令857和859是發(fā)送用于算術處理器核(#1)811到(#8)818的SIMD運算執(zhí)行指令的處理，接收結束通知858和860是從算術處理器核(#1)811到(#8)818接收對上述指令的SIMD運算的結束通知的處理。此外，控制處理器核801執(zhí)行攝像機工作參數(shù)計算處理862，作為攝像機工作檢測861。攝像機工作參數(shù)計算處理862是基于算術處理器核(#1)811到(#8)818通過SIMD運算計算的光流，為每個幀計算仿射變換參數(shù)的處理。
算術處理器核(#1)811執(zhí)行Sobel濾波處理864、第二矩矩陣計算處理865、可分離濾波處理866、Calc Harris處理867、膨脹(dilation)處理868以及排序處理869，作為特征點提取處理863。
Sobel濾波處理864是計算使用P2濾波器(x方向)獲得的x方向值dx和使用Y方向濾波器獲得的y方向值dy的處理。應當指出，參照圖43到圖46詳細描述對x方向值dx的計算。
第二矩矩陣計算處理是使用Sobel濾波處理864計算的dx和dy來計算值dx2，dy2以及dx·dy的處理?？煞蛛x濾波處理866是對第二矩矩陣計算處理865計算出的dx2，dy2以及dx·dy的圖像應用高斯濾波器(模糊處理)的處理。
Calc Harris處理867是使用可分離濾波處理866應用模糊處理后的值dx2，dy2以及dx·dy來計算Calc Harris分數(shù)的處理。通過例如以下公式來計算Calc Harris分數(shù)S。
S＝(dx2×dy2-dx·dy×dx·dy)/dx2+dy2+ε) 膨脹處理868是對Calc Harris處理867計算的Calc Harris分數(shù)構成的圖像執(zhí)行模糊處理的處理。
排序處理869是如下處理按Calc Harris處理867計算的CalcHarris分數(shù)的降序對像素排列，從較高的分數(shù)中拾取預定數(shù)量的像素，并提取所拾取的點作為特征點。
算術處理器核(#1)811執(zhí)行制作錐形圖像處理871和計算光流處理872，作為光流計算處理。
制作錐形圖像處理871是從攝像機拍攝圖像時的圖像大小起依次地創(chuàng)建減小到預定數(shù)量級別的圖像的處理，所創(chuàng)建的圖像稱為多分辨率圖像。
計算光流處理872是為制作錐形圖像處理871創(chuàng)建的多分辨率圖像中的最小圖像計算光流的處理，利用計算結果，為分辨率高一個級別的圖像再次計算光流，重復該處理，直到達到最大圖像。
這樣，例如，對于圖2等所示的特征點提取單元121執(zhí)行的特征點提取處理和光流計算單元122執(zhí)行的光流計算處理，可以使用多核處理器800通過執(zhí)行SIMD運算的并行處理來獲得處理結果。應當指出，圖42等所示的特征點提取處理和光流計算處理僅是例示性的，因而可以使用對構成運動圖像的圖像的各種類型的濾波處理和閾值處理構成的其他處理來執(zhí)行多核處理器800的SIMD操作。
圖43示出在使用Sobel濾波器830對本發(fā)明實施例的主存儲器781存儲的圖像數(shù)據(jù)(與構成攝像機拍攝的運動圖像的一個幀相對應的圖像數(shù)據(jù))進行濾波處理的情況下的數(shù)據(jù)結構和處理流程概要。應當指出，以簡化方式(水平像素數(shù)量為32)示出圖中所示的主存儲器781存儲的圖像數(shù)據(jù)。此外，Sobel濾波器830是3×3邊沿提取濾波器。如圖所示，通過Sobel濾波器830對主存儲器781存儲的圖像進行濾波，并且輸出濾波器處理結果。利用使用SIMD運算一次獲得4個濾波結果的示例來描述該例子。
圖44示出本發(fā)明實施例在使用Sobel濾波器830對主存儲器781存儲的圖像數(shù)據(jù)執(zhí)行SIMD運算的情況下的數(shù)據(jù)流概要。首先，將包括主存儲器781存儲的圖像數(shù)據(jù)的第一行在內(nèi)的預定數(shù)量行(例如3行)DMA(直接存儲器訪問)傳送到算術處理器核的本地儲存器821的第一緩沖區(qū)831，并且將通過對DMA傳送到第一緩沖區(qū)831的每行進行移位而獲得的預定數(shù)量行DMA傳送到第二緩沖區(qū)832。這樣，使用雙緩沖區(qū)可以隱藏由于DMA傳送而導致的延遲。
圖45示出在使用本發(fā)明實施例的Sobel濾波器830進行的濾波處理中從第一緩沖區(qū)831存儲的圖像數(shù)據(jù)創(chuàng)建9個向量的向量創(chuàng)建方法的概要。如圖44所示，在DMA傳送之后，根據(jù)第一緩沖區(qū)831存儲的圖像數(shù)據(jù)創(chuàng)建9個向量。更具體地，在第一緩沖區(qū)831存儲的圖像數(shù)據(jù)的行1中，根據(jù)從左角起的4條數(shù)據(jù)來創(chuàng)建向量數(shù)據(jù)841，根據(jù)通過將前4條數(shù)據(jù)向右側移位1而獲得的4條數(shù)據(jù)來創(chuàng)建向量數(shù)據(jù)842，然后根據(jù)通過將前4條數(shù)據(jù)向右側移位1而獲得的4條數(shù)據(jù)來創(chuàng)建向量數(shù)據(jù)843。此外，對于行2和行3，同樣根據(jù)4條數(shù)據(jù)來創(chuàng)建向量數(shù)據(jù)844到849。
圖46示出使用本發(fā)明實施例的Sobel濾波器830執(zhí)行濾波處理的情況下使用SIMD指令對向量數(shù)據(jù)841到849執(zhí)行向量計算的向量計算方法的概要。更具體地，對向量數(shù)據(jù)841到843依次地執(zhí)行SIMD運算以獲得向量A。在SIMD運算中，首先執(zhí)行SIMD運算″″-1″×″向量數(shù)據(jù)841″″。接著，執(zhí)行SIMD運算″″0″×″向量數(shù)據(jù)842″″，并執(zhí)行SIMD運算″″ 1″×″向量數(shù)據(jù)843″″。這里，對于″″0″×″向量數(shù)據(jù)842″″，已經(jīng)確定運算結果為″0，″，因而可以略去該運算。對于″″1″×″向量數(shù)據(jù)843″″，已經(jīng)確定運算結果與″向量數(shù)據(jù)843″相同，因此可以略去該運算。
接著，通過SIMD運算執(zhí)行運算結果″″-1″×″向量數(shù)據(jù)841″″與運算結果″″0″×″向量數(shù)據(jù)842″″之間的加法處理。接著，通過SIMD運算執(zhí)行該加法處理的結果與運算結果″″1″×″向量數(shù)據(jù)843″″之間的加法處理。這里，例如，可以通過SIMD運算執(zhí)行數(shù)據(jù)結構″向量數(shù)據(jù)1″×″向量數(shù)據(jù)2″+″向量數(shù)據(jù)3″的計算。因此，對于向量A的計算，可以略去例如對″″0″×″向量數(shù)據(jù)842″″和″″1″×″向量數(shù)據(jù)843″″的SIMD運算，并且可以通過SIMD運算一次執(zhí)行″″-1″×″向量數(shù)據(jù)841″+″向量數(shù)據(jù)843″″。
此外，同樣，對向量數(shù)據(jù)844到846執(zhí)行SIMD運算，以獲得向量B，對向量數(shù)據(jù)847到849執(zhí)行SIMD運算，以獲得向量C。
接著，對通過SIMD運算獲得的向量A到C執(zhí)行SIMD運算以獲得向量D。這樣，執(zhí)行SIMD運算可以提供對與向量元素數(shù)量相等的結果(在本例子中為4條數(shù)據(jù))的集體獲取。
在計算向量D之后，通過將要取出的數(shù)據(jù)的位置向右側移位1，對圖44所示的第一緩沖區(qū)831存儲的圖像的數(shù)據(jù)重復相同的處理，從而對每條數(shù)據(jù)的向量D依次地執(zhí)行計算。并且，當已經(jīng)完成了直至圖44所示的第一緩沖區(qū)831存儲的圖像數(shù)據(jù)的右端的處理時，將處理結果DMA傳送到主存儲器781。
接著，在主存儲器781存儲的圖像數(shù)據(jù)中，將通過將傳送到第二緩沖區(qū)832的行向下移位一行而獲得的預定數(shù)量行DMA傳送到第一緩沖區(qū)831，并且對第二緩沖區(qū)832存儲的圖像數(shù)據(jù)重復上述處理。然后，重復相同的處理，直到達到了主存儲器781存儲的圖像數(shù)據(jù)行中的最下一行。
同樣，通過SIMD運算執(zhí)行特征點提取和光流計算的大部分處理，可以實現(xiàn)高速圖像處理。
圖47以時間順序示出本發(fā)明實施例的攝像機工作參數(shù)計算處理流的概要。如上所述，使用多核處理器800執(zhí)行SIMD運算，例如，允許并行執(zhí)行對運動圖像的解碼和分析處理。因此，可以使對構成運動圖像的一個幀的分析時間比解碼時間要短。
例如，該圖中，t1表示控制處理器核801對構成運動圖像的一個幀執(zhí)行解碼處理所需的時間，t2表示算術處理器核(#1)811到(#8)818對構成運動圖像的一個幀執(zhí)行特征點提取處理所需的時間，t3表示算術處理器核(#1)811到(#8)818對構成運動圖像的一個幀執(zhí)行光流計算處理所需的時間，t4表示控制處理器核801對構成運動圖像的一個幀執(zhí)行攝像機工作參數(shù)檢測處理所需的時間。應當指出，t5表示算術處理器核(#1)811到(#8)818對構成運動圖像的一個幀執(zhí)行攝像機工作檢測處理所需的時間。此外，t6表示控制處理器核801對算術處理器核(#1)811到(#8)818執(zhí)行管理所需的時間。例如，可以將t1設定為″25.0ms，″，t2為″7.9ms″，t3為″6.7ms″，t4為″1.2ms″，t5為″15.8ms″。
以下參照附圖詳細描述本發(fā)明實施例的使用元數(shù)據(jù)文件的運動圖像內(nèi)容再現(xiàn)。
圖48(a)是示意性示出作為記錄介質(zhì)例子的藍光盤(注冊商標)880的俯視圖，圖48(b)示意性示出記錄到藍光盤880的數(shù)據(jù)881到884。記錄到藍光盤880的有運動圖像內(nèi)容882，其為攝像機等拍攝的運動圖像；運動圖像內(nèi)容882的子標題883；對運動內(nèi)容882分析而獲得的元數(shù)據(jù)(例如，圖5(b)所示的元數(shù)據(jù)文件)884；以及與本發(fā)明實施例中的運動圖像再現(xiàn)相關聯(lián)的Java(注冊商標)程序881。
圖48(c)示意性示出能夠再現(xiàn)藍光盤880的藍光盤再現(xiàn)機(藍光盤播放器)890的內(nèi)部結構。這里，能夠再現(xiàn)藍光盤的藍光盤再現(xiàn)機890可以執(zhí)行Java(注冊商標)程序，因為Java(注冊商標)VM(Java(注冊商標)虛擬機)和庫893作為標準連同CPU 891和OS 892一起安裝。因此，將藍光盤880裝載在藍光盤再現(xiàn)機890上允許藍光盤再現(xiàn)機890加載Java(注冊商標)程序881以執(zhí)行。因此，當再現(xiàn)運動內(nèi)容882時，藍光盤再現(xiàn)機890可以使用本發(fā)明實施例的元數(shù)據(jù)884來再現(xiàn)運動圖像。即，可以在不使用專用PC軟件等的情況下在所有藍光再現(xiàn)機實現(xiàn)本發(fā)明實施例的運動圖像再現(xiàn)。
在本發(fā)明實施例中，描述了校正仿射變換參數(shù)的例子，以提高合成圖像的質(zhì)量；然而，還可以校正與運動圖像相關聯(lián)的其他信息以提高合成圖像的質(zhì)量。例如，可以使用與通用數(shù)字攝像機提供的白平衡和曝光校正等相關聯(lián)的元數(shù)據(jù)來提高全景圖像的質(zhì)量。
例如，在拍攝運動圖像時，獲得每個幀中的曝光校正參數(shù)作為元數(shù)據(jù)并與該幀相關聯(lián)地存儲。然后，當再現(xiàn)運動圖像時，基于所獲得的元數(shù)據(jù)執(zhí)行了曝光校正的幀被提取，并且圖像處理對執(zhí)行該曝光校正的幀執(zhí)行逆校正，以將該幀校正到曝光校正之前的幀。結果，可以防止創(chuàng)建在合成圖像的不同位置上曝光很不相同的合成圖像。
此外，例如，可以對利用自動白平衡能力拍攝的運動圖像執(zhí)行校正。例如，當對運動圖像進行合成以再現(xiàn)時，執(zhí)行白平滑的逆校正。結果，可以防止整個合成圖像變模糊，因為構成運動圖像的幀具有不同的白平衡。
這樣，運動圖像是預定時段的兩個或更多個幀的集合，并且各幀的圖像拍攝條件大多不同，因為優(yōu)先進行普通再現(xiàn)。因此，對這些圖像質(zhì)量的逆轉換允許創(chuàng)建高質(zhì)量的一個全景合成圖像。應當指出，在通過圖像處理消除曝光校正時，例如可以使圖像全部白化，因而優(yōu)選的根據(jù)每個運動圖像的內(nèi)容來執(zhí)行校正。
如上所述，在本發(fā)明實施例中，在再現(xiàn)運動圖像時，將與當前顯示的圖像之前的幀相對應的每個圖像與當前圖像合成以顯示，使得可以與作為圖像拍攝中心的主題一起容易地觀看在至少一部分時間區(qū)域中拍攝的背景等。因此，例如，如果用戶想要觀看在至少一部分時間區(qū)域中拍攝的背景等，可以在不執(zhí)行回退(rewind)操作或暗示(cue)操作的情況下在當前顯示圖像的同時觀看背景。此外，在觀看攝像機拍攝的運動圖像時，觀看人可以容易理解運動圖像的內(nèi)容并且可以容易地識別運動圖像的空間展度。
即，可以使用過去的幀在空間上展開運動圖像以供觀看。因此，例如，可以提供一種在再現(xiàn)兩個或更多個運動圖像的同時創(chuàng)建全景圖像的觀看方法，使觀看人可以非常愉悅地觀看運動圖像。此外，對于當前圖像，可以依次地顯示被存儲在圖像存儲器220中之前的圖像，從而顯示相對精細的圖像。此外，如果出現(xiàn)場景變化或者未適當計算仿射變換參數(shù)，執(zhí)行仿射變換參數(shù)校正或合成圖像分割，從而防止失敗地合成運動圖像，并提高全景形成的合成圖像的質(zhì)量。
此外，在本發(fā)明實施例中，描述了使用預先檢測的仿射變換參數(shù)來執(zhí)行再現(xiàn)和顯示的例子；還可以在再現(xiàn)時計算仿射變換參數(shù)并使用這些仿射變換參數(shù)來進行再現(xiàn)和顯示。例如，基于多核處理器通過SIMD操作計算仿射變換參數(shù)允許在解碼一個幀的處理時間內(nèi)計算一個幀的仿射變換參數(shù)。因此，即使在再現(xiàn)未計算其仿射變換參數(shù)的運動圖像時，也可以在計算仿射變換參數(shù)的同時執(zhí)行運動圖像的再現(xiàn)，使得可以高速執(zhí)行在空間上展開運動圖像的觀看。
此外，在本發(fā)明實施例中，描述了如下示例將兩個或更多個運動圖像文件存儲在運動圖像存儲塊200中，并將與每個運動圖像相對應的仿射變換參數(shù)與對應的運動圖像和幀相關聯(lián)地存儲在元數(shù)據(jù)存儲塊210中，作為元數(shù)據(jù)文件；還可以預先將運動圖像和與其相對應的仿射變換參數(shù)相互關聯(lián)地存儲在運動圖像存儲塊中作為運動圖像文件，并且在再現(xiàn)時從運動圖像文件提取各項信息以供使用。
此外，例如，在高視覺TV(電視)中，當觀看以SD(標準清晰度)圖像質(zhì)量拍攝的運動圖像或者觀看數(shù)字靜態(tài)攝像機或移動電話的運動圖像存儲功能拍攝的運動圖像時，如果以原始圖像大小顯示運動圖像，高視覺TV的像素數(shù)量不可以是多數(shù)。此外，當執(zhí)行拉近顯示時，往往有圖像粗糙度變顯著的情況。因此，本發(fā)明實施例描述的顯示允許使高視覺TV的像素數(shù)量占多數(shù)來觀看，而不使圖像粗糙度變顯著。
應當指出，可以將圖像合成塊190合成的合成圖像記錄到記錄介質(zhì)等以用于其他再現(xiàn)和顯示目的。例如，可以將合成圖像預先存儲在元數(shù)據(jù)存儲塊210的元數(shù)據(jù)文件中作為代表性圖像，以用于再現(xiàn)時搜索。這樣，如果使用合成圖像作為代表性圖像，還可以對構成運動圖像文件的幀的一定數(shù)量幀重復合成圖像創(chuàng)建處理，以創(chuàng)建合成圖像，而不是對構成運動圖像文件的所有幀重復合成圖像創(chuàng)建處理，從而使用如此創(chuàng)建的合成圖像作為代表性圖像。此外，在本發(fā)明實施例中，已經(jīng)描述了從構成運動圖像的起始幀起重復合成圖像創(chuàng)建處理以創(chuàng)建合成圖像的示例；還可以從結尾幀到起始幀重復合成圖像創(chuàng)建處理以創(chuàng)建合成圖像。在此情況下，時間軸上較早的圖像被重寫到在時間軸上較晚的圖像以進行合成。因此，在進行分割的相鄰處，分割之前的場景可以變得顯著。因此，例如，在創(chuàng)建用作代表性圖像的合成圖像的情況下，可以不從所有幀創(chuàng)建合成圖像，使得如果執(zhí)行分割，可以將分割附近的幾個幀從合成中排除。
此外，如果基于在圖像拍攝空間(對應于要形成的合成圖像的空間)中的交疊比率來提取運動圖像的索引圖像，本發(fā)明實施例也是適用的。即，可以使用校正或分割之后的圖像來確定交疊比率。
此外，在本發(fā)明實施例中，已經(jīng)描述了保留與當前幀之前的幀相對應的合成圖像以顯示的例子；隨著時間經(jīng)過而依次地擦除該合成圖像也是可行的。在此情況下，執(zhí)行呈現(xiàn)使得在擦除合成圖像時保留其殘留圖像，也是可行的。此外，可以執(zhí)行呈現(xiàn)使得用彩色來顯示與當前幀相對應的圖像，并且隨著時間經(jīng)過從彩色到深褐色地顯示與當前幀之前的幀相對應的合成圖像。此外，當分割之后再現(xiàn)場景時，可以使分割之前的場景的合成圖像逐漸淡化。結果，可以對每個合成圖像執(zhí)行平滑的場景切換。應當指出，在此情況下，新場景的起始圖像可以回到畫面的固定點。
此外，在本發(fā)明實施例中，已經(jīng)描述了將圖像處理設備用于顯示圖像合成塊合成的圖像的示例；還可以將本發(fā)明實施例應用于具有圖像輸出裝置的圖像處理設備，圖像輸出裝置用于輸出將圖像合成塊合成的圖像顯示在另一圖像顯示設備的圖像信息。此外，本發(fā)明實施例可應用于能夠再現(xiàn)運動圖像的運動圖像再現(xiàn)設備或者諸如數(shù)字攝像機等的能夠再現(xiàn)已拍攝運動圖像的圖像拍攝設備。
此外，在本發(fā)明實施例中，已經(jīng)描述了攝像機拍攝的運動圖像；還可以例如將本發(fā)明實施例應用于對攝像機拍攝的運動圖像進行編輯的情況下的編輯運動圖像以及帶有動畫合成的運動圖像。此外，在本發(fā)明實施例中，已經(jīng)描述了顯示全部日志圖像的一部分的例子；還可以僅顯示兩個或更多個轉換后的當前圖像。即，可以僅依次地顯示最近保持在圖像存儲器中的兩個或更多個當前圖像。
此外，在本發(fā)明實施例中，已經(jīng)描述了如下情況當運動對象的大小相對于構成運動圖像的圖像的面積來說相對較小時，獲得攝像機運動，并使用攝像機運動來再現(xiàn)運動圖像。然而，當運動體的大小相對于構成運動圖像的圖像的面積來說相對較大時，也可適用本發(fā)明實施例。例如，當將離開車站的火車拍攝為中心主題，火車與被拍攝圖像面積之比很大，并且計算上述仿射變換參數(shù)時，計算火車的運動。在此情況下，通過利用火車運動，可以按上述合成圖像創(chuàng)建方法來創(chuàng)建合成圖像。這樣，可以計算攝像機與拍攝圖像時的主題之間的相對運動量相關聯(lián)的運動信息，用作對構成運動圖像的圖像進行轉換的轉換信息。
應當指出，盡管使用特定術語描述本發(fā)明的與權利要求書范圍內(nèi)的創(chuàng)造性的特定項目相關聯(lián)的優(yōu)選實施例，但是這種描述僅出于例示目的，應當理解，可以在不脫離所附權利要求書的精神或范圍的情況下作出變化和改變。
即，在權利要求1，運動圖像存儲裝置例如對應于運動圖像存儲塊200。轉換信息存儲裝置例如對應于元數(shù)據(jù)存儲塊210。此外，圖像保持裝置例如對應于圖像存儲器220。此外，特征量提取裝置例如對應于特征量提取塊150。此外，圖像轉換裝置例如對應于圖像轉換塊180。此外，判定裝置例如對應于合成圖像分割判定塊170。此外，圖像合成裝置例如對應于圖像合成塊190。
此外，在權利要求8，運動圖像存儲裝置例如對應于運動圖像存儲塊200。此外，轉換信息存儲裝置例如對應于元數(shù)據(jù)存儲塊210。此外，圖像保持裝置例如對應于圖像存儲器220。此外，判定裝置例如對應于合成圖像分割判定塊170。此外，圖像轉換裝置例如對應于圖像轉換塊180。此外，圖像合成裝置例如對應于圖像合成塊190。
此外，在權利要求9，運動圖像存儲裝置例如對應于運動圖像存儲塊200。此外，轉換信息存儲裝置例如對應于元數(shù)據(jù)存儲塊210。此外，圖像保持裝置例如對應于圖像存儲器220。此外，特征量提取裝置例如對應于特征量提取塊150。此外，轉換信息校正裝置例如對應于轉換信息校正塊160。此外，圖像轉換裝置例如對應于圖像轉換塊180。此外，圖像合成裝置例如對應于圖像合成塊190。
此外，在權利要求13，特征量提取裝置例如對應于特征量提取塊150。此外，判定裝置例如對應于合成圖像分割判定塊170。此外，圖像合成裝置例如對應于圖像轉換塊180和圖像合成塊190。
此外，在權利要求14，運動圖像存儲裝置例如對應于運動圖像存儲塊200。此外，轉換信息存儲裝置例如對應于元數(shù)據(jù)存儲塊210。此外，圖像保持裝置對應于圖像存儲器220。此外，特征量提取裝置例如對應于特征量提取塊150。此外，圖像轉換裝置例如對應于圖像轉換塊180。此外，判定裝置例如對應于合成圖像分割判定塊170。此外，圖像合成裝置例如對應于圖像合成塊190。此外，圖像控制裝置例如對應于顯示控制塊250。
此外，在權利要求15或16，圖像轉換過程例如對應于步驟S929。此外，判定過程例如對應于步驟S950。此外，圖像合成過程例如對應于步驟S930。
應當指出，可以將本發(fā)明實施例描述的處理過程理解為具有這些過程序列的方法，或用于使計算機執(zhí)行這些過程序列的程序，或記錄程序的記錄介質(zhì)。
權利要求
1、一種圖像處理設備，包括
運動圖像存儲裝置，用于存儲由圖像拍攝設備拍攝的已拍攝運動圖像；
轉換信息存儲裝置，用于為在所述已拍攝運動圖像的時間軸上相對于構成所述已拍攝運動圖像的第一已拍攝圖像位于所述第一已拍攝圖像之后的每個第二已拍攝圖像，存儲用于轉換所述第二已拍攝圖像的轉換信息；
圖像保持裝置，用于保持包括在所述時間軸上位于所述第二已拍攝圖像之前的每個已拍攝圖像的日志圖像；
特征量提取裝置，用于提取與所述第二已拍攝圖像相關聯(lián)的特征量；
圖像轉換裝置，用于基于所述轉換信息對所述第二已拍攝圖像進行轉換；
判定裝置，用于基于所述提取的特征量來判定合成所述第二已拍攝圖像與所述日志圖像是否必要；以及
圖像合成裝置，如果所述判定裝置判定合成所述第二已拍攝圖像與所述日志圖像是必要的，合成所述轉換后的第二已拍攝圖像與所述圖像保持裝置中保持的所述日志圖像，并將合成后的圖像保持在所述圖像保持裝置中作為新日志圖像，以及如果所述判定裝置判定合成所述第二已拍攝圖像與所述日志圖像是不必要的，在不合成所述第二已拍攝圖像與所述圖像保持裝置中保持的所述日志圖像的情況下將所述第二已拍攝圖像保持在所述圖像保持裝置中。
2、根據(jù)權利要求1所述的圖像處理設備，其中如果所述判定裝置判定不執(zhí)行對所述第二已拍攝圖像與所述日志圖像的合成，則所述圖像合成裝置擦除所述圖像保持裝置中保持的所述日志圖像，并將所述第二已拍攝圖像保持在所述圖像保持裝置中作為新日志圖像。
3、根據(jù)權利要求1所述的圖像處理設備，其中如果所述判定裝置判定不執(zhí)行對所述第二已拍攝圖像與所述日志圖像的合成，則所述圖像合成裝置將所述第二已拍攝圖像安排在與所述日志圖像在所述圖像保持裝置中的安排位置不同的位置，并將所述第二已拍攝圖像保持在所述圖像保持裝置中作為新日志圖像。
4、根據(jù)權利要求1所述的圖像處理設備，其中所述特征量提取裝置通過對構成所述已拍攝圖像的每個圖像的特定變化進行檢測來提取特征量，以及
所述判定裝置通過將所述提取的特征量與預定閾值比較來判定所述第二已拍攝圖像是否對應于場景變化點，如果發(fā)現(xiàn)所述第二已拍攝圖像對應于所述場景變化點，判定不將所述第二已拍攝圖像與所述日志圖像合成在一起。
5、根據(jù)權利要求1所述的圖像處理設備，其中所述轉換信息包括與拉近/拉遠、平移以及轉動相關聯(lián)的要素，
所述特征量提取裝置基于與所述第二已拍攝圖像相關聯(lián)的所述轉換信息來提取平移分量、轉動分量以及拉近/拉遠分量；以及
所述判定裝置通過將所述提取的所述平移分量、所述轉動分量以及所述拉近/拉遠分量的至少一個與預定閾值比較，來判定所述合成是否必要。
6、根據(jù)權利要求5所述的圖像處理設備，其中所述特征量提取裝置基于與從所述時間軸上位于所述第二已拍攝圖像之前預定數(shù)量的已拍攝圖像直至所述第二已拍攝圖像的每一個已拍攝圖像相關聯(lián)的轉換信息，來提取平移分量、轉動分量以及拉近/拉遠分量，以及計算所述提取的平移分量、所述轉動分量以及所述拉近/拉遠分量中的每一個的平均值，以及
所述判定裝置通過將平移分量、轉動分量以及拉近/拉遠分量的所述計算平均值中的至少一個與預定閾值比較，來判定所述合成是否必要。
7、根據(jù)權利要求5所述的圖像處理設備，其中所述特征量提取裝置基于與從所述時間軸上位于所述第二已拍攝圖像之前預定數(shù)量的已拍攝圖像直至所述第二已拍攝圖像的每一個已拍攝圖像相關聯(lián)的轉換信息，來提取平移分量、轉動分量以及拉近/拉遠分量，以及計算所述提取的平移分量、所述轉動分量以及所述拉近/拉遠分量中的每一個的積分值，以及
所述判定裝置通過將平移分量、轉動分量以及拉近/拉遠分量的所述計算積分值中的至少一個與預定閾值比較，來判定所述合成是否必要。
8、一種圖像處理設備，包括
運動圖像存儲裝置，用于存儲圖像拍攝設備拍攝的已拍攝運動圖像；
轉換信息存儲裝置，用于為在所述已拍攝運動圖像的時間軸上相對于構成所述已拍攝運動圖像的第一已拍攝圖像位于所述第一已拍攝圖像之后的每個第二已拍攝圖像，存儲用于轉換所述第二已拍攝圖像的轉換信息；
圖像保持裝置，用于保持包括在所述時間軸上位于所述第二已拍攝圖像之前的每個已拍攝圖像的日志圖像；
判定裝置，用于基于從所述日志圖像保持在所述圖像保持裝置中起經(jīng)過的時間來判定合成所述第二已拍攝圖像與所述日志圖像是否必要；
圖像轉換裝置，用于基于所述轉換信息轉換所述第二已拍攝圖像；
圖像合成裝置，如果所述判定裝置判定所述第二已拍攝圖像與所述日志圖像的合成是必要的，合成所述轉換后的第二已拍攝圖像與所述圖像保持裝置中保持的所述日志圖像，并將合成后的圖像保持在所述圖像保持裝置中作為新日志圖像，以及如果所述判定裝置判定所述第二已拍攝圖像與所述日志圖像的合成是不必要的，在不合成所述第二已拍攝圖像與所述圖像保持裝置中保持的所述日志圖像的情況下將所述第二已拍攝圖像保持在所述圖像保持裝置中。
9、一種圖像處理設備，包括
運動圖像存儲裝置，用于存儲圖像拍攝設備拍攝的已拍攝運動圖像；
轉換信息存儲裝置，用于為在所述已拍攝運動圖像的時間軸上相對于構成所述已拍攝運動圖像的第一已拍攝圖像位于所述第一已拍攝圖像之后的每個第二已拍攝圖像，存儲用于轉換所述第二已拍攝圖像的轉換信息；
圖像保持裝置，用于保持包括在所述時間軸上位于所述第二已拍攝圖像之前的每個已拍攝圖像的日志圖像；
特征量提取裝置，用于提取與所述第二已拍攝圖像相關聯(lián)的特征量；
轉換信息校正裝置，用于基于所述提取的特征量來校正所述轉換信息；
圖像轉換裝置，用于基于所述校正后的所述轉換信息對所述第二已拍攝圖像進行轉換；以及
圖像合成裝置，用于合成所述轉換后的第二已拍攝圖像與所述圖像保持裝置中保持的所述日志圖像，并將合成后的圖像保持在所述圖像保持裝置中作為新日志圖像。
10、根據(jù)權利要求9所述的圖像處理設備，其中所述轉換信息校正裝置通過將所述提取的特征量與預定閾值比較來判定對所述轉換信息的校正是否必要，以及如果發(fā)現(xiàn)有必要對所述轉換信息進行校正，校正所述轉換信息，以及
如果所述轉換信息已經(jīng)被校正，所述圖像轉換裝置基于所述校正后的轉換信息對所述第二已拍攝圖像進行轉換，以及如果所述轉換信息未被校正，基于所述轉換信息對所述第二已拍攝圖像進行轉換。
11、根據(jù)權利要求10所述的圖像處理設備，其中如果發(fā)現(xiàn)有必要校正所述轉換信息，所述轉換信息校正裝置將所述轉換信息校正為預定轉換信息。
12、根據(jù)權利要求10所述的圖像處理設備，其中如果發(fā)現(xiàn)有必要校正所述轉換信息，所述轉換信息校正裝置基于與在所述時間軸上位于所述第二已拍攝圖像之前的已拍攝圖像相關聯(lián)的轉換信息和與位于所述第二已拍攝圖像之后的已拍攝圖像相關聯(lián)的轉換信息，對所述轉換信息進行校正。
13、一種圖像處理設備，包括
特征量提取裝置，用于提取與構成圖像拍攝設備所拍攝的已拍攝運動圖像的已拍攝圖像相關聯(lián)的特征量；
判定裝置，用于基于所述提取的特征量來判定是否必要對合成圖像進行分割；以及
圖像合成裝置，如果所述判定裝置發(fā)現(xiàn)不執(zhí)行對合成圖像的分割，基于在圖像拍攝時所述圖像拍攝設備的運動信息合成所述已拍攝圖像與已經(jīng)形成的合成圖像，以及如果所述判定裝置發(fā)現(xiàn)要執(zhí)行對合成圖像的分割，基于所述運動信息來創(chuàng)建與已經(jīng)形成的合成圖像不同的新合成圖像。
14、一種運動圖像再現(xiàn)設備，包括
運動圖像存儲裝置，用于存儲由所述圖像拍攝設備拍攝的已拍攝運動圖像；
轉換信息存儲裝置，用于為所述已拍攝運動圖像的時間軸上相對于構成所述已拍攝運動圖像的第一已拍攝圖像位于所述第一已拍攝圖像之后的每個第二已拍攝圖像，存儲用于轉換所述第二已拍攝圖像的轉換信息；
圖像保持裝置，用于保持包括在所述時間軸上位于所述第二已拍攝圖像之前的每一個已拍攝圖像的日志圖像；
特征量提取裝置，用于提取與所述第二已拍攝圖像相關聯(lián)的特征量；
圖像轉換裝置，用于基于所述轉換信息轉換所述第二已拍攝圖像；
判定裝置，用于基于所述提取的特征量來判定合成所述第二已拍攝圖像與所述日志圖像是否必要；以及
圖像合成裝置，如果所述判定裝置判定所述第二已拍攝圖像與所述日志圖像的合成有必要，合成所述轉換后的第二已拍攝圖像與所述圖像保持裝置中保持的所述日志圖像，并將合成后的圖像保持在所述圖像保持裝置中作為新日志圖像，以及如果所述判定裝置判定所述第二已拍攝圖像與所述日志圖像的合成不必要，在不合成所述第二已拍攝圖像與所述圖像保持裝置中保持的所述日志圖像的情況下將所述第二已拍攝圖像保持在所述圖像保持裝置中；以及
顯示控制裝置，用于將所述圖像保持裝置中保持的新日志圖像或所述第二已拍攝圖像依次地顯示在顯示裝置上。
15、一種圖像處理設備中的圖像處理方法，該圖像處理設備具有運動圖像存儲裝置，用于存儲圖像拍攝設備拍攝的已拍攝運動圖像；轉換信息存儲裝置，用于為所述已拍攝運動圖像的時間軸上相對于構成所述已拍攝運動圖像的第一已拍攝圖像位于所述第一已拍攝圖像之后的每一個第二已拍攝圖像，存儲用于轉換所述第二已拍攝圖像的轉換信息；圖像保持裝置，用于保持包括在所述時間軸上位于所述第二已拍攝圖像之前的每一個已拍攝圖像的日志圖像；以及特征量提取裝置，用于提取與所述第二已拍攝圖像相關聯(lián)的特征量，所述圖像處理方法包括
圖像轉換過程，用于基于所述轉換信息轉換所述第二已拍攝圖像；
判定過程，用于基于所述提取的特征量來判定合成所述第二已拍攝圖像與所述日志圖像是否必要；以及
圖像合成過程，如果所述判定過程判定所述第二已拍攝圖像與所述日志圖像的合成有必要，合成所述轉換后的第二已拍攝圖像與所述圖像保持裝置中保持的所述日志圖像，并將合成后的圖像保持在所述圖像保持裝置中作為新日志圖像，以及如果所述判定過程判定所述第二已拍攝圖像與所述日志圖像的合成不必要，在不合成所述第二已拍攝圖像與所述圖像保持裝置中保持的所述日志圖像的情況下將所述第二已拍攝圖像保持在所述圖像保持裝置中。
16、一種圖像處理設備中的程序，該圖像處理設備具有運動圖像存儲裝置，用于存儲圖像拍攝設備拍攝的已拍攝運動圖像；轉換信息存儲裝置，用于為所述已拍攝運動圖像的時間軸上相對于構成所述已拍攝運動圖像的第一已拍攝圖像位于所述第一已拍攝圖像之后的每一個第二已拍攝圖像，存儲用于轉換所述第二已拍攝圖像的轉換信息；圖像保持裝置，用于保持包括在所述時間軸上位于所述第二已拍攝圖像之前的每一個已拍攝圖像的日志圖像；以及特征量提取裝置，用于提取與所述第二已拍攝圖像相關聯(lián)的特征量，所述程序用于使計算機執(zhí)行
圖像轉換過程，用于基于所述轉換信息轉換所述第二已拍攝圖像；
判定過程，用于基于所述提取的特征量來判定合成所述第二已拍攝圖像與所述日志圖像是否必要；以及
圖像合成過程，如果所述判定過程判定所述第二已拍攝圖像與所述日志圖像的合成有必要，合成所述轉換后的第二已拍攝圖像與所述圖像保持裝置中保持的所述日志圖像，并將合成后的圖像保持在所述圖像保持裝置中作為新日志圖像，以及如果所述判定過程判定所述第二已拍攝圖像與所述日志圖像的合成不必要，在不合成所述第二已拍攝圖像與所述圖像保持裝置中保持的所述日志圖像的情況下將所述第二已拍攝圖像保持在所述圖像保持裝置中。
全文摘要
本發(fā)明涉及圖像處理設備、運動圖像再現(xiàn)設備、及其處理方法和程序。在觀看圖像拍攝設備拍攝的運動圖像時，容易理解運動圖像的內(nèi)容。特征量提取塊150提取與已拍攝圖像相關聯(lián)的特征量。如果特征量超過閾值，轉換信息校正塊160校正轉換信息。如果特征量超過閾值，合成圖像分割判定塊170判定不合成已拍攝圖像和日志圖像。如果校正了轉換信息，圖像轉換塊180通過校正轉換信息對已拍攝圖像進行轉換；如果未校正轉換信息，圖像轉換塊通過轉換信息校正已拍攝圖像。如果判定要合成已拍攝圖像和日志圖像，圖像合成塊190將轉換的已拍攝圖像與圖像存儲器220的日志圖像合成；如果判定不合成已拍攝圖像和日志圖像，圖像合成塊擦除圖像存儲器220中的日志圖像，并將轉換后的已拍攝圖像保持在圖像存儲器220中。
文檔編號G06T3/00GK101611629SQ20088000188
公開日2009年12月23日 申請日期2008年12月10日 優(yōu)先權日2007年12月26日
發(fā)明者福本康隆, 王啟宏, 倉田雅友, 鶴見辰吾 申請人:索尼株式會社