專利名稱：圖像處理裝置、圖像處理方法和計算機程序的制作方法
技術領域：
本發(fā)明涉及圖像處理裝置、圖像處理方法和計算機程序，更具體地說，本發(fā)明涉及 顯示伴隨圖像中的特征點顯示的附加信息的圖像處理裝置、圖像處理方法和計算機程序。
背景技術：
為了使由諸如數(shù)字攝像機或數(shù)字靜止照相機的成像裝置成像的圖像成為更加令 人感興趣的圖像，用戶對圖像添加注釋或聲音效果以產(chǎn)生新穎的圖像。例如，可以在圖像中 的人的臉部附近設置球狀物以寫入注釋，或者可以添加印戳(stamp)以突顯人的運動。在現(xiàn)有技術中，當將另一圖像添加到運動圖像內容時，用戶指示了在確認運動圖 像內容的內容的同時根據(jù)時間變化改變附加圖像的顯示位置，以便根據(jù)運動圖像的運動改 變附加圖像。此外，用戶產(chǎn)生了與運動圖像內容的時間變化同步的改變的圖像，以便根據(jù)運 動圖像的運動改變附加圖像。引用列表專利文獻非專利文獻 1 =Decorate and Upload images (eDeco)，[參見 2009 年 4 月 7 日]，互 聯(lián)網(wǎng) <URL::http://support, d-imaging. sony. co. jp/www/disoft/jp/pmb/feature/web/ edeco. html>

發(fā)明內容
技術問題然而，例如，難以將圖像添加到圖像中的運動的人上，并且，現(xiàn)有的方法會花費大 量的精力和時間去設定附加圖像顯示。當設定多個附加圖像時，操作復雜，并且，這種問題 變得更加嚴重。鑒于上述問題而作出了本發(fā)明，本發(fā)明的目的在于提供一種新的、改進的并且能 夠簡單地將附加圖像添加到運動圖像中的運動對象的圖像處理裝置、圖像處理方法和計算 機程序。解決問題的方案根據(jù)本發(fā)明的第一方面，為了實現(xiàn)上述目的，提供了一種圖像處理裝置，該圖像處 理裝置包括特征點檢測單元，用于從運動圖像數(shù)據(jù)檢測特征點；關聯(lián)處理單元，用于使特 征點與附加信息相關聯(lián)，所述特征點是基于用于選擇顯示伴隨所述特征點顯示的附加信息 的一個或至少兩個特征點的特征點選擇信息選擇的；運動分析單元，用于通過運動圖像數(shù) 據(jù)的再現(xiàn)分析變化的特征點的行為；以及數(shù)據(jù)生成單元，用于基于指示由運動分析單元分 析的特征點的行為的運動信息、和指示根據(jù)特征點的行為改變添加到特征點的附加信息的 變化模式的顯示情景，生成指示改變與特征點相關聯(lián)的附加信息的顯示的變化內容的數(shù) 據(jù)。根據(jù)本發(fā)明，當伴隨運動圖像數(shù)據(jù)中的特征點顯示附加信息時，由數(shù)據(jù)生成單元基于指示特征點的行為的運動信息和指示變化模式的顯示情景自動生成數(shù)據(jù)，以根據(jù)特征 點的行為改變添加到特征點的附加信息。因此，可以簡單地將附加信息添加到運動圖像中 的運動對象。本發(fā)明的圖像處理裝置可以包括輸入單元，特征點選擇信息被輸入到該輸入單 元。這里，圖像處理裝置可以包括顯示情景存儲單元，該顯示情景存儲單元用于存儲由特征 點的行為模式以及添加到與所述行為模式匹配的特征點的附加信息的顯示方法指示的一 個或至少兩個顯示情景。將用于選擇改變添加到所選擇的特征點的附加信息的顯示情景的 顯示情景選擇信息進一步輸入到輸入單元。當數(shù)據(jù)生成單元針對由特征點選擇信息選擇的 特征點，從運動信息檢測到與所選擇的顯示情景的特征點的行為模式匹配的特征點的行為 時，數(shù)據(jù)生成單元生成使用在顯示情景中限定的顯示方法來顯示附加信息的數(shù)據(jù)。另外，本發(fā)明的圖像處理裝置可以包括附加信息存儲單元，用于存儲一個或至少 兩個附加信息。在這種情況下，將用于選擇伴隨特征點的附加信息的選擇信息輸入到輸入 單元。此外，圖像處理裝置還可以包括手繪數(shù)據(jù)輸入單元，通過手繪將添加到運動圖像數(shù)據(jù) 的附加信息輸入到該手繪數(shù)據(jù)輸入單元。數(shù)據(jù)生成單元可以基于從運動信息識別的特征點在運動圖像數(shù)據(jù)的圖像中的位 置生成改變與特征點相關聯(lián)的附加信息的顯示位置的數(shù)據(jù)。此外，數(shù)據(jù)生成單元可以基于 從運動信息識別的特征點相對于運動圖像數(shù)據(jù)的顯示尺寸的尺寸生成改變與特征點相關 聯(lián)的附加信息的尺寸的數(shù)據(jù)。此外，數(shù)據(jù)生成單元可以根據(jù)從運動信息識別的特征點的臉部表情的變化生成顯 示與特征點相關聯(lián)的附加信息的數(shù)據(jù)。此外，數(shù)據(jù)生成單元可以根據(jù)從運動信息識別的特 征點的移動速度生成改變與特征點相關聯(lián)的附加信息的顯示的數(shù)據(jù)。當從輸入單元輸入了 選擇至少兩個特征點的選擇信息時，數(shù)據(jù)生成單元可以根據(jù)特征點之間的距離生成改變與 特征點相關聯(lián)的附加信息的顯示尺寸的數(shù)據(jù)。根據(jù)本發(fā)明的第二方面，為了實現(xiàn)上述目的，提供了一種圖像處理方法，該圖像處 理方法包括下述步驟從運動圖像數(shù)據(jù)檢測特征點；使一個或至少兩個特征點與附加信息 相關聯(lián)，所述特征點顯示伴隨所述特征點顯示的附加信息；通過運動圖像數(shù)據(jù)的再現(xiàn)分析 變化的特征點的行為；以及基于指示所分析的特征點的行為的運動信息、和指示根據(jù)特征 點的行為改變添加到特征點的附加信息的變化模式的顯示情景，生成指示改變與特征點相 關聯(lián)的附加信息的顯示的變化內容的數(shù)據(jù)。此外，為了實現(xiàn)上述目的，根據(jù)本發(fā)明的另一方面，提供一種使計算機起圖像處理 裝置的作用的計算機程序。該計算機程序存儲在計算機中所包含的存儲裝置中，并且由包 含在計算機中的CPU讀取和執(zhí)行，從而使得計算機起圖像處理裝置的作用。此外，還提供一 種記錄有計算機程序的計算機可讀記錄介質。例如，記錄介質是磁盤、光盤等。本發(fā)明的有益效果根據(jù)本發(fā)明，如上所述，可以提供能夠簡單地將附加信息添加到運動圖像中的運 動對象的圖像處理裝置、圖像處理方法和計算機程序。


圖1是示出根據(jù)本發(fā)明實施例的圖像處理裝置的配置的功能框圖。5
圖2是示出根據(jù)本實施例的元數(shù)據(jù)存儲單元的配置例子的說明圖。圖3A是示出根據(jù)本實施例的將手繪數(shù)據(jù)添加到運動圖像內容的處理的流程圖。圖;3B是示出根據(jù)本實施例的將手繪數(shù)據(jù)添加到運動圖像內容的處理的流程圖。圖4是示出根據(jù)本實施例的顯示情景的附加數(shù)據(jù)顯示處理的流程圖。圖5是示出根據(jù)本實施例的再現(xiàn)期間的手繪處理的流程圖。圖6是示出繪畫菜單屏幕的例子的說明圖。圖7是示出手繪繪畫屏幕的例子的說明圖。圖8是示出模式繪畫屏幕(pattern drawing screen)的一個例子的說明圖。圖9是示出運動設定屏幕的例子的說明圖。圖10是示出特征點選擇屏幕的例子的說明圖。圖11是示出特征點選擇屏幕的另一例子的說明圖。圖12是示出根據(jù)運動圖像內容的特征點的行為改變附加數(shù)據(jù)的顯示的一個例子 的說明圖。圖13是示出顯示情景選擇屏幕的一個例子的說明圖。圖14是示出這樣的顯示情景的一個內容例子的說明圖 笑臉時顯示附加數(shù)據(jù)。圖15是示出這樣的顯示情景的一個內容例子的說明圖 改變附加數(shù)據(jù)的顯示位置。圖16是示出這樣的顯示情景的一個內容例子的說明圖 改變附加數(shù)據(jù)的尺寸。圖17是示出這樣的顯示情景的一個內容例子的說明圖 速度改變附加數(shù)據(jù)。圖18是示出這樣的顯示情景的一個內容例子的說明圖 的軌跡。圖19是示出這樣的顯示情景的一個內容例子的說明圖 距離改變附加數(shù)據(jù)的顯示。圖20是示出這樣的顯示情景的一個內容例子的說明圖 點，并且，隨著時間的流逝順序地顯示文本。圖21示出根據(jù)本實施例的圖像處理裝置的配置的硬件配置。附圖標記列表100圖像處理裝置110輸入顯示單元112輸入檢測單元114顯示單元120附加數(shù)據(jù)產(chǎn)生單元130特征點跟蹤單元140解碼單元150存儲單元152元數(shù)據(jù)存儲單元其中，在檢測到特征點的 其中，根據(jù)特征點的位置 其中，根據(jù)特征點的尺寸 其中，根據(jù)特征點的移動 其中，示出特征點的運動 其中，根據(jù)特征點之間的 其中，附加數(shù)據(jù)追隨特征
154 實際數(shù)據(jù)存儲單元156 繪畫數(shù)據(jù)存儲單元158 顯示情景存儲單元
具體實施例方式在下文中，將參照附圖詳細地描述本發(fā)明的優(yōu)選實施例。請注意，在本說明書和附 圖中，基本上具有相同的功能和結構的元件用相同的附圖標記表示，并且省略重復的解釋。而且，將按照下面的順序給出描述。1.圖像處理裝置的配置2.圖像處理裝置的顯示處理方法<1.圖像處理裝置的配置〉
首先，將基于圖1和2描述根據(jù)本發(fā)明實施例的圖像處理裝置100的示意配置。此 外，圖1是示出根據(jù)本實施例的圖像處理裝置100的配置的功能框圖。圖2是示出根據(jù)本 實施例的元數(shù)據(jù)存儲單元152的配置例子的說明圖。例如，根據(jù)本實施例的圖像處理裝置100是能夠再現(xiàn)由諸如數(shù)字攝像機或數(shù)字靜 止照相機的成像裝置成像的運動圖像內容的再現(xiàn)裝置、能夠記錄和再現(xiàn)運動圖像內容的記 錄和再現(xiàn)裝置等。此外，根據(jù)本實施例的圖像處理裝置100可以被實現(xiàn)為由個人計算機執(zhí) 行的應用。如圖1所示，這種圖像處理裝置100包括輸入顯示單元110、附加數(shù)據(jù)產(chǎn)生單元 120、特征點跟蹤單元130、解碼單元140和存儲單元150。輸入顯示單元110是這樣的功能單元通過該功能單元執(zhí)行來自用戶的信息的輸 入，或者該功能單元向用戶輸出信息，并且，輸入顯示單元110包括輸入檢測單元112和顯 示單元114。本實施例的輸入顯示單元110可以是這樣的觸摸面板，該觸摸面板包含諸如觸 摸墊(touch pad)的傳感器作為輸入檢測單元112，輸入檢測單元112在由例如液晶顯示 元件或有機EL元件構成的顯示單元114的表面上。輸入檢測單元112可以檢測例如觸針 (stylus)或手指與輸入顯示單元110的表面的接觸。接觸輸入顯示單元110的表面的觸摸 操縱的軌跡可以從輸入檢測單元112的檢測結果獲取并作為手繪數(shù)據(jù)輸入，或者，例如，可 以選擇在顯示單元114上顯示的圖標。顯示單元114顯示運動圖像內容、手繪數(shù)據(jù)等，并且 向用戶顯示它們。附加數(shù)據(jù)產(chǎn)生單元120產(chǎn)生諸如手繪數(shù)據(jù)的附加數(shù)據(jù)或附加數(shù)據(jù)元數(shù)據(jù)，并且執(zhí) 行控制以顯示運動圖像內容、附加數(shù)據(jù)等。這里，運動圖像內容是由成像裝置成像的實際運 動圖像數(shù)據(jù)，并且，附加數(shù)據(jù)是添加用來裝飾運動圖像內容的運動圖像的數(shù)據(jù)。此外，附加 數(shù)據(jù)元數(shù)據(jù)是其顯示隨著運動圖像內容的時間的流逝而變化的附加數(shù)據(jù)的信息。例如，附加數(shù)據(jù)產(chǎn)生單元120從由輸入檢測單元112輸入的檢測結果獲取接觸輸 入顯示單元110的表面的觸摸操縱的軌跡，并且生成手繪數(shù)據(jù)作為附加數(shù)據(jù)。附加數(shù)據(jù)產(chǎn) 生單元120在顯示單元114上顯示生成的手繪數(shù)據(jù)，并且將手繪數(shù)據(jù)記錄在稍后將描述的 存儲單元150中。此外，基于在顯示單元114上顯示的運動圖像的內容和輸入檢測單元112 的檢測結果，附加數(shù)據(jù)產(chǎn)生單元120從稍后將描述的特征點跟蹤單元130檢測的運動圖像 中的特征點之中指定要添加附加數(shù)據(jù)的一個或至少兩個特征點。附加數(shù)據(jù)產(chǎn)生單元120基 于來自輸入檢測單元112的輸入信息使指定的特征點與伴隨該特征點顯示的附加數(shù)據(jù)相關聯(lián)，并且將這種關聯(lián)性記錄在存儲單元150中。此外，使用輸入顯示單元110中的接觸位置信息、特征點的運動信息和附加數(shù)據(jù)， 附加數(shù)據(jù)產(chǎn)生單元120根據(jù)顯示情景產(chǎn)生附加數(shù)據(jù)元數(shù)據(jù)。這里，顯示情景是指示根據(jù)特 征點的行為改變添加到特征點的附加數(shù)據(jù)的顯示的變化模式的信息。附加數(shù)據(jù)產(chǎn)生單元 120從由特征點跟蹤單元130檢測的每個時刻的特征點的位置信息生成指示特征點的行為 的運動信息。附加數(shù)據(jù)產(chǎn)生單元120產(chǎn)生附加數(shù)據(jù)元數(shù)據(jù)并將該附加數(shù)據(jù)元數(shù)據(jù)記錄在存 儲單元150中。因此，附加數(shù)據(jù)產(chǎn)生單元120執(zhí)行用于產(chǎn)生附加數(shù)據(jù)元數(shù)據(jù)的顯示處理。此 外，稍后將詳細地描述附加數(shù)據(jù)產(chǎn)生單元120中的顯示處理。特征點跟蹤單元130是提取運動圖像中的特征點并跟蹤提取的特征點的功能單 元。例如，特征點跟蹤單元130從構成運動圖像內容的給定圖像提取具有諸如人的臉部的 特征的部分作為特征點。特征點的提取可以使用現(xiàn)有的方法來執(zhí)行。此外，特征點跟蹤單 元130可以通過運動圖像內容的再現(xiàn)識別和跟蹤運動特征點的位置。特征點跟蹤單元130 可以將提取的特征點的信息輸出到顯示單元114并在顯示于顯示單元114上的特征點處顯 示諸如框架的標記。此外，特征點跟蹤單元130將特征點的信息輸出到附加數(shù)據(jù)產(chǎn)生單元 120，以便產(chǎn)生附加數(shù)據(jù)元數(shù)據(jù)。解碼單元140對運動圖像內容或靜止圖像內容進行解碼。解碼單元140讀取在存 儲單元150中存儲的運動圖像內容或靜止圖像內容，對該內容進行解碼，并且將所得到的 內容輸出到顯示單元114。因此，可以在顯示單元114上顯示運動圖像內容或靜止圖像內容。存儲單元150是存儲各種信息的存儲單元。根據(jù)本實施例的存儲單元150包括 元數(shù)據(jù)存儲單元152、實際數(shù)據(jù)存儲單元154、繪畫數(shù)據(jù)存儲單元156和顯示情景存儲單元 158。元數(shù)據(jù)存儲單元152是存儲諸如手繪數(shù)據(jù)的附加數(shù)據(jù)或附加數(shù)據(jù)元數(shù)據(jù)的存儲單元。 如圖2所示，例如，元數(shù)據(jù)存儲單元152將作為顯示處理對象的繪畫數(shù)據(jù)1521、執(zhí)行顯示處 理的時刻1522和指示繪畫數(shù)據(jù)的處理內容的動作(action) 1523相互關聯(lián)地存儲。繪畫數(shù) 據(jù)1521是例如從輸入顯示單元110輸入的諸如手繪數(shù)據(jù)的附加數(shù)據(jù)或者預先設定的印戳。 時刻1522指示附加數(shù)據(jù)元數(shù)據(jù)所對應的運動圖像內容中的時刻。例如，在圖2的例子中， 在元數(shù)據(jù)存儲單元152中存儲處理內容，例如在時刻“00:01:05” “固定顯示”的繪畫數(shù)據(jù) “圖像01”，以及在時刻“00:01:21” “在跟蹤特征點A的同時顯示”的繪畫數(shù)據(jù)“圖像02”。實際數(shù)據(jù)存儲單元IM存儲由成像裝置成像的運動圖像內容或靜止圖像內容。繪 畫數(shù)據(jù)存儲單元156存儲從輸入顯示單元110輸入的諸如手繪數(shù)據(jù)的附加數(shù)據(jù)或者預先設 定的印戳。此外，關于產(chǎn)生手繪數(shù)據(jù)所需的繪畫工具的信息也可以存儲在繪畫數(shù)據(jù)存儲單 元156中。例如，存儲在繪畫數(shù)據(jù)存儲單元156中的附加數(shù)據(jù)可以與諸如圖2中所示的“圖 像01”和“圖像02”的唯一名稱相關聯(lián)地存儲。顯示情景存儲單元158存儲顯示情景。顯 示情景可以由用戶預先設定或添加。已經(jīng)描述了根據(jù)本實施例的圖像處理裝置100的配置。圖像處理裝置100可以基 于指示運動圖像內容的特征點的行為的運動信息和顯示情景來改變添加到特征點的附加 數(shù)據(jù)的顯示，并且自動地生成附加數(shù)據(jù)元數(shù)據(jù)。在下文中，將詳細地描述圖像處理裝置100 中的圖像處理方法。<2.圖像處理裝置中的顯示處理方法〉
[將手繪數(shù)據(jù)添加到運動圖像內容的處理]首先，將基于圖3A和:3B描述根據(jù)本實施例的將手繪數(shù)據(jù)添加到運動圖像內容的 處理。此外，圖3A和;3B是示出根據(jù)本實施例的將手繪數(shù)據(jù)添加到運動圖像內容的處理的 流程圖?？梢酝ㄟ^下述方式開始將手繪數(shù)據(jù)添加到運動圖像內容的處理使用解碼單元 140對存儲在存儲單元150的實際數(shù)據(jù)存儲單元154中的運動圖像內容進行解碼；以及在 顯示單元114上顯示所得到的運動圖像內容。將附加數(shù)據(jù)添加到運動圖像內容的顯示處理 包括這里描述的添加手繪數(shù)據(jù)的處理、下面描述的基于顯示情景的顯示處理、通過在再現(xiàn) 運動圖像內容的同時輸入手繪數(shù)據(jù)執(zhí)行的顯示處理等等。首先，用戶選擇要執(zhí)行的顯示處 理。例如，用戶選擇是否使用手繪來執(zhí)行手動繪畫(步驟S100)。當用戶選擇不執(zhí)行手 動繪畫時，執(zhí)行下面描述的顯示情景選擇處理。另一方面，當用戶選擇執(zhí)行手動繪畫時，用 戶接著選擇在運動圖像內容的再現(xiàn)期間是否執(zhí)行繪畫(步驟S102)。當用戶選擇在再現(xiàn)期 間執(zhí)行繪畫時，執(zhí)行下面描述的再現(xiàn)期間的手繪處理。另一方面，當用戶選擇在再現(xiàn)期間不 執(zhí)行手繪處理時，開始運動圖像內容的再現(xiàn)(步驟S104)。當再現(xiàn)運動圖像內容時，用戶觀看在顯示單元114上顯示的運動圖像內容，并且 在希望添加附加數(shù)據(jù)的時候暫停運動圖像內容的再現(xiàn)。繼續(xù)再現(xiàn)運動圖像內容，直到暫停 運動圖像內容的再現(xiàn)(步驟S106)為止。當在步驟S106中暫停運動圖像內容的再現(xiàn)時，在 顯示單元114上顯示繪畫菜單屏幕(步驟S108)。例如，繪畫菜單屏幕200a可以基于如圖6所示的屏幕配置。繪畫菜單屏幕200a包 括內容顯示區(qū)域210和操縱圖標顯示區(qū)域220，在內容顯示區(qū)域210中顯示運動圖像內容， 在操縱圖標顯示區(qū)域220中顯示諸如播放圖標22 、倒退圖標222b和快進圖標222c的操 縱圖標。在內容顯示區(qū)域210的邊緣處顯示開始手繪數(shù)據(jù)輸入處理的手繪圖標230、用于顯 示預先設定的附加數(shù)據(jù)的固定圖標M0、以及用于顯示預先登記的附加數(shù)據(jù)元數(shù)據(jù)的列表 的列表顯示圖標250。在這種情況下，用戶在暫停時刻釋放(release)對作為預先登記的附加數(shù)據(jù)的繪 畫數(shù)據(jù)的顯示。也就是說，用戶可以設定刪除這樣的繪畫數(shù)據(jù)的顯示該繪畫數(shù)據(jù)在比當前 時刻早的時刻開始顯示并且甚至在當前時刻仍繼續(xù)顯示。在用戶選擇是否執(zhí)行繪畫數(shù)據(jù)的 顯示(步驟S110)并選擇釋放繪畫數(shù)據(jù)的顯示的操縱的情況下，用戶通過例如使用觸針觸 摸繪畫菜單屏幕200a中的列表顯示圖標250來選擇列表顯示圖標250 (步驟SlU)。然后， 在暫停時刻在顯示單元114上顯示預先登記的繪畫數(shù)據(jù)的列表。在這個列表中，例如，顯示 圖2中所示的附加數(shù)據(jù)元數(shù)據(jù)之中的繪畫數(shù)據(jù)和動作。用戶例如使用觸針觸摸來觸摸要釋 放顯示的繪畫數(shù)據(jù)，并且選擇釋放對象(步驟S114)。當確定在步驟S114中選擇的釋放對 象時，此時刪除繪畫數(shù)據(jù)，并且，附加數(shù)據(jù)產(chǎn)生單元120主要保存諸如記錄于存儲單元150 的元數(shù)據(jù)存儲單元152中的信息之類的信息。將圖6中所示的繪畫菜單屏幕200a再次顯 示在顯示單元114的顯示表面上。當在步驟SllO中用戶選擇不執(zhí)行繪畫數(shù)據(jù)顯示釋放時，或者在通過步驟S114確 定釋放對象時，用戶然后選擇是否通過手繪執(zhí)行數(shù)據(jù)輸入(步驟S116)。當用戶選擇通過手 繪執(zhí)行數(shù)據(jù)輸入時，可以通過手繪工具執(zhí)行繪畫(步驟S118)。例如，可以通過選擇圖6中9所示的手繪圖標230來執(zhí)行手繪的數(shù)據(jù)輸入。當用戶通過例如使用觸摸筆(touch pen)觸 摸手繪圖標230來選擇手繪圖標230時，例如，屏幕從繪畫菜單屏幕200a轉變到圖7中所 示的手繪繪畫屏幕200b。當在步驟S106中暫停再現(xiàn)的時候運動圖像內容顯示在手繪繪畫屏幕200b中，并 且，用于輸入手繪數(shù)據(jù)的工具圖標232顯示在其邊緣處。例如，工具圖標232包括顏色選擇 圖標23 、線類型圖標232b和刪除圖標232c。用戶例如使用觸針16從工具圖標232選擇 繪畫線或顏色，并且通過在輸入顯示單元100的表面上進行描畫(trace)來執(zhí)行繪畫。附 加數(shù)據(jù)產(chǎn)生單元120在顯示單元114上顯示來自輸入檢測單元112的檢測結果的軌跡作為 手繪數(shù)據(jù)300。當輸入了手繪數(shù)據(jù)300時，例如，用戶選擇圖7的OK圖標234，以確定在顯 示于顯示單元114上的時候顯示運動圖像內容中的輸入手繪數(shù)據(jù)300。附加數(shù)據(jù)產(chǎn)生單元 120主要保存諸如在存儲單元150的元數(shù)據(jù)存儲單元152中記錄的信息之類的信息。當用戶在步驟S116中沒有選擇手繪輸入時，或者，當在步驟S118中終止手繪數(shù)據(jù) 輸入時，用戶選擇是否輸入預先設定的附加數(shù)據(jù)(在下文中稱為“模式數(shù)據(jù)”)，如圖3B所示 (步驟S120)。當用戶選擇通過模式數(shù)據(jù)執(zhí)行數(shù)據(jù)輸入時，用戶可以通過模式數(shù)據(jù)執(zhí)行繪畫 (步驟S122)。例如，可以通過選擇圖6中所示的固定圖標240來執(zhí)行通過模式數(shù)據(jù)的數(shù)據(jù) 輸入。當用戶通過例如使用觸針觸摸固定圖標240來選擇固定圖標240時，例如，屏幕從繪 畫菜單屏幕200a轉變到圖8中所示的模式繪畫屏幕200c。如圖8所示，多個模式圖形242顯示在模式繪畫屏幕200c上。當所述模式圖形難 以都顯示在一個屏幕上時，如圖8所示的那樣顯示“下一頁”圖標M4，并且，可以通過選擇 圖標244在顯示單元114上顯示下一個模式圖形M2的列表。在下一個屏幕上顯示“前一 頁”。當選擇一個模式圖形242作為添加到運動圖像內容的附加數(shù)據(jù)時，顯示當在步驟S106 中暫停再現(xiàn)的時候的運動圖像內容。當用戶將例如觸摸筆116與屏幕上的輸入顯示單元 110的表面接觸時，在此時的運動圖像內容中顯示所選的模式圖形M2。在這種屏幕上，可 以適當?shù)馗淖兡Ｊ綀D形242的顏色、尺寸等。當確定顯示內容時，附加數(shù)據(jù)產(chǎn)生單元120主 要保存諸如在存儲單元150的元數(shù)據(jù)存儲單元152中記錄的信息之類的信息。其后，屏幕 返回到圖6中所示的繪畫菜單屏幕200a。此外，通過選擇圖8的模式繪畫屏幕200c上的 “返回”圖標M6，可以取消將模式圖形242顯示到運動圖像內容上。當通過在步驟S116至S122中的處理完成了運動圖像內容中顯示的繪畫數(shù)據(jù)的輸 入時，用戶選擇繪畫數(shù)據(jù)的運動(步驟SlM)。用戶首先從顯示在顯示單元114上的繪畫數(shù) 據(jù)選擇設定運動的繪畫數(shù)據(jù)。當選擇設定運動的繪畫數(shù)據(jù)時，例如，顯示如圖9中所示的運 動設定屏幕200d。在運動設定屏幕200d上顯示指示繪畫數(shù)據(jù)的運動的類型的運動圖標。 例如，運動圖標包括“固定”圖標25 、“跟蹤”圖標252b、“滾動”圖標252c等。用戶從運 動設定屏幕200d的運動圖標選擇繪畫數(shù)據(jù)的運動，并且選擇OK圖標254以確定運動。此 外，用戶可以通過選擇運動設定屏幕200d中的“返回”圖標256來取消對繪畫數(shù)據(jù)的運動 設定。然后，由附加數(shù)據(jù)產(chǎn)生單元120確定固定顯示是否被選擇為繪畫數(shù)據(jù)的運動(步 驟S126)。例如，基于在圖9中所示的運動設定屏幕200d上是否選擇“固定”圖標25 ，可 以執(zhí)行這樣的確定。當在步驟SU6中附加數(shù)據(jù)產(chǎn)生單元120確定除固定顯示以外的顯示 被選擇為繪畫數(shù)據(jù)的運動時，在顯示單元114上顯示特征點選擇屏幕200e (步驟SU8)，在特征點選擇屏幕200e上顯示作為與繪畫數(shù)據(jù)相關聯(lián)的對象的運動圖像內容中的所有的特 征點。例如，如圖10所示，特征點選擇屏幕200e可以被構造為對于在暫停再現(xiàn)的時候 的運動圖像內容的顯示，通過在特征點處顯示框架260a和^Ob,顯示由特征點跟蹤單元 130提取的特征點?；蛘?，如圖11所示，在暫停再現(xiàn)的時候的運動圖像內容中的所有的特征 點264可以被顯示為一個列表。用戶從顯示在特征點選擇屏幕200e上的特征點選擇與繪 畫數(shù)據(jù)相關聯(lián)的一個或至少兩個特征點，并且選擇OK圖標沈2以確定與繪畫數(shù)據(jù)的關聯(lián)性 (步驟S130)。因此，確定此時或者稍后的繪畫數(shù)據(jù)的運動。然后，用戶選擇是否設定繪畫數(shù)據(jù)的顯示結束時刻(步驟S132)。當用戶選擇設 定繪畫數(shù)據(jù)的顯示結束時刻時，可以設定該結束時刻，并且，用戶設定該結束時刻(步驟 S134)。其后，當終止結束時刻設定時，確定此時的繪畫數(shù)據(jù)的顯示內容(步驟S136)。例 如，通過選擇繪畫菜單屏幕200的播放圖標22 ，執(zhí)行顯示內容的確定。由附加數(shù)據(jù)產(chǎn)生單 元120將確定的顯示內容作為元數(shù)據(jù)記錄在存儲單元150的元數(shù)據(jù)存儲單元152中(步驟 S138)。因此，將由附加數(shù)據(jù)產(chǎn)生單元120產(chǎn)生的附加數(shù)據(jù)元數(shù)據(jù)疊加并顯示在運動圖像 內容上，使得可以裝飾該運動圖像，從而根據(jù)運動圖像內容的特征點的行為改變附加信息。 例如，假設這樣進行設定使得附加數(shù)據(jù)300根據(jù)圖12中所示的特征點沈4的運動追隨特 征點沈4。在某一時刻，特征點264和附加數(shù)據(jù)300顯示在由虛線所指示的位置上。其后， 當特征點264移動到實線所指示的位置時，附加數(shù)據(jù)300根據(jù)特征點沈4的運動也移動到 另一實線所指示的位置。因此，僅僅通過產(chǎn)生要添加到運動圖像內容的附加數(shù)據(jù)并確定要 添加附加數(shù)據(jù)的特征點和附加數(shù)據(jù)顯示方法，用戶可以將根據(jù)特征點的行為改變的附加數(shù) 據(jù)添加到運動圖像內容。已經(jīng)描述了將手繪數(shù)據(jù)添加到運動圖像內容的處理。接下來，將基于圖4描述顯 示情景的附加數(shù)據(jù)顯示處理。此外，圖4是根據(jù)本實施例的顯示情景的附加數(shù)據(jù)顯示處理 的流程圖。[顯示情景的附加數(shù)據(jù)顯示處理]當用戶在圖3A的步驟SlOO中選擇不執(zhí)行手動繪畫時，執(zhí)行圖4中所示的顯示情 景的附加數(shù)據(jù)顯示處理。也就是說，它是這樣的情況根據(jù)顯示情景，基于運動圖像內容的 特征點的運動信息，自動地執(zhí)行繪畫。當用戶選擇這種處理時，例如，在顯示單元114上顯 示如圖13中所示的顯示情景選擇屏幕200f (步驟S210)。例如，如圖13中所示，顯示情景選擇屏幕200f包括分類區(qū)域271a和詳細區(qū)域 271b，在分類區(qū)域271a中顯示用于選擇預先設定的顯示情景的顯示情景圖標270，詳細區(qū) 域271b用于執(zhí)行顯示內容的詳細設定。例如，顯示情景包括變化模式，以在運動圖像內容 中的特征點的臉部表情是笑臉時顯示給定的附加數(shù)據(jù)，或者根據(jù)特征點的行為的特征改變 和顯示附加數(shù)據(jù)。用戶選擇與在分類區(qū)域271a中顯示的變化模式相關聯(lián)的顯示情景圖標 270，該顯示情景圖標270包括“笑臉”圖標272、“移動”圖標274和“其它”圖標等276。因 此，可以在運動圖像內容上顯示附加數(shù)據(jù)(步驟S220)。在詳細區(qū)域271b中顯示用于執(zhí)行所選的顯示情景圖標270的詳細設定的信息。例 如，如果在特征點的臉部表情是笑臉時用戶選擇顯示情景以顯示附加數(shù)據(jù)，則附加數(shù)據(jù)產(chǎn)生單元120通過參考存儲單元150的顯示情景存儲單元158在詳細區(qū)域271b中顯示一個 或至少兩個附加數(shù)據(jù)顯示例子。在圖13的例子中，顯示兩個顯示例子27 和272b。用戶 可以通過從顯示例子27 和272b選擇希望添加到特征點的附加數(shù)據(jù)并選擇OK圖標277 來確定附加數(shù)據(jù)。此外，用戶從存在于運動圖像內容中的特征點選擇要添加附加數(shù)據(jù)的一個或至少 兩個特征點(步驟S230)?？梢匀绮襟ESU8和S130中的上述處理中一樣，執(zhí)行特征點的選 擇。當上述處理終止并且釋放運動圖像內容暫停狀態(tài)時，執(zhí)行基于設定的顯示情景的繪畫 處理(步驟S240)。設定的顯示情景作為附加數(shù)據(jù)元數(shù)據(jù)被存儲在元數(shù)據(jù)存儲單元152中 (步驟 S250)。例如，繼續(xù)執(zhí)行基于顯示情景的繪畫處理，直到用戶釋放該處理。因此，在對所有 的運動圖像內容施加相同的顯示情景的情況下，只有用戶僅僅設定一次顯示情景，才在出 現(xiàn)相同的場面時基于設定的顯示情景將附加數(shù)據(jù)自動地添加到特征點。例如，當設定在從 特征點檢測到笑臉時顯示給定的附加數(shù)據(jù)的顯示情景時，每當檢測到特征點的笑臉時就自 動地顯示附加數(shù)據(jù)。因此，用戶不必若干次地設定相同的處理，從而可以容易地將附加數(shù)據(jù) 添加到運動圖像。[顯示情景例子]這里，將使用圖14至20描述顯示情景的內容例子。如上所述，顯示情景指示根據(jù) 特征點的行為改變添加到特征點的附加數(shù)據(jù)的變化模式的內容。在圖14中，示出在檢測到特征點的笑臉時顯示附加數(shù)據(jù)的顯示情景的例子。在這 種顯示情景中，當特征點202的臉部表情如圖14(a)中所示不是笑臉時，附加數(shù)據(jù)產(chǎn)生單元 120不會顯示附加數(shù)據(jù)，然而，當特征點202的臉部表情是笑臉時，附加數(shù)據(jù)產(chǎn)生單元120顯 示附加數(shù)據(jù)410，如圖14(b)中所示。此外，使用現(xiàn)有的方法，例如，可以通過特征點跟蹤單 元130檢測特征點的笑臉。接下來，在圖15中，示出根據(jù)特征點的位置顯示附加數(shù)據(jù)的顯示位置的顯示情景 的例子。特征點通常在運動圖像內容中移動，并且，圖像中的特征點的位置時刻地變化。即 使當特征點的位置變化時，這種顯示情景也允許通過追隨特征點而在圖像中顯示附加數(shù) 據(jù)。例如，如圖15(a)中所示的位于圖像200的右邊的特征點202假設移動到如圖15(b) 中所示的圖像200的左邊。將球狀物中的附加數(shù)據(jù)420添加到特征點202。在這種情況下， 使用這種顯示情景，在圖15(a)的狀態(tài)下顯示在位于圖像200的右端的特征點202的左邊 的附加數(shù)據(jù)420，在特征點202在圖15(b)的狀態(tài)下移動并且位于圖像200的左邊時顯示在 特征點202的右邊。因此，即使當特征點202的位置變化時，附加數(shù)據(jù)420的顯示位置也自 動地改變，從而附加數(shù)據(jù)420不會從圖像200突出。此外，在圖16中，示出根據(jù)特征點的尺寸改變附加數(shù)據(jù)的尺寸的顯示情景的例 子。例如，當如圖16(a)中所示特征點202的尺寸相對于圖像200的尺寸而言較小時，添加 到特征點202的附加數(shù)據(jù)430的尺寸變小。另一方面，當如圖16(b)中所示特征點202的尺 寸相對于圖像200的尺寸而言較大時，添加到特征點202的附加數(shù)據(jù)430的尺寸變大。例 如，根據(jù)特征點202相對于圖像200的尺寸，可以改變附加數(shù)據(jù)430的放大率。在這種情況 下，當附加數(shù)據(jù)430通過顯示情景而變大時，附加數(shù)據(jù)430被處理使得不從圖像200突出。此外，在圖17中，示出根據(jù)特征點的移動速度改變附加數(shù)據(jù)的顯示情景的例子。12可以從給定時間的圖像中的特征點的位置的變化量計算特征點的移動速度。例如，當特征 點202的移動速度如圖17(a)中所示基本上等于0時，顯示添加到特征點202的基本上圓 形的附加數(shù)據(jù)440，以包圍特征點202 —次。另一方面，當特征點202的移動速度增加時，附 加數(shù)據(jù)440包圍特征點202兩至三次，如圖17(b)中所示。因此，可以通過根據(jù)特征點202 的速度變化改變附加數(shù)據(jù)440的顯示來表現(xiàn)特征點202的行為的特征。在圖18中，示出顯示特征點的移動的軌跡的顯示情景的例子。例如，如圖18(a) 中所示，假設特征點202從圖像200的右上方移動到左下方。在這種情況下，使用這種顯示 情景，特征點的移動的軌跡被顯示為附加數(shù)據(jù)450，如圖18(b)中所示。因此，可以提高運動 圖像內容的視覺效果。此外，在圖19中，示出根據(jù)特征點之間的距離改變附加數(shù)據(jù)的顯示的顯示情景的 例子。例如，假設兩個特征點202A和202B與一個附加數(shù)據(jù)460相關聯(lián)，如圖19 (a)中所示。 在這種情況下，使用這種顯示情景，根據(jù)特征點之間的距離L的大小，改變附加數(shù)據(jù)460的 尺寸或顯示位置。當特征點之間的距離L如圖19(a)中一樣大時，附加數(shù)據(jù)產(chǎn)生單元120 基本上在特征點之間的中間處顯示小的附加數(shù)據(jù)460。另一方面，當特征點之間的距離L較 小時，例如，附加數(shù)據(jù)產(chǎn)生單元120在特征點202A和特征點202B之間顯示比圖19(a)中所 示的附加數(shù)據(jù)大的附加數(shù)據(jù)460，如圖19(b)中所示?；蛘?，附加數(shù)據(jù)產(chǎn)生單元120可以顯 示附加數(shù)據(jù)460以包圍接近的特征點202A和202B，如圖19(c)中所示。因此，通過根據(jù)特 征點之間的距離改變附加數(shù)據(jù)460的顯示，可以有效地顯示運動圖像內容中的多個特征點 之間的關系。在圖20中，示出使附加數(shù)據(jù)追隨特征點移動的顯示情景的例子。例如，這種顯示 情景包括在隨著時間的流逝而順序地顯示作為附加數(shù)據(jù)的文本的同時使得該文本追隨特 征點的變化模式。如圖20(a)中所示，在某一時刻，一行文本作為追隨特征點202的附加數(shù) 據(jù)480a顯示在球狀物中。其后，隨著時間的流逝，附加數(shù)據(jù)480b隨著特征點202的移動而 移動，并且，兩行文本顯示在附加數(shù)據(jù)480b中，如圖20(b)中所示。由此，使用這種顯示情 景能夠使得附加數(shù)據(jù)追隨特征點的行為，并且能夠顯示移動的附加數(shù)據(jù)。已經(jīng)描述了顯示情景的內容例子。根據(jù)本實施例，當用戶執(zhí)行特征點與附加數(shù)據(jù) 的關聯(lián)并選擇改變附加數(shù)據(jù)的顯示情景時，附加數(shù)據(jù)產(chǎn)生單元120根據(jù)運動圖像內容中的 特征點的行為基于該顯示情景自動地產(chǎn)生附加數(shù)據(jù)元數(shù)據(jù)。此外，由于根據(jù)顯示情景產(chǎn)生 附加數(shù)據(jù)元數(shù)據(jù)，所以僅僅通過改變顯示情景可以容易地改變附加數(shù)據(jù)元數(shù)據(jù)的內容。也 就是說，可以產(chǎn)生根據(jù)一個附加數(shù)據(jù)顯示多個附加數(shù)據(jù)的顯示模式。對于一個運動圖像內容，產(chǎn)生一個附加數(shù)據(jù)元數(shù)據(jù)。根據(jù)一個或至少兩個顯示情 景的附加數(shù)據(jù)的變化模式存儲在附加數(shù)據(jù)元數(shù)據(jù)中?？梢酝ㄟ^圖3A JB和4以及稍后描述 的圖5中所示的方法來設定附加數(shù)據(jù)的變化模式。因此，可以容易地設定多個附加數(shù)據(jù)的 變化模式，并且，在某一時刻，容易在運動圖像內容中添加多個附加數(shù)據(jù)。[再現(xiàn)期間的手繪處理]接下來，將基于圖5描述在運動圖像內容的再現(xiàn)期間執(zhí)行繪畫的顯示處理。此外， 圖5是示出根據(jù)本實施例的再現(xiàn)期間的手繪處理的流程圖。當在運動圖像內容的再現(xiàn)期間 繪畫附加數(shù)據(jù)時，能夠在確認運動圖像內容的特征點的運動的同時進行繪畫，并且，容易產(chǎn) 生例如運動的附加數(shù)據(jù)，如圖20中所示。
當用戶在圖3A的步驟S102中選擇執(zhí)行再現(xiàn)期間的手繪處理時，執(zhí)行圖5中所示 的再現(xiàn)期間的手繪處理。當用戶選擇這種處理時，首先，在顯示單元114上顯示用來選擇通 過手繪產(chǎn)生附加數(shù)據(jù)的繪畫工具的屏幕。在這種屏幕上，用戶設定繪畫的線類型、顏色等 (步驟S310)。此外，在繪畫附加數(shù)據(jù)之后，可以再次設定附加數(shù)據(jù)的線類型、顏色等。然后，用戶在再現(xiàn)運動圖像內容的同時繪畫附加數(shù)據(jù)(步驟S320)。如圖3A的步 驟S118中一樣，可以執(zhí)行附加數(shù)據(jù)的繪畫。當用戶完成附加數(shù)據(jù)的繪畫時，例如，用戶暫停 運動圖像內容的再現(xiàn)并確定這種附加數(shù)據(jù)。因此，產(chǎn)生運動的附加數(shù)據(jù)。產(chǎn)生的附加數(shù)據(jù) 與要在其上顯示這種附加數(shù)據(jù)的運動圖像內容的時間相關聯(lián)，并且，關聯(lián)數(shù)據(jù)作為附加數(shù) 據(jù)元數(shù)據(jù)記錄在元數(shù)據(jù)存儲單元152中。已經(jīng)描述了在運動圖像內容的再現(xiàn)期間執(zhí)行繪畫的顯示處理。在這種情況下，可 能不會特別地執(zhí)行附加數(shù)據(jù)與特征點的關聯(lián)，但是，當存在運動圖像內容中的特征點的相 似行為時，可以將附加數(shù)據(jù)與特征點相關聯(lián)并將附加數(shù)據(jù)添加到特征點。因此，通過根據(jù)本實施例的圖像處理裝置100，將使用各種方法產(chǎn)生的附加數(shù)據(jù)與 特征點相關聯(lián)，并且，自動地生成使得附加數(shù)據(jù)根據(jù)特征點的行為改變的附加數(shù)據(jù)元數(shù)據(jù)。 因此，可以簡單地將附加信息添加到運動圖像中的運動對象。雖然圖6至13中所示的屏幕例子使得通過例如用觸針116選擇與執(zhí)行的處理相 關聯(lián)的圖標來輸入操縱信息，但是本發(fā)明并不局限于這些例子。例如，用諸如觸針116或手 指的操縱體(操縱體的操作)在顯示單元114的表面上描繪可以執(zhí)行與這種操縱相關聯(lián)的 給定的處理。具體地說，可以使給定的處理與執(zhí)行屏幕操縱的給定的操作相關聯(lián)，如在用操 縱體觸摸屏幕的右側時頁面移動到下一頁，并且當觸摸屏幕的左側時頁面移動到前一頁。[硬件配置例子]根據(jù)本實施例的圖像處理裝置100的圖像處理可以通過硬件來執(zhí)行，也可以通過 軟件來執(zhí)行。在這種情況下，在圖像處理裝置100中包含圖21中所示的計算機。在下文中， 將基于圖21描述根據(jù)本實施例的圖像處理裝置100的硬件配置的例子。此外，圖21示出 顯示根據(jù)本實施例的圖像處理裝置100的硬件配置。本實施例的圖像處理裝置100包括中央處理單元(CPU) 101、只讀存儲器 (ROM) 102、隨機存取存儲器(RAM) 103和主機總線l(Ma。此外，圖像處理裝置100包括橋接 器104、外部總線104b、接口 105、輸入裝置106、輸出裝置107、存儲裝置(HDD) 108、驅動器 109、連接端口 111和通信裝置113。CPU 101起操作處理裝置和控制裝置的作用，并且根據(jù)各自程序控制圖像處理裝 置100的全體操作。此外，CPU 101可以是微處理器。ROM 102存儲由CPU 101使用的程 序、操作參數(shù)等。RAM 103臨時存儲在執(zhí)行CPU 101中使用的程序、在執(zhí)行中適當?shù)刈兓?參數(shù)等。通過包含CPU總線的主機總線10 將它們相互連接。主機總線10 經(jīng)由橋接器104與諸如外圍部件互連/接口(PCI)總線的外部總 線104b連接。此外，主機總線104a、橋接器104和外部總線104b不必單獨地配置，并且，一 個總線可以具有這些功能。輸入裝置106包括能夠使用戶輸入信息的輸入裝置，例如，鼠標、鍵盤、觸摸屏 幕、按鈕、傳聲器、開關和控制桿(lever)；用于基于用戶的輸入生成輸入信號并將該輸入 信號輸出到CPU 101的輸入控制電路等等。圖像處理裝置100的用戶可以通過操縱輸入裝置106將各種數(shù)據(jù)輸入到圖像處理裝置100或者指示處理操作。在本實施例中，如圖1中 所示，輸入裝置106包括觸摸屏幕。例如，輸出裝置107包括顯示裝置，例如，陰極射線管(CRT)顯示裝置、液晶顯示 (LCD)裝置、有機發(fā)光二極管(OLED)裝置和燈。此外，輸出裝置107包括諸如揚聲器和頭戴 式受話器的聲音輸出裝置。在本實施例中，輸入顯示單元110的顯示單元114被設置為輸 出裝置107，如圖1中所示。存儲裝置108是作為圖像處理裝置100的存儲單元的一個例子的數(shù)據(jù)存儲裝置。 存儲裝置108可以包括記錄介質、用于在記錄介質中記錄數(shù)據(jù)的記錄裝置、用于從記錄介 質讀取數(shù)據(jù)的讀取裝置、用于刪除在記錄介質中記錄的數(shù)據(jù)的刪除裝置等。例如，存儲裝置 108包括硬盤驅動器(HDD)。該存儲裝置108存儲通過驅動硬盤由CPU 101執(zhí)行的程序、或 者各種數(shù)據(jù)。驅動器109是用于記錄介質的讀取器/寫入器，嵌入在圖像處理裝置100中或者 作為外部裝置設置。驅動器109讀取在諸如磁盤、光盤、磁光盤或半導體存儲器的安裝的可 移動記錄介質中記錄的信息，并且將該信息輸出到RAM 103。連接端口 111是與外部裝置連接的接口，即，與能夠例如經(jīng)由通用串行總線(USB) 傳送數(shù)據(jù)的外部裝置的連接端口。此外，例如，通信裝置113是由例如用于與通信網(wǎng)絡15 連接的通信裝置構成的通信接口。此外，通信裝置113可以是無線局域網(wǎng)(LAN)兼容通信 裝置(compliant communication device)、無線USB兼容通信裝置、或者用于執(zhí)行有線通信 的有線通信裝置。雖然已經(jīng)參照附圖描述了本發(fā)明的優(yōu)選實施例，但是，本發(fā)明當然并不局限于上 述例子。在所附權利要求的范圍內，本領域的技術人員可以找到各種替換和修改，并且，應 該明白，這些替換和修改自然地在本發(fā)明的技術范圍內。例如，雖然在實施例中運動圖像內容和附加數(shù)據(jù)元數(shù)據(jù)作為分別的數(shù)據(jù)保存，但 是本發(fā)明并不局限于這種例子。例如，附加數(shù)據(jù)元數(shù)據(jù)可以與運動圖像內容一起被編碼并 存儲在存儲單元中。
權利要求
1.一種圖像處理裝置，包括特征點檢測單元，用于從運動圖像數(shù)據(jù)檢測特征點；關聯(lián)處理單元，用于使特征點與附加信息相關聯(lián)，所述特征點是基于用于選擇顯示伴 隨所述特征點顯示的附加信息的一個或至少兩個特征點的特征點選擇信息選擇的；運動分析單元，用于通過運動圖像數(shù)據(jù)的再現(xiàn)分析變化的特征點的行為；以及數(shù)據(jù)生成單元，用于基于指示由運動分析單元分析的特征點的行為的運動信息、和指 示根據(jù)特征點的行為改變添加到特征點的附加信息的變化模式的顯示情景，生成指示改變 與特征點相關聯(lián)的附加信息的顯示的變化內容的數(shù)據(jù)。
2.根據(jù)權利要求1所述的圖像處理裝置，包括輸入單元，特征點選擇信息被輸入到該 輸入單元。
3.根據(jù)權利要求2所述的圖像處理裝置，包括顯示情景存儲單元，用于存儲由特征點 的行為模式以及添加到與所述行為模式匹配的特征點的附加信息的顯示方法指示的一個 或至少兩個顯示情景，其中，將用于選擇改變添加到所選擇的特征點的附加信息的顯示情景的顯示情景選擇 信息進一步輸入到輸入單元，并且當數(shù)據(jù)生成單元針對由特征點選擇信息選擇的特征點，從運動信息檢測到與所選擇的 顯示情景的特征點的行為模式匹配的特征點的行為時，數(shù)據(jù)生成單元生成使用在顯示情景 中限定的顯示方法來顯示附加信息的數(shù)據(jù)。
4.根據(jù)權利要求2所述的圖像處理裝置，包括附加信息存儲單元，用于存儲一個或至 少兩個附加信息，其中，將用于選擇伴隨特征點的附加信息的選擇信息輸入到輸入單元。
5.根據(jù)權利要求1所述的圖像處理裝置，包括手繪數(shù)據(jù)輸入單元，通過手繪將添加到 運動圖像數(shù)據(jù)的附加信息輸入到該手繪數(shù)據(jù)輸入單元。
6.根據(jù)權利要求1所述的圖像處理裝置，其中，數(shù)據(jù)生成單元基于從運動信息識別的 特征點在運動圖像數(shù)據(jù)的圖像中的位置生成改變與特征點相關聯(lián)的附加信息的顯示位置 的數(shù)據(jù)。
7.根據(jù)權利要求1所述的圖像處理裝置，其中，數(shù)據(jù)生成單元基于從運動信息識別的 特征點相對于運動圖像數(shù)據(jù)的顯示尺寸的尺寸生成改變與特征點相關聯(lián)的附加信息的尺 寸的數(shù)據(jù)。
8.根據(jù)權利要求1所述的圖像處理裝置，其中，數(shù)據(jù)生成單元根據(jù)從運動信息識別的 特征點的臉部表情的變化生成顯示與特征點相關聯(lián)的附加信息的數(shù)據(jù)。
9.根據(jù)權利要求1所述的圖像處理裝置，其中，數(shù)據(jù)生成單元根據(jù)從運動信息識別的 特征點的移動速度生成改變與特征點相關聯(lián)的附加信息的顯示的數(shù)據(jù)。
10.根據(jù)權利要求2所述的圖像處理裝置，其中，當從輸入單元輸入了選擇至少兩個特 征點的選擇信息時，數(shù)據(jù)生成單元根據(jù)特征點之間的距離生成改變與特征點相關聯(lián)的附加 信息的顯示尺寸的數(shù)據(jù)。
11.一種圖像處理方法，包括下述步驟從運動圖像數(shù)據(jù)檢測特征點；使一個或至少兩個特征點與附加信息相關聯(lián)，所述特征點顯示伴隨所述特征點顯示的附加信息；通過運動圖像數(shù)據(jù)的再現(xiàn)分析變化的特征點的行為；以及基于指示所分析的特征點的行為的運動信息、和指示根據(jù)特征點的行為改變添加到特 征點的附加信息的變化模式的顯示情景，生成指示改變與特征點相關聯(lián)的附加信息的顯示 的變化內容的數(shù)據(jù)。
12. —種計算機程序，用于使計算機起圖像處理裝置的作用，該圖像處理裝置包括 特征點檢測部件，用于從運動圖像數(shù)據(jù)檢測特征點；關聯(lián)處理部件，用于使特征點與附加信息相關聯(lián)，所述特征點是基于用于選擇顯示伴 隨所述特征點顯示的附加信息的一個或至少兩個特征點的特征點選擇信息選擇的； 運動分析部件，用于通過運動圖像數(shù)據(jù)的再現(xiàn)分析變化的特征點的行為；以及 數(shù)據(jù)生成部件，用于基于指示由運動分析部件分析的特征點的行為的運動信息、和指 示根據(jù)特征點的行為改變添加到特征點的附加信息的變化模式的顯示情景，生成指示改變 與特征點相關聯(lián)的附加信息的顯示的變化內容的數(shù)據(jù)。
全文摘要
本發(fā)明提供圖像處理裝置、圖像處理方法和計算機程序。特征點檢測單元從運動圖像數(shù)據(jù)檢測特征點。關聯(lián)處理單元使特征點與附加信息相關聯(lián)，所述特征點是基于用于選擇顯示伴隨所述特征點顯示的附加信息的一個或至少兩個特征點的特征點選擇信息選擇的。運動分析單元通過運動圖像數(shù)據(jù)的再現(xiàn)分析變化的特征點的行為。數(shù)據(jù)生成單元基于指示由運動分析單元分析的特征點的行為的運動信息、和指示根據(jù)特征點的行為改變添加到特征點的附加信息的變化模式的顯示情景，生成指示改變與特征點相關聯(lián)的附加信息的顯示的變化內容的數(shù)據(jù)。
文檔編號G06T13/00GK102057400SQ201080001766
公開日2011年5月11日 申請日期2010年3月2日 優(yōu)先權日2009年4月8日
發(fā)明者增田徹 申請人:索尼公司