專利名稱：圖像處理裝置和圖像處理方法以及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置和圖像處理方法以及程序，更具體來 說，本發(fā)明涉及一種使得用戶能夠容易指示期望的跟蹤點(diǎn)的圖像處理 裝置和圖像處理方法以及程序。
背景技術(shù)：
迄今為止，已經(jīng)提出許多方法作為用于跟蹤用戶在運(yùn)動(dòng)圖像中指 示的目標(biāo)的方法。在這些方法中，作為不限制跟蹤目標(biāo)的保持一般性 的方法，特別常用的一種方法是，用戶首先指示跟蹤目標(biāo)內(nèi)的一個(gè)點(diǎn) 作為跟蹤開始點(diǎn)，然后跟蹤裝置全自動(dòng)地跟蹤其跟蹤圖像。
然而，在實(shí)際中，例如，長(zhǎng)時(shí)間持續(xù)全自動(dòng)跟蹤是困難的，因?yàn)?有各種擾動(dòng)，諸如出現(xiàn)其中圖像中的跟蹤目標(biāo)廣泛扭曲且剛體假設(shè)不
再成立的遮擋(occlusion)。因此，用戶必須適當(dāng)?shù)匦Ｕ欬c(diǎn)。
用戶針對(duì)運(yùn)動(dòng)圖像執(zhí)行操作以指示 一個(gè)跟蹤點(diǎn)作為跟蹤開始點(diǎn) 或跟蹤校正點(diǎn)是極其困難的，由此本發(fā)明的目的是要提供一種簡(jiǎn)化該 操作的方法。作為這種方法，存在一種方法，其提取目標(biāo)，并顯示該 目標(biāo)內(nèi)的點(diǎn)作為跟蹤點(diǎn)的候選項(xiàng)(例如，參見日本待審專利申請(qǐng)公報(bào) 第2007-274543號(hào))。
發(fā)明內(nèi)容
然而，對(duì)于上述日本待審專利申請(qǐng)公報(bào)第2007-274543號(hào)中描述 的方法，對(duì)象的提取能力會(huì)大大影響跟蹤點(diǎn)的指示。例如，在存在由于 各種擾動(dòng)而不能提取的對(duì)象的情況下，該對(duì)象內(nèi)的點(diǎn)不被顯示為跟蹤點(diǎn) 候選項(xiàng)，用戶不將該點(diǎn)指示為跟蹤點(diǎn)。
此外，對(duì)于提取對(duì)象來說，存在通常要優(yōu)先提取被假定為對(duì)象的東西的趨勢(shì)，但是存在如下情況即使很少有用戶想要跟蹤的對(duì)象， 對(duì)于想要跟蹤該對(duì)象的一部分用戶來說卻很重要。因此，在這種情況 下，對(duì)于一部分用戶，存在如下情況無法將位于應(yīng)當(dāng)跟蹤的對(duì)象內(nèi) 的點(diǎn)指示為跟蹤點(diǎn)。
已經(jīng)發(fā)現(xiàn)希望使用戶能夠以簡(jiǎn)單的方式來指示期望的跟蹤點(diǎn)。 提供了一種根據(jù)本發(fā)明的一個(gè)實(shí)施例的圖像處理裝置，包括跟 蹤單元，用于與用戶的操作相對(duì)應(yīng)地跟蹤圖像上的作為跟蹤點(diǎn)的預(yù)定 點(diǎn)；顯示控制單元，用于在所述圖像上顯示充當(dāng)所述跟蹤點(diǎn)的候選項(xiàng) 的跟蹤點(diǎn)候選項(xiàng)，所述跟蹤點(diǎn)候選項(xiàng)的數(shù)量大于在所述圖像上運(yùn)動(dòng)的 對(duì)象的數(shù)量并且少于所述圖像的像素?cái)?shù)；以及設(shè)定單元，用于與用戶 的操作相對(duì)應(yīng)地設(shè)定所述跟蹤點(diǎn)候選項(xiàng)作為所述跟蹤單元的下 一 幀上 的所述跟蹤點(diǎn)。
根據(jù)本發(fā)明一個(gè)實(shí)施例，提供了一種用于圖像處理裝置的圖像處 理方法，該圖像處理裝置執(zhí)行對(duì)圖像上的跟蹤點(diǎn)進(jìn)行跟蹤的跟蹤處理， 所述方法包括以下步驟與用戶的操作相對(duì)應(yīng)地跟蹤所述圖像上的作 為跟蹤點(diǎn)的預(yù)定點(diǎn)；在所述圖像上對(duì)充當(dāng)所述跟蹤點(diǎn)的候選項(xiàng)的跟蹤 點(diǎn)候選項(xiàng)進(jìn)行顯示控制，所述跟蹤點(diǎn)候選項(xiàng)的數(shù)量大于在所述圖像上 運(yùn)動(dòng)的對(duì)象的數(shù)量并且少于所述圖像的像素?cái)?shù)；以及與用戶的操作相 對(duì)應(yīng)地設(shè)定所述跟蹤點(diǎn)候選項(xiàng)作為下 一 幀上的跟蹤點(diǎn)。
根據(jù)本發(fā)明一個(gè)實(shí)施例，提供了一種使得計(jì)算機(jī)用作圖像處理裝 置的程序，該圖像處理裝置包括跟蹤單元，用于與用戶的操作相對(duì) 應(yīng)地跟蹤圖像上的作為跟蹤點(diǎn)的預(yù)定點(diǎn)；顯示控制單元，用于在所述 圖像上顯示充當(dāng)所述跟蹤點(diǎn)的候選項(xiàng)的跟蹤點(diǎn)候選項(xiàng)，所述跟蹤點(diǎn)候 選項(xiàng)的數(shù)量大于在所述圖像上運(yùn)動(dòng)的對(duì)象的數(shù)量并且少于所述圖像的 像素?cái)?shù)；以及設(shè)定單元，用于與用戶的搮作相對(duì)應(yīng)地設(shè)定所述跟蹤點(diǎn) 候選項(xiàng)作為所述跟蹤單元的下 一幀上的所述跟蹤點(diǎn)。
根據(jù)以上配置，與用戶操作相對(duì)應(yīng)地，將圖像上的預(yù)定點(diǎn)作為跟 蹤點(diǎn)進(jìn)行跟蹤，然后在圖像上顯示充當(dāng)跟蹤點(diǎn)的候選項(xiàng)的跟蹤點(diǎn)候選 項(xiàng)，跟蹤點(diǎn)候選項(xiàng)的數(shù)量大于在畫面上運(yùn)動(dòng)的對(duì)象的數(shù)量并且少于圖像中的像素?cái)?shù)，并且與用戶的操作相對(duì)應(yīng)地設(shè)定跟蹤點(diǎn)候選項(xiàng)作為下 一幀的^J宗點(diǎn)。
這樣，根據(jù)以上配置，用戶可以容易地指示期望的跟蹤點(diǎn)。
圖l是例示應(yīng)用了本發(fā)明的跟蹤系統(tǒng)中的操作模式的轉(zhuǎn)變的圖2是例示了在普通模式下顯示的圖像示例的圖3是例示了在跟蹤處理模式下顯示的圖像示例的圖4是例示了在跟蹤處理模式下顯示的另一圖像示例的圖5是例示了在跟蹤點(diǎn)指示模式下顯示的圖像示例的圖6是描述跟蹤點(diǎn)的改變的圖7是例示改變后的跟蹤點(diǎn)的圖8是例示應(yīng)用了本發(fā)明的跟蹤系統(tǒng)的實(shí)施例的結(jié)構(gòu)示例的框
圖9是描述圖像處理的流程圖IO是詳細(xì)描述圖9中的跟蹤處理模式處理的流程圖； 圖ll是詳細(xì)描述圖9中的跟蹤點(diǎn)指示模式處理的流程圖； 圖12是詳細(xì)描述圖9中的普通模式處理的流程圖； 圖13是例示應(yīng)用了本發(fā)明的跟蹤系統(tǒng)的另一實(shí)施例的結(jié)構(gòu)示例 的框圖14是例示了采樣點(diǎn)的圖15是描述對(duì)象區(qū)域的檢測(cè)的圖16是描述跟蹤點(diǎn)候選項(xiàng)的初始化的圖17是描述跟蹤點(diǎn)候選項(xiàng)的確定的圖18是例示所確定的跟蹤點(diǎn)候選項(xiàng)的圖19是例示跟蹤點(diǎn)候選項(xiàng)的OSD顯示示例的圖20是描述跟蹤點(diǎn)候選項(xiàng)信息的確定的圖21是例示在重做之后的跟蹤點(diǎn)候選項(xiàng)的圖22A和22B是描述針對(duì)再現(xiàn)圖像根據(jù)操作歷史進(jìn)行的跟蹤點(diǎn)候選項(xiàng)放置的圖23A和23B是描述針對(duì)再現(xiàn)圖像根據(jù)操作歷史進(jìn)行的跟蹤點(diǎn) 候選項(xiàng)放置的圖24A和24B是描述針對(duì)再現(xiàn)圖像根據(jù)操作歷史進(jìn)行的跟蹤點(diǎn) 候選項(xiàng)放置的圖25A和25B是描述針對(duì)再現(xiàn)圖像根據(jù)操作歷史進(jìn)行的跟蹤點(diǎn) 候選項(xiàng)放置的圖26A和26B是描述針對(duì)再現(xiàn)圖像根據(jù)操作歷史進(jìn)行的跟蹤點(diǎn) 候選項(xiàng)放置的圖27A和27B是描述針對(duì)再現(xiàn)圖像根據(jù)操作歷史進(jìn)行的跟蹤點(diǎn) 候選項(xiàng)放置的圖28是描述另 一跟蹤點(diǎn)指示模式處理的詳情的流程圖29是描述跟蹤點(diǎn)候選項(xiàng)確定處理的詳情的流程圖；以及
圖30是例示個(gè)人計(jì)算機(jī)的結(jié)構(gòu)示例的框圖。
具體實(shí)施例方式
圖l是例示應(yīng)用了本發(fā)明的跟蹤系統(tǒng)中的操作模式的轉(zhuǎn)變的圖。 如圖1所示，為跟蹤系統(tǒng)設(shè)置了三種操作模式，它們是普通模式ll、 跟蹤處理模式12以及跟蹤點(diǎn)指示模式13。
普通模式11是正常地再現(xiàn)圖像的操作模式。在普通模式11下， 當(dāng)用戶指示開始跟蹤時(shí)，操作模式從普通模式11轉(zhuǎn)變到跟蹤處理模式 12。
跟蹤處理模式12是利用用戶指示為起點(diǎn)的跟蹤點(diǎn)來執(zhí)行跟蹤的 操作模式。在跟蹤處理模式12下，當(dāng)用戶指示跟蹤點(diǎn)校正時(shí)，操作模 式從跟蹤處理模式12轉(zhuǎn)變到跟蹤點(diǎn)指示模式13。另一方面，在跟蹤 處理模式12下，當(dāng)用戶指示結(jié)束跟蹤時(shí)，操作模式從跟蹤處理模式 12轉(zhuǎn)變到普通模式11。
跟蹤點(diǎn)指示模式13是如下操作模式在圖像上顯示充當(dāng)跟蹤點(diǎn) 的候選項(xiàng)的跟蹤點(diǎn)候選項(xiàng)(它們的數(shù)量大于在圖像上運(yùn)動(dòng)的對(duì)象的數(shù)量并且小于圖像的像素?cái)?shù))，然后將用戶在圖像上指示為跟蹤點(diǎn)的跟 蹤點(diǎn)候選項(xiàng)設(shè)定為下 一幀中的跟蹤點(diǎn)。
在跟蹤點(diǎn)指示模式13下，當(dāng)用戶將跟蹤點(diǎn)候選項(xiàng)指示為新跟蹤 點(diǎn)時(shí)，確定完成了對(duì)跟蹤點(diǎn)的校正，然后操作模式從跟蹤點(diǎn)指示模式 13轉(zhuǎn)變到跟蹤處理模式12。要注意，即使在經(jīng)過了預(yù)定時(shí)間而用戶沒 有執(zhí)行對(duì)跟蹤點(diǎn)的指示的情況下，操作模式也可以從跟蹤點(diǎn)指示模式 13轉(zhuǎn)變到跟蹤處理模式12。
另一方面，在跟蹤點(diǎn)指示模式13下，當(dāng)用戶指示結(jié)束跟蹤時(shí)， 操作模式從跟蹤點(diǎn)指示模式13轉(zhuǎn)變到普通模式11。
接下來，將參照?qǐng)D2到7描述在各種模式下顯示的圖像的示例。 在普通模式11下，如圖2所示，沒有改變地顯示再現(xiàn)圖像21。在跟 蹤處理模式12和跟蹤點(diǎn)指示模式13下，提供框縮放模式和實(shí)際縮放 模式作為顯示模式，并且用戶可以選擇這兩種顯示模式中的一種。
在跟蹤處理模式12下，在顯示模式是框縮放模式的情況下，如 圖3所示，按相同的放大率顯示再現(xiàn)圖像21，而且還顯示跟蹤點(diǎn)22 和以跟蹤點(diǎn)22為其中心的縮放框23，作為OSD(在屏顯示)。要注 意，縮放框23示出要縮放的區(qū)域目標(biāo)的大小和位置，并且是基于跟蹤 點(diǎn)22的位置和縮放倍率來確定的。另一方面，在顯示模式是實(shí)際縮放 模式的情況下，如圖4所示，顯示再現(xiàn)圖像21的位于與跟蹤點(diǎn)22相 對(duì)應(yīng)的縮放框23內(nèi)的縮放圖像31。
在跟蹤點(diǎn)指示模式13下，在顯示模式是框縮放模式的情況下， 如圖5所示，按相同的放大率顯示再現(xiàn)圖像21,并且還顯示當(dāng)前跟蹤 點(diǎn)22和縮放框23以及跟蹤點(diǎn)候選項(xiàng)41作為OSD。在圖5中的示例 中，在再現(xiàn)圖像21上均勻地設(shè)置5 x 7個(gè)跟蹤點(diǎn)候選項(xiàng)41。在跟蹤點(diǎn) 指示模式13下，用戶通過以跟蹤點(diǎn)候選項(xiàng)41為單位來移動(dòng)跟蹤點(diǎn)22， 來指示確定，從而能夠?qū)⑵谕母欬c(diǎn)候選項(xiàng)41指示為新跟蹤點(diǎn)22。
例如，如圖6所示，用戶通過將跟蹤點(diǎn)22向左移動(dòng)3次并向上 移動(dòng)2次來指示確定，如圖7所示，跟蹤點(diǎn)22的位置改變到從左起是 第二個(gè)并且從上起是第二個(gè)的跟蹤點(diǎn)候選項(xiàng)41的位置。此外，縮放框23的位置也與其跟蹤點(diǎn)22的位置相應(yīng)地改變。
要注意，盡管在圖中省略，但是在跟蹤點(diǎn)指示模式13下，在顯 示模式是實(shí)際縮放模式的情況下，類似于框縮放模式的情況，跟蹤點(diǎn) 22和跟蹤點(diǎn)候選項(xiàng)41顯示在圖4中的縮放圖像31上。
這樣，在跟蹤點(diǎn)指示模式13下，顯示其數(shù)量大于圖像上運(yùn)動(dòng)的 對(duì)象的數(shù)量并且小于圖像的像素?cái)?shù)的跟蹤點(diǎn)候選項(xiàng)，并且用戶可以在 所顯示的跟蹤點(diǎn)候選項(xiàng)內(nèi)指示期望的跟蹤點(diǎn)候選項(xiàng)，從而用戶可以容 易地指示期望的跟蹤點(diǎn)。
相反，在顯示數(shù)量剛好為圖像上運(yùn)動(dòng)的對(duì)象數(shù)量的跟蹤點(diǎn)候選項(xiàng) 的情況下，例如，在存在由于各種擾亂而不能提取的對(duì)象或者應(yīng)當(dāng)跟 蹤的對(duì)象只對(duì)于一部分用戶來說重要因此未被提取的情況下，存在用 戶沒有指示期望的跟蹤點(diǎn)的情形。
此外，在可以以像素為單位指示跟蹤點(diǎn)的情況下，存在可以執(zhí)行 跟蹤點(diǎn)的精細(xì)調(diào)節(jié)的優(yōu)點(diǎn)。
然而，那么此外，例如，在用戶不是針對(duì)靜態(tài)圖像而是針對(duì)其中 對(duì)象連續(xù)運(yùn)動(dòng)的運(yùn)動(dòng)圖像來指示跟蹤點(diǎn)的情況下，或者在針對(duì)第一次 或僅僅幾次聽到的圖像指示跟蹤點(diǎn)，而不是針對(duì)內(nèi)容很熟悉并且提前 讀取實(shí)時(shí)再現(xiàn)的圖像的圖像內(nèi)容因此跟蹤點(diǎn)可指示的情況下，以像素 單位的精度選擇作為跟蹤點(diǎn)的點(diǎn)是很困難的，其中指示期望的跟蹤點(diǎn) 是很困難的。
圖8示出應(yīng)用了本發(fā)明的跟蹤系統(tǒng)的實(shí)施例的結(jié)構(gòu)。圖8中的跟 蹤系統(tǒng)50由再現(xiàn)裝置51、操作裝置52、圖像處理裝置53以及顯示裝 置54構(gòu)成，并且根據(jù)圖1描述的操作模式針對(duì)使用再現(xiàn)裝置51再現(xiàn) 的圖像執(zhí)行處理，并在顯示裝置54上顯示處理結(jié)果。
具體來說，再現(xiàn)裝置51由DVD (數(shù)字多々某體盤)再現(xiàn)器等構(gòu)成， 再現(xiàn)來自諸如DVD等的記錄介質(zhì)的圖像，然后將其圖像以幀為單位輸入 圖像處理裝置53作為再現(xiàn)圖像。
操作裝置52由例如遙控器等構(gòu)成，并接收來自用戶的操作。具 體來說，例如，用戶使用操作裝置52執(zhí)行光標(biāo)操作，從而以跟蹤點(diǎn)候選項(xiàng)為單位移動(dòng)跟蹤點(diǎn)22,如圖6所示，然后指示期望的跟蹤點(diǎn)候選 項(xiàng)41作為跟蹤點(diǎn)。此時(shí)，操作裝置52接收針對(duì)跟蹤點(diǎn)的光標(biāo)操作或 指示操作。操作裝置52接著將表明來自用戶的操作的內(nèi)容的操作信息 輸入圖像處理裝置53。
圖像處理裝置53由控制單元61、跟蹤處理單元62、輸出參數(shù)控 制單元63、輸出圖像生成單元64、跟蹤點(diǎn)候選項(xiàng)控制單元65以及顯 示圖^f象生成單元66構(gòu)成。
控制單元61根據(jù)從操作裝置52輸入的操作信息來控制各部分。 具體來說，控制單元61向跟蹤處理單元62的跟蹤控制單元72 (稍后 將描述)提供跟蹤點(diǎn)指示信息和控制信息，其中，跟蹤點(diǎn)指示信息表 示由用戶指示的跟蹤開始點(diǎn)在再現(xiàn)圖像上的位置和被指示為新跟蹤點(diǎn) 的跟蹤點(diǎn)候選項(xiàng)在再現(xiàn)圖像上的位置，控制信息表示縮放倍率。此外， 控制單元61根據(jù)操作信息來設(shè)定操作模式和顯示模式。
跟蹤處理單元62由跟蹤點(diǎn)提取單元71和跟蹤控制單元72構(gòu)成， 并在處于跟蹤處理模式時(shí)啟動(dòng)。
跟蹤點(diǎn)提取單元71執(zhí)行對(duì)跟蹤點(diǎn)進(jìn)行跟蹤的跟蹤處理。具體來 說，跟蹤點(diǎn)提取單元71基于當(dāng)前從再現(xiàn)裝置51輸入的再現(xiàn)圖像、所 保持的在其之前的一幀的再現(xiàn)圖像、以及從跟蹤控制單元72提供的表 示跟蹤點(diǎn)在再現(xiàn)圖像上的位置的跟蹤點(diǎn)信息，來獲得跟蹤點(diǎn)的運(yùn)動(dòng)矢 量，然后檢測(cè)跟蹤點(diǎn)在當(dāng)前從再現(xiàn)裝置51輸入的再現(xiàn)圖像內(nèi)的位置。 跟蹤點(diǎn)提取單元71然后將表示利用跟蹤處理檢測(cè)到的跟蹤點(diǎn)在再現(xiàn) 圖像上的位置的當(dāng)前跟蹤點(diǎn)信息提供給跟蹤控制單元72 。
跟蹤控制單元72基于由從控制單元61提供的控制信息表示的縮 放倍率和從跟蹤點(diǎn)提取單元71提供的當(dāng)前跟蹤點(diǎn)信息，來確定縮放 框。跟蹤控制單元72將表示縮放框的位置和大小的縮放框信息提供給 輸出參數(shù)控制單元63。
此外，跟蹤控制單元72確定與由從控制單元61提供的控制信息 表示的跟蹤點(diǎn)指示信息相對(duì)應(yīng)的跟蹤開始點(diǎn)或跟蹤點(diǎn)候選項(xiàng)，或與當(dāng) 前跟蹤點(diǎn)信息相對(duì)應(yīng)的跟蹤點(diǎn)，作為針對(duì)跟蹤點(diǎn)提取單元71的下一幀的再現(xiàn)圖像的跟蹤點(diǎn)。跟蹤控制單元72將其跟蹤點(diǎn)的跟蹤點(diǎn)信息橫餌 給跟蹤點(diǎn)提取單元71。進(jìn)而，當(dāng)處于框縮放模式下時(shí)，跟蹤控制單元 72將當(dāng)前跟蹤點(diǎn)信息和縮放框信息提供給顯示圖像生成單元66。
輸出參數(shù)控制單元63在處于跟蹤處理模式和跟蹤點(diǎn)指示模式下 時(shí)啟動(dòng)。當(dāng)處于實(shí)際縮放模式下時(shí)，輸出參數(shù)控制單元63將從跟蹤控 制單元72提供的縮放框信息提供給輸出圖像生成單元64，作為生成 輸出圖像的參數(shù)(以下稱為輸出參數(shù))。
當(dāng)處于普通模式下且當(dāng)處于框縮放模式下時(shí)，輸出圖像生成單元 64將從再現(xiàn)裝置51輸入的再現(xiàn)圖像不改變地作為輸出圖像提供給顯 示圖像生成單元66。此外，當(dāng)處于實(shí)際縮放模式下時(shí)，輸出圖像生成 單元64基于從輸出參數(shù)控制單元63提供的充當(dāng)輸出參數(shù)的縮放框信 息，通過針對(duì)再現(xiàn)圖像執(zhí)行DRC (動(dòng)態(tài)范圍壓縮)處理等來生成縮放 圖像。輸出圖像生成單元64將其縮放圖像作為輸出圖像提供給顯示圖 像生成單元66。
跟蹤點(diǎn)候選項(xiàng)控制單元65在處于跟蹤點(diǎn)指示模式時(shí)啟動(dòng)。跟蹤 點(diǎn)候選項(xiàng)控制單元65向顯示圖像生成單元66提供預(yù)先準(zhǔn)備的表示跟 蹤點(diǎn)候選項(xiàng)在輸出圖像上的位置的跟蹤點(diǎn)候選項(xiàng)信息。要注意，預(yù)先 準(zhǔn)備的跟蹤點(diǎn)候選項(xiàng)信息表示輸出圖像上的等間隔的位置。因此，利
用跟蹤系統(tǒng)50，跟蹤點(diǎn)候選項(xiàng)被均勻表示在輸出圖像上。
顯示圖像生成單元66基于從跟蹤控制單元72提供的當(dāng)前跟蹤點(diǎn) 信息和縮放框信息，將跟蹤點(diǎn)和縮放框的OSD圖像疊加在從輸出圖像 生成單元64提供的輸出圖像上。此外，當(dāng)操作模式是跟蹤點(diǎn)指示模式 時(shí)，顯示圖像生成單元66基于從跟蹤點(diǎn)候選項(xiàng)控制單元65提供的跟 蹤點(diǎn)候選項(xiàng)信息，將跟蹤點(diǎn)候選項(xiàng)的OSD圖像疊加在其中疊加有跟蹤 點(diǎn)和縮放框的OSD圖像的輸出圖像上。
首先，顯示圖像生成單元66在處于跟蹤點(diǎn)指示模式以及實(shí)際縮 放模式下時(shí)，基于從跟蹤點(diǎn)候選項(xiàng)控制單元65提供的跟蹤點(diǎn)候選項(xiàng)信 息，將跟蹤點(diǎn)候選項(xiàng)的OSD圖像疊加在輸出圖像上，同時(shí)將跟蹤點(diǎn)的 OSD圖像疊加在輸出圖像的中心附近的跟蹤點(diǎn)候選項(xiàng)的位置上。顯示圖像生成單元66將輸出圖像本身或疊加之后的輸出圖像輸 出并顯示到由電視接收裝置等構(gòu)成的顯示裝置54，作為顯示圖像。
接著，將參照?qǐng)D9描述圖8中的圖像處理裝置53的圖像處理。 該圖像處理例如在從再現(xiàn)裝置51輸入了一幀再現(xiàn)圖像時(shí)開始。
在步驟Sll中，控制單元61確定當(dāng)前操作模式是否為跟蹤處理 模式。在步驟Sll中，在確定當(dāng)前操作模式是跟蹤處理模式的情況下， 在步驟S12中，圖像處理裝置53執(zhí)行跟蹤處理模式處理以對(duì)跟蹤點(diǎn)進(jìn) 行跟蹤。參照稍后要描述的圖10中的流程圖來描述跟蹤處理模式處理 的詳情。
另一方面，在步驟S11中，在確定當(dāng)前操作模式不是跟蹤處理模 式的情況下，在步驟S13中，控制單元61確定當(dāng)前操作模式是否為跟 蹤點(diǎn)指示模式。在步驟S13中確定當(dāng)前操作模式是跟蹤點(diǎn)指示模式的 情況下，在步驟S14中，圖像處理裝置53執(zhí)行跟蹤點(diǎn)指示模式處理以 將由用戶指示的跟蹤點(diǎn)候選項(xiàng)設(shè)定為跟蹤點(diǎn)。將參照稍后描述的圖11 中的流程圖來描述該跟蹤點(diǎn)指示模式處理的詳情。
此外，在步驟S13中確定當(dāng)前操作模式不是跟蹤點(diǎn)指示模式的情 況下，即，在當(dāng)前操作模式是普通模式的情況下，在步驟S15中，圖 像處理裝置53執(zhí)行普通模式處理，以在不改變的情況下將再現(xiàn)圖像作 為顯示圖像顯示在顯示裝置54上。將參照稍后描述的圖12中的流程 圖來描述此處的普通模式處理的詳情。
接下來，將參照?qǐng)D10中的流程圖來描述圖9中的步驟S12的跟 蹤處理模式處理的詳情。
在步驟S31中，跟蹤點(diǎn)提取單元71基于當(dāng)前從再現(xiàn)裝置51輸入 的圖像、所保持的其一幀之前的再現(xiàn)圖像、以及從跟蹤控制單元72 提供的跟蹤點(diǎn)信息，來執(zhí)行跟蹤處理。跟蹤點(diǎn)提取單元71將作為結(jié)果 而獲得的當(dāng)前跟蹤點(diǎn)信息提供給跟蹤控制單元72。
在步驟S32中，跟蹤控制單元72基于從跟蹤點(diǎn)提取單元71提供 的當(dāng)前跟蹤點(diǎn)信息和由從控制單元61提供的控制信息表示的縮放倍 率，來確定縮放框。跟蹤控制單元72然后將作為結(jié)果而獲得的縮放框信息提供給輸出參數(shù)控制單元63。
在步驟S33中，輸出參數(shù)控制單元63確定當(dāng)前顯示模式是否為 實(shí)際縮放模式。在步驟S33中確定當(dāng)前顯示模式是實(shí)際縮放模式的情 況下，輸出參數(shù)控制單元63將從跟蹤控制單元72提供的縮放框信息 作為輸出參數(shù)提供給輸出圖像生成單元64。
隨后，在步驟S34中，輸出圖像生成單元64基于從輸出參數(shù)控 制單元63提供的充當(dāng)輸出參數(shù)的縮放框信息，從再現(xiàn)圖像生成縮放圖 像。輸出圖像生成單元64然后將其縮放圖像作為輸出圖像提供給顯示 圖像生成單元66。
在步驟S35中，顯示圖像生成單元66將從輸出圖像生成單元64 提供的輸出圖像自身作為顯示圖像輸出并顯示到顯示裝置54，然后處 理進(jìn)行到步驟S39。
另一方面，在步驟S33中，在確定當(dāng)前顯示模式不是實(shí)際縮放模 式的情況下，即，在確定當(dāng)前顯示模式是框縮放模式的情況下，在步 驟S36中，跟蹤控制單元72將當(dāng)前跟蹤點(diǎn)信息和縮放框信息提供給顯 示圖像生成單元66。
在步驟S37中，輸出圖像生成單元64將從再現(xiàn)裝置51輸入的再 現(xiàn)圖像不改變地作為輸出圖像輸出給顯示圖像生成單元66。在步驟 S38中，顯示圖像生成單元66基于從跟蹤控制單元72提供的當(dāng)前跟 蹤點(diǎn)信息和縮放框信息，將跟蹤點(diǎn)和縮放框的OSD圖像疊加在輸出圖 像上并生成顯示圖像，然后顯示在顯示裝置54上。然后處理進(jìn)行到步 驟S39。
在步驟S39中，控制單元61根據(jù)從操作裝置52提供的操作信息， 確定用戶是否指示了結(jié)束跟蹤處理。在步驟S39中確定已經(jīng)指示了結(jié) 束跟蹤處理的情況下，在步驟S40中，控制單元61將當(dāng)前操作模式設(shè) 定為普通模式。然后處理返回到圖9中的步驟S12，從而結(jié)束。
另一方面，在步驟S39中確定尚未指示結(jié)束跟蹤處理的情況下， 在步驟S41中根據(jù)從操作裝置52提供的操作信息，確定用戶是否指示 了校正跟蹤點(diǎn)。在步驟S41中確定指示了校正跟蹤點(diǎn)的情況下，在步驟S42中控 制單元61將當(dāng)前實(shí)際模式設(shè)定為跟蹤點(diǎn)指示模式，然后處理進(jìn)行到步 驟S43。
另一方面，在步驟S41中確定未指示校正跟蹤點(diǎn)的情況下，流程 進(jìn)行到步驟S43,在步驟S43中控制單元61根據(jù)從操作裝置52提供 的操作信息，確定用戶是否指示了改變顯示模式。
在步驟S43中，在確定用戶指示了改變顯示模式的情況下，將當(dāng) 前顯示模式從實(shí)際縮放模式和幀模式中的一個(gè)改變成另一個(gè)。然后處 理返回到圖9中的步驟S12并結(jié)束。
此外，在步驟S43中在確定未指示改變顯示模式的情況下，不執(zhí) 行步驟S44中的處理，處理返回到圖9中的步驟S12并結(jié)束。
接下來，參照?qǐng)D11中的流程圖對(duì)圖9中的步驟S14中的跟蹤點(diǎn) 指示模式的詳情進(jìn)行描述。
在步驟S61中，跟蹤點(diǎn)候選項(xiàng)控制單元65將之前準(zhǔn)備的跟蹤點(diǎn) 候選項(xiàng)信息輸出給顯示圖像生成單元66，然后處理進(jìn)行到步驟S62。 在步驟S62中，輸出參數(shù)控制單元63確定當(dāng)前顯示模式是否為實(shí)際縮 放模式。
在步驟S62中，在確定當(dāng)前顯示模式是實(shí)際縮放模式的情況下， 輸出參數(shù)控制單元63將從跟蹤控制單元72提供的縮放框信息作為輸 出參數(shù)提供給輸出圖像生成單元64。在步驟S63中，輸出圖像生成單 元64基于從輸出參數(shù)控制單元63提供的輸出參數(shù)，從再現(xiàn)圖像生成 縮放圖像。輸出圖像生成單元64將其縮放圖像作為輸出圖像提供給顯 示圖像生成單元66。
在步驟S64中，顯示圖像生成單元66基于從跟蹤點(diǎn)候選項(xiàng)控制 單元65提供的跟蹤點(diǎn)候選項(xiàng)信息，將跟蹤點(diǎn)和跟蹤點(diǎn)候選項(xiàng)的OSD 圖像疊加在從輸出圖像生成單元64提供的輸出圖像上，并顯示在顯示 裝置54上。然后處理進(jìn)行到步驟S67。
另 一 方面，在確定當(dāng)前顯示模式不是實(shí)際縮放模式的情況下，即， 在當(dāng)前顯示模式是框縮放模式的情況下，在步驟S65中，輸出圖像生成單元64將從再現(xiàn)裝置51輸入的再現(xiàn)圖像不改變地作為輸出圖像輸 出給顯示圖像生成單元66。
在步驟S66中，顯示圖像生成單元66基于從跟蹤控制單元72提 供的縮放信息和從跟蹤點(diǎn)候選項(xiàng)控制單元65提供的跟蹤點(diǎn)候選項(xiàng)信 息，將跟蹤點(diǎn)、縮放框以及跟蹤點(diǎn)候選項(xiàng)的OSD圖像疊加在輸出圖像 上并生成顯示圖像，然后顯示在顯示裝置54上。接著處理進(jìn)行到步驟 S67。
在步驟S67中，控制單元61根據(jù)來自操作裝置52的操作信息， 確定是否指示了結(jié)束跟蹤處理。在步驟S67中確定指示了結(jié)束跟蹤處 理的情況下，在步驟S68中控制單元61將當(dāng)前操作模式設(shè)定為普通模 式。然后處理返回到圖9中的步驟S14并結(jié)束。
另一方面，在步驟S67中確定尚未指示結(jié)束跟蹤處理的情況下， 在步驟S69中控制單元61根據(jù)從操作裝置52提供的操作信息，確定 用戶是否已經(jīng)將顯示圖像上的跟蹤點(diǎn)候選項(xiàng)指示為跟蹤點(diǎn)。
在步驟S69中，在確定已經(jīng)指示跟蹤點(diǎn)候選項(xiàng)作為跟蹤點(diǎn)的情況 下，控制單元61將其跟蹤點(diǎn)候選項(xiàng)的跟蹤點(diǎn)指示信息提供給跟蹤控制 單元72。在步驟S70中，跟蹤控制單元72將與其跟蹤點(diǎn)指示信息相 對(duì)應(yīng)的跟蹤點(diǎn)候選項(xiàng)設(shè)定為用于下一幀的跟蹤點(diǎn)。跟蹤控制單元72 將跟蹤點(diǎn)指示信息提供給跟蹤點(diǎn)提取單元71,作為跟蹤點(diǎn)信息。
在步驟S71中，控制單元61將當(dāng)前操作模式設(shè)定為跟蹤處理模 式，然后處理進(jìn)行到步驟S72。另一方面，在步驟S69中確定未將顯 示圖像上的跟蹤點(diǎn)候選項(xiàng)指示為跟蹤點(diǎn)的情況下，處理進(jìn)行到步驟 S72。步驟S72和S73中的處理類似于圖10中的步驟S43和S44中的 處理，因此將略去對(duì)其的描述。在步驟S73中的處理之后，處理返回 到圖9中的步驟S14并結(jié)束。
接下來，將參照?qǐng)D12中的流程圖描述圖9中的步驟S15中的普 通模式處理的詳情。
在步驟S91中，輸出圖像生成單元64將從再現(xiàn)裝置51輸入的再 現(xiàn)圖像不改變地作為輸出圖像輸出到顯示圖像生成單元66。在步驟S92中，顯示圖像生成單元66將從輸出圖像生成單元64提供的輸出 圖像不改變地作為顯示圖像顯示到顯示裝置54。
在步驟S93中，控制單元61根據(jù)從操作裝置52提供的操作信息， 確定是否指示了開始跟蹤處理。在步驟S93中確定已經(jīng)指示了開始跟 蹤處理的情況下，控制單元61根據(jù)操作信息，向跟蹤控制單元72提 供表示所指示的跟蹤開始點(diǎn)的跟蹤點(diǎn)指示信息以及來自用戶的開始跟 蹤處理的指示的控制信息。
在步驟S94中，控制單元61將當(dāng)前操作模式設(shè)定為跟蹤處理模 式，然后處理返回到圖9中的步驟S15并結(jié)束。另一方面，在步驟S93 中確定尚未指示開始跟蹤處理的情況下，處理返回到圖9中的步驟 S15。
要注意，對(duì)于上述描述，不是根據(jù)再現(xiàn)圖像將跟蹤點(diǎn)候選項(xiàng)均勻 地放置在預(yù)先確定的位置上，但是可以進(jìn)行如下安排根據(jù)再現(xiàn)圖像 來放置跟蹤點(diǎn)候選項(xiàng)。圖13示出了這種情況下的跟蹤系統(tǒng)的結(jié)構(gòu)示 例。
圖13中的跟蹤系統(tǒng)100由再現(xiàn)裝置51、操作裝置52、顯示裝置 54以及圖像處理裝置101構(gòu)成。利用跟蹤系統(tǒng)100，根據(jù)再現(xiàn)圖像的 特征量、實(shí)際縮放模式時(shí)的縮放框信息、跟蹤處理的算法性能、以及 在跟蹤點(diǎn)指示模式下針對(duì)再現(xiàn)圖像的操作歷史，來放置跟蹤點(diǎn)候選項(xiàng)。 因此，利用跟蹤系統(tǒng)100，再現(xiàn)圖像不是從再現(xiàn)裝置51輸入的，并且 只要不是諸如再現(xiàn)圖像完全是黑色的情況的特殊情況，基本上不均勻 地放置跟蹤點(diǎn)候選項(xiàng)。
要注意，在圖13中，以相同的標(biāo)號(hào)表示與圖8中的那些組件相 同的組件，因此將略去對(duì)其的冗余描述。
在圖13中，圖像處理裝置101由輸出圖像生成單元64、顯示圖 像生成單元66、控制單元111、跟蹤處理單元112、跟蹤點(diǎn)候選項(xiàng)處 理單元113、編輯歷史處理單元114以及輸出參數(shù)控制單元115構(gòu)成。
控制單元111根據(jù)從操作裝置52輸入的操作信息來控制各個(gè)部 分。具體來說，控制單元111根據(jù)操作信息向跟蹤處理單元112的(稍后描述的)跟蹤控制單元122提供表明跟蹤點(diǎn)指示信息或縮放倍率的 控制信息。此外，控制單元lll根據(jù)操作信息來設(shè)定操作模式和顯示 模式。此外，控制單元lll將操作信息提供給設(shè)置信息提取單元143。 跟蹤處理單元112由跟蹤點(diǎn)提取單元121和跟蹤控制單元122構(gòu) 成，并且在處于跟蹤處理模式下時(shí)和在處于跟蹤點(diǎn)指示模式下時(shí)啟動(dòng)。 在操作模式是跟蹤點(diǎn)處理模式的情況下，類似于圖8中的跟蹤點(diǎn)提取 單元71，跟蹤點(diǎn)提取單元121基于從再現(xiàn)裝置51輸入的再現(xiàn)圖像和 從跟蹤控制單元122提供的跟蹤點(diǎn)信息，執(zhí)行跟蹤處理。跟蹤點(diǎn)提取 單元121將作為跟蹤處理的結(jié)果而獲得的當(dāng)前跟蹤點(diǎn)信息提供給跟蹤 控制單元122。
此外，在操作模式是跟蹤點(diǎn)指示模式的情況下，在將跟蹤點(diǎn)候選 項(xiàng)指示為跟蹤點(diǎn)時(shí)，跟蹤點(diǎn)提取單元121針對(duì)利用跟蹤點(diǎn)候選項(xiàng)控制 單元133確定的所有臨時(shí)跟蹤點(diǎn)候選項(xiàng)，計(jì)算一固定量值的可靠性， 該固定量值的可靠性用于確定是否準(zhǔn)確執(zhí)行了跟蹤處理的可靠性。
具體來說，跟蹤點(diǎn)提取單元121針對(duì)每個(gè)跟蹤點(diǎn)候選項(xiàng)，基于從 再現(xiàn)裝置51輸入的再現(xiàn)圖像和從跟蹤控制單元122提供的再現(xiàn)跟蹤點(diǎn) 候選項(xiàng)信息(其表示利用跟蹤點(diǎn)候選項(xiàng)控制單元133確定的所有臨時(shí) 跟蹤點(diǎn)候選項(xiàng)在再現(xiàn)圖像上的位置)，在每個(gè)跟蹤點(diǎn)候選項(xiàng)被指示為 跟蹤點(diǎn)時(shí)計(jì)算運(yùn)動(dòng)矢量的可靠性，該運(yùn)動(dòng)矢量的可靠性表示是否獲得 了準(zhǔn)確的運(yùn)動(dòng)矢量的可靠性。此處的運(yùn)動(dòng)矢量的可靠性被后述的跟蹤 點(diǎn)候選項(xiàng)控制單元133用來根據(jù)跟蹤處理的算法性能確定最終跟蹤點(diǎn) 候選項(xiàng)。
要注意，可以使用任何類型的方法作為計(jì)算運(yùn)動(dòng)矢量的可靠性的 方法，可以使用任何類型的方法，但是例如存在如下方法針對(duì)代表 表示與運(yùn)動(dòng)矢量相對(duì)應(yīng)的再現(xiàn)圖像內(nèi)的兩個(gè)塊之間的匹配程度的評(píng)價(jià)
值和表示再現(xiàn)圖像的復(fù)雜度的特征量的活動(dòng)性的可靠性，來計(jì)算矢量 精度。在日本待審專利申請(qǐng)公報(bào)第2005-310984號(hào)中描述了計(jì)算矢量精 度的詳情。
跟蹤點(diǎn)提取單元121將每個(gè)計(jì)算出的跟蹤點(diǎn)候選項(xiàng)的可靠性提供給跟蹤控制單元122。類似于圖8中的跟蹤控制單元72，跟蹤控制單 元122基于由從控制單元111提供的控制信息表示的縮放倍率和從跟 蹤點(diǎn)提取單元121提供的當(dāng)前跟蹤點(diǎn)信息，確定縮放框，然后將縮放 框信息提供給輸出參數(shù)控制單元115。
此外，類似于跟蹤控制單元72，跟蹤控制單元122確定與由從控 制單元111提供的控制信息表示的跟蹤點(diǎn)指示信息相對(duì)應(yīng)的跟蹤開始 點(diǎn)或跟蹤點(diǎn)候選項(xiàng)，或者與當(dāng)前跟蹤點(diǎn)信息相對(duì)應(yīng)的跟蹤點(diǎn)，作為在 跟蹤點(diǎn)提取單元121中的下一幀的再現(xiàn)圖像的跟蹤點(diǎn)。跟蹤控制單元 122將跟蹤點(diǎn)的跟蹤點(diǎn)信息提供給跟蹤點(diǎn)提取單元71。
此外，類似于跟蹤控制單元72，跟蹤控制單元122將當(dāng)前跟蹤點(diǎn) 信息和縮放框信息提供給顯示圖像生成單元66。
此外，跟蹤控制單元122將從跟蹤點(diǎn)候選項(xiàng)控制單元133提供的
針對(duì)所有臨時(shí)跟蹤點(diǎn)候選項(xiàng)的再現(xiàn)跟蹤點(diǎn)候選項(xiàng)信息提供給跟蹤點(diǎn)提 取單元121。此外，跟蹤控制單元122將從跟蹤點(diǎn)提取單元121提供 的每個(gè)臨時(shí)跟蹤點(diǎn)候選項(xiàng)的可靠性提供給跟蹤點(diǎn)候選項(xiàng)控制單元 133。
跟蹤點(diǎn)候選項(xiàng)處理單元113由圖像特征量提取單元131、跟蹤點(diǎn) 候選項(xiàng)生成單元132以及跟蹤點(diǎn)候選項(xiàng)控制單元133構(gòu)成，并且在處 于跟蹤點(diǎn)指示模式時(shí)啟動(dòng)。
圖像特征量提取單元131利用從再現(xiàn)裝置51連續(xù)輸入的兩幀的 再現(xiàn)圖像來執(zhí)行塊匹配等，然后針對(duì)在再現(xiàn)圖像上針對(duì)每個(gè)預(yù)定采樣 間隔設(shè)置的每個(gè)采樣點(diǎn)，獲得運(yùn)動(dòng)矢量。此處的運(yùn)動(dòng)矢量用于供跟蹤 點(diǎn)候選項(xiàng)生成單元132根據(jù)再現(xiàn)圖像的特征量確定跟蹤點(diǎn)候選項(xiàng)。圖 像特征量提取單元131將所獲得的運(yùn)動(dòng)矢量提供給跟蹤點(diǎn)候選項(xiàng)生成 單元132。
跟蹤點(diǎn)候選項(xiàng)生成單元132基于從圖像特征量提取單元131提供 的運(yùn)動(dòng)矢量來確定跟蹤點(diǎn)候選項(xiàng)的位置，然后將跟蹤點(diǎn)候選項(xiàng)的再現(xiàn) 跟蹤點(diǎn)候選項(xiàng)信息提供給跟蹤點(diǎn)候選項(xiàng)控制單元133。此外，跟蹤點(diǎn) 候選項(xiàng)生成單元132根據(jù)來自跟蹤點(diǎn)候選項(xiàng)控制單元133的重新確定跟蹤點(diǎn)候選項(xiàng)的位置的命令，來重新確定跟蹤點(diǎn)候選項(xiàng)的位置-秋^ 將作為結(jié)果而獲得的再現(xiàn)跟蹤點(diǎn)候選項(xiàng)信息提供給跟蹤點(diǎn)候選項(xiàng)控制
單元133。
跟蹤點(diǎn)候選項(xiàng)控制單元133當(dāng)處于實(shí)際縮放模式下時(shí)，基于從跟 蹤點(diǎn)候選項(xiàng)生成單元132提供的再現(xiàn)跟蹤點(diǎn)候選項(xiàng)信息和從輸出參數(shù) 控制單元115提供的充當(dāng)輸出參數(shù)的縮放框信息，來命令跟蹤點(diǎn)候選 項(xiàng)控制單元122重新確定跟蹤點(diǎn)候選項(xiàng)的位置，然后改變跟蹤點(diǎn)候選 項(xiàng)的放置。
此外，跟蹤點(diǎn)候選項(xiàng)控制單元133基于從編輯歷史處理單元114 的(后述的)編輯歷史確定單元144提供的充當(dāng)針對(duì)再現(xiàn)圖像的操作 歷史的縮放框信息以及操作次數(shù)(其是用以指示跟蹤點(diǎn)的操作被執(zhí)行 的次數(shù))，來從與從跟蹤點(diǎn)候選項(xiàng)生成單元132提供的再現(xiàn)跟蹤點(diǎn)候 選項(xiàng)信息相對(duì)應(yīng)的跟蹤點(diǎn)候選項(xiàng)中確定臨時(shí)跟蹤點(diǎn)候選項(xiàng)。
隨后，跟蹤點(diǎn)候選項(xiàng)控制單元133將臨時(shí)跟蹤點(diǎn)候選項(xiàng)的再現(xiàn)跟 蹤點(diǎn)候選項(xiàng)信息提供給跟蹤控制單元122。作為其結(jié)果，從跟蹤點(diǎn)提 取單元121針對(duì)每個(gè)臨時(shí)跟蹤點(diǎn)候選項(xiàng)計(jì)算與再現(xiàn)跟蹤點(diǎn)候選項(xiàng)信息 相對(duì)應(yīng)的臨時(shí)跟蹤點(diǎn)候選項(xiàng)的可靠性，然后將該可靠性提供給跟蹤點(diǎn) 候選項(xiàng)控制單元133。跟蹤點(diǎn)候選項(xiàng)控制單元133基于從跟蹤點(diǎn)候選 項(xiàng)控制單元133提供的每個(gè)臨時(shí)跟蹤點(diǎn)候選項(xiàng)的可靠性，從臨時(shí)跟蹤 點(diǎn)候選項(xiàng)中確定最終跟蹤點(diǎn)候選項(xiàng)。
運(yùn)動(dòng)矢量的可靠性由于跟蹤處理的算法性能而不同，因此可以說 最終跟蹤點(diǎn)候選項(xiàng)是根據(jù)跟蹤處理的算法性能從臨時(shí)跟蹤點(diǎn)候選項(xiàng)中 確定的。跟蹤點(diǎn)候選項(xiàng)控制單元133將最終跟蹤點(diǎn)候選項(xiàng)的跟蹤點(diǎn)候 選項(xiàng)信息提供給顯示圖像生成單元66。
編輯歷史處理單元114由圖像特征量提取單元141、編輯歷史記 錄單元142、設(shè)置信息提取單元143以及編輯歷史確定單元144構(gòu)成， 并且在處于跟蹤點(diǎn)指示模式時(shí)啟動(dòng)。
圖像特征量提取單元141針對(duì)來自從再現(xiàn)裝置51輸入的再現(xiàn)圖 像的每個(gè)幀，提取用于編輯歷史的特征量，然后提供給編輯歷史記錄單元142和編輯歷史確定單元144。
要注意，作為用于編輯歷史的特征量，例如存在表示如下特征的 特征量在再現(xiàn)圖像的空間方向上的亮度值的分布圖案的特征、幀內(nèi) 亮度差絕對(duì)值在空間方向上的分布圖案的特征、以及幀內(nèi)亮度差絕對(duì) 值在空間方向上的分布圖案的時(shí)間差特征。
編輯歷史記錄單元142記錄如下的表作為編輯歷史表，該表將從 圖像特征量提取單元141提供的每個(gè)幀的特征量與從設(shè)置信息提取單 元143提供的表示跟蹤點(diǎn)運(yùn)動(dòng)信息(其表示針對(duì)該幀而被指示為跟蹤 點(diǎn)的運(yùn)動(dòng)目的地的跟蹤點(diǎn)候選項(xiàng)在再現(xiàn)圖像上的位置)和縮放倍率的 設(shè)置信息相關(guān)聯(lián)。
設(shè)置信息提取單元143基于從控制單元111提供的操作信息來生 成設(shè)置信息，然后將該設(shè)置信息提供給編輯歷史記錄單元142和編輯 歷史確定單元144。
編輯歷史確定單元144搜索編輯歷史記錄單元142中記錄的編輯 歷史表中注冊(cè)的特征量中的與從圖像特征量提取單元141提供的特征 量相同的特征量。編輯歷史確定單元144然后基于從設(shè)置信息提取單 元143提供的設(shè)置信息和與從編輯歷史表中搜索到的特征量相對(duì)應(yīng)的 設(shè)置信息，來確定對(duì)應(yīng)于來自設(shè)置信息提取單元143的設(shè)置信息的縮 放框(以下稱為當(dāng)前縮放框)與對(duì)應(yīng)于搜索到的設(shè)置信息的縮放框(以 下稱為過去縮放框)是否重疊。
編輯歷史確定單元144將從編輯歷史表中搜索到的特征量的數(shù)量 作為操作次數(shù)提供給跟蹤點(diǎn)候選項(xiàng)控制單元133，同時(shí)將當(dāng)前縮放框 的縮放框信息提供給跟蹤點(diǎn)候選項(xiàng)控制單元133。
類似于圖8中的輸出參數(shù)控制單元63，輸出參數(shù)控制單元115 在處于跟蹤處理模式時(shí)和在處于跟蹤點(diǎn)指示模式時(shí)啟動(dòng)。類似于輸出 參數(shù)控制單元63,輸出參數(shù)控制單元115將從跟蹤控制單元122提供 的縮放框信息作為輸出參數(shù)提供給輸出圖像生成單元64。此外，輸出 參數(shù)控制單元115將從跟蹤控制單元122提供的縮放框信息作為輸出 參數(shù)提供給跟蹤點(diǎn)候選項(xiàng)控制單元133。接下來，將參照?qǐng)D14到19描述使用圖13中的跟蹤點(diǎn)候選項(xiàng)生 成單元132根據(jù)再現(xiàn)圖像的特征量對(duì)跟蹤點(diǎn)候選項(xiàng)進(jìn)行的放置。
例如，當(dāng)從再現(xiàn)裝置51輸入圖2所示的再現(xiàn)圖像21時(shí)，圖像特 征量提取單元131獲得針對(duì)再現(xiàn)圖像21上的每個(gè)采樣間隔(Sv，x， Sv，y)而 設(shè)置的采樣點(diǎn)(圖14中的黑點(diǎn))處的運(yùn)動(dòng)矢量(Vx， Vy)(但是，Vx， Vy 是整數(shù))，然后提供給跟蹤點(diǎn)候選項(xiàng)生成單元132。
跟蹤點(diǎn)候選項(xiàng)生成單元132計(jì)算從圖像特征量提取單元131提供 的運(yùn)動(dòng)矢量的頻率分布。具體來說，例如，在要獲得的運(yùn)動(dòng)矢量(Vx， Vy) 的范圍是-32 < Vx < 32， -32 < Vy < 32的情況下，那么準(zhǔn)備與運(yùn)動(dòng)矢量(Vx， V》的每個(gè)值相對(duì)應(yīng)的65 (= 32 + 1 + 32) x 65個(gè)計(jì)數(shù)器。
跟蹤點(diǎn)候選項(xiàng)生成單元132將與從圖像特征量提取單元131提供 的運(yùn)動(dòng)矢量(Vx， Vy)的值相對(duì)應(yīng)的計(jì)數(shù)器值一次增l。例如，在從圖像特 征量提取單元131提供的運(yùn)動(dòng)矢量(Vx， Vy)的值是(lO， IO)的情況下，跟 蹤點(diǎn)候選項(xiàng)生成單元132將與(IO， IO)相對(duì)應(yīng)的計(jì)數(shù)器的值增1。因此， 跟蹤點(diǎn)候選項(xiàng)生成單元132可以利用每個(gè)計(jì)數(shù)器的值來識(shí)別運(yùn)動(dòng)矢量 (Vx,Vy)的頻率分布。
跟蹤點(diǎn)候選項(xiàng)生成單元132基于此處的頻率分布以及運(yùn)動(dòng)矢量 (Vx，Vy)，來檢測(cè)對(duì)象區(qū)域，該對(duì)象區(qū)域是在再現(xiàn)圖像21內(nèi)運(yùn)動(dòng)的對(duì)象的 區(qū)域。
具體來說，在運(yùn)動(dòng)矢量(Vx， Vy)的各個(gè)值大于預(yù)定閾值，運(yùn)動(dòng)矢量(Vx，
Vy)的頻率是對(duì)于再現(xiàn)圖像21的支配頻率，并且與運(yùn)動(dòng)矢量(Vx， Vy)相對(duì)
應(yīng)的采樣點(diǎn)集中得超過預(yù)定數(shù)量的情況下，跟蹤點(diǎn)候選項(xiàng)生成單元132 將與其運(yùn)動(dòng)矢量(Vx， V》相對(duì)應(yīng)的采樣點(diǎn)(圖15中的圓形)確定為存在 于對(duì)象區(qū)域中的采樣點(diǎn)。
另一方面，跟蹤點(diǎn)候選項(xiàng)生成單元132首先對(duì)跟蹤點(diǎn)候選項(xiàng)進(jìn)行 初始化，然后將這些跟蹤點(diǎn)候選項(xiàng)(圖16中的圓形和正方形)均勻放 置在再現(xiàn)圖像21上，如圖16所示。要注意，對(duì)于圖16中的示例，初 始化后的跟蹤點(diǎn)候選項(xiàng)(S^， SD，y)的間隔與采樣間隔(Sv，x， Sv，y)相同。因 此，初始化后的跟蹤點(diǎn)候選項(xiàng)的放置與采樣點(diǎn)的放置相同。接下來，跟蹤點(diǎn)候選項(xiàng)生成單元132使得每隔一個(gè)的初始化后的 跟蹤點(diǎn)候選項(xiàng)成為對(duì)象確定(確定點(diǎn))的目標(biāo)。也就是說，在圖16 中的示例中，圖中由正方形表示的跟蹤點(diǎn)候選項(xiàng)成為對(duì)象確定的目標(biāo)， 而圖中由圓形表示的跟蹤點(diǎn)候選項(xiàng)不是對(duì)象確定的目標(biāo)。要注意，對(duì) 象確定是確定待確定的跟蹤點(diǎn)候選項(xiàng)目標(biāo)是否存在于對(duì)象區(qū)域中。
在通過對(duì)象確定而確定了待確定的跟蹤點(diǎn)候選項(xiàng)目標(biāo)存在于對(duì) 象區(qū)域中的情況下，跟蹤點(diǎn)候選項(xiàng)生成單元132保持該跟蹤點(diǎn)候選項(xiàng)， 而在確定了不存在于對(duì)象區(qū)域中，即，存在于作為除對(duì)象區(qū)域以外的 區(qū)域的背景區(qū)域中的情況下，刪除該跟蹤點(diǎn)候選項(xiàng)。
這樣，如圖17所示，在圖16中由正方形表示的待確定的跟蹤點(diǎn) 候選項(xiàng)目標(biāo)中的存在于對(duì)象區(qū)域中的跟蹤點(diǎn)候選項(xiàng)目標(biāo)(即存在于與 圖15中由圓表示的采樣點(diǎn)相同的位置上的跟蹤點(diǎn)候選項(xiàng)目標(biāo)(圖17 中是正方形))被保留為跟蹤點(diǎn)候選項(xiàng)。此外，如圖17所示，將不是 待確定目標(biāo)的跟蹤點(diǎn)候選項(xiàng)(圖16中的圓)也保留為跟蹤點(diǎn)候選項(xiàng)。 隨后，跟蹤點(diǎn)候選項(xiàng)生成單元132將所保留的由圖18中的正方形表示 的跟蹤點(diǎn)候選項(xiàng)的再現(xiàn)跟蹤點(diǎn)候選項(xiàng)信息提供給跟蹤點(diǎn)候選項(xiàng)控制單 元133。
隨后，例如在跟蹤點(diǎn)候選項(xiàng)控制單元133將從跟蹤點(diǎn)候選項(xiàng)生成 單元132提供的跟蹤點(diǎn)候選項(xiàng)不加改變地確定為最終跟蹤點(diǎn)候選項(xiàng) 時(shí)，如圖19所示，跟蹤點(diǎn)候選項(xiàng)151被不均勻地OSD顯示在再現(xiàn)圖 像21上。具體來說，與背景區(qū)域內(nèi)的跟蹤點(diǎn)候選項(xiàng)141相比，對(duì)象區(qū) 域內(nèi)的跟蹤點(diǎn)候選項(xiàng)151被更稠密地放置。
這樣，跟蹤點(diǎn)候選項(xiàng)151被稠密地放置在對(duì)象區(qū)域內(nèi)，從而使對(duì) 象具備被跟蹤的高概率，用戶通?？梢砸跃?xì)的精度來指示跟蹤點(diǎn)。 此外，跟蹤點(diǎn)候選項(xiàng)151也顯示在背景區(qū)域中，從而即使在對(duì)象區(qū)域 的檢測(cè)精度差的情況下或者在期望跟蹤對(duì)象以外的不是普通用戶要跟 蹤的目標(biāo)的東西的情況下，用戶也可以指示期望的跟蹤點(diǎn)。作為其結(jié) 果，改進(jìn)了用戶的可用性。
接著，將參照?qǐng)D20和21描述使用圖13中的跟蹤點(diǎn)候選項(xiàng)控制單元133在實(shí)際縮放模式下根據(jù)縮放框信息對(duì)跟蹤點(diǎn)候選項(xiàng)的放置。
在顯示模式是實(shí)際縮放模式的情況下，跟蹤點(diǎn)候選項(xiàng)控制單元 133首先基于由從跟蹤點(diǎn)候選項(xiàng)生成單元132提供的再現(xiàn)跟蹤點(diǎn)候選 項(xiàng)信息表示的位置和充當(dāng)輸出參數(shù)的縮放框信息，來確定跟蹤點(diǎn)候選 項(xiàng)信息。
具體來說，例如，在圖18所示的跟蹤點(diǎn)候選項(xiàng)的再現(xiàn)跟蹤點(diǎn)候 選項(xiàng)信息是從跟蹤點(diǎn)候選項(xiàng)生成單元132提供的情況下，跟蹤點(diǎn)候選 項(xiàng)控制單元133基于縮放框信息，將與再現(xiàn)跟蹤點(diǎn)候選項(xiàng)信息相對(duì)應(yīng) 的跟蹤點(diǎn)候選項(xiàng)中的在縮放框內(nèi)的跟蹤點(diǎn)候選項(xiàng)的間隔改變成對(duì)應(yīng)于 縮》文倍率的間隔，如圖20所示。
例如，在縮放倍率在x方向(水平方向)上是兩倍并且在y方向 (垂直方向)上是三倍的情況下，跟蹤點(diǎn)候選項(xiàng)控制單元133使得縮 ;改框內(nèi)的多艮蹤點(diǎn)候選項(xiàng)在x方向上的間隔成為兩倍，并且在y方向上 的間隔成為三倍。
然而，如圖20所示，將間隔改變之后的跟蹤點(diǎn)候選項(xiàng)162的位 置確定成使得輸出圖像161與間隔改變之后的跟蹤點(diǎn)候選項(xiàng)162的關(guān) 系，和再現(xiàn)圖像21與縮放框內(nèi)的跟蹤點(diǎn)候選項(xiàng)(圖18中的正方形) 的關(guān)系相同。
這樣，即使在改變顯示模式的情況下，跟蹤點(diǎn)候選項(xiàng)相對(duì)于輸出 圖像的位置也不會(huì)改變，從而用戶能夠指示跟蹤點(diǎn)的感覺不會(huì)在改變 顯示模式之后與之前發(fā)生變化。
跟蹤點(diǎn)候選項(xiàng)控制單元133將跟蹤點(diǎn)候選項(xiàng)信息確定成使得其中 間隔如上那樣改變的跟蹤點(diǎn)候選項(xiàng)162的位置成為輸出圖像161上的 跟蹤點(diǎn)候選項(xiàng)的位置。
接著，在跟蹤點(diǎn)候選項(xiàng)162的數(shù)量小于預(yù)定數(shù)量的情況下，跟蹤 點(diǎn)候選項(xiàng)控制單元133命令跟蹤點(diǎn)候選項(xiàng)生成單元132重新確定跟蹤 點(diǎn)候選項(xiàng)的位置。跟蹤點(diǎn)候選項(xiàng)生成單元132根據(jù)此處的命令，例如 在將初始化時(shí)的跟蹤點(diǎn)候選項(xiàng)的間隔設(shè)為1/2以下進(jìn)^f亍初始化時(shí)，增加 了跟蹤點(diǎn)候選項(xiàng)的數(shù)量。這樣，如圖21所示，增加了輸出圖像161上的跟蹤點(diǎn)候選項(xiàng)163的數(shù)量，并且跟蹤點(diǎn)候選項(xiàng)162的數(shù)量是預(yù)定數(shù)量或 更大。
作為其結(jié)果，在縮放倍率很大的情況下，可以避免由于跟蹤點(diǎn)候 選項(xiàng)的間隔太寬而導(dǎo)致用戶不能指示期望的跟蹤點(diǎn)。
要注意，可以利用縮放倍率而不是跟蹤點(diǎn)候選項(xiàng)的數(shù)量來確定跟 蹤點(diǎn)候選項(xiàng)位置的重新確定。在此情況下，從控制單元lll向跟蹤點(diǎn) 候選項(xiàng)控制單元133提供表示縮放倍率的控制信息。
接著，將參照?qǐng)D22到27來描述使用圖13中的跟蹤點(diǎn)候選項(xiàng)控 制單元133針對(duì)再現(xiàn)圖像根據(jù)操作歷史進(jìn)行的跟蹤點(diǎn)候選項(xiàng)的放置。
首先，如圖22A所示，將描述如下情況按照用戶指示第一次再 現(xiàn)來自再現(xiàn)裝置51的圖像，并且在從再現(xiàn)時(shí)間點(diǎn)^到再現(xiàn)時(shí)間點(diǎn)t2 的再現(xiàn)圖像的過程中處于跟蹤點(diǎn)指示模式。
在此情況下，從再現(xiàn)時(shí)間點(diǎn)h到再現(xiàn)時(shí)間點(diǎn)t2尚未針對(duì)再現(xiàn)圖像 執(zhí)行操作，由此，如圖22B所示，當(dāng)從再現(xiàn)時(shí)間點(diǎn)^到再現(xiàn)時(shí)間點(diǎn)t2 的每一幀是關(guān)注幀時(shí)，關(guān)注幀的臨時(shí)跟蹤點(diǎn)候選項(xiàng)181成為由跟蹤點(diǎn)候 選項(xiàng)生成單元132確定的跟蹤點(diǎn)候選項(xiàng)本身。
如圖22B所示，當(dāng)用戶將跟蹤點(diǎn)182移動(dòng)到關(guān)注幀的輸出圖像中 顯示的最終跟蹤點(diǎn)候選項(xiàng)中的、位于右側(cè)的對(duì)象附近的期望的跟蹤點(diǎn) 候選項(xiàng)時(shí)，跟蹤點(diǎn)182的跟蹤點(diǎn)運(yùn)動(dòng)信息和作為設(shè)置信息的縮放倍率 被生成，然后連同每個(gè)關(guān)注幀的特征量一起被注冊(cè)在編輯歷史表中。 要注意，圖22B所示的縮放框183是基于跟蹤點(diǎn)182和縮放倍率來確 定的。
隨后，如圖23A所示，在從再現(xiàn)時(shí)間點(diǎn)t3到再現(xiàn)時(shí)間點(diǎn)U的再現(xiàn) 圖像的再現(xiàn)過程中，操作模式是跟蹤點(diǎn)指示模式。在此情況下，同樣， 類似于圖22中的情況，在再現(xiàn)時(shí)間點(diǎn)t3到再現(xiàn)時(shí)間點(diǎn)t4期間尚未針對(duì) 再現(xiàn)圖《象執(zhí)^f亍操作，由此，如圖23B所示，當(dāng)在再現(xiàn)時(shí)間點(diǎn)b到再現(xiàn)時(shí) 間點(diǎn)t4期間的每一幀是關(guān)注幀時(shí)，關(guān)注幀中的臨時(shí)跟蹤點(diǎn)候選項(xiàng)191成 為使用跟蹤點(diǎn)候選項(xiàng)生成單元132確定的跟蹤點(diǎn)候選項(xiàng)本身。
如圖23B所示，當(dāng)用戶將跟蹤點(diǎn)192移動(dòng)到關(guān)注幀的輸出圖像中顯示的最終跟蹤點(diǎn)候選項(xiàng)中的、位于左側(cè)的對(duì)象附近的期望的跟蹤點(diǎn)
候選項(xiàng)時(shí)，表示縮放倍率的設(shè)置信息和跟蹤點(diǎn)192的跟蹤點(diǎn)運(yùn)動(dòng)信息 連同每個(gè)關(guān)注幀的特征量一起被注冊(cè)在編輯歷史表中。要注意，圖23B 所示的縮放框193是基于跟蹤點(diǎn)192和縮放倍率來確定的。
接著，用戶指示倒轉(zhuǎn)(rewinding)再現(xiàn)，如圖24A所示，再現(xiàn) 同 一 圖像的從再現(xiàn)時(shí)間點(diǎn)tu < tu <2)到再現(xiàn)時(shí)間點(diǎn)t12 (tu < t12 < 12)的 幀。此時(shí)，在從再現(xiàn)時(shí)間點(diǎn)t13 (tu < t13 <仏)到再現(xiàn)時(shí)間點(diǎn)t14 (t13 < t14 < t12) 的再現(xiàn)圖像的再現(xiàn)過程中，操作模式是跟蹤點(diǎn)指示模式。
在跟蹤點(diǎn)指示模式下，當(dāng)從再現(xiàn)時(shí)間點(diǎn)U到再現(xiàn)時(shí)間點(diǎn)t"的每 個(gè)幀是關(guān)注幀時(shí)，用戶將跟蹤點(diǎn)移動(dòng)到位于關(guān)注幀的右側(cè)的對(duì)象附近的 最終跟蹤點(diǎn)候選項(xiàng)。
在此情況下，在再現(xiàn)時(shí)間點(diǎn)tu到再現(xiàn)時(shí)間點(diǎn)t"期間針對(duì)再現(xiàn)圖 像已經(jīng)執(zhí)行了一個(gè)操作。而且，該操作是將跟蹤點(diǎn)移動(dòng)到位于右側(cè)的對(duì) 象附近的跟蹤點(diǎn)候選項(xiàng)的操作，由此，如圖24B所示，在此次再現(xiàn)過程 中在關(guān)注幀之前一個(gè)幀中移動(dòng)的跟蹤點(diǎn)201和基于縮放倍率確定的當(dāng)前 縮放框202，與通過針對(duì)關(guān)注幀的笫一次操作而移動(dòng)的跟蹤點(diǎn)203的跟蹤 點(diǎn)運(yùn)動(dòng)信息和對(duì)應(yīng)于表示第一次操作時(shí)的縮放倍率的設(shè)置信息的過去縮 放框204重疊。也就是說，當(dāng)前縮放框202位于過去距縮放框204的預(yù) 定范圍內(nèi)。
要注意，對(duì)于圖24B中的示例，與針對(duì)關(guān)注幀的第一次操作時(shí)相 比，將在此次再現(xiàn)過程中在關(guān)注幀之前一個(gè)幀中的縮放倍率設(shè)定為較 大，因此當(dāng)前縮放框202與基礎(chǔ)縮放框204相比較小。
如圖24B所示，在當(dāng)前縮i文框202與過去縮方文框204重疊的情況 下，確定用戶對(duì)當(dāng)前縮放框202和過去縮放框204附近的對(duì)象區(qū)域具 有很強(qiáng)的興趣，由此編輯歷史確定單元144向跟蹤點(diǎn)候選項(xiàng)控制單元 133提供一次作為針對(duì)關(guān)注幀的操作次數(shù)以及當(dāng)前縮放框202的縮放 框信息。
跟蹤點(diǎn)候選項(xiàng)控制單元133基于操作次數(shù)和縮放框信息，生成位 于利用跟蹤點(diǎn)候選項(xiàng)生成單元132確定的跟蹤點(diǎn)候選項(xiàng)中的在當(dāng)前縮放框202附近的位于右側(cè)對(duì)象區(qū)域內(nèi)的相鄰跟蹤點(diǎn)候選項(xiàng)之間的新跟 蹤點(diǎn)候選項(xiàng)，如圖24B所示，并且包括在臨時(shí)跟蹤點(diǎn)候選項(xiàng)205中。 作為其結(jié)果，臨時(shí)跟蹤點(diǎn)候選項(xiàng)205在當(dāng)前縮放框202附近的對(duì)象區(qū) 域內(nèi)的密度是利用跟蹤點(diǎn)候選項(xiàng)生成單元132確定的跟蹤點(diǎn)候選項(xiàng)在 該對(duì)象區(qū)域內(nèi)的密度的兩倍。
此外，用戶針對(duì)關(guān)注幀來指示位于右側(cè)對(duì)象附近的最終跟蹤點(diǎn)候 選項(xiàng)，由此將跟蹤點(diǎn)201的跟蹤點(diǎn)運(yùn)動(dòng)信息和表示縮放倍率的設(shè)置信 息注冊(cè)在編輯歷史表中。
接著，用戶進(jìn)一步指示倒轉(zhuǎn)再現(xiàn)，如圖25A所示，再現(xiàn)同一圖像 的從再現(xiàn)時(shí)間點(diǎn)t21 (t13 < t21 <14)到再現(xiàn)時(shí)間點(diǎn)t22 (t14 < t22 < t2)的幀。此 時(shí)，在從再現(xiàn)時(shí)間點(diǎn)t21到再現(xiàn)時(shí)間點(diǎn)t23(t14< t23 < &)的再現(xiàn)圖像的再 現(xiàn)過程中，操作模式是跟蹤點(diǎn)指示模式。
當(dāng)處于跟蹤點(diǎn)指示模式時(shí)，當(dāng)從再現(xiàn)時(shí)間點(diǎn)t^到再現(xiàn)時(shí)間點(diǎn)t22 的每個(gè)幀是關(guān)注幀時(shí)，用戶將跟蹤點(diǎn)移動(dòng)到位于關(guān)注幀的右側(cè)的對(duì)象附 近的最終跟蹤點(diǎn)候選項(xiàng)。
在此情況下，針對(duì)從再現(xiàn)時(shí)間點(diǎn)tu到再現(xiàn)時(shí)間點(diǎn)t"的再現(xiàn)圖像 已經(jīng)執(zhí)行了兩次操作。該操作是將跟蹤點(diǎn)移動(dòng)到位于右側(cè)的對(duì)象附近的 跟蹤點(diǎn)候選項(xiàng)的操作，由此，在從再現(xiàn)時(shí)間點(diǎn)t^到再現(xiàn)時(shí)間點(diǎn)t"的關(guān) 注幀中，如圖25B所示，在此次再現(xiàn)過程中在關(guān)注幀之前一個(gè)幀中移動(dòng) 的跟蹤點(diǎn)211和基于縮放倍率確定的當(dāng)前縮放框212，與通過關(guān)注幀的第 一次操作移動(dòng)的跟蹤點(diǎn)213的跟蹤點(diǎn)運(yùn)動(dòng)信息和對(duì)應(yīng)于表示笫一次操作 時(shí)的縮放倍率的設(shè)置信息的過去縮放框214、以及通過關(guān)注幀的第二次操 作而移動(dòng)的跟蹤點(diǎn)215的跟蹤點(diǎn)運(yùn)動(dòng)信息和對(duì)應(yīng)于表示第二次操作時(shí)的 縮放倍率的設(shè)置信息的過去縮放框216重疊。
因此，類似于圖24A和24B的情況，編輯歷史確定單元144向跟 蹤點(diǎn)候選項(xiàng)控制單元133提供作為針對(duì)從再現(xiàn)時(shí)間點(diǎn)&到再現(xiàn)時(shí)間 點(diǎn)tw的關(guān)注幀的操作次數(shù)的兩次，和當(dāng)前縮放框212的縮放框信息。
利用跟蹤點(diǎn)候選項(xiàng)控制單元133,基于此處的操作次數(shù)和縮放框 信息，在從再現(xiàn)時(shí)間點(diǎn)t^到再現(xiàn)時(shí)間點(diǎn)t"的關(guān)注幀中的臨時(shí)跟蹤點(diǎn)候選項(xiàng)217在當(dāng)前縮放框212附近的對(duì)象區(qū)域內(nèi)的密度變?yōu)槔酶欬c(diǎn) 候選項(xiàng)生成單元132確定的跟蹤點(diǎn)候選項(xiàng)在該對(duì)象區(qū)域內(nèi)的密度的三 倍。
要注意，從再現(xiàn)時(shí)間點(diǎn)t"到再現(xiàn)時(shí)間點(diǎn)t23，同樣，針對(duì)從再現(xiàn) 時(shí)間點(diǎn)t^到再現(xiàn)時(shí)間點(diǎn)^的關(guān)注幀執(zhí)行類似的處理，但是操作次數(shù)是 l次，由此對(duì)象區(qū)域內(nèi)的跟蹤點(diǎn)候選項(xiàng)的密度變?yōu)閮杀丁?br>
此外，用戶針對(duì)關(guān)注幀指示位于右側(cè)的對(duì)象附近的最終跟蹤點(diǎn)候 選項(xiàng)作為跟蹤點(diǎn)211的運(yùn)動(dòng)目的地，由此將跟蹤點(diǎn)211的跟蹤點(diǎn)運(yùn)動(dòng) 信息和表示縮放倍率的設(shè)置信息連同關(guān)注幀的特征量一起注冊(cè)在編輯 歷史表中。
隨后，如圖26A所示，在再現(xiàn)時(shí)間點(diǎn)t31 (t22 < t31 < h)到再現(xiàn)時(shí)間 點(diǎn)t32 (t2 < t32 < t3)的再現(xiàn)圖像的再現(xiàn)過程中，操作模式是跟蹤點(diǎn)指示模
式。當(dāng)從再現(xiàn)時(shí)間點(diǎn)t到再現(xiàn)時(shí)間點(diǎn)t32的每個(gè)幀是關(guān)注幀時(shí)，用戶然
后將跟蹤點(diǎn)移動(dòng)到位于關(guān)注幀的左側(cè)的對(duì)象附近的跟蹤點(diǎn)候選項(xiàng)。也就 是說，在比圖22和23所示的第一次操作更早的定時(shí)處，縮放框從右側(cè) 改變到左側(cè)。
在此情況下，針對(duì)從再現(xiàn)時(shí)間點(diǎn)tM到再現(xiàn)時(shí)間點(diǎn)t2的過程中的再
現(xiàn)圖像已經(jīng)執(zhí)行了一次操作。然而，該操作是將跟蹤點(diǎn)移動(dòng)到位于右側(cè) 的對(duì)象附近的跟蹤點(diǎn)候選項(xiàng)的操作，由此，此次再現(xiàn)時(shí)在關(guān)注幀之前一 個(gè)幀中移動(dòng)的跟蹤點(diǎn)221和基于縮放倍率確定的當(dāng)前縮放框222，與通過 針對(duì)關(guān)注幀的第一次操作而移動(dòng)的跟蹤點(diǎn)223的跟蹤點(diǎn)運(yùn)動(dòng)信息和對(duì)應(yīng) 于表示第一次操作時(shí)的縮放倍率的設(shè)置信息的過去縮放框224不重疊。
在這種情況下，用戶很可能對(duì)當(dāng)前縮放框222附近的對(duì)象區(qū)域沒有 ;f艮強(qiáng)的興趣，由此，編輯歷史確定單元144不向跟蹤點(diǎn)候選項(xiàng)控制單 元133提供任何東西。作為其結(jié)果，如圖26B所示，類似于針對(duì)這種 關(guān)注幀未執(zhí)行操作的情況，從再現(xiàn)時(shí)間點(diǎn)t^到再現(xiàn)時(shí)間點(diǎn)t2的關(guān)注幀 中的臨時(shí)跟蹤點(diǎn)候選項(xiàng)225成為跟蹤點(diǎn)候選項(xiàng)生成單元132確定的跟蹤 點(diǎn)候選項(xiàng)本身。
要注意，由于針對(duì)從再現(xiàn)時(shí)間點(diǎn)t^到再現(xiàn)時(shí)間點(diǎn)t2的關(guān)注幀未執(zhí)行操作，因此類似于從再現(xiàn)時(shí)間點(diǎn)131到再現(xiàn)時(shí)間點(diǎn)t2的關(guān)注幀，跟蹤
點(diǎn)候選項(xiàng)225成為由跟蹤點(diǎn)候選項(xiàng)生成單元132確定的跟蹤點(diǎn)候選項(xiàng) 本身。
此外，用戶針對(duì)關(guān)注幀指定位于左側(cè)的對(duì)象附近的最終跟蹤點(diǎn)候 選項(xiàng)作為運(yùn)動(dòng)目的地，由此將跟蹤點(diǎn)221的跟蹤點(diǎn)運(yùn)動(dòng)信息和表示縮 放倍率的設(shè)置信息連同關(guān)注幀的特征量一起注冊(cè)在編輯歷史表中。
隨后，如圖27A所示，再現(xiàn)從再現(xiàn)時(shí)間點(diǎn)t41 (t32 < t41 < 13)到再現(xiàn)
時(shí)間點(diǎn)t42(t^t42)的幀。此時(shí)，在再現(xiàn)從再現(xiàn)時(shí)間點(diǎn)t3到再現(xiàn)時(shí)間點(diǎn)t43 (t4 < t43< t^)的再現(xiàn)圖像的期間，操作模式成為跟蹤點(diǎn)指示模式。
當(dāng)再現(xiàn)從再現(xiàn)時(shí)間點(diǎn)t3到再現(xiàn)時(shí)間點(diǎn)t43的每個(gè)幀時(shí)，用戶然后將 跟蹤點(diǎn)移動(dòng)到位于關(guān)注幀的左側(cè)的對(duì)象附近的最終^艮蹤點(diǎn)候選項(xiàng)。
在此情況下，針對(duì)從再現(xiàn)時(shí)間點(diǎn)t3到再現(xiàn)時(shí)間點(diǎn)t4的再現(xiàn)圖〗象已 經(jīng)執(zhí)行了一次操作。此外，該操作是為了將跟蹤點(diǎn)移動(dòng)到位于左側(cè)的對(duì) 象附近的跟蹤點(diǎn)候選項(xiàng)的操作，由此，對(duì)于從再現(xiàn)時(shí)間點(diǎn)t3到再現(xiàn)時(shí)間 點(diǎn)tt的關(guān)注幀，如圖27B所示，此次再現(xiàn)時(shí)在關(guān)注幀之前一個(gè)幀中移動(dòng)
的跟蹤點(diǎn)231和基于縮放倍率確定的當(dāng)前縮放框232，與通過針對(duì)關(guān)注幀 的第一次操作而移動(dòng)的跟蹤點(diǎn)233的跟蹤點(diǎn)運(yùn)動(dòng)信息和對(duì)應(yīng)于表示第一 次操作時(shí)的縮放倍率的設(shè)置信息的過去縮放框234重疊。
因此，類似于圖24A和24B的情況，編輯歷史確定單元144向跟 蹤點(diǎn)候選項(xiàng)控制單元133提供作為針對(duì)關(guān)注幀的操作次數(shù)的一次，和 當(dāng)前縮放框232的縮放框信息。
利用跟蹤點(diǎn)候選項(xiàng)控制單元133，基于操作次數(shù)和縮放框信息， 對(duì)于從再現(xiàn)時(shí)間點(diǎn)t3到再現(xiàn)時(shí)間點(diǎn)tt的關(guān)注幀，如圖27B所示，在臨 時(shí)跟蹤點(diǎn)候選項(xiàng)235在當(dāng)前縮放框232附近的對(duì)象區(qū)域內(nèi)的密度是利 用跟蹤點(diǎn)候選項(xiàng)生成單元132確定的跟蹤點(diǎn)候選項(xiàng)在該對(duì)象區(qū)域內(nèi)的 密度的兩倍。
要注意，對(duì)于從再現(xiàn)時(shí)間點(diǎn)t3到再現(xiàn)時(shí)間點(diǎn)to的關(guān)注幀，未執(zhí)行 操作，跟蹤點(diǎn)候選項(xiàng)成為通過跟蹤點(diǎn)候選項(xiàng)生成單元132確定的跟蹤點(diǎn) 候選項(xiàng)本身。此外，用戶針對(duì)關(guān)注幀指示位于左側(cè)的對(duì)象附近的最終跟蹤點(diǎn)候
選項(xiàng)，由此將跟蹤點(diǎn)231的跟蹤點(diǎn)運(yùn)動(dòng)信息和表示縮放倍率的設(shè)置信 息連同關(guān)注幀的特征量一起注冊(cè)在編輯歷史表中。
如上所述，在過去針對(duì)同 一再現(xiàn)圖像執(zhí)行了操作并且作為過去的縮 放框的過去縮放框與作為跟蹤點(diǎn)校正之前的縮放框的當(dāng)前縮放框重疊的 情況下，即，在用戶對(duì)作為要指示跟蹤點(diǎn)的區(qū)域的當(dāng)前縮放框附近的對(duì)
象區(qū)域具有;f艮強(qiáng)的興趣的情況下，與第一次操作相比，增加該對(duì)象區(qū)域 內(nèi)的跟蹤點(diǎn)候選項(xiàng)。作為其結(jié)果，可以以精細(xì)的精度來指示期望的點(diǎn)作 為跟蹤點(diǎn)。
接下來，將參照?qǐng)D28中的流程圖描述利用圖13中的圖像處理裝置 101的跟蹤點(diǎn)指示模式處理。要注意，類似于圖像處理裝置53，跟蹤點(diǎn) 指示模式處理是在利用圖像處理裝置101執(zhí)行的圖像處理(圖9 )中的步 驟S14中執(zhí)行的。
在步驟Slll中，圖像特征量提取單元131利用從再現(xiàn)裝置51連 續(xù)輸入的兩幀再現(xiàn)圖像來執(zhí)行塊匹配等，然后針對(duì)每個(gè)采樣點(diǎn)獲得運(yùn) 動(dòng)矢量。圖像特征量提取單元131將所獲得的每個(gè)采樣點(diǎn)的運(yùn)動(dòng)矢量 提供給跟蹤點(diǎn)候選項(xiàng)生成單元132。
在步驟S112中，跟蹤點(diǎn)候選項(xiàng)生成單元132基于從圖像特征量提 取單元131提供的每個(gè)采樣點(diǎn)的運(yùn)動(dòng)矢量，利用內(nèi)置計(jì)數(shù)器，來計(jì)算 運(yùn)動(dòng)矢量的頻率分布。在步驟S113中，跟蹤點(diǎn)候選項(xiàng)生成單元132 基于運(yùn)動(dòng)矢量的頻率分布，通過確定對(duì)象區(qū)域中存在的采樣點(diǎn)來檢測(cè) 對(duì)象區(qū)域。
在步驟S114中，跟蹤點(diǎn)候選項(xiàng)生成單元132對(duì)跟蹤點(diǎn)候選項(xiàng)進(jìn)行 初始化。跟蹤點(diǎn)候選項(xiàng)生成單元132然后對(duì)每隔一個(gè)的初始化后的跟 蹤點(diǎn)候選項(xiàng)進(jìn)行對(duì)象確定，并將未經(jīng)受對(duì)象確定的跟蹤點(diǎn)候選項(xiàng)的再 現(xiàn)跟蹤點(diǎn)候選項(xiàng)信息提供給跟蹤點(diǎn)候選項(xiàng)控制單元133。
在步驟S115中，跟蹤點(diǎn)候選項(xiàng)生成單元132使得要經(jīng)受對(duì)象確定 的一個(gè)未確定跟蹤點(diǎn)候選項(xiàng)經(jīng)受后述步驟S116中的對(duì)象確定的確定。
在步驟S116中，跟蹤點(diǎn)候選項(xiàng)生成單元132針對(duì)要經(jīng)受確定的跟蹤點(diǎn)候選項(xiàng)是否位于對(duì)象區(qū)域中進(jìn)行對(duì)象確定。在步驟S116中確定 要經(jīng)受確定的跟蹤點(diǎn)候選項(xiàng)存在于對(duì)象區(qū)域中的情況下，在步驟S117 中跟蹤點(diǎn)候選項(xiàng)生成單元132輸出該跟蹤點(diǎn)候選項(xiàng)的再現(xiàn)跟蹤點(diǎn)候選 項(xiàng)信息。然后處理進(jìn)行到步驟S118。
另一方面，在步驟S116中在要經(jīng)受確定的跟蹤點(diǎn)候選項(xiàng)未^C確 定為存在于對(duì)象區(qū)域中的情況下，不執(zhí)行步驟S117中的處理1然后處 理進(jìn)行到步驟S118。在步驟S118中，跟蹤點(diǎn)候選項(xiàng)生成單元132確 定是否還存在要經(jīng)受對(duì)象確定的任何未確定跟蹤點(diǎn)候選項(xiàng)。在步驟 S118中確定還存在要經(jīng)受對(duì)象確定的未確定跟蹤點(diǎn)候選項(xiàng)的情況下， 流程返回到步驟S115,然后重復(fù)其后的處理。
此外，在步驟S118中確定不存在要經(jīng)受對(duì)象確定的未確定跟蹤 點(diǎn)候選項(xiàng)的情況下，即，在對(duì)要經(jīng)受對(duì)象確定的所有跟蹤點(diǎn)候選項(xiàng)執(zhí) 行了步驟S116中的對(duì)象確定的情況下，處理進(jìn)行到步驟S119。
在步驟S119中，圖像處理裝置101基于從跟蹤點(diǎn)候選項(xiàng)生成單 元132提供的再現(xiàn)跟蹤點(diǎn)候選項(xiàng)信息，執(zhí)行跟蹤點(diǎn)候選項(xiàng)確定處理以 確定最終跟蹤點(diǎn)候選項(xiàng)的跟蹤點(diǎn)候選項(xiàng)信息。將參照后述的圖29中的 流程圖來描述跟蹤點(diǎn)候選項(xiàng)確定處理的詳情。
在步驟S119中的處理之后，處理進(jìn)行到步驟S120。步驟S120 到步驟S131中的處理類似于步驟S62到步驟S73中的處理，因此略 去對(duì)其的描述。
然而，在步驟S122或S124中疊加i^艮蹤點(diǎn)的OSD圖^^的情況下， 當(dāng)在由當(dāng)前跟蹤點(diǎn)信息表示的位置處沒有最終跟蹤點(diǎn)候選項(xiàng)時(shí)，顯示 圖像生成單元66將跟蹤點(diǎn)的OSD圖像疊加在最接近由當(dāng)前跟蹤點(diǎn)信 息表示的位置的最終跟蹤點(diǎn)候選項(xiàng)的位置上。在步驟S131的處理之 后，跟蹤點(diǎn)指示模式處理結(jié)束。
要注意，如圖9所示，每次當(dāng)輸入再現(xiàn)圖像的一個(gè)幀時(shí)執(zhí)行圖像 處理，由此也以幀為單位來執(zhí)行圖28中的跟蹤點(diǎn)指示模式處理。因此， 跟蹤點(diǎn)候選項(xiàng)的放置根據(jù)再現(xiàn)圖像自然地以幀為單位變化。
接下來，將參照?qǐng)D29中的流程圖來描述圖28中的步驟S119中的跟蹤點(diǎn)候選項(xiàng)確定處理。
在步驟S151中，跟蹤點(diǎn)候選項(xiàng)控制單元133確定當(dāng)前模式是否 為實(shí)際縮放模式。
在確定當(dāng)前顯示模式為實(shí)際縮放模式的情況下，在步驟S152中 跟蹤點(diǎn)候選項(xiàng)控制單元133基于由從跟蹤點(diǎn)候選項(xiàng)生成單元132提供 的再現(xiàn)跟蹤點(diǎn)候選項(xiàng)信息表示的位置和充當(dāng)輸出參數(shù)的縮放框信息， 來確定跟蹤點(diǎn)候選項(xiàng)信息。
在步驟S153中，跟蹤點(diǎn)候選項(xiàng)控制單元133確定與步驟S152中 確定的跟蹤點(diǎn)候選項(xiàng)信息相對(duì)應(yīng)的跟蹤點(diǎn)候選項(xiàng)的數(shù)量是否小于預(yù)定 數(shù)量。在步驟S153中確定跟蹤點(diǎn)候選項(xiàng)的數(shù)量小于預(yù)定數(shù)量的情況 下，跟蹤點(diǎn)候選項(xiàng)控制單元133命令跟蹤點(diǎn)候選項(xiàng)生成單元132重新 確定跟蹤點(diǎn)候選項(xiàng)的位置。
由此，跟蹤點(diǎn)候選項(xiàng)生成單元132在初始化時(shí)增加跟蹤點(diǎn)候選項(xiàng) 的數(shù)量，再次執(zhí)行圖28中的步驟S114到S118中的處理，然后將再 現(xiàn)跟蹤點(diǎn)候選項(xiàng)信息提供給跟蹤點(diǎn)候選項(xiàng)控制單元133。作為其結(jié)果， 與基于再現(xiàn)跟蹤點(diǎn)候選項(xiàng)信息和其縮放框信息而確定的跟蹤點(diǎn)候選項(xiàng) 信息相對(duì)應(yīng)的跟蹤點(diǎn)候選項(xiàng)的數(shù)量變成等于或大于預(yù)定數(shù)量。
另一方面，在步驟S153中確定跟蹤點(diǎn)候選項(xiàng)的數(shù)量不小于預(yù)定 數(shù)量的情況下，不執(zhí)行步驟S154中的處理，然后處理進(jìn)行到步驟S155。 此外，在步驟S151中確定當(dāng)前顯示模式不是實(shí)際縮放模式，即，當(dāng)前 顯示模式是框縮放模式的情況下，處理進(jìn)行到步驟S155。
在步驟S155中，圖像特征量提取單元141從自再現(xiàn)裝置51輸入 的再現(xiàn)圖像中提取每個(gè)幀的用于編輯歷史的特征量。圖像特征量提取 單元141將該特征量提供給編輯歷史記錄單元142和編輯歷史確定單 元144。
在步驟S156中，編輯歷史確定單元144針對(duì)再現(xiàn)圖像確定是否 存在任何操作歷史。具體來說，編輯歷史確定單元144從編輯歷史記 錄單元142的編輯歷史表中注冊(cè)的特征量中搜索與從圖像特征量提取 單元141提供的再現(xiàn)圖像的特征量相同的特征量。隨后，在搜索到與從圖像特征量提取單元141提供的再現(xiàn)圖像的特征量相同的特征量的 情況下，編輯歷史確定單元144確定存在針對(duì)該再現(xiàn)圖像的操作歷史。 在步驟S156中確定存在針對(duì)再現(xiàn)圖像的操作歷史的情況下，在 步驟S157中編輯歷史確定單元144確定當(dāng)前縮放框與過去縮放框是否 重疊。
具體來說，編輯歷史確定單元144基于從設(shè)置信息提取單元143 之前剛提供的設(shè)置信息，來確定當(dāng)前縮放框的縮放框信息。此外，編 輯歷史確定單元144基于與從編輯歷史表搜索出的特征量相對(duì)應(yīng)的設(shè) 置信息，來確定過去縮放框的縮放框信息。編輯歷史確定單元144然 后基于當(dāng)前縮放框和過去縮放框的縮放框信息，來確定當(dāng)前縮放框與 過去縮放框是否重疊。
在步驟S157中確定當(dāng)前縮放框與過去縮放框重疊的情況下，在 步驟S158中編輯歷史確定單元144向跟蹤點(diǎn)候選項(xiàng)控制單元133輸出 與再現(xiàn)圖像的特征量相同的特征量的次數(shù)作為操作次數(shù)，并向跟蹤點(diǎn) 候選項(xiàng)控制單元133輸出當(dāng)前縮放框的縮放框信息。
在步驟S159中，跟蹤點(diǎn)候選項(xiàng)控制單元133根據(jù)從編輯歷史確 定單元144提供的操作次數(shù)，增加當(dāng)前縮放框附近的對(duì)象區(qū)域的跟蹤 點(diǎn)候選項(xiàng)，并使增加之后的跟蹤點(diǎn)候選項(xiàng)作為臨時(shí)跟蹤點(diǎn)候選項(xiàng)。例 如，在如圖24和27的情況那樣操作次數(shù)是1次的情況下，跟蹤點(diǎn)候 選項(xiàng)控制單元133使得臨時(shí)跟蹤點(diǎn)候選項(xiàng)在對(duì)象區(qū)域內(nèi)的密度變成兩 倍，在如圖25A和25B中的情況那樣操作次數(shù)是兩次的情況下，臨時(shí) 跟蹤點(diǎn)候選項(xiàng)在對(duì)象區(qū)域內(nèi)的密度是三倍。跟蹤點(diǎn)候選項(xiàng)控制單元 133然后將臨時(shí)跟蹤點(diǎn)候選項(xiàng)的再現(xiàn)跟蹤點(diǎn)候選項(xiàng)信息提供給跟蹤控 制單元122，然后處理進(jìn)行到步驟S160。
另一方面，在步驟S156中確定不存在針對(duì)再現(xiàn)圖像的操作歷史 的情況下，以及在步驟S157中確定當(dāng)前縮放框與過去縮放框不重疊的 情況下，跟蹤點(diǎn)候選項(xiàng)控制單元133向跟蹤控制單元122提供與從跟 蹤點(diǎn)候選項(xiàng)生成單元132提供的再現(xiàn)跟蹤點(diǎn)候選項(xiàng)信息相對(duì)應(yīng)的跟蹤 點(diǎn)候選項(xiàng)作為臨時(shí)跟蹤點(diǎn)候選項(xiàng)。然后處理進(jìn)行到步驟S160。在步驟中，跟蹤控制單元122使得與從跟蹤點(diǎn)候選項(xiàng)控制 單元133提供的再現(xiàn)跟蹤點(diǎn)候選項(xiàng)信息相對(duì)應(yīng)的臨時(shí)跟蹤點(diǎn)候選項(xiàng)中 的未處理的臨時(shí)跟蹤點(diǎn)候選項(xiàng)中的一個(gè)成為后述的步驟S162中的處 理的處理對(duì)象。跟蹤控制單元122將要經(jīng)受處理的臨時(shí)跟蹤點(diǎn)候選項(xiàng) 的再現(xiàn)跟蹤點(diǎn)候選項(xiàng)信息提供給跟蹤點(diǎn)提取單元121。
在步驟S161中，跟蹤點(diǎn)提取單元121基于從再現(xiàn)裝置51輸入的 再現(xiàn)圖像和從跟蹤控制單元122提供的要經(jīng)受處理的臨時(shí)跟蹤點(diǎn)候選 項(xiàng)的再現(xiàn)跟蹤點(diǎn)候選項(xiàng)信息，來計(jì)算要經(jīng)受處理的臨時(shí)跟蹤點(diǎn)候選項(xiàng) 的運(yùn)動(dòng)矢量的可靠性。將運(yùn)動(dòng)矢量的可靠性經(jīng)由跟蹤控制單元12提供 給跟蹤點(diǎn)候選項(xiàng)控制單元133。
在步驟S162中，跟蹤點(diǎn)候選項(xiàng)控制單元133確定從跟蹤控制單 元122提供的運(yùn)動(dòng)矢量的可靠性是否低。在步驟S162中確定運(yùn)動(dòng)矢量 的可靠性低的情況下，在步驟S163中刪除要經(jīng)受處理的該臨時(shí)跟蹤點(diǎn) 候選項(xiàng)。也就是說，要經(jīng)受處理的該臨時(shí)跟蹤點(diǎn)候選項(xiàng)沒有成為最終 5艮蹤點(diǎn)候選項(xiàng)。
另一方面，在步驟S162中確定運(yùn)動(dòng)矢量的可靠性高的情況下， 不執(zhí)行步驟S163中的處理。也就是說，要經(jīng)受處理的該臨時(shí)跟蹤點(diǎn)候 選項(xiàng)成為最終跟蹤點(diǎn)候選項(xiàng)。
如上所述，基于臨時(shí)跟蹤點(diǎn)候選項(xiàng)的運(yùn)動(dòng)矢量的可靠性，確定最 終跟蹤點(diǎn)候選項(xiàng)，因此用戶可以容易地指示將要被成功地跟蹤的點(diǎn)作 為跟蹤點(diǎn)。
具體來說，對(duì)于跟蹤處理中的運(yùn)動(dòng)矢量的檢測(cè)精度，存在跟蹤點(diǎn) 不會(huì)被成功跟蹤的情況。例如，在使用塊匹配方法作為跟蹤處理中的 運(yùn)動(dòng)矢量的檢測(cè)方法的情況下，當(dāng)塊的亮度差小時(shí)，會(huì)檢測(cè)到帶有匹 配誤差的有誤差的運(yùn)動(dòng)矢量，結(jié)果，存在跟蹤點(diǎn)不會(huì)被成功跟蹤的情 況。因此，在出現(xiàn)這種檢測(cè)誤差的區(qū)域中存在跟蹤點(diǎn)候選項(xiàng)的情況下， 即使用戶將該跟蹤點(diǎn)候選項(xiàng)指示為跟蹤點(diǎn)，該跟蹤點(diǎn)被成功跟蹤的概 率也極小。
相反，利用跟蹤系統(tǒng)IOO，基于臨時(shí)跟蹤點(diǎn)候選項(xiàng)的運(yùn)動(dòng)矢量的可靠性，從最終跟蹤點(diǎn)候選項(xiàng)中刪除存在于出現(xiàn)跟蹤誤差的區(qū)域中的 臨時(shí)跟蹤點(diǎn)候選項(xiàng)，由此用戶通過將最終跟蹤點(diǎn)候選項(xiàng)指示為跟蹤點(diǎn)， 能夠?qū)?huì)被成功跟蹤的點(diǎn)指示為跟蹤點(diǎn)。
在步驟S163的處理之后，或者在步驟S162中確定運(yùn)動(dòng)矢量的可 靠性高的情況下，在步驟S164中跟蹤控制單元122確定是否還存在任 何未處理的臨時(shí)跟蹤點(diǎn)候選項(xiàng)。在確定還存在未處理的臨時(shí)跟蹤點(diǎn)候 選項(xiàng)的情況下，處理返回到步驟S160，然后重復(fù)之后的處理。
此外，當(dāng)在步驟S164中沒有未處理的臨時(shí)跟蹤點(diǎn)候選項(xiàng)，即針 對(duì)所有臨時(shí)跟蹤點(diǎn)候選項(xiàng)執(zhí)行了步驟S162中的處理的情況下，處理進(jìn) 行到步驟S165。
在步驟S165中，跟蹤點(diǎn)候選項(xiàng)控制單元133基于在步驟S163中 未刪除的臨時(shí)跟蹤點(diǎn)候選項(xiàng)的再現(xiàn)跟蹤點(diǎn)候選項(xiàng)信息以及當(dāng)前再現(xiàn)模 式和縮放框信息，將臨時(shí)跟蹤點(diǎn)候選項(xiàng)的跟蹤點(diǎn)候選項(xiàng)信息提供給顯 示圖像生成單元66作為最終跟蹤點(diǎn)候選項(xiàng)的跟蹤點(diǎn)候選項(xiàng)信息。然后 處理返回到圖28中的步驟S119，并且執(zhí)行步驟S120及其后的處理。
要注意，根據(jù)上述描述，僅刪除可靠性低的臨時(shí)跟蹤點(diǎn)候選項(xiàng)， 但是在除了成為最終跟蹤點(diǎn)候選項(xiàng)的臨時(shí)跟蹤點(diǎn)候選項(xiàng)的數(shù)量很大的 情況以外的情況下，或者在選擇位于該臨時(shí)跟蹤點(diǎn)候選項(xiàng)的周邊的臨 時(shí)跟蹤點(diǎn)候選項(xiàng)作為最終跟蹤點(diǎn)候選項(xiàng)而不是刪除可靠性低的臨時(shí)跟 蹤點(diǎn)候選項(xiàng)的情況下，可以增加臨時(shí)跟蹤點(diǎn)候選項(xiàng)所處的對(duì)象區(qū)域內(nèi) 的點(diǎn)作為最終跟蹤點(diǎn)候選項(xiàng)。
上述處理流程可以使用硬件來執(zhí)行或者可以使用軟件來執(zhí)行。在 使用軟件來執(zhí)行該處理流程的情況下，將構(gòu)成該軟件的程序從程序記 錄介質(zhì)安裝到例如內(nèi)置在專用硬件中的計(jì)算機(jī)或通用個(gè)人計(jì)算機(jī)中， 其可以通過安裝各種類型的程序來執(zhí)行各種類型的功能。
圖30是例示使用程序來執(zhí)行上述處理流程的個(gè)人計(jì)算機(jī)400的 硬件的結(jié)構(gòu)示例的框圖。對(duì)于個(gè)人計(jì)算機(jī)400，通過總線404將CPU (中央處理單元)401、 ROM (只讀存儲(chǔ)器)402以及RAM (隨機(jī)存 取存儲(chǔ)器)403相互連接。總線404還連接到輸入/輸出接口 405。輸入/輸出接口 405連接 到輸入單元406,其由接收單元等構(gòu)成，接收從鍵盤、鼠標(biāo)、傳聲 器以及遙控器發(fā)送的命令；輸出單元407，其由顯示器、揚(yáng)聲器等構(gòu) 成；存儲(chǔ)單元408，其由硬盤、非易失性存儲(chǔ)器等構(gòu)成；通信單元409, 其由網(wǎng)絡(luò)接口等構(gòu)成；以及驅(qū)動(dòng)器410，其驅(qū)動(dòng)諸如磁帶、光盤、磁 光盤或半導(dǎo)體存儲(chǔ)器的可移動(dòng)介質(zhì)411。
利用如此構(gòu)成的個(gè)人計(jì)算機(jī)400, CPU 401通過例如輸入/輸出接 口 405和總線404將存儲(chǔ)在存儲(chǔ)單元408中的程序裝栽到RAM 403然 后執(zhí)行，由此執(zhí)行上述的處理流程。
個(gè)人計(jì)算機(jī)400的CPU 401執(zhí)行的程序可以記錄在可移動(dòng)介質(zhì)411 上，可移動(dòng)介質(zhì)411是由磁盤(包括軟盤)、光盤(CD-ROM (光盤只讀 存儲(chǔ)器)、DVD (數(shù)字多々某體盤)等)、磁光盤或半導(dǎo)體存儲(chǔ)器構(gòu)成的封 裝介質(zhì)，或者是通過諸如局域網(wǎng)、因特網(wǎng)或數(shù)字衛(wèi)星廣播的有線或無線 傳輸介質(zhì)提供的。
通過將可移動(dòng)介質(zhì)411安裝在驅(qū)動(dòng)器410上，可以通過輸入/輸 出接口 405將程序安裝在存儲(chǔ)單元408中。此外，通過有線或無線通 信介質(zhì)使用通信單元409來接收程序，然后可以將該程序安裝在存儲(chǔ) 單元408中。除此以外，可以將程序預(yù)先安裝在ROM402或存儲(chǔ)單元 408中。
要注意，根據(jù)本說明書，描述存儲(chǔ)在程序記錄介質(zhì)中的程序的步 驟當(dāng)然包括按時(shí)序方式以所述順序執(zhí)行的處理，但是并不限于此，還 可以包括并行地或者單獨(dú)地執(zhí)行的處理。
此外，根據(jù)本說明書，術(shù)語(yǔ)"系統(tǒng)"是指由多個(gè)裝置構(gòu)成的整個(gè)設(shè)備。
此外，本發(fā)明的實(shí)施例并不限于上述實(shí)施例，可以在本發(fā)明的范 圍和意圖內(nèi)進(jìn)行各種類型的修改。
本發(fā)明包含與2008年5月30日在日本專利局提交的日本在先專利 申請(qǐng)JP 2008-142981中/>開的主題有關(guān)的主題，在此通過引用將其全部 內(nèi)容并入于此。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，根據(jù)設(shè)計(jì)要求和其他因素，可以想到 各種修改、組合、子組合以及變更，只要它們落在所附權(quán)利要求書及 其等同物的范圍內(nèi)。
權(quán)利要求
1、一種圖像處理裝置，包括跟蹤裝置，用于與用戶的操作相對(duì)應(yīng)地跟蹤圖像上的作為跟蹤點(diǎn)的預(yù)定點(diǎn)；顯示控制裝置，用于在所述圖像上顯示充當(dāng)所述跟蹤點(diǎn)的候選項(xiàng)的跟蹤點(diǎn)候選項(xiàng)，所述跟蹤點(diǎn)候選項(xiàng)的數(shù)量大于在所述圖像上運(yùn)動(dòng)的對(duì)象的數(shù)量并且少于所述圖像的像素?cái)?shù)；以及設(shè)定裝置，用于與用戶的操作相對(duì)應(yīng)地設(shè)定所述跟蹤點(diǎn)候選項(xiàng)作為所述跟蹤裝置的下一幀上的所述跟蹤點(diǎn)。
2、 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中所述顯示控制裝 置將所述跟蹤點(diǎn)候選項(xiàng)均勻地顯示在所述圖像上。
3、 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中所述顯示控制裝 置將所述跟蹤點(diǎn)候選項(xiàng)不均勻地顯示在所述圖像上。
4、 根據(jù)權(quán)利要求3所述的圖像處理裝置，還包括 檢測(cè)裝置，用于檢測(cè)所述圖像上的所述對(duì)象的區(qū)域，其中所述顯示控制裝置基于所述檢測(cè)裝置的檢測(cè)結(jié)果，與除所述對(duì)象的區(qū)域以外 的區(qū)域內(nèi)的所述跟蹤點(diǎn)候選項(xiàng)相比，更稠密地顯示所述對(duì)象的區(qū)域內(nèi) 的所述跟蹤點(diǎn)候選項(xiàng)。
5、 根據(jù)權(quán)利要求4所述的圖像處理裝置，其中所述顯示控制裝 置基于所述檢測(cè)裝置的檢測(cè)結(jié)果，顯示作為在所述圖像上按等距離間 隔設(shè)置的點(diǎn)中每隔預(yù)定間隔處的點(diǎn)的確定點(diǎn)中的、位于所述對(duì)象的區(qū) 域內(nèi)的所述確定點(diǎn)和除所述確定點(diǎn)以外的點(diǎn)，作為所述跟蹤點(diǎn)候選項(xiàng)。
6、 根據(jù)權(quán)利要求3所述的圖像處理裝置，其中，當(dāng)所述圖《象中 的當(dāng)前所述跟蹤點(diǎn)位于距過去所述跟蹤點(diǎn)的預(yù)定范圍內(nèi)時(shí)，所述顯示 控制裝置基于用戶操作歷史稠密地顯示在距所述當(dāng)前跟蹤點(diǎn)的預(yù)定范 圍內(nèi)的所述跟蹤點(diǎn)候選項(xiàng)。
7、 根據(jù)權(quán)利要求3所述的圖像處理裝置，其中所述顯示控制裝 置基于針對(duì)所述跟蹤點(diǎn)候選項(xiàng)的跟蹤的可靠性，來顯示所述跟蹤點(diǎn)候選項(xiàng)。
8、 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，與用戶的操作 相對(duì)應(yīng)地，在所述圖像中的所述跟蹤點(diǎn)附近的圖像的縮放圖像上顯示 所述跟蹤點(diǎn)候選項(xiàng)的情況下，所述顯示控制裝置從在所述圖像上顯示 所述跟蹤點(diǎn)候選項(xiàng)的情況下在所述跟蹤點(diǎn)附近的圖像上顯示的所述跟 蹤點(diǎn)候選項(xiàng)增加所述跟蹤點(diǎn)候選項(xiàng)，使得要顯示的所述跟蹤點(diǎn)候選項(xiàng) 的數(shù)量等于或大于預(yù)定數(shù)量。
9、 一種用于圖像處理裝置的圖像處理方法，該圖像處理裝置執(zhí) 行對(duì)圖像上的跟蹤點(diǎn)進(jìn)行跟蹤的跟蹤處理，所述方法包括以下步驟與用戶的操作相對(duì)應(yīng)地跟蹤所述圖像上的作為跟蹤點(diǎn)的預(yù)定點(diǎn)； 在所述圖像上對(duì)充當(dāng)所述跟蹤點(diǎn)的候選項(xiàng)的跟蹤點(diǎn)候選項(xiàng)進(jìn)行顯示控制，所述跟蹤點(diǎn)候選項(xiàng)的數(shù)量大于在所述圖像上運(yùn)動(dòng)的對(duì)象的數(shù)量并且少于所述圖像的像素?cái)?shù)；以及與用戶的操作相對(duì)應(yīng)地設(shè)定所述跟蹤點(diǎn)候選項(xiàng)作為下一幀上的所述跟蹤點(diǎn)。
10、 一種使得計(jì)算機(jī)用作圖像處理裝置的程序，該圖像處理裝置包括跟蹤裝置，用于與用戶的操作相對(duì)應(yīng)地跟蹤圖像上的作為跟蹤點(diǎn) 的預(yù)定點(diǎn)；顯示控制裝置，用于在所述圖像上顯示充當(dāng)所述跟蹤點(diǎn)的候選項(xiàng) 的跟蹤點(diǎn)候選項(xiàng)，所述跟蹤點(diǎn)候選項(xiàng)的數(shù)量大于在所述圖像上運(yùn)動(dòng)的 對(duì)象的數(shù)量并且少于所述圖像的像素?cái)?shù)；以及設(shè)定裝置，用于與用戶的操作相對(duì)應(yīng)地設(shè)定所述跟蹤點(diǎn)候選項(xiàng)作 為所述跟蹤裝置的下 一 幀上的所述跟蹤點(diǎn)。
11、 一種圖像處理裝置，包括跟蹤單元，用于與用戶的操作相對(duì)應(yīng)地跟蹤圖像上的作為跟蹤點(diǎn) 的預(yù)定點(diǎn)；顯示控制單元，用于在所述圖像上顯示充當(dāng)所述跟蹤點(diǎn)的候選項(xiàng) 的跟蹤點(diǎn)候選項(xiàng)，所述跟蹤點(diǎn)候選項(xiàng)的數(shù)量大于在所述圖像上運(yùn)動(dòng)的對(duì)象的數(shù)量并且少于所述圖像的像素?cái)?shù)；以及設(shè)定單元，用于與用戶的操作相對(duì)應(yīng)地設(shè)定所述跟蹤點(diǎn)候選項(xiàng)作 為所述跟蹤單元的下一幀上的所述跟蹤點(diǎn)。
12、 一種使得計(jì)算機(jī)用作圖像處理裝置的程序，該圖像處理裝置包括跟蹤單元，用于與用戶的操作相對(duì)應(yīng)地跟蹤圖像上的作為跟蹤點(diǎn) 的預(yù)定點(diǎn)；顯示控制單元，用于在所述圖像上顯示充當(dāng)所述跟蹤點(diǎn)的候選項(xiàng) 的跟蹤點(diǎn)候選項(xiàng)，所述跟蹤點(diǎn)候選項(xiàng)的數(shù)量大于在所述圖像上運(yùn)動(dòng)的 對(duì)象的數(shù)量并且少于所述圖像的像素?cái)?shù)；以及設(shè)定單元，用于與用戶的操作相對(duì)應(yīng)地設(shè)定所述跟蹤點(diǎn)候選項(xiàng)作 為所述跟蹤單元的下一幀上的所述跟蹤點(diǎn)。
全文摘要
本發(fā)明涉及圖像處理裝置和圖像處理方法以及程序。提供了一種圖像處理裝置，包括跟蹤單元，用于與用戶的操作相對(duì)應(yīng)地跟蹤圖像上的作為跟蹤點(diǎn)的預(yù)定點(diǎn)；顯示控制單元，用于在所述圖像上顯示充當(dāng)所述跟蹤點(diǎn)的候選項(xiàng)的跟蹤點(diǎn)候選項(xiàng)，所述跟蹤點(diǎn)候選項(xiàng)的數(shù)量大于在所述圖像上運(yùn)動(dòng)的對(duì)象的數(shù)量并且少于所述圖像的像素?cái)?shù)；以及設(shè)定單元，用于與用戶的操作相對(duì)應(yīng)地設(shè)定所述跟蹤點(diǎn)候選項(xiàng)作為跟蹤單元的下一幀上的跟蹤點(diǎn)。
文檔編號(hào)G09G5/377GK101593510SQ20091020284
公開日2009年12月2日 申請(qǐng)日期2009年5月26日 優(yōu)先權(quán)日2008年5月30日
發(fā)明者尾花通雅 申請(qǐng)人:索尼株式會(huì)社