專利名稱：用于交互式視頻幀選擇的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻搜索。本發(fā)明更具體地涉及針對 一 個或多個幀 來搜索視頻鏡頭。
背景技術(shù)：
傳統(tǒng)的視頻搜索和編輯通常包括為了找到一個或多個特定幀而 在視頻序列的各個幀中進行搜索。例如，來自停車場監(jiān)控攝像機的 視頻可能記錄有數(shù)個小時的鏡頭，但是只希望得到顯示了特定車輛 離開其停車位的幀。利用傳統(tǒng)的編輯技術(shù)，為了找到車輛離開其停
車位的時間，用戶可能需要在整個視頻中順序地搜索。這種強力搜 索可能是費時且低效的。此外，視頻內(nèi)可能并不存在所期望的幀。

發(fā)明內(nèi)容
例如，本發(fā)明的一個實施方式包括一種方法，該方法包括使^L頻 幀被顯示；接收對幀內(nèi)第一位置處的點的選擇；以及確定該幀中與 點相關(guān)聯(lián)的粒子(particle)。該方法進一步包括接收所述點向第 二位置的移動；至少部分地基于第二幀中所述粒子與所述點的第二 位置之間的距離來確定包括所述粒子的視頻的第二幀；以及輸出視 頻第二幀的指示。在另一實施方式中，計算機可讀介質(zhì)包括用于執(zhí) 行這種方法的代碼。
記載這些說明性實施方式并非意在限制或限定本發(fā)明，而是為 了提供示例以幫助理解本發(fā)明。在具體實施方式
中對說明性實施方 式進行了討論，并提供了對本發(fā)明的進一步描述。通過研究本說明 書，本發(fā)明各種實施方式提供的優(yōu)勢將得到進一步理解。


當參考附圖閱讀下述具體實施方式
時，本發(fā)明的這些和其它特
征、方面和優(yōu)勢將得到更好的理解，其中
圖1示出了根據(jù)本發(fā)明一個實施方式的用于交互式視頻幀選擇
的系統(tǒng)。
圖2示出了根據(jù)本發(fā)明一個實施方式的用于交互式一見頻幀選擇 的方法。
圖3-圖6示出了視頻的第一幀和第二幀的視圖。
具體實施例方式
本發(fā)明的實施方式提供了用于交互式視頻幀選擇的方法、系統(tǒng) 和產(chǎn)品。根據(jù)本發(fā)明的方法、系統(tǒng)和產(chǎn)品可以通過多種方式來具體 化。本發(fā)明的某些實施方式例如可以減少或；肖除視頻制作編輯器工 作流程中的低效問題。例如，本發(fā)明的一個實施方式可以允許用戶 查看和編輯視頻本身，而不是操縱接口對象并將其注意力轉(zhuǎn)移到查
看結(jié)果，通常將該低效問題稱為"所見非所編輯(edit this, look at that)，，或者ETLAT。
示例性視頻編輯工具
在本發(fā)明的一個示例性實施方式中，運行用于編輯:枧頻的計算 機軟件的計算機系統(tǒng)顯示編輯窗口 。該窗口中顯示有視頻的幀。視 頻幀包括屏幕上可見的 一 個或多個對象。編輯視頻的用戶可能希望 在視頻中找到具有特定性質(zhì)的幀，而不需要在視頻中進行手動搜索。 利用本發(fā)明的示例性實施方式，用戶可以在視頻的幀中選擇感興趣 的點。例如，用戶可能使用鼠標來選擇點。隨后，用戶可以將該點 拖動到場景中的新位置。該示例性實施方式繼而在一見頻中找到這樣
的幀所選擇的點在該幀中已經(jīng)移動到所述新位置。例如，假設(shè)用
戶選4奪了對應于該幀右側(cè)演員的點。用戶繼而可以將該點拖動到該
幀左側(cè)的新位置，貝'J該示例性實施方式可以在視頻中找到這樣的幀
在該幀中，所選擇的演員上的點最接近幀左側(cè)新選擇的位置。例如， 在視頻中，演員可能已經(jīng)從幀右側(cè)走到左側(cè)并離開了幀的左側(cè)。一 旦示例性實施方式在視頻中找到了合適的幀，則系統(tǒng)顯示與所選點 的用戶期待位置最佳對應的幀。
可替換地，在視頻中可能并不存在所選擇的點移動到了用戶所 選新位置的幀。例如，演員可能從未出現(xiàn)在幀的左側(cè)。在這種情況 下，示例性實施方式輸出演員接近于用戶所選新位置的幀。例如， 演員可能只走到了場景中央，而不是一直走到左邊。在這種情況下， 示例性實施方式顯示演員距離左邊所選位置最近的幀，例如演員位 于場景中央時的幀。
本發(fā)明的實施方式可以用于在—見頻中快速地向前或向后移動。 例如，在包括計算機應用的一個實施方式中，用戶可以在視頻幀中 選擇點并將該點拖動到新位置。隨著用戶拖動該點，該應用可以輸
出對應于該點位置的幀。這可以偵:視頻快速前進或后退。例如，如 果用戶選擇了停泊的車輛上的點并拖動該點離開停車地點，則本發(fā) 明的實施方式可以連續(xù)地輸出對應于該點移動的一見頻幀。這樣，如 果用戶正在觀看很長的監(jiān)控視頻，則用戶可以選擇感興趣車輛上的 點并將該點拖動到該用戶相信在將該車輛離開停車地點過程中將會 經(jīng)過的位置。本發(fā)明的實施方式將找到并輸出對應于車輛正在離開 停車地點的幀。用戶隨后可以將該點朝著停車場的出口拖動，隨著 找到并輸出連續(xù)的幀，這會產(chǎn)生車輛駛離的可感知動畫效果。這可 以允許用戶在較長的監(jiān)控視頻中進行搜索，以找到特定車輛離開停 車場所的時間，而不必使用諸如在視頻中快進并監(jiān)視車輛離開的傳 統(tǒng)搜索技術(shù)。
本發(fā)明的實施方式可以進一步用于快速查找?guī)栽试S將一見頻 片段拼接到視頻中。如果對象的期待位置是已知的，則用戶可以簡 單地在視頻中選擇與該對象相關(guān)聯(lián)的點，并將該點拖動到該期待位 置?？梢钥焖俚囟ㄎ坏剿诖膸?，并且可以容易地將視頻片段插入到視頻中的適當位置。
給出此示例是為了向讀者介紹在此討論的一般主題。本發(fā)明不 限于此示例。下面對用于交互式視頻幀選擇的產(chǎn)品和方法的各種實 施方式的細節(jié)進行描述。
示例性系統(tǒng)
現(xiàn)在參考附圖，其中貫穿若干附圖，相同的附圖標記表示相同
的元素。圖1示出了用于交互式視頻幀選擇的系統(tǒng)100。系統(tǒng)100 包括計算機101、顯示器102和輸入設(shè)備103。計算機101包括處理 器IIO和例如存儲器111的計算機可讀介質(zhì)，并且計算機101與顯 示設(shè)備102和輸入設(shè)備103相通信。存儲器111包括用于交互式視 頻幀選擇的應用120、預處理器130、視頻121和粒子信息122。處 理器101執(zhí)行對視頻121進行分析的預處理器130,并生成粒子信息 122。計算機隨后可以執(zhí)行應用120來編輯碎見頻120。
在此示例性實施方式中，在用戶利用應用120編輯—見頻之前， 必須對視頻121進行預處理。預處理器130分析視頻121，并生成包 括視頻幀中特征和對象的相關(guān)信息的粒子信息122。預處理器130 將粒子信息122存儲在計算機可讀介質(zhì)上，供應用120稍后使用。
粒子代表可標識、不同的、并在一個或多個連續(xù)視頻幀中持續(xù) 的視頻部分。例如，粒子可以與演員手臂上的明亮區(qū)域中的像素相 關(guān)聯(lián)。隨著演員手臂的移動，相關(guān)聯(lián)的明亮區(qū)域也移動。預處理器 分析明亮區(qū)域的移動，并在視頻的連續(xù)幀上改變粒子的位置，使得 粒子跟蹤明亮區(qū)域的移動。當明亮區(qū)域變暗或者移出幀時，析除相 關(guān)聯(lián)的粒子。如果稍后明亮區(qū)域再次出現(xiàn)，則創(chuàng)建新的粒子并將其 與該明亮區(qū)域相關(guān)聯(lián)。應當注意，當析除粒子時，這意口木著雖然該 粒子在其被跟蹤的較早幀中仍然存在，但是其不再出現(xiàn)在隨后的視 頻幀中。相反，將創(chuàng)建新的粒子，即使該新粒子與新幀中的相同特 征相關(guān)聯(lián)。在一個實施方式中，粒子僅在特征可見的連續(xù)幀中持續(xù) 出現(xiàn)。下文將對粒子進行更具體的描述。
隨著預處理器分析視頻的每個幀，其可以創(chuàng)建、更新或者析除
一個或多個不同的粒子。具有復雜場景的視頻幀可以具有很多粒子， 每個粒子與幀中的特征相關(guān)聯(lián)。隨著特征的出現(xiàn)、移動和消失，預
處理器創(chuàng)建、移動和析除對應于這些特征的粒子。預處理器還存儲 每個粒子在每個視頻幀中的位置。這樣，對于創(chuàng)建的每個粒子，存 儲該粒子在其出現(xiàn)的每個視頻幀中的位置。在此將粒子的連續(xù)位置 (即，粒子的移動)稱為其"軌跡"。本發(fā)明的實施方式可以使用
作為粒子信息122而存儲的粒子軌跡來在視頻幀中進行搜索，以查 找具有用戶期待特性的幀。
一旦確定并存儲了粒子信息，則系統(tǒng)100的用戶繼而可以使用 應用120來從存儲設(shè)備中獲取視頻121和粒子信息122，并將它們載 入存儲器111。應用120在顯示設(shè)備102上顯示視頻121的第一幀。 系統(tǒng)IOO的用戶在視頻121的幀中選擇第一位置處的點。用戶繼而 可以將該點移動到不同的位置。應用120乂人輸入設(shè)備103 4妻收對第 一位置處點的選擇，并在幀中確定與該點相關(guān)聯(lián)的粒子。應用120 進一步從輸入設(shè)備103接收該點到不同位置的移動。應用120繼而 部分地基于第二幀中該粒子的位置與用戶所選點的第二位置之間的 距離，來確定視頻121中具有與該點相關(guān)聯(lián)的粒子的第二幀。 一旦 應用120確定了第二幀，則其諸如通過顯示第二幀或者通過顯示第 二幀的幀編號來輸出第二幀的指示。
注意，在此使用的并且貫穿此具體實施方式
的術(shù)語"第一幀" 和"第二幀"僅表示視頻中的任意幀，而不一定是一見頻中的前兩個 幀。
參照附圖2-圖6,下面更詳細地描述本發(fā)明的其它實施方式。圖 2示出了根據(jù)本發(fā)明一個實施方式的用于交互式視頻幀選擇的方法 200。將參考圖1中所示的系統(tǒng)來討論圖2中所示方法200。圖3-圖 6示出了^L頻121的第一幀和第二幀的一見圖。
方法200開始于框201，其中系統(tǒng)100顯示視頻121的第一幀。 例如，用戶可以在計算才幾101上扭J亍^L頻編輯應用120，以1更在顯示
設(shè)備102上顯示視頻的第一幀。視頻編輯應用120將一見頻121從存 儲設(shè)備(例如從計算機可讀介質(zhì))載入存儲器111。應用120還可以 將粒子信息122從存儲設(shè)備載入存儲器111。之前已經(jīng)通過執(zhí)行預處 理器130對視頻121分析而產(chǎn)生了粒子信息122。計算機101繼而在 顯示設(shè)備102上顯示視頻的第一幀。
在圖3所示的實施方式中，示出了視頻121的第一幀300。第一 幀300包括演員301和其它組成部分，諸如樹、鳥和人行道。在圖3 所示實施方式中示出了第一幀，但是并未顯示粒子信息122。粒子信 息122通常在執(zhí)行方法200時由系統(tǒng)100使用，對于用戶而言通常 是無用的。盡管在一個實施方式中可以顯示幀中的粒子，但是也可 以選擇不顯示。
在框202中，系統(tǒng)100接收對視頻第一幀300中第一位置處點 302的選擇。利用系統(tǒng)IOO，用戶可以使用諸如鼠標、觸摸屏或其它 設(shè)備的輸入設(shè)備103來選擇幀300內(nèi)的點。例如，從圖4中可見， 已經(jīng)選擇了演員301頭部中的點302。在圖4所示實施方式中，用戶 選擇的點302包括與點302相關(guān)聯(lián)的信息，諸如其位置、選擇該點 的幀的編號以及目標位置。當最初選l奪該點時，可以將該點的位置 存儲為笛卡爾坐標?？梢詫⒛繕宋恢迷O(shè)置為與該點的位置相同的坐 標，或者可以將其設(shè)置為缺省值，例如"未定義"值。目標位置隨 后可以存儲所期待的該,泉的新位置。
在框203中， 一旦用戶選擇了點，則系統(tǒng)100在幀中確定與該 點302相關(guān)聯(lián)的粒子。視頻中的每個幀具有零個或多個與其相關(guān)聯(lián) 的粒子。粒子(在下文更詳細地描述)通常對應于幀中的特征或細 節(jié)，并且可以在連續(xù)的一見頻幀中改變位置。在系統(tǒng)100接收到對點 302的選擇后，系統(tǒng)IOO在幀300中確定最接近所選擇點302的粒子。 在圖4所示實施方式中，與所選點302最接近的粒子與所選點302 重疊。然而，用戶可以選4奪不與^f壬^f可li子重疊的點。例如，在一個 實施方式中，幀中的粒子并未顯示給用戶。在這種實施方式中，用 戶可能不能覺察到粒子位置，并且可能選擇與粒子不相關(guān)聯(lián)的任意
點。
在用戶選擇了與粒子不重疊的點的情況下，本發(fā)明的一個實施 方式確定與該點最4妄近的粒子。例如，實施方式計算^v該點到幀中 每個粒子的笛卡爾距離，并選擇離該點最近的粒子。在另一實施方
式中，系統(tǒng)計算粒子與該點之間x坐標差值與y坐標差值的平方， 并將該差值相加，以此來計算該點與幀內(nèi)每個粒子之間的平方距離。 具有最小平方距離的粒子被選做最近的粒子。
在所示實施方式中，用戶選擇了一個點302。然而，在其它實施 方式中，用戶可以在幀中選^^多個點。例如，在本發(fā)明的一個實施 方式中，輸入設(shè)備103可以包括允許用戶同時選擇多個點的多觸摸 輸入設(shè)備，例如多觸摸的觸摸屏。在這種實施方式中，在幀中選擇 的每個點可以分別與不同的粒子相關(guān)聯(lián)?？商鎿Q地，所選擇的某些 點可以與相同的粒子相關(guān)聯(lián)。例如，如果兩個選擇的點都與同一粒 子最近，則這些點可以每個都與同一粒子相關(guān)聯(lián)。
在一個或多個選擇的點并未與相關(guān)聯(lián)的粒子位于相同坐標的情 況下，系統(tǒng)可以確定與點和粒子之間的距離相關(guān)聯(lián)的偏移。在一個 實施方式中，偏移是點與粒子之間的距離，并且可以在搜索視頻中 的幀時由系統(tǒng)使用，這將在下文進行更全面地描述。
在框204中，系統(tǒng)100接收點302到第二位置304的移動。從 圖5中可見，用戶指定了點302沿著箭頭303的方向移動到新位置 304。注意，在一個實施方式中，圖5中的箭頭303表示點302的移 動，但實際上并不顯示給用戶。
為了移動點302,系統(tǒng)100的用戶可以將光標移動到幀中的新位 置304，并點擊鼠標按鈕來選擇新位置304。在一個實施方式中，用 戶可以對點進行點擊并將該點拖動到新位置。在另一實施方式中， 用戶可以選擇多個新位置或區(qū)域，而不是選擇單個位置。這種實施 方式可以允許用戶查找所選擇的點已經(jīng)移動到了所選擇位置的多個 幀。
在圖5所示實施方式中，到新位置304的移動是作為單個移動
而被^接收的。然而，在一個實施方式中，隨著用戶將點302拖動到 新位置，系統(tǒng)接收點302的多個移動。在這種實施方式中，系統(tǒng)IOO 可以針對每個接收到的移動來執(zhí)行方法200。使用這種實施方式，系 統(tǒng)可以基于所檢測到的點移動來顯示連續(xù)幀。
在用戶選擇了多個點的實施方式中，用戶可以選擇移動這些點 的一個或多個，并將其余的點保持在原位，而不必移動每個所選擇 的點。在試圖搜索幀中特征的相對移動時，這種實施方式是有用的。 在這種實施方式中，用戶指示這些點中一個點的目標位置是其當 前位置。例如，用戶能夠在該點處打開上下文敏感菜單，并選擇將 該點保持原位的選項。在這種情況下，所接收的移動是不移動該點 的指示。
在框205中，系統(tǒng)100至少部分地基于第二幀中粒子與點302 的第二位置之間的距離來確定視頻121的包括該粒子的第二幀。在 接收到該點302到第二位置304的移動后，系統(tǒng)100可以搜索粒子 信息來查找具有與點302相關(guān)聯(lián)的粒子的所有幀，以便確定候選幀 的集合。系統(tǒng)100針對每個候選幀計算該粒子與第二位置304之間 的距離。該系統(tǒng)繼而確定候選幀中的哪個幀具有位于與該點302的 第二位置304最近位置的粒子。
如前所述，在確定與所選擇點最接近的粒子時，系統(tǒng)100已經(jīng) 計算了偏移。在基于所選擇點和最接近的粒子確定偏移的實施方式 中，該粒子與第二位置之間的距離還包括對偏移值的校正。例如， 如果粒子在其原始位置處比該點高十個單位，則可以向第二位置添 加十個單位的偏移，以便校正所選擇點與該粒子之間的最初距離。
應當注意，"最接近"并不一定表示粒子與第二位置之間的位 置為零。"最接近"意味著，對于存在該粒子的任何幀，第二幀中 該粒子的位置與第二位置之間的距離是該粒子與第二位置之間的最 短距離。此外，粒子與第二位置最接近的幀可能不止一個。例如， 如果視頻包括鐘擺擺動的鏡頭，則視頻中可能存在該粒子與第二位 置最接近的多個幀。在這種情況下，本發(fā)明的一個實施方式任意選
擇粒子與第二位置最接近的幀之一。在本發(fā)明另一實施方式中，系 統(tǒng)選擇粒子與第二位置最接近的兩個幀。該實施方式可以進一步允 許用戶選擇這些幀中的一個。
在一個實施方式中，用戶可以指定到新位置的最大距離，粒子 必須位于該最大距離之內(nèi)。系統(tǒng)可以使用該最大距離來忽略粒子與 第二位置的距離大于該最大距離的幀。在這種實施方式中，系統(tǒng)可 以確定視頻中沒有包括與第二位置最接近、并且位于最大距離內(nèi)的 粒子的幀。
如前所述，根據(jù)本發(fā)明 一 個實施方式的系統(tǒng)可以允許用戶選擇
并移動幀中的多個點。在這種情況下，系統(tǒng)首先確定^L頻的哪些幀 包括與所選擇點相關(guān)聯(lián)的所有粒子。系統(tǒng)繼而計算與多個點相關(guān)聯(lián) 的粒子的位置與為所選擇點指定的新位置之間的最小平方距離，以 此來確定^f見頻的第二幀。系統(tǒng)繼而選"t奪所述粒子與所選擇點的新位 置之間距離的最小平方最低的幀，以此來確定第二幀。
除了粒子與所選擇位置之間的距離之外，還可以^f吏用其它因素 來確定將要選擇的視頻的最佳第二幀。例如，在本發(fā)明一個實施方 式中，基于第二幀相對于第一幀何時出現(xiàn)，可以在確定中并入權(quán)重 因子。例如，可能期待第二幀是在視頻的第一幀之后出現(xiàn)的幀。在 這種情況下，用戶可以將實施方式配置為只搜索在第一幀之后出現(xiàn) 的幀?？商鎿Q地，用戶可以指定其幀編號接近于第一幀的幀可能 更被期待。在這種實施方式中，該系統(tǒng)可能選擇在第一幀之前十個 幀的第二幀，而不選擇在第一幀之后500個幀出現(xiàn)的第二幀。還可 以并入其它權(quán)重因子。
例如，上述某些實施方式完全依賴于粒子與所選擇點的第二位 置之間的物理距離來確定第二幀。然而，在基于其它變量(諸如幀 編號或者時間順序)進行確定的實施方式中，也可以為物理距離賦 予權(quán)重因子。例如，本發(fā)明的一個實施方式可以將每個變量的值乘 以它們的權(quán)重因子，并將這些值相加在一起來為每個候選幀確定記 分?？梢赃x擇具有最高記分的候選幀。在這種情況下，可以選擇最
佳幀，該幀中的粒子并非最接近所選擇點的新位置。其它實施方式 對于本領(lǐng)域技術(shù)人員而言也是顯而易見的。
在框206中，在系統(tǒng)100確定第二幀400后，系統(tǒng)100輸出一見 頻的第二幀400的指示。圖6示出了系統(tǒng)IOO輸出的視頻第二幀400， 其中粒子最接近于點302的第二位置304。在圖6所示實施方式中， 系統(tǒng)100顯示^L頻的第二幀400以供用戶^見看。在一個實施方式中， 系統(tǒng)可以通過輸出第二幀400的幀編號來^T出—見頻第二幀400的指 示。在另一實施方式中，系統(tǒng)可以輸出多個幀，其對應于具有最接 近于第二位置的粒子的幀。在一個實施方式中，系統(tǒng)可以輸出第二 幀的縮略圖。
一旦系統(tǒng)IOO輸出了視頻第二幀400的指示，則系統(tǒng)可以返回 到方法200中的其它框。例如，系統(tǒng)100可以返回到框204來4妾收 點到新位置的第二次移動并繼續(xù)算法的剩余步驟。此外，系統(tǒng)100 可以返回到框202來接收第二點的選擇。
識視頻中特征的其它信息。例如，在一個實施方式中，系統(tǒng)包括關(guān) 于視頻中對象的信息，而不是粒子。例如，視頻可以被預處理，并 且虛擬對象可以與浮見頻內(nèi)的特征或可一見元素相關(guān)聯(lián)。例如，可以創(chuàng) 建對象，并將其與演員相關(guān)聯(lián)。繼而可以在演員每次出現(xiàn)在視頻幀 中時使用該對象，即使那些幀并不連續(xù)。例如，演員可以在視頻的 早期場景中出現(xiàn)。他可能不在視頻的中間場景中出現(xiàn)，卻在視頻后 期的場景中再次出現(xiàn)。該系統(tǒng)可以將相同的對象與視頻早期場景中 的演員和后期場景中的演員相關(guān)聯(lián)，即使該演員并未在視頻的任何 中間場景中出現(xiàn)。此外，用于跟蹤視頻部分的其它方法也可以在本 發(fā)明系統(tǒng)中使用。例如，可以使用這樣的模板跟蹤，在該模板中， 可以使用 一個或多個定義好的模板來跟蹤視頻中的特定對象。例如， 可以使用能夠標識車輛的才莫板跟蹤系統(tǒng)在— 見頻中標識并跟蹤車輛的 位置。本發(fā)明的實施方式繼而可以使用跟蹤信息，而不是使用粒子 信息。
返回如上所述的使用粒子信息的本發(fā)明實施方式，預處理器確 定粒子，并且粒子表示視頻的一個或多個幀中的點。
首先，基于光流場的發(fā)散性和像素投影差異，預處理器使用能 量函數(shù)(該函數(shù)包括經(jīng)過圖像梯度大小調(diào)制的平滑項)和用于表示 遮擋邊界的遮擋因子在連續(xù)的幀配對上計算光流場。隨后，在遮擋 邊界附近進行雙邊濾波來改善邊界銳度。接下來，使用考慮光流場、 圖像強度、色彩通道和用于附近粒子的加權(quán)平滑項的優(yōu)化過程來將 第一幀中標識的粒子傳遞給后續(xù)幀。在傳遞粒子之后，對于每個幀， 刪除具有最高優(yōu)化后誤差的粒子，并且將新的粒子添加到已有粒子 之間的間隙。例如，如果^v幀中的區(qū)域裁剪了粒子，則將一個或多 個粒子添加到該區(qū)域中以增大粒子密度。在前向時間方向(從第一 幀到最后一個幀)和反向時間方向(從最后一個幀到第一個幀)二 者上對視頻進行該分析，以提供較準確的粒子追蹤信息。
以下文獻記載了上文描述的用于處理視頻的算法的特定實施方
式 "Particle Video: Long畫Range Motion Estimation Using Point Trajectories", Peter Sand and Seth Teller, MIT Computer Science and Artificial Intelligence Laboratory, IEEE Conference on Computer Vision and Pattern Recognition, 2006 ("Sand"),在》匕并入其全^卩內(nèi)容4乍為參考。
粒子視頻方法的優(yōu)勢在于其既在空間上是密集的，在時間上 又是長期的。相反，其它試圖成為長期的方法在空間上卻是稀疏的， 或者在空間上是密集的方法卻在時間上是短期的。因此，粒子視頻 數(shù)據(jù)非常適于在視頻中進行搜索來找到所選擇的幀，因為我們可以 通過找到鄰近的粒子來估計任意選擇的像素在視頻幀中的移動。
再次參考圖1，本發(fā)明的實施方式可以由數(shù)字電子電路實現(xiàn)，或 者在計算機硬件、固件、軟件或其組合中實現(xiàn)。在一個實施方式中， 計算機101可以包括一個(或多個)處理器110。處理器110包括計 算機可讀介質(zhì)，其例如耦合至處理器的隨機訪問存儲器(RAM)。 處理器IIO執(zhí)行存儲器111中存儲的計算機可執(zhí)行程序指令，諸如
執(zhí)行用于編輯圖像的 一 個或多個計算機程序。這種處理器可以包括
微處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn) 場可編程門陣列(FPGA)和狀態(tài)機。這種處理器還可以包括可編程 電子設(shè)備，諸如PLC、可編程中斷控制器(PIC)、可編程邏輯設(shè)備 (PLD )、可編程只讀存儲器(PROM )、電可編程只讀存儲器(EPROM 或EEPROM)或其它類似i殳備。
這種處理器可以包括存儲有指令的介質(zhì)(例如計算機可讀介質(zhì)) 或與其通信，其中當這些指令由處理器執(zhí)行時，可以使處理器執(zhí)行 在此描述的、由該處理器完成或協(xié)助的步驟。計算機可讀介質(zhì)的實 施方式可以包括但不限于電子、光、磁或其它存儲設(shè)備或能夠向例 如網(wǎng)絡服務器中的處理器之類的處理器提供計算機可讀指令的傳輸 設(shè)備。介質(zhì)的其它示例包括但不限于軟盤、CD-ROM、磁盤、存儲 芯片、ROM、 RAM、 ASIC、經(jīng)過配置的處理器、所有光介質(zhì)、所有 磁帶或其它磁介質(zhì)，或計算機處理器可以從中讀取的任何其它介質(zhì)。 而且，計算機可讀介質(zhì)的各種其它形式可以將指令傳輸或攜帶至計 算機，諸如路由器、專用網(wǎng)或公共網(wǎng)或其它傳輸設(shè)備或信道。所描 述的處理器和處理可以在一種或多種結(jié)構(gòu)中，并且可以分散在一個 或多個結(jié)構(gòu)中。處理器可以包括用于執(zhí)行在此描述的一個或多個方 法(或方法的步驟)的代碼。
總結(jié)
本發(fā)明實施方式(包括優(yōu)選實施方式)的上述描述僅僅是為了 說明和描述的目的而示出，并不意在窮舉本發(fā)明或?qū)⒈景l(fā)明限制于 所公開的精確形式。在不脫離本發(fā)明精神和范圍的前提下，本發(fā)明 的各種改進和調(diào)整對于本領(lǐng)域技術(shù)人員而言是顯而易見的。
權(quán)利要求
1.一種方法，包括使視頻的幀被顯示；接收對所述幀內(nèi)第一位置處的點的選擇；確定所述幀中與所述點相關(guān)聯(lián)的粒子；接收所述點到第二位置的移動；至少部分地基于第二幀中所述粒子與所述點的所述第二位置之間的距離，確定包括所述粒子的所述視頻的所述第二幀；以及輸出所述視頻的所述第二幀的指示。
2. 根據(jù)權(quán)利要求1所述的方法，其中，輸出所述視頻的所述第 二幀的所述指示包括顯示所述第二幀。
3. 根據(jù)權(quán)利要求1所述的方法，其中，輸出所述視頻的所述第 二幀的所述指示包括顯示所述第二幀的幀編號。
4. 根據(jù)權(quán)利要求1所述的方法，進一步包括接收定義時間權(quán)重 的變量，并且其中，確定包含所述粒子的所述視頻的第二幀包括 至少部分地基于所述時間片又重來確定所述 一見頻的第二幀。
5. 根據(jù)權(quán)利要求4所述的方法，其中，所述時間權(quán)重隨著所述 第 一 幀和候選幀之間時間的增加而降低。
6. 根據(jù)權(quán)利要求1所述的方法，進一步包括接收最大距離，并 且其中，確定包含所述粒子的所述視頻的第二幀進一步包括至少 部分地基于所述最大距離來確定所述視頻的第二幀。
7. 根據(jù)權(quán)利要求6所述的方法，其中，確定所述視頻的第二幀 包括淘汰其中所述粒子與所述第二位置的距離大于所述最大距離 的一見頻幀。
8. 根據(jù)權(quán)利要求1所述的方法，進一步包括預處理所述視頻， 以在所述^L頻的 一個或多個幀中確定一個或多個粒子。
9. 根據(jù)權(quán)利要求1所述的方法，其中，接收第一位置處的第一 點進一步包括接收多個位置處的多個點。
10. 根據(jù)權(quán)利要求9所述的方法，其中，在所述幀中確定與所述 點相關(guān)聯(lián)的粒子包括在所述幀中確定與所述多個點相關(guān)聯(lián)的多個粒子。
11. 根據(jù)權(quán)利要求10所述的方法，其中，接收所述點到第二位 置的移動包括接收所述多個點中至少一個點到新位置的移動。
12. 根據(jù)權(quán)利要求11所述的方法，其中，確定所述視頻第二幀 包括確定所述多個點與所述多個關(guān)聯(lián)粒子之間的最小平方距離。
13. —種計算機可讀介質(zhì)，其上編碼有程序代碼，所述程序代碼 包括使視頻的幀被顯示的程序代碼；接收對所述幀內(nèi)第 一位置處的點的選擇的程序代碼；確定與所述幀中與所述點相關(guān)聯(lián)的粒子的程序代碼；接收所述點到第二位置的移動的程序代碼；至少部分地基于第二幀中所述粒子與所述點的所述第二位置之 間的距離來確定包括所述粒子的所述視頻的所述第二幀的程序代 碼；以及輸出所述視頻第二幀的指示的程序代碼。
14. 根據(jù)權(quán)利要求13所述的計算機可讀介質(zhì)，進一步包括接收 定義時間權(quán)重的變量的程序代碼，并且其中，確定包括所述粒子的 所述視頻第二幀包括至少部分基于所述時間片又重，確定所述—見頻 的第二幀。
15. 根據(jù)權(quán)利要求13所述的計算機可讀介質(zhì)，進一步包括接收 最大距離的程序代碼，并且其中確定包括所述粒子的所述視頻第二 幀進一步包括至少部分地基于所述最大距離來確定所述視頻的第二幀。
16. 根據(jù)權(quán)利要求13所述的計算機可讀介質(zhì)，進一步包括預處 理所述頻以 <更在所述^f見頻的 一 個或多個幀中確定 一 個或多個粒子 的程序代碼。
17. 根據(jù)權(quán)利要求13所述的計算機可讀介質(zhì)，其中，接收第一 位置處的第 一點的程序代碼進一 步包括接收多個位置處的多個點 的程序代碼。
18. 根據(jù)權(quán)利要求17所述的計算機可讀介質(zhì)，其中，在所述幀 中確定與所述點相關(guān)聯(lián)的粒子的程序代碼包括在所述幀中確定與 所述多個點相關(guān)聯(lián)的多個粒子的程序代碼。
19. 根據(jù)權(quán)利要求18所述的計算機可讀介質(zhì)，其中，接收所述 點到第二位置的移動的程序代碼包括接收所述多個點中至少 一 個 點到新位置的移動的程序代碼。
20. 根據(jù)權(quán)利要求19所述的計算機可讀介質(zhì)，其中，確定所述 視頻第二幀的程序代碼包括確定所述多個點與所述多個關(guān)聯(lián)粒子 之間的最小平方距離的程序代碼。
21. —種系統(tǒng)，包括 處理器，被配置用于^f吏一見頻的幀^皮顯示；接收對所述幀內(nèi)第 一 位置處的點的選擇； 確定與所述幀中與所述點相關(guān)聯(lián)的粒子； 接收所述點到第二位置的移動；至少部分地基于第二幀中所述粒子與所述點所述第二位置 之間的距離來確定包括所述粒子的所述視頻的所述第二幀；以 及輸出所述視頻第二幀的指示。
22. 根據(jù)權(quán)利要求21所述的系統(tǒng)，其中，所述處理器被進一步 配置為接收多個位置處的多個點。
23. 根據(jù)權(quán)利要求22所述的系統(tǒng)，其中，所述處理器被進一步 配置為在所述幀中確定與所述多個點相關(guān)聯(lián)的多個粒子。
24. 根據(jù)權(quán)利要求23所述的系統(tǒng)，其中，所述處理器被進一步 配置為接收所述多個點中至少一個點到新位置的移動。
25. 根據(jù)權(quán)利要求24所述的系統(tǒng)，其中，所述處理器被進一步 配置為確定所述多個點與所述多個關(guān)聯(lián)粒子之間的最小平方距離。
全文摘要
本申請描述了用于交互式視頻幀選擇的系統(tǒng)、方法和計算機可讀介質(zhì)。一種實施方式包括一種方法，該方法包括使視頻的幀被顯示；接收對所述幀內(nèi)第一位置處的點的選擇；以及確定所述幀中與所述點相關(guān)聯(lián)的粒子。該方法進一步包括以下步驟接收所述點到第二位置的移動；以及至少部分地基于第二幀中所述粒子與所述點的所述第二位置之間的距離來確定包括所述粒子的所述視頻的所述第二幀。
文檔編號H04N5/262GK101374206SQ20081013109
公開日2009年2月25日 申請日期2008年8月21日 優(yōu)先權(quán)日2007年8月22日
發(fā)明者D·戈德曼 申請人:奧多比公司