專利名稱：利用符號表示空間訪問數(shù)據(jù)的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及瀏覽和訪問非常大量的諸如圖像和視頻剪輯的數(shù)據(jù)的方 法和裝置。
背景技術(shù)：
為了瀏覽一組諸如圖像或視頻的數(shù)據(jù)，可以采用的最簡單方案是一 次向用戶示出一個或更多個條目，并且允許用戶利用一些定向控制來移 動至下一個或前一個條目，直到識別出這些條目或感興趣的條目為止。 然而，這種簡單的線性導航方案在諸如先進數(shù)字攝像機或智能數(shù)字視頻 錄像和編輯系統(tǒng)的現(xiàn)代數(shù)字成像和視頻設(shè)備的環(huán)境下日益變得不夠靈活。在2002年10月3日公開的由惠普公司的Gargi提出的專利申請US 2002/0140746 Al， "Image Browsing using Cursor Positioning"中，提出了一種用于瀏覽圖像的方法。根據(jù)該發(fā)明，向用戶呈現(xiàn)可用圖像的子集， 作為圖像棧。圖像棧是一系列部分重疊圖像。通過使光標或指針懸停在 圖像棧上，單個桟圖像變得活動或完全可視，例如，通過"凸起"在所 述棧上方或通過顯示在顯示器的不同區(qū)域中。然后，可以選擇活動棧圖 像以在顯示器的不同區(qū)域中"持久"觀看(即，與指針的光標的位置無 關(guān))。如果用戶沒有在棧中識別出感興趣的圖像，則該用戶可以移至下一 個?；蚯耙粋€棧。因而，該發(fā)明著重依靠棧中圖像部分重疊，以增加可 以在任意一次放置在顯示單元上的圖像的數(shù)量。重疊的程度為必須使得 該發(fā)明的用戶仍然可以訪問該棧的全部內(nèi)容，隨后通過使光標或指針懸 停在可能感興趣的圖像上方從而進一步僅對這些圖像進行檢査。這些要 求對圖像重疊的程度有很大限制。例如，假設(shè)顯示單元可以正常顯示三 個相同大小的完整圖像。那么，將各圖像的40% "隱藏"在前一圖像下方以形成圖像棧會使顯示單元的容量增加兩個圖像，使其容量增至總計 五個圖像。因而，對于可以容納1000個圖像的數(shù)字攝像機來說，用戶可能需要訪問多達200個單獨棧以識別一個圖像。增加重疊的量會使圖像 棧的數(shù)量減少，但這樣的話用戶將不能在單個視圖中估計(assess)各棧 的內(nèi)容，而必須使光標懸停在大多數(shù)(如果不是全部的話)棧圖像上。 而且，根據(jù)US 2002/0140746 Al，用戶可以針對所有圖像人工地創(chuàng)建并 維護一個目錄樹，并隨后針對該目錄樹的特定部分瀏覽圖像棧。然而， 這只是減輕了棧僅擴散(proliferation)到至多一個點的問題。例如，根 據(jù)先前示例，100個圖像的目錄將導致20個圖像棧，這對于有效瀏覽來 說仍然太多。更詳細的目錄樹將進一步減輕該問題，但這將導致多個其 它問題。首先，有效顯示并導航實際圖像數(shù)據(jù)的問題將被有效顯示并導 航目錄樹本身的問題代替。另外，人工創(chuàng)建并維護這種目錄樹對于用戶 來說較麻煩。而且，幾乎可以肯定的是，用戶將反復地拍攝新圖像、刪 除舊圖像并確定現(xiàn)有目錄樹不足以表示圖像數(shù)據(jù)，在這種情況下，他們 將必須人工重新創(chuàng)建它。而且，事實上，當可以按多種方式組織圖像數(shù) 據(jù)并且類別之間的邊界通常不清晰時，為了創(chuàng)建詳盡的目錄樹，用戶需 要將圖像數(shù)據(jù)分成不同的子目錄和類別。因而，該發(fā)明改進了簡單線性 導航方案，但僅僅進行了有限改進。在2003年5月8日公開的由惠普公司的Stavely和Battles提出的專 禾廿申i青US 2003/0086012 Al， "Image Browsing User Interface Apparatus and Method"中，提出了用于瀏覽圖像的另一方法。根據(jù)該發(fā)明，將多個 圖像組織成單個圖像和多組圖像，其中， 一組圖像可以包含一個視頻的 所有幀或在單個連拍(burst)中拍攝(capture)的所有圖像，或者可以 是用戶定義的。每一組圖像都用可以自動或人工確定的優(yōu)選圖像來表示。 單個圖像和優(yōu)選圖像形成主圖像集。出于瀏覽的目的，顯示單元可以在 網(wǎng)格中顯示一組縮略圖，例如，在3 x3網(wǎng)格中顯示9個縮略圖。沿固定 方向的一條線(例如，縮略圖的中間水平線)顯示主圖像，并且用戶可 以利用水平方向控制按鈕從一個主圖像移至下一個或前一個。如果當前 主圖像是一組中的優(yōu)選圖像而不是單個菌像，則存在"浮"在其上和其下的縮略圖，并且用戶可以利用垂直方向控制按鈕移動通過該組中的圖 像。在另選實施方式中，用戶使用垂直方向控制按鈕以簡單地"移入移 出"組，并且使用水平方向控制按鈕移動通過一組中的圖像。因此，該 方法也是對簡單線性導航方案的有限改進。為了識別感興趣的數(shù)據(jù)，用 戶可能必須移動通過整個主圖像列表并且可能移動通過一個或更多個圖 像組的部分。應(yīng)注意到，雖然創(chuàng)建圖像組可以提高導航的效率，但在導 航期間節(jié)省的時間將花費在對用戶定義的組的人工創(chuàng)建和維護上，這是 在數(shù)據(jù)隨時間而發(fā)生改變時需要不斷重復進行的麻煩處理。而且，如前 所述，當實際上對數(shù)據(jù)的分離不可行或者不希望對數(shù)據(jù)進行分離時，對 圖像分組可能在特定環(huán)境下有用但需要用戶對數(shù)據(jù)執(zhí)行嚴格的分離。在2002年6月20日公開的由伊斯曼柯達公司(EASTMAN KODAK COMPANY)的Rosenzweig和Prabhu提出的專利申請US 2002/0075322 Al ， "Timeline-Based Graphical User Interface for Efficient Image Database Browsing and Retrieval"中，提出了用于瀏覽圖像的另一方法。該瀏覽方 法可以分級為至少三個等級。頂級包括根據(jù)圖像的拍攝時間(例如，根 據(jù)拍攝年份)創(chuàng)建的圖像組，并且那些組按1維時間線組織。每一個組 都由圖標表示，圖標的大小與該組中的圖像數(shù)量成比例。這些組中的選 定組允許用戶移至第二級并且觀看在另一 1維時間線(例如，根據(jù)拍攝 的月份)上將選定組分成子組。這些子組也由其大小與該子組中的圖像 數(shù)量成比例的圖標表示。在第二級處還可以使用其它分組準則，如拍攝 的位置、基于由機載GPS或人工輸入而創(chuàng)建的元數(shù)據(jù)、圖片中感興趣的 人、再次基于自動或人工創(chuàng)建的元數(shù)據(jù)等，以創(chuàng)建其它1維排序的顯示 隱喻(displaymetaphor)。接著，選擇子組中的一個可以導致將其組成圖 像按網(wǎng)格形式顯示為縮略圖，或者根據(jù)某一準則顯示次子組的第三顯示 隱喻，第三顯示隱喻仍可以具有在其下方的另一顯示隱喻等。而且，用 戶可以在任何點決定停止橫移該層級(hierarchy)并且在屏幕上簡單顯示 給定組或子組的所有圖像。因而，該發(fā)明允許用戶以"拍攝的日期/時間" 準則開始每次利用單個準則來導航一組圖像，其中該組圖像使用根據(jù)多 個準則對該組進行的層級分解。雖然改進了簡單線性導航處理，但該方法存在一些缺點。事實上，當圖像數(shù)據(jù)可以按多種方式組織并且類別之 間的邊界通常"模糊"時，為了實現(xiàn)層級分解，圖像必須被分成不同類 別。例如，根據(jù)拍攝時間的分類(即，針對06: 00- 12: OO的圖像一類、 針對12: 00-18: OO的圖像一類等)高度人工化，并且導致在中午附近 的單一時段中拍攝的圖像被分成兩種不同類別。類似的是，根據(jù)圖像描繪的人進行分類(即，針對人1 一類、針對人2 —類等)沒有考慮在該圖像中有多少人、背景等。另一方面，如果層級包含過少類別，則不會 對簡單線性導航方案提供任何顯著改進。由閃點技術(shù)公司(FlashPoint Technology Inc.)的Anderson在2003 年3月25日提出的專利US 6538698 Bl， "Method and System for Sorting Images in an Image Capture Unit to Ease Browsing Access "中，提出了用于瀏覽圖像的另一方法。該方法也基于對圖像的分組來擴展簡單線性導航 方案的。更具體地說，該發(fā)明依靠根據(jù)自動或人工創(chuàng)建的元數(shù)據(jù)(如拍 攝時間、圖像中拍攝的場合等)而分組的可用圖像數(shù)據(jù)。接著，按順序 向用戶呈現(xiàn)圖像，并且用戶可以從一個圖像導航至下一個或前一個圖像， 或者從一組跳躍至下一組或前一組。如較早所述，伴隨這種方法的一個 問題在于，當實際上對數(shù)據(jù)的分離不可行或者不希望對數(shù)據(jù)進行分離時， 對圖像分組可能在特定環(huán)境下有用但需要用戶對數(shù)據(jù)執(zhí)行嚴格的分離。 另外，即使已經(jīng)成功地將圖像分組，為了識別感興趣的數(shù)據(jù)，用戶也必 須線性地移動通過整個組列表，并且可能移動通過一個或更多個圖像組 的部分。發(fā)明內(nèi)容本發(fā)明致力于解決如上所述的現(xiàn)有技術(shù)中的問題。 在所附權(quán)利要求中闡述了本發(fā)明的多個方面。本發(fā)明的一實施方式包括給定一組數(shù)據(jù)(如圖像或視頻)，利用符 號表示數(shù)據(jù)或多組數(shù)據(jù)；在符號表示空間中排列所述符號并且向用戶顯 示所述符號表示空間；允許用戶將指針或光標移至所述符號表示空間的 任何部分；當接收到用戶輸入時或自動地，標記基于所述光標在所述符號表示空間中的位置而認為相關(guān)的那些符號；以及當接收到用戶輸入時 或自動地，優(yōu)選地連同符號表示空間一起，顯示與高亮符號對應(yīng)的數(shù)據(jù)。 本發(fā)明的實施方式的優(yōu)點包括允許用戶觀看數(shù)據(jù)的全局表示、按 非線性方式訪問特定數(shù)據(jù)、定位并觀看感興趣的數(shù)據(jù)而不會忽略全局表 示空間，以及容易地獲知數(shù)據(jù)之間的相互關(guān)系和所述全局表示，以隨著 他們變得更加熟悉本方法和裝置而進一步提高他們?yōu)g覽的容易性和速 度。當系統(tǒng)的顯示單元的能力不足以顯示所有可用數(shù)據(jù)時，本發(fā)明特別 有用，以使用戶能夠快速地識別并觀看特別感興趣的數(shù)據(jù)。


下面，將參照附圖對本發(fā)明的實施方式進行說明，其中圖l示出了第一符號表示空間；圖2示出了第二符號表示空間；圖3示出了第三符號表示空間；圖4示出了瀏覽裝置；圖5-7例示了利用圖4的裝置和圖1的表示空間的瀏覽方法；圖8例示了利用另選顯示格式的瀏覽方法；圖9例示了利用另一另選顯示格式的瀏覽方法；圖IO例示了利用又一另選顯示格式的瀏覽方法；圖11例示了顯示與不同符號類型對應(yīng)的圖像的瀏覽方法；圖12例示了圖1的符號表示空間的變型；圖13-15例示了利用圖4的裝置和圖2的表示空間的瀏覽方法;圖16例示了利用另選顯示格式的瀏覽方法；圖17-21例示了利用圖4的裝置和圖3的表示空間的瀏覽方法。
具體實施方式
在本發(fā)明的一個實施方式中，要瀏覽的數(shù)據(jù)集包括可視數(shù)據(jù)，如圖 像或視頻段。例如，本發(fā)明可以在數(shù)字圖像和/或視頻攝像機內(nèi)部實現(xiàn)， 以允許有效地瀏覽用戶拍攝并存儲在該攝像機的存儲器中的圖像和/或視頻。作為另一示例，本發(fā)明可以在諸如數(shù)字視頻錄像機的智能數(shù)字視頻 編輯裝置內(nèi)部實現(xiàn)，以允許有效地瀏覽許多視頻或單一視頻的不同段。 然而，應(yīng)注意到，這些示例都僅是出于例示目的，而非對本發(fā)明的范圍 的任何形式的限制。出于例示的目的，該說明將集中于對可視數(shù)據(jù)的表示和瀏覽。然而， 本領(lǐng)域技術(shù)人員將理解，本發(fā)明可用于瀏覽其它類型的數(shù)據(jù)，如音頻數(shù) 據(jù)或視聽數(shù)據(jù)，或混合數(shù)據(jù)類型。利用符號來表示數(shù)據(jù)項。對符號可能是什么沒有限制。例如，在本 發(fā)明的一個實施方式中，符號是任何顏色的單個像素。在本發(fā)明的另一 實施方式中，符號是任何顏色的一組像素并且可以是任何形式。在本發(fā) 明的又一實施方式中，符號是一組像素，優(yōu)選地是以緊湊形式，其顏色 表示它代表的圖像或視頻數(shù)據(jù)項的主色。在視頻數(shù)據(jù)項的情況下，主色 可以與單個幀(例如第一幀或關(guān)鍵幀)或多個幀有關(guān)，或者可以是整個 視頻中的主色。在本發(fā)明的又一實施方式中，符號是它表示的圖像或視 頻數(shù)據(jù)項的二次采樣或縮略圖形式。在視頻數(shù)據(jù)項的情況下，縮略圖可 以對應(yīng)于視頻的單個幀(例如，第一幀或關(guān)鍵幀)，或者可以是多個幀的 嵌入，或者可以是其本身權(quán)利內(nèi)的視頻項。在本發(fā)明的又一實施方式中， 符號是所期望語義含義的圖標或圖形。類似的是，符號還可以被用于表示全部組的數(shù)據(jù)項。在利用符號表示包括多個數(shù)據(jù)項的數(shù)據(jù)集時，本發(fā)明的不同實施方 式可以使用單個或多個符號類型。符號的主要目的是允許向本發(fā)明的用戶有效地呈現(xiàn)數(shù)據(jù)集。因而， 符號實際上不會替換它們表示的數(shù)據(jù)，而是與數(shù)據(jù)(例如，元數(shù)據(jù))共 存。在本發(fā)明的一優(yōu)選實施方式中，人工地和/或自動地選擇和/或調(diào)節(jié)符 號的類型(例如，圖形化圖標或主色像素組)和符號類型的特定體現(xiàn)(例 如，大或小)，以便于向用戶有效地呈現(xiàn)數(shù)據(jù)集。向用戶呈現(xiàn)數(shù)據(jù)集是經(jīng)由符號表示空間來實現(xiàn)的。符號表示空間是對表示數(shù)據(jù)項的符號的n維空間排列，其中nSl。在本發(fā)明的一個實施方式中，符號表示空間中的數(shù)據(jù)符號的排列部分地或完全地取決于數(shù)據(jù)項之間的相互關(guān)系，例如，每一個數(shù)據(jù)項與至 少一個其它數(shù)據(jù)項之間的相似性。圖1示出了完全取決于數(shù)據(jù)項之間的相互關(guān)系的2維符號表示空間10。在該例示中，使用了兩個符號類型，即，小圓形20和小方形30。在 本發(fā)明的一個實施方式中，可以如下創(chuàng)建這種符號表示空間。首先，通過適當?shù)淖詣铀惴ǚ治鰯?shù)據(jù)項，以提取每一個目標的數(shù)字 描述。例如，對于圖像和視頻，可以通過分析圖片的顏色、紋理或其它 可視特征獲得這些描述。接著，可以基于該數(shù)字描述導出符號表示。例 如，可以將描述的值用作表示空間中的坐標。如果表示的維數(shù)小于描述 的維數(shù)，則可以應(yīng)用諸如主成分分析(PCA)的數(shù)學方法將該維數(shù)減小 至期望程度。作為在表示空間中直接嵌入每一項的數(shù)字描述的另選方案，可以進 一步處理該描述，以提取最顯著的相互關(guān)系。在一個過程中，計算表示 多對數(shù)據(jù)項之間的比較結(jié)果的數(shù)值。例如，在數(shù)字描述捕獲(capture) 可視特征的情況下，每一個數(shù)值將表示兩個圖像的可視相似性。這種相 似性可以通過最適于數(shù)據(jù)項的描述或類型的方法來計算。對于一組數(shù)據(jù)項，接著，可以將這些比較結(jié)果排列成方形矩陣，該 方形矩陣對與多項之間的相互關(guān)系有關(guān)的所有信息進行編碼。可以將多 種數(shù)學方法用于分析這種矩陣，以生成每一項在適當?shù)姆柨臻g中的坐 標。所得到的符號空間捕獲條目的視圖，即，在某種意義上，對于相似 性數(shù)據(jù)是最優(yōu)的。這種算法的示例包括多維標度(MDS)、自組織圖(SOM) 以及拉普拉斯特征映射(Laplacian Eigenmap)?？梢詫υ撨^程進行擴展，從而允許向該集合增加條目，或?qū)Ρ硎具M 行有效計算。上述方法的示例在標題為"Mutual-Rank Similarity Space for Navigating in Image Databases",代理巻號J47859EP的未決申請中進行了 說明，通過引用將其內(nèi)容合并于此。應(yīng)注意到，因為在該實施方式中數(shù)據(jù)符號的排列僅取決于它們的下 層數(shù)據(jù)項之間的相互關(guān)系，所以符號在該空間中的絕對位置并不重要，而重要的是它們彼此的相對位置。這就是圖1的符號表示空間為什么沒 有坐標軸的原因。在本發(fā)明的另一實施方式中，數(shù)據(jù)符號在符號表示空間中的排列部 分地或完全地取決于特定元數(shù)據(jù)的值或與每一個數(shù)據(jù)項有關(guān)的信息，例如，平均亮度級(intensity level)或拍攝時間。圖2示出了 2維符號表示空間40，其完全取決于特定元數(shù)據(jù)的值或 與每一個數(shù)據(jù)項有關(guān)的信息。在該例示中，使用了三個符號類型，艮P， 表示圖像數(shù)據(jù)的圖形圖標70、表示視頻數(shù)據(jù)的圖形圖標80、以及用于圖 像或視頻數(shù)據(jù)的微型縮略圖90。存在x (水平)軸50和y (垂直)軸60 可以映射到的大量元數(shù)據(jù)。這些元數(shù)據(jù)包括但不限于圖像或視頻的拍攝 時間、視頻段在更大視頻內(nèi)(例如，特定場景在電影內(nèi))的時間位置、 圖像或視頻色調(diào)的平均或主亮度(dominant intensity)、視頻的時間活動 性等。除了這種標量元數(shù)據(jù)(scalar metadata)類型以外，還可以將非標 量元數(shù)據(jù)(non-scalarmetadata)映射到標量并隨后映射到坐標軸。例如， 根據(jù)諸如生日、婚禮、假日等的場合分類的圖像數(shù)據(jù)可以內(nèi)部地映射到 值為1、 2、 3等的標量"場合"上，隨后將其映射到坐標軸上。盡管這 種分類本身沒有形成用于瀏覽系統(tǒng)的理想基礎(chǔ)，但存在可能有用的情況。 對于數(shù)據(jù)項的元數(shù)據(jù)創(chuàng)建機制沒有限制。例如，這種元數(shù)據(jù)可以在創(chuàng)建 數(shù)據(jù)項時自動創(chuàng)建(例如，拍攝時間)，或者在稍后的點自動創(chuàng)建(例如， 顏色描述符)，或者由用戶人工地輸入(例如，場合的描述)。在本發(fā)明的又一實施方式中，數(shù)據(jù)符號在符號表示空間中的排列部 分地或完全地取決于系統(tǒng)的用戶和/或設(shè)計者的約束、規(guī)則以及引導，以 便實現(xiàn)期望的可視排列。圖3示出了 2維符號表示空間100，其旨在實現(xiàn)符號的特定可視排 列和分隔。在該例示中，使用了單一符號類型，即，用于數(shù)據(jù)項的圖標 110。根據(jù)這種排列，通常存在與符號的絕對和相對位置相聯(lián)系的語義意 義，但不是必須如此。在本發(fā)明的另選實施方式中，數(shù)據(jù)符號在符號表示空間中的排列可 以部分地或完全地取決于多個準則，所述多個準則包括但不限于數(shù)據(jù)相互關(guān)系和/或元數(shù)據(jù)值和/或特定用戶/設(shè)計者的規(guī)則、約束以及弓I導。圖4示出了根據(jù)本發(fā)明一實施方式的瀏覽裝置，該瀏覽裝置包括 顯示器120、控制器130、處理器(未示出)以及存儲數(shù)據(jù)項的存儲部(未示出)。符號表示空間及其構(gòu)成數(shù)據(jù)項顯示在2維顯示器120上。在本發(fā) 明的一個實施方式中，經(jīng)由控制器130控制指針或光標?？刂破?30包 括導航按鈕140、…、210和選擇按鈕220、…、240，并對指針或光標 250進行控制。在本發(fā)明的不同的實施方式中，控制器120可以包括不同 數(shù)量的導航按鈕和選擇按鈕。在本發(fā)明的其它實施方式中，控制器130 可以由對指針進行控制的其它裝置(如鼠標器、筆裝置、跟蹤球等)來 替換。在本發(fā)明的其它實施方式中，控制器130或其等同物不對指針或 光標進行控制，而是允許用戶從一個顯示項(例如，數(shù)據(jù)符號或數(shù)據(jù)項) 移至另一顯示項。圖5到8例示了根據(jù)本發(fā)明進行瀏覽的第一實施例。更具體地說， 圖5示出了如何可以在顯示器120上向用戶呈現(xiàn)圖1的符號表示空間10。 通過對光標進行控制，用戶可以導航至符號表示空間的不同部分。如圖6 所示，當光標保持靜止達特定時間量(其可以由用戶控制)時，例如通 過改變相對于光標最近的數(shù)據(jù)符號260的顏色而使該數(shù)據(jù)符號260變成 高亮?？蛇x的是，例如，還可以通過圍繞相對于光標最近的數(shù)據(jù)符號來 繪制矩形而使該數(shù)據(jù)符號格外高亮。變成高亮的數(shù)據(jù)符號的總數(shù)量可以 由用戶控制。在本發(fā)明的另一實施方式中，作為使光標保持靜止達特定 時間量的替代或除了使光標保持靜止達特定時間量以外，可以通過使用 控制器的適當選擇按鈕來使數(shù)據(jù)符號高亮。在任一情況下，用戶都可以 觀看高亮符號對應(yīng)(例如，作為圖像或視頻縮略圖)的數(shù)據(jù)項。這可以 通過在數(shù)據(jù)符號變成高亮之后使光標保持靜止達另一特定時間量和/或通 過使用控制器的適當選擇按鈕來實現(xiàn)。在本發(fā)明的一個實施方式中，數(shù) 據(jù)項可以替代符號表示空間。在本發(fā)明的一優(yōu)選實施方式中，結(jié)合符號 表示空間向用戶示出數(shù)據(jù)項。圖7示出了這種情況的一個實施例，其中， 在顯示器的未被符號表示空間占據(jù)的區(qū)域中顯示了數(shù)據(jù)項的大縮略圖 270。另選的是，數(shù)據(jù)項可以與符號表示空間顯示區(qū)域重疊。圖8中示出了另一實施例，其中，減小了符號表示空間顯示區(qū)域，以允許向用戶顯 示更大和/或更多數(shù)據(jù)項?？梢园慈魏畏绞綄?shù)據(jù)項排序。例如，可以首 先顯示其符號相對于光標最近的數(shù)據(jù)項，接著根據(jù)其符號相對于首先顯 示的數(shù)據(jù)項的符號有多近來顯示其它數(shù)據(jù)項?？蛇x的是，例如可以通過 圍繞每一個數(shù)據(jù)符號及其對應(yīng)數(shù)據(jù)項繪制區(qū)別性顏色的矩形而將數(shù)據(jù)符 號鏈接至數(shù)據(jù)項。在任一情況下，用戶都可以繼續(xù)導航符號表示空間， 以使新的數(shù)據(jù)符號變成高亮，并且顯示新的數(shù)據(jù)項以代替前一數(shù)據(jù)項， 等等。在任何點處，用戶都可以通過使用適當?shù)倪x擇按鈕將光標的焦點 從符號表示空間改變至數(shù)據(jù)項。隨后，用戶將能夠從當前顯示的數(shù)據(jù)項 中選擇數(shù)據(jù)項，以便全屏觀看它們，將它們傳送至外部存儲器裝置等。 隨后，將光標的焦點改變回至符號表示空間將允許用戶繼續(xù)導航所述空 間并且觀看其它數(shù)據(jù)項。如圖9所示，在本發(fā)明的一實施方式中，如果高亮符號280對應(yīng)于數(shù)據(jù)項的大小和/或數(shù)量使其不能在單個屏幕上對其進行顯示的數(shù)據(jù)項， 則可以首先顯示它們的子集，且用戶隨后可以請求顯示另一子集，等等。這例如由用戶將光標的焦點改變至數(shù)據(jù)項并隨后選擇特殊導航圖標290 和300中的一個來實現(xiàn)。在本發(fā)明的一實施方式中，還可以允許用戶對符號表示空間執(zhí)行諸 如放大/縮小以及平移的簡單操作。圖10中例示了這種情況，其中，已經(jīng) 執(zhí)行了放大操作，并且特殊導航圖標310、 320、 330以及340允許用戶 平移。如前上述，符號可以用于表示多組數(shù)據(jù)項和單獨數(shù)據(jù)項。盡管組符 號可以如同數(shù)據(jù)符號一樣具有任何類型，但在本發(fā)明的一優(yōu)選實施方式 中，用于組的符號是以與數(shù)據(jù)項符號明顯不同的方式。圖1中例示了這 種情況，其中，符號30被用于表示一組數(shù)據(jù)項，并且不同于被用于表示 單獨數(shù)據(jù)項的符號。在圖11中，靠近光標的高亮數(shù)據(jù)符號350包括組符 號。在這種情況下，可以向用戶示出該組的一個或更多個數(shù)據(jù)項，或該 組的一些或全部數(shù)據(jù)項的拼接。在該例示中，連同與其它高亮符號對應(yīng) 的數(shù)據(jù)項的縮略圖一起在數(shù)據(jù)顯示區(qū)域360中向用戶示出拼接(頂端的15圖片)。另外，在本發(fā)明的一實施方式中，用戶能夠?qū)⒔M符號擴展到其構(gòu)成 數(shù)據(jù)項的符號和/或子組的符號中。在本發(fā)明的一個實施方式中，這種擴展發(fā)生在當前符號表示空間中，如圖12所示，其中，10個符號370已經(jīng) 替換了組符號。在本發(fā)明的另一實施方式中，這種擴展發(fā)生在組的替換 了舊符號表示空間的新符號表示空間中。該新符號表示空間可以與包含 組符號的符號表示空間是或不是同一類型，或者可以使用或不使用與包 含組符號的符號表示空間相同的排列準則。圖13到16例示了根據(jù)本發(fā)明進行瀏覽的第二實施例。更具體地說， 圖13示出了如何可以在顯示器120上向用戶呈現(xiàn)圖2的符號表示空間40。 通過對光標進行控制，用戶可以導航至符號表示空間的不同部分。如圖 14所示，并且與前述實施例類似，當光標保持靜止達特定的用戶可調(diào)節(jié) 的時間量時和/或通過使用控制器的適當選擇按鈕，數(shù)據(jù)符號380變成高 亮。在該例示中，相對于光標最近的符號連同位于其上方的兩個符號和 位于其下方的兩個符號是高亮的。然而，變成高亮的數(shù)據(jù)符號的總數(shù)量 和它們的位置可以是用戶控制的。在任一情況下，用戶可以通過在數(shù)據(jù) 符號變成高亮之后使光標保持靜止達另一特定時間量和/或通過使用控制 器的適當選擇按鈕來觀看高亮符號對應(yīng)的數(shù)據(jù)項。在本發(fā)明的一個實施 方式中，數(shù)據(jù)項可以替換符號表示空間，但在本發(fā)明的一優(yōu)選實施方式 中，結(jié)合符號表示空間向用戶示出數(shù)據(jù)項。在圖15中示出了這種情況的 一個實施例，其中，數(shù)據(jù)項的大縮略圖390顯示在顯示器的未被符號表 示空間占據(jù)的區(qū)域中。另選的是，數(shù)據(jù)項可以與符號表示空間顯示區(qū)域 重疊。在圖16中示出了另一實施例，其中，減小了符號表示空間顯示區(qū) 域，以允許向用戶顯示更大和/或更多數(shù)據(jù)項。數(shù)據(jù)項可以按任何預(yù)定的 和用戶可調(diào)節(jié)的方式排序?？蛇x的是，例如，可以通過圍繞每一個數(shù)據(jù) 符號及其對應(yīng)數(shù)據(jù)項繪制區(qū)別性顏色的矩形而將數(shù)據(jù)符號鏈接至數(shù)據(jù) 項。在任一情況下，用戶都可以繼續(xù)導航符號表示空間，從而使新數(shù)據(jù) 符號變成高亮并且顯示新數(shù)據(jù)項以替代前一數(shù)據(jù)項，等等。在任一點， 用戶可以通過使用適當?shù)倪x擇按鈕將光標的焦點從符號表示空間改變至數(shù)據(jù)項。隨后，用戶將能夠從當前顯示的數(shù)據(jù)項中選擇數(shù)據(jù)項，以全屏 觀看它們，將它們傳送至外部存儲裝置等。隨后，將光標的焦點改變回 至符號表示空間將允許用戶繼續(xù)導航所述空間并且觀看其它數(shù)據(jù)項。根據(jù)圖9到12對先前瀏覽實施例討論的各種擴展和修改此處同樣適用。圖17到21例示了根據(jù)本發(fā)明進行瀏覽的第三實施例。更具體地說， 圖17示出了如何在顯示器120上向用戶呈現(xiàn)圖3的符號表示空間100。對于(但不限于)視頻(例如電影)的內(nèi)容的瀏覽，該符號表示空 間特別有用。符號表示空間中的每一個符號都表示層級的某個等級的視 頻段。借助于圖18進行了最佳例示，圖18示出了對符號進行定位的語 義意義。結(jié)合圖18觀看圖17，區(qū)域1內(nèi)的符號對應(yīng)于正在瀏覽的整個視 頻。區(qū)域2A到2H內(nèi)的符號對應(yīng)于視頻的不同段，其中區(qū)域2A內(nèi)的符 號對應(yīng)于從視頻的開始處直到一點的段，2B內(nèi)的符號對應(yīng)于從2A的符 號表示的段的結(jié)束處直到另一點的段，等等。隨后，區(qū)域3A到3H中的 每一個都包含分別與由區(qū)域2A到2H中的每一個中的符號表示的段的多 個段對應(yīng)的四個符號。例如，在區(qū)域3A中，左上符號對應(yīng)于由2A中的 符號表示的段的第一段。接著，右上符號是第二段，左下符號是第三段 而右下符號是第四段。在區(qū)域3B與2B、 3C與2C等之間有類似關(guān)系。 接著，區(qū)域4A到4H中的每一個都包含分別與由區(qū)域3A到3H中的每 一個中的四個符號表示的段的多個段對應(yīng)的16個符號。例如，在區(qū)域4A 中，頂行中的四個符號對應(yīng)于由區(qū)域3A中的左上符號表示的段的多個 段。類似的是，4A的第二行中的符號對應(yīng)于3A的右上符號，4A的第三 行中的符號對應(yīng)于3A的左下符號，而4A的第四行中的符號對應(yīng)于3A 的右下符號。在區(qū)域4B與3B、 4C與3C等之間有類似關(guān)系。視頻分段 機制位于本發(fā)明范圍之外，但僅出于例示的目的，可以包括自動視頻分 段方法，該自動視頻分段方法將視頻分成結(jié)構(gòu)部分(鏡頭)，并隨后例如 基于可視相似性提示和/或視頻時間線將這些鏡頭分組成場景的層級。另 選的是，視頻分段機制可以僅依賴于視頻時間線。通過對光標進行控制，用戶可以導航至符號表示空間的不同部分。如圖19所示，當光標保持靜止達特定時間量(其可以是用戶控制的)時， 例如圍繞每一個數(shù)據(jù)符號繪制矩形，使光標所在區(qū)域的數(shù)據(jù)符號400變 成高亮?？蛇x的是，例如通過繪制特定顏色的矩形，使相對于光標最近 的數(shù)據(jù)符號可以格外高亮?？蛇x的是，還可以使屬于相關(guān)區(qū)域的數(shù)據(jù)符號410高亮。變成高亮的數(shù)據(jù)符號的總數(shù)量可以由用戶控制。在本發(fā)明的另一實施方式中，作為使光標保持靜止達特定時間量的替代或除了使 光標保持靜止達特定時間量以外，可以通過使用控制器的適當選擇按鈕 來使數(shù)據(jù)符號高亮。在任一情況下，用戶都可以觀看高亮符號對應(yīng)(例 如，作為圖像或視頻縮略圖)的數(shù)據(jù)項。這可以通過在數(shù)據(jù)符號變成高 亮之后使光標保持靜止達另一特定時間量和/或通過使用控制器的適當選 擇按鈕來實現(xiàn)。在本發(fā)明的一個實施方式中，數(shù)據(jù)項可以替代符號表示 空間。在本發(fā)明的一優(yōu)選實施方式中，結(jié)合符號表示空間向用戶示出數(shù)據(jù)項。圖20示出了這種情況的一個實施例，其中，數(shù)據(jù)項的大縮略圖420 顯示在顯示器的未被符號表示空間占據(jù)的區(qū)域中。另選的是，數(shù)據(jù)項可 以與符號表示空間顯示區(qū)域重疊。圖21示出了另一實施例，其中，減小 了符號表示空間顯示區(qū)域，以允許向用戶顯示更大和/或更多數(shù)據(jù)項?？?以按任何預(yù)定的和用戶可調(diào)節(jié)的方式對數(shù)據(jù)項進行排序?？蛇x的是，例 如可以通過圍繞每一個數(shù)據(jù)符號及其對應(yīng)數(shù)據(jù)項繪制區(qū)別性顏色的矩形 將數(shù)據(jù)符號鏈接至數(shù)據(jù)項。在任一情況下，用戶都可以繼續(xù)導航符號表 示空間，從而使新的數(shù)據(jù)符號變成高亮，并且顯示新的數(shù)據(jù)項以代替前 一數(shù)據(jù)項，等等。在任何點處，用戶都可以通過使用適當?shù)倪x擇按鈕將 光標的焦點從符號表示空間改變至數(shù)據(jù)項。隨后，用戶將能夠從當前顯 示的數(shù)據(jù)項中選擇數(shù)據(jù)項，以全屏觀看它們，啟動視頻回放等。隨后， 將光標的焦點改變回至符號表示空間將允許用戶繼續(xù)導航所述空間并且 觀看其它數(shù)據(jù)項。對先前瀏覽實施例討論的各種擴展和修改此處同樣適用。 在本發(fā)明的一優(yōu)選實施方式中，符號表示空間將不是靜態(tài)的，而是 變化的，以便適應(yīng)新數(shù)據(jù)。類似的是，用于表示數(shù)據(jù)的符號可以隨時間 或根據(jù)符號表示空間的當前視圖而改變。例如，當觀看整個的非常密集的符號表示空間時可以使用諸如點的不太詳細的符號，而當放大以觀看 全部符號表示空間的較小部分時可以使用諸如主色塊的更詳細的符號。在本發(fā)明的一實施方式中，不需要將用戶限制在用于瀏覽的單個符 號表示空間。例如，用戶可以瀏覽如圖17到21中所示視頻的內(nèi)容，以選擇數(shù)據(jù)項，并隨后切換至用于瀏覽的相互相似性符號表示空間，如圖5 到8所示，以便尋找視覺上相似的視頻段。在先前實施例中，因為顯示器120通常是2維的，所以出于例示的 目的并且為方便起見，考慮了 2維符號表示空間。應(yīng)注意到，符號表示 空間的維數(shù)和顯示器的維數(shù)是分開的。符號表示空間是表示數(shù)據(jù)項的符 號的n維空間排列，其中，n2 1。因而，在本發(fā)明的一實施方式中，符 號表示空間是顯示在2維顯示器上的1維符號排列。在另一實施例中， 為了在2維顯示器上進行顯示，符號表示空間是投影在2維平面上的3 維符號排列。在又一實施方式中，在2維顯示器上向用戶呈現(xiàn)作為一組2 維平面或片段(slice)的3維符號表示空間。在又一實施方式中，按如下 方式在2維顯示器上向用戶呈現(xiàn)3維符號表示空間將顯示器的第一維 映射至空間的第一維，將顯示器的第二維映射至空間的第二維，以及通 過符號的在空間中變化的屬性(例如，更大或更亮符號相對于用戶"更 近"而更小或更暗符號相對于用戶"更遠")來表示符號表示空間的第三 維。顯而易見的是，還可以結(jié)合其它可視平臺使用本發(fā)明，如立體3D顯 示器或空間3D可視化裝置。在本說明書中，術(shù)語"圖像"被用于描述包括諸如濾波、改變分辨 率、升采樣、降采樣的處理之后的圖像單元，但該術(shù)語也適用于其它類 似術(shù)語，如幀、場、圖片，或圖像、幀的子單元或區(qū)域等。術(shù)語像素和 塊或像素組在適當?shù)那闆r下可以互換地使用。在本說明書中，除了根據(jù) 上下文顯而易見的情況以外，術(shù)語圖像還表示整個圖像或圖像的一個區(qū) 域。類似的是，圖像的一個區(qū)域可以表示整個圖像。圖像包括幀或場， 并且涉及靜止圖像或諸如電影或視頻的圖像序列中的或相關(guān)圖像組中的 圖像。圖像可以是灰度級圖像或彩色圖像，或另一類型的多譜圖像(例如，IR、 UV或其它電磁圖像)，或聲像等。術(shù)語"選擇裝置"例如可以表示由用戶控制的用于進行選擇的裝置， 如包括導航和選擇按鈕的控制器，和/或控制器在顯示器上的表示，如指 針或光標。本發(fā)明優(yōu)選地通過處理以電子形式表示的數(shù)據(jù)項并且通過使用適當 的裝置對電信號進行處理來實現(xiàn)。本發(fā)明例如可以實現(xiàn)在具有適當修改 的軟件和/或硬件的計算機系統(tǒng)中。例如，本發(fā)明可以利用具有控制或處 理裝置(例如處理器或控制設(shè)備)、數(shù)據(jù)存儲裝置(包括諸如存儲器、磁存儲部、CD、 DVD等的圖像存儲裝置)、數(shù)據(jù)輸出裝置(例如顯示器或 監(jiān)視器或打印機)、數(shù)據(jù)輸入裝置(例如鍵盤)以及圖像輸入裝置(例如 掃描儀)、或這種部件連同附加部件的任何組合的計算機或類似裝置來實 現(xiàn)。本發(fā)明的多個方面可以按軟件和/或硬件形式來提供，或者可以設(shè)置 在專用裝置或?qū)Ｓ媚K中，如芯片。根據(jù)本發(fā)明實施方式的裝置中的系 統(tǒng)的部件可以從其它部件(例如，通過網(wǎng)絡(luò))遠程提供。
權(quán)利要求
1、一種利用符號的n維陣列瀏覽數(shù)據(jù)項的方法，其中，n大于或等于1，每一個符號都對應(yīng)于至少一個數(shù)據(jù)項，所述方法使用可移動通過所述n維陣列并且能夠在包含不存在符號的位置的所述陣列中選擇多個點的選擇裝置，所述方法包括以下步驟根據(jù)所述選擇裝置的位置選擇至少一個符號和對應(yīng)數(shù)據(jù)項。
2、 根據(jù)權(quán)利要求1所述的方法，其中，根據(jù)所述選擇裝置的所述位 置選擇至少兩個符號和對應(yīng)數(shù)據(jù)項。
3、 一種利用符號的n維陣列瀏覽數(shù)據(jù)項的方法，其中，n大于或等 于l，每一個符號都對應(yīng)于至少一個數(shù)據(jù)項，所述方法使用可移動通過所 述n維陣列的選擇裝置，所述方法包括以下步驟根據(jù)所述選擇裝置的 位置選擇至少兩個符號和對應(yīng)數(shù)據(jù)項。
4、 根據(jù)任一前述權(quán)利要求所述的方法，其中，所述符號的n維陣列 是非線性的。
5、 一種利用符號的n維陣列瀏覽數(shù)據(jù)項的方法，其中，n大于或等 于l，每一個符號都對應(yīng)于至少一個數(shù)據(jù)項，所述方法使用可移動通過所 述n維陣列的選擇裝置，其中，所述符號的n維陣列是非線性的，所述 方法包括以下步驟根據(jù)所述選擇裝置的位置選擇至少一個符號和對應(yīng) 數(shù)據(jù)項。
6、 根據(jù)任一前述權(quán)利要求所述的方法，其中，基于預(yù)定準則選擇一 個或更多個符號和對應(yīng)數(shù)據(jù)項，所述預(yù)定準則例如是所述符號相對于所 述選擇裝置的所述位置的接近度。
7、 根據(jù)任一前述權(quán)利要求所述的方法，所述方法還包括以下步驟 顯示所述選擇的數(shù)據(jù)項。
8、 根據(jù)權(quán)利要求7所述的方法，其中，按預(yù)定順序顯示多個數(shù)據(jù)項， 所述預(yù)定順序例如基于各符號相對于所述選擇裝置的所述位置的接近 度。
9、 一種利用n維陣列中的多個符號表示多個數(shù)據(jù)項的方法，其中，n大于或等于l，每一個符號都對應(yīng)于至少一個數(shù)據(jù)項，其中，所述符號在所述陣列中的排列是非線性的。
10、 一種利用n維陣列中的多個符號表示多個數(shù)據(jù)項的方法，其中， n大于或等于l，每一個符號都對應(yīng)于至少一個數(shù)據(jù)項，其中，所述符號 在所述陣列中的排列取決于各自數(shù)據(jù)項的至少一個特征。
11、 根據(jù)權(quán)利要求l到9中的任一項所述的方法，其中，所述符號 在所述陣列中的排列取決于各自數(shù)據(jù)項的至少一個特征。
12、 根據(jù)權(quán)利要求IO或權(quán)利要求11所述的方法，其中，所述符號 在所述陣列中的位置取決于各自數(shù)據(jù)項的所述至少一個特征。
13、 根據(jù)權(quán)利要求11或12所述的方法，其中，所述陣列中的符號 之間的相互關(guān)系取決于所述對應(yīng)數(shù)據(jù)項的所述至少一個特征的對應(yīng)關(guān) 系。
14、 根據(jù)權(quán)利要求11到13中的任一項所述的方法，其中，符號在 所述陣列中的位置的相似性表示所述對應(yīng)數(shù)據(jù)項的所述對應(yīng)的至少一個 特征的相似性。
15、 根據(jù)權(quán)利要求11到14中的任一項所述的方法，其中，所述數(shù) 據(jù)項的特征是諸如數(shù)據(jù)拍攝的時間或地點、場合等的元數(shù)據(jù)。
16、 根據(jù)權(quán)利要求11到15中的任一項所述的方法，其中，所述數(shù) 據(jù)項的特征是所述數(shù)據(jù)項固有的。
17、 根據(jù)權(quán)利要求16所述的方法，其中，所述固有數(shù)據(jù)基于例如顏 色、亮度、紋理、目標信息等。
18、 根據(jù)權(quán)利要求16或權(quán)利要求17所述的方法，其中，所述固有 數(shù)據(jù)基于例如絕對值、平均值、主值等。
19、 根據(jù)權(quán)利要求11到18中的任一項所述的方法，其中，所述數(shù) 據(jù)項的特征基于諸如用戶定義準則或設(shè)計者定義準則的預(yù)定準則。
20、 根據(jù)權(quán)利要求11到19中的任一項所述的方法，其中，所述符 號的排列基于至少一個特征的數(shù)字描述。
21、 根據(jù)任一前述權(quán)利要求所述的方法，其中，所述符號包括一個 或更多個圖標、單個像素、 一組像素、數(shù)據(jù)項的諸如二次采樣形式或縮略圖形式的修改形式。
22、 根據(jù)任一前述權(quán)利要求所述的方法，其中，符號的特征表示所 述對應(yīng)數(shù)據(jù)項的特征。
23、 根據(jù)權(quán)利要求22所述的方法，其中，符號的顏色反映了對應(yīng)的 可視數(shù)據(jù)項的顏色。
24、 根據(jù)任一前述權(quán)利要求所述的方法，其中，所述陣列包括多個 不同符號。
25、 根據(jù)權(quán)利要求24所述的方法，其中，不同符號對應(yīng)于不同類型 的數(shù)據(jù)項。
26、 根據(jù)任一前述權(quán)利要求所述的方法，其中，數(shù)據(jù)項包括一個或 更多個音頻數(shù)據(jù)和諸如圖像或視頻的可視數(shù)據(jù)。
27、 根據(jù)任一前述權(quán)利要求所述的方法，其中， 一起顯示符號和數(shù) 據(jù)項。
28、 根據(jù)權(quán)利要求27所述的方法，其中，在顯示器的不同區(qū)域中顯 示符號和數(shù)據(jù)項。
29、 根據(jù)權(quán)利要求27所述的方法，其中，在顯示器的公共區(qū)域中顯 示符號和數(shù)據(jù)項。
30、 根據(jù)權(quán)利要求29所述的方法，其中，符號和數(shù)據(jù)項混合或重疊。
31、 根據(jù)權(quán)利要求27所述的方法，其中，由所述符號和所述數(shù)據(jù)項 占據(jù)的區(qū)域的相對大小是可調(diào)節(jié)的。
32、 根據(jù)權(quán)利要求27或權(quán)利要求31所述的方法，其中，由所述符 號占據(jù)的區(qū)域的大小小于由所述數(shù)據(jù)項占據(jù)的區(qū)域的大小。
33、 根據(jù)任一前述權(quán)利要求所述的方法，其中，例如通過為各自數(shù) 據(jù)項和符號加上同一顏色的邊緣而將數(shù)據(jù)項與各自符號可視地關(guān)聯(lián)。
34、 根據(jù)任一前述權(quán)利要求所述的方法，其中，至少一個符號對應(yīng) 于多個數(shù)據(jù)項。
35、 一種控制裝置，該控制裝置被編程為執(zhí)行根據(jù)任一前述權(quán)利要 求所述的方法。
36、 一種裝置，該裝置適于執(zhí)行根據(jù)權(quán)利要求1到34中的任一項所述的方法。
37、 一種裝置，該裝置包括處理器、顯示裝置、選擇裝置以及存 儲有數(shù)據(jù)項的存儲裝置，其中所述處理器被設(shè)置成執(zhí)行根據(jù)權(quán)利要求1到34中的任一項所述的方法。
38、 一種用于執(zhí)行根據(jù)前述權(quán)利要求1到34中的任一項所述方法的 計算機程序，或一種存儲有這種計算機程序的計算機可讀存儲介質(zhì)。
全文摘要
一種利用符號的n維陣列瀏覽數(shù)據(jù)項的方法，其中，n大于或等于1，每一個符號都對應(yīng)于至少一個數(shù)據(jù)項，所述方法使用可移動通過所述n維陣列并且能夠在包含不存在符號的位置的所述陣列中選擇多個點的選擇裝置，所述方法包括以下步驟根據(jù)所述選擇裝置的位置選擇至少一個符號和對應(yīng)數(shù)據(jù)項。
文檔編號G06F17/30GK101263496SQ200680033930
公開日2008年9月10日 申請日期2006年8月14日 優(yōu)先權(quán)日2005年8月15日
發(fā)明者斯塔夫羅斯·帕斯卡勒基斯, 羅伯特·J·奧卡拉漢 申請人:三菱電機株式會社