專(zhuān)利名稱(chēng)：編碼和解碼觸覺(jué)信息的方法以及處理觸覺(jué)信息的設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對(duì)觸覺(jué)(haptic)信息進(jìn)行編碼和解碼的方法，更具體地，涉及對(duì)包括 原始圖像的觸覺(jué)信息的觸覺(jué)信息進(jìn)行編碼/解碼的技術(shù)。
背景技術(shù)：
通常，觸覺(jué)信息是與人的手指在接觸物體時(shí)所感到的觸感對(duì)應(yīng)的信息。觸感是在 皮膚接觸物體表面時(shí)所感到的觸知(tactile)反饋或者在關(guān)節(jié)或肌肉的運(yùn)動(dòng)受到阻擋時(shí) 所感到的動(dòng)覺(jué)力反饋的綜合概念。韓國(guó)未審查公開(kāi)No.10-2008-0032316公開(kāi)了“a graphic-to-tactil印roduction method of a surface using image information!；—種使用圖像信息的表面的圖形至Ij觸知
產(chǎn)生方法)”。所述專(zhuān)利公開(kāi)了一種使用圖像的灰度級(jí)信息(陰影信息)來(lái)生成觸知信息的方 法。該技術(shù)將圖像轉(zhuǎn)換為灰度級(jí)并且立即使用轉(zhuǎn)換為灰度級(jí)的圖像來(lái)生成觸知信息。該技 術(shù)能夠變換與圖像相匹配的現(xiàn)實(shí)觸覺(jué)反饋信息，并且已經(jīng)在使用觸知信息的許多應(yīng)用中得 以使用。然而，根據(jù)現(xiàn)有方法的觸覺(jué)信息提取根據(jù)目標(biāo)圖像適當(dāng)?shù)卮_定觸覺(jué)信息。此外，由 于現(xiàn)有的觸覺(jué)信息存儲(chǔ)方法是使用元數(shù)據(jù)或者涉及與原始圖像不同的圖像(灰度級(jí)圖像 等)的方法，所以所存在的問(wèn)題在于不方便傳送和存儲(chǔ)觸覺(jué)數(shù)據(jù)、并且不容易管理觸覺(jué)數(shù) 據(jù)。韓國(guó)未審查公開(kāi)文本No. 10-2007-0105770 公開(kāi)了 “a processing system ofsensory data and method thereof (感覺(jué)數(shù)據(jù)的處理系統(tǒng)及其方法)”。然而，本專(zhuān)利是 將嗅覺(jué)、味覺(jué)和觸覺(jué)數(shù)據(jù)進(jìn)行復(fù)用并變換為與原始圖像不同的現(xiàn)實(shí)多媒體文件的方法。因 此，相關(guān)技術(shù)利用包含觸覺(jué)數(shù)據(jù)的數(shù)據(jù)降低了兼容性，所述觸覺(jué)數(shù)據(jù)包括提供給用戶(hù)但是 通過(guò)單獨(dú)輸出格式進(jìn)行傳遞的感覺(jué)信息。因此，迫切需要一種能夠在最小化對(duì)原始圖像的損壞的同時(shí)有效地傳送/接收觸 覺(jué)信息的、對(duì)新觸覺(jué)信息進(jìn)行編碼/解碼的方法。

發(fā)明內(nèi)容
為了解決以上問(wèn)題，本發(fā)明的目的是通過(guò)傳送/接收沒(méi)有數(shù)據(jù)量變化或格式變化 的圖像來(lái)傳送/接收獨(dú)立的觸覺(jué)信息，而不需要諸如元文件之類(lèi)的單獨(dú)的附加信息。本發(fā)明的另一目的是，通過(guò)僅改變?cè)紙D像的每個(gè)像素的字節(jié)數(shù)據(jù)的最低有效位(LSB)，而在最小化由觸覺(jué)信息編碼所導(dǎo)致的對(duì)原始圖像的損壞的同時(shí)、對(duì)觸覺(jué)信息進(jìn)行編碼。本發(fā)明的又一目的是，通過(guò)適當(dāng)縮小編碼的觸覺(jué)信息以使得其不能被用戶(hù)所區(qū)分 而在一范圍內(nèi)最大地減少數(shù)據(jù)量，來(lái)在最小化對(duì)原始圖像的損壞的同時(shí)、輸入附加觸覺(jué)信息。為了實(shí)現(xiàn)以上的目的，一種在圖像上對(duì)觸覺(jué)信息進(jìn)行編碼的方法包括生成觸覺(jué) 信息；通過(guò)使用所述觸覺(jué)信息和與所述觸覺(jué)信息相關(guān)聯(lián)的報(bào)頭信息來(lái)生成編碼目標(biāo)數(shù)據(jù)； 并且通過(guò)使用每個(gè)原始圖像像素的每個(gè)字節(jié)數(shù)據(jù)的最低有效位(LSB)對(duì)所述編碼目標(biāo)數(shù) 據(jù)進(jìn)行編碼來(lái)生成編碼的圖像。所述觸覺(jué)信息可以是包括凸起信息、表面阻抗信息、紋理分布信息和溫度分布信 息的深度分布信息中的任一個(gè)的觸覺(jué)分布數(shù)據(jù)，所有這些信息都是空間分布的。生成所述觸覺(jué)信息的步驟可以包括減小數(shù)據(jù)大小以生成所述觸覺(jué)信息的縮小處理。所述觸覺(jué)信息可以是時(shí)間序列振動(dòng)信息。在這種情況下，所述時(shí)間序列振動(dòng)信息 意味著隨時(shí)間變化的振動(dòng)信息。生成所述編碼圖像的步驟可以將所述編碼目標(biāo)數(shù)據(jù)的每一比特插入到原始圖像 像素的一些像素中的每一個(gè)的字節(jié)數(shù)據(jù)的最低有效位中，并且可以原樣地保持所述原始圖 像像素的剩余像素的字節(jié)數(shù)據(jù)的最低有效位。每個(gè)原始圖像像素的字節(jié)數(shù)據(jù)是R、G和B子 像素字節(jié)和非顏色數(shù)據(jù)中的任意一個(gè)。當(dāng)原始圖像是動(dòng)畫(huà)的gif (可交換的圖像文件格式)文件時(shí)，在每個(gè)圖像幀中編碼 所述編碼目標(biāo)數(shù)據(jù)。此外，根據(jù)本發(fā)明一個(gè)實(shí)施例的從圖像解碼觸覺(jué)信息的方法包括加載編碼圖像； 提取所述編碼圖像的一些像素中每一個(gè)的字節(jié)數(shù)據(jù)的每個(gè)最低有效位(LSB)，以恢復(fù)與觸 覺(jué)信息相關(guān)聯(lián)的報(bào)頭信息；并且通過(guò)使用所述編碼圖像的剩余像素中的報(bào)頭信息來(lái)收集確 定數(shù)目像素的字節(jié)數(shù)據(jù)的最低有效位，以恢復(fù)所述觸覺(jué)信息。在這種情況下，提取所述報(bào)頭信息的步驟加載與預(yù)定數(shù)目像素中的每一個(gè)對(duì)應(yīng)的 字節(jié)數(shù)據(jù)，以提取所加載字節(jié)數(shù)據(jù)的最低有效位，并且通過(guò)使用所提取的比特來(lái)恢復(fù)所述 報(bào)頭信息。每個(gè)原始圖像像素的字節(jié)數(shù)據(jù)是R、G和B子像素字節(jié)和非顏色數(shù)據(jù)中的任意一 個(gè)。此外，根據(jù)本發(fā)明一個(gè)實(shí)施例的處理觸覺(jué)信息的設(shè)備包括觸覺(jué)信息生成器，其生 成觸覺(jué)信息；報(bào)頭生成器，其與所述觸覺(jué)信息相關(guān)聯(lián)，并且配置編碼目標(biāo)數(shù)據(jù)連同所述觸覺(jué) 信息；和編碼器，其通過(guò)使用原始圖像的每個(gè)像素的每個(gè)字節(jié)數(shù)據(jù)的最低有效位(LSB)對(duì) 所述編碼目標(biāo)數(shù)據(jù)進(jìn)行編碼來(lái)生成編碼圖像。此外，處理觸覺(jué)信息的設(shè)備包括圖像加載單元，其加載編碼圖像；報(bào)頭恢復(fù)單 元，其提取所述編碼圖像的一些像素的每個(gè)字節(jié)數(shù)據(jù)的最低有效位(LSB)，以恢復(fù)與觸覺(jué)信 息相關(guān)聯(lián)的報(bào)頭信息；和觸覺(jué)信息恢復(fù)單元，其通過(guò)使用所述報(bào)頭信息收集確定數(shù)目像素 的字節(jié)數(shù)據(jù)的最低有效位，以恢復(fù)所述觸覺(jué)信息。本發(fā)明可通過(guò)傳送/接收沒(méi)有數(shù)據(jù)量變化或格式變化的圖像來(lái)傳送/接收觸覺(jué)信息，而不需要諸如元文件之類(lèi)的單獨(dú)的附加信息。此外，本發(fā)明可通過(guò)僅改變?cè)紙D像的每個(gè)像素的字節(jié)數(shù)據(jù)的最低有效位(LSB)， 而在最小化由觸覺(jué)信息編碼所導(dǎo)致的對(duì)原始圖像的損壞的同時(shí)、對(duì)觸覺(jué)信息進(jìn)行編碼。此外，本發(fā)明可通過(guò)適當(dāng)縮小編碼的觸覺(jué)信息使得其不能被用戶(hù)所區(qū)分而在一范 圍內(nèi)最大地減少數(shù)據(jù)量，來(lái)最小化對(duì)原始圖像的損壞。


圖1是示出依據(jù)本發(fā)明一個(gè)實(shí)施例的包括分布信息的觸覺(jué)數(shù)據(jù)的一個(gè)示例的示 圖；圖2是示出縮小圖1所示的觸覺(jué)分布數(shù)據(jù)的圖像的示圖；圖3是示出當(dāng)C的報(bào)頭部分的第一個(gè)字符為“6”時(shí)、原始圖像的每個(gè)像素的字節(jié) 數(shù)據(jù)的最低有效位(LSB)以及編碼目標(biāo)數(shù)據(jù)的每一比特的示圖；圖4是示出根據(jù)依據(jù)本發(fā)明一個(gè)實(shí)施例的對(duì)觸覺(jué)信息進(jìn)行編碼的方法的圖像像 素變化的示圖；圖5是示出用于觸覺(jué)交互的光標(biāo)的示圖；圖6是用于解釋觸覺(jué)分布信息和光標(biāo)的觸覺(jué)交互的示圖；圖7是示出使用觸覺(jué)臂的觸覺(jué)反饋呈現(xiàn)設(shè)備的一個(gè)示例的示圖；圖8是示出具有隨時(shí)間變化的值的觸覺(jué)信息示例的示圖；圖9是示出在使用“250_22_2”作為報(bào)頭并且對(duì)圖8所示示例的觸覺(jué)信息進(jìn)行編 碼時(shí)、已編碼的目標(biāo)數(shù)據(jù)的示例的示圖；圖10是示出依據(jù)本發(fā)明一個(gè)實(shí)施例的在圖像上對(duì)觸覺(jué)信息進(jìn)行編碼的方法的操 作流程圖；圖11是示出依據(jù)本發(fā)明一個(gè)實(shí)施例的從圖像解碼觸覺(jué)信息的方法的操作流程 圖；圖12是依據(jù)本發(fā)明一個(gè)實(shí)施例的處理觸覺(jué)信息的設(shè)備的框圖；和圖13是依據(jù)本發(fā)明另一實(shí)施例的處理觸覺(jué)信息的設(shè)備的框圖。
具體實(shí)施例方式以下將參考附圖對(duì)本發(fā)明進(jìn)行詳細(xì)描述。這里，省略了在描述本發(fā)明時(shí)可能不必 要地使得本發(fā)明的目的模糊的、相關(guān)已知功能或配置的詳細(xì)描述。提供本發(fā)明的示例性實(shí) 施例，以使得本領(lǐng)域技術(shù)人員能夠更為全面地理解本發(fā)明。因此，為了清晰的理解，可夸大 圖中的元件的形狀、大小等。下文中，將參考附圖詳細(xì)描述根據(jù)本發(fā)明的示例性實(shí)施例。圖1是示出依據(jù)本發(fā)明一個(gè)實(shí)施例的包括分布信息的觸覺(jué)數(shù)據(jù)的一個(gè)示例的示 圖。參見(jiàn)圖1，可以理解，二維空間上的觸覺(jué)分布數(shù)據(jù)按照灰度級(jí)圖像的形式來(lái)表示。觸覺(jué)信息可以具有與圖像對(duì)應(yīng)的分布形式。在這種情況下，觸覺(jué)信息能夠被認(rèn)為 是與作為圖像的每個(gè)圖像像素對(duì)應(yīng)的一組步長(zhǎng)值。此外，所述觸覺(jué)信息的值可隨時(shí)間而變化。在這種情況下，觸覺(jué)信息可被認(rèn)為是隨時(shí)間列出的一系列信息。所述觸覺(jué)分布數(shù)據(jù)意味著圖像具有視覺(jué)分布的顏色信息，并且進(jìn)行觸知和空間分 布。所述觸覺(jué)分布數(shù)據(jù)具有二維的分布信息和指定步長(zhǎng)值，以使得其能夠由圖1所示的灰 度級(jí)圖像來(lái)表示。然而，所述灰度級(jí)圖像并不向用戶(hù)進(jìn)行視覺(jué)顯示，而是被用于生成觸覺(jué)信 肩、o對(duì)觸覺(jué)分布數(shù)據(jù)中的深度分布數(shù)據(jù)的示例進(jìn)行描述，能夠理解，在與二維空間中 所表示的圖像的每個(gè)像素對(duì)應(yīng)的位置上可獲得的各個(gè)灰度級(jí)值越大，則凸起變得越大。換 句話說(shuō)，當(dāng)區(qū)域接近于圖1中的白色時(shí)，它突出以接近用戶(hù)，但是當(dāng)所述區(qū)域接近于黑色， 其可能不突出。圖1所示的圓形和方形表示放置在每個(gè)平面上的半球物體和六邊形的深度分布 數(shù)據(jù)。所述半球物體和六邊形物體二者均具有高度信息。有時(shí)，該高度信息可通過(guò)陰影 等進(jìn)行確認(rèn)。圖1所示的圖像可以從PC環(huán)境中所使用的、具有諸如jpg、gif、bmp、png、tif等
擴(kuò)展名的圖像得出。具體地，在圖1所示的示例中，方形可以是示出立方體拼圖(puzzle)的深度信息。 因此，可理解存在方格形狀。可以使用軟件程序、通過(guò)比較以預(yù)定空間間隔拍攝并且可以通過(guò)諸如立體相機(jī)等 的特殊裝置所生成的照片，來(lái)確定所述深度分布數(shù)據(jù)。當(dāng)然，可以由用戶(hù)來(lái)生成/編輯所述 深度分布數(shù)據(jù)。根據(jù)該實(shí)施例，當(dāng)所述觸覺(jué)分布數(shù)據(jù)表示變暖(warming)分布時(shí)，它們可以由紅 外相機(jī)確定，并且當(dāng)所述觸覺(jué)分布數(shù)據(jù)表示紋理分布或阻抗分布時(shí)，它們可以由測(cè)量表面 區(qū)域特性的傳感器來(lái)確定。圖2是示出縮小圖1所示的觸覺(jué)分布數(shù)據(jù)的圖像的示圖。參見(jiàn)圖2，圖2所示的圖像對(duì)應(yīng)于分別以因數(shù)a(0<a< 1)縮小圖1所示圖像的 寬度⑷和高度(h)所獲得的結(jié)果。因此，w’等于wXa，且h’等于hXa。圖2所示的圖像并不向用戶(hù)進(jìn)行視覺(jué)顯示，而是僅能夠被用于生成觸覺(jué)信息?？s小觸覺(jué)分布數(shù)據(jù)的原因是通過(guò)減小觸覺(jué)分布數(shù)據(jù)的大小而對(duì)原始圖像進(jìn)行編 碼，以及通過(guò)最大程度地減少所要編碼的數(shù)據(jù)以使原始圖像數(shù)據(jù)中的變化最小化。這利用 了當(dāng)人們認(rèn)知到空間分布的觸感時(shí)觸知分辨率低于視覺(jué)分辨率的事實(shí)。換句話說(shuō)，考慮到 認(rèn)知能力，可減小觸覺(jué)分布數(shù)據(jù)的大小。如以上所描述的，縮小的觸覺(jué)信息在解碼器中再次被放大，以使得其被用于提供 針對(duì)原始圖像的觸覺(jué)反饋。因此，觸覺(jué)信息的分辨率可降低與縮小觸覺(jué)信息一樣多，并且所 編碼的數(shù)據(jù)量可減少與分辨率的降低同樣多。以下將示意性地描述根據(jù)本發(fā)明一個(gè)實(shí)施例的在圖像上對(duì)觸覺(jué)信息進(jìn)行編碼的 方法。當(dāng)原始圖像是通過(guò)從上方拍攝放置在桌面上的半球物體和六邊形立體拼圖所獲 得的圖像時(shí)，可生成對(duì)應(yīng)于原始圖像的深度分布數(shù)據(jù)，并且所述深度分布數(shù)據(jù)可具有與原 始圖像的幅度(breadth) X寬度(width)坐標(biāo)對(duì)應(yīng)的高度值。
在原始圖象上對(duì)所生成的深度分布數(shù)據(jù)進(jìn)行編碼之前，應(yīng)當(dāng)如以上所描述地對(duì)所 述深度分布數(shù)據(jù)的大小進(jìn)行控制(縮小)，這可以對(duì)應(yīng)于將深度分布數(shù)據(jù)視為一個(gè)圖像并 且在幅度和寬度方面以相同的比率減小它的過(guò)程。換句話說(shuō)，所述深度分布數(shù)據(jù)的縮小過(guò)程可以是將圖像大小與a(0 <a<l)相乘 的過(guò)程。如以上所描述的，當(dāng)在原始圖像上對(duì)通過(guò)將深度分布數(shù)據(jù)的大小與a相乘而獲得 的縮小的觸覺(jué)分布數(shù)據(jù)進(jìn)行編碼時(shí)，難以在視覺(jué)上識(shí)別原始圖像和編碼圖像之間的差異。 用戶(hù)可以使用包括所述觸覺(jué)分布數(shù)據(jù)的編碼圖像以便驗(yàn)證現(xiàn)有平臺(tái)中的視覺(jué)信息，并且如 果有必要，可以通過(guò)解碼縮小的觸覺(jué)分布數(shù)據(jù)并且以因數(shù)1/a放大縮小的觸覺(jué)分布數(shù)據(jù)來(lái) 以圖像形式恢復(fù)觸覺(jué)分布數(shù)據(jù)。由于所述觸覺(jué)分布數(shù)據(jù)在編碼之前被縮小，所以它們?cè)诮?碼時(shí)被再次放大，從而所述觸覺(jué)分布數(shù)據(jù)的分辨率比原始圖像更為惡化。然而，如以上所 描述的，在人類(lèi)觸覺(jué)識(shí)別能力的范圍之內(nèi)適當(dāng)設(shè)置“a”，以防止觸覺(jué)信息惡化。在減少超出 人們的認(rèn)知能力的數(shù)據(jù)方面，這與減少無(wú)法被人們的聽(tīng)力所察覺(jué)的區(qū)域信息的mp3技術(shù)類(lèi) 似。下文中，將參考空間分布的觸覺(jué)信息的情況描述根據(jù)本發(fā)明的在圖像上對(duì)觸覺(jué)信 息進(jìn)行編碼的方法?？臻g分布的觸覺(jué)信息的示例可包括深度分布信息，所述深度分布信息 包括凸起信息、表面阻抗信息、紋理分布信息或者溫度分布信息等。當(dāng)觸覺(jué)分布信息被表示為具有如圖1所示的步長(zhǎng)值的圖像時(shí)，可以理解，圖1所示 圖像的寬度《和高度h與原始圖像的寬度w和高度h相同。當(dāng)觸覺(jué)分布信息如圖2所示被 縮小時(shí)，被縮小的觸覺(jué)分布信息的圖像的寬度和高度變?yōu)?w' = aw)和h’(h’ = ah)。實(shí)際上，由于編碼的觸覺(jué)分布信息是縮小的觸覺(jué)分布信息，所以報(bào)頭數(shù)據(jù)利用所 包括的“w”和“h”的信息以及通道數(shù)量來(lái)描述觸覺(jué)數(shù)據(jù)。該報(bào)頭數(shù)據(jù)在解碼過(guò)程中被用來(lái) 從圖像恢復(fù)二維觸覺(jué)分布數(shù)據(jù)。例如，所述報(bào)頭可包括觸覺(jué)信息的類(lèi)別和大小、有關(guān)通道數(shù)量的信息等。例如，原始圖像的寬度為640像素，其高度為480像素，并且當(dāng)a被設(shè)置為1/10 時(shí)，映射數(shù)據(jù)的通道數(shù)量被設(shè)置為1，并且值之間的標(biāo)識(shí)符被設(shè)置為“_”，報(bào)頭可具有與 “64_48_1”相同的形式。此外，在描述觸覺(jué)信息的特性時(shí)，當(dāng)在深度分布信息的情況下分 配“01”、在紋理分布信息的情況下分配“02”、以及在溫度分布信息的情況下分配“03” 時(shí)，對(duì)應(yīng)于深度分布信息的報(bào)頭可具有與如圖1所示實(shí)施例中的深度分布信息對(duì)應(yīng)的 “64_48_1_01_1”。當(dāng)報(bào)頭信息用二進(jìn)制數(shù)表示時(shí)，由于“6”的ASCII碼值是作為十進(jìn)制數(shù)的54，所以 作為二進(jìn)制數(shù)其變?yōu)?0110110。以相同的方式，所舉例給出的報(bào)頭值的二進(jìn)制值的列表如 下(“_”用 “01011111” 編碼)。001101100011010001011111001101000011100001011111001100010101111100110 0000011000101011111當(dāng)所確定圖像形式的具有寬度w’和高度h’的觸覺(jué)分布數(shù)據(jù)的每個(gè)像素?cái)?shù)據(jù)被形 成為一個(gè)陣列時(shí)，值被確定為o或1的集合。當(dāng)所確定的比特的集合由B來(lái)定義、并且所確 定的二進(jìn)制數(shù)形式的報(bào)頭值由A來(lái)定義時(shí)，二進(jìn)制編碼數(shù)據(jù)的最終形式由C來(lái)定義，其為A 和B集合的級(jí)聯(lián)。
8
接下來(lái)，將描述將二進(jìn)制編碼數(shù)據(jù)與一系列圖像的每個(gè)像素的最低有效位進(jìn)行比 較并且根據(jù)結(jié)果改變像素值的過(guò)程。當(dāng)C具有i比特時(shí)，C的每一比特連續(xù)地與具有m(m > i)個(gè)像素字節(jié)的原始圖像 的第一像素的字節(jié)數(shù)據(jù)的最低有效位(LSB)進(jìn)行比較。在這種情況下，根據(jù)該實(shí)施例，原始圖像的每個(gè)像素可以由諸如R、G和C的三個(gè)子 像素字節(jié)所形成，并且可以包括諸如a (alpha)、Z或拐點(diǎn)(bump)數(shù)據(jù)等的非顏色數(shù)據(jù)。因 此，在本發(fā)明中，字節(jié)數(shù)據(jù)可以是R子像素字節(jié)、G子像素字節(jié)或B子像素字節(jié)，所有這些都 包括在像素中并且可以是非顏色數(shù)據(jù)。當(dāng)整個(gè)原始圖像像素字節(jié)為D(D>C)時(shí)，D的第一像素的字節(jié)數(shù)據(jù)(R、G*B2 一)的最低有效位與C的第一比特進(jìn)行比較。圖3是示出當(dāng)C的報(bào)頭部分的第一個(gè)字符為“6”時(shí)、原始圖像的每個(gè)像素的字節(jié) 數(shù)據(jù)的最低有效位(LSB)以及已編碼目標(biāo)數(shù)據(jù)的每一比特的示圖。參見(jiàn)圖3，可以理解，原始圖像的第一像素被設(shè)置為B :132、G 137和R 136，第二 像素被設(shè)置為B :137、G 139和R 139，且第三像素被設(shè)置為B 139和G :141。換句話說(shuō)，圖3的第一行300可被認(rèn)為對(duì)原始圖像的每個(gè)像素的字節(jié)數(shù)據(jù)進(jìn)行排 列。圖3的第二行310表示每個(gè)字節(jié)數(shù)據(jù)的LSB。在圖3所示的示例中，當(dāng)?shù)谝恍?00 的值為奇數(shù)時(shí)，第二行310的值變?yōu)椤?”，以及當(dāng)?shù)谝恍?00的值為偶數(shù)時(shí)，第二行310的值 變?yōu)椤?”。圖3的第三行320表示C的報(bào)頭部分的第一字符“6”被二進(jìn)制化的值。換句話說(shuō)，原始圖像的每個(gè)像素的字節(jié)數(shù)據(jù)的最低有效位與每個(gè)報(bào)頭的位值進(jìn)行 比較，以使得當(dāng)兩個(gè)值相同時(shí)，原始圖像的像素值被保持，并且當(dāng)兩個(gè)比特值不同時(shí)，原始 圖像像素的字節(jié)數(shù)據(jù)的最低有效位被改變。從圖3所示的示例可以理解，第一像素的G子像素字節(jié)的最低有效位1與編碼目 標(biāo)數(shù)據(jù)的對(duì)應(yīng)比特0不同(330)，第一像素的R子像素字節(jié)的最低有效位0與編碼目標(biāo)數(shù)據(jù) 的對(duì)應(yīng)比特1不同(340)，第二像素的G子像素字節(jié)的最低有效位1與編碼目標(biāo)數(shù)據(jù)的對(duì)應(yīng) 比特0不同(350)，并且第三像素的G子像素字節(jié)的最低有效位1與編碼目標(biāo)數(shù)據(jù)的對(duì)應(yīng)比 特0不同(360)。在圖3所示的示例中，8字節(jié)數(shù)據(jù)B、G、R、B、G、R、B和G的最低有效位的值通過(guò)以
上方式來(lái)確定。結(jié)果，編碼圖像的像素值通過(guò)與原始圖像的像素值相比較而略有修改?？筛鶕?jù)原 始圖像的形式來(lái)使用包括R、G和B子像素以及像素的透明度在內(nèi)的a通道的字節(jié)數(shù)據(jù)。圖4是示出根據(jù)本發(fā)明一個(gè)實(shí)施例的對(duì)觸覺(jué)信息進(jìn)行編碼的方法的圖像像素變 化的示圖。參見(jiàn)圖4，可以理解，原始圖像的第一像素被設(shè)置為B :132、G 137和R 136，第二 像素被設(shè)置為B :137、G :139和R 139，并且第三像素被設(shè)置為B 139和G :141。如之前參考圖3所評(píng)論的，由于第一像素的G和R子像素字節(jié)、第二像素的G子像 素字節(jié)和第三像素的G子像素字節(jié)的最低有效位與編碼目標(biāo)數(shù)據(jù)的對(duì)應(yīng)比特不同，所以?xún)H 所述子像素字節(jié)的LSB通過(guò)+1而改變。為了描述方便，圖4示出了像素值增加1。然而，之
9前所描述的是像素的字節(jié)數(shù)據(jù)的變化是關(guān)于LSB值而變化。圖3和圖4描述了如下的示例，其中字節(jié)數(shù)據(jù)的最低有效位與編碼目標(biāo)數(shù)據(jù)的對(duì) 應(yīng)比特進(jìn)行比較，但是目標(biāo)數(shù)據(jù)的對(duì)應(yīng)比特可被插入到字節(jié)數(shù)據(jù)的最低有效位而不執(zhí)行比 較過(guò)程。人們?cè)谝曈X(jué)上難以識(shí)別所述變化，由此難以以肉眼識(shí)別原始圖像和對(duì)觸覺(jué)信息進(jìn) 行編碼的圖像。近期的研究結(jié)果示出，對(duì)偶數(shù)比特多達(dá)最后四比特的變化也不大會(huì)被用戶(hù) 所感知。因此，觸覺(jué)數(shù)據(jù)可以被插入到字節(jié)數(shù)據(jù)的較低四比特部分，但是在本發(fā)明中，觸覺(jué) 數(shù)據(jù)可以被插入到較低四比特的最低有效位中。所述觸覺(jué)數(shù)據(jù)的第二字節(jié)從R計(jì)算得出，該R是通過(guò)相同方式在第三像素中剩余 的子像素字節(jié)，對(duì)其進(jìn)行重復(fù)直至完成了對(duì)包括觸覺(jué)信息的i數(shù)量的整個(gè)C值的編碼。以 上所提到的示例描述了其中通過(guò)B、G和R來(lái)定義子像素字節(jié)的情況，但是根據(jù)圖像屬性的 子像素陣列順序可以具有不同的順序，使得實(shí)施例的描述可根據(jù)定義圖像屬性的子像素順 序而變化。在編碼之后的剩余像素的字節(jié)數(shù)據(jù)被保持為與原始圖像的相同。換句話說(shuō)，當(dāng)完 成i個(gè)觸覺(jué)信息編碼時(shí)，m-i個(gè)圖像的像素的字節(jié)數(shù)據(jù)被保持在原始狀態(tài)。當(dāng)提供了用于觸覺(jué)反饋的多個(gè)驅(qū)動(dòng)器或者存在驅(qū)動(dòng)器特性方面的多個(gè)可控元件 時(shí)，所述信息應(yīng)當(dāng)通過(guò)多個(gè)通道來(lái)設(shè)置。這種情況設(shè)置了附加觸覺(jué)分布圖像，并且在報(bào)頭信 息中寫(xiě)入用于每個(gè)通道的信息中，由此使得可能存儲(chǔ)多個(gè)觸覺(jué)分布信息。下文中，將描述觸覺(jué)信息是空間分布的觸覺(jué)分布信息時(shí)的解碼過(guò)程。首先，具有編碼的觸覺(jué)信息的圖像被加載到應(yīng)用程序中。在這種情況下，所述應(yīng)用 程序可讀取所加載圖像信息的每個(gè)像素的子像素值。為了讀取所加載數(shù)據(jù)的報(bào)頭數(shù)據(jù)，每個(gè)像素的字節(jié)數(shù)據(jù)被作為陣列加載，并且生 成新的陣列作為所獲得陣列的每個(gè)字節(jié)值的最低有效位。新生成的陣列被分為8組，生成 每一個(gè)組一個(gè)字節(jié)值以恢復(fù)報(bào)頭。例如，當(dāng)?shù)谝唤M的值等于“00110110”時(shí)，其被變換成為54的十進(jìn)制數(shù)字?；?ASCII碼獲得與其相對(duì)應(yīng)的字符集合，由此使得可能恢復(fù)字符“6”。該過(guò)程讀取具有適當(dāng)大 小的正整數(shù)P，其配置一個(gè)字符串。在這種情況下，正整數(shù)P是針對(duì)報(bào)頭信息的長(zhǎng)度，從而使 用整個(gè)編碼數(shù)據(jù)的非常小的一部分、并且僅對(duì)一部分圖像數(shù)據(jù)進(jìn)行分析，由此確定實(shí)際編 碼的觸覺(jué)信息的長(zhǎng)度。僅當(dāng)應(yīng)當(dāng)確定實(shí)際編碼的觸覺(jué)信息的長(zhǎng)度時(shí)，才可能有效執(zhí)行解碼 過(guò)程。例如，因?yàn)閷?shí)際報(bào)頭信息的字符串長(zhǎng)度并不長(zhǎng)，所以考慮到二進(jìn)制而可以將P設(shè) 置為80，但是P可以根據(jù)所編碼觸覺(jué)信息的大小而變化。因此，僅當(dāng)P被適當(dāng)確定時(shí)，才能夠通過(guò)在圖像數(shù)據(jù)的大小很大時(shí)讀取非常小部 分的編碼圖像來(lái)減少不必要資源的浪費(fèi)。此外，可通過(guò)使用在編碼時(shí)所使用的標(biāo)識(shí)符來(lái) 提取形成如“64_48_1_01... ”的數(shù)據(jù)中的有意義值。根據(jù)編碼過(guò)程中所描述的報(bào)頭格 式，圖像形式中的觸覺(jué)數(shù)據(jù)的大小具有64X48X1的大小，并且對(duì)應(yīng)的分布值表示包括 表面上的凸起信息的深度信息。在多種(兩種)映射的情況下，第二值將溫度值表示為 “64 48 1 01 64 48 1 03... ”。
所確定的報(bào)頭信息之后的數(shù)據(jù)區(qū)域加載與報(bào)頭信息之后的觸覺(jué)數(shù)據(jù)對(duì)應(yīng)的字節(jié) 數(shù)據(jù)，從所加載的數(shù)據(jù)集合提取LSB，并且通過(guò)新陣列中所列出的步長(zhǎng)而恢復(fù)。為了恢復(fù)具 有64X48X1的數(shù)據(jù)，使用具有64X48X1的字節(jié)數(shù)據(jù)(64X48X1X8)。當(dāng)通過(guò)將所列出的陣列數(shù)據(jù)順序分為8組而生成字節(jié)形式的數(shù)據(jù)時(shí)，可恢復(fù)觸覺(jué) 數(shù)據(jù)。當(dāng)恢復(fù)觸覺(jué)數(shù)據(jù)時(shí)，基于所恢復(fù)的報(bào)頭信息來(lái)恢復(fù)具有所定義的大小(w’ Xh’ ) 以及所定義數(shù)量的通道的觸覺(jué)分布數(shù)據(jù)圖像。此外，所恢復(fù)的觸覺(jué)分布數(shù)據(jù)圖像用1/a進(jìn) 行放大，并且具有與原始圖像相同的大小(wXh)。在該過(guò)程中，如果有必要，可以對(duì)觸覺(jué)分 布數(shù)據(jù)圖像進(jìn)行灰度級(jí)處理。這是為了去除在改變大小時(shí)可能生成的RGB形式的噪聲?？梢酝ㄟ^(guò)使用放大的觸覺(jué)分布數(shù)據(jù)向用戶(hù)提供觸覺(jué)反饋?？梢栽诔蔬f (rendering)的時(shí)候提供所述觸覺(jué)反饋。根據(jù)在通過(guò)解碼提取的觸覺(jué)分布信息上提取光標(biāo)位置上的信息的方式，提供觸覺(jué) 反饋的過(guò)程可以被歸類(lèi)為使用單個(gè)信息的情形和使用陣列信息的情形。圖5是示出用于觸覺(jué)交互的光標(biāo)的示圖。參見(jiàn)圖5，可以理解，用于觸覺(jué)交互的光標(biāo)510可視地顯示在監(jiān)視器上。通常，用于觸覺(jué)交互的光標(biāo)一般被稱(chēng)作觸覺(jué)交互指針或觸覺(jué)交互點(diǎn)(HIP)。可以理解的是，在其上顯示光標(biāo)510的監(jiān)視器上顯示圖像，并且所顯示的圖像包 括觸覺(jué)信息(深度分布信息)。在這種情況下，所述觸覺(jué)分布信息可以被放大。光標(biāo)510可以在根據(jù)用戶(hù)運(yùn)動(dòng)改變位置的同時(shí)在可視地顯示在監(jiān)視器上的圖像 上進(jìn)行移動(dòng)。在這種情況下，使用單個(gè)信息的方式是確定與通過(guò)解碼所提取的觸覺(jué)分布信息上 的光標(biāo)位置對(duì)應(yīng)的灰度級(jí)值或者確定作為光標(biāo)位置近似值的平均值的單個(gè)值(V_hip)并 使用所述單個(gè)值驅(qū)動(dòng)驅(qū)動(dòng)器的方式。另一方面，使用陣列信息的方式執(zhí)行將光標(biāo)(HIP)的外圍區(qū)域水平劃分為n個(gè)分 區(qū)并且將其垂直劃分為m個(gè)分區(qū)的步驟，通過(guò)觸覺(jué)臂或鼠標(biāo)、位置輸入裝置而在包括無(wú)法 被用戶(hù)視覺(jué)確認(rèn)的觸覺(jué)分布信息的圖像上控制所述光標(biāo)，以確保所述區(qū)域具有全部nXm 個(gè)部分。在這種情況下，所確保的nXm個(gè)區(qū)域根據(jù)驅(qū)動(dòng)器的數(shù)目確定水平和垂直劃分的數(shù) 目。換句話說(shuō)，使用陣列信息的方式對(duì)應(yīng)于用于生成觸覺(jué)反饋的反饋提供設(shè)備通過(guò)多個(gè)輸 入進(jìn)行操作的情形。在這種情況下，類(lèi)似于獲取諸如每個(gè)區(qū)域的平均值和中間值之類(lèi)的代表性值的方 式來(lái)獲取每個(gè)區(qū)域中的灰度級(jí)值。每個(gè)驅(qū)動(dòng)器的運(yùn)動(dòng)根據(jù)所述值進(jìn)行確定。例如，當(dāng)觸覺(jué)分布信息是與半球形和六邊形對(duì)應(yīng)的深度分布信息時(shí)，光標(biāo)的外圍 區(qū)域可以是像素區(qū)域，所述像素區(qū)域在光標(biāo)位于半球形一端的情況下為30寬度X30幅度。當(dāng)反饋提供設(shè)備包括3寬度X 3幅度的驅(qū)動(dòng)器時(shí)，從30 X 30的光標(biāo)外圍區(qū)域確定 3X3的代表值。在這種情況下，一個(gè)代表值可以是10X10像素區(qū)域的代表值。結(jié)果，所提供的3X3代表值變?yōu)樯疃确植夹畔?，所述深度分布信息隨著接近半球 端而具有較少的垂直方向凸起特性，并且觸覺(jué)反饋設(shè)備通過(guò)使用所述深度分布信息向用戶(hù) 提供觸覺(jué)反饋。圖6是用于解釋觸覺(jué)分布信息和光標(biāo)的觸覺(jué)交互的示圖。
參見(jiàn)圖6，可以理解，在監(jiān)視器上顯示的圖像包括深度分布信息620，并且根據(jù)光 標(biāo)510的運(yùn)動(dòng)和深度分布信息620之間的關(guān)系生成觸覺(jué)反饋。例如，如果觸覺(jué)臂被安裝作為觸覺(jué)反饋提供設(shè)備，則當(dāng)用戶(hù)移動(dòng)以在深度方向(z 軸)向觸覺(jué)臂施加力610時(shí)，用戶(hù)根據(jù)深度分布信息和物體突出的程度而以不同時(shí)序感覺(jué) 到反作用力。結(jié)果，用戶(hù)能夠利用視覺(jué)信息同時(shí)地感覺(jué)到作為與所施加力相對(duì)的反作用力 的觸覺(jué)信息。圖7是示出使用觸覺(jué)臂的觸覺(jué)反饋呈現(xiàn)設(shè)備的一個(gè)示例的示圖。參見(jiàn)圖7，使用觸覺(jué)臂的觸覺(jué)反饋提供設(shè)備包括在其上顯示原始圖像的監(jiān)視器 710、驅(qū)動(dòng)所述觸覺(jué)臂的控制器720、觸覺(jué)臂系統(tǒng)730和末端效應(yīng)器740。在圖7所示的示例中，與用戶(hù)所施加的力相對(duì)的反作用力從觸覺(jué)臂系統(tǒng)730的末 端效應(yīng)器740傳送給用戶(hù)，所述觸覺(jué)臂系統(tǒng)730由控制器720控制以便驅(qū)動(dòng)所述觸覺(jué)臂。換句話說(shuō)，當(dāng)光標(biāo)的深度方向(z軸)值為HIP_z時(shí)，反作用力的大小可以被確定 為HIP_z以及所解碼觸覺(jué)分布信息在HIP_z處的灰度級(jí)值(v_hip)的函數(shù)，為了方便，該函 數(shù)被稱(chēng)作f(v_hip，HIP_z)。結(jié)果，諸如深度、紋理等的觸覺(jué)反饋可傳遞到用戶(hù)。例如，當(dāng)觸覺(jué)分布信息表示阻抗信息時(shí)，光標(biāo)位置處的深度方向(z軸)速度為 HIP_z_vel，彈性系數(shù)為k，且阻尼系數(shù)為b，以使得觸覺(jué)反饋被確定為函數(shù)f (v_hip，HIP_z， HIP_z_vel，k，b)。如果有必要，在虛擬環(huán)境中在光標(biāo)上設(shè)置的權(quán)重(m)可以是所述函數(shù)的 變量。在觸覺(jué)臂的情況下，通過(guò)所提取的單個(gè)灰度級(jí)值(v_hip)所確定的反作用力的大 小和方向是內(nèi)部確定的并且由驅(qū)動(dòng)位于每個(gè)臂的聯(lián)結(jié)處的電機(jī)所必需的值的組合所控制。 所述控制過(guò)程被稱(chēng)為機(jī)器的反運(yùn)動(dòng)。當(dāng)使用生成振動(dòng)的離心電機(jī)、壓電元件、螺線管、超音速電機(jī)作為觸覺(jué)反饋提供設(shè) 備時(shí)，通過(guò)以下過(guò)程執(zhí)行觸覺(jué)反饋提供。光標(biāo)(HIP)移動(dòng)到用戶(hù)感覺(jué)到接觸的點(diǎn)。這可以通過(guò)使用手指或輸入筆向便攜式 終端進(jìn)行接觸輸入并且通過(guò)不同于直接接觸的單獨(dú)接口來(lái)執(zhí)行。驅(qū)動(dòng)器的電流/電壓通過(guò)單個(gè)值(v_hip)的函數(shù)確定，由此確定振動(dòng)刺激的大小 或頻率，所述單個(gè)值(v_hip)由與通過(guò)解碼過(guò)程所提取的觸覺(jué)分布信息上的光標(biāo)(HIP)位 置對(duì)應(yīng)的灰度級(jí)值或近似值的平均值來(lái)確定。通常，通過(guò)普遍已知的脈沖寬度調(diào)制(PWM) 而將電壓計(jì)算為有效電壓。這是在細(xì)微時(shí)間周期內(nèi)控制電機(jī)的開(kāi)/關(guān)以便生成小于所施加 電壓的電壓的原則。當(dāng)安裝珀耳帖(peltier)裝置作為觸覺(jué)反饋提供設(shè)備時(shí)，觸覺(jué)反饋提供響應(yīng)于單 個(gè)值(v_hip)的函數(shù)確定驅(qū)動(dòng)器的電流/電壓，由此提供變暖感應(yīng)，所述單個(gè)值由與通過(guò)解 碼過(guò)程所提取的觸覺(jué)分布信息上的光標(biāo)(HIP)位置對(duì)應(yīng)的灰度級(jí)值或近似值的平均值所確定。具體地，所述珀耳帖裝置根據(jù)電流流動(dòng)方向來(lái)確定一個(gè)表面的冷卻或加熱。在這 種情況下，珀耳帖裝置可使用如下的方案，其中基于所確定的單個(gè)值(v_hip)而根據(jù)其它 是特定閾值(v_th)還是更大/或更小來(lái)確定電流方向、并且通過(guò)差的絕對(duì)值(|v_hip-v_th
)的函數(shù)來(lái)確定電流強(qiáng)度。陣列形式的信息提取方案是使用nXm個(gè)分區(qū)區(qū)域的代表性灰度級(jí)值(v_th[nXm])的方案，所述nXm個(gè)分區(qū)區(qū)域通過(guò)將光標(biāo)的外圍區(qū)域水平劃分為n個(gè)分區(qū)并且 將其垂直劃分為m個(gè)分區(qū)所確定的，如以上所描述的，通過(guò)使用觸覺(jué)臂或者鼠標(biāo)、位置輸入 裝置而在包括觸覺(jué)反饋信息的圖像上控制所述光標(biāo)。該方案主要在包括多個(gè)驅(qū)動(dòng)器的觸覺(jué) 系統(tǒng)中使用。作為觸覺(jué)反饋提供設(shè)備的紋理提供設(shè)備例如可以是控制垂直突出高度或垂直凸 起頻率的設(shè)備。紋理提供設(shè)備被應(yīng)用于用戶(hù)的接觸部分被控制以調(diào)用每個(gè)驅(qū)動(dòng)器所進(jìn)行的 運(yùn)動(dòng)。為了方便，由于接觸部分的陰影程度接近白色，也就是說(shuō)灰度級(jí)值接近255，所以驅(qū)動(dòng) 器可被設(shè)置為調(diào)用高凸起。用戶(hù)通過(guò)使用鼠標(biāo)等位置輸入裝置在包括視覺(jué)無(wú)法識(shí)別的觸覺(jué)信息的圖像上移 動(dòng)光標(biāo)(HIP)。也就是說(shuō)，能夠確保不可見(jiàn)的觸覺(jué)信息上光標(biāo)的外圍區(qū)域。在這種情況下， 外圍區(qū)域被水平和垂直劃分為3個(gè)分區(qū)，以使得其可以是具有總共9個(gè)分區(qū)的區(qū)域。在這 種情況下，所確保的區(qū)域可以被設(shè)置為與紋理提供設(shè)備的接觸部分的數(shù)量相等。通過(guò)獲取諸如每個(gè)區(qū)域的平均值或中間值之類(lèi)的代表性值集合的方案來(lái)獲取每 個(gè)區(qū)域的代表性灰度級(jí)值，以使得能夠根據(jù)所述代表性值來(lái)確定諸如接觸器的垂直突出高 度或垂直凸起頻率之類(lèi)的動(dòng)態(tài)特征。通過(guò)該過(guò)程，用戶(hù)可通過(guò)所編碼的圖像來(lái)感覺(jué)深度信 息或紋理信息的觸覺(jué)反饋。當(dāng)珀耳帖裝置被用作觸覺(jué)反饋設(shè)備時(shí)，基于所確定灰度級(jí)值的集合(v_hip[9]) 來(lái)確定每個(gè)驅(qū)動(dòng)器的電流/電壓，從而控制變暖感覺(jué)。特別地，所述珀耳帖裝置根據(jù)電流流 動(dòng)方向確定一個(gè)表面的冷卻或加熱。在這種情況下，所述珀耳帖裝置可使用以下方案，該方 案基于所確定的單個(gè)值集合(v_hip[9])而根據(jù)其是特定閾值(v_th[9])還是更大/或者 更小來(lái)確定電流方向、并且確定與差的絕對(duì)值成比例的每個(gè)驅(qū)動(dòng)器的電流強(qiáng)度。下文中，將描述當(dāng)觸覺(jué)信息是視覺(jué)分布信息時(shí)的編碼過(guò)程。作為時(shí)間分布的觸覺(jué)信息的示例，存在節(jié)拍(beat)信息或頻率改變信息等，其隨 時(shí)間而具有不同的值。如果圖像包括時(shí)間分布的觸覺(jué)信息，則當(dāng)所定義的時(shí)間間隔為dt 時(shí)，觸覺(jué)信息值在特定時(shí)間為0，從而振動(dòng)在對(duì)應(yīng)的周期dt時(shí)間段停止，并且當(dāng)觸覺(jué)信息值 具有不同于0的值時(shí)，驅(qū)動(dòng)器施加對(duì)應(yīng)于所述值的電流或電壓，以使得可生成驅(qū)動(dòng)。所述觸 覺(jué)信息可用于隨時(shí)間振動(dòng)便攜式終端的應(yīng)用。圖8是示出具有隨時(shí)間變化的值的觸覺(jué)信息的示例的示圖。參見(jiàn)圖8，可以理解，振動(dòng)強(qiáng)度830根據(jù)觸覺(jué)信息810而隨時(shí)間820進(jìn)行設(shè)置，所述 觸覺(jué)信息810具有以預(yù)定單位時(shí)間dt改變的值。當(dāng)驅(qū)動(dòng)器為振動(dòng)電機(jī)時(shí)，優(yōu)選地，考慮到機(jī)械響應(yīng)時(shí)間而將dt設(shè)置為從幾ms(毫 秒)到數(shù)百ms。具有隨時(shí)間變化的值的觸覺(jué)信息810可以具有報(bào)頭部分。所述報(bào)頭可包括諸如觸 覺(jué)信息810部分的數(shù)據(jù)長(zhǎng)度之類(lèi)的屬性信息。例如，當(dāng)觸覺(jué)信息810的每個(gè)值是通過(guò)將間隔dt設(shè)置為250ms而獲得的并且包括 22個(gè)值的串且針對(duì)兩次重復(fù)而生成時(shí)，報(bào)頭可以以諸如“205_22_2”的形式進(jìn)行描述。諸如“_”的分隔符能夠根據(jù)其實(shí)現(xiàn)而被替代。此外，在使用具有固定長(zhǎng)度的報(bào)頭 時(shí)，可以省略分隔符。為了區(qū)分空間分布數(shù)據(jù)和具有隨時(shí)間變化的值的觸覺(jué)信息，本領(lǐng)域技術(shù)人員能夠推斷出可定義單獨(dú)的報(bào)頭。當(dāng)與報(bào)頭“205_22_2”的每個(gè)字符對(duì)應(yīng)的ASCII碼值被二進(jìn)制化時(shí)，它們?nèi)缦滤?示。添加空格是為了便于指出(shake)以便分隔，并且其并不包括在實(shí)際數(shù)據(jù)中。001100100011010100110000010111110011001000110010010111110011001001011 111當(dāng)示例的觸覺(jué)信息810將A設(shè)置為255時(shí)，其變?yōu)椤?5525502552550255 0 255 0 255 255 0 255 255 0 255 255 0 255 255 255”，其能夠被二進(jìn)制化如下。11111111111111110000000011111111111111110000000011111111000000001111 1111000000001111111111111111000000001111111111111111000000001111111111111111 00000000111111111111111111111111圖9是示出在使用“250_22_2”作為報(bào)頭并且對(duì)圖8所示示例的觸覺(jué)信息進(jìn)行編 碼時(shí)的編碼目標(biāo)數(shù)據(jù)的示例的示圖。參見(jiàn)圖9，可以理解，報(bào)頭信息910和觸覺(jué)信息920以數(shù)據(jù)串的形式進(jìn)行編碼。圖9所示的比特?cái)?shù)據(jù)串根據(jù)前述方式由原始圖像進(jìn)行編碼。換句話說(shuō)，圖9所示 的每個(gè)比特串在原始圖像像素的字節(jié)數(shù)據(jù)的LSB上編碼。用戶(hù)通過(guò)具有隨時(shí)間變化的值的觸覺(jué)信息確認(rèn)圖像，并且與此同時(shí)，接收象節(jié)拍 信息的隨時(shí)間變化的振動(dòng)信息。當(dāng)存在多個(gè)用于觸覺(jué)反饋的驅(qū)動(dòng)器或者要關(guān)于驅(qū)動(dòng)器特性進(jìn)行控制的多個(gè)元件 時(shí)，反饋信息應(yīng)當(dāng)通過(guò)多個(gè)通道進(jìn)行設(shè)置?？梢酝ㄟ^(guò)將通道數(shù)目寫(xiě)入報(bào)頭信息并且在其中寫(xiě)入標(biāo)識(shí)符所標(biāo)識(shí)的附加數(shù)據(jù)來(lái) 容易地實(shí)現(xiàn)用于多個(gè)通道的觸覺(jué)信息。下文中，將描述當(dāng)觸覺(jué)信息是隨時(shí)間分布的分布信息時(shí)的解碼過(guò)程。在圖像上編 碼的時(shí)間分布的觸覺(jué)信息由終端等通過(guò)使用描述所述觸覺(jué)信息的長(zhǎng)度、屬性等的報(bào)頭信息 來(lái)進(jìn)行解碼，并且基于報(bào)頭中所定義的觸知刺激來(lái)生成振動(dòng)刺激。作為生成振動(dòng)信息的驅(qū)動(dòng)器，可使用振動(dòng)電機(jī)、壓電元件、螺線管致動(dòng)器、超音速 電機(jī)等。在前述觸覺(jué)信息的編碼和解碼方法中，當(dāng)原始圖像的擴(kuò)展名為“gif”時(shí)，它們包括 以特定時(shí)間間隔顯示單個(gè)圖像以及若干圖像頁(yè)的功能。根據(jù)本發(fā)明的觸覺(jué)信息的編碼/解 碼方法可被應(yīng)用于動(dòng)畫(huà)gif格式。在這種情況下，如果每個(gè)圖像為一幀，則可以與根據(jù)本發(fā) 明的編碼方法類(lèi)似地針對(duì)每一幀對(duì)觸覺(jué)信息進(jìn)行編碼/解碼。然而，在解碼中，觸覺(jué)反饋可 由與原始動(dòng)畫(huà)gif中所定義的圖像之間的時(shí)間間隔相匹配的觸覺(jué)信息來(lái)提供。圖10是示出依據(jù)本發(fā)明一個(gè)實(shí)施例的在圖像上對(duì)觸覺(jué)信息進(jìn)行編碼的方法的操 作流程圖。參見(jiàn)圖10，依據(jù)一個(gè)實(shí)施例的在圖像上對(duì)觸覺(jué)信息進(jìn)行編碼的方法首先生成觸覺(jué) 信息(S1010)。在這種情況下，觸覺(jué)信息可以是深度分布信息、表面阻抗分布信息、溫度分布信息 和表面紋理信息中任意一個(gè)的觸覺(jué)分布數(shù)據(jù)，所有這些信息都是空間分布的。在這種情況下，步驟(S1010)可以生成觸覺(jué)信息，包括減小數(shù)據(jù)大小的縮小過(guò)程。在這種情況下，觸覺(jué)信息可以是時(shí)間序列振動(dòng)信息。
此外，對(duì)觸覺(jué)信息進(jìn)行編碼的方法，通過(guò)使用所述觸覺(jué)信息和與所述觸覺(jué)信息相 關(guān)聯(lián)的報(bào)頭信息生成編碼目標(biāo)數(shù)據(jù)(S1020)。換句話說(shuō)，步驟S1020生成與觸覺(jué)信息相關(guān)聯(lián)的報(bào)頭信息以及通過(guò)將所述報(bào)頭信 息與觸覺(jué)信息相級(jí)聯(lián)而生成的編碼目標(biāo)數(shù)據(jù)。此外，對(duì)所述觸覺(jué)信息進(jìn)行編碼的方法對(duì)編碼目標(biāo)數(shù)據(jù)進(jìn)行二進(jìn)制化(S1025)。換句話說(shuō)，步驟S1025對(duì)在步驟S1020生成的編碼目標(biāo)數(shù)據(jù)進(jìn)行二進(jìn)制化以使得 它們處于要對(duì)每一比特進(jìn)行編碼的狀態(tài)。此外，對(duì)所述觸覺(jué)信息進(jìn)行編碼的方法確定每個(gè)二進(jìn)制比特是否等于原始圖像的 每個(gè)像素的字節(jié)數(shù)據(jù)的LSB(S1030)。作為步驟S1030的確定結(jié)果，當(dāng)二進(jìn)制比特等于原始圖像的像素的字節(jié)數(shù)據(jù)的 LSB時(shí)，所述原始圖像的像素的字節(jié)數(shù)據(jù)保持不變(S1035)。作為步驟S1030的確定結(jié)果，當(dāng)二進(jìn)制比特與原始圖像的像素的字節(jié)數(shù)據(jù)的LSB 不同時(shí)，所述原始圖像的像素的字節(jié)數(shù)據(jù)的LSB被設(shè)置為二進(jìn)制比特值(S1033)。在執(zhí)行步驟S1035和步驟S1033之后，對(duì)所述觸覺(jué)信息進(jìn)行編碼的方法確定是否 所有的二進(jìn)制比特?cái)?shù)據(jù)都被編碼了(S1040)。作為步驟S1040的確定結(jié)果，當(dāng)并非所有二進(jìn)制比特?cái)?shù)據(jù)都被編碼時(shí)，對(duì)所述觸 覺(jué)信息進(jìn)行編碼的方法返回步驟(S1030)并且重復(fù)編碼過(guò)程。作為步驟S1040的確定結(jié)果，當(dāng)所有二進(jìn)制比特?cái)?shù)據(jù)都被編碼時(shí)，對(duì)所述觸覺(jué)信 息進(jìn)行編碼的方法將原始圖像的剩余像素的字節(jié)數(shù)據(jù)的LSB保持原樣(S1050)。圖10描述了通過(guò)將每個(gè)二進(jìn)制比特與原始圖像的每個(gè)像素的字節(jié)數(shù)據(jù)的LSB進(jìn) 行比較來(lái)執(zhí)行二進(jìn)制比特?cái)?shù)據(jù)的編碼的示例，但是本發(fā)明并不局限于此。換句話說(shuō)，要解釋 的是，所有生成通過(guò)如下方式而編碼的圖像的情況都包括在本發(fā)明的范圍之內(nèi)，即使用圖 像像素的每個(gè)字節(jié)數(shù)據(jù)的最低有效位(LSB)對(duì)編碼目標(biāo)數(shù)據(jù)進(jìn)行編碼的方式。也就是說(shuō)，二進(jìn)制比特?cái)?shù)據(jù)的編碼可將二進(jìn)制編碼目標(biāo)數(shù)據(jù)的每一比特插入到原 始圖像像素的一些像素中每一個(gè)的字節(jié)數(shù)據(jù)的最低有效位中，并且可保持原始圖像像素的 剩余像素的字節(jié)數(shù)據(jù)的最低有效位。在這種情況下，每個(gè)原始圖像像素的字節(jié)數(shù)據(jù)可以是R、G和B子像素字節(jié)和非顏 色數(shù)據(jù)中的任意一個(gè)。圖11是示出依據(jù)本發(fā)明一個(gè)實(shí)施例的從圖像解碼觸覺(jué)信息的方法的操作流程 圖。參見(jiàn)圖11，從圖像解碼觸覺(jué)信息的方法首先加載編碼圖像(S1110)。此外，解碼觸覺(jué)信息的方法加載來(lái)自所加載圖像的預(yù)定數(shù)量像素的字節(jié)數(shù)據(jù) (S1121)。在這種情況下，字節(jié)數(shù)據(jù)可以是R、G和B子像素字節(jié)和非顏色數(shù)據(jù)中的任意一個(gè)。此外，解碼觸覺(jué)信息的方法通過(guò)列出所加載字節(jié)數(shù)據(jù)的LSB而生成由LSB所構(gòu)成 的比特流(S1122)。進(jìn)一步地，解碼觸覺(jué)信息的方法通過(guò)將所列出的LSB的比特流分為8組來(lái)確定字 節(jié)值(S1123)。此外，解碼觸覺(jué)信息的方法通過(guò)使用所確定的字節(jié)值來(lái)恢復(fù)與觸覺(jué)信息相關(guān)聯(lián)的
15報(bào)頭信息(S1125)。此外，解碼觸覺(jué)信息的方法通過(guò)使用編碼圖像的剩余像素中的報(bào)頭信息來(lái)加載確 定數(shù)量像素的字節(jié)數(shù)據(jù)(S1131)。當(dāng)恢復(fù)了報(bào)頭信息時(shí)，可發(fā)現(xiàn)通過(guò)報(bào)頭信息編碼的觸覺(jué)信息的屬性和大小，因此 它可通過(guò)使用所述觸覺(jué)信息的屬性和大小來(lái)準(zhǔn)確地確定所要加載用于解碼所述觸覺(jué)信息 的字節(jié)數(shù)據(jù)的數(shù)量。進(jìn)一步地，解碼觸覺(jué)信息的方法列出所加載的字節(jié)數(shù)據(jù)的LSB(S1132)。在這種情 況下，所列出的LSB可以包括步驟S1122所列出的LSB之中沒(méi)有在報(bào)頭恢復(fù)中使用的那些 LSB。進(jìn)一步地，解碼觸覺(jué)信息的方法通過(guò)將所列出的LSB的比特流分為8組來(lái)確定字 節(jié)值(S1133)。此外，解碼觸覺(jué)信息的方法通過(guò)使用所確定的字節(jié)值來(lái)恢復(fù)觸覺(jué)信息(S1135)。進(jìn)一步地，解碼觸覺(jué)信息的方法通過(guò)使用報(bào)頭信息和觸覺(jué)信息來(lái)向用戶(hù)提供觸覺(jué) 反饋(S1140)。在這種情況下，觸覺(jué)信息可以是空間分布的觸覺(jué)分布數(shù)據(jù)。在這種情況下，步驟 S1140通過(guò)放大觸覺(jué)信息來(lái)生成放大的觸覺(jué)信息，并且通過(guò)使用所放大的觸覺(jué)信息來(lái)提供 觸覺(jué)反饋。雖然放大的觸覺(jué)信息的分辨率低于原始圖像的分辨率，但是用戶(hù)難以認(rèn)知到。步驟S1140可以根據(jù)通過(guò)報(bào)頭信息獲得的觸知類(lèi)型來(lái)生成不同的觸覺(jué)反饋。圖12是依據(jù)本發(fā)明一個(gè)實(shí)施例的處理觸覺(jué)信息的設(shè)備的框圖。參見(jiàn)圖12，依據(jù)本發(fā)明一個(gè)實(shí)施例的用于處理觸覺(jué)信息的設(shè)備包括觸覺(jué)信息生成 器1210、報(bào)頭生成器1220和編碼器1230。觸覺(jué)信息生成器1210生成觸覺(jué)信息。在這種情況下，觸覺(jué)信息是觸覺(jué)分布數(shù)據(jù)，并且觸覺(jué)信息生成器1210可以通過(guò)減 小數(shù)據(jù)大小的縮小過(guò)程來(lái)生成觸覺(jué)信息。報(bào)頭生成器1220生成與所述觸覺(jué)信息相關(guān)聯(lián)的報(bào)頭信息，該報(bào)頭信息與所述觸 覺(jué)信息一起構(gòu)成編碼目標(biāo)數(shù)據(jù)。編碼器1230通過(guò)使用每個(gè)原始圖像像素的字節(jié)數(shù)據(jù)的最低有效位(LSB)對(duì)編碼 目標(biāo)數(shù)據(jù)進(jìn)行編碼來(lái)生成編碼圖像。編碼器1230可以將編碼目標(biāo)數(shù)據(jù)的每一比特插入到原始圖像像素的一些像素中 的每一個(gè)的字節(jié)數(shù)據(jù)的最低有效位中，并且可以保持原始圖像像素中的剩余像素的字節(jié)數(shù) 據(jù)的最低有效位不變。圖13是依據(jù)本發(fā)明另一實(shí)施例的處理觸覺(jué)信息的設(shè)備的框圖。參見(jiàn)圖13，依據(jù)本發(fā)明另一實(shí)施例的用于處理觸覺(jué)信息的設(shè)備包括圖像加載單元 1310、報(bào)頭恢復(fù)單元1320、觸覺(jué)信息恢復(fù)單元1330和觸覺(jué)反饋單元1340。圖像加載單元1310加載編碼圖像。報(bào)頭恢復(fù)單元1320提取所述編碼圖像的一些像素中的每一個(gè)的字節(jié)數(shù)據(jù)的最低 有效位(LSB)，以恢復(fù)與所述觸覺(jué)信息相關(guān)聯(lián)的報(bào)頭信息。在這種情況下，報(bào)頭恢復(fù)單元1320可通過(guò)加載預(yù)定數(shù)量像素的字節(jié)數(shù)據(jù)、提取所 加載字節(jié)數(shù)據(jù)的最低有效位、并使用所提取的最低有效位來(lái)恢復(fù)報(bào)頭信息。
在這種情況下，觸覺(jué)信息可以是空間分布的觸覺(jué)分布數(shù)據(jù)，觸覺(jué)反饋單元1340通 過(guò)放大所述觸覺(jué)信息來(lái)生成已放大的觸覺(jué)信息，并且通過(guò)使用所述已放大的觸覺(jué)信息提供 觸覺(jué)反饋。觸覺(jué)信息恢復(fù)單元1330通過(guò)使用編碼圖像的剩余像素中的報(bào)頭信息來(lái)收集預(yù)定 數(shù)量像素的字節(jié)數(shù)據(jù)的最低有效位，以恢復(fù)所述觸覺(jué)信息。觸覺(jué)反饋單元1340通過(guò)使用所述報(bào)頭信息和觸覺(jué)信息來(lái)向用戶(hù)提供觸覺(jué)反饋。在這種情況下，觸覺(jué)反饋單元1340可以通過(guò)使用離心電機(jī)、壓電元件、螺線管、超 音速電機(jī)、觸覺(jué)臂或紋理提供設(shè)備等來(lái)提供觸覺(jué)反饋。圖12所示的用于處理觸覺(jué)信息的設(shè)備對(duì)應(yīng)于觸覺(jué)信息編碼器，而圖13所示的用 于處理觸覺(jué)信息的設(shè)備則對(duì)應(yīng)于觸覺(jué)信息解碼器。如以上所描述的，根據(jù)本發(fā)明的對(duì)觸覺(jué)信息進(jìn)行編碼/解碼的方法以及用于處理 觸覺(jué)信息的設(shè)備并不局限于上述實(shí)施例的配置和方法，而是可有選擇地組合所有實(shí)施例或 一些實(shí)施例來(lái)配置，從而可進(jìn)行各種修改。
權(quán)利要求
1.一種用于在圖像上對(duì)觸覺(jué)信息進(jìn)行編碼的方法，包括生成觸覺(jué)信息；通過(guò)使用所述觸覺(jué)信息和與所述觸覺(jué)信息相關(guān)聯(lián)的報(bào)頭信息生成編碼目標(biāo)數(shù)據(jù)；以及通過(guò)使用每個(gè)原始圖像像素的字節(jié)數(shù)據(jù)的最低有效位(LSB)對(duì)所述編碼目標(biāo)數(shù)據(jù)進(jìn) 行編碼來(lái)生成編碼圖像。
2.如權(quán)利要求1所述的在圖像上對(duì)觸覺(jué)信息進(jìn)行編碼的方法，其中所述觸覺(jué)信息是包 括凸起信息、表面阻抗信息、紋理分布信息和溫度分布信息在內(nèi)的任意一個(gè)深度分布信息 的觸覺(jué)分布數(shù)據(jù)，所有這些信息都是空間分布的。
3.如權(quán)利要求2所述的在圖像上對(duì)觸覺(jué)信息進(jìn)行編碼的方法，其中生成所述觸覺(jué)信息 的步驟包括減小數(shù)據(jù)大小以生成所述觸覺(jué)信息的縮小處理。
4.如權(quán)利要求1所述的在圖像上對(duì)觸覺(jué)信息進(jìn)行編碼的方法，其中所述觸覺(jué)信息是時(shí) 間序列振動(dòng)信息。
5.如權(quán)利要求1所述的在圖像上對(duì)觸覺(jué)信息進(jìn)行編碼的方法，其中所述生成編碼圖像 的步驟將所述編碼目標(biāo)數(shù)據(jù)的每一比特插入到原始圖像像素的一些像素中每一個(gè)的字節(jié) 數(shù)據(jù)的最低有效位中，并且原樣地保持所述原始圖像像素的剩余像素中每一個(gè)的字節(jié)數(shù)據(jù) 的最低有效位。
6.如權(quán)利要求5所述的在圖像上對(duì)觸覺(jué)信息進(jìn)行編碼的方法，其中每個(gè)原始圖像像素 的字節(jié)數(shù)據(jù)是R、G和B子像素字節(jié)和非顏色數(shù)據(jù)中的任意一個(gè)。
7.如權(quán)利要求6所述的在圖像上對(duì)觸覺(jué)信息進(jìn)行編碼的方法，其中當(dāng)原始圖像是動(dòng)畫(huà) gif文件時(shí)，在每個(gè)圖像幀中編碼所述編碼目標(biāo)數(shù)據(jù)。
8.一種從圖像解碼觸覺(jué)信息的方法，包括加載編碼圖像；提取所述編碼圖像的一些像素中每一個(gè)的字節(jié)數(shù)據(jù)的最低有效位(LSB)，以恢復(fù)與觸 覺(jué)信息相關(guān)聯(lián)的報(bào)頭信息；以及通過(guò)使用所述報(bào)頭信息收集確定數(shù)目像素的字節(jié)數(shù)據(jù)的最低有效位，以恢復(fù)所述觸覺(jué) fn息ο
9.如權(quán)利要求8所述的從圖像解碼觸覺(jué)信息的方法，還包括通過(guò)使用所述報(bào)頭信息和 觸覺(jué)信息來(lái)向用戶(hù)提供觸覺(jué)反饋。
10.如權(quán)利要求9所述的從圖像解碼觸覺(jué)信息的方法，其中所述提取報(bào)頭信息的步驟 加載預(yù)定數(shù)目的像素的字節(jié)數(shù)據(jù)以提取所加載字節(jié)數(shù)據(jù)的最低有效位，并且通過(guò)使用所提 取的比特來(lái)恢復(fù)所述報(bào)頭信息。
11.如權(quán)利要求10所述的從圖像解碼觸覺(jué)信息的方法，其中所述觸覺(jué)信息是空間分 布的觸覺(jué)分布數(shù)據(jù)，并且所述提供觸覺(jué)反饋的步驟放大所述觸覺(jué)信息以生成放大的觸覺(jué)信 息，并且使用所述放大的觸覺(jué)信息來(lái)提供觸覺(jué)反饋。
12.如權(quán)利要求9所述的從圖像解碼觸覺(jué)信息的方法，其中所述編碼圖像的每個(gè)像素 的字節(jié)數(shù)據(jù)是R、G和B子像素字節(jié)和非顏色數(shù)據(jù)中的任意一個(gè)。
13.—種處理觸覺(jué)信息的設(shè)備，包括觸覺(jué)信息生成器，其生成觸覺(jué)信息；報(bào)頭生成器，其與所述觸覺(jué)信息相關(guān)聯(lián)，并且與所述觸覺(jué)信息一起配置編碼目標(biāo)信息；和編碼器，其通過(guò)使用每個(gè)原始圖像像素的字節(jié)數(shù)據(jù)的最低有效位(LSB)對(duì)所述編碼目 標(biāo)數(shù)據(jù)進(jìn)行編碼，以生成編碼圖像。
14.如權(quán)利要求13所述的處理觸覺(jué)信息的設(shè)備，其中所述觸覺(jué)信息是觸覺(jué)分布數(shù)據(jù)， 并且所述觸覺(jué)信息生成器通過(guò)減小數(shù)據(jù)大小的縮小過(guò)程生成所述觸覺(jué)信息。
15.如權(quán)利要求13所述的處理觸覺(jué)信息的設(shè)備，其中所述編碼器將編碼目標(biāo)數(shù)據(jù)的每 一比特插入到原始圖像像素的一些像素中每一個(gè)的字節(jié)數(shù)據(jù)的最低有效位中，并且原樣地 保持原始圖像像素的剩余像素的字節(jié)數(shù)據(jù)的最低有效位。
16.一種處理觸覺(jué)信息的設(shè)備，包括圖像加載單元，其加載編碼圖像；報(bào)頭恢復(fù)單元，其提取所述編碼圖像的一些像素的每個(gè)字節(jié)數(shù)據(jù)的最低有效位(LSB)， 以恢復(fù)與觸覺(jué)信息相關(guān)聯(lián)的報(bào)頭信息；和觸覺(jué)信息恢復(fù)單元，其通過(guò)使用所述報(bào)頭信息來(lái)收集確定數(shù)目像素的字節(jié)數(shù)據(jù)的最低 有效位，以恢復(fù)所述觸覺(jué)信息。
17.如權(quán)利要求16所述的處理觸覺(jué)信息的設(shè)備，還包括觸覺(jué)反饋單元，其使用所述報(bào) 頭信息和觸覺(jué)信息來(lái)向用戶(hù)提供觸覺(jué)反饋。
18.如權(quán)利要求17所述的處理觸覺(jué)信息的設(shè)備，其中所述報(bào)頭恢復(fù)單元加載預(yù)定數(shù)量 的像素的字節(jié)數(shù)據(jù)，提取所加載字節(jié)數(shù)據(jù)的最低有效位，并且使用所提取的最低有效位來(lái) 恢復(fù)所述報(bào)頭信息。
19.如權(quán)利要求17所述的處理觸覺(jué)信息的設(shè)備，其中所述觸覺(jué)信息是空間分布的觸覺(jué) 分布數(shù)據(jù)，并且所述觸覺(jué)反饋單元放大所述觸覺(jué)信息以生成放大的觸覺(jué)信息，并且使用所 述放大的觸覺(jué)信息來(lái)提供觸覺(jué)反饋。
20.如權(quán)利要求17所述的處理觸覺(jué)信息的設(shè)備，其中所述觸覺(jué)反饋單元使用離心電 機(jī)、壓電元件、珀耳帖裝置、螺線管、超音速電機(jī)、觸覺(jué)臂和紋理提供設(shè)備中的任意一個(gè)來(lái)提 供觸覺(jué)反饋。
全文摘要
公開(kāi)了一種在圖象上對(duì)觸覺(jué)信息進(jìn)行編碼或者從圖像解碼觸覺(jué)信息的技術(shù)。根據(jù)本發(fā)明的在圖像上對(duì)觸覺(jué)信息進(jìn)行編碼的方法包括生成觸覺(jué)信息；通過(guò)使用所述觸覺(jué)信息和與所述觸覺(jué)信息相關(guān)聯(lián)的報(bào)頭信息生成編碼目標(biāo)數(shù)據(jù)；以及通過(guò)使用每個(gè)原始圖像像素的字節(jié)數(shù)據(jù)的最低有效位(LSB)對(duì)所述編碼目標(biāo)數(shù)據(jù)進(jìn)行編碼來(lái)生成編碼圖像。結(jié)果，本發(fā)明能夠在保持原始圖像格式的同時(shí)對(duì)觸覺(jué)信息進(jìn)行簡(jiǎn)單編碼/解碼。
文檔編號(hào)G06T9/00GK101996413SQ20101026514
公開(kāi)日2011年3月30日 申請(qǐng)日期2010年8月10日 優(yōu)先權(quán)日2009年8月10日
發(fā)明者景起旭, 樸俊錫, 權(quán)東秀, 金承燦 申請(qǐng)人:韓國(guó)電子通信研究院;韓國(guó)科學(xué)技術(shù)院