一種融合觸覺(jué)感知功能的視頻聊天方法和終端的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及人機(jī)交互領(lǐng)域，具體設(shè)及一種融合觸覺(jué)感知功能的視頻聊天終端和方 法。
【背景技術(shù)】
[0002] 視頻聊天技術(shù)改變了傳統(tǒng)網(wǎng)絡(luò)通訊的質(zhì)量和形式，使交流不再只是局限于普通語(yǔ) 言文字，利用視頻讓天各一方的人們能夠彼此相見(jiàn)。但是視頻聊天技術(shù)僅能傳遞視頻和音 頻信息，不能傳遞觸覺(jué)信息，交流的雙方"可看而不可摸"，降低了交流的真實(shí)性。將觸覺(jué)再 現(xiàn)技術(shù)與多媒體技術(shù)相結(jié)合，開(kāi)發(fā)不僅能夠傳遞視頻、音頻等信息，還能夠傳遞觸覺(jué)信息的 產(chǎn)品，可W豐富人們交流的體驗(yàn)，是人機(jī)交互領(lǐng)域發(fā)展的重要方向。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明提供一種融合觸覺(jué)感知功能的視頻聊天終端和方法，W解決視頻聊天中只 能觀看視頻，不能同時(shí)進(jìn)行觸覺(jué)感知的問(wèn)題。
[0004] 本發(fā)明一種融合觸覺(jué)感知功能的視頻聊天終端，包括：
[0005] 核屯、處理器，通過(guò)數(shù)據(jù)接口連接各個(gè)設(shè)備，控制采集、發(fā)送、接收和顯示視頻數(shù)據(jù)， 并對(duì)接收的視頻數(shù)據(jù)進(jìn)行處理，提取其觸覺(jué)特征信息，接收手指位置信息，控制觸覺(jué)激勵(lì)信 號(hào)生成器產(chǎn)生相應(yīng)的觸覺(jué)信號(hào)；
[0006] 位置檢測(cè)裝置，采用光學(xué)定位裝置，用于獲取手指觸摸面板的位置坐標(biāo)，通過(guò)USB 接口傳送給核屯、處理器；
[0007] 視頻顯示屏幕，通過(guò)VGA接口連接到核屯、處理器，用于顯示視頻數(shù)據(jù)。
[000引觸覺(jué)再現(xiàn)面板，觸覺(jué)再現(xiàn)面板分為=層，由上至下依次為透明絕緣層，透明導(dǎo)電極 板、透明玻璃板，透明導(dǎo)電極板和觸覺(jué)激勵(lì)信號(hào)生成器連接，向透明導(dǎo)電極板上加載變化的 激勵(lì)信號(hào)，手指可W在觸覺(jué)再現(xiàn)面板上感受不同的觸覺(jué)刺激；
[0009] 觸覺(jué)激勵(lì)信號(hào)生成器，通過(guò)UATR接口連接到核屯、處理器，接收核屯、處理器發(fā)送的 指令信息，生成相應(yīng)的觸覺(jué)激勵(lì)信號(hào)，加載至觸覺(jué)再現(xiàn)面板；
[0010] 視頻采集卡，通過(guò)USB接口連接到核屯、處理器，接收處理器的指令信息，用于配置 攝像頭采集視頻的格式和參數(shù)，并將視頻數(shù)據(jù)傳輸給核屯、處理器；
[0011] 攝像頭，用于采集用戶的視頻數(shù)據(jù)；
[0012] 網(wǎng)絡(luò)傳輸設(shè)備，通過(guò)PCI接口連接到核屯、處理器，用于轉(zhuǎn)發(fā)和接收視頻數(shù)據(jù)。
[0013] 本發(fā)明一種實(shí)施方式是所述位置檢測(cè)裝置、視頻顯示屏幕和觸覺(jué)再現(xiàn)面板在空間 上的分布為；從上到下依次為位置檢測(cè)裝置、觸覺(jué)再現(xiàn)面板、視頻顯示屏幕，且位置檢測(cè)裝 置采用邊框定位，手指可直接觸摸到觸覺(jué)再現(xiàn)面板，觸覺(jué)再現(xiàn)面板為透明的結(jié)構(gòu)，人眼可直 接觀看視頻顯示屏幕，不受遮擋。
[0014] 本發(fā)明一種實(shí)施方式是所述觸覺(jué)激勵(lì)信號(hào)生成器，其特征在于；包括通訊接口、信 號(hào)發(fā)生器、功率放大器和安全電路，信號(hào)發(fā)生器通過(guò)通訊接口接收核屯、處理器發(fā)送的指令 信息，根據(jù)指令信息生成相應(yīng)的激勵(lì)信號(hào)，通過(guò)功率放大器放大后由輸出接口加載至觸覺(jué) 再現(xiàn)面板，安全電路用來(lái)限制過(guò)載的電壓或電流，保證人體安全。
[0015] 本發(fā)明一種實(shí)施方式是所述安全電路包括過(guò)壓保護(hù)電路、限流保護(hù)電路：
[0016] 所述的過(guò)壓保護(hù)電路包括電烙絲F、穩(wěn)壓管化、電阻R1和受控二極管T，所述的輸 入信號(hào)端正極、電烙絲F、穩(wěn)壓管化、電阻R1、輸入信號(hào)端負(fù)極依次串聯(lián)連接組成回路，受控 二極管T并聯(lián)連接到穩(wěn)壓管化和電阻R1形成支路的兩端，穩(wěn)壓管化和電阻R1的公共端 連接到受控二極管T的受控端；
[0017] 所述的限流保護(hù)電路包括電阻R2、電阻R3、電阻R4、電阻R5、S極管P1、和場(chǎng)效應(yīng) 管P2,所述的輸出信號(hào)端正極、電阻R2、電阻R3、輸出信號(hào)端負(fù)極依次串聯(lián)連接組成回路， 所述的電阻R4、=極管P1所形成支路并聯(lián)連接在電阻R2和電阻R3所形成支路兩端，電阻 R2和電阻R3的公共端連接到=極管P1的基極端，所述的場(chǎng)效應(yīng)管P2和電阻R5串聯(lián)連接 所形成的支路并聯(lián)連接到所述的電阻R4和=極管P1串聯(lián)連接所形成支路的兩端，電阻R4 和=極管P1的公共端連接到場(chǎng)效應(yīng)管P2源極端；
[0018] 所述的限流保護(hù)電路的電阻R2和電阻R3所形成支路并聯(lián)連接到受控二極管T的 兩端。
[0019] 一種融合觸覺(jué)感知功能的視頻聊天方法，其特征在于包括下列步驟：
[0020] 1)終端一與終端二建立數(shù)據(jù)連接；
[0021] 2)終端一采集終端一用戶的視頻數(shù)據(jù)，將視頻數(shù)據(jù)轉(zhuǎn)發(fā)至終端二；
[0022] 3)終端二獲取終端一轉(zhuǎn)發(fā)的視頻數(shù)據(jù)，并對(duì)其進(jìn)行實(shí)時(shí)處理，提取視頻中的觸覺(jué) 特征信息，具體處理算法如下；
[0023] 第一步，對(duì)視頻數(shù)據(jù)的處理主要是對(duì)視頻帖的處理，假設(shè)該視頻中某一視頻帖 Pixj，該視頻帖大小為iXj個(gè)像素，i為視頻帖像素行數(shù)，j為視頻帖像素列數(shù)；
[0024]
【主權(quán)項(xiàng)】
1. 一種融合觸覺(jué)感知功能的視頻聊天終端，其特征在于包括： 核心處理器，通過(guò)數(shù)據(jù)接口連接各個(gè)設(shè)備，控制采集、發(fā)送、接收和顯示視頻數(shù)據(jù)，并對(duì) 接收的視頻數(shù)據(jù)進(jìn)行處理，提取其觸覺(jué)特征信息，接收手指位置信息，控制觸覺(jué)激勵(lì)信號(hào)生 成器產(chǎn)生相應(yīng)的觸覺(jué)信號(hào)； 位置檢測(cè)裝置，采用光學(xué)定位裝置，用于獲取手指觸摸面板的位置坐標(biāo)，通過(guò)USB接口 傳送給核心處理器； 視頻顯示屏幕，通過(guò)VGA接口連接到核心處理器，用于顯示視頻數(shù)據(jù)； 觸覺(jué)再現(xiàn)面板，觸覺(jué)再現(xiàn)面板分為三層，由上至下依次為透明絕緣層，透明導(dǎo)電極板、 透明玻璃板，透明導(dǎo)電極板和觸覺(jué)激勵(lì)信號(hào)生成器連接，向透明導(dǎo)電極板上加載變化的激 勵(lì)信號(hào)，手指可以在觸覺(jué)再現(xiàn)面板上感受不同的觸覺(jué)刺激； 觸覺(jué)激勵(lì)信號(hào)生成器，通過(guò)UATR接口連接到核心處理器，接收核心處理器發(fā)送的指令 信息，生成相應(yīng)的觸覺(jué)激勵(lì)信號(hào)，加載至觸覺(jué)再現(xiàn)面板； 視頻采集卡，通過(guò)USB接口連接到核心處理器，接收處理器的指令信息，用于配置攝像 頭采集視頻的格式和參數(shù)，并將視頻數(shù)據(jù)傳輸給核心處理器； 攝像頭，用于采集用戶的視頻數(shù)據(jù)； 網(wǎng)絡(luò)傳輸設(shè)備，通過(guò)PCI接口連接到核心處理器，用于轉(zhuǎn)發(fā)和接收視頻數(shù)據(jù)。
2. 根據(jù)權(quán)利要求1所述的一種融合觸覺(jué)感知功能的視頻聊天終端，其特征在于：所述 位置檢測(cè)裝置、視頻顯示屏幕和觸覺(jué)再現(xiàn)面板在空間上的分布為：從上到下依次為位置檢 測(cè)裝置、觸覺(jué)再現(xiàn)面板、視頻顯示屏幕，且位置檢測(cè)裝置采用邊框定位，手指可直接觸摸到 觸覺(jué)再現(xiàn)面板，觸覺(jué)再現(xiàn)面板為透明的結(jié)構(gòu)，人眼可直接觀看視頻顯示屏幕，不受遮擋。
3. 根據(jù)權(quán)利要求1所述的一種融合觸覺(jué)感知功能的視頻聊天終端，其特征在于：觸覺(jué) 激勵(lì)信號(hào)生成器包括通訊接口、信號(hào)發(fā)生器、功率放大器和安全電路，信號(hào)發(fā)生器通過(guò)通訊 接口接收核心處理器發(fā)送的指令信息，根據(jù)指令信息生成相應(yīng)的激勵(lì)信號(hào)，通過(guò)功率放大 器放大后由輸出接口加載至觸覺(jué)再現(xiàn)面板，安全電路用來(lái)限制過(guò)載的電壓或電流。
4. 根據(jù)權(quán)利要求3所述的一種融合觸覺(jué)感知功能的視頻聊天終端，其特征在于：觸覺(jué) 激勵(lì)信號(hào)生成器的安全電路包括過(guò)壓保護(hù)電路、限流保護(hù)電路： 所述的過(guò)壓保護(hù)電路包括電熔絲F、穩(wěn)壓管Vz、電阻Rl和受控二極管T，所述的輸入信 號(hào)端正極、電熔絲F、穩(wěn)壓管Vz、電阻R1、輸入信號(hào)端負(fù)極依次串聯(lián)連接組成回路，受控二極 管T并聯(lián)連接到穩(wěn)壓管Vz和電阻Rl形成支路的兩端，穩(wěn)壓管Vz和電阻Rl的公共端連接 到受控二極管T的受控端； 所述的限流保護(hù)電路包括電阻R2、電阻R3、電阻R4、電阻R5、三極管P1、和場(chǎng)效應(yīng)管P2,所述的輸出信號(hào)端正極、電阻R2、電阻R3、輸出信號(hào)端負(fù)極依次串聯(lián)連接組成回路，所 述的電阻R4、三極管Pl所形成支路并聯(lián)連接在電阻R2和電阻R3所形成支路兩端，電阻R2 和電阻R3的公共端連接到三極管Pl的基極端，所述的場(chǎng)效應(yīng)管P2和電阻R5串聯(lián)連接所 形成的支路并聯(lián)連接到所述的電阻R4和三極管Pl串聯(lián)連接所形成支路的兩端，電阻R4和 三極管Pl的公共端連接到場(chǎng)效應(yīng)管P2源極端； 所述的限流保護(hù)電路的電阻R2和電阻R3所形成支路并聯(lián)連接到受控二極管T的兩 端。
5. -種融合觸覺(jué)感知功能的視頻聊天方法，其特征在于包括下列步驟： 1) 終端一與終端二建立數(shù)據(jù)連接； 2) 終端一采集終端一用戶的視頻數(shù)據(jù)，將視頻數(shù)據(jù)轉(zhuǎn)發(fā)至終端二； 3) 終端二獲取終端一轉(zhuǎn)發(fā)的視頻數(shù)據(jù)，并對(duì)其進(jìn)行實(shí)時(shí)處理，提取視頻中的觸覺(jué)特征 信息，具體處理算法如下： 第一步，對(duì)視頻數(shù)據(jù)的處理主要是對(duì)視頻幀的處理，假設(shè)該視頻中某一視頻幀Pixj，該 視頻幀大小為iXj個(gè)像素，i為視頻幀像素行數(shù)，j為視頻幀像素列數(shù)：
采用加權(quán)平均法對(duì)視頻幀PiM進(jìn)行灰度化，得到每個(gè)像素點(diǎn)的灰度值h_，計(jì)算公式 為： hm；n= 0. 30XRmn+0. 59XGm；n+0.1 lXBmn 其中心11、61^和81^為像素點(diǎn)？ 1^的紅、綠、藍(lán)三個(gè)顏色分量，111，11是該像素點(diǎn)的坐標(biāo) 值，mG{〇, 1，? ? ?，i-1}，nG{〇, 1，? ? ?，j-1}得到灰度視頻幀Hixj:
第二步，對(duì)灰度視頻幀Hixj進(jìn)行梯度化處理，采用后向差分算法：
將視頻幀的灰度值和梯度值相加，得到梯度增強(qiáng)視頻幀Eixj:
計(jì)算公式為： ?m, n h m，n+f m, n 將梯度增強(qiáng)視頻幀Ei>Q_進(jìn)行歸一化，得到包含視頻幀的觸覺(jué)特征信息歸一化梯度增強(qiáng) 視頻幀Sixj:
4)終端二為終端二用戶在視頻顯示屏幕上顯示某一原始視頻幀Pixj的視頻信息，獲取 終端二用戶手指觸摸的位置坐標(biāo)（Px，Py)，通過(guò)空間變換矩陣H將位置坐標(biāo)（Px，Py)轉(zhuǎn)換為 該視頻幀的像素點(diǎn)坐標(biāo)（m，n)，并調(diào)取該點(diǎn)像素值sm，n，根據(jù)激勵(lì)信號(hào)幅度變化的范圍，計(jì)算 該像素點(diǎn)下的觸覺(jué)激勵(lì)信號(hào)幅度值V(t)，使用戶二用戶的手指可以感知該像素點(diǎn)相應(yīng)的觸 覺(jué)力刺激匕，通過(guò)手指移動(dòng)觸摸，可感知其他像素點(diǎn)對(duì)應(yīng)的觸覺(jué)力刺激，實(shí)現(xiàn)融合觸覺(jué)感知 功能的視頻聊天，計(jì)算公式為：
其中，Vmax是觸覺(jué)激勵(lì)信號(hào)生成器能夠產(chǎn)生的最大幅度值，卩^是觸覺(jué)激勵(lì)信號(hào)生成器 能夠產(chǎn)生的最小，幅度值％為真空絕對(duì)介電常數(shù)，A為手指與導(dǎo)電極板接觸面積，a為人 體手指角質(zhì)層介電常數(shù)。
【專利摘要】本發(fā)明涉及一種融合觸覺(jué)感知功能的視頻聊天方法和終端，屬于人機(jī)交互領(lǐng)域。包括核心處理器，位置檢測(cè)裝置、視頻顯示屏幕、觸覺(jué)再現(xiàn)面板、觸覺(jué)激勵(lì)信號(hào)生成器、視頻采集卡、攝像頭和網(wǎng)絡(luò)傳輸設(shè)備，終端一與終端二通過(guò)網(wǎng)絡(luò)傳輸設(shè)備建立數(shù)據(jù)連接，終端一采集終端一用戶的視頻數(shù)據(jù)，并將其轉(zhuǎn)發(fā)至終端二，終端二接收終端一轉(zhuǎn)發(fā)的視頻數(shù)據(jù)，對(duì)視頻數(shù)據(jù)進(jìn)行實(shí)時(shí)處理，提取其觸覺(jué)特征信息，并控制觸覺(jué)激勵(lì)信號(hào)生成器產(chǎn)生相應(yīng)的觸覺(jué)激勵(lì)信號(hào)，加載到觸覺(jué)再現(xiàn)面板，終端二用戶可以通過(guò)視頻顯示屏幕觀看終端一用戶的視頻信息，同時(shí)也可以通過(guò)手指觸摸感知終端一用戶的觸覺(jué)特征信息，豐富用戶視頻聊天交互的體驗(yàn)，采用的計(jì)算方法復(fù)雜度低，處理周期短，滿足系統(tǒng)的實(shí)時(shí)性要求。
【IPC分類】H04N7-14, G06F3-041
【公開(kāi)號(hào)】CN104717449
【申請(qǐng)?zhí)枴緾N201510141243
【發(fā)明人】孫曉穎, 吳賽文, 王慶龍, 董楊瑞, 王婷婷, 龍慧, 陳建
【申請(qǐng)人】吉林大學(xué)
【公開(kāi)日】2015年6月17日
【申請(qǐng)日】2015年3月29日