本發(fā)明涉及視覺增加智能穿戴設(shè)備技術(shù)領(lǐng)域，尤其涉及一種智能視覺輔助增強(qiáng)系統(tǒng)及其使用方法。

背景技術(shù)：

“可穿戴式智能設(shè)備”是對(duì)日常穿戴進(jìn)行智能化設(shè)計(jì)、開發(fā)出的可以穿戴的智能設(shè)備的總稱。隨著移動(dòng)互聯(lián)網(wǎng)的發(fā)展和高性能、低功耗處理芯片的應(yīng)用，可穿戴式智能設(shè)備的形態(tài)開始變得多樣化，如眼鏡、手套、手表、服飾及鞋等。目前，可穿戴式智能設(shè)備逐漸在工業(yè)、醫(yī)療、教育、娛樂等諸多領(lǐng)域表現(xiàn)出重要的研究?jī)r(jià)值和應(yīng)用潛力，其中部分新穎的可穿戴式智能設(shè)備已經(jīng)逐步商用化。

本發(fā)明主要涉及“可穿戴式智能設(shè)備”中的“頭戴式智能設(shè)備”，即智能眼鏡、智能隱形眼鏡、智能頭盔等設(shè)備。在該領(lǐng)域，主要的商用化應(yīng)用由谷歌和三星提出，此外，索尼、微軟等公司也提出了各自的產(chǎn)品原型。

谷歌眼鏡(googleprojectglass)是由谷歌公司發(fā)布的一款增強(qiáng)現(xiàn)實(shí)智能眼鏡，它集眼鏡、智能手機(jī)、gps、相機(jī)、攝像機(jī)于一身，可以將信息顯示在鏡片的微型投影儀上并疊加到用戶的視野中，在用戶眼前實(shí)時(shí)展現(xiàn)彈出式的提醒，相比手機(jī)更為直觀。谷歌眼鏡的主要功能包括拍攝照片、視頻通話、查詢天氣、查詢交通信息、地圖導(dǎo)航、網(wǎng)頁(yè)瀏覽、收發(fā)電子郵件、收發(fā)文字信息或語音信息等。谷歌眼鏡的結(jié)構(gòu)包括：攝像頭用來拍攝視頻與圖像；存儲(chǔ)傳輸模塊用于存儲(chǔ)與輸出數(shù)據(jù)；操控設(shè)備可通過語音、觸控和自動(dòng)三種模式控制，除了語音指令控制之外，還允許動(dòng)作指令控制，例如用戶只需要眨眼就能夠控制其他功能，這就需要傳感器來進(jìn)行各種動(dòng)作檢測(cè)；微型投影儀進(jìn)行信息的顯示，由于微型投影儀固定在右眼的鏡片，所以谷歌眼鏡應(yīng)用的是單眼型顯示技術(shù)；嵌入式天線能夠?qū)?shù)據(jù)傳輸?shù)狡渌O(shè)備(如智能手機(jī))上進(jìn)行處理；橫置于鼻梁上的鼻托里植入了電容，感應(yīng)器能夠辨識(shí)眼鏡是否被佩戴；電池可以支持設(shè)備的正常使用并進(jìn)行充電。

目前，谷歌正在開發(fā)智能隱形眼鏡，該應(yīng)用能夠測(cè)量佩戴者淚液中的葡萄糖，幫助糖尿病患者檢測(cè)血糖水平。該設(shè)備在軟性隱形眼鏡的兩層材料之間嵌入了微型無線芯片和小型化的葡萄糖傳感器，并集成微型led光源，通過閃光來提示葡萄糖水平超過上限或下限。此外，谷歌智能隱形眼鏡的功能還包括：追蹤佩戴者的體溫或血液中的酒精含量，檢測(cè)空氣中的過敏原和產(chǎn)品價(jià)格標(biāo)簽識(shí)別等。

三星公司也提出了智能眼鏡(gearglass)相關(guān)的專利。這款智能眼鏡不僅能夠像谷歌眼鏡一樣收發(fā)消息，拍照錄像等，其功能還包括基于現(xiàn)有內(nèi)容將其他信息疊加到用戶看到的實(shí)時(shí)景象上，比如在看國(guó)外視頻時(shí)自動(dòng)添加字幕，在看球賽時(shí)推送球員的相關(guān)信息等。gearglass允許與手機(jī)等其他設(shè)備進(jìn)行交互。

此外，三星最新獲批了智能隱形眼鏡專利，其基本形狀與一般隱形眼鏡類似，其中內(nèi)置有攝像頭、傳感器、嵌入式天線、微細(xì)屏幕等。傳感器可以檢測(cè)到各種動(dòng)作，用戶只需通過眨眼睛能夠控制其他功能，嵌入式天線能夠?qū)?shù)據(jù)傳輸?shù)街悄苁謾C(jī)上進(jìn)行處理，微細(xì)屏幕能將影像直接投射到佩戴者的眼球之上。相比傳統(tǒng)智能眼鏡，三星智能隱形眼鏡佩戴起來非常隱蔽，且圖像是直接投影到眼睛上的，不需要其他的載體。

索尼公司也提出了智能眼鏡(smarteyeglass)的原型產(chǎn)品。與谷歌眼鏡類似，smarteyeglass能在用戶的眼前實(shí)時(shí)顯示信息。與谷歌眼鏡不同的是，smarteyeglass外觀更像是普通眼鏡，在透明鏡片上以綠色的文字顯示信息。此外，smarteyeglass采用雙眼型顯示技術(shù)，使文字的顯示呈現(xiàn)距離感，從而更易閱讀，這也有別于谷歌眼鏡。smarteyeglass還集成了嵌入的攝像頭、麥克風(fēng)，以及與智能手機(jī)類似的傳感器，包括加速計(jì)、陀螺儀和數(shù)字羅盤等。

微軟公司在該領(lǐng)域提出的原型產(chǎn)品hololens也是一種增強(qiáng)現(xiàn)實(shí)全息智能眼鏡。hololens以實(shí)際周圍環(huán)境作為載體，通過在現(xiàn)實(shí)的世界里添加各種虛擬物體或信息，讓用戶以環(huán)境為載體進(jìn)行全息體驗(yàn)。hololens將人的頭部移動(dòng)虛擬成指針，將手勢(shì)用作動(dòng)作開關(guān)，而將聲音指令作為輔助，幫助切換不同的動(dòng)作指令。

技術(shù)實(shí)現(xiàn)要素：

為解決上述技術(shù)問題，本發(fā)明的目的是提供一種能夠?qū)⒂脩粢暰€內(nèi)的文字進(jìn)行注釋并疊加顯示在用戶視野中的智能視覺輔助增強(qiáng)系統(tǒng)和方法。

本發(fā)明提出的一種智能視覺輔助增強(qiáng)系統(tǒng)，包括兩個(gè)微型攝像頭、微型顯示屏、微型處理器、存儲(chǔ)模塊、麥克風(fēng)、設(shè)備控制模塊和電池；

所述兩個(gè)微型攝像頭分別為向后捕捉眼睛注視點(diǎn)以及焦距變化的后向攝像頭和獲取用戶視線集中處圖像的前向攝像頭；

所述后向攝像頭和前向攝像頭均傳信于所述微型處理器，所述微型處理器傳信于所述微型顯示屏，所述存儲(chǔ)模塊與所述微型處理器通信連接，所述后向攝像頭、前向攝像頭、微型顯示屏、微型處理器和存儲(chǔ)模塊組成增強(qiáng)現(xiàn)實(shí)設(shè)備；

所述麥克風(fēng)用于發(fā)出語音指令，所述麥克風(fēng)傳信于所述設(shè)備控制模塊，所述設(shè)備控制模塊控制所述增強(qiáng)現(xiàn)實(shí)設(shè)備的運(yùn)作；

所述電池用于提供系統(tǒng)所需的電能。

進(jìn)一步的，所述微型顯示屏呈透明狀。

進(jìn)一步的，所述系統(tǒng)為雙目式系統(tǒng)，所述系統(tǒng)運(yùn)行和關(guān)閉由用戶的語音控制。

本發(fā)明提出的一種智能視覺輔助增強(qiáng)系統(tǒng)的使用方法，包括以下步驟：

(1)自動(dòng)獲取視線中的圖像：通過系統(tǒng)前方懸置的一個(gè)后向攝像頭捕捉眼睛的注視點(diǎn)以及焦距變化，如果用戶的視線停留超過一定時(shí)間，則通過一個(gè)前向攝像頭自動(dòng)獲取用戶視線集中處的圖像；

(2)圖像處理：通過系統(tǒng)內(nèi)置的微型處理器對(duì)獲取的圖像進(jìn)行處理，獲取文字信息；

(3)虛擬顯示：將圖像中獲取的文字信息回傳至該系統(tǒng)，在微型透明顯示屏中顯示，顯示效果是在用戶眼前的環(huán)境中疊加文字信息，實(shí)現(xiàn)視覺增強(qiáng)效果。

進(jìn)一步的，步驟(1)中采用眼動(dòng)跟蹤(eyetrackingmethodology)技術(shù)，來捕捉眼睛的注視點(diǎn)以及焦距變化。

進(jìn)一步的，步驟(2)中圖像處理的方法包括以下步驟：

((a)智能文字識(shí)別：通過智能文字識(shí)別技術(shù)，將圖像中的圖片文字轉(zhuǎn)化為文本格式；

(b)智能圖像識(shí)別：對(duì)圖像本身，通過使用以圖識(shí)圖技術(shù)，獲得對(duì)圖像的說明信息的文本格式；

(c)文本注釋、翻譯：對(duì)步驟(a)和(b)中的文本進(jìn)行注解，如果該文本屬于使用者設(shè)置的母語，則注釋可以調(diào)用維基百科詞條；如果該文本對(duì)于使用者來說是非母語，則通過翻譯軟件將其轉(zhuǎn)化為使用者母語的文字，并調(diào)用維基百科詞條。

進(jìn)一步的，步驟(3)中采用光學(xué)透視式增強(qiáng)現(xiàn)實(shí)，將光投射到反射屏上，而后通過凸透鏡折射到人的眼球，在眼前形成一個(gè)足夠大的虛擬屏幕來進(jìn)行顯示，由于鏡片上的顯示屏是透明的，現(xiàn)實(shí)環(huán)境和虛擬屏幕的內(nèi)容能夠達(dá)到疊加顯示的效果。

借由上述方案，本發(fā)明至少具有以下優(yōu)點(diǎn)：該智能視覺輔助增強(qiáng)系統(tǒng)及其使用方法，該系統(tǒng)能夠像眼鏡一樣帶在用戶的臉上，采用眼動(dòng)跟蹤(eyetrackingmethodology)技術(shù)，通過后向攝像頭捕捉眼睛的注視點(diǎn)以及焦距變化，獲取用戶視線停留超過一定時(shí)間的圖像，將其轉(zhuǎn)換為文字并進(jìn)行注釋，最終回傳至該系統(tǒng)，疊加在用戶視野中進(jìn)行顯示，采用語音指令控制的模式由用戶發(fā)出語音指令，控制系統(tǒng)的運(yùn)行，該系統(tǒng)具有顯示效果好、使用簡(jiǎn)便的優(yōu)勢(shì)，可以完全獨(dú)立使用，無需線纜連接，也無需同步電腦或智能手機(jī)等設(shè)備。

上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，并可依照說明書的內(nèi)容予以實(shí)施，以下以本發(fā)明的較佳實(shí)施例并配合附圖詳細(xì)說明如后。

附圖說明

圖1為本發(fā)明一種智能視覺輔助增強(qiáng)系統(tǒng)的結(jié)構(gòu)框架圖；

圖2為本發(fā)明一種智能視覺輔助增強(qiáng)系統(tǒng)的使用方法的步驟示意圖。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例，對(duì)本發(fā)明的具體實(shí)施方式作進(jìn)一步詳細(xì)描述，以下實(shí)施例用于說明本發(fā)明，但不用來限制本發(fā)明的范圍。

實(shí)施例：一種智能視覺輔助增強(qiáng)系統(tǒng)，包括兩個(gè)微型攝像頭、微型顯示屏3、微型處理器4、存儲(chǔ)模塊5、麥克風(fēng)6、設(shè)備控制模塊7和電池8；

所述兩個(gè)微型攝像頭分別為向后捕捉眼睛注視點(diǎn)以及焦距變化的后向攝像頭1和獲取用戶視線集中處圖像的前向攝像頭2；

所述后向攝像頭和前向攝像頭均傳信于所述微型處理器，所述微型處理器傳信于所述微型顯示屏，所述存儲(chǔ)模塊與所述微型處理器通信連接，所述后向攝像頭、前向攝像頭、微型顯示屏、微型處理器和存儲(chǔ)模塊組成增強(qiáng)現(xiàn)實(shí)設(shè)備；

所述麥克風(fēng)用于發(fā)出語音指令，所述麥克風(fēng)傳信于所述設(shè)備控制模塊，所述設(shè)備控制模塊控制所述增強(qiáng)現(xiàn)實(shí)設(shè)備的運(yùn)作；

所述電池用于提供系統(tǒng)所需的電能。

進(jìn)一步的，所述微型顯示屏呈透明狀。

進(jìn)一步的，所述系統(tǒng)為雙目式系統(tǒng)，所述系統(tǒng)運(yùn)行和關(guān)閉由用戶的語音控制。

該智能視覺輔助增強(qiáng)系統(tǒng)的使用方法，包括以下步驟：

第一步，通過該系統(tǒng)前方懸置的一個(gè)后向攝像頭捕捉眼睛的注視點(diǎn)以及焦距變化，如果用戶的視線停留超過一定時(shí)間，則通過一個(gè)前向攝像頭自動(dòng)獲取用戶視線集中處的圖像，用于在下一步驟中進(jìn)行處理。這里應(yīng)用的是眼動(dòng)跟蹤(eyetrackingmethodology)技術(shù)，即對(duì)眼睛的注視點(diǎn)進(jìn)行測(cè)量的技術(shù)。當(dāng)前用于可穿戴式智能設(shè)備的眼動(dòng)跟蹤主要是基于圖像和視頻測(cè)量法，該方法囊括了多種測(cè)量可區(qū)分眼動(dòng)特征的技術(shù)，這些特征有鞏膜和虹膜的異色邊沿、角膜反射的光強(qiáng)以及瞳孔的外觀形狀等。

第二步，通過該系統(tǒng)內(nèi)置的微型處理器對(duì)獲取的圖像進(jìn)行處理，包括如下步驟：(a)通過智能文字識(shí)別技術(shù)，將圖像中的圖片文字轉(zhuǎn)化為文本格式。(b)對(duì)圖像本身，通過使用以圖識(shí)圖技術(shù)，獲得對(duì)圖像的說明信息的文本格式。(c)對(duì)步驟(a)和(b)中的文本進(jìn)行注解，如果該文本屬于使用者設(shè)置的母語，則注釋可以調(diào)用維基百科詞條；如果該文本對(duì)于使用者來說是非母語，則通過翻譯軟件將其轉(zhuǎn)化為使用者母語的文字，并調(diào)用維基百科詞條。這里還需要一個(gè)存儲(chǔ)模塊支持微型處理器的工作，用于存儲(chǔ)數(shù)據(jù)。

第三步，將上述從圖像中獲取的文字信息回傳至該系統(tǒng)，在微型透明顯示屏中顯示，顯示效果是在用戶眼前的環(huán)境中疊加文字信息。這里使用的是增強(qiáng)現(xiàn)實(shí)(augmentedreality，ar)技術(shù)，這是一種實(shí)時(shí)計(jì)算攝像機(jī)影像的位置及角度并加上相應(yīng)圖像、視頻、3d模型的技術(shù)。該技術(shù)不僅展現(xiàn)了真實(shí)世界的信息,而且將虛擬的信息同時(shí)顯示出來，相互補(bǔ)充、疊加，并進(jìn)行互動(dòng)。增強(qiáng)現(xiàn)實(shí)技術(shù)囊括了多媒體、三維建模、實(shí)時(shí)視頻顯示及控制、多傳感器融合、實(shí)時(shí)跟蹤及注冊(cè)、場(chǎng)景融合等技術(shù)。本發(fā)明使用的是光學(xué)透視式增強(qiáng)現(xiàn)實(shí)，即在增強(qiáng)現(xiàn)實(shí)中廣泛應(yīng)用的基于光學(xué)原理的穿透式(opticalsee-through)技術(shù)，其顯示方案是將光投射到反射屏上，而后通過凸透鏡折射到人的眼球，在眼前形成一個(gè)足夠大的虛擬屏幕來進(jìn)行顯示，同時(shí)，由于鏡片上的顯示屏是透明的，現(xiàn)實(shí)環(huán)境和虛擬屏幕的內(nèi)容達(dá)到疊加顯示的效果。本發(fā)明使用雙眼型顯示技術(shù)，因此，該系統(tǒng)是雙目式的。

本發(fā)明采用語音指令控制的模式，因此需要在該系統(tǒng)中配置麥克風(fēng)和設(shè)備控制模塊，由用戶發(fā)出語音指令，控制設(shè)備的運(yùn)行。電池用于支持設(shè)備的正常使用，可以通過接口或充電器進(jìn)行充電。本發(fā)明可以完全獨(dú)立使用，因此無需線纜連接，也無需同步電腦或智能手機(jī)等設(shè)備。

舉例：用戶佩戴該智能視覺輔助增強(qiáng)系統(tǒng)，視線中出現(xiàn)一張英文的電影海報(bào)，用戶注視該海報(bào)，該系統(tǒng)通過智能圖像識(shí)別和智能文字識(shí)別，獲取海報(bào)上的英文為“harrypotterandthesorcerer'sstone”，由于用戶設(shè)置的母語為中文，該系統(tǒng)將其翻譯為“哈利·波特與魔法石”，疊加顯示在視線中英文名稱的附近，對(duì)于海報(bào)本身，則在其附近顯示維基百科中對(duì)于這部電影的詞條注釋。

以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，并不用于限制本發(fā)明，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明技術(shù)原理的前提下，還可以做出若干改進(jìn)和變型，這些改進(jìn)和變型也應(yīng)視為本發(fā)明的保護(hù)范圍。