本發(fā)明屬于深度學(xué)習(xí)目標(biāo)檢測(cè)算法應(yīng)用與ar眼鏡應(yīng)用。具體而言，涉及一種幫助老年人等患有視力缺陷的人群識(shí)別特定物體的基于ar技術(shù)的文字與交通燈識(shí)別系統(tǒng)。

背景技術(shù)：

1、ar眼鏡，即增強(qiáng)現(xiàn)實(shí)眼鏡，是一種將虛擬信息與真實(shí)世界融合的穿戴設(shè)備。它通過光學(xué)元件將計(jì)算機(jī)生成的圖像覆蓋在用戶的視野中，從而使用戶能夠在現(xiàn)實(shí)世界中看到虛擬物體。這些虛擬物體可以是文字、圖像、視頻、3d模型等，它們可以與現(xiàn)實(shí)世界的物體互動(dòng)、疊加，為用戶帶來豐富、立體的增強(qiáng)現(xiàn)實(shí)體驗(yàn)。近年來，隨著ar及芯片技術(shù)的不斷發(fā)展，ar眼鏡的功能不斷完善，ar設(shè)備的算力不斷提升,ar眼鏡的體驗(yàn)逐漸改善，ar眼鏡在愈來愈多領(lǐng)域中得到應(yīng)用。

2、深度學(xué)習(xí)是一種通過神經(jīng)網(wǎng)絡(luò)模擬人腦學(xué)習(xí)過程的機(jī)器學(xué)習(xí)技術(shù)。它通過大量數(shù)據(jù)訓(xùn)練模型，使其能夠自動(dòng)學(xué)習(xí)和提取數(shù)據(jù)中的特征，從而進(jìn)行預(yù)測(cè)和分類。深度學(xué)習(xí)在計(jì)算機(jī)視覺、自然語言處理、語音識(shí)別等領(lǐng)域取得了顯著的成果。目標(biāo)檢測(cè)算法是計(jì)算機(jī)視覺領(lǐng)域中的一個(gè)重要任務(wù)，旨在從圖像或視頻中識(shí)別和定位圖像中的目標(biāo)物體?；谏疃葘W(xué)習(xí)的目標(biāo)檢測(cè)算法，如r-cnn、fast/faster?r-cnn、yolo、ssd等，通過神經(jīng)網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)圖像特征，從而實(shí)現(xiàn)目標(biāo)檢測(cè)。這類算法在處理復(fù)雜場(chǎng)景、小目標(biāo)和實(shí)時(shí)檢測(cè)方面具有較好的性能。近年來，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法得到了廣泛的研究和應(yīng)用，深度學(xué)習(xí)目標(biāo)檢測(cè)算法在各項(xiàng)公開數(shù)據(jù)集上的性能也在不斷提升。

3、患有視力缺陷老年人群體在自然生活場(chǎng)景中需要接觸大量文字信息和各種標(biāo)識(shí)，他們?cè)谟^察辨認(rèn)近處較小的文字或遠(yuǎn)處的標(biāo)識(shí)(如交通指示燈)時(shí)比較困難。通常的解決方式是通過佩戴不同的眼鏡矯正，但是這個(gè)方式在要處理某些特定的信息如在自然環(huán)境的文字或者遠(yuǎn)處的交通燈標(biāo)識(shí)時(shí)顯得不夠智能和靈活。本技術(shù)首次嘗試通過在ar眼鏡中部署深度學(xué)習(xí)模型，并設(shè)計(jì)相應(yīng)的應(yīng)用程序，來幫助患有視力缺陷的老年人群體識(shí)別上文中的文字和交通燈標(biāo)識(shí)。

技術(shù)實(shí)現(xiàn)思路

1、技術(shù)問題：鑒于現(xiàn)有技術(shù)中的上述缺陷或不足，本發(fā)明旨在提供一種基于ar技術(shù)的文字與交通燈識(shí)別系統(tǒng)及工作方法，結(jié)合深度學(xué)習(xí)目標(biāo)檢測(cè)算法、ar技術(shù)，通過將深度學(xué)習(xí)模型部署到ar眼鏡上并設(shè)計(jì)對(duì)應(yīng)的人機(jī)交互程序幫助老年人等患有視力缺陷的群體辨認(rèn)生活中的文字信息及交通等標(biāo)識(shí)。

2、技術(shù)方案：為實(shí)現(xiàn)上述目的，本發(fā)明基于ar技術(shù)的文字與交通燈識(shí)別系統(tǒng)包括圖像采集模塊、中央處理模塊、圖像顯示模塊，其中，圖像采集模塊由ar設(shè)備攝像頭組成采集實(shí)時(shí)視頻流，圖像采集模塊輸出的視頻流信息連接到中央處理模塊，經(jīng)過中央處理模塊處理的視頻流信息傳輸?shù)接蒩r設(shè)備顯示終端組成的圖像顯示模塊進(jìn)行顯示。

3、根據(jù)權(quán)利要求1所述的基于ar技術(shù)的文字與交通燈識(shí)別系統(tǒng)，其特征在于：所述圖像采集模塊包括ar設(shè)備內(nèi)置的攝像頭、移動(dòng)攝像頭或手機(jī)。

4、所述中央處理模塊包括順序連接的圖像預(yù)處理模塊、目標(biāo)檢測(cè)模塊、人機(jī)交互程序模塊；其中，圖像預(yù)處理模塊包括順序連接的視頻解碼模塊、圖像裁剪模塊、圖像濾波；目標(biāo)檢測(cè)模塊包括模型切換模塊、圖像檢測(cè)、深度學(xué)習(xí)目標(biāo)檢測(cè)模型，其中，深度學(xué)習(xí)目標(biāo)檢測(cè)模型包括文字檢測(cè)模型、交通燈檢測(cè)模型；人機(jī)交互程序模塊包括設(shè)備穩(wěn)定檢測(cè)模塊、檢測(cè)信息接收模塊、圖像放大模塊、亮度調(diào)整模塊、對(duì)比度調(diào)整模塊。

5、所述圖像顯示模塊包括微顯示器、光波導(dǎo)及光學(xué)鏡頭組成的ar設(shè)備顯示終端。

6、本發(fā)明所述基于ar技術(shù)的文字與交通燈識(shí)別系統(tǒng)的工作方法如下：

7、步驟一、使用者佩戴ar設(shè)備，采集實(shí)時(shí)視頻信息：

8、所述圖像采集模塊正常工作時(shí)，ar設(shè)備通過攝像頭采集實(shí)時(shí)視頻信息，通過正確佩戴ar設(shè)備，使攝像頭采集圖像與佩戴者人眼視野內(nèi)容保持一致；

9、步驟二、對(duì)采集的實(shí)時(shí)視頻流進(jìn)行解碼、裁剪、濾波的圖像預(yù)處理操作：

10、所述圖像采集模塊采集的實(shí)時(shí)視頻流傳輸?shù)街醒胩幚砟K中中的圖像預(yù)處理模塊；圖像預(yù)處理模塊中的視頻解碼模塊從視頻流中解碼每一幀圖像并傳入圖像裁剪模塊對(duì)每一幀圖像進(jìn)行裁剪，裁剪操作后的圖像傳入圖像濾波模塊，得到處理的圖像信息，在該模塊采用中值濾波以及高斯濾波算法減少圖像噪點(diǎn)，提高圖像質(zhì)量；

11、步驟三、對(duì)預(yù)處理后的圖像進(jìn)行目標(biāo)物檢測(cè)，獲取目標(biāo)物的類別信息及目標(biāo)物在圖像中的位置信息：

12、所述圖像預(yù)處理模塊連接目標(biāo)檢測(cè)模塊，將處理的圖像信息傳輸至目標(biāo)檢測(cè)模塊；在目標(biāo)檢測(cè)模塊中植入深度學(xué)習(xí)目標(biāo)檢測(cè)模型以實(shí)現(xiàn)對(duì)應(yīng)目標(biāo)檢測(cè)物-文字及交通燈的檢測(cè)與識(shí)別，在該部分植入的深度學(xué)習(xí)目標(biāo)檢測(cè)模型包括文字檢測(cè)模型以及交通燈檢測(cè)模型，以通過模型切換模塊切換使用文字檢測(cè)模型或者交通燈檢測(cè)；在圖像檢測(cè)模塊中實(shí)現(xiàn)對(duì)目標(biāo)檢測(cè)物的檢測(cè)并獲取目標(biāo)物的類別信息及目標(biāo)物在圖像中的位置信息并將這些類別信息及位置信息傳遞至人機(jī)交互程序模塊中的檢測(cè)信息接收模塊；

13、步驟四、通過人機(jī)交互程序?qū)崿F(xiàn)圖像放大、圖像清晰化的人機(jī)交互操作：

14、目標(biāo)檢測(cè)模塊連接人機(jī)交互程序模塊，將目標(biāo)檢測(cè)物的類別信息、目標(biāo)物在圖像中的位置信息以及圖像信息傳遞到人機(jī)交互程序模塊中的檢測(cè)信息接收模塊；人機(jī)交互程序模塊根據(jù)目標(biāo)檢測(cè)物的類別信息以及目標(biāo)物在圖像中的位置信息判斷是否對(duì)圖像進(jìn)行放大及圖像清晰化操作；其中，圖像清晰化操作包括圖像亮度調(diào)整操作以及圖像對(duì)比度調(diào)整操作；圖像放大操作由圖像放大模塊實(shí)現(xiàn)，圖像亮度調(diào)整及清晰度調(diào)整分別由亮度調(diào)整模塊與對(duì)比度調(diào)整模塊實(shí)現(xiàn)；

15、步驟五，經(jīng)過步驟四處理的圖像由ar設(shè)備顯示：

16、人機(jī)交互程序模塊連接圖像顯示模塊，經(jīng)過步驟四處理的圖像信息傳輸至由ar設(shè)備顯示終端進(jìn)行顯示；使用者在ar設(shè)備觀察到被放大后的目標(biāo)檢測(cè)物的圖像內(nèi)容。

17、所述人機(jī)交互程序模塊的工作流程為：

18、步驟一、設(shè)備啟動(dòng)后，人機(jī)交互程序模塊中的設(shè)備穩(wěn)定檢測(cè)模塊工作；程序檢測(cè)移動(dòng)設(shè)備即ar設(shè)備是否處于穩(wěn)定狀態(tài)，當(dāng)ar設(shè)備處于穩(wěn)定狀態(tài)時(shí)，程序認(rèn)為使用者已經(jīng)佩戴好ar設(shè)備并且已經(jīng)處于平靜狀態(tài)；當(dāng)ar設(shè)備沒有處于穩(wěn)定狀態(tài)時(shí)，程序則認(rèn)為使用者還未佩戴好ar設(shè)備，則程序?qū)?huì)繼續(xù)進(jìn)行步驟一，直到設(shè)備穩(wěn)定；

19、步驟二、以上的步驟一中程序判斷使用者已經(jīng)佩戴好ar設(shè)備后，人機(jī)交互程序模塊中的檢測(cè)信息接收模塊工作；程序根據(jù)檢測(cè)信息接收模塊接受的目標(biāo)物類別及位置信息判斷感興趣區(qū)域內(nèi)是否存在目標(biāo)檢測(cè)物-文字及交通燈；其中，感興趣區(qū)域是人機(jī)交互程序界面中央位置劃定的一個(gè)矩形區(qū)域；使用者佩戴ar設(shè)備后感興趣區(qū)域的矩形邊界框?qū)@示在使用者的視野中央，ar設(shè)備顯示的矩形邊界框會(huì)與人眼觀察的視野重疊，當(dāng)使用者佩戴好ar設(shè)備后，矩形框內(nèi)的人眼視野中內(nèi)容將會(huì)被檢測(cè)；如果在感興趣區(qū)域內(nèi)存在目標(biāo)檢測(cè)物，則進(jìn)行以下的步驟三，如果沒有檢測(cè)到目標(biāo)檢測(cè)物，該步驟中程序界面不發(fā)生變化；

20、步驟三、該步驟人機(jī)交互程序模塊中的圖像放大模塊、亮度調(diào)整模塊、對(duì)比度調(diào)整模塊工作；若步驟二中的感興趣區(qū)域內(nèi)存在目標(biāo)被檢測(cè)物，在程序?qū)⒏信d趣區(qū)域內(nèi)的內(nèi)容進(jìn)行放大、亮度調(diào)整以及對(duì)比度調(diào)整操作；經(jīng)過上述一系列操作后生成的圖像在ar設(shè)備顯示終端顯示，圖像質(zhì)量會(huì)得到一定的提升；一旦進(jìn)行了放大、亮度調(diào)整以及對(duì)比度調(diào)整操作后程序則進(jìn)行以下步驟四中的判斷；

21、步驟四、該步驟人機(jī)交互程序模塊中檢測(cè)信息接收模塊工作；出現(xiàn)步驟三中的操作后一定時(shí)間內(nèi)程序持續(xù)判斷在感興趣區(qū)域內(nèi)是否存在目標(biāo)檢測(cè)物；若在感興趣區(qū)域不再存在目標(biāo)檢測(cè)物，程序?qū)?huì)進(jìn)行到步驟一；若在感興趣區(qū)域存在目標(biāo)檢測(cè)物，程序?qū)⒗^續(xù)重復(fù)步驟三中的操作直到感興趣區(qū)域內(nèi)不再存在目標(biāo)檢測(cè)物，回到執(zhí)行步驟一。

22、有益效果：相對(duì)于現(xiàn)有技術(shù)，本發(fā)明的優(yōu)點(diǎn)如下：

23、1.將深度學(xué)習(xí)目標(biāo)檢測(cè)模型植入ar設(shè)備中，采用深度學(xué)習(xí)模型識(shí)別目標(biāo)檢測(cè)物-文字信息與交通燈，幫助過濾掉無關(guān)信息，只對(duì)特定信息進(jìn)行操作，并且在程序內(nèi)部能切換不同的深度學(xué)習(xí)目標(biāo)檢測(cè)模型，實(shí)現(xiàn)對(duì)不同目標(biāo)檢測(cè)物的檢測(cè)及識(shí)別。對(duì)于老年人等視力缺陷群體，相比傳統(tǒng)的佩戴眼鏡矯正視力，該方式更加靈活與智能。

24、2.通過ar設(shè)備攝像頭采集實(shí)時(shí)視頻信息并對(duì)視頻信息進(jìn)行實(shí)時(shí)處理，且實(shí)時(shí)優(yōu)化圖像的顯示質(zhì)量。采用ar應(yīng)用將虛擬信息處理后并顯示在ar設(shè)備上，使用者佩戴一個(gè)ar設(shè)備即可以完成信息的采集、處理、顯示等操作，降低了系統(tǒng)復(fù)雜度，設(shè)備輕便，方便佩戴者使用。