本發(fā)明屬于導盲,具體涉及一種智能導盲方法、輪椅、計算機設備和儲存介質。
背景技術:
1、老齡化社會對于出行輔助設備的需求日益增長;傳統(tǒng)的出行輔助方式如人工照顧、盲道導引、手杖探路和導盲犬,雖然在一定程度上為視障人群提供了幫助,但均存在明顯的局限性,如依賴性強、覆蓋范圍有限、維護成本高等。
2、新興的電子導盲系統(tǒng)結合超聲波傳感器、激光雷達、gps和其他傳感技術,通過可穿戴設備或手持裝置向用戶提供聲音、震動或其他形式的導航信息。激光雷達通過發(fā)射激光脈沖并接收反射信號,精確測量周圍物體的距離和形狀,生成環(huán)境的三維地圖。
3、雖然電子導盲系統(tǒng)能夠提供更多維度的環(huán)境信息,但其對環(huán)境條件敏感,系統(tǒng)復雜度高,用戶學習成本大,且維護更新成本高。激光雷達技術雖然能夠提供精確的三維環(huán)境信息,但高昂的成本、在特殊天氣條件下的性能不穩(wěn)定以及難以識別障礙物的類型和屬性等問題限制了其在導盲領域的應用。
技術實現(xiàn)思路
1、發(fā)明目的:為了解決上述問題,本發(fā)明提供了一種智能導盲方法、輪椅、計算機設備和儲存介質。
2、技術方案:一種智能導盲方法,包括以下步驟:
3、接收用戶的語音輸入,基于所述語音輸入解析出地理位置關鍵信息;基于所述地理位置關鍵信息發(fā)送語音反饋指令;所述語音反饋指令用于與用戶交互確認地理位置關鍵信息是否為目的地的信息:若是,則執(zhí)行以下步驟:
4、獲取當前位置信息并將其設置為初始位置點,將所述地理位置關鍵信息設置為目標點;基于所述初始位置點和目標點生成n條出行路線;從n條出行路線中選擇最優(yōu)路線,基于所述最優(yōu)路線發(fā)送導航出行指令;
5、于導航出行過程中實時獲取路況圖像,基于所述路況圖像判斷路況中是否存在障礙物:若是,則發(fā)送避障指令;反之,則發(fā)送保持現(xiàn)狀指令,所述保持現(xiàn)狀指令為繼續(xù)移動并持續(xù)獲取分析路況圖像,直至達到目標點。
6、在進一步的實施例中,從n條出行路線中選擇最優(yōu)路線,包括以下步驟:
7、獲取每條出行路線的路線優(yōu)選參數;所述路線優(yōu)選參數至少包括:路線耗時、路程開銷、換乘數量、人流量;
8、對所述路線優(yōu)選參數進行評分并賦予相應的權重參數;基于所述評分和權重參數,計算出每條出行路線的優(yōu)選分數;基于所述優(yōu)選分數從n條出行路線確定出最優(yōu)路線。
9、在進一步的實施例中,基于所述路況圖像判斷路況中是否存在障礙物,包括以下步驟:
10、對所述路況圖像進行預處理,將預處理后的路況圖像輸入至障礙物識別模型中,輸出障礙物信息;所述障礙物信息至少包括物體類別信息、物體檢測框信息、物體類別置信度、以及物體與自身距離。
11、在進一步的實施例中,所述障礙物識別模型的構建過程如下:
12、獲取道路中存在的障礙物圖像,對所述障礙物圖像進行標注;將標注后的障礙物圖像劃分為訓練集圖像和測試集圖像;對所述訓練集圖像進行增強,將測試集圖像輸入目標檢測模型得到預測框;
13、基于所述預測框的位置和所述障礙物圖像標注后的真實框的位置進行對比,并根據對比結果進行損失計算;基于所述損失計算結果,對目標檢測模型進行訓練,得到所述障礙物識別模型。
14、在進一步的實施例中,所述損失計算包括以下步驟:
15、計算角度損失∧,
16、
17、式中,n為檢測框之間的距離,ch是以l為對角線的矩形的高度;a是寬度與對角線的夾角,b是高度與對角線的夾角;為真實框中心坐標,為預測框中心坐標;
18、計算距離損失δ:
19、
20、式中,x和y分別為檢測框中心點的橫坐標和縱坐標;cω是以l為對角線的矩形的寬度;γ為常數;
21、計算形狀損失ω:
22、
23、式中,ω是預測框的寬度,ωgt是真實框的寬度h是預測框的高度,hgt是真實框的高度;θ是常數;
24、最后計算得到lsiou:
25、計算lconcentrer―iou:lconcentrer―iou=1―iouconcentrer;
26、
27、其中,a為真實框與預測框的交集,b為真實框與預測框的并集;
28、lconcentrer―siou=lsiou+iou―iouconcentrer;
29、l檢測框=lconcentrer―siou;
30、l=l檢測框+l分類損失。
31、在進一步的實施例中,對所述路況圖像進行預處理包括以下步驟:
32、將所述路況圖像進行縮放,改變所述路況圖像的通道順序,使路況圖像轉變?yōu)閏hw格式,隨后擴充路況圖像的維度并將其轉換為四維數組bchw;
33、將路況圖像在內存中的儲存方式改為連續(xù)儲存,路況圖像的精度轉換為單精度;
34、對路況圖像進行歸一化處理,將路況圖像輸入障礙物識別模型,將障礙物識別模型的輸出信息進行非極大值抑制處理,輸出障礙物坐標和障礙物與自身的距離。
35、在進一步的實施例中,所述避障指令包括以下流程:
36、基于所述障礙物的物體類別信息、障礙物與自身距離,計算出每個障礙物的優(yōu)先級;
37、基于所述優(yōu)先級,依次對障礙物避讓;
38、對于距離較近、優(yōu)先級較高的障礙物,避障模塊會通過電機控制系統(tǒng)改變輪椅的行進方向或速度,以繞過障礙物;
39、動態(tài)障礙物采用停止避讓的方式,而對靜態(tài)障礙物采用主動繞過的方式。
40、在另一個技術方案中提供了一種智能導盲平衡輪椅,用于實現(xiàn)如上述的一種智能導盲方法,包括:
41、輪椅本體,用于在出行路線上移動;
42、語音模塊,用于接收用戶的語音輸入,以及發(fā)送語音反饋指令;
43、路線規(guī)劃模塊,用于基于初始位置點和目標點生成n個出行路線;
44、視覺模塊,用于在導航出行過程中實時獲取路況圖像;
45、避障模塊,用于基于所述路況圖像判斷路況中是否存在障礙物;
46、平衡感知模塊,用于感知輪椅本體是否處于平衡狀態(tài);
47、電機控制模塊,用于保持輪椅本體處于平衡狀態(tài);
48、中央處理模塊,用于連接管理和控制所述語音模塊、路線規(guī)劃模塊、視覺模塊、避障模塊、平衡感知模塊、以及電機控制模塊。
49、在另一個技術方案中提供了一種計算機設備,包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序,所述處理器執(zhí)行所述程序時實現(xiàn)如上述的一種智能導盲方法。
50、在另一個技術方案中提供了一種計算機可讀存儲介質,所述存儲介質存儲有計算機程序,所述計算機程序被處理器執(zhí)行時實現(xiàn)如上述的一種智能導盲方法。
51、有益效果:
52、(1)在yolov8的基礎上替換原有的目標檢測損失函數,采用concentrer-iou作為檢測框損失函數,有效提升模型對障礙物的檢測精度;
53、(2)該導盲輪椅實現(xiàn)了對環(huán)境中障礙物的高效識別和避讓,解決了傳統(tǒng)輔助工具如人工照顧、盲道導引、手杖探路和導盲犬所無法克服的局限性;
54、(3)該導盲輪椅實現(xiàn)了自動控制座椅平衡,降低了由于座椅傾斜而帶來的危險,并提高了用戶的舒適度。