本發(fā)明的實施例涉及人工智能與增強顯示技術，尤其涉及一種輔助顯示方法、裝置及顯示系統(tǒng)。

背景技術：

近年來，隨著機器智能理論和計算機硬件水平的高速發(fā)展，越來越多的機器智能技術已被用來服務于人們的工作和生活的各個領域。然而，由于機器智能技術還不能做到百分百的可靠，在很多應用中依然需要結合后臺的人工服務。在傳統(tǒng)的人工服務中，后臺服務人員需要依靠顯示設備上顯示的簡單的圖像或語音技術對前端用戶或機器人進行監(jiān)控及操作。當后端客戶端上的圖像呈現(xiàn)的場景較為復雜、周邊信息量較大時，服務人員的工作負擔會急速增加，甚至會出現(xiàn)由于不及時處理而出現(xiàn)信息丟失或錯誤處理的情況。

技術實現(xiàn)要素：

本發(fā)明的實施例提供一種輔助顯示方法、裝置及顯示系統(tǒng)，能夠優(yōu)化顯示設備上顯示的圖像，為服務人員提供必要的指示降低其工作量。

第一方面、提供一種輔助顯示方法，包括：

獲取前端設備的傳感器采集的數(shù)據(jù)，所述采集的數(shù)據(jù)包含圖像數(shù)據(jù)；

對所述采集的數(shù)據(jù)分析，生成所述圖像數(shù)據(jù)中的預定目標的指示標識；

將所述指示標識與所述采集的數(shù)據(jù)中的圖像數(shù)據(jù)合成為顯示數(shù)據(jù)并通過顯示設備顯示，其中所述指示標識與所述圖像數(shù)據(jù)中的預定目標相關聯(lián)。

第二方面、一種輔助顯示裝置，包括：

獲取單元，用于獲取前端設備的傳感器采集的數(shù)據(jù)，所述數(shù)據(jù)包含圖像數(shù)據(jù)；

分析單元，用于對所述獲取單元獲取的所述采集的數(shù)據(jù)分析，生成所述圖像數(shù)據(jù)中的預定目標的指示標識；

圖像合成單元，用于將所述分析單元獲取的指示標識與所述獲取單元獲取的所述采集的數(shù)據(jù)中的圖像數(shù)據(jù)合成為顯示數(shù)據(jù)發(fā)送至客戶端顯示，其中所述指示標識與所述圖像數(shù)據(jù)中的預定目標相關聯(lián)。

第三方面，提供一種輔助顯示系統(tǒng)，包括：存儲器、通信接口、處理器以及顯示設備；存儲器、通信接口以及顯示設備耦合至處理器；所述存儲器用于存儲計算機執(zhí)行代碼，所述處理器用于執(zhí)行所述計算機執(zhí)行代碼控制執(zhí)行上述的輔助顯示方法，所述通信接口用于所述輔助顯示裝置與外部設備的數(shù)據(jù)傳輸。

第四方面，提供一種計算機存儲介質，用于儲存為輔助顯示裝置所用的計算機軟件指令，其包含執(zhí)行上述的輔助顯示方法所設計的程序代碼。

第五方面，一種計算機程序產(chǎn)品，可直接加載到計算機的內部存儲器中，并含有軟件代碼，所述計算機程序經(jīng)由計算機載入并執(zhí)行后能夠實現(xiàn)上述輔助顯示方法。

在上述方案中，輔助顯示裝置獲取前端設備的傳感器采集的數(shù)據(jù)，所述采集的數(shù)據(jù)包含圖像數(shù)據(jù)；對所述采集的數(shù)據(jù)分析，生成所述圖像數(shù)據(jù)中的預定目標的指示標識；將所述指示標識與所述采集的數(shù)據(jù)中的圖像數(shù)據(jù)合成為顯示數(shù)據(jù)通過顯示設備顯示，其中所述指示標識與所述圖像數(shù)據(jù)中的預定目標相關聯(lián)，由于在合成的顯示數(shù)據(jù)中包含預定目標的指示標識，因此使用顯示設備的服務人員能夠根據(jù)指示標識作出相應的判斷，當圖像呈現(xiàn)的場景較為復雜、周邊信息量較大時，能夠降低服務人員的工作負擔，同時減少或消除由于不及時處理而出現(xiàn)信息丟失或錯誤處理的情況。

附圖說明

為了更清楚地說明本發(fā)明實施例的技術方案，下面將對實施例或現(xiàn)有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明的實施例提供的一種輔助顯示系統(tǒng)的架構圖；

圖2為本發(fā)明的另一實施例提供的一種輔助顯示系統(tǒng)的架構圖；

圖3為本發(fā)明實施例提供的一種輔助顯示方法的流程圖；

圖4為本發(fā)明的實施例提供的輔助顯示方法生成的一種圖像的示意圖；

圖5為本發(fā)明的實施例提供的輔助顯示方法生成的另一種圖像的示意圖；

圖6為本發(fā)明的實施例提供的輔助顯示方法生成的又一種圖像的示意圖；

圖7為本發(fā)明的實施例提供的一種輔助顯示裝置的結構圖；

圖8a為本發(fā)明的另一實施例提供的一種輔助顯示裝置的結構圖；

圖8b為本發(fā)明的又一實施例提供的一種顯示系統(tǒng)的結構圖。

具體實施方式

本發(fā)明實施例描述的系統(tǒng)架構以及業(yè)務場景是為了更加清楚的說明本發(fā)明實施例的技術方案，并不構成對于本發(fā)明實施例提供的技術方案的限定，本領域普通技術人員可知，隨著系統(tǒng)架構的演變和新業(yè)務場景的出現(xiàn)，本發(fā)明實施例提供的技術方案對于類似的技術問題，同樣適用。

需要說明的是，本發(fā)明實施例中，“示例性的”或者“例如”等詞用于表示作例子、例證或說明。本發(fā)明實施例中被描述為“示例性的”或者“例如”的任何實施例或設計方案不應被解釋為比其它實施例或設計方案更優(yōu)選或更具優(yōu)勢。確切而言，使用“示例性的”或者“例如”等詞旨在以具體方式呈現(xiàn)相關概念。

需要說明的是，本發(fā)明實施例中，“的(英文：of)”，“相應的(英文：corresponding，relevant)”和“對應的(英文：corresponding)”有時可以混用，應當指出的是，在不強調其區(qū)別時，其所要表達的含義是一致的。

本發(fā)明的實施例提供的客戶端可以為個人計算機((英文全稱：personalcomputer，縮寫：pc)、上網(wǎng)本、個人數(shù)字助理(英文：personaldigitalassistant，簡稱：pda)等，或者上述客戶端可以為安裝有可執(zhí)行本發(fā)明實施例提供的方法的軟件客戶端或軟件系統(tǒng)或軟件應用的pc等，具體的硬件實現(xiàn)環(huán)境可以通用計算機形式，或者是asic的方式，也可以是fpga，或者是一些可編程的擴展平臺例如tensilica的xtensa平臺等等。本發(fā)明的實施例提供的服務器包括本地域名服務器、本地代理服務器，網(wǎng)絡服務器，本發(fā)明的實施例提供服務器用于響應服務請求提供計算服務?；緲嫵砂ㄌ幚砥?、硬盤、內存、系統(tǒng)總線等，和通用的計算機架構類似。

本發(fā)明的基本原理為輔助顯示裝置未采集的圖像數(shù)據(jù)中的預定目標生成指示標識；并將指示標識通過渲染或其他手段與圖像數(shù)據(jù)合成為顯示數(shù)據(jù)通過顯示設備顯示，這樣服務人員能夠根據(jù)指示標識作出相應的判斷，當圖像呈現(xiàn)的場景較為復雜、周邊信息量較大時，能夠降低服務人員的工作負擔，同時減少或消除由于不及時處理而出現(xiàn)信息丟失或錯誤處理的情況。

參照圖1所示，本發(fā)明的實施例提供的輔助顯示系統(tǒng)包括本發(fā)明的實施例提供的輔助顯示裝置，其中實現(xiàn)形式包括以下兩種架構，架構一：包括前端設備d1以及與前端設備連接的客戶端d2，其中客戶端d2為本發(fā)明的實施例提供的輔助顯示裝置；當輔助顯示裝置采集的數(shù)據(jù)較為簡單時，本發(fā)明的實施例提供的輔助顯示方法可以將前端設備采集的數(shù)據(jù)直接在客戶端d2的計算資源下進行處理，并將合成的顯示數(shù)據(jù)直接在客戶端d2的顯示設備上顯示。

當然，客戶端d2也可只做數(shù)據(jù)采集，并不具備數(shù)據(jù)處理功能，這樣可以僅為客戶端d2配置較少的計算資源以降低其成本，這樣本發(fā)明的實施例提供了另一種系統(tǒng)架構，參照圖2所示，架構二：包括前端設備d1、服務器s以及客戶端d2，前端設備d1以及客戶端d2連接服務器s，這樣服務器s為本發(fā)明的實施例提供的輔助顯示裝置；這樣即使前端設備d1采集的數(shù)據(jù)量較大的情況下，服務器s也可以為其提供足夠的計算資源實施本發(fā)明的實施例提供的輔助顯示方法，這樣前端設備d1采集數(shù)據(jù)后發(fā)送至服務器s，由服務器s合成顯示數(shù)據(jù)并發(fā)送至客戶端d2的顯示設備顯示。其中，前端設備可以為一種便攜式終端設備，如可佩帶的頭盔、頭戴；移動設備如手機、平板電腦等。即本發(fā)明的實施例可以是通過服務器配合客戶端執(zhí)行，也可以由客戶端單獨執(zhí)行。

基于上述的系統(tǒng)，參照圖3所示，本發(fā)明的實施例提供一種輔助顯示方法，包括如下步驟：

101、獲取前端設備的傳感器采集的數(shù)據(jù)，所述采集的數(shù)據(jù)包含圖像數(shù)據(jù)。

在步驟101中，傳感器可以為圖像傳感器、聲音傳感器、超聲雷達傳感器，其中采集的數(shù)據(jù)可以為圖像傳感器采集的圖像數(shù)據(jù)、聲音傳感器采集的音頻數(shù)據(jù)、超聲雷達傳感器采集的超聲波數(shù)據(jù)。其中圖像傳感器可以為紅外傳感器、cmos傳感器等。在具體實施時，上述的方法可以用于導盲，此時這里的前端設備可以是指導盲前端設備，比如圖2中所示的導盲頭盔等。該導盲頭盔上安裝有上述的傳感器。

102、對采集的數(shù)據(jù)分析，生成圖像數(shù)據(jù)中的預定目標的指示標識。

這里預定目標可以為攜帶前端設備的用戶的行進路線、用戶周圍的障礙物、用戶周圍的人物或交通設施，當然還可以包含其他目標物體，這里并不作具體限定。

103、將指示標識與采集的數(shù)據(jù)中的圖像數(shù)據(jù)合成為顯示數(shù)據(jù)通過顯示設備顯示，其中在所述顯示數(shù)據(jù)中指示標識與圖像數(shù)據(jù)中的預定目標相關聯(lián)。

其中在步驟103中，在顯示設備中可以以攜帶前端設備的用戶的第一視角方式顯示，當然也可以以觀察視角顯示，當以觀察視角顯示時該方法在步驟103中還包括：在顯示數(shù)據(jù)中合成攜帶所述前端設備的用戶的位置。

具體的，當預定目標包括攜帶前端設備的用戶的行進路線時，指示標識包括設置在行進路線上用于指示用戶前進方向的標識。具體的，若以觀察視角在顯示設備顯示顯示數(shù)據(jù)，則可以在顯示的圖像數(shù)據(jù)中顯示用戶在地圖中的位置，例如采用2d圖片方式呈現(xiàn)。從用戶的位置到目的地的行進路線可以采用3d線條呈現(xiàn)，當然也可以采用其他方式如特殊顏色的2d線條顯示，這里指示標識具有指示用戶前進方向的作用，因此可以使用箭頭的形式呈現(xiàn)，例如可以為3d箭頭或特殊顏色的箭頭，其指向可以指示用戶行進的方向。

此外，預定目標還可以是攜帶前端設備的用戶周邊的障礙物、人物或交通設施；指示標識用于顯示預定目標的相關數(shù)據(jù)。具體的，障礙物的相關數(shù)據(jù)至少包括以下各項中的一種或多種：障礙物的種類、顏色、輪廓、方位、數(shù)目、與所述用戶的距離；人物的相關數(shù)據(jù)至少包括以下各項中的一種或多種：人物的位置、輪廓、身份id、性別、年齡；交通設施的相關數(shù)據(jù)至少包括以下各項中的一種或多種：交通設施的位置，以及所述交通設施指示的內容。

示例性的，對于障礙物，可以使用障礙物位置周圍的矩形框或圓框將其輪廓框出標識障礙物的輪廓，并在障礙物的周邊(例如矩形框或圓框內部)使用數(shù)字顯示障礙物的種類、顏色、方位、數(shù)目、與所述用戶的距離等信息。對于人物，可以使用人物位置周圍的矩形框或圓框將其輪廓框出標識人物的輪廓，并在人物的周邊(例如矩形框或圓框內部)使用數(shù)字顯示人物的身份id、性別、年齡。對于交通設施，可以直接在交通設施的位置上顯示其指示的內容，如在交通燈位置顯示當前交通燈的狀態(tài)紅/綠/黃燈、在禁止通行標牌處顯示禁止通行標記等等。以上僅僅是為了說明本發(fā)明的實施例提供的部分示例性說明，其他類似的或可以輕易轉化的方案也應該屬于本申請的保護范圍。

具體參照圖4所示，其通過箭頭和文字turnleft顯示了行進線路上用戶的前進方向。以車輛作為障礙物，通過danger！顯示了圖像中車輛的位置并通過5m顯示了車輛與用戶的距離。圖5中，通過ped示出了圖像中交通設施斑馬線的位置，通過stop示出了圖像中交通設施交通燈的狀態(tài)。圖6中通過caution！提示圖像中用戶周圍有人物，并提供了對人物的輪廓范圍以矩形框標識，并標記了人物的高度為2m，同時用箭頭提供了用戶的前進方向。

在上述方案中，輔助顯示裝置獲取前端設備的傳感器采集的數(shù)據(jù)，所述采集的數(shù)據(jù)包含圖像數(shù)據(jù)；對所述采集的數(shù)據(jù)分析，生成所述圖像數(shù)據(jù)中的預定目標的指示標識；將所述指示標識與所述采集的數(shù)據(jù)中的圖像數(shù)據(jù)合成為顯示數(shù)據(jù)發(fā)送至顯示設備顯示，其中所述指示標識與所述圖像數(shù)據(jù)中的預定目標相關聯(lián)，由于在合成的顯示數(shù)據(jù)中包含預定目標的指示標識，因此使用顯示設備的服務人員能夠根據(jù)指示標識作出相應的判斷，當圖像呈現(xiàn)的場景較為復雜、周邊信息量較大時，能夠降低服務人員的工作負擔，同時減少或消除由于不及時處理而出現(xiàn)信息丟失或錯誤處理的情況。

可以理解的是，輔助顯示裝置通過其包含的硬件結構和/或軟件模塊實現(xiàn)上述實施例提供的功能。本領域技術人員應該很容易意識到，結合本文中所公開的實施例描述的各示例的單元及算法步驟，本發(fā)明能夠以硬件或硬件和計算機軟件的結合形式來實現(xiàn)。某個功能究竟以硬件還是計算機軟件驅動硬件的方式來執(zhí)行，取決于技術方案的特定應用和設計約束條件。專業(yè)技術人員可以對每個特定的應用來使用不同方法來實現(xiàn)所描述的功能，但是這種實現(xiàn)不應認為超出本發(fā)明的范圍。

本發(fā)明實施例可以根據(jù)上述方法示例對輔助顯示裝置進行功能模塊的劃分，例如，可以對應各個功能劃分各個功能模塊，也可以將兩個或兩個以上的功能集成在一個處理模塊中。上述集成的模塊既可以采用硬件的形式實現(xiàn)，也可以采用軟件功能模塊的形式實現(xiàn)。需要說明的是，本發(fā)明實施例中對模塊的劃分是示意性的，僅僅為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式。

在采用對應各個功能劃分各個功能模塊的情況下，圖7示出了上述實施例中所涉及的輔助顯示裝置的一種可能的結構示意圖，輔助顯示裝置包括：獲取單元71、分析單元72和圖像合成單元73。獲取單元71用于支持輔助顯示裝置執(zhí)行圖3中的過程101；分析單元72用于支持輔助顯示裝置執(zhí)行圖3中的過程102；圖像合成單元73用于支持輔助顯示裝置執(zhí)行圖3中的過程103。其中，上述方法實施例涉及的各步驟的所有相關內容均可以援引到對應功能模塊的功能描述，在此不再贅述。

在采用集成的單元的情況下，圖8a示出了上述實施例中所涉及的輔助顯示裝置的一種可能的結構示意圖。輔助顯示裝置包括：通信模塊81和處理模塊82。處理模塊82用于對輔助顯示裝置的動作進行控制管理，例如，處理模塊82用于支持輔助顯示裝置執(zhí)行圖3中的過程102和103。通信模塊81用于支持輔助顯示裝置與其他外部設備的數(shù)據(jù)傳輸，例如與圖2中示出的前端設備之間的通信。輔助顯示裝置還可以包括存儲模塊，用于存儲輔助顯示裝置的程序代碼和數(shù)據(jù)。

其中，處理模塊82可以是處理器或控制器，例如可以是中央處理器(centralprocessingunit，cpu)，通用處理器，數(shù)字信號處理器(digitalsignalprocessor，dsp)，專用集成電路(application-specificintegratedcircuit，asic)，現(xiàn)場可編程門陣列(fieldprogrammablegatearray，fpga)或者其他可編程邏輯器件、晶體管邏輯器件、硬件部件或者其任意組合。其可以實現(xiàn)或執(zhí)行結合本發(fā)明公開內容所描述的各種示例性的邏輯方框，模塊和電路。所述處理器也可以是實現(xiàn)計算功能的組合，例如包含一個或多個微處理器組合，dsp和微處理器的組合等等。通信模塊81可以是收發(fā)器、收發(fā)電路或通信接口等。存儲模塊可以是存儲器。

示例性的，處理模塊82可以為處理器，通信模塊81可以為通信接口，存儲模塊可以為存儲器，參閱圖8b所示，提供一種顯示系統(tǒng)包括：處理器91、通信接口92、存儲器93、總線94以及顯示設備95；存儲器93、通信接口92以及顯示設備95通過總線94耦合至處理器91其中，通信接口92、處理器91以及存儲器93通過總線94相互連接；總線94可以是外設部件互連標準(peripheralcomponentinterconnect，pci)總線或擴展工業(yè)標準結構(extendedindustrystandardarchitecture，eisa)總線等。所述總線可以分為地址總線、數(shù)據(jù)總線、控制總線等。為便于表示，圖8b中僅用一條粗線表示，但并不表示僅有一根總線或一種類型的總線。該顯示系統(tǒng)可以僅包含客戶端，也可以是由客戶端與服務器構成，其中客戶端和服務器類似，均包括各自的處理器、通信接口和存儲器。

本發(fā)明的實施例還提供一種機器人，包括上述的輔助顯示裝置。

結合本發(fā)明公開內容所描述的方法或者算法的步驟可以硬件的方式來實現(xiàn)，也可以是由處理器執(zhí)行軟件指令的方式來實現(xiàn)。軟件指令可以由相應的軟件模塊組成，軟件模塊可以被存放于隨機存取存儲器(randomaccessmemory，ram)、閃存、只讀存儲器(readonlymemory，rom)、可擦除可編程只讀存儲器(erasableprogrammablerom，eprom)、電可擦可編程只讀存儲器(electricallyeprom，eeprom)、寄存器、硬盤、移動硬盤、只讀光盤(cd-rom)或者本領域熟知的任何其它形式的存儲介質中。一種示例性的存儲介質耦合至處理器，從而使處理器能夠從該存儲介質讀取信息，且可向該存儲介質寫入信息。當然，存儲介質也可以是處理器的組成部分。處理器和存儲介質可以位于asic中。另外，該asic可以位于核心網(wǎng)接口設備中。當然，處理器和存儲介質也可以作為分立組件存在于核心網(wǎng)接口設備中。

本領域技術人員應該可以意識到，在上述一個或多個示例中，本發(fā)明所描述的功能可以用硬件、軟件、固件或它們的任意組合來實現(xiàn)。當使用軟件實現(xiàn)時，可以將這些功能存儲在計算機可讀介質中或者作為計算機可讀介質上的一個或多個指令或代碼進行傳輸。計算機可讀介質包括計算機存儲介質和通信介質，其中通信介質包括便于從一個地方向另一個地方傳送計算機程序的任何介質。存儲介質可以是通用或專用計算機能夠存取的任何可用介質。

以上所述的具體實施方式，對本發(fā)明的目的、技術方案和有益效果進行了進一步詳細說明，所應理解的是，以上所述僅為本發(fā)明的具體實施方式而已，并不用于限定本發(fā)明的保護范圍，凡在本發(fā)明的技術方案的基礎之上，所做的任何修改、等同替換、改進等，均應包括在本發(fā)明的保護范圍之內。