本發(fā)明的實(shí)施方案總體涉及在無(wú)人駕駛車輛中的內(nèi)容選擇和呈現(xiàn)。更具體地，本發(fā)明的實(shí)施方案涉及在無(wú)人駕駛車輛中選擇并且交互地顯示填加有外部物理視圖的媒體內(nèi)容。

背景技術(shù)：

無(wú)人駕駛車輛是指可以被配置成處于自主模式下的車輛，在所述自主模式下車輛在極少或沒有來(lái)自駕駛員的輸入的情況下導(dǎo)航通過(guò)環(huán)境。無(wú)人駕駛車輛內(nèi)部的旅行場(chǎng)景已成為內(nèi)容遞送的獨(dú)特的機(jī)會(huì)。乘坐無(wú)人駕駛汽車旅行的人不再需要專注于駕駛或留意周圍的交通，而是花費(fèi)更多的時(shí)間來(lái)享受媒體內(nèi)容。

現(xiàn)有的內(nèi)容遞送方法，諸如顯示內(nèi)容和搜索內(nèi)容，不能夠完全利用無(wú)人駕駛汽車的獨(dú)特旅行場(chǎng)景。首先，無(wú)人駕駛車輛通常配備有圖像識(shí)別組件，所述圖像識(shí)別組件幫助無(wú)人駕駛車輛識(shí)別對(duì)象，諸如標(biāo)志和障礙物。此類動(dòng)態(tài)識(shí)別的視覺對(duì)象對(duì)無(wú)人駕駛車輛行車場(chǎng)景來(lái)說(shuō)是固有的。然而，常規(guī)的內(nèi)容遞送并不能夠容易地使用它們。此外，在無(wú)人駕駛車輛中對(duì)內(nèi)容進(jìn)行渲染的格式本質(zhì)上不同于顯示內(nèi)容或搜索內(nèi)容，在顯示內(nèi)容或搜索內(nèi)容中用戶把注意力集中在與某些預(yù)定義的屏幕區(qū)域進(jìn)行交互上。

先前的嘗試專注于如何沿路線選擇內(nèi)容，而它們并未特別地將建立內(nèi)容遞送系統(tǒng)(該內(nèi)容遞送系統(tǒng)被定制用于無(wú)人駕駛體驗(yàn))作為目的。盡管使用了如興趣點(diǎn)(poi)的信息來(lái)選擇內(nèi)容，但是現(xiàn)有的提議并未特別利用無(wú)人駕駛車輛的獨(dú)特信息，諸如攝像機(jī)捕獲的圖片和傳感器輸入。傳統(tǒng)的方法(諸如顯示內(nèi)容和搜索內(nèi)容)以及其渲染格式并不是針對(duì)無(wú)人駕駛車輛中的旅行的環(huán)境而設(shè)計(jì)的。因此，在以傳統(tǒng)格式向無(wú)人駕駛車輛內(nèi)的乘客遞送內(nèi)容的場(chǎng)景下，它們的效果不是最佳的。

技術(shù)實(shí)現(xiàn)要素：

本申請(qǐng)的目的在于提供一種在無(wú)人駕駛車輛中呈現(xiàn)內(nèi)容的計(jì)算機(jī)實(shí)現(xiàn)方法，在無(wú)人駕駛車輛中呈現(xiàn)內(nèi)容的裝置以及數(shù)據(jù)處理系統(tǒng)。

根據(jù)一個(gè)方面，提供了一種用于在無(wú)人駕駛車輛中呈現(xiàn)內(nèi)容的計(jì)算機(jī)實(shí)現(xiàn)方法，該方法可包括：接收無(wú)人駕駛車輛外部的物理對(duì)象的第一圖像，其中第一圖像是由附接到無(wú)人駕駛車輛的圖像傳感器捕獲的；對(duì)第一圖像執(zhí)行圖像識(shí)別以導(dǎo)出與物理對(duì)象相關(guān)的一個(gè)或多個(gè)關(guān)鍵字；基于一個(gè)或多個(gè)關(guān)鍵字識(shí)別一個(gè)或多個(gè)內(nèi)容項(xiàng)目的列表；將選自內(nèi)容項(xiàng)目列表的第一內(nèi)容項(xiàng)目填加到第一圖像上以生成第二圖像；以及在無(wú)人駕駛車輛內(nèi)的顯示裝置上顯示所述第二圖像。

根據(jù)另一個(gè)方面，提供了一種在無(wú)人駕駛車輛中呈現(xiàn)內(nèi)容的裝置，可包括：接收無(wú)人駕駛車輛外部的物理對(duì)象的第一圖像的裝置，其中第一圖像是由附接到無(wú)人駕駛車輛的圖像傳感器捕獲的；對(duì)第一圖像執(zhí)行圖像識(shí)別以導(dǎo)出與物理對(duì)象相關(guān)的一個(gè)或多個(gè)關(guān)鍵字的裝置；基于一個(gè)或多個(gè)關(guān)鍵字識(shí)別一個(gè)或多個(gè)內(nèi)容項(xiàng)目的列表的裝置；將選自內(nèi)容項(xiàng)目列表的第一內(nèi)容項(xiàng)目填加到第一圖像上以生成第二圖像的裝置；以及在無(wú)人駕駛車輛內(nèi)的顯示裝置上顯示所述第二圖像的裝置。

根據(jù)又一個(gè)方面，提供了一種數(shù)據(jù)處理系統(tǒng)，可包括根據(jù)本申請(qǐng)實(shí)施方案的在無(wú)人駕駛車輛中呈現(xiàn)內(nèi)容的裝置。

附圖說(shuō)明

本發(fā)明的實(shí)施方案在附圖的各圖中以示例而非限制的方式示出，附圖中相似的附圖標(biāo)記指示相似的元件。

圖1a是示出根據(jù)本發(fā)明一個(gè)實(shí)施方案的一個(gè)或多個(gè)無(wú)人駕駛車輛的框圖，所述一個(gè)或多個(gè)無(wú)人駕駛車輛中的每一個(gè)均包括內(nèi)容呈現(xiàn)設(shè)備。

圖1b是示出根據(jù)本發(fā)明一個(gè)實(shí)施方案的用于無(wú)人駕駛車輛的對(duì)內(nèi)容進(jìn)行渲染的處理流程的圖。

圖2是示出根據(jù)本發(fā)明一個(gè)實(shí)施方案的圖像處理模塊的框圖。

圖3是示出根據(jù)本發(fā)明一個(gè)實(shí)施方案的內(nèi)容選擇引擎的框圖。

圖4是示出根據(jù)本發(fā)明一個(gè)實(shí)施方案的內(nèi)容呈現(xiàn)模塊的框圖。

圖5是示出根據(jù)本發(fā)明一個(gè)實(shí)施方案的選擇并呈現(xiàn)內(nèi)容項(xiàng)目的過(guò)程的流程圖。

圖6是示出根據(jù)本發(fā)明另一個(gè)實(shí)施方案的選擇并呈現(xiàn)內(nèi)容項(xiàng)目的過(guò)程的流程圖。

圖7是示出根據(jù)一個(gè)實(shí)施方案的車載內(nèi)容呈現(xiàn)設(shè)備的框圖。

具體實(shí)施方式

將參考以下所討論的細(xì)節(jié)來(lái)描述本發(fā)明的各種實(shí)施方案和方面，附圖將示出各種實(shí)施方案。以下描述和附圖是對(duì)本發(fā)明的說(shuō)明，而不應(yīng)當(dāng)解釋為限制本發(fā)明。描述了許多具體細(xì)節(jié)以提供對(duì)本發(fā)明各種實(shí)施方案的全面理解。然而，在某些實(shí)例中，為了提供對(duì)本發(fā)明實(shí)施方案的簡(jiǎn)潔討論，并未描述眾所周知的或常規(guī)的細(xì)節(jié)。

在本說(shuō)明書中對(duì)“一個(gè)實(shí)施方案”或“一實(shí)施方案”的提及意味著結(jié)合該實(shí)施方案所描述的具體特征、結(jié)構(gòu)或特性可包括在本發(fā)明的至少一個(gè)實(shí)施方案中。短語(yǔ)“在一個(gè)實(shí)施方案中”在本說(shuō)明書中各個(gè)地方的出現(xiàn)不必全部是指同一實(shí)施方案。

本發(fā)明的實(shí)施方案通過(guò)以下方式克服了常規(guī)系統(tǒng)的限制：優(yōu)選地以實(shí)時(shí)方式選擇與無(wú)人駕駛車輛外部的物理對(duì)象相關(guān)的內(nèi)容項(xiàng)目，并且以增強(qiáng)乘員對(duì)物理對(duì)象的觀看的方式向車輛的成員呈現(xiàn)所述內(nèi)容項(xiàng)目。

在一個(gè)實(shí)施方案中，車載設(shè)備包括圖像處理模塊、內(nèi)容選擇引擎、內(nèi)容渲染模塊以及內(nèi)容呈現(xiàn)模塊。圖像處理模塊從安裝在車輛上的攝像機(jī)接收?qǐng)D像并且執(zhí)行圖像識(shí)別過(guò)程以便從所述圖像中識(shí)別外部物理對(duì)象。圖像處理模塊隨后確定與所識(shí)別的物理對(duì)象相關(guān)的一個(gè)或多個(gè)關(guān)鍵字或興趣點(diǎn)(poi)。內(nèi)容選擇引擎基于所述關(guān)鍵字搜索并識(shí)別一個(gè)或多個(gè)內(nèi)容項(xiàng)目。隨后對(duì)這些內(nèi)容項(xiàng)目進(jìn)行排序并且內(nèi)容選擇引擎選擇所排序的內(nèi)容項(xiàng)目中的至少一個(gè)以供呈現(xiàn)。內(nèi)容渲染模塊例如通過(guò)將所選擇的內(nèi)容項(xiàng)目填加到圖像上以產(chǎn)生增強(qiáng)的圖像來(lái)進(jìn)行渲染。內(nèi)容呈現(xiàn)模塊向車輛乘員呈現(xiàn)所選擇的內(nèi)容項(xiàng)目，所述內(nèi)容項(xiàng)目在相對(duì)于物理對(duì)象的視圖的位置處增強(qiáng)乘員對(duì)物理對(duì)象的觀看。

將所選擇的內(nèi)容項(xiàng)目疊加到圖像上以變成增強(qiáng)的圖像。隨后，在顯示裝置上顯示增強(qiáng)的圖像。顯示裝置可被配置成表現(xiàn)為車輛的普通窗口。當(dāng)用戶觀看顯示裝置時(shí)，物理對(duì)象以虛擬現(xiàn)實(shí)方式顯示為虛擬對(duì)象，好像用戶通過(guò)普通窗口觀看物理對(duì)象一樣。顯示裝置可實(shí)時(shí)顯示類似或模擬增強(qiáng)現(xiàn)實(shí)(ar)環(huán)境的增強(qiáng)圖像流(例如，增強(qiáng)視頻)。顯示裝置可包括交互式觸摸屏，以使得乘員可通過(guò)以下方式對(duì)內(nèi)容項(xiàng)目作出響應(yīng)：例如，完成查看所述內(nèi)容項(xiàng)目、采取由所述內(nèi)容項(xiàng)目建議的動(dòng)作、在所述內(nèi)容項(xiàng)目提供的選項(xiàng)中作出選擇或立即刪除所述內(nèi)容項(xiàng)目。

在一個(gè)實(shí)施方案中，接收在無(wú)人駕駛車輛外部的物理對(duì)象的第一圖像，其中所述第一圖像是由附接到無(wú)人駕駛車輛的圖像傳感器捕獲的。第一圖像可以是由攝像機(jī)實(shí)時(shí)捕獲的正在進(jìn)行的視頻流的一部分。對(duì)第一圖像執(zhí)行圖像識(shí)別以導(dǎo)出與物理對(duì)象相關(guān)的一個(gè)或多個(gè)關(guān)鍵字。基于所述一個(gè)或多個(gè)關(guān)鍵字識(shí)別一個(gè)或多個(gè)內(nèi)容項(xiàng)目的列表。將選自內(nèi)容項(xiàng)目列表的第一內(nèi)容項(xiàng)目填加到第一圖像上以生成第二圖像。在無(wú)人駕駛車輛內(nèi)的顯示裝置上顯示第二圖像。

圖1a是示出根據(jù)本發(fā)明一個(gè)實(shí)施方案的一個(gè)或多個(gè)無(wú)人駕駛車輛的框圖，所述一個(gè)或多個(gè)無(wú)人駕駛車輛中的每一個(gè)均包括內(nèi)容呈現(xiàn)設(shè)備。圖1a中示出n個(gè)無(wú)人駕駛車輛中的兩個(gè)，即106和106n，但是更少或更多的無(wú)人駕駛車輛也是適用的。出于說(shuō)明的目的，主要參考無(wú)人駕駛車輛106。無(wú)人駕駛車輛，也稱為無(wú)人駕駛汽車、自動(dòng)駕駛汽車或機(jī)器人汽車，是能夠在不具有人類輸入或僅具有最少人類輸入的情況下感測(cè)其環(huán)境并進(jìn)行導(dǎo)航的車輛。無(wú)人駕駛車輛使用傳感器系統(tǒng)130探測(cè)周圍環(huán)境，所述傳感器系統(tǒng)130可包括雷達(dá)、lidar(基于雷達(dá)原理的距離探測(cè)，但是使用來(lái)自激光器的光)、gps、測(cè)距法(使用運(yùn)動(dòng)傳感器數(shù)據(jù)來(lái)估算隨時(shí)間的位置變化)以及計(jì)算機(jī)視覺(例如，具有各種機(jī)器學(xué)習(xí)和模式識(shí)別軟件的攝像機(jī))。

裝配在無(wú)人駕駛車輛106上的內(nèi)容呈現(xiàn)設(shè)備108是車載內(nèi)容呈現(xiàn)裝置，能夠以有吸引力的方式向無(wú)人駕駛車輛106的乘員呈現(xiàn)內(nèi)容項(xiàng)目。乘員可以是無(wú)人駕駛車輛的乘客或負(fù)責(zé)控制車輛的自動(dòng)駕駛功能的“駕駛員”。內(nèi)容呈現(xiàn)設(shè)備108(也稱為內(nèi)容遞送系統(tǒng)或模塊)包括圖像處理模塊110、內(nèi)容選擇引擎112、內(nèi)容渲染模塊113以及內(nèi)容呈現(xiàn)模塊114。圖像處理模塊110被配置成接收由安裝在無(wú)人駕駛車輛106上的攝像機(jī)捕獲的車輛周圍環(huán)境的圖像，識(shí)別所述圖像中的物理對(duì)象，并且提取與所述物理對(duì)象相關(guān)的一個(gè)或多個(gè)關(guān)鍵字。內(nèi)容選擇引擎112從存儲(chǔ)在內(nèi)容存儲(chǔ)裝置120中的可用內(nèi)容項(xiàng)目中選擇用于通過(guò)內(nèi)容呈現(xiàn)模塊114呈現(xiàn)給乘員的一個(gè)或多個(gè)內(nèi)容項(xiàng)目。內(nèi)容渲染模塊113將例如通過(guò)以下方式對(duì)所述內(nèi)容進(jìn)行渲染：將選自內(nèi)容數(shù)據(jù)庫(kù)140的內(nèi)容項(xiàng)目填加到由圖像處理模塊110處理過(guò)的圖像上。根據(jù)本發(fā)明的各種實(shí)施方案，內(nèi)容呈現(xiàn)模塊114將所述內(nèi)容項(xiàng)目呈現(xiàn)給乘員。下文將參考圖2、圖3和圖4更詳細(xì)地描述內(nèi)容呈現(xiàn)設(shè)備108的這些組件中的每一個(gè)。

圖像可以是由攝像機(jī)實(shí)時(shí)捕獲的正在進(jìn)行的視頻流的一部分。顯示裝置可實(shí)時(shí)顯示類似或模擬增強(qiáng)現(xiàn)實(shí)環(huán)境的增強(qiáng)圖像流(例如，增強(qiáng)視頻)。增強(qiáng)現(xiàn)實(shí)(ar)是對(duì)物理的現(xiàn)實(shí)世界環(huán)境的即時(shí)直接或間接的顯示，所述環(huán)境的要素由計(jì)算機(jī)生成的感覺輸入(諸如聲音、視頻、圖形或gps數(shù)據(jù))來(lái)填加(或補(bǔ)充)。這涉及稱為介導(dǎo)現(xiàn)實(shí)的更一般的概念，其中通過(guò)計(jì)算機(jī)來(lái)修改(甚至有可能減少而不是增強(qiáng))現(xiàn)實(shí)視圖。因此，所述技術(shù)通過(guò)增強(qiáng)個(gè)人當(dāng)前對(duì)現(xiàn)實(shí)的感知來(lái)起作用。相比之下，虛擬現(xiàn)實(shí)利用模擬的世界來(lái)代替現(xiàn)實(shí)世界。增強(qiáng)通常是實(shí)時(shí)的并且是處于具有環(huán)境要素的語(yǔ)義情境下的，諸如在比賽期間tv上的體育得分。借助于先進(jìn)的ar技術(shù)(例如，添加計(jì)算機(jī)視覺和對(duì)象識(shí)別)，關(guān)于用戶周圍的現(xiàn)實(shí)世界的信息變成交互的且數(shù)字化可操縱的。關(guān)于環(huán)境和其對(duì)象的信息覆蓋在現(xiàn)實(shí)世界上。這種信息可以是虛擬的或現(xiàn)實(shí)的，例如看到其他感測(cè)到或測(cè)量到的現(xiàn)實(shí)信息，諸如以與它們?cè)诳臻g中的實(shí)際位置準(zhǔn)確對(duì)準(zhǔn)的方式覆蓋的電磁無(wú)線電波。

一個(gè)或多個(gè)無(wú)人駕駛車輛通過(guò)網(wǎng)絡(luò)104連接到服務(wù)器102。網(wǎng)絡(luò)104可以是任何類型的移動(dòng)網(wǎng)絡(luò)或無(wú)線網(wǎng)絡(luò)，諸如無(wú)線局域網(wǎng)(wlan)、諸如互聯(lián)網(wǎng)、衛(wèi)星訪問網(wǎng)絡(luò)、任何蜂窩訪問網(wǎng)絡(luò)(諸如各種2g、3g和4g蜂窩網(wǎng)絡(luò))的廣域網(wǎng)(wan)，或其任何組合。

服務(wù)器102包括用于存儲(chǔ)內(nèi)容項(xiàng)目的內(nèi)容存儲(chǔ)裝置120以及用于存儲(chǔ)不同用戶的用戶簡(jiǎn)檔的用戶簡(jiǎn)檔存儲(chǔ)裝置122?？梢苑謩e從服務(wù)器102的內(nèi)容存儲(chǔ)裝置120和用戶簡(jiǎn)檔存儲(chǔ)裝置上傳內(nèi)容數(shù)據(jù)庫(kù)140和乘坐無(wú)人駕駛車輛的用戶的用戶簡(jiǎn)檔132。服務(wù)器102還至少包括處理器和用于存儲(chǔ)將由處理器執(zhí)行的數(shù)據(jù)和指令的存儲(chǔ)器，它們兩個(gè)在圖1a中未示出。無(wú)人駕駛車輛106和106n中的每一個(gè)與服務(wù)器102通信以檢索內(nèi)容項(xiàng)目和用戶簡(jiǎn)檔。無(wú)人駕駛車輛106和106n還可以向服務(wù)器102發(fā)送更新內(nèi)容(例如，用戶交互)以保持用戶簡(jiǎn)檔為最新的。例如，服務(wù)器102可以調(diào)用簡(jiǎn)檔編譯器(未示出)以便周期性地分析正在收集的用戶交互并且編譯或更新相關(guān)聯(lián)的用戶簡(jiǎn)檔。在一個(gè)實(shí)施方案中，用戶簡(jiǎn)檔在無(wú)人駕駛車輛106中本地地存儲(chǔ)或高速緩存。這可以是以下情況：無(wú)人駕駛車輛106可能并不總是具有對(duì)服務(wù)器102的網(wǎng)絡(luò)訪問權(quán)，因此對(duì)于無(wú)人駕駛車輛106來(lái)說(shuō)將用戶簡(jiǎn)檔加載到其本地存儲(chǔ)裝置中是有利的。

內(nèi)容存儲(chǔ)裝置120和用戶簡(jiǎn)檔存儲(chǔ)裝置122可以以各種形式存儲(chǔ)和組織數(shù)據(jù)。數(shù)據(jù)可以存儲(chǔ)為位于非易失性存儲(chǔ)裝置(例如，持久性存儲(chǔ)裝置，諸如硬盤)中的常規(guī)文件?？商娲?，數(shù)據(jù)可以僅存在于服務(wù)器102的存儲(chǔ)器中，在系統(tǒng)啟動(dòng)期間由服務(wù)器102從另一位置檢索并加載到所述存儲(chǔ)器中。數(shù)據(jù)也可以存儲(chǔ)在一個(gè)或多個(gè)數(shù)據(jù)庫(kù)中，以借助于使用例如sql(結(jié)構(gòu)化查詢語(yǔ)言)(所述sql由特定數(shù)據(jù)庫(kù)管理系統(tǒng)支持)的應(yīng)用來(lái)支持復(fù)雜的數(shù)據(jù)查詢。本領(lǐng)域的普通技術(shù)人員知曉在多個(gè)情況下選擇何種形式來(lái)在內(nèi)容存儲(chǔ)裝置120和用戶簡(jiǎn)檔存儲(chǔ)裝置122中存儲(chǔ)和組織數(shù)據(jù)。

存儲(chǔ)在內(nèi)容存儲(chǔ)裝置120中的內(nèi)容項(xiàng)目的示例包括但不限于：信息媒體或文本內(nèi)容、用于娛樂的短媒體剪輯、新聞項(xiàng)目、基于訂閱的任何內(nèi)容項(xiàng)目等。在一個(gè)實(shí)施方案中，至少一些內(nèi)容項(xiàng)目能夠交互式地呈現(xiàn)，從而允許內(nèi)容項(xiàng)目觀看者對(duì)所述內(nèi)容項(xiàng)目作出響應(yīng)。來(lái)自觀看者的此類響應(yīng)包括：例如，完全完成觀看內(nèi)容項(xiàng)目、采取由所述內(nèi)容項(xiàng)目建議的動(dòng)作、提供電話號(hào)碼或電子郵件地址以向其轉(zhuǎn)發(fā)所述內(nèi)容項(xiàng)目、提供指示觀看者對(duì)未來(lái)接收其他類似內(nèi)容項(xiàng)目的感興趣程度的評(píng)級(jí)、由于無(wú)論什么原因刪除所述內(nèi)容項(xiàng)目等。

用戶簡(jiǎn)檔中所包括的信息可包括但不限于：用戶過(guò)去的關(guān)于用戶希望接收的內(nèi)容項(xiàng)目的行為模式和/或偏好、乘員的統(tǒng)計(jì)信息等。用戶交互的歷史(例如，歷史日志)隨后可用于內(nèi)容選擇，其中用戶的交互歷史可以由數(shù)據(jù)收集系統(tǒng)(未示出)來(lái)收集。

應(yīng)注意，僅出于說(shuō)明的目的描述如圖1a所示的配置。也可存在其他實(shí)現(xiàn)方式。根據(jù)另一個(gè)實(shí)施方案，一些操作可以在服務(wù)器102而不是無(wú)人駕駛車輛106處執(zhí)行。例如，圖像處理模塊110和/或內(nèi)容選擇引擎112可以保存在服務(wù)器102處。無(wú)人駕駛車輛106可以簡(jiǎn)單地將所捕獲的圖像傳輸?shù)椒?wù)器102以便在其中進(jìn)行處理和識(shí)別。可以在服務(wù)器102處對(duì)內(nèi)容項(xiàng)目列表進(jìn)行識(shí)別。所選擇的內(nèi)容項(xiàng)目可以被傳輸回到無(wú)人駕駛車輛106以便進(jìn)行填加?？商娲兀瑑?nèi)容渲染模塊113也可保存在服務(wù)器102處，用于將所選擇的內(nèi)容項(xiàng)目填加到圖像上并且將增強(qiáng)的圖像返回到無(wú)人駕駛車輛106以供呈現(xiàn)。也可存在其他配置。

圖1b是示出根據(jù)本發(fā)明一個(gè)實(shí)施方案的用于無(wú)人駕駛車輛的對(duì)內(nèi)容進(jìn)行渲染的處理流程的圖。過(guò)程180可以由圖1a的無(wú)人駕駛車輛106執(zhí)行。參考圖1b，無(wú)人駕駛車輛的傳感器系統(tǒng)130(例如，一個(gè)或多個(gè)攝像機(jī))捕獲物理對(duì)象182的圖像184。物理對(duì)象182可以是路邊的建筑物、標(biāo)志(例如，對(duì)象的推廣、描述)。攝像機(jī)可以安裝在普通車輛的普通窗口處于的位置上。因此，圖像184可以表示從用戶的視角通過(guò)窗口觀看車輛外部的視圖(這種配置也被稱為增強(qiáng)虛擬現(xiàn)實(shí)環(huán)境)。在無(wú)人駕駛車輛中，可能不存在窗口。相反，“窗口”可以由顯示裝置(即模制成車窗形狀的平的或彎曲的屏幕顯示裝置)表示或代替。顯示裝置將顯示通過(guò)一個(gè)或多個(gè)適當(dāng)?shù)臄z像機(jī)實(shí)時(shí)動(dòng)態(tài)地捕獲的圖像或圖像流(例如，視頻)，好像用戶正在透過(guò)透明窗口觀察或觀看實(shí)際的物理內(nèi)容一樣。對(duì)于每個(gè)“窗口”(例如，顯示裝置)，存在相應(yīng)的顯示信道以流式傳輸待實(shí)時(shí)顯示的內(nèi)容，所述內(nèi)容可由至少包括內(nèi)容呈現(xiàn)設(shè)備108的增強(qiáng)現(xiàn)實(shí)系統(tǒng)進(jìn)行集中處理。

再次參考圖1b，圖像184由圖像處理模塊110進(jìn)行處理，其中圖像處理模塊110對(duì)圖像184執(zhí)行圖像識(shí)別以導(dǎo)出一個(gè)或多個(gè)關(guān)鍵字或興趣點(diǎn)(poi)192。例如，所導(dǎo)出的關(guān)鍵字可包括在所捕獲的圖像(例如，帶關(guān)鍵字的標(biāo)志或具有帶關(guān)鍵字的標(biāo)志的建筑物)中?？商娲?，關(guān)鍵字可以是基于圖像184的內(nèi)容而被導(dǎo)出的(例如，語(yǔ)義上與圖像的內(nèi)容相關(guān))。圖像處理模塊110可以對(duì)圖像的內(nèi)容進(jìn)行分析以確定由圖像表示的內(nèi)容的類別。

基于關(guān)鍵字192，內(nèi)容選擇模塊或引擎112在內(nèi)容數(shù)據(jù)庫(kù)140中進(jìn)行搜索以識(shí)別內(nèi)容項(xiàng)目列表。可基于排序算法對(duì)內(nèi)容項(xiàng)目進(jìn)行排序?？苫谟脩舻挠脩艉?jiǎn)檔(例如，用戶的先前交互歷史)以及其他信息(例如，位置和路線信息、實(shí)時(shí)交通信息、所述路線沿線的興趣點(diǎn))來(lái)確定內(nèi)容項(xiàng)目的排序。隨后，從內(nèi)容項(xiàng)目候選項(xiàng)列表中選擇內(nèi)容項(xiàng)目186。內(nèi)容渲染模塊113將內(nèi)容項(xiàng)目186合并或填加到圖像184上以生成增強(qiáng)的圖像188。例如，可以將內(nèi)容項(xiàng)目186疊加到圖像184上。內(nèi)容項(xiàng)目186可以是文本或另一圖像。隨后通過(guò)內(nèi)容呈現(xiàn)模塊114在顯示裝置190上呈現(xiàn)增強(qiáng)的圖像188。

圖2是示出根據(jù)本發(fā)明一個(gè)實(shí)施方案的圖像處理模塊的框圖。在圖2中，圖像處理模塊210包括圖像識(shí)別模塊212和圖像分析模塊214。圖像處理模塊210被配置成接收車輛周圍環(huán)境的圖像并且確定與所述圖像相關(guān)的一個(gè)或多個(gè)關(guān)鍵字。更具體地，圖像處理模塊210從安裝在車輛上的攝像機(jī)202(作為傳感器系統(tǒng)130的一部分)接收?qǐng)D像并且從所述圖像中識(shí)別外部物理對(duì)象。圖像處理模塊210隨后確定與所識(shí)別的物理對(duì)象相關(guān)的一個(gè)或多個(gè)關(guān)鍵字或poi。將圖像轉(zhuǎn)換成與所述圖像相關(guān)的一個(gè)或多個(gè)關(guān)鍵字被稱為自動(dòng)圖像標(biāo)注、自動(dòng)圖像標(biāo)記或語(yǔ)言索引。這是由計(jì)算機(jī)系統(tǒng)使用計(jì)算機(jī)視覺技術(shù)自動(dòng)為數(shù)字圖像指定元數(shù)據(jù)(諸如關(guān)鍵字)的過(guò)程。計(jì)算機(jī)視覺、人工智能、機(jī)器學(xué)習(xí)或模式識(shí)別領(lǐng)域的普通技術(shù)人員知曉如何使用這些技術(shù)來(lái)實(shí)現(xiàn)此類功能。

圖像識(shí)別模塊212被配置成從無(wú)人駕駛車輛的一個(gè)或多個(gè)攝像機(jī)接收?qǐng)D像并且從所述圖像中識(shí)別物理對(duì)象。例如，圖像中的物理對(duì)象可以是電影院、購(gòu)物中心或具有銷售信息的高速公路廣告牌。在一個(gè)實(shí)施方案中，圖像識(shí)別模塊212在無(wú)人駕駛車輛沿路線行駛時(shí)連續(xù)不斷地進(jìn)行操作。

圖像分析模塊214被配置成分析物理對(duì)象以確定與物理對(duì)象相關(guān)的一個(gè)或多個(gè)關(guān)鍵字。圖像處理模塊210隨后將所述關(guān)鍵字提供給內(nèi)容選擇引擎112以便基于這些關(guān)鍵字來(lái)選擇內(nèi)容項(xiàng)目。當(dāng)圖像包括多于一個(gè)所識(shí)別的物理對(duì)象時(shí)，圖像分析模塊214可對(duì)每個(gè)物理對(duì)象單獨(dú)進(jìn)行分析以確定與它們相關(guān)的關(guān)鍵字。

圖3是示出根據(jù)本發(fā)明一個(gè)實(shí)施方案的內(nèi)容選擇引擎的框圖。內(nèi)容選擇引擎312包括內(nèi)容映射模塊302、內(nèi)容檢索模塊304和內(nèi)容項(xiàng)目排序模塊306。內(nèi)容選擇引擎312基于多種因素(如以下更詳細(xì)地討論的)來(lái)選擇與圖像處理模塊110所提供的關(guān)鍵字相關(guān)的內(nèi)容項(xiàng)目以呈現(xiàn)給車輛的乘員。

內(nèi)容映射模塊302對(duì)與圖像處理模塊110所提供的關(guān)鍵字相關(guān)聯(lián)的一個(gè)或多個(gè)內(nèi)容項(xiàng)目進(jìn)行匹配。例如，內(nèi)容映射模塊302可以執(zhí)行對(duì)索引的查找。所述索引包括許多映射條目，每個(gè)映射條目將關(guān)鍵字映射到識(shí)別一個(gè)或多個(gè)圖像的一個(gè)或多個(gè)圖像標(biāo)識(shí)符(id)。所述索引可以是先前例如在服務(wù)器102處編譯并下載到無(wú)人駕駛車輛的。在一個(gè)實(shí)施方案中，每個(gè)候選內(nèi)容項(xiàng)目與表征所述內(nèi)容項(xiàng)目的一些方面的一個(gè)或多個(gè)關(guān)鍵字相關(guān)聯(lián)。用于每個(gè)內(nèi)容項(xiàng)目的此類信息被存儲(chǔ)為搜索索引，其中索引鍵是關(guān)鍵字并且編入索引的項(xiàng)目是內(nèi)容項(xiàng)目。內(nèi)容映射模塊302可以向內(nèi)容檢索模塊304提供匹配的內(nèi)容項(xiàng)目的標(biāo)識(shí)信息。

內(nèi)容檢索模塊304使用匹配的內(nèi)容項(xiàng)目的標(biāo)識(shí)信息來(lái)通過(guò)網(wǎng)絡(luò)104從服務(wù)器102中檢索那些內(nèi)容項(xiàng)目。在一個(gè)實(shí)施方案中，內(nèi)容呈現(xiàn)設(shè)備108可以選擇來(lái)存儲(chǔ)所有候選內(nèi)容項(xiàng)目的本地副本。在另一個(gè)實(shí)施方案中，內(nèi)容呈現(xiàn)設(shè)備108可以在檢索匹配的內(nèi)容項(xiàng)目的同時(shí)，尤其是在無(wú)人駕駛車輛106通過(guò)訪問免費(fèi)wi-fi網(wǎng)絡(luò)而連接到網(wǎng)絡(luò)104時(shí)檢索不匹配的、但類似的內(nèi)容項(xiàng)目。每個(gè)候選內(nèi)容項(xiàng)目與提供關(guān)于內(nèi)容項(xiàng)目的一些基本信息(例如，在匹配關(guān)鍵字“電影院”的情況下，關(guān)于新電影內(nèi)容項(xiàng)目(例如，預(yù)告片)的傳記信息)的元數(shù)據(jù)相關(guān)聯(lián)。

在一個(gè)實(shí)施方案中，內(nèi)容項(xiàng)目排序模塊306基于每個(gè)所檢索的內(nèi)容項(xiàng)目的元數(shù)據(jù)以及乘員過(guò)去的行為模式和/或偏好對(duì)所檢索的內(nèi)容項(xiàng)目進(jìn)行排序。要做到這一點(diǎn)，內(nèi)容項(xiàng)目排序模塊306還從服務(wù)器102檢索乘員的用戶簡(jiǎn)檔，所述用戶簡(jiǎn)檔包括乘員過(guò)去的行為模式和/或偏好信息(例如，所述用戶或其他類似用戶的先前交互歷史)。可替代地，乘員可以將他或她自己的用戶簡(jiǎn)檔存儲(chǔ)在無(wú)人駕駛車輛106中。另外或可替代地，對(duì)所檢索的內(nèi)容項(xiàng)目的排序可進(jìn)一步基于一個(gè)或多個(gè)其他個(gè)人過(guò)去的行為模式和/或偏好。在一個(gè)實(shí)施方案中，對(duì)所檢索的內(nèi)容項(xiàng)目的排序可基于乘員和/或一個(gè)或多個(gè)其他個(gè)人的人口統(tǒng)計(jì)信息。通常，當(dāng)用戶或乘員輸入用戶信息和路線信息(例如，起始位置和目的地)時(shí)，可以例如從中央服務(wù)器102或從本地存儲(chǔ)裝置獲得用戶的用戶簡(jiǎn)檔。在一個(gè)實(shí)施方案中，對(duì)所檢索的內(nèi)容項(xiàng)目的排序可基于車輛上下文信息。所述車輛上下文信息包括但不限于當(dāng)前時(shí)間、車輛位置、路線、當(dāng)前交通以及車輛狀態(tài)。

對(duì)排序得分進(jìn)行計(jì)算可以是基于內(nèi)容的、基于協(xié)作的或混合方式?；趦?nèi)容的排序方法是基于對(duì)內(nèi)容項(xiàng)目的描述和對(duì)用戶偏好的簡(jiǎn)介。在基于內(nèi)容的排序中，使用關(guān)鍵字來(lái)描述內(nèi)容項(xiàng)目并且建立用戶簡(jiǎn)檔以指示這個(gè)用戶喜歡的項(xiàng)目類型。換句話說(shuō)，這些算法試圖執(zhí)行對(duì)與用戶過(guò)去喜歡的項(xiàng)目類似的項(xiàng)目有利的排序。協(xié)作排序涉及多個(gè)用戶之間的協(xié)作，并且通常包括以下兩個(gè)步驟：1)尋找與當(dāng)前用戶(例如，將要觀看所選擇內(nèi)容項(xiàng)目的車輛乘員)具有相同評(píng)級(jí)模式的用戶；以及2)使用在步驟1)中找到的那些志趣相投的用戶的排序得分來(lái)計(jì)算用于當(dāng)前用戶的預(yù)測(cè)得分?；旌戏绞綄⒒趦?nèi)容的排序和基于協(xié)作的排序結(jié)合并且在一些情況下可能是更有效的。

圖4是示出根據(jù)本發(fā)明一個(gè)實(shí)施方案的內(nèi)容呈現(xiàn)模塊的框圖。在圖4中，內(nèi)容呈現(xiàn)模塊416包括用于向乘員顯示內(nèi)容項(xiàng)目的顯示裝置414。在一個(gè)實(shí)施方案中，顯示裝置414可操作來(lái)將內(nèi)容項(xiàng)目顯示為文本、圖片或視頻內(nèi)容。顯示裝置414包括用于由車輛乘員對(duì)所呈現(xiàn)的內(nèi)容項(xiàng)目作出響應(yīng)的一個(gè)或多個(gè)輸入裝置420。另外或可替代地，內(nèi)容呈現(xiàn)模塊416可包括并不是顯示裝置414的一部分的一個(gè)或多個(gè)輸入裝置422。

通過(guò)輸入裝置，顯示裝置414支持向乘員遞送交互式內(nèi)容項(xiàng)目。這種呈現(xiàn)是交互式的，原因在于，例如，所述內(nèi)容項(xiàng)目可包括多于一個(gè)階段，其中將顯示接下來(lái)的階段中的哪一個(gè)取決于乘員通過(guò)使用輸入裝置420或422作出的響應(yīng)。乘員的響應(yīng)包括但不限于：完成觀看所述內(nèi)容項(xiàng)目、采取由所述內(nèi)容項(xiàng)目建議的動(dòng)作、在所述內(nèi)容項(xiàng)目提供的選項(xiàng)中作出選擇或立即刪除所述內(nèi)容項(xiàng)目。一般來(lái)說(shuō)，所述響應(yīng)可指示乘員是否有興趣觀看所述內(nèi)容項(xiàng)目和/或?qū)τ^看所述內(nèi)容項(xiàng)目的感興趣程度，并且以后能夠用來(lái)預(yù)測(cè)乘員對(duì)其他類似內(nèi)容項(xiàng)目的響應(yīng)。在一個(gè)實(shí)施方案中，記錄乘員的每一個(gè)響應(yīng)以建立用于所述乘員的用戶簡(jiǎn)檔或改進(jìn)現(xiàn)有的用戶簡(jiǎn)檔。內(nèi)容呈現(xiàn)設(shè)備108被配置成定期向服務(wù)器102發(fā)送響應(yīng)信息，以便服務(wù)器102合并所述響應(yīng)并且相應(yīng)地更新用戶簡(jiǎn)檔。

在一個(gè)實(shí)施方案中，顯示裝置對(duì)于乘員是透明的以致于物理對(duì)象通過(guò)顯示裝置對(duì)乘員可見。顯示裝置上顯示的內(nèi)容項(xiàng)目的位置接近于從乘員的視角來(lái)看物理對(duì)象在顯示裝置上的投影。因此，當(dāng)乘員在坐著時(shí)稍微四處移動(dòng)一下，顯示在顯示裝置上的內(nèi)容項(xiàng)目也將圍繞乘員對(duì)物理對(duì)象的觀看而移動(dòng)。

在一個(gè)實(shí)施方案中，顯示裝置414是以下部件中的一部分或嵌入其中：車輛的擋風(fēng)玻璃、車窗中的一個(gè)或多個(gè)、車輛的月亮天窗或它們的任何組合。如上所述，在無(wú)人駕駛車輛中，可能不存在物理的窗口。相反，“窗口”可以由顯示裝置(即模制成車窗形狀的平的或彎曲的屏幕顯示裝置)表示或代替。顯示裝置將顯示通過(guò)一個(gè)或多個(gè)適當(dāng)?shù)臄z像機(jī)實(shí)時(shí)動(dòng)態(tài)地捕獲的圖像或圖像流(例如，視頻)，好像用戶正在透過(guò)透明窗口觀察或觀看實(shí)際的物理內(nèi)容一樣。對(duì)于每個(gè)“窗口”(例如，顯示裝置)，存在相應(yīng)的顯示信道以流式傳輸待實(shí)時(shí)顯示的內(nèi)容，所述內(nèi)容可由至少包括內(nèi)容呈現(xiàn)設(shè)備108的增強(qiáng)現(xiàn)實(shí)系統(tǒng)進(jìn)行集中處理。

在一個(gè)實(shí)施方案中，顯示裝置414是抬頭顯示器，所述抬頭顯示器是呈現(xiàn)內(nèi)容項(xiàng)目而不需要乘員(尤其是傳統(tǒng)車輛中的駕駛員)把他們的目光從通常的觀看點(diǎn)移開的透明顯示器。抬頭顯示器還具有以下優(yōu)點(diǎn)：觀看者的眼睛不需要在觀看光學(xué)上較近的儀器之后重新聚焦來(lái)觀看外部。

圖5是示出根據(jù)本發(fā)明一個(gè)實(shí)施方案的選擇并呈現(xiàn)內(nèi)容項(xiàng)目的過(guò)程的流程圖。過(guò)程500可以由處理邏輯來(lái)執(zhí)行，所述處理邏輯包括硬件(例如，電路、專用邏輯等)、軟件(例如，包含在非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)上)或其組合。例如，過(guò)程500可以由內(nèi)容呈現(xiàn)設(shè)備108來(lái)執(zhí)行。

參考圖5，在框502處，處理邏輯接收車輛周圍環(huán)境的圖像并且確定與所述圖像相關(guān)的一個(gè)或多個(gè)關(guān)鍵字。所述圖像可以由車輛的攝像機(jī)捕獲。處理邏輯識(shí)別所述圖像中的物理對(duì)象并且確定與所述物理對(duì)象相關(guān)的一個(gè)或多個(gè)關(guān)鍵字。

在框504處，處理邏輯基于所述關(guān)鍵字來(lái)從內(nèi)容數(shù)據(jù)庫(kù)中識(shí)別內(nèi)容項(xiàng)目候選項(xiàng)列表。每個(gè)候選內(nèi)容項(xiàng)目與一個(gè)或多個(gè)關(guān)鍵字相關(guān)聯(lián)，并且匹配是通過(guò)對(duì)索引進(jìn)行搜索而進(jìn)行的，其中索引鍵是關(guān)鍵字并且編入索引的項(xiàng)目是內(nèi)容項(xiàng)目。在框506處，處理邏輯基于每個(gè)候選內(nèi)容項(xiàng)目的元數(shù)據(jù)以及乘員過(guò)去的行為模式和/或偏好對(duì)所檢索的內(nèi)容項(xiàng)目進(jìn)行排序。乘員過(guò)去的行為模式和/或偏好可通過(guò)訪問服務(wù)器上的乘員的用戶簡(jiǎn)檔來(lái)獲得。

在框508處，處理邏輯例如通過(guò)將內(nèi)容項(xiàng)目填加到圖像上將圖像與內(nèi)容項(xiàng)目合并，以生成增強(qiáng)的圖像。在框510處，處理邏輯向車輛乘員呈現(xiàn)所述內(nèi)容項(xiàng)目，所述內(nèi)容項(xiàng)目在相對(duì)于物理對(duì)象的視圖的位置處增強(qiáng)乘員對(duì)物理對(duì)象的觀看。處理邏輯在顯示裝置上顯示所述內(nèi)容項(xiàng)目，所述顯示裝置對(duì)于乘員是透明的。在一個(gè)實(shí)施方案中，所述透明的顯示裝置是抬頭顯示器。

圖6是示出根據(jù)本發(fā)明另一個(gè)實(shí)施方案的選擇并呈現(xiàn)內(nèi)容項(xiàng)目的過(guò)程的流程圖。過(guò)程600可以由處理邏輯來(lái)執(zhí)行，所述處理邏輯包括硬件(例如，電路、專用邏輯等)、軟件(例如，包含在非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)上)或其組合。例如，過(guò)程600可以由內(nèi)容呈現(xiàn)設(shè)備108來(lái)執(zhí)行。

參考圖6，在框602處，處理邏輯接收車輛周圍環(huán)境的圖像并且確定與所述圖像相關(guān)的一個(gè)或多個(gè)關(guān)鍵字。所述圖像可以由車輛的攝像機(jī)捕獲。處理邏輯識(shí)別所述圖像中的物理對(duì)象并且確定與所述物理對(duì)象相關(guān)的一個(gè)或多個(gè)關(guān)鍵字。在框604處，處理邏輯基于每個(gè)候選內(nèi)容項(xiàng)目的元數(shù)據(jù)、乘員過(guò)去的行為模式和/或偏好、以及一個(gè)或多個(gè)其他個(gè)人過(guò)去的行為模式和/或偏好來(lái)選擇與所述關(guān)鍵字相關(guān)的內(nèi)容項(xiàng)目。乘員和一個(gè)或多個(gè)其他個(gè)人過(guò)去的行為模式和/或偏好可通過(guò)訪問服務(wù)器上他們的用戶簡(jiǎn)檔來(lái)獲得。

隨后，在框606處，處理邏輯在交互式顯示裝置上向乘員顯示所述內(nèi)容項(xiàng)目。交互式顯示裝置能夠接收乘員對(duì)內(nèi)容項(xiàng)目的響應(yīng)，所述響應(yīng)指示乘員對(duì)內(nèi)容項(xiàng)目的興趣。在框608處，處理邏輯接收來(lái)自乘員的對(duì)所述內(nèi)容項(xiàng)目的響應(yīng)。在一個(gè)實(shí)施方案中，此類響應(yīng)包括但不限于：完成觀看所述內(nèi)容項(xiàng)目、采取由所述內(nèi)容項(xiàng)目建議的動(dòng)作、在所述內(nèi)容項(xiàng)目提供的選項(xiàng)中作出選擇或立即刪除所述內(nèi)容項(xiàng)目。隨后，在框610處，處理邏輯記錄乘員的響應(yīng)并且更新乘員的用戶簡(jiǎn)檔以合并乘員的響應(yīng)。這些更新對(duì)于建立用于所述乘員的用戶簡(jiǎn)檔或改進(jìn)現(xiàn)有的用戶簡(jiǎn)檔可以是有用的。

如上所述的無(wú)人駕駛車輛可包括傳感器系統(tǒng)，所述傳感器系統(tǒng)具有被配置成探測(cè)與車輛運(yùn)行環(huán)境相關(guān)的信息的一個(gè)或多個(gè)傳感器。所述車輛和其相關(guān)聯(lián)的控制器使用所探測(cè)的信息來(lái)導(dǎo)航通過(guò)所述環(huán)境。所述傳感器系統(tǒng)可包括一個(gè)或多個(gè)攝像機(jī)、麥克風(fēng)、全球定位系統(tǒng)(gps)、內(nèi)部測(cè)量單元(imu)、雷達(dá)系統(tǒng)和/或光探測(cè)和測(cè)距(lidar)系統(tǒng)。

gps系統(tǒng)可以估算無(wú)人駕駛車輛的地理位置。gps系統(tǒng)可包括收發(fā)器，所述收發(fā)器可操作來(lái)提供關(guān)于無(wú)人駕駛車輛的位置的信息。imu單元可基于慣性加速度來(lái)感測(cè)無(wú)人駕駛車輛的位置和定向變化。雷達(dá)單元可表示利用無(wú)線電信號(hào)來(lái)感測(cè)無(wú)人駕駛車輛的本地環(huán)境內(nèi)的對(duì)象的系統(tǒng)。在一些實(shí)施方案中，除了對(duì)對(duì)象進(jìn)行感測(cè)之外，雷達(dá)單元另外可以感測(cè)對(duì)象的速度和/或前進(jìn)方向。lidar單元可以使用激光器來(lái)感測(cè)無(wú)人駕駛車輛所處環(huán)境中的對(duì)象。除其他系統(tǒng)組件之外，lidar單元還可包括一個(gè)或多個(gè)激光源、激光掃描器以及一個(gè)或多個(gè)探測(cè)器。攝像機(jī)可包括用于捕獲無(wú)人駕駛車輛周圍環(huán)境的圖像的一個(gè)或多個(gè)裝置。攝像機(jī)可以是靜物攝影機(jī)或視頻攝像機(jī)。攝像機(jī)可以是可機(jī)械地移動(dòng)的，諸如通過(guò)使安裝攝像機(jī)的平臺(tái)旋轉(zhuǎn)和/或傾斜。麥克風(fēng)可以被配置成從無(wú)人駕駛車輛周圍的環(huán)境中捕獲聲音。

無(wú)人駕駛車輛還可包括計(jì)算機(jī)視覺系統(tǒng)以處理并分析由一個(gè)或多個(gè)攝像機(jī)捕獲的圖像，從而識(shí)別無(wú)人駕駛車輛環(huán)境中的對(duì)象和/或特征。所述對(duì)象可包括交通信號(hào)、車行道邊界、其他車輛、行人和/或障礙物等。計(jì)算機(jī)視覺系統(tǒng)可以使用對(duì)象識(shí)別算法、視頻跟蹤以及其他計(jì)算機(jī)視覺技術(shù)。在一些實(shí)施方案中，計(jì)算機(jī)視覺系統(tǒng)可以繪制環(huán)境地圖，跟蹤對(duì)象，估算對(duì)象的速度等。

無(wú)人駕駛車輛還可包括導(dǎo)航系統(tǒng)，以確定用于無(wú)人駕駛車輛的行車路徑。例如，導(dǎo)航系統(tǒng)可以確定一系列速度和定向前進(jìn)方向，以實(shí)現(xiàn)無(wú)人駕駛車輛沿以下路徑的移動(dòng)：所述路徑在使無(wú)人駕駛車輛總體上沿通往最終目的地的基于車行道的路徑前進(jìn)的同時(shí)，基本上避免感知到的障礙物。目的地可以根據(jù)通過(guò)用戶界面進(jìn)行的用戶輸入來(lái)設(shè)定。導(dǎo)航系統(tǒng)可以在無(wú)人駕駛車輛正在運(yùn)行的同時(shí)動(dòng)態(tài)地更新行車路徑。導(dǎo)航系統(tǒng)可將來(lái)自gps系統(tǒng)和一個(gè)或多個(gè)地圖的數(shù)據(jù)合并以確定用于無(wú)人駕駛車輛的行車路徑。

無(wú)人駕駛車輛還可包括防撞系統(tǒng)，以識(shí)別、評(píng)估并且避免或以其他方式繞過(guò)無(wú)人駕駛車輛環(huán)境中的潛在障礙物。例如，防撞系統(tǒng)可通過(guò)以下方式在無(wú)人駕駛車輛的導(dǎo)航中實(shí)現(xiàn)變化：操作控制系統(tǒng)中的一個(gè)或多個(gè)子系統(tǒng)來(lái)采取轉(zhuǎn)彎策略、轉(zhuǎn)向策略、制動(dòng)策略等。防撞系統(tǒng)可基于周圍的交通模式、道路狀況等自動(dòng)確定可行的障礙物回避策略。防撞系統(tǒng)可以被配置成使得當(dāng)其他傳感器系統(tǒng)探測(cè)到位于無(wú)人駕駛車輛將轉(zhuǎn)彎進(jìn)入的相鄰區(qū)域中的車輛、建筑障礙物等時(shí)不采取轉(zhuǎn)彎策略。防撞系統(tǒng)可以自動(dòng)選擇既可用又使得無(wú)人駕駛車輛乘員的安全性最大化的策略。防撞系統(tǒng)可以選擇預(yù)測(cè)的避障策略以在無(wú)人駕駛車輛的乘客艙中引起最小量的加速度。

無(wú)人駕駛車輛還可包括無(wú)線通信系統(tǒng)，以允許無(wú)人駕駛車輛與在其周圍環(huán)境內(nèi)的外部系統(tǒng)(諸如裝置、傳感器、其他車輛等)之間的通信，和/或與控制器、服務(wù)器等之間的通信，所述外部系統(tǒng)和/或控制器、服務(wù)器等可以提供關(guān)于車輛周圍環(huán)境的有用信息，諸如交通信息、天氣信息等。例如，無(wú)線通信系統(tǒng)可以直接地或通過(guò)通信網(wǎng)絡(luò)與一個(gè)或多個(gè)裝置無(wú)線地通信。無(wú)線通信系統(tǒng)可以使用任何蜂窩通信網(wǎng)絡(luò)或無(wú)線局域網(wǎng)(wlan)，例如使用wifi。無(wú)線通信系統(tǒng)可以例如使用紅外鏈路、藍(lán)牙等與裝置直接通信。

應(yīng)注意，如以上示出和描述的組件(例如，圖像處理模塊110、內(nèi)容選擇引擎112、內(nèi)容呈現(xiàn)模塊114等)中的一些或全部可以以軟件、硬件或其組合來(lái)實(shí)現(xiàn)。例如，此類組件可以實(shí)現(xiàn)為安裝并存儲(chǔ)在永久性存儲(chǔ)裝置中的軟件，所述軟件可以由處理器(未示出)在存儲(chǔ)器中加載并執(zhí)行以實(shí)施貫穿本申請(qǐng)所描述的過(guò)程或操作?？商娲?，此類組件可以實(shí)現(xiàn)為編程或嵌入到專用硬件(諸如集成電路(例如，專用集成電路或asic)、數(shù)字信號(hào)處理器(dsp)或現(xiàn)場(chǎng)可編程門陣列(fpga))中的可執(zhí)行代碼，所述可執(zhí)行代碼可通過(guò)相應(yīng)驅(qū)動(dòng)程序和/或操作系統(tǒng)從應(yīng)用來(lái)進(jìn)行訪問。此外，此類組件可以實(shí)現(xiàn)為處理器或處理器內(nèi)核中的特定硬件邏輯，作為可由軟件組件通過(guò)一個(gè)或多個(gè)特定指令訪問的指令集的一部分。

圖7是示出可以與本發(fā)明一個(gè)實(shí)施方案一起使用的用于車載內(nèi)容呈現(xiàn)的系統(tǒng)的示例的框圖。例如，系統(tǒng)700可以表示以上所描述的執(zhí)行上述過(guò)程或方法中的任一個(gè)的任一數(shù)據(jù)處理系統(tǒng)(例如，圖1a的內(nèi)容呈現(xiàn)設(shè)備108或服務(wù)器102)。系統(tǒng)700可包括許多不同的組件。這些組件可以實(shí)現(xiàn)為集成電路(ic)、集成電路的部分、離散電子裝置或適配于電路板的其他模塊(諸如計(jì)算機(jī)系統(tǒng)的主板或插入卡)，或者實(shí)現(xiàn)為以其他方式并入計(jì)算機(jī)系統(tǒng)的底盤內(nèi)的組件。

還應(yīng)注意，系統(tǒng)700旨在示出計(jì)算機(jī)系統(tǒng)的許多組件的高級(jí)視圖。然而，應(yīng)當(dāng)理解的是，某些實(shí)現(xiàn)方式中可出現(xiàn)附加的組件，此外，其他實(shí)現(xiàn)方式中可出現(xiàn)所示組件的不同的布置。系統(tǒng)700可以表示臺(tái)式計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、服務(wù)器、移動(dòng)電話、媒體播放器、個(gè)人數(shù)字助理(pda)、智能手表、個(gè)人通信器、游戲裝置、網(wǎng)絡(luò)路由器或集線器、無(wú)線接入點(diǎn)(ap)或中繼器、機(jī)頂盒或其組合。此外，雖然僅示出了單個(gè)機(jī)器或系統(tǒng)，但是術(shù)語(yǔ)“機(jī)器”或“系統(tǒng)”還應(yīng)當(dāng)被理解為包括單獨(dú)地或共同地執(zhí)行一個(gè)(或多個(gè))指令集以執(zhí)行本文所討論的任何一種或多種方法的機(jī)器或系統(tǒng)的任何集合。

在一個(gè)實(shí)施方案中，系統(tǒng)700包括通過(guò)總線或互連件710連接的處理器701、存儲(chǔ)器703以及裝置705至708。處理器701可表示其中包括單個(gè)處理器內(nèi)核或多個(gè)處理器內(nèi)核的單個(gè)處理器或多個(gè)處理器。處理器701可表示一個(gè)或多個(gè)通用處理器，諸如微處理器、中央處理單元(cpu)等。更具體地，處理器701可以是復(fù)雜指令集計(jì)算(cisc)微處理器、精簡(jiǎn)指令集計(jì)算(risc)微處理器、超長(zhǎng)指令字(vliw)微處理器、或?qū)崿F(xiàn)其他指令集的處理器、或?qū)崿F(xiàn)指令集組合的處理器。處理器701還可以是一個(gè)或多個(gè)專用處理器，諸如專用集成電路(asic)、蜂窩或基帶處理器、現(xiàn)場(chǎng)可編程門陣列(fpga)、數(shù)字信號(hào)處理器(dsp)、網(wǎng)絡(luò)處理器、圖形處理器、通信處理器、加密處理器、協(xié)同處理器、嵌入式處理器或能夠處理指令的任何其他類型的邏輯。

處理器701(其可以是低功率多核處理器插座，諸如超低電壓處理器)可充當(dāng)用于與所述系統(tǒng)的各種組件通信的主處理單元和中央集線器。這種處理器可以實(shí)現(xiàn)為片上系統(tǒng)(soc)。處理器701被配置成執(zhí)行指令以執(zhí)行本文所討論的操作和步驟。系統(tǒng)700還可包括與可選的圖形子系統(tǒng)(顯示控制器和/或顯示裝置)704通信的圖形接口，圖形子系統(tǒng)(顯示控制器和/或顯示裝置)704可包括顯示控制器、圖形處理器和/或顯示裝置。

處理器701可以與存儲(chǔ)器703通信，存儲(chǔ)器703在一個(gè)實(shí)施方案中可以通過(guò)多個(gè)存儲(chǔ)器裝置來(lái)實(shí)現(xiàn)以提供給定量的系統(tǒng)存儲(chǔ)器。存儲(chǔ)器703可包括一個(gè)或多個(gè)易失性存儲(chǔ)(或存儲(chǔ)器)裝置，諸如隨機(jī)存取存儲(chǔ)器(ram)、動(dòng)態(tài)ram(dram)、同步dram(sdram)、靜態(tài)ram(sram)或其他類型的存儲(chǔ)裝置。存儲(chǔ)器703可以存儲(chǔ)包括由處理器701或任何其他裝置執(zhí)行的指令序列的信息。例如，多種操作系統(tǒng)、裝置驅(qū)動(dòng)程序、固件(例如，輸入輸出基本系統(tǒng)或bios)和/或應(yīng)用的可執(zhí)行代碼和/或數(shù)據(jù)可以加載到存儲(chǔ)器703中并由處理器701執(zhí)行。操作系統(tǒng)可以是任何種類的操作系統(tǒng)，例如像來(lái)自公司的操作系統(tǒng)、來(lái)自蘋果公司的mac來(lái)自公司的或其他實(shí)時(shí)或嵌入式操作系統(tǒng)(諸如vxworks)。

系統(tǒng)700還可包括i/o裝置，諸如裝置705至708，包括網(wǎng)絡(luò)接口裝置705、可選的輸入裝置706以及其他可選的i/o裝置707。網(wǎng)絡(luò)接口裝置705可包括無(wú)線收發(fā)器和/或網(wǎng)絡(luò)接口卡(nic)。無(wú)線收發(fā)器可以是wifi收發(fā)器、紅外收發(fā)器、藍(lán)牙收發(fā)器、wimax收發(fā)器、無(wú)線蜂窩電話收發(fā)器、衛(wèi)星收發(fā)器(例如，全球定位系統(tǒng)(gps)收發(fā)器)或其他射頻(rf)收發(fā)器或其組合。nic可以是以太網(wǎng)卡。

輸入裝置706可包括鼠標(biāo)、觸摸板、觸敏屏幕(其可以與顯示裝置704集成在一起)、指示裝置(諸如指示筆)和/或鍵盤(例如，物理鍵盤或作為觸敏屏幕的一部分顯示的虛擬鍵盤)。例如，輸入裝置706可包括聯(lián)接到觸摸屏的觸摸屏控制器。觸摸屏和觸摸屏控制器例如可以使用多種觸摸靈敏度技術(shù)(包括但不限于電容、電阻、紅外和表面聲波技術(shù))中的任一種來(lái)探測(cè)接觸點(diǎn)和移動(dòng)或其間斷，以及可以使用用于確定與觸摸屏發(fā)生的一個(gè)或多個(gè)接觸點(diǎn)的其他接近傳感器陣列或其他元件來(lái)探測(cè)接觸點(diǎn)和移動(dòng)或其間斷。

i/o裝置707可包括音頻裝置。音頻裝置可包括揚(yáng)聲器和/或麥克風(fēng)，以促進(jìn)支持語(yǔ)音的功能，諸如語(yǔ)音識(shí)別、語(yǔ)音復(fù)制、數(shù)字記錄和/或電話功能。其他i/o裝置707還可包括通用串行總線(usb)端口、并行端口、串行端口、打印機(jī)、網(wǎng)絡(luò)接口、總線橋(例如，pci-pci橋)、傳感器(例如，運(yùn)動(dòng)傳感器，諸如加速度計(jì)、陀螺儀、磁強(qiáng)計(jì)、光傳感器、羅盤、接近傳感器等)或其組合。裝置707還可包括成像處理子系統(tǒng)(例如，攝像機(jī))，所述成像處理子系統(tǒng)可包括用來(lái)促進(jìn)攝像機(jī)功能(諸如錄下照片和視頻片段)的光學(xué)傳感器，諸如電荷耦合裝置(ccd)或互補(bǔ)金屬氧化物半導(dǎo)體(cmos)光學(xué)傳感器。某些傳感器可以通過(guò)傳感器集線器(未示出)聯(lián)接到互連件710，而其他裝置諸如鍵盤或熱傳感器可以由嵌入式控制器(未示出)來(lái)控制，這取決于系統(tǒng)700的具體配置或設(shè)計(jì)。

為了提供對(duì)信息(諸如數(shù)據(jù)、應(yīng)用、一個(gè)或多個(gè)操作系統(tǒng)等)的永久性存儲(chǔ)，大容量存儲(chǔ)裝置(未示出)也可聯(lián)接到處理器701。在各種實(shí)施方案中，為了實(shí)現(xiàn)更薄且更輕的系統(tǒng)設(shè)計(jì)并且為了改進(jìn)系統(tǒng)響應(yīng)能力，這種大容量存儲(chǔ)裝置可以通過(guò)固態(tài)裝置(ssd)實(shí)現(xiàn)。然而，在其他實(shí)施方案中，大容量存儲(chǔ)裝置可以主要使用硬盤驅(qū)動(dòng)器(hdd)來(lái)實(shí)現(xiàn)，其中較小量的ssd存儲(chǔ)裝置充當(dāng)ssd高速緩存以在斷電事件期間實(shí)現(xiàn)對(duì)上下文狀態(tài)以及其他此類信息的非易失性存儲(chǔ)，從而使得在系統(tǒng)活動(dòng)重新啟動(dòng)時(shí)能夠?qū)崿F(xiàn)快速上電。另外，閃存裝置可以例如通過(guò)串行外圍接口(spi)聯(lián)接到處理器701。這種閃存裝置可以提供對(duì)系統(tǒng)軟件的非易失性存儲(chǔ)，所述系統(tǒng)軟件包括所述系統(tǒng)的基本輸入/輸出軟件(bios)以及其他固件。

存儲(chǔ)裝置708可包括計(jì)算機(jī)可訪問的存儲(chǔ)介質(zhì)709(也被稱為機(jī)器可讀存儲(chǔ)介質(zhì)或計(jì)算機(jī)可讀介質(zhì))，其上存儲(chǔ)有體現(xiàn)任何一種或多種本文所描述的方法或功能的一個(gè)或多個(gè)指令集或軟件(例如，模塊、單元和/或邏輯728)。模塊/單元/邏輯728可以表示任一上述組件，例如像如上所描述的搜索引擎、編碼器、交互日志模塊。模塊/單元/邏輯728還可以在數(shù)據(jù)處理系統(tǒng)700對(duì)其進(jìn)行執(zhí)行期間完全地或至少部分地駐留在存儲(chǔ)器703內(nèi)和/或處理器701內(nèi)，存儲(chǔ)器703和處理器701同樣構(gòu)成機(jī)器可訪問的存儲(chǔ)介質(zhì)。模塊/單元/邏輯728還可以經(jīng)由網(wǎng)絡(luò)接口裝置705通過(guò)網(wǎng)絡(luò)被發(fā)送或接收。

計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)709也可以用來(lái)永久性地存儲(chǔ)以上描述的一些軟件功能。雖然計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)709在示例性實(shí)施方案中被示為單個(gè)介質(zhì)，但是術(shù)語(yǔ)“計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)”應(yīng)當(dāng)被認(rèn)為包括存儲(chǔ)一個(gè)或多個(gè)指令集的單個(gè)介質(zhì)或多個(gè)介質(zhì)(例如，集中式或分布式數(shù)據(jù)庫(kù)和/或相關(guān)聯(lián)的高速緩存和服務(wù)器)。術(shù)語(yǔ)“計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)”還應(yīng)當(dāng)被認(rèn)為包括能夠存儲(chǔ)或編碼指令集的任何介質(zhì)，所述指令集用于由機(jī)器執(zhí)行并且引起所述機(jī)器執(zhí)行本發(fā)明的任何一種或多種方法。因此，術(shù)語(yǔ)“計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)”應(yīng)當(dāng)被認(rèn)為包括但不限于固態(tài)存儲(chǔ)器以及光學(xué)介質(zhì)和磁性介質(zhì)或者任何其他非暫時(shí)性機(jī)器可讀介質(zhì)。

本文所描述的模塊/單元/邏輯728、組件以及其他特征可以實(shí)現(xiàn)為離散硬件組件或集成在硬件組件(諸如asics、fpga、dsp或類似裝置)的功能中。另外，模塊/單元/邏輯728可以實(shí)現(xiàn)為硬件裝置內(nèi)的固件或功能電路。此外，模塊/單元/邏輯728可以以硬件裝置和軟件組件的任何組合實(shí)現(xiàn)。

應(yīng)注意，雖然系統(tǒng)700被示出為具有數(shù)據(jù)處理系統(tǒng)的各種組件，但是其不欲表示任何具體的架構(gòu)或互連組件的方式；因?yàn)榇祟惣?xì)節(jié)和本發(fā)明的實(shí)施方案沒有密切關(guān)系。還應(yīng)當(dāng)認(rèn)識(shí)到，具有更少組件或可能具有更多組件的網(wǎng)絡(luò)計(jì)算機(jī)、手持計(jì)算機(jī)、移動(dòng)電話、服務(wù)器和/或其他數(shù)據(jù)處理系統(tǒng)也可與本發(fā)明的實(shí)施方案一起使用。

前述詳細(xì)描述中的一些部分已經(jīng)依據(jù)在計(jì)算機(jī)存儲(chǔ)器內(nèi)對(duì)數(shù)據(jù)位進(jìn)行的運(yùn)算的算法和符號(hào)表示而呈現(xiàn)。這些算法描述和表示是數(shù)據(jù)處理領(lǐng)域中的技術(shù)人員所使用以便最有效地將他們的工作實(shí)質(zhì)傳達(dá)給本領(lǐng)域其他技術(shù)人員的方法。這里，算法通常被認(rèn)為是產(chǎn)生所期望結(jié)果的有條理的操作序列。這些操作是指需要對(duì)物理量進(jìn)行物理操控的操作。

然而，應(yīng)當(dāng)牢記，所有這些和類似的術(shù)語(yǔ)均意圖與適當(dāng)?shù)奈锢砹筷P(guān)聯(lián)，并且僅僅是應(yīng)用于這些量的便利的標(biāo)記。除非在以上討論中另外明確地說(shuō)明清楚，否則應(yīng)當(dāng)了解，貫穿本說(shuō)明書利用術(shù)語(yǔ)(諸如隨附權(quán)利要求書中所闡述的術(shù)語(yǔ))進(jìn)行的討論是指計(jì)算機(jī)系統(tǒng)或類似的電子計(jì)算裝置的動(dòng)作和處理，所述計(jì)算機(jī)系統(tǒng)或類似的電子計(jì)算裝置操控?cái)?shù)據(jù)(所述數(shù)據(jù)在計(jì)算機(jī)系統(tǒng)的寄存器和存儲(chǔ)器內(nèi)表示為物理(電子)量)，并將所述數(shù)據(jù)變換成其它數(shù)據(jù)(所述其它數(shù)據(jù)在計(jì)算機(jī)系統(tǒng)存儲(chǔ)器或寄存器或其他此類信息存儲(chǔ)裝置、傳輸或顯示裝置內(nèi)同樣表示為物理量)。

本發(fā)明的實(shí)施方案還涉及用于執(zhí)行本文中的操作的設(shè)備。這種計(jì)算機(jī)程序被存儲(chǔ)在非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)中。機(jī)器可讀介質(zhì)包括用于以機(jī)器(例如，計(jì)算機(jī))可讀的形式存儲(chǔ)信息的任何機(jī)構(gòu)。例如，機(jī)器可讀(例如，計(jì)算機(jī)可讀)介質(zhì)包括機(jī)器(例如，計(jì)算機(jī))可讀存儲(chǔ)介質(zhì)(例如，只讀存儲(chǔ)器(“rom”)、隨機(jī)存取存儲(chǔ)器(“ram”)、磁盤存儲(chǔ)介質(zhì)、光存儲(chǔ)介質(zhì)、閃存存儲(chǔ)器裝置)。

前述附圖中所描繪的過(guò)程或方法可以由處理邏輯來(lái)執(zhí)行，所述處理邏輯包括硬件(例如，電路、專用邏輯等)、軟件(例如，包含在非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)上)或兩者的組合。盡管所述過(guò)程或方法在上文是依據(jù)一些有順序操作來(lái)描述的，但是應(yīng)當(dāng)了解，所描述的操作中的一些可以按不同的次序執(zhí)行。此外，一些操作可以并行地而不是順序地執(zhí)行。

并未參考任何特定的編程語(yǔ)言來(lái)描述本發(fā)明的實(shí)施方案。將認(rèn)識(shí)到的是，可以使用多種編程語(yǔ)言來(lái)實(shí)現(xiàn)如本文描述的本發(fā)明的實(shí)施方案的教導(dǎo)。

在以上的說(shuō)明書中，已經(jīng)參考本發(fā)明的具體示例性實(shí)施方案對(duì)本發(fā)明的實(shí)施方案進(jìn)行了描述。將顯而易見的是：在不脫離如隨附權(quán)利要求書中闡述的本發(fā)明的較寬泛的精神和范圍的情況下，可以對(duì)其做出各種修改。因此，應(yīng)當(dāng)在說(shuō)明性意義而不是限制性意義上來(lái)理解本說(shuō)明書和附圖。