用于鄰近對象認知的系統(tǒng)和方法
【專利摘要】呈現(xiàn)了用于將鄰近對象的增強感覺認知提供給車輛的系統(tǒng)和方法。增強感覺認知可基于感測鄰近對象的傳感器信號來確定。
【專利說明】用于鄰近對象認知的系統(tǒng)和方法
【技術領域】
[0001 ] 本申請一般涉及用于近側(cè)對象認知的系統(tǒng)和方法。
【背景技術】
[0002]諸如汽車的車輛的駕駛員在倒向駕駛時會經(jīng)歷受限的可見度。受限的可見度會導致事故，諸如導致受傷、死亡或財產(chǎn)損失的事故。結(jié)果，車輛會配備后部圖像傳感器，其在車輛倒向行駛時提供車輛后方的圖像。在一些情況下，可以僅當車輛置于倒檔時才提供來自車輛后方的圖像。從車輛后方看到的圖像可顯示在車輛駕駛艙內(nèi)的顯示設備上，諸如顯示在設置于汽車的中心控制臺上的顯示面板上。
[0003]通常地，設置在車輛外后部上的魚眼透鏡攝像機可用于生成從車輛后方看到的圖像的目的。這種系統(tǒng)會生成質(zhì)量差的圖像，諸如扭曲的圖像。車輛的駕駛員會發(fā)現(xiàn)在很多情況下很難解釋這樣的圖像。因此，駕駛員難以從質(zhì)量和數(shù)量方面確定車輛與車輛后側(cè)最近的障礙物之間的距離。此外，駕駛員難以確定障礙物相對于車輛后部的角度。
[0004]測距傳感器可設置在車輛后部上以提供關于車輛后方的對象的測距的信息。然而，測距傳感器不能提供從車輛后方看到的視覺圖像，因此，駕駛員難以設想和理解車輛與障礙物之間的相對距離。
[0005]雖然在車輛上設有用于在倒向駕駛時使用的視覺和其他感覺輔助，但車輛的駕駛員仍會受益于提供用戶友好且易于解釋關于障礙物測距、障礙物方向以及車輛后方圖像的綜合解決方案。
【專利附圖】

【附圖說明】
[0006]現(xiàn)在將參考附圖，附圖不一定是按標度繪制，并且在附圖中:
[0007]圖1A是示出根據(jù)本發(fā)明的實施例的提供關于車輛后側(cè)的障礙物的感覺信息的示例車輛的簡化的俯視示意圖。
[0008]圖1B是示出根據(jù)本發(fā)明的實施例操作的圖1A的示例車輛的簡化的側(cè)視示意圖。
[0009]圖2是示出根據(jù)本發(fā)明的實施例的用于接收傳感器輸入并且提供關于圖1A的車輛后方的鄰近對象的感覺信息的示例系統(tǒng)的簡化框圖。
[0010]圖3是示出根據(jù)本發(fā)明的實施例的提供圖1A的車輛后方的障礙物的增強圖像和音頻渲染的示例方法的流程圖。
[0011]圖4A是示出根據(jù)本發(fā)明的實施例生成的圖1A的車輛后方檢測到的障礙物的示例的增強圖像的簡化示意圖。
[0012]圖4B是示出根據(jù)本發(fā)明的實施例生成的圖1A的車輛后方檢測到的障礙物的示例的增強圖像的簡化示意圖。
[0013]圖4C是示出根據(jù)本發(fā)明的實施例生成的圖1A的車輛后方檢測到的障礙物的示例的增強圖像的簡化示意圖。
[0014]圖4D是示出根據(jù)本發(fā)明的實施例生成的圖1A的車輛后方檢測到的障礙物的示例的增強圖像的簡化示意圖。
[0015]圖5是示出用于表示根據(jù)本發(fā)明的實施例生成的圖1A的車輛后方檢測到的障礙物的示例的音頻渲染的簡化圖。
【具體實施方式】
[0016]下面將參考附圖更全面地描述本發(fā)明的實施例，在附圖中顯示了本發(fā)明的實施例。但是，本發(fā)明可以多種不同形式具體實施且不應解釋為局限于本文闡述的實施例；相反，提供這些實施例是為了使本公開全面且完整，并且向本領域技術人員充分地傳達本發(fā)明的范圍。相似的標記通篇指代相似的元件。
[0017]本發(fā)明的實施例可以提供用于尤其為車輛的駕駛員提供鄰近對象的認知的裝置、系統(tǒng)、方法和設備。在一個方案中，車輛可以倒向行駛，并且可使車輛駕駛員認知車輛后方的障礙物。通常，駕駛員在倒向操作車輛時會具有受限的可見度。因此，使駕駛員認知車輛后方的對象可以增強安全性。可以提供各種基于感覺的信息，例如增強圖像和增強音頻，以使駕駛員認知在車輛后方的障礙物。在一個方案中，增強圖像可以提供用戶友好且易于解釋關于在車輛倒向行駛時可能在車輛后方近處的對象的信息。因此，增強圖像可使得操作車輛時的安全性提高，尤其是在倒向駕駛車輛時。顯示給駕駛員的增強圖像可以提供車輛后方的廣闊視野，并且可以基于諸如距每個對象的相對距離的一些參數(shù)來提供相對于其他對象增強的一些對象的圖像。
[0018]現(xiàn)在將結(jié)合附圖對本發(fā)明的示例實施例進行說明。
[0019]現(xiàn)在參考圖1A和圖1B，示例性的方案100可以包括車輛102，其具有發(fā)射器110、圖像傳感器112和測距傳感器114。發(fā)射器可構造為發(fā)射波120，例如電磁輻射，諸如可見光，或壓縮波，諸如超聲波。圖像傳感器112和測距傳感器114可以檢測車輛后方的各種對象，諸如樹130、籃球132和墻壁134，并且可以提供相對于車輛102的各種測距和角度?？煞謩e從測距傳感器114到其對應的對象130、132和134限定向量140、142和144。向量140、142和144可將距相應對象的距離以及距基準平面150的相應角度特征化。基準平面150被描繪為從車輛102的后方沿法向方向投影，但是在其他實施例中，可相對于車輛102呈任意角度。向量140、142和144與基準平面150之間的角度可分別限定為Ψ、Φ、和Θ。
[0020]為此處論述的目的，車輛102可以包括但不限于汽車、卡車、輕型卡車、重型卡車、輕型貨車、小貨車、跨界車、箱式貨車、商用車輛、自用車輛、運動型多用途車、牽引拖車、飛船、飛機、噴氣式飛機、直升機、空間車輛、船舶或具有相對密閉的駕駛艙的任何其他適合的車輛。然而，應當理解的是，本公開的實施例還可用于提供相對密閉區(qū)域的其他環(huán)境中。
[0021]圖像傳感器112可以是將光學圖像轉(zhuǎn)換成電子信號的任何已知裝置。圖像傳感器112可以是任何已知類型，包括電荷耦合器件(CCD)、互補金屬氧化物半導體(CMOS)傳感器等。圖像傳感器112可以具有任何像素計數(shù)和縱橫比。
[0022]測距傳感器114可以為任何已知類型，包括例如紅外檢測器。發(fā)射器110可以是輻射發(fā)射器并且可以發(fā)射紅外輻射120，紅外輻射可以從對象反射。反射的輻射可由測距傳感器114檢測以確定測距傳感器114與對象之間的測距或距離。例如，發(fā)射器110可以發(fā)射紅外輻射，紅外輻射可以從位于車輛后方的對象130、132和134反射。反射的輻射隨后可由測距傳感器114檢測以確定測距傳感器114與車輛102后方的一個或多個對象之間的距離。
[0023]在一些實施例中，測距傳感器114可以是光檢測和測距(LIDAR)檢測器。在該實現(xiàn)方式中，發(fā)射器110可以是電磁輻射發(fā)射器，其通過激勵發(fā)射跨越包括近紅外、可見光或近紫外(UV)的相對寬的范圍的一個或多個波長的輻射(激光)束來發(fā)射諸如光放大的相干福射。在一個方案中，可通過為發(fā)射器Iio提供電信號來產(chǎn)生激光束。LIDAR檢測器可以檢測從障礙物對象130、132和134反射的散射激光束，并且確定距對象130、132和134的測距。在一個方案中，LIDAR檢測器可以應用Mei解決方案來解釋散射的激光從而基于其來確定測距。在其他方案中，LIDAR檢測器可以應用雷利(Rayleigh)散射解決方案來解釋散射的激光從而基于其來確定測距。
[0024]在一些其他的實施例中，測距傳感器114可以是無線電檢測和測距(RADAR)檢測器。在這種實現(xiàn)方式中，發(fā)射器Iio可以是發(fā)射微波福射的電磁福射發(fā)射器。在一個方案中，發(fā)射器110可以通過電信號致動從而產(chǎn)生微波福射120。微波福射120可以具有各種振幅和頻率。在一些實施例中，微波輻射120可以是單音調(diào)的或者基本上具有單一頻率成分。RADAR檢測器可以檢測從障礙物對象130、132和134反射的散射微波，并且確定距對象130、132和134的測距。在一個方案中，測距可與反射的微波輻射的功率有關。RADAR還可以使用多普勒(Doppler)分析來確定測距傳感器114與障礙物對象130、132和134之間的測距變化。因此，在一些實施例中，測距傳感器114可以提供測距信息以及關于距對象130、132和134的測距變化的信息。
[0025]在其他的實施例中，測距傳感器114可以是聲音導航和測距(SONAR)檢測器。在這種實現(xiàn)方式中，發(fā)射器110可以是聲學發(fā)射器，其發(fā)射諸如在超聲范圍內(nèi)的頻率的任意頻率的壓縮波120。在一個方案中，發(fā)射器110可通過電信號致動以產(chǎn)生聲音120。聲音120可以具有各種音調(diào)、幅度和節(jié)奏。如本文所使用的，節(jié)奏是一連串的聲音和無聲。在一個方案中，聲音120可以是跨越相對寬范圍頻率的白噪聲，在各頻率范圍具有相對一致的幅度。可替代地，聲音120可以是跨越相對寬范圍頻率的粉紅噪聲，在各頻率范圍內(nèi)幅度變化。在其他的替代方案中，聲音120可以是單音調(diào)的或可以具有與聲音壓縮波的有限數(shù)量的頻率對應的有限數(shù)量的音調(diào)。在一些實施例中，發(fā)射器Iio可以發(fā)射聲音120的脈沖,也稱為聲脈沖。SONAR檢測器可以在聲脈沖從障礙物對象130、132和134反射時檢測聲脈沖，并且通過測量聲音到達測距傳感器114所花費的時間來確定距對象130、132和134的測距。在一個方案中，測距可與聲脈沖經(jīng)過從發(fā)射器110到障礙物對象130、132和134然后到測距傳感器114的距離所花費的總時間有關。所確定的測距可進一步與聲速有關。SONAR可以進一步使用多普勒分析來確定測距傳感器114與障礙物對象130、132和134之間的測距變化。因此，在一些實施例中，測距傳感器114可以提供測距信息以及關于距對象130、132和134的測距變化的信息。
[0026]應當注意的是，僅為了示例說明的目的，在圖1A和圖1B中示出了三個對象130、132和134。能夠理解，本文中公開的系統(tǒng)、方法和裝置能夠應用于車輛102后方的任意距離處以及任意角度的任意數(shù)量的障礙物。
[0027]現(xiàn)在參考圖2，示出了根據(jù)本公開的實施例的用于提供表示障礙物對象130、132和134的增強圖像和增強聲音的不例系統(tǒng)160。系統(tǒng)160可以包括一個或多個控制器164,每個控制器164具有與存儲器170可通信耦合的一個或多個處理器168。一個或多個處理器168還可以與圖像傳感器112、測距傳感器114、用戶接口 174、顯示器176以及一個或多個揚聲器178可通信耦合。通過圖像傳感器112生成的圖像傳感器信號以及通過測距傳感器114生成的測距傳感器信號可提供給一個或多個處理器168。一個或多個處理器168可進一步接收來自用戶接口 174的輸入或者將輸出提供給用戶接口 174。
[0028]處理器168可以包括但不限于中央處理單元(CPU)、數(shù)字信號處理器(DSP)、精簡指令集計算機(RISC)、復雜指令集計算機(CISC)、微處理器、微控制器、現(xiàn)場可編程門陣列(FPGA)、或其任意組合。系統(tǒng)160還可以包括用于控制處理器168與系統(tǒng)160的一個或多個其它部件之間的通信的芯片組(未示出)。在一些實施例中，系統(tǒng)160可以基于Intel?體系結(jié)構系統(tǒng)，并且處理器168和芯片組可以來自于Intel?處理器和芯片組家族，諸如Intel? Atom?處理器家族。處理器168還可以包括一個或多個處理器，作為用于處理具體的數(shù)據(jù)處理功能或任務的一個或多個專用集成電路(ASIC)或?qū)Ｓ脴藴十a(chǎn)品(ASSP)的部分。
[0029]存儲器170可以包括一個或多個易失性的和/或非易失性的存儲器設備，包括但不限于，隨機存取存儲器(RAM)、動態(tài)RAM (DRAM)、靜態(tài)RAM (SRAM)、同步動態(tài)RAM (SDRAM)、雙數(shù)據(jù)率(DDR) SDRAM(DDR-SDRAM)、RAM-BUS DRAM(RDRAM)、閃存設備、電可擦除可編程只讀存儲器(EEPROM)、非易失性RAM (NVRAM)、通用串行總線(USB)可移除存儲器，或其組合。
[0030]在一些實施例中，一個或多個處理器168可以是車載信息娛樂(IVI)系統(tǒng)的部分。在其他實施例中，一個或多個處理器168可以專用于系統(tǒng)160,用來提供表不障礙對象130、132和134的增強圖像和增強聲音。因此，在這些實施例中，系統(tǒng)160與IVI系統(tǒng)分離。然而，系統(tǒng)160可任選地與車輛102的IVI系統(tǒng)通信。
[0031]用戶接口 174可以是任何已知的能夠由用戶使用來與一個或多個處理器168通信的輸入設備、輸出設備或輸入和輸出設備。用戶接口 174可以包括但不限于觸摸板、鍵盤、顯示器、揚聲器、開關、可視指示器、音頻指示器、觸覺指示器、語音-文本引擎、或其組合。在一個方案中，用戶接口 174可以由用戶(如車輛102的駕駛員)使用，來選擇性地啟動或停止系統(tǒng)160。在另一方案中，用戶接口 174可以由用戶使用來提供系統(tǒng)160的參數(shù)設定。參數(shù)設定的非限制性示例可以包括系統(tǒng)160的功率設定、測距傳感器114的靈敏度、與圖像傳感器112相關聯(lián)的光學變焦、圖像傳感器112的巾貞率、顯不器176的亮度、一個或多個揚聲器178的音量、與顯示器176上顯示的圖像增強相關聯(lián)的其他參數(shù)，以及與通過一個或多個揚聲器178播放的聲音增強相關聯(lián)的其他參數(shù)。用戶接口 174可進一步與一個或多個處理器168通信，并且向用戶提供諸如系統(tǒng)160可操作的指示的信息。
[0032]顯示器176可以是任何已知類型的顯示器，包括但不限于觸摸屏、液晶顯示器(LCD)、薄膜晶體管(TFT)顯示器、以及有機發(fā)光二極管(OLED)顯示器、等離子顯示器、陰極射線管(CRT)顯示器、或其組合。在一個方案中，顯示器176可以接收顯示信號，并且基于顯示信號，提供與顯示信號對應的靜像或動像。在另一方案中，顯示在顯示器176上的圖像可通過諸如車輛102的駕駛員的一個或多個用戶觀看。
[0033]一個或多個揚聲器178可以是任何已知類型，包括但不限于，紙盤膜片式揚聲器、動態(tài)揚聲器、壓電揚聲器、全頻程揚聲器、次重低揚聲器、重低揚聲器、高頻揚聲器、或其組合。在一個方案中，一個或多個揚聲器178可以接收揚聲器信號,并且基于揚聲器信號來提供與揚聲器信號對應的聲音。在另一方案中，通過一個或多個揚聲器178產(chǎn)生的聲音可由諸如車輛102的駕駛員的一個或多個用戶聽到。
[0034]在操作過程中，一個或多個處理器168可以至少部分地基于所接收到的圖像傳感器信號、測距傳感器信號以及任選的來自用戶接口 174的輸入，來生成提供給顯示器176顯示信號。在一個方案中，顯示信號可與在顯示器176上顯示的顯示圖像相對應。在一些實施例中，顯示圖像可以是與圖像傳感器112所提供的圖像傳感器信號對應的圖像的增強顯示圖像。與增強顯示圖像相關聯(lián)的增強可需要將對象130、132和134中的一個渲染而不同于其他對象130、132和134。例如，對對象130、132和134中的一個的渲染可需要相對于其他對象130、132和134的不同的顏色、振蕩、不同的振蕩頻率、不同的振蕩幅度、圍繞光暈、不同尺寸的圍繞光暈、不同顏色的圍繞光暈、不成比例尺寸、不同等級的像素抖動、或其組合。因此，在增強顯示圖像中，對象130、132和134中的一個或多個可以比其他的對象130、132和134更突出地顯示。換言之，看到增強顯示圖像的用戶會比其他對象130、132和134中的一些更易于注意到對象130、132和134中的一個或多個。
[0035]在一些實施例中，對象130、132和134中最接近的比其他對象130、132和134在顯示器176上顯示的增強顯示圖像中更突出地顯示。例如，籃球132比樹130或墻壁134距車輛102更近。因此，籃球132可以在顯示器176上所顯示的增強顯示圖像中更突出地顯示。當諸如車輛102的駕駛員的用戶觀看時，相比樹130和墻壁134用戶會更易于注意到籃球132。在一個方案中，基于增強顯示圖像，用戶可以知道籃球132比其他兩個對象130和134更靠近車輛102。
[0036]在其他一些實施例中，與對象130、132和134中的每個相符合的突現(xiàn)程度可與對象130、132和134與車輛102的后部之間的相對距離有關。因此，籃球132可以比墻壁133更突出地顯示，依次地，墻壁134可以比樹130更突出地顯示，因為籃球132比墻壁134更鄰近，而墻壁134比樹130更鄰近車輛。隨著車輛102移動并且車輛102與對象130、132和134之間的相對距離變化，如此增強可應用于每個對象。例如，如果車輛102從籃球132是最鄰近對象的位置移動到樹130是最鄰近對象的位置，則圖像可以按照相對高的突顯度從籃球132的圖像轉(zhuǎn)移到樹130的圖像的方式變化。
[0037]在另外的實施例中，與對象130、132和134中的每一個相符合的突現(xiàn)程度和增強顯示圖像可與對象130、132和134與基準平面150之間的相對角度有關。例如，諸如與基準平面150呈較小角度Φ的籃球132的對象可比分別與基準平面150呈相對較大的角度Ψ和Θ的對象130和134更突出地顯示。
[0038]繼續(xù)系統(tǒng)160的操作，一個或多個處理器168可以向一個或多個揚聲器178提供揚聲器信號。在一個方面中，揚聲器信號可與來自一個或多個揚聲器178的音頻輸出對應。音頻輸出可以是部分地基于圖像傳感器信號、測距傳感器信號、和任選地來自用戶接口 174的任意輸入而生成的增強音頻輸出。在一個方案中，增強音頻輸出可以表示一個或多個對象130、132和134的位置。在另一方案中，諸如車輛102的駕駛員的用戶可以聽到增強音頻輸出，并且獲知車輛102后方的對象130、132和134。因此，發(fā)送到對應的揚聲器178的各個音頻信號可按如下方式渲染:能夠與來自所有啟動的揚聲器178的音頻輸出組合而產(chǎn)生期望的方向性、幅度、頻率、節(jié)奏和重復性，從而為諸如車輛102的駕駛員的用戶提供對象鄰近度認知。
[0039]作為非限制性示例，考慮一個或多個揚聲器178由兩個揚聲器178構成，并且應當從兩個揚聲器178之間等距的方向來渲染最鄰近對象132。在該情況下，一個或多個處理器可以生成與兩個揚聲器178中的每一個對應的音頻信號，使得通過兩個揚聲器178生成同等幅度的聲音，從而對于收聽來自特定位置的聲音的人而言，聲音源自于兩個揚聲器178之間的某點。
[0040]在一些實施例中，增強音頻輸出可以按如下方式提供來自多個揚聲器的聲音:諸如車輛102的駕駛員的用戶覺察到音頻輸出源自于最鄰近對象130、132和134的方向。例如，提供給一個或多個揚聲器178的音頻信號可使得車輛102的駕駛員覺察到源自于籃球132的方向的相對大的幅度的聲音，以及來自樹130和墻壁134的方向的相對小的幅度的聲
音或無聲音。
[0041]在其他一些實施例中，來自一個或多個揚聲器178中的每一個的音頻輸出的水平可以按如下方式在空間上渲染:用戶所覺察到的聲音等級與各個鄰近對象130、132和134的鄰近度相對應。換言之，車輛102的駕駛員可以覺察到來自籃球132的方向的較大幅度的聲音，以及來自墻壁134的方向的相對較小幅度的聲音，還有來自樹130的方向的相對更小幅度的聲音。
[0042]在其他的實施例中，來自一個或多個揚聲器178中的每一個的音頻輸出的等級可以按如下方式在空間上渲染:用戶所覺察到的聲音等級與對象130、132和134相對于基準平面150的角度相對應。例如，相比從分別與基準平面150呈相對較大角度Ψ和Θ的對象130和134的方向，可以從與基準平面150呈較小角度φ的諸如籃球132的對象的方向更顯著地覺察到聲音。
[0043]值得注意的是，在一些實施例中，一個或多個處理器168還可以任選地接收關于車輛102的變速裝置(未示出)的信息。例如，一個或多個處理器168可以接收指示車輛102是否處于倒檔的信息。當車輛102處于倒檔時，可以倒向地駕駛車輛102。在一個方案中，系統(tǒng)160可以僅當車輛102處于倒檔時生成增強顯示圖像和增強音頻輸出。
[0044]還值得注意的是，在一些實施例中，僅增強圖像可以生成且顯示在顯示器176上。在其他實施例中，僅增強音頻輸出可生成且在一個或多個揚聲器178上播放。在另外的實施例中，可以在顯示器176上顯示增強圖像，同時可以在一個或多個揚聲器178上播放增強音頻。在一個方案中，系統(tǒng)160的用戶可以判定是否期望增強圖像或者期望增強音頻或者兩者都期望。
[0045]參考圖3，示出了根據(jù)本公開的實施例的用于提供增強圖像和增強音頻輸出的示例方法180。方法180可以使用如參考圖1Α、圖1B和圖2所描述的元件和系統(tǒng)160。
[0046]在框182中，判定車輛是否處于倒檔。該判定可以通過一個或多個處理器168基于一個或多個處理器168接收到的通信信號來進行。在一個方案中，通信信號可以由發(fā)動機控制器、變速裝置控制器、車輛主計算機、IVI系統(tǒng)或其組合中的一個或多個來提供。如果判定出車輛102未處于倒檔，則方法180繼續(xù)監(jiān)控車輛102的變速裝置是否置于倒檔。
[0047]如果在框182中判定出車輛102處于倒檔，則可以在框184處接收來自圖像傳感器112的輸入。如結(jié)合圖2所描述的，通過圖像傳感器112生成的圖像傳感器信號可通過系統(tǒng)160的一個或多個處理器168經(jīng)由通信鏈路接收到。
[0048]在框186中，可以接收來自測距傳感器114的輸入。而且，測距傳感器114生成的測距傳感器信號可通過系統(tǒng)160的一個或多個處理器168經(jīng)由通信鏈路接收到。因此，在框184和186中，圖像傳感器信號和測距傳感器信號可由一個或多個處理器168同時接收到。
[0049]在框188中，可以確定障礙物對象130、132和134中的每一個的角度Ψ、cP和Θ?？梢酝ㄟ^一個或多個處理器168來進行角度ψ、φ和Θ的確定。在一個方案中，圖像傳感器信息與測距傳感器信息的組合足以確定與障礙物對象130、132和134中的每一個的角度Ψ、φ和Θ。在一個備選方案中，僅需要圖像傳感器信息和測距傳感器信息中的一種來確定與障礙物對象130、132和134中的每一個的角度Ψ、Φ和Θ。
[0050]在一些實施例中，確定角度Ψ、Φ和Θ可能需要分析由圖像傳感器112生成的圖像，以識別對象130、132和134中的每一個。在識別對象130、132和134中的每一個的相對位置時，關于對象130、132和134中的每一個距測距傳感器114的距離的信息可以用來確定對象130、132和134中的每一個的角度Ψ、Φ和Θ。在一個方案中，三角數(shù)學操作可應用于利用圖像傳感器112確定的相對位置和利用測距傳感器114確定的距離，以達到對象130、132和134中的每一個的角度Ψ、Φ和Θ。這種數(shù)學操作可合并三角測量的方面以根據(jù)傳感器112和114所提供的圖像和距離來確定角度。
[0051]值得注意的是，在一些實施例中，在框188處角度Ψ、φ和Θ的確定可是任選的，并且無需用于生成增強顯示圖像或增強音頻輸出。
[0052]接著，在框190處，可以確定距障礙物對象130、132和134中的每一個的距離。在一些實施例中，可通過測距傳感器114將距離信息提供給一個或多個處理器168。在其他實施例中，可以結(jié)合接收到的圖像傳感器信號來分析接收到的測距傳感器信號，以確定距對象130、132和134中的每一個的距離。
[0053]作為非限制性的示例，考慮圖1A和圖1B的方案100，其中測距傳感器114是SONAR檢測器。測距傳感器114可以接收與聲發(fā)射器110或換能器所發(fā)射的每個聲脈沖對應的三個分離的返回信號。根據(jù)三個分離的返回信號，一個或多個處理器168能夠確定三個不同的測距。然而，僅基于測距傳感器114的信息，一個或多個處理器168不能夠根據(jù)測距傳感器數(shù)據(jù)來判定哪個對象130、132和134對應于每個所確定的測距。通過圖像傳感器信號，一個或多個處理器168能夠識別三個對象130、132和134，然后能夠估計對象130、132和134中的哪個可能是最近的。基于這些估計，測距傳感器114可以確定距所識別的鄰近對象130、132和134中的每一個的測距。
[0054]框188和190相結(jié)合可以提供障礙物對象130、132和134中的每一個的諸如相對角度和相對距離的信息。因此，利用這些信息，可以知道分別與對象130、132和134中的每一個對應的向量140、142和144。
[0055]在框192處，可以生成增強圖像信號。如結(jié)合圖2所論述的，可通過一個或多個處理器168基于圖像傳感器信號、測距傳感器信號、以及來自用戶接口 174的輸入中的一項或多項來生成增強圖像信號。在一個方案中，如在框188和190處確定的與對象130、132和134中的每一個對應的角度和測距信息,可用于將對象130、132和134中的一個或多個相對于其他對象130、132和134增強。例如，最近的對象(在該情況下為籃球132)可相對于更遠的對象(在該情況下為樹130和墻壁134)在增強圖像中更加突出。
[0056]在框194處，可以生成增強音頻信號。如結(jié)合圖2所論述的，可通過一個或多個處理器168基于圖像傳感器信號、測距傳感器信號、以及來自用戶接口 174的輸入中的一項或多項來生成增強音頻信號。在一個方案中，如在框188和190處所確定的與對象130、132和134中的每一個對應的角度和測距信息，可用于提供與對象130、132和134中的一個或多個相對于其他對象130、132和134的相對角度或相對距離對應的增強音頻輸出。例如，可以按如下方式從一個或多個揚聲器178輸出增強音頻信號:對于就座于車輛102的駕駛員座位的人而言，聲音好像源自于最近對象(在該情況下是籃球132)的方向。來自更遠的對象(在該情況下為樹130和墻壁134)的方向的音頻輸出可比來自于籃球132的方向的聲音更微弱。
[0057]值得注意的是，在一些實施例中，在框194中增強音頻輸出和信號的確定可以是任選的，而且可以無需提供音頻輸出而執(zhí)行方法180。
[0058]在框196處，可以將增強音頻輸出信號輸出到一個或多個揚聲器178，并且可將增強圖像信號輸出到顯示器176。諸如車輛102的駕駛員的用戶可以觀看顯示器176上的增強圖像，并且聽到一個或多個揚聲器178上的增強音頻。因此，通過觀看增強顯示，或者收聽增強音頻，或者兩者，用戶可以更佳地了解車輛102后方的障礙物。
[0059]值得注意的是，依照本公開的一些實施例，方法180可以各種方式進行修改。例如，在公開的其他實施例中，方法180的一個或多個操作可被去除或者可以無序地執(zhí)行。例如，在一些實施例中，對于要執(zhí)行的方法180的其余部分，無需如框182中所示將車輛102置于倒檔。另外，依照本公開的其他實施例，可以將其他操作添加到方法180中。
[0060]如參考圖2所論述的，一個對象130、132和134相對于其他對象130、132和134的增強圖像可以顯示在顯示器176上。在一個方案中，更鄰近的對象可以比更遠離的對象更關出地顯不。
[0061]例如，諸如籃球132的最鄰近對象的圖像可以不同于其他對象130和134的顏色顯示在顯示器176上?；@球132可用紅顏色或者用紅色光暈顯示。其次最鄰近的對象，諸如墻壁134，可以用黃色顯示；并且最遠離的對象，諸如樹130，可以用綠色顯示。因此，與諸如樹130的最遠對象相比而言，如顯示器176上所顯示的用于對象130、132和134中的每一個的各種顏色可將相對較大的注意力吸引到諸如籃球132的最鄰近對象。
[0062]現(xiàn)在參考圖4A，描述了如顯示器176上顯示的示例的增強顯示圖像。可以在增強圖像上顯示:與圖1A和圖1B的樹130對應的樹200的圖像、與圖1A和圖1B的籃球132對應的籃球202的圖像，以及與圖1A和圖1B的墻壁134對應的墻壁204的圖像。增強圖像還可以包含圍繞且對應于樹200的圖像的光暈210、圍繞且對應于籃球202的圖像的光暈212、以及圍繞且對應于墻壁204的圖像的光暈214。在一個方案中，圍繞籃球的光暈212可以比圍繞墻壁的光暈214更突出，并且圍繞墻壁的光暈214可依次比圍繞樹的光暈210更突出，以表明籃球132比墻壁134更鄰近車輛102，墻壁134比樹130更鄰近車輛102。因此，一個或多個處理器168可以接收來自圖像傳感器112的圖像傳感器信號以及來自測距傳感器114的測距傳感器信號，并且基于來自框188和190的所確定的角度和測距信息來修改接收到的圖像，從而分別生成對于對象200、202和204中的每一個圖像有區(qū)別的圍繞光暈210、212和214。在一些實施例中，可通過圍繞更鄰近對象的圖像的較大光暈來傳達突顯度，諸如籃球202的圖像相對于其他對象200和204的圖像。在其他實施例中，可通過圍繞更鄰近對象的圖像的較厚光暈來傳達突顯度，諸如籃球202的圖像相對于其他對象200和204的圖像。在另外的實施例中，可通過圍繞更鄰近對象的圖像的不同顏色的光暈來傳達突顯度，諸如籃球202的圖像相對于其他對象200和204的圖像。
[0063]值得注意的是，諸如墻壁134的一些對象會跨越一定長度，其中墻壁134的某些部分比墻壁134的其他部分距車輛102的后部相對更鄰近。因此，在一些實施例中，與墻壁的鄰近部分216對應的渲染后的光暈可比與墻壁的更遠部分218對應的光暈更突出。
[0064]現(xiàn)在參考圖4B，描述了如顯示器176上顯示的另一示例的增強顯示圖像?？梢栽谠鰪妶D像上顯示:與樹130對應的樹220的圖像、與籃球132對應的籃球222的圖像、以及與墻壁134對應的墻壁224的圖像?？梢赃M一步對對象220、222和224的各圖像加陰影。在一個方案中，籃球222的圖像可以比墻壁224的圖像加較少陰影，依次地，墻壁224的圖像可以比樹220的圖像加較少陰影，以表明籃球132比墻壁134更鄰近車輛102，墻壁134比樹130更鄰近車輛102。在另一方案中，一個或多個處理器168可以接收來自圖像傳感器112的圖像傳感器信號以及來自測距傳感器114的測距傳感器信號，并且基于來自框188和190的所確定的角度和測距信息來修改接收到的圖像，從而分別為對象220、222和224的圖像中的每一個生成有區(qū)別的陰影。因此，在一些實施例中，可以通過較少的陰影或較大的亮度，來傳達一個對象的圖像相對于另一對象的圖像的突顯度，諸如籃球222的圖像相對于其他對象220和224的圖像的較少的陰影。在其他實施例中，可以通過一個鄰近對象的圖像的較多的陰影或較小的亮度來傳達突顯度，諸如籃球222的圖像相對于其他對象220和224的圖像。在另外的實施例中，可以通過更鄰近對象的圖像的不同顏色的陰影來傳達突顯度，諸如籃球222的圖像相對于其他對象220和224的圖像。
[0065]諸如墻壁134的一些對象會跨越一定長度，其中墻壁134的一些部分比墻壁134的其他部分相對更鄰近車輛102的后部。因此，在一些實施例中，與墻壁的鄰近部分226對應的圖像224的陰影可以少于與墻壁的更遠部分228對應的圖像224的陰影。
[0066]現(xiàn)在參考圖4C，描繪了如顯示器176上顯示的又一示例的增強顯示圖像?？梢栽谠鰪妶D像上顯示:與樹130對應的樹230的圖像、與籃球132對應的籃球232的圖像、以及與墻壁134對應的墻壁234的圖像。對象230、232和234的各圖像可以進一步以各種震蕩幅度震蕩。在一個方案中，籃球232的圖像(如相對大的箭頭242所指示)可以比墻壁234的圖像(如相對較小的箭頭244和246所指示)震蕩更大。依次地，墻壁234的圖像可以比樹230的圖像(如箭頭240所指示)震蕩更大。如上所示的相對震蕩可以表示,籃球132比墻壁134更鄰近車輛102，墻壁134比樹130更鄰近車輛102。在另一方案中，一個或多個處理器168可以接收來自圖像傳感器112的圖像傳感器信號以及來自測距傳感器114的測距傳感器信號，并且基于來自框188和190的所確定的角度和測距信息來生成增強圖像而使得對象的圖像中的一個或多個與其他對象的圖像不同地震蕩。因此，在一些實施例中，可以通過與更鄰近對象對應的對象的圖像的較大幅度的震蕩，來傳達一個對象的圖像相對于另一個對象的圖像的突顯度,諸如籃球232的圖像相對于其他對象230和234的圖像的更大震蕩。在其他實施例中，可以通過更鄰近對象的圖像的較小幅度的震蕩來傳達突顯度，諸如籃球232的圖像相對于其他對象230和234的圖像。在另外的其他實施例中，可以通過更鄰近對象的圖像的不同震蕩頻率來傳達突顯度，諸如籃球232的圖像對于其他對象230和234的圖像。
[0067]如之前所論述的，諸如墻壁134的一些對象會跨越一定長度，其中墻壁134的一些部分比墻壁134的其他部分相對更鄰近車輛102的后部。因此，在一些實施例中，與墻壁的鄰近部分244對應的圖像234的震蕩可以比與墻壁的更遠部分246對應的圖像234的震蕩更大。
[0068]現(xiàn)在參考圖4D，描繪了如顯示器176上顯示的增強顯示圖像的又一示例?？梢栽谠鰪妶D像上顯示:與樹130對應的樹250的圖像、與籃球132對應的籃球252的圖像、以及與墻壁134對應的墻壁254的圖像。對象250、252和254的各圖像可對應于其與車輛102的相對鄰近度來相對于彼此變尺寸。在一個方案中，籃球252的圖像可被渲染為相對于墻壁254不成比例地大，并且墻壁254的圖像可依次顯示為比樹250的圖像不成比例地大。圖像250、252和254的相對不成比例的尺寸可表明，籃球132比墻壁134更鄰近車輛102，墻壁134比樹130更鄰近車輛102。因此，一個或多個處理器168可以接收來自圖像傳感器112的圖像傳感器信號以及來自測距傳感器114的測距傳感器信號，并且基于來自框188和190的確定的角度和測距信息來修改接收到的圖像，以分別生成對象250、252和254的圖像中的每一個的有區(qū)別的尺寸。在一些實施例中，可通過相對較大的不成比例尺寸來傳達一個對象的圖像對于另一對象的圖像的突顯度，諸如籃球252的圖像相對于其他對象250和254的圖像的不成比例大的尺寸。
[0069]諸如墻壁134的一些對象會跨越一定長度，其中墻壁134的一些部分比墻壁134的其他部分相對更鄰近車輛102的后部。因此，在一些實施例中，與墻壁的鄰近部分256對應的圖像254的相對尺寸可比與墻壁的更遠部分258對應的圖像254的相對尺寸較大。
[0070]值得注意的是，可以將顯示在顯示器176上的圖像的部分的各種增強手段結(jié)合。因此，可以通過顏色、光暈、震蕩、陰影、亮度和不成比例尺寸的任意組合來傳達一個對象的圖像相對于另一個對象的突顯度。作為非限制性的示例，特定的增強圖像可以通過與距車輛102更遠的對象相比不成比例大的尺寸以及相對大的光暈來渲染鄰近的對象。
[0071]現(xiàn)在參考圖5，示出了用于傳達鄰近對象相對于車輛102的距離和方向的示例的增強音頻信號的產(chǎn)生。為方便起見，分別示出了來自圖1A和圖1B的表示距車輛102的測距的向量140、142和144以及相對于對象130、132和134中的每一個的基準平面150的角度Ψ、Φ和Θ。一個或多個揚聲器178可以包括揚聲器178A、178B、178C和178Ν。雖然為了不例說明的目的描繪了四個揚聲器178A-N,但是可有任意數(shù)量的揚聲器。在一個方案中，揚聲器178A-N可設置在車輛102的內(nèi)部或駕駛艙內(nèi)。在另一方案中，揚聲器178A-N可以設置在車輛102的駕駛艙內(nèi)靠近后部，使得通過揚聲器178A-N生成的聲音可由諸如車輛102的駕駛員的用戶在面向車輛102前方時從后面聽到。
[0072]一個或多個處理器168可以分析對象向量140、142和144，并且生成分別與對象130、132和134對應的空間化的聲音向量270、272和274。在一個方案中，聲音向量270、272和274可以代表聲音的幅度和方向。在一些實施例中，如聲音向量270、272和274所表不的聲音的方向可表現(xiàn)為大體源自于障礙物對象130、132和134的方向、源自于預先指定的位置，諸如車輛駕駛員的座椅。另外，揚聲器178A-N從特定方向生成的聲音的幅度可以與障礙物沿該方向的距離有關。例如，與籃球132對應的向量142可能由于籃球是車輛102后面的障礙物130、132和134中最鄰近的而是最短的向量。作為籃球132距車輛102的鄰近度與其他對象130和134的鄰近度相比較的結(jié)果，對應的聲音向量272會比其他聲音向量270和274具有相對較大的幅度。此外，聲音向量相對于基準平面150的角度Ψ、Φ和Θ可以與對象130、132和134相對于基準平面150的角度Ψ、Φ和Θ相同或基本相似。[0073]一個或多個處理器168可以按如下方式提供聲信號280A、280B、280C和280N以從揚聲器178A-N中的每個輸出聲音:對聽者而言，聲音聽起來像具有基本如聲音向量270、272和274所描繪的方向性和幅度。為產(chǎn)生期望的聲音，一個或多個處理器168可以向一個或多個揚聲器178A-N提供不同幅度的聲信號280A-N。例如，提供給揚聲器178C和178N的聲信號280C和280N可以比提供給揚聲器178A和178B的聲信號280A和280B具有更大的幅度，從而生成與籃球132對應的聲音向量272的方向一致的更大的音頻輸出。
[0074]本文所描述的實施例可以利用例如硬件、軟件和/或固件來實現(xiàn)，從而實施本文描述的方法和/或操作。本文所描述的一些實施例可提供為存儲有機器可執(zhí)行指令的有形機器可讀介質(zhì)，如果通過機器來執(zhí)行，則所述機器可執(zhí)行指令使得機器實施本文所描述的方法和/或操作。有形機器可讀介質(zhì)可以包括但不限于，任何類型的磁盤，包括軟盤、光盤、只讀光盤(CD-ROM)、可重復刻錄光盤(CD-RW)、磁光盤、諸如只讀存儲器(ROM)的半導體器件、諸如動態(tài)和靜態(tài)RAM的隨機存取存儲器(RAM)、可擦除可編程只讀存儲器(EPROM)、電可擦除可編程只讀存儲器(EEPROM)、閃存、磁卡或光卡、或適合于存儲電子指令的任何類型的有形介質(zhì)。機器可以包括任何適合的處理或計算平臺、設備或系統(tǒng)，并且可以利用任何適合的硬件和/或軟件的組合來實現(xiàn)。指令可以包括任何適合類型的代碼，并且可以利用任何適合的編程語言來實現(xiàn)。在其他實施例中，用于實施本文所描述的方法和/或操作的機器可執(zhí)行指令可以具體實施在固件中。
[0075]本文已經(jīng)對各特征、方案和實施例進行了說明。特征、方案和實施例易于彼此組合，也易于進行變化和改進，這是本領域技術人員能夠理解的。因此，本公開應視為涵蓋了這樣的組合、變化和改進。
[0076]本文中已采用的術語和表達語用作說明而不是限制的含義。在使用這些術語和表達語時，無意排除圖示和所描述的特征(或其部分)的任何等同特征，并且將認識到在權利要求的范圍內(nèi)可以進行各種修改。其他的修改、變化和替代也是可能的。因此，權利要求旨在涵蓋所有這樣的等同方案。
[0077]雖然已經(jīng)結(jié)合當前視為最實際的且各種實施例對本發(fā)明的一些實施例進行說明，但是應當理解，本發(fā)明不限于所公開的實施例，而是相反，旨在涵蓋包含在隨附權利要求的范圍內(nèi)的各種修改和等同布置。雖然本文采用了具體的術語，但是它們僅在通用的和說明性的意義上使用，而不是為了限制的目的。
[0078]該撰寫的說明書使用實例來公開本發(fā)明的一些實施例，包括最佳方式，并且還使本領域任何技術人員能夠?qū)嵺`本發(fā)明的一些實施例，包括制作和使用任何設備或系統(tǒng)以及執(zhí)行任何所包含的方法。本發(fā)明的一些實施例的可專利范圍限定在權利要求中，并且可以包括本領域技術人員顯而易見的其它示例。如果其它示例具有與權利要求的文字語言不同的結(jié)構元件，或者如果其它示例包括具有與權利要求的文字語言無實質(zhì)差別的等同的結(jié)構元件，則這些其它示例應在權利要求的范圍之內(nèi)。
【權利要求】
1.一種方法，包括: 通過與車輛相關聯(lián)至少一個處理器來接收至少一個傳感器信號； 通過所述至少一個處理器基于所述至少一個傳感器信號來確定距至少一個對象的測距； 通過所述至少一個處理器部分地基于距所述至少一個對象的所述測距來生成與增強圖像對應的增強圖像信號； 通過所述至少一個處理器將所述增強圖像信號提供給與所述車輛相關聯(lián)的顯示設備。
2.如權利要求1所述的方法，其中，所述至少一個傳感器信號包括圖像傳感器信號。
3.如權利要求1所述的方法，其中，所述至少一個傳感器信號包括測距傳感器信號。
4.如權利要求1所述的方法，其中，所述增強圖像提供了所述至少一個對象的圖像，其中所述至少一個對象中的一個對象相對于所述至少一個對象中的其他對象在視覺上被增強。
5.如權利要求4所述的方法，其中，視覺增強是如下至少之一:(i)增強的亮度；(ii)不同的顏色；(iii)震蕩；(iv)不同的震蕩頻率；(V)不同的震蕩幅度；(vi)圍繞光暈；(vii)不同尺寸的圍繞光暈；(viii)不同顏色的圍繞光暈；(ix)不成比例的尺寸；或者(X)不同等級的像素抖動。
6.如權利要求1所述的方法，還包括:通過所述至少一個處理器部分地基于所述至少一個傳感器信號來生成 與音頻輸出對應的至少一個音頻信號，以及將所述至少一個音頻信號提供給至少一個音頻揚聲器。
7.如權利要求6所述的方法，其中，生成所述至少一個音頻信號還包括:確定與所述至少一個對象中的每一個對應的角度。
8.如權利要求6所述的方法，其中，所述音頻輸出包括與所述至少一個對象的鄰近度對應的音頻特征。
9.如權利要求6所述的方法，其中，與所述至少一個揚聲器中的每一個對應的音頻輸出從實質(zhì)上所述至少一個對象中相對于所述車輛內(nèi)的基準點最鄰近的一個對象的方向上提供具有最大幅度的聲首。
10.如權利要求6所述的方法，其中，所述至少一個音頻揚聲器包括提供其對應的各自音頻信號的四個音頻揚聲器，其中所得到的音頻輸出對應于所述至少一個對象中的一個或多個對象的位置。
11.一種車輛，包括: 至少一個傳感器，其配置為提供關于至少一個對象的信息； 至少一個處理器，其配置為接收所述信息并且基于所述信息來生成與增強圖像對應的增強圖像信號； 顯示器，其配置為接收來自所述至少一個處理器的所述增強圖像信號并且顯示所述增強圖像。
12.如權利要求11所述的車輛，其中，所述至少一個傳感器包括圖像傳感器。
13.如權利要求11所述的車輛，其中，所述至少一個傳感器包括測距傳感器。
14.如權利要求11所述的車輛，其中，所述增強圖像提供了所述至少一個對象的圖像，其中所述至少一個對象中的一個對象相對于所述至少一個對象中的其他對象在視覺上被增強。
15.如權利要求14所述的車輛，其中，視覺增強是如下至少之一:(i)增強的亮度；(?)不同的顏色；(iii)震蕩；(iv)不同的震蕩頻率；(v)不同的震蕩幅度；(vi)圍繞光暈；(vii)不同尺寸的圍繞光暈；(viii)不同顏色的圍繞光暈；(ix)不成比例的尺寸；或者(X)不同等級的像素抖動。
16.如權利要求11所述的車輛，其中，所述至少一個處理器還配置為部分地基于關于所述至少一個對象的所述信息來生成與音頻輸出對應的至少一個音頻信號。
17.如權利要求16所述的車輛，還包括至少一個揚聲器，所述至少一個揚聲器配置為接收所述至少一個音頻信號并且提供所述音頻輸出。
18.如權利要求16所述的車輛，其中，所述音頻輸出包括與所述至少一個對象的鄰近度對應的音頻特征。
19.如權利要求17所述的車輛，其中，與所述至少一個揚聲器中的每一個對應的音頻輸出從實質(zhì)上所述至少一個對象中相對于所述車輛內(nèi)的基準點最鄰近的一個對象的方向上提供具有最大幅度的聲首。
20.如權利要求17所述的車輛，其中，所述至少一個音頻揚聲器包括提供其對應的各自音頻信號的四個音頻揚聲器，其中所得到的音頻輸出對應于所述至少一個對象中的一個或多個對象的位置。
21.一種與車輛相關聯(lián)的計算機可讀介質(zhì)，包括計算機可執(zhí)行指令，當通過一個或多個處理器執(zhí)行時，所述計算機可執(zhí)行指令執(zhí)行包括如下步驟的方法: 接收至少一個傳感器信號； 基于所述至少一個傳感器信號來確定距至少一個對象的測距； 生成與增強圖像對應的增強圖像信號；以及 將所述增強圖像信號提供給顯示設備。
22.如權利要求21所述的計算機可讀介質(zhì)，還包括:通過所述至少一個處理器基于所確定的至少一個傳感器信號來生成與音頻輸出對應的至少一個音頻信號，以及將所述至少一個音頻信號中的每一個提供給音頻揚聲器。
23.如權利要求22所述的計算機可讀介質(zhì)，其中，生成所述至少一個音頻信號還包括:確定與所述至少一個對象中的每一個對應的角度。
【文檔編號】B60W40/02GK104010909SQ201180076060
【公開日】2014年8月27日 申請日期:2011年12月29日 優(yōu)先權日:2011年12月29日
【發(fā)明者】D·L·格勞曼, C·蒙特西諾斯 申請人:英特爾公司