本文公開(kāi)的實(shí)施方式通常涉及但不僅限于可移動(dòng)物體環(huán)境。
背景技術(shù):
諸如無(wú)人飛行器(UAV)等可移動(dòng)物體可以沿限定的路線行進(jìn)。無(wú)人飛行器可以完全地或部分地由位于所述無(wú)人飛行器之外的用戶所控制。用戶可以使用模擬來(lái)練習(xí)控制無(wú)人飛行器,所述模擬響應(yīng)于來(lái)自用戶的飛行控制命令而描繪處于模擬環(huán)境中的無(wú)人飛行器。
學(xué)習(xí)控制無(wú)人飛行器可能是困難的。未能適當(dāng)?shù)乜刂茻o(wú)人飛行器可能對(duì)所述無(wú)人飛行器造成損壞。修復(fù)對(duì)無(wú)人飛行器的損壞可能十分耗時(shí)且昂貴,因此教導(dǎo)用戶在虛擬環(huán)境中控制無(wú)人飛行器可以是有利的,在所述虛擬環(huán)境中,真實(shí)的無(wú)人飛行器沒(méi)有損壞的風(fēng)險(xiǎn)。
這是本發(fā)明的實(shí)施方式旨在解決的總體領(lǐng)域。
技術(shù)實(shí)現(xiàn)要素:
本文描述了可支持無(wú)人飛行器(UAV)的模擬飛行的系統(tǒng)和方法。一種可位于用戶終端上的進(jìn)程(process)可以從飛行模擬器接收與所述模擬飛行有關(guān)的狀態(tài)信息,所述飛行模擬器與所述無(wú)人飛行器相關(guān)聯(lián)。繼而,所述進(jìn)程可以通過(guò)使所接收的狀態(tài)信息與由所述用戶終端上的所述進(jìn)程獲得的情景信息相關(guān)聯(lián)來(lái)確定針對(duì)所述模擬飛行的飛行信息,并且向與所述用戶終端相關(guān)聯(lián)的顯示器提供所確定的飛行信息。
本文還描述了可支持可移動(dòng)物體的模擬移動(dòng)的系統(tǒng)和方法。一種可位于用戶終端上的進(jìn)程可以從移動(dòng)模擬器接收與所述模擬移動(dòng)有關(guān)的狀態(tài)信息,所述移動(dòng)模擬器與所述可移動(dòng)物體相關(guān)聯(lián)。繼而,所述進(jìn)程可以通過(guò)使所接收的狀態(tài)信息與由所述用戶終端上的所述進(jìn)程獲得的情景信息相關(guān)聯(lián)來(lái)確定針對(duì)所述模擬可移動(dòng)物體的移動(dòng)信息,并且向與所述用戶終端相關(guān)聯(lián)的顯示器提供所確定的飛行信息。
附圖說(shuō)明
圖1圖示了根據(jù)本發(fā)明各個(gè)實(shí)施方式的可移動(dòng)物體環(huán)境。
圖2圖示了根據(jù)實(shí)施方式的用于控制無(wú)人飛行器的示例性系統(tǒng)200。
圖3圖示了根據(jù)實(shí)施方式的由遠(yuǎn)程終端實(shí)現(xiàn)的示例性系統(tǒng)300。
圖4圖示了根據(jù)實(shí)施方式的示例性載體400的等距視圖。
圖5是根據(jù)本發(fā)明實(shí)施方式的無(wú)人飛行器(UAV)的示例性示圖。
圖6示出了根據(jù)本發(fā)明各個(gè)實(shí)施方式的實(shí)際飛行模擬環(huán)境的各種示例性部件。
圖7示出了根據(jù)本發(fā)明各個(gè)實(shí)施方式與不同的物理模型進(jìn)行交互的實(shí)際飛行模擬系統(tǒng)。
圖8是根據(jù)本發(fā)明各個(gè)實(shí)施方式的支持模擬飛行的示例性示圖。
圖9圖示了根據(jù)本發(fā)明各個(gè)實(shí)施方式用于在無(wú)人飛行器起飛之前顯示模擬飛行的示例性用戶界面(UI)。
圖10圖示了根據(jù)本發(fā)明各個(gè)實(shí)施方式用于在無(wú)人飛行器起飛之后顯示模擬飛行的示例性用戶界面(UI)。
圖11圖示了根據(jù)本發(fā)明各個(gè)實(shí)施方式的針對(duì)模擬飛行的示例性飛行顯示部分。
圖12圖示了根據(jù)本發(fā)明各個(gè)實(shí)施方式的示例性地圖部分。
圖13圖示了根據(jù)本發(fā)明各個(gè)實(shí)施方式用于在起飛之后顯示處于模擬飛行中的無(wú)人飛行器的另一示例性用戶界面(UI)。
圖14示出了根據(jù)本發(fā)明各個(gè)實(shí)施方式的用標(biāo)簽來(lái)記錄數(shù)據(jù)的流程圖。
具體實(shí)施方式
本發(fā)明通過(guò)示例的方式而非通過(guò)限制的方式圖示在附圖中,其中相似的參考編號(hào)指示類似的元件。應(yīng)當(dāng)注意,本公開(kāi)內(nèi)容中對(duì)“一個(gè)”或“一種”或“一些”實(shí)施方式的引用不一定是對(duì)同一個(gè)實(shí)施方式引用,并且這樣的引用意指至少一個(gè)。
如下文對(duì)本發(fā)明的描述使用無(wú)人飛行器(UAV)作為可移動(dòng)物體的示例。對(duì)于本領(lǐng)域技術(shù)人員將會(huì)顯而易見(jiàn)的是,可以不受限制地使用其他類型的可移動(dòng)物體。
本發(fā)明的系統(tǒng)、裝置和方法提供了訓(xùn)練用戶在虛擬環(huán)境中放飛和控制無(wú)人飛行器(UAV)的機(jī)制。用戶從在虛擬環(huán)境中放飛無(wú)人飛行器而獲得的技能可以是可直接適用于在真實(shí)環(huán)境中放飛無(wú)人飛行器的。本發(fā)明的系統(tǒng)、裝置和方法還提供了模擬平臺(tái),所述模擬平臺(tái)采用至少一些可用于無(wú)人飛行器的真實(shí)飛行的部件。對(duì)無(wú)人飛行器的描述可以適用于任何其他類型的無(wú)人載運(yùn)工具或任何其他類型的可移動(dòng)物體。
可移動(dòng)物體環(huán)境
圖1圖示了根據(jù)本發(fā)明各個(gè)實(shí)施方式的可移動(dòng)物體環(huán)境。如圖1中所示,可移動(dòng)物體100可以包括載體102和有效載荷104。雖然可移動(dòng)物體100可被描繪為飛行器,但這種描繪并不旨在成為限制性的,并且如前文所述可以使用任何合適類型的可移動(dòng)物體。本領(lǐng)域技術(shù)人員將會(huì)理解,本文在飛行器系統(tǒng)的情景下描述的任何實(shí)施方式均可適用于任何合適的可移動(dòng)物體(例如,無(wú)人飛行器)。在一些情況下,可以在可移動(dòng)物體100上提供有效載荷104而無(wú)需載體102??梢苿?dòng)物體100可以包括推進(jìn)機(jī)構(gòu)106、感測(cè)系統(tǒng)108和通信系統(tǒng)110。
如前文所述,推進(jìn)機(jī)構(gòu)106可以包括旋翼、螺旋槳、槳葉、引擎、電機(jī)、輪子、輪軸、磁體或噴嘴中的一種或多種。可移動(dòng)物體可以具有一個(gè)或多個(gè)、兩個(gè)或更多個(gè)、三個(gè)或更多個(gè)或者四個(gè)或更多個(gè)推進(jìn)機(jī)構(gòu)。推進(jìn)機(jī)構(gòu)可以全都是同一類型?;蛘?,一個(gè)或多個(gè)推進(jìn)機(jī)構(gòu)可以是不同類型的推進(jìn)機(jī)構(gòu)。推進(jìn)機(jī)構(gòu)106可以使用任何合適的裝置而安裝在可移動(dòng)物體100上,所述裝置諸如為本文其他各處所述的支撐元件(例如,驅(qū)動(dòng)軸桿)。推進(jìn)機(jī)構(gòu)106可以安裝在可移動(dòng)物體100的任何合適的部分上,諸如頂部、底部、前面、后面、側(cè)面或其合適的組合。
在一些實(shí)施方式中,推進(jìn)機(jī)構(gòu)106可以使得可移動(dòng)物體100能夠從表面垂直地起飛或者垂直地降落在表面上,而無(wú)需可移動(dòng)物體100的任何水平移動(dòng)(例如,無(wú)需沿著跑道行進(jìn))。可選地,推進(jìn)機(jī)構(gòu)106可以可操作地允許可移動(dòng)物體100以指定位置和/或朝向懸停于空中。一個(gè)或多個(gè)推進(jìn)機(jī)構(gòu)100可以獨(dú)立于其他推進(jìn)機(jī)構(gòu)受到控制?;蛘?,推進(jìn)機(jī)構(gòu)100可被配置成同時(shí)受到控制。例如,可移動(dòng)物體100可以具有多個(gè)水平朝向的旋翼,所述旋翼可以向所述可移動(dòng)物體提供升力和/或推力??梢灾聞?dòng)所述多個(gè)水平朝向的旋翼以向可移動(dòng)物體100提供垂直起飛、垂直降落以及懸停能力。在一些實(shí)施方式中,所述水平朝向的旋翼中的一個(gè)或多個(gè)可以在順時(shí)針?lè)较蛏闲D(zhuǎn),同時(shí)所述水平旋翼中的一個(gè)或多個(gè)可以在逆時(shí)針?lè)较蛏闲D(zhuǎn)。例如,順時(shí)針旋翼的數(shù)目可以等于逆時(shí)針旋翼的數(shù)目。每個(gè)水平朝向的旋翼的旋轉(zhuǎn)速率可以獨(dú)立地改變,以便控制由每個(gè)旋翼產(chǎn)生的升力和/或推力,并從而調(diào)節(jié)可移動(dòng)物體100的空間布局、速度和/或加速度(例如,關(guān)于多達(dá)三個(gè)平移自由度和多達(dá)三個(gè)旋轉(zhuǎn)自由度)。
感測(cè)系統(tǒng)108可以包括一個(gè)或多個(gè)傳感器,所述傳感器可以感測(cè)可移動(dòng)物體100的空間布局、速度和/或加速度(例如,關(guān)于多達(dá)三個(gè)平移自由度和多達(dá)三個(gè)旋轉(zhuǎn)自由度)。所述一個(gè)或多個(gè)傳感器可以包括本文先前所述的任何傳感器,包括GPS傳感器、運(yùn)動(dòng)傳感器、慣性傳感器、距離傳感器或圖像傳感器。由感測(cè)系統(tǒng)108提供的感測(cè)數(shù)據(jù)可以用于控制可移動(dòng)物體100的空間布局、速度和/或朝向(例如,使用合適的處理單元和/或控制模塊,如下文所述)。或者,感測(cè)系統(tǒng)108可以用于提供關(guān)于可移動(dòng)物體周圍的環(huán)境的數(shù)據(jù),諸如氣象條件、距潛在障礙物的距離、地理特征的位置、人造構(gòu)造物的位置等。
通信系統(tǒng)110支持經(jīng)由無(wú)線信號(hào)116與具有通信系統(tǒng)114的終端112的通信。通信系統(tǒng)110、通信系統(tǒng)114可以包括任何數(shù)目的適合于無(wú)線通信的發(fā)射器、接收器和/或收發(fā)器。所述通信可以是單向通信,以使得數(shù)據(jù)只能在一個(gè)方向上傳輸。例如,單向通信可以僅涉及可移動(dòng)物體100向終端112傳輸數(shù)據(jù),或者反之亦然。數(shù)據(jù)可以從通信系統(tǒng)110的一個(gè)或多個(gè)發(fā)射器傳輸至通信系統(tǒng)112的一個(gè)或多個(gè)接收器,或者反之亦然?;蛘?,所述通信可以是雙向通信,以使得數(shù)據(jù)在可移動(dòng)物體100與終端112之間的兩個(gè)方向上均可傳輸。雙向通信可以涉及從通信系統(tǒng)110的一個(gè)或多個(gè)發(fā)射器向通信系統(tǒng)114的一個(gè)或多個(gè)接收器傳輸數(shù)據(jù),并且反之亦然。
在一些實(shí)施方式中,終端112可以向可移動(dòng)物體100、載體102和有效載荷104中的一個(gè)或多個(gè)提供控制數(shù)據(jù),以及從可移動(dòng)物體100、載體102和有效載荷104中的一個(gè)或多個(gè)接收信息(例如,可移動(dòng)物體、載體或有效載荷的位置和/或運(yùn)動(dòng)信息;由有效載荷感測(cè)的數(shù)據(jù),諸如由有效載荷相機(jī)捕捉的圖像數(shù)據(jù);以及從有效載荷相機(jī)捕捉的圖像數(shù)據(jù)中生成的數(shù)據(jù))。在一些情況下,來(lái)自終端的控制數(shù)據(jù)可以包括針對(duì)可移動(dòng)物體、載體和/或有效載荷的相對(duì)位置、移動(dòng)、致動(dòng)或控制的指令。例如,控制數(shù)據(jù)可以導(dǎo)致可移動(dòng)物體的位置和/或朝向的修改(例如,經(jīng)由推進(jìn)機(jī)構(gòu)106的控制),或者有效載荷相對(duì)于可移動(dòng)物體的移動(dòng)(例如,經(jīng)由載體102的控制)。來(lái)自終端的控制數(shù)據(jù)可以導(dǎo)致對(duì)有效載荷的控制,諸如對(duì)相機(jī)或其他圖像捕捉裝置的操作的控制(例如,拍攝靜態(tài)或移動(dòng)圖片、放大或縮小、開(kāi)啟或關(guān)閉、切換成像模式、改變圖像分辨率、改變聚焦、改變景深、改變曝光時(shí)間、改變視角或視野)。
在一些情況下,來(lái)自可移動(dòng)物體、載體和/或有效載荷的通信可以包括來(lái)自一個(gè)或多個(gè)傳感器(例如,感測(cè)系統(tǒng)108的或有效載荷104的傳感器)的信息和/或基于感測(cè)信息而生成的數(shù)據(jù)。所述通信可以包括來(lái)自一個(gè)或多個(gè)不同類型的傳感器(例如,GPS傳感器、運(yùn)動(dòng)傳感器、慣性傳感器、距離傳感器或圖像傳感器)的感測(cè)到的信息。這樣的信息可以關(guān)于可移動(dòng)物體、載體和/或有效載荷的位置(例如,位置、朝向)、移動(dòng)或加速度。來(lái)自有效載荷的這樣的信息可以包括由所述有效載荷捕捉的數(shù)據(jù)或所述有效載荷的感測(cè)到的狀態(tài)。由終端112傳輸?shù)目刂茢?shù)據(jù)可被配置成用于控制可移動(dòng)物體100、載體102或有效載荷104中的一個(gè)或多個(gè)的狀態(tài)。備選地或組合地,載體102和有效載荷104還可以各自包括通信模塊,所述通信模塊被配置成用于與終端112通信,以使得所述終端可以獨(dú)立地與可移動(dòng)物體100、載體102和有效載荷104中的每一個(gè)通信并對(duì)其加以控制。
在一些實(shí)施方式中,可移動(dòng)物體100可被配置成用于與另一遠(yuǎn)程裝置相通信——附加于終端112或代替終端112。終端112也可被配置成用于與另一遠(yuǎn)程裝置以及可移動(dòng)物體100相通信。例如,可移動(dòng)物體100和/或終端112可以與另一可移動(dòng)物體或者另一可移動(dòng)物體的載體或有效載荷相通信。當(dāng)需要時(shí),所述遠(yuǎn)程裝置可以是第二終端或其他計(jì)算裝置(例如,計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、智能電話或其他移動(dòng)裝置)。遠(yuǎn)程裝置可被配置成用于向可移動(dòng)物體100傳輸數(shù)據(jù)、從可移動(dòng)物體100接收數(shù)據(jù)、向終端112傳輸數(shù)據(jù)以及/或者從終端112接收數(shù)據(jù)??蛇x地,遠(yuǎn)程裝置可以連接至因特網(wǎng)或其他電信網(wǎng)絡(luò),以使得從可移動(dòng)物體100和/或終端112接收的數(shù)據(jù)可被上傳至網(wǎng)站或服務(wù)器。
圖2圖示了根據(jù)實(shí)施方式的用于控制無(wú)人飛行器的示例性系統(tǒng)200。系統(tǒng)200可以與本文所公開(kāi)的系統(tǒng)、裝置和方法的任何合適的實(shí)施方式結(jié)合使用。舉例來(lái)說(shuō),系統(tǒng)200可以由可移動(dòng)物體實(shí)現(xiàn)或運(yùn)載。系統(tǒng)200可以包括感測(cè)模塊202、處理單元204、非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)206、控制模塊208和通信模塊210。
感測(cè)模塊202可以利用以不同方式收集與可移動(dòng)物體有關(guān)的信息的不同類型的傳感器。不同類型的傳感器可以感測(cè)不同類型的信號(hào)或者來(lái)自不同來(lái)源的信號(hào)。例如,所述傳感器可以包括慣性傳感器、GPS傳感器、距離傳感器(例如,激光雷達(dá))或視覺(jué)/圖像傳感器(例如,相機(jī))。感測(cè)模塊202可以可操作地耦合至具有多個(gè)處理器的處理單元204。在一些實(shí)施方式中,感測(cè)模塊可以可操作地耦合至傳輸模塊212(例如,Wi-Fi圖像傳輸模塊),所述傳輸模塊被配置成用于向合適的外部裝置或系統(tǒng)直接傳輸感測(cè)數(shù)據(jù)。例如,傳輸模塊212可以用于向遠(yuǎn)程終端傳輸由感測(cè)模塊202的相機(jī)捕捉的圖像。
處理單元204可以具有一個(gè)或多個(gè)處理器,諸如可編程處理器(例如,中央處理單元(CPU))。例如,處理單元204可以包括現(xiàn)場(chǎng)可編程門陣列(FPGA)以及/或者一個(gè)或多個(gè)ARM處理器。處理單元204可以可操作地耦合至非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)206。非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)206可以儲(chǔ)存可由處理單元204執(zhí)行的邏輯、代碼和/或程序指令,用于執(zhí)行一個(gè)或多個(gè)步驟。非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)可以包括一個(gè)或多個(gè)存儲(chǔ)器單元(例如,可移動(dòng)介質(zhì)或外部存儲(chǔ),諸如SD卡或隨機(jī)存取存儲(chǔ)器(RAM))。在一些實(shí)施方式中,來(lái)自感測(cè)模塊202的數(shù)據(jù)可直接傳送至并儲(chǔ)存于非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)206的存儲(chǔ)器單元內(nèi)。非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)206的存儲(chǔ)器單元可以儲(chǔ)存可由處理單元204執(zhí)行的邏輯、代碼和/或程序指令,用以執(zhí)行本文所描述的方法的任何合適的實(shí)施方式。例如,處理單元204可被配置成用于執(zhí)行指令,從而使處理單元204的一個(gè)或多個(gè)處理器執(zhí)行本文所討論的一個(gè)或多個(gè)過(guò)程。存儲(chǔ)器單元可以儲(chǔ)存要由處理單元204處理的、來(lái)自感測(cè)模塊的感測(cè)數(shù)據(jù)。在一些實(shí)施方式中,非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)206的存儲(chǔ)器單元可以用于儲(chǔ)存由處理單元204產(chǎn)生的處理結(jié)果。
在一些實(shí)施方式中,處理單元204可以可操作地耦合至控制模塊208,所述控制模塊208被配置成用于控制可移動(dòng)物體的狀態(tài)。例如,控制模塊208可被配置成用于控制可移動(dòng)物體的推進(jìn)機(jī)構(gòu)以調(diào)節(jié)所述可移動(dòng)物體關(guān)于六個(gè)自由度的空間布局、速度和/或加速度。例如,控制模塊208可被配置成用于使無(wú)人飛行器保持懸停位置。備選地或組合地,控制模塊208可以控制載體、有效載荷或感測(cè)模塊的狀態(tài)中的一個(gè)或多個(gè)。例如,控制模塊208可以用于控制載體以便使有效載荷(例如,圖像捕捉裝置)在保持預(yù)定布局(例如,水平位置)的同時(shí)圍繞第一軸線(例如,Y軸線或偏航軸線)旋轉(zhuǎn)??刂颇K208還可以用于控制有效載荷在所述有效載荷正在旋轉(zhuǎn)的同時(shí)以預(yù)定的間隔捕捉多個(gè)圖像。
處理單元204可以可操作地耦合至通信模塊210,所述通信模塊210被配置成用于傳輸和/或接收來(lái)自一個(gè)或多個(gè)外部裝置(例如,終端、顯示裝置或其他遙控器)的數(shù)據(jù)??梢允褂萌魏魏线m的通信手段,諸如有線通信或無(wú)線通信。例如,通信模塊210可以利用局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)、紅外線、無(wú)線電、WiFi、點(diǎn)對(duì)點(diǎn)(P2P)網(wǎng)絡(luò)、電信網(wǎng)絡(luò)、云通信等之中的一種或多種??蛇x地,可以使用中繼站,諸如塔、衛(wèi)星或移動(dòng)臺(tái)。無(wú)線通信可以依賴于距離或獨(dú)立于距離。在一些實(shí)施方式中,通信可能需要或者可能不需要視線。通信模塊210可以傳輸和/或接收來(lái)自感測(cè)模塊202的感測(cè)數(shù)據(jù)、和/或由處理單元204產(chǎn)生的處理結(jié)果、預(yù)定控制數(shù)據(jù)或者來(lái)自終端或遙控器的用戶命令等之中的一個(gè)或多個(gè)。
系統(tǒng)200的部件可以按任何合適的配置來(lái)布置。例如,系統(tǒng)200的一個(gè)或多個(gè)部件可以位于可移動(dòng)物體、載體、有效載荷、終端、感測(cè)系統(tǒng)或與上述的一個(gè)或多個(gè)相通信的附加的外部裝置上。此外,雖然圖10描繪了單一處理單元204、單一非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)206和單一控制模塊208,但本領(lǐng)域技術(shù)人員將會(huì)理解,這并不旨在成為限制性的,并且系統(tǒng)200可以包括多個(gè)處理單元、控制模塊和/或非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)。在一些實(shí)施方式中,多個(gè)處理單元、控制模塊和/或非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)中的一個(gè)或多個(gè)可以位于不同的位置,諸如在可移動(dòng)物體、載體、有效載荷、終端、感測(cè)模塊、與上述的一個(gè)或多個(gè)相通信的附加的外部裝置上或其合適的組合,以使得由系統(tǒng)1200執(zhí)行的處理和/或存儲(chǔ)器功能的任何合適的方面可以發(fā)生于一個(gè)或多個(gè)上述位置處。
圖3圖示了根據(jù)實(shí)施方式的由遠(yuǎn)程終端實(shí)現(xiàn)的示例性系統(tǒng)300。系統(tǒng)300可以用于控制諸如無(wú)人飛行器等可移動(dòng)物體和/或用于顯示與無(wú)人飛行器有關(guān)的信息。遠(yuǎn)程終端可以是遙控終端、遠(yuǎn)程顯示終端或結(jié)合全部?jī)烧吖δ艿慕K端。系統(tǒng)300可以與本文公開(kāi)的系統(tǒng)、裝置和方法的任何合適的實(shí)施方式結(jié)合使用。系統(tǒng)300可以包括輸入模塊302、處理單元304、非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)306、顯示模塊308和通信模塊310,其全部經(jīng)由總線或類似的網(wǎng)絡(luò)而互相連接。
輸入模塊302可以包括一個(gè)或多個(gè)輸入機(jī)構(gòu),用于從操作所述輸入模塊的用戶接收輸入。這樣的輸入機(jī)構(gòu)可以包括一個(gè)或多個(gè)操縱桿、開(kāi)關(guān)、旋鈕、滑動(dòng)開(kāi)關(guān)、按鈕、撥號(hào)盤、觸摸屏、小鍵盤、鍵盤、鼠標(biāo)、語(yǔ)音控制、手勢(shì)控制、慣性傳感器等。這樣的輸入模塊302可以用于接收用戶輸入,所述用戶輸入用于控制可移動(dòng)物體、載體、有效載荷或其部件的方面。這樣的方面可以包括姿態(tài)、位置、朝向、導(dǎo)航、跟蹤等。例如,輸入機(jī)構(gòu)可以由用戶手動(dòng)設(shè)置為一個(gè)或多個(gè)位置,每個(gè)位置對(duì)應(yīng)于用于控制無(wú)人飛行器的預(yù)定輸入。
在一些實(shí)施方式中,輸入機(jī)構(gòu)可以由用戶操縱以輸入用于控制可移動(dòng)物體的導(dǎo)航的控制命令。例如,用戶可以利用旋鈕、開(kāi)關(guān)或類似的輸入機(jī)構(gòu)來(lái)輸入針對(duì)可移動(dòng)物體的飛行模式,諸如根據(jù)預(yù)定導(dǎo)航路徑而自動(dòng)駕駛或?qū)Ш?。又例如,用戶可以通過(guò)以某些方式使控制終端傾斜來(lái)控制可移動(dòng)物體的位置、姿態(tài)、朝向和其他方面,所述傾斜可以由一個(gè)或多個(gè)慣性傳感器檢測(cè)并用于生成對(duì)應(yīng)的導(dǎo)航命令。再例如,用戶可以使用輸入機(jī)構(gòu)來(lái)調(diào)節(jié)有效載荷的操作參數(shù)(例如,縮放)、姿態(tài)和/或有效載荷(例如,經(jīng)由載體)或者位于可移動(dòng)物體上的任何物體的其他方面。
處理單元304可以具有一個(gè)或多個(gè)處理器,諸如可編程處理器(例如,中央處理單元(CPU)或微控制器)。處理單元304可以可操作地耦合至存儲(chǔ)器306。存儲(chǔ)器306可以包括暫時(shí)性存儲(chǔ)介質(zhì)和/或非暫時(shí)性存儲(chǔ)介質(zhì),所述存儲(chǔ)介質(zhì)被配置成用于儲(chǔ)存數(shù)據(jù)以及/或者可由處理單元1304執(zhí)行的、用于執(zhí)行一個(gè)或多個(gè)例程或功能的邏輯、代碼和/或程序指令。存儲(chǔ)器可以包括一個(gè)或多個(gè)存儲(chǔ)器單元(例如,可移動(dòng)介質(zhì)或外部存儲(chǔ),諸如SD卡或隨機(jī)存取存儲(chǔ)器(RAM))。在一些實(shí)施方式中,來(lái)自輸入模塊302的數(shù)據(jù)可以直接傳送至并儲(chǔ)存于存儲(chǔ)器306的存儲(chǔ)器單元內(nèi)。存儲(chǔ)器306的存儲(chǔ)器單元可以儲(chǔ)存可由處理單元304執(zhí)行的邏輯、代碼和/或程序指令以執(zhí)行本文描述的方法的任何合適的實(shí)施方式。例如,處理單元304可被配置成用于執(zhí)行指令,從而使處理單元304的一個(gè)或多個(gè)處理器執(zhí)行本文描述的一個(gè)或多個(gè)過(guò)程。存儲(chǔ)器單元可以儲(chǔ)存感測(cè)數(shù)據(jù)或其他從外部裝置(例如,可移動(dòng)物體)接收的數(shù)據(jù)。在一些實(shí)施方式中,存儲(chǔ)器306的存儲(chǔ)器單元可以用于儲(chǔ)存由處理單元304產(chǎn)生的處理結(jié)果。雖然圖3描繪了單一處理單元304和單一存儲(chǔ)器306,但本領(lǐng)域技術(shù)人員將會(huì)理解,這并不旨在成為限制性的,并且系統(tǒng)1300可以包括多個(gè)處理單元和/或存儲(chǔ)器的多個(gè)存儲(chǔ)器單元。
在一些實(shí)施方式中,顯示模塊1308可被配置成用于顯示可移動(dòng)物體、載體和/或有效載荷的信息,所述信息關(guān)于位置、平移速度、平移加速度、朝向、角速度、角加速度或其任何合適的組合。顯示模塊308可被配置成用于顯示從可移動(dòng)物體和/或有效載荷接收的信息,諸如感測(cè)數(shù)據(jù)(例如,由相機(jī)或其他圖像捕捉裝置記錄的圖像)、經(jīng)處理的數(shù)據(jù)(諸如由位于可移動(dòng)物體上的處理器生成的拼接圖像)、在圖像拼接進(jìn)程期間生成的中間數(shù)據(jù)、控制反饋數(shù)據(jù)等。在一些實(shí)施方式中,顯示模塊308可以由實(shí)現(xiàn)輸入模塊302的同一裝置實(shí)現(xiàn)。在其他實(shí)施方式中,顯示模塊308可以由與實(shí)現(xiàn)輸入模塊302的裝置分離(但可能可操作地耦合至所述裝置)的裝置所實(shí)現(xiàn)。
通信模塊310可被配置成用于傳輸和/或接收來(lái)自一個(gè)或多個(gè)外部裝置(例如,可移動(dòng)物體、有效載荷、基站、遙控器等)的數(shù)據(jù)。例如,通信模塊310可被配置成用于向諸如可移動(dòng)物體、載體和/或有效載荷等外部系統(tǒng)或裝置傳輸控制數(shù)據(jù)(例如,導(dǎo)航命令、控制命令)。通信模塊310還可被配置成用于從外部系統(tǒng)或裝置接收數(shù)據(jù)(例如,感測(cè)數(shù)據(jù)和圖像拼接數(shù)據(jù))。在一些實(shí)施方式中。通信模塊310可以包括發(fā)射器312和接收器314,所述發(fā)射器和接收器分別被配置成用于向遠(yuǎn)程裝置傳輸數(shù)據(jù)以及從遠(yuǎn)程裝置接收數(shù)據(jù)。在一些實(shí)施方式中,通信模塊可以包括收發(fā)器,所述收發(fā)器組合了發(fā)射器和接收器的功能性。在一些實(shí)施方式中,發(fā)射器和接收器可以與彼此相通信并且與處理單元304相通信??梢允褂萌魏魏线m的通信手段,諸如本文描述的有線通信或無(wú)線通信。
圖4圖示了根據(jù)實(shí)施方式的示例性載體400的等距視圖。載體400可以用于將諸如圖像捕捉裝置等有效載荷耦合至諸如無(wú)人飛行器等可移動(dòng)物體。
載體400可被配置成用于允許有效載荷圍繞多達(dá)三個(gè)軸線旋轉(zhuǎn):相對(duì)于可移動(dòng)物體的X軸線或俯仰軸線402、Z軸線或橫滾軸線404以及Y軸線或偏航軸線406。例如,載體400可被配置成用于允許有效載荷僅圍繞一個(gè)、兩個(gè)或全部三個(gè)軸線旋轉(zhuǎn)。所述三個(gè)軸線可以彼此正交或者可以不彼此正交。圍繞任何軸線的旋轉(zhuǎn)范圍可以受限或者可以不受限,并且可以針對(duì)每個(gè)軸線而變化。旋轉(zhuǎn)軸線可以彼此相交或者可以不彼此相交。例如,三個(gè)正交軸線可以彼此相交。它們可以相交于有效載荷處或者可以不相交于有效載荷處。或者,它們可以不相交。
載體400可以包括機(jī)架組件,所述機(jī)架組件包括第一機(jī)架構(gòu)件408、第二機(jī)架構(gòu)件416、第三機(jī)架構(gòu)件422和第四機(jī)架構(gòu)件428。第一機(jī)架構(gòu)件408可被配置成用于與有效載荷(例如,圖像捕捉裝置)相耦合并且支撐所述有效載荷。
在一些實(shí)施方式中,載體包括一個(gè)或多個(gè)載體傳感器,所述載體傳感器有助于確定所述載體的狀態(tài)或由所述載體攜帶的有效載荷的狀態(tài)。狀態(tài)信息可以包括關(guān)于載體、其部件和/或有效載荷的空間布局(例如,位置、朝向或姿態(tài))、速度(例如,線速度或角速度)、加速度(例如,線加速度或角加速度)和/或其他信息。在一些實(shí)施方式中,從傳感器數(shù)據(jù)獲取或計(jì)算而得的狀態(tài)信息可以用作反饋數(shù)據(jù)以控制載體的部件(例如,機(jī)架構(gòu)件)的旋轉(zhuǎn)。這樣的載體傳感器的示例可以包括運(yùn)動(dòng)傳感器(例如,加速度計(jì))、旋轉(zhuǎn)傳感器(例如,陀螺儀)、慣性傳感器等。
載體傳感器可以耦合至載體的任何一個(gè)或多個(gè)合適的部分(例如,機(jī)架構(gòu)件和/或致動(dòng)器構(gòu)件),并且可以是或者可以不是相對(duì)于無(wú)人飛行器可移動(dòng)的。附加地或備選地,至少一些載體傳感器可以直接耦合至由載體攜帶的有效載荷。
載體傳感器可以與載體的一些或全部致動(dòng)器構(gòu)件相耦合。例如,三個(gè)載體傳感器可以分別耦合至載體的致動(dòng)器構(gòu)件1410、1418和1424并且被配置成用于測(cè)量相應(yīng)的致動(dòng)器構(gòu)件1410、1418和1424的驅(qū)動(dòng)。這樣的傳感器可以包括電位計(jì)或其他類似的傳感器。在實(shí)施方式中,傳感器(例如,電位計(jì))可以插入于電機(jī)的電機(jī)軸桿上,以便測(cè)量電機(jī)轉(zhuǎn)子與電機(jī)定子的相對(duì)位置,從而測(cè)量轉(zhuǎn)子與定子的相對(duì)位置并且生成表示所述相對(duì)位置的位置信號(hào)。在實(shí)施方式中,每個(gè)致動(dòng)器耦合的傳感器被配置成用于提供其所測(cè)量的對(duì)應(yīng)致動(dòng)器構(gòu)件的位置信號(hào)。例如,第一電位計(jì)可以用于生成針對(duì)第一致動(dòng)器構(gòu)件1410的第一位置信號(hào),第二電位計(jì)可以用于生成針對(duì)第二致動(dòng)器構(gòu)件1418的第二位置信號(hào),而第三電位計(jì)可以用于生成針對(duì)第三致動(dòng)器構(gòu)件1424的第三位置信號(hào)。在一些實(shí)施方式中,載體傳感器還可以耦合至載體的一些或全部機(jī)架構(gòu)件。傳感器可能能夠傳送信息,所述信息關(guān)于載體和/或圖像捕捉裝置的一個(gè)、兩個(gè)、三個(gè)、四個(gè)或更多機(jī)架構(gòu)件的位置和/或朝向。傳感器數(shù)據(jù)可以用于確定圖像捕捉裝置相對(duì)于可移動(dòng)物體和/或參考系的位置和/或朝向。
載體傳感器可以提供位置和/或朝向數(shù)據(jù),所述數(shù)據(jù)可被傳輸至載體或可移動(dòng)物體上的一個(gè)或多個(gè)控制器(未示出)。傳感器數(shù)據(jù)可以在基于反饋的控制方案中使用。所述控制方案可以用于控制多個(gè)致動(dòng)器構(gòu)件(諸如兩個(gè)、三個(gè)、四個(gè)、五個(gè)或更多個(gè)電機(jī))的驅(qū)動(dòng)。可位于載體上或攜帶所述載體的可移動(dòng)物體上的一個(gè)或多個(gè)控制器可以生成用于驅(qū)動(dòng)致動(dòng)器構(gòu)件的控制信號(hào)。在一些情況下,可以基于從載體傳感器接收的、指示出載體或由所述載體攜帶的有效載荷的空間布局的數(shù)據(jù)而生成控制信號(hào)。如前文所述,載體傳感器可以位于載體或有效載荷上。由控制器產(chǎn)生的控制信號(hào)可以由第一致動(dòng)器的驅(qū)動(dòng)器、第二致動(dòng)器的驅(qū)動(dòng)器和/或第三致動(dòng)器的驅(qū)動(dòng)器接收。基于控制信號(hào),第一致動(dòng)器的驅(qū)動(dòng)器、第二致動(dòng)器的驅(qū)動(dòng)器和/或第三致動(dòng)器的驅(qū)動(dòng)器可以控制第一致動(dòng)器構(gòu)件、第二致動(dòng)器構(gòu)件和/或第三致動(dòng)器構(gòu)件的驅(qū)動(dòng),例如,用以實(shí)現(xiàn)載體的一個(gè)或多個(gè)部件的旋轉(zhuǎn)。致動(dòng)器的驅(qū)動(dòng)器可以包括適合于控制對(duì)應(yīng)的致動(dòng)器構(gòu)件的驅(qū)動(dòng)并且從對(duì)應(yīng)的傳感器(例如,電位計(jì))接收位置信號(hào)的硬件和/或軟件部件??刂菩盘?hào)可以同時(shí)傳輸至致動(dòng)器的驅(qū)動(dòng)器,以產(chǎn)生致動(dòng)器構(gòu)件的同時(shí)驅(qū)動(dòng)?;蛘?,控制信號(hào)可以依次傳輸,或者僅傳輸至所述致動(dòng)器的驅(qū)動(dòng)器中的一個(gè)。有利地,控制方案可以用于提供用于驅(qū)動(dòng)載體的致動(dòng)器構(gòu)件的反饋控制,從而支持載體部件的更精確且準(zhǔn)確的旋轉(zhuǎn)。
在一些情況下,載體可以經(jīng)由一個(gè)或多個(gè)阻尼元件而間接地耦合至無(wú)人飛行器。所述阻尼元件可被配置成用于減少或消除由可移動(dòng)物體(例如,無(wú)人飛行器)的移動(dòng)而造成的負(fù)荷(例如,有效載荷、載體或全部?jī)烧?的移動(dòng)。阻尼元件可以包括適合于衰減所耦合的負(fù)荷的運(yùn)動(dòng)的任何元件,諸如主動(dòng)阻尼元件、被動(dòng)阻尼元件或者既具有主動(dòng)阻尼特性又具有被動(dòng)阻尼特性的混合阻尼元件。由本文提供的阻尼元件衰減的運(yùn)動(dòng)可以包括震動(dòng)、震蕩、晃動(dòng)或沖擊中的一種或多種。這樣的運(yùn)動(dòng)可以源于經(jīng)由例如第四機(jī)架構(gòu)件1428而傳輸至負(fù)荷的可移動(dòng)物體的運(yùn)動(dòng)。例如,所述運(yùn)動(dòng)可以包括由推進(jìn)系統(tǒng)和/或無(wú)人飛行器的其他部件的操作而造成的震動(dòng)。
阻尼元件可以通過(guò)將負(fù)荷與不期望的運(yùn)動(dòng)的來(lái)源相隔離進(jìn)而消散或減小傳遞到負(fù)荷的運(yùn)動(dòng)量(例如,震動(dòng)隔離)來(lái)提供運(yùn)動(dòng)阻尼。阻尼元件可以減小原本會(huì)由負(fù)荷經(jīng)受的運(yùn)動(dòng)的幅度(例如,振幅)。由阻尼元件施加的運(yùn)動(dòng)阻尼可以用于穩(wěn)定負(fù)荷,從而提高由負(fù)荷(例如,圖像捕捉裝置)捕捉的圖像的質(zhì)量,以及降低基于所捕捉的圖像來(lái)生成全景圖像所需的圖像拼接步驟的計(jì)算復(fù)雜度。
本文描述的阻尼元件可以由任何合適的材料或材料的組合形成,所述材料包括固態(tài)材料、液態(tài)材料或氣態(tài)材料。用于阻尼元件的材料可以是可壓縮的和/或可變形的。例如,阻尼元件可以由海綿、泡沫、橡膠、凝膠等制成。例如,阻尼元件可以包括基本上呈球形的橡膠球,諸如圖12中所圖示。阻尼元件可以具有任何合適的形狀,諸如基本上呈球形、矩形、圓柱形等。備選地或附加地,阻尼元件可以包括壓電材料或形狀記憶材料。阻尼元件可以包括一個(gè)或多個(gè)機(jī)械元件,諸如彈簧、活塞、液壓裝置、氣動(dòng)裝置、緩沖器、減震器、隔震器等??梢赃x擇阻尼元件的性質(zhì)以便提供預(yù)定量的運(yùn)動(dòng)阻尼。在一些情況下,阻尼元件可以具有粘彈性性質(zhì)。阻尼元件的性質(zhì)可以是各向同性的或各向異性的。例如,阻尼元件可以沿著全部運(yùn)動(dòng)方向平等地提供運(yùn)動(dòng)阻尼。相反地,阻尼元件可以僅沿著運(yùn)動(dòng)方向的子集(例如,沿著單一運(yùn)動(dòng)方向)提供運(yùn)動(dòng)阻尼。例如,如圖12中所圖示的阻尼元件可以主要沿著Y(偏航)軸線1406提供阻尼。因此,所圖示的阻尼元件可被配置成用于減小垂直運(yùn)動(dòng)。
雖然本文的實(shí)施方式可被描繪為利用單一類型的阻尼元件(例如,橡膠球),但應(yīng)當(dāng)明白,可以使用各類阻尼元件的任何合適的組合。例如,可以使用一個(gè)、兩個(gè)、三個(gè)、四個(gè)或更多個(gè)具有任何合適的一種類型或多種類型的阻尼元件將載體耦合至可移動(dòng)物體。阻尼元件可以具有相同或不同的特性或性質(zhì),諸如剛度、粘彈性等。每個(gè)阻尼元件可以耦合至負(fù)荷的不同部分或僅耦合至負(fù)荷的某一部分。例如,阻尼元件可以位于負(fù)荷與可移動(dòng)物體之間的接觸點(diǎn)或表面或者耦合點(diǎn)或表面附近(例如,第四機(jī)架構(gòu)件1428的耦合構(gòu)件1430附近)。在一些情況下,負(fù)荷可以嵌入在一個(gè)或多個(gè)阻尼元件內(nèi)或者由一個(gè)或多個(gè)阻尼元件所封閉。
示例性無(wú)人飛行器(UAV)
圖5是根據(jù)本發(fā)明的實(shí)施方式的無(wú)人飛行器(UAV)的示例性示圖。無(wú)人飛行器可以是如本文所述的可移動(dòng)物體的示例。無(wú)人飛行器500可以包括具有四個(gè)旋翼502、504、506和508的推進(jìn)系統(tǒng)??梢蕴峁┤魏螖?shù)目的旋翼(例如,一個(gè)、兩個(gè)、三個(gè)、四個(gè)、五個(gè)、六個(gè)或更多個(gè)旋翼)。無(wú)人飛行器的旋翼、旋翼組件或其他推進(jìn)系統(tǒng)可以使得所述無(wú)人飛行器能夠懸停/保持位置、改變朝向和/或改變位置。相對(duì)的旋翼的軸桿之間的距離可以是任何合適的長(zhǎng)度510。本文對(duì)無(wú)人飛行器的任何描述均可適用于可移動(dòng)物體,諸如不同類型的可移動(dòng)物體,并且反之亦然。
在一些實(shí)施方式中,可移動(dòng)物體可被配置成用于攜帶負(fù)荷。負(fù)荷可以包括乘客、貨物、設(shè)備、儀器等之中的一種或多種。負(fù)荷可以提供在外殼內(nèi)。所述外殼可以與可移動(dòng)物體的外殼相分離,或者是與可移動(dòng)物體的外殼相同?;蛘撸?fù)荷可以具備外殼,而可移動(dòng)物體不具有外殼?;蛘撸?fù)荷的一些部分或整個(gè)負(fù)荷可以在不具有外殼的情況下提供。負(fù)荷可以相對(duì)可移動(dòng)物體剛性固定??蛇x地,負(fù)荷可以是可相對(duì)于可移動(dòng)物體移動(dòng)的(例如,可相對(duì)于可移動(dòng)物體平移或旋轉(zhuǎn))。
在一些實(shí)施方式中,負(fù)荷包括有效載荷512。所述有效載荷可被配置成不執(zhí)行任何操作或功能。或者,有效載荷可以是被配置成用于執(zhí)行操作或功能的有效載荷,亦稱為功能性有效載荷。例如,有效載荷可以包括一個(gè)或多個(gè)傳感器,用于勘測(cè)一個(gè)或多個(gè)目標(biāo)??梢韵蛴行лd荷中合并任何合適的傳感器,諸如圖像捕捉裝置(例如,相機(jī))、音頻捕捉裝置(例如,拋物面麥克風(fēng))、紅外成像裝置或紫外成像裝置。所述傳感器可以提供靜態(tài)感測(cè)數(shù)據(jù)(例如,照片)或動(dòng)態(tài)感測(cè)數(shù)據(jù)(例如,視頻)。在一些實(shí)施方式中,傳感器提供針對(duì)有效載荷的目標(biāo)的感測(cè)數(shù)據(jù)。備選地或組合地,有效載荷可以包括一個(gè)或多個(gè)發(fā)射體,用于向一個(gè)或多個(gè)目標(biāo)提供信號(hào)??梢允褂萌魏魏线m的發(fā)射體,諸如照明源或聲源。在一些實(shí)施方式中,有效載荷包括一個(gè)或多個(gè)收發(fā)器,諸如用于與遠(yuǎn)離可移動(dòng)物體的模塊相通信??蛇x地,有效載荷可被配置成用于與環(huán)境或目標(biāo)交互。例如,有效載荷可以包括能夠操縱物體的工具、儀器或機(jī)構(gòu),諸如機(jī)械臂。
可選地,負(fù)荷可以包括載體514。所述載體可以針對(duì)有效載荷而提供,并且所述有效載荷可以經(jīng)由所述載體直接地(例如,直接接觸可移動(dòng)物體)或間接地(例如,不接觸可移動(dòng)物體)耦合至可移動(dòng)物體。相反地,有效載荷可在無(wú)需載體的情況下安裝于可移動(dòng)物體上。有效載荷可以與載體一體形成。或者,有效載荷可以可拆卸地耦合至載體。在一些實(shí)施方式中,有效載荷可以包括一個(gè)或多個(gè)有效載荷元件,并且所述有效載荷元件中的一個(gè)或多個(gè)可以如上文所述是可相對(duì)于可移動(dòng)物體和/或載體移動(dòng)的。
載體可以與可移動(dòng)物體一體形成?;蛘撸d體可以可拆卸地耦合至可移動(dòng)物體。載體可以直接地或間接地耦合至可移動(dòng)物體。載體可以向有效載荷提供支撐(例如,承載所述有效載荷的重量的至少一部分)。載體可以包括能夠穩(wěn)定和/或引導(dǎo)有效載荷的移動(dòng)的合適的安裝結(jié)構(gòu)(例如,云臺(tái)平臺(tái))。在一些實(shí)施方式中,載體可以適于控制有效載荷相對(duì)于可移動(dòng)物體的狀態(tài)(例如,位置和/或朝向)。例如,載體可被配置成用于相對(duì)于可移動(dòng)物體而移動(dòng)(例如,關(guān)于一個(gè)、兩個(gè)或三個(gè)平移自由度以及/或者一個(gè)、兩個(gè)或三個(gè)旋轉(zhuǎn)自由度),以使得有效載荷相對(duì)于合適的參考系保持其位置和/或朝向,而與可移動(dòng)物體的移動(dòng)無(wú)關(guān)。所述參考系可以是固定參考系(例如,周圍環(huán)境)?;蛘?,所述參考系可以是移動(dòng)參考系(例如,可移動(dòng)物體、有效載荷目標(biāo))。
在一些實(shí)施方式中,載體可被配置成用于允許有效載荷相對(duì)于載體和/或可移動(dòng)物體的移動(dòng)。所述移動(dòng)可以是關(guān)于多達(dá)三個(gè)自由度(例如,沿著一個(gè)、兩個(gè)或三個(gè)軸線)的平移或者是關(guān)于多達(dá)三個(gè)自由度(例如,繞著一個(gè)、兩個(gè)或三個(gè)軸線)的旋轉(zhuǎn),或者是它們的任何合適的組合。
在一些情況下,載體可以包括載體機(jī)架組件和載體致動(dòng)組件。所述載體機(jī)架組件可以向有效載荷提供結(jié)構(gòu)支撐。載體機(jī)架組件可以包括單獨(dú)的載體機(jī)架部件,其中一些是可相對(duì)于彼此移動(dòng)的。所述載體致動(dòng)組件可以包括一個(gè)或多個(gè)致動(dòng)器(例如,電機(jī)),所述致動(dòng)器致動(dòng)單個(gè)載體機(jī)架部件的移動(dòng)。致動(dòng)器可以允許多個(gè)載體機(jī)架部件同時(shí)移動(dòng),或者可被配置成用于一次允許單一載體機(jī)架部件移動(dòng)。載體機(jī)架部件的移動(dòng)可以產(chǎn)生有效載荷的對(duì)應(yīng)移動(dòng)。例如,載體致動(dòng)組件可以致動(dòng)一個(gè)或多個(gè)載體機(jī)架部件繞著一個(gè)或多個(gè)旋轉(zhuǎn)軸線(例如,橫滾軸線、俯仰軸線或偏航軸線)的旋轉(zhuǎn)。所述一個(gè)或多個(gè)載體機(jī)架部件的旋轉(zhuǎn)可以使有效載荷相對(duì)于可移動(dòng)物體繞著一個(gè)或多個(gè)旋轉(zhuǎn)軸線旋轉(zhuǎn)。備選地或組合地,載體致動(dòng)組件可以致動(dòng)一個(gè)或多個(gè)載體機(jī)架部件沿著一個(gè)或多個(gè)平移軸線的平移,并從而產(chǎn)生有效載荷相對(duì)于可移動(dòng)物體沿著一個(gè)或多個(gè)對(duì)應(yīng)的軸線的平移。
在一些實(shí)施方式中,可移動(dòng)物體、載體和有效載荷相對(duì)于固定參考系(例如,周圍環(huán)境)和/或相對(duì)于彼此的移動(dòng)可以由終端所控制。所述終端可以是處于遠(yuǎn)離所述可移動(dòng)物體、載體和/或有效載荷的位置處的遙控裝置。終端可以安置在支撐平臺(tái)上或固定至支撐平臺(tái)。或者,終端可以是手持式或可穿戴式裝置。例如,終端可以包括智能電話、平板計(jì)算機(jī)、膝上型計(jì)算機(jī)、計(jì)算機(jī)、眼鏡、手套、頭盔、麥克風(fēng)或其合適的組合。終端可以包括用戶接口,諸如鍵盤、鼠標(biāo)、操縱桿、觸摸屏或顯示器。任何合適的用戶輸入均可用于與終端交互,諸如手動(dòng)輸入命令、語(yǔ)音控制、手勢(shì)控制或位置控制(例如,經(jīng)由終端的移動(dòng)、位置或傾斜)。
終端可以用于控制可移動(dòng)物體、載體和/或有效載荷的任何合適的狀態(tài)。例如,終端可以用于控制可移動(dòng)物體、載體和/或有效載荷相對(duì)于固定參考物來(lái)自彼此和/或朝著彼此的位置和/或朝向。在一些實(shí)施方式中,終端可以用于控制可移動(dòng)物體、載體和/或有效載荷的單獨(dú)元件,諸如載體的致動(dòng)組件、有效載荷的傳感器或有效載荷的發(fā)射體。終端可以包括適于與可移動(dòng)物體、載體或有效載荷中的一個(gè)或多個(gè)相通信的無(wú)線通信裝置。
終端可以包括用于查看可移動(dòng)物體、載體和/或有效載荷的信息的合適的顯示單元。例如,終端可被配置成用于顯示可移動(dòng)物體、載體和/或有效載荷的信息,所述信息關(guān)于位置、平移速度、平移加速度、朝向、角速度、角加速度或其任何合適的組合。在一些實(shí)施方式中,終端可以顯示由有效載荷提供的信息,諸如由功能性有效載荷提供的數(shù)據(jù)(例如,由相機(jī)或其他圖像捕捉裝置記錄的圖像)。
可選地,同一終端可以控制可移動(dòng)物體、載體和/或有效載荷或者可移動(dòng)物體、載體和/或有效載荷的狀態(tài),以及接收和/或顯示來(lái)自可移動(dòng)物體、載體和/或有效載荷的信息。例如,終端可以控制有效載荷相對(duì)于環(huán)境的位置,同時(shí)顯示由有效載荷捕捉的圖像數(shù)據(jù),或者與有效載荷的位置有關(guān)的信息?;蛘撸煌慕K端可以用于不同的功能。例如,第一終端可以控制可移動(dòng)物體、載體和/或有效載荷的移動(dòng)或狀態(tài),而第二終端可以接收和/或顯示來(lái)自可移動(dòng)物體、載體和/或有效載荷的信息。例如,第一終端可以用于控制有效載荷相對(duì)于環(huán)境的定位,而第二終端顯示由所述有效載荷捕捉的圖像數(shù)據(jù)。可以在可移動(dòng)物體與既控制所述可移動(dòng)物體又接收數(shù)據(jù)的集成式終端之間,或者在可移動(dòng)物體與既控制所述可移動(dòng)物體又接收數(shù)據(jù)的多個(gè)終端之間利用各種通信模式。例如,可以在可移動(dòng)物體與既控制所述可移動(dòng)物體又接收來(lái)自所述可移動(dòng)物體的數(shù)據(jù)的終端之間形成至少兩種不同的通信模式。
移動(dòng)模擬
根據(jù)本發(fā)明的各個(gè)實(shí)施方式,可移動(dòng)物體的移動(dòng)的實(shí)際模擬可以共享用于可移動(dòng)物體的真實(shí)操作的各個(gè)部件。例如,實(shí)際飛行模擬可以是包括在載運(yùn)工具的真實(shí)飛行操作中使用的部件的飛行模擬。
圖6示出了根據(jù)本發(fā)明各個(gè)實(shí)施方式的實(shí)際飛行模擬環(huán)境的各種示例性部件。實(shí)際飛行模擬環(huán)境600可以包括無(wú)人飛行器604、遙控器601、顯示裝置602以及遙控器與顯示裝置之間的連接器603。
可以在諸如飛行模式和模擬模式等不同的操作模式中操作無(wú)人飛行器。在飛行模式中,可以在真實(shí)環(huán)境中放飛無(wú)人飛行器,例如通過(guò)從遙控器接收指令或輸入來(lái)放飛無(wú)人飛行器。例如,真實(shí)飛行環(huán)境可以是可在其中操作無(wú)人飛行器的戶外環(huán)境、室內(nèi)環(huán)境或者戶外環(huán)境與室內(nèi)環(huán)境的混合。無(wú)人飛行器的操作可以是無(wú)人飛行器的飛行或其他行動(dòng)。真實(shí)環(huán)境可以存在于真實(shí)的時(shí)間和空間中。真實(shí)環(huán)境可以是在物理世界中有形的。
在模擬模式中,無(wú)人飛行器可以在虛擬環(huán)境內(nèi)飛行而非實(shí)際地在真實(shí)環(huán)境中飛行。虛擬環(huán)境或模擬環(huán)境可以是存在于計(jì)算機(jī)軟件結(jié)構(gòu)中的環(huán)境。虛擬環(huán)境或模擬環(huán)境可以由來(lái)自用戶的一個(gè)或多個(gè)輸入、軟件開(kāi)發(fā)者或來(lái)自數(shù)據(jù)庫(kù)的信息所創(chuàng)建。虛擬環(huán)境或模擬環(huán)境可以是對(duì)存在于真實(shí)的空間和時(shí)間中的環(huán)境或不存在于真實(shí)的空間和時(shí)間中的假想環(huán)境的表示。虛擬環(huán)境或模擬環(huán)境可以包括限定的邊界、障礙物和表面。虛擬環(huán)境或模擬環(huán)境可以具有限定的介質(zhì)用以支持無(wú)人飛行器的飛行,例如,所述介質(zhì)可以是空氣。所述介質(zhì)可以存在于虛擬環(huán)境中并在所述虛擬環(huán)境中受到數(shù)學(xué)上的限定。在一些實(shí)施方式中,虛擬環(huán)境不存在于有形的物理世界中。
無(wú)人飛行器可以在物理上保持靜止并且可以不在真實(shí)環(huán)境內(nèi)自推進(jìn)。當(dāng)無(wú)人飛行器處于模擬模式中時(shí),所述無(wú)人飛行器的一個(gè)或多個(gè)推進(jìn)單元可以不操作。在模擬操作模式中,無(wú)人飛行器上的一個(gè)或多個(gè)部件可以有助于飛行模擬。在一些情況下,無(wú)人飛行器604上的部件可以都不用于飛行模擬中。在模擬操作模式中,可以在虛擬環(huán)境或模擬環(huán)境中放飛虛擬的無(wú)人飛行器。虛擬的無(wú)人飛行器和虛擬的環(huán)境可以在數(shù)學(xué)上存在于模擬空間中。虛擬的無(wú)人飛行器在虛擬環(huán)境中可以與真實(shí)的無(wú)人飛行器在真實(shí)環(huán)境中具有相同功能性。
當(dāng)無(wú)人飛行器處于模擬模式中時(shí),由遙控器601提供的輸入可以是飛行控制數(shù)據(jù)。飛行控制數(shù)據(jù)可以是改變飛行路徑或者使飛行事件開(kāi)始或停止的指令。在示例中,飛行控制數(shù)據(jù)可以是用以啟動(dòng)推進(jìn)系統(tǒng)、停止推進(jìn)系統(tǒng)、增大推進(jìn)系統(tǒng)的功率、減小推進(jìn)系統(tǒng)的功率、改變無(wú)人飛行器的前進(jìn)方向、改變無(wú)人飛行器的海拔、打開(kāi)無(wú)人飛行器上的傳感器、關(guān)閉無(wú)人飛行器上的傳感器、報(bào)告來(lái)自無(wú)人飛行器上的傳感器的傳感器數(shù)據(jù)或者起始無(wú)人飛行器上的自動(dòng)駕駛功能的指令。當(dāng)無(wú)人飛行器處于模擬模式中時(shí),可以不將飛行控制數(shù)據(jù)傳遞至無(wú)人飛行器的推進(jìn)單元。
無(wú)人飛行器可以包括接收器,所述接收器被配置成用于接收模式信號(hào),所述模式信號(hào)指示出無(wú)人飛行器處于飛行模式或模擬模式中。模式信號(hào)可以由與接收器相通信的遙控器、顯示裝置或單獨(dú)裝置所提供。在一些情況下,信號(hào)可以通過(guò)無(wú)人飛行器上的硬件部件而提供。硬件部件可以由用戶操縱以向無(wú)人飛行器提供信號(hào)。例如,硬件部件可以是可在第一位置與第二位置之間物理轉(zhuǎn)移以提供指示出第一模式或第二模式的信號(hào)的開(kāi)關(guān)、按鈕或旋鈕。在另一示例中,飛行模式可以是默認(rèn)模式并且無(wú)人飛行器可以在所述飛行模式中操作,除非模式信號(hào)指示出對(duì)模擬模式的改變。
在一些情況下,無(wú)人飛行器的一個(gè)或多個(gè)功能可以至少部分地由來(lái)自用戶的輸入所控制??梢酝ㄟ^(guò)遙控器向無(wú)人飛行器提供來(lái)自用戶的輸入。通過(guò)遙控器來(lái)提供輸入以控制無(wú)人飛行器的一個(gè)或多個(gè)功能可能是困難的。在一些情況下,對(duì)于通過(guò)遙控器來(lái)提供輸入以控制無(wú)人飛行器的一個(gè)或多個(gè)功能不熟悉的用戶可能無(wú)法使用遙控器實(shí)現(xiàn)期望結(jié)果。無(wú)法使用遙控器實(shí)現(xiàn)期望結(jié)果可能導(dǎo)致無(wú)人飛行器的損壞和/或無(wú)人飛行器丟失于未知環(huán)境中。提供模擬練習(xí)可以是有利的,其中用戶可以訓(xùn)練并練習(xí)使用遙控器在虛擬環(huán)境中控制虛擬無(wú)人飛行器。所述遙控器與用于在真實(shí)的飛行環(huán)境中放飛無(wú)人飛行器的遙控器可以是同一遙控器。
被配置成用于在虛擬環(huán)境(或模擬)中控制虛擬無(wú)人飛行器的遙控器可以與用于在真實(shí)環(huán)境中控制真實(shí)無(wú)人飛行器的控制器相同或類似。提供既用于模擬中又用于真實(shí)環(huán)境中的相同控制器可以產(chǎn)生針對(duì)用戶而言更實(shí)際的訓(xùn)練經(jīng)驗(yàn)。用戶可以形成與遙控器上的物理接口的移動(dòng)或操縱相關(guān)聯(lián)的肌肉記憶。提供用于無(wú)人飛行器的模擬和真實(shí)飛行模式中的相同遙控器可以提供利用在模擬模式中形成的肌肉記憶以供真實(shí)飛行模式中使用的優(yōu)點(diǎn)。肌肉記憶可以增加飛行模式中的反應(yīng)時(shí)間、精確度和準(zhǔn)確度。提供用于無(wú)人飛行器的模擬和飛行模式中的相同控制器可以使用戶熟悉遙控器上的控件的靈敏度。例如,用戶可以對(duì)無(wú)人飛行器對(duì)于來(lái)自遙控器的輸入的響應(yīng)時(shí)間變得熟悉。在另一示例中,用戶可以對(duì)響應(yīng)相對(duì)于遙控器上的物理接口的移動(dòng)的幅度變得熟悉。此外,在模擬模式中,用戶可以記住遙控器上的旋鈕、按鈕、操縱桿和/或撥號(hào)盤的位置,在飛行模式中,記住的這些部件的位置可以增加反應(yīng)時(shí)間并因此提高用戶控制無(wú)人飛行器的能力。
遙控器可以與用于在真實(shí)飛行操作中控制無(wú)人飛行器的遙控器相同。在一些情況下,遙控器可以是與用于在真實(shí)飛行操作中控制無(wú)人飛行器的遙控器類似或相同的拷貝。遙控器可以具有物理用戶接口機(jī)構(gòu)的任何組合。物理用戶接口機(jī)構(gòu)可以是遙控器上的部件,用戶觸摸或操縱所述部件以控制無(wú)人飛行器的至少一個(gè)功能。在示例中,物理用戶接口機(jī)構(gòu)可以是按鈕、操縱桿、滾動(dòng)球、觸摸屏、開(kāi)關(guān)、撥號(hào)盤或旋鈕。在一些情況下,物理用戶接口可以包括兩個(gè)或更多個(gè)操縱桿。操縱桿可以垂直地和水平地移動(dòng)。操縱桿可以用于控制俯仰、橫滾、偏航和/或垂直速度。可以配置物理用戶接口機(jī)構(gòu)以使得用戶可以控制無(wú)人飛行器繞著橫滾軸線、偏航軸線和/或俯仰軸線的移動(dòng)。物理用戶接口機(jī)構(gòu)可以由用戶操縱以使無(wú)人飛行器在沿著三維空間中的平面的方向上平移。物理用戶接口還可被配置成用于提供對(duì)于無(wú)人飛行器的飛行的用戶控制。控制無(wú)人飛行器的飛行可以包括控制無(wú)人飛行器的速度、功率、油門和/或海拔。在一些情況下,物理用戶接口可以提供用以控制無(wú)人飛行器的非飛行動(dòng)作的機(jī)構(gòu)。非飛行動(dòng)作可以是位于無(wú)人飛行器上的傳感器或有效載荷的移動(dòng)。非飛行動(dòng)作可以包括可被配置成用于攜帶有效載荷的無(wú)人飛行器的載體的致動(dòng)。非飛行動(dòng)作的另一示例可以是由無(wú)人飛行器上的傳感器收集的數(shù)據(jù)的收集和/或報(bào)告。此外,物理用戶接口可以提供用以起始無(wú)人飛行器的自主動(dòng)作或任務(wù)的機(jī)構(gòu)。在示例中,自主任務(wù)或動(dòng)作可以是自動(dòng)返航、保持姿勢(shì)飛行、GPS飛行、自主起飛或自主降落。
無(wú)人飛行器模擬可以使用顯示裝置來(lái)描繪無(wú)人飛行器的虛擬模擬環(huán)境??梢栽谥T如移動(dòng)裝置等顯示裝置上運(yùn)行應(yīng)用程序。應(yīng)用程序可以示出三維虛擬環(huán)境和無(wú)人飛行器在所述環(huán)境內(nèi)的飛行。飛行控制系統(tǒng)可以用于控制無(wú)人飛行器在虛擬環(huán)境內(nèi)的飛行。飛行控制系統(tǒng)可以位于無(wú)人飛行器上,位于顯示裝置上或者位于任何其他裝置上。飛行控制系統(tǒng)可以使用來(lái)自虛擬傳感器的數(shù)據(jù)生成模擬飛行。在一些情況下,無(wú)人飛行器可以在飛行模式或模擬模式內(nèi)操作。當(dāng)處于飛行模式中時(shí),無(wú)人飛行器飛行控制系統(tǒng)可以向無(wú)人飛行器的推進(jìn)單元發(fā)送信號(hào)以實(shí)現(xiàn)無(wú)人飛行器的飛行。當(dāng)處于模擬模式中時(shí),無(wú)人飛行器飛行控制系統(tǒng)可以向物理模型發(fā)送信號(hào)而不向推進(jìn)單元發(fā)送信號(hào)。物理模型可以提供虛擬反饋,所述虛擬反饋可以幫助限定無(wú)人飛行器的模擬飛行。
顯示裝置可以是包括計(jì)算部件和視覺(jué)顯示器的裝置。計(jì)算部件可以包括一個(gè)或多個(gè)處理器、一個(gè)或多個(gè)存儲(chǔ)器存儲(chǔ)裝置。處理器可被配置成用于根據(jù)非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)來(lái)執(zhí)行指令。存儲(chǔ)器可以包括非暫時(shí)性計(jì)算機(jī)可讀介質(zhì),所述非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)包括用于執(zhí)行本文所描述的一個(gè)或多個(gè)步驟的代碼、邏輯或指令。顯示裝置可以包括非暫時(shí)性計(jì)算機(jī)可讀介質(zhì),所述非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)包括用于執(zhí)行飛行模擬的程序指令。顯示裝置可以是移動(dòng)裝置,諸如智能電話。在一些情況下,顯示裝置可以是臺(tái)式計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板計(jì)算機(jī)或虛擬現(xiàn)實(shí)頭戴式裝置?;蛘撸@示裝置可以是計(jì)算部件和視覺(jué)顯示器的組合,其中視覺(jué)顯示器可以是觸摸屏、投影儀、LCD屏、等離子屏、LED屏或OLED屏、電視機(jī)或監(jiān)視器。顯示裝置可以提供飛行模擬期間的飛行數(shù)據(jù)的視覺(jué)表示和/或文本表示。在一些情況下,顯示裝置可以附加地提供飛行模擬期間的音頻反饋。顯示裝置可被配置成用于通過(guò)用戶交互部件來(lái)接收用戶輸入,所述用戶交互部件諸如為觸摸屏、開(kāi)關(guān)、按鈕、按鍵、旋鈕、鼠標(biāo)、指針、追蹤球、操縱桿、觸摸板、慣性傳感器(例如,加速度計(jì)、陀螺儀、磁力計(jì))、麥克風(fēng)、視覺(jué)傳感器或紅外傳感器。用戶交互部件可以接收觸摸輸入、位置輸入、音頻輸入或視覺(jué)輸入。
在模擬模式中,顯示裝置可以從位于無(wú)人飛行器上的飛行控制系統(tǒng)接收模擬飛行數(shù)據(jù)。模擬飛行數(shù)據(jù)可以從位于無(wú)人飛行器上的飛行控制器直接傳輸至顯示裝置,或者所述數(shù)據(jù)可以從飛行控制器傳輸至遙控器并繼而從遙控器傳輸至顯示裝置。顯示裝置可以包括非暫時(shí)性計(jì)算機(jī)可讀介質(zhì),所述非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)包括用于執(zhí)行飛行模擬的指令。用于執(zhí)行飛行模擬的指令可以本地儲(chǔ)存在顯示裝置中的存儲(chǔ)器存儲(chǔ)裝置上,或者儲(chǔ)存在顯示裝置之外、位于與所述顯示裝置相通信的另一主機(jī)裝置上。顯示裝置可以包括屏幕,所述屏幕可以描繪2D或3D渲染下的模擬數(shù)據(jù)。顯示裝置可以是移動(dòng)電話(例如,智能電話)、平板計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)、膝上型計(jì)算機(jī)、虛擬現(xiàn)實(shí)頭戴式裝置或者與計(jì)算機(jī)裝置相通信的電視機(jī)或投影儀。在一些情況下,顯示裝置可以包括觸摸屏、LCD屏或等離子屏。
在各個(gè)實(shí)施方式中,如本文所討論的飛行信息的顯示所需的任何數(shù)據(jù)處理可以由顯示終端本身、一個(gè)或多個(gè)與顯示終端分離的裝置或者其任何組合來(lái)實(shí)現(xiàn)。在示例中,顯示終端可以是“虛設(shè)”終端或“瘦”終端,其僅能夠顯示信息而不能夠進(jìn)行復(fù)雜的數(shù)據(jù)處理。在這種情況下,大部分(如非全部)顯示數(shù)據(jù)可以由其他裝置或系統(tǒng)而不是顯示終端來(lái)生成。在另一示例中,顯示終端可能能夠比虛設(shè)終端執(zhí)行更多的數(shù)據(jù)處理。在這樣的情況下,大部分(如非全部)顯示數(shù)據(jù)可以由顯示終端本身生成。例如,顯示終端可能能夠運(yùn)行應(yīng)用程序(例如,移動(dòng)app)。在又一示例中,可以在顯示終端與可操作地連接至所述顯示終端的某種其他系統(tǒng)或裝置之間拆分?jǐn)?shù)據(jù)處理。例如,顯示終端可被配置成用于運(yùn)行前端應(yīng)用程序,所述前端應(yīng)用程序與運(yùn)行在遠(yuǎn)程服務(wù)器上的后端應(yīng)用程序相通信。在各個(gè)實(shí)施方式中,數(shù)據(jù)處理的實(shí)際分配可以取決于顯示終端和/或其他裝置或系統(tǒng)的軟件/硬件特性、處理量、相應(yīng)裝置的負(fù)荷以及其他因素。
遙控器可以與顯示裝置相通信。可以通過(guò)有線連接或無(wú)線連接來(lái)提供遙控器與顯示裝置之間的通信。可以通過(guò)RF連接、IR連接、Wi-Fi網(wǎng)絡(luò)、無(wú)線局域網(wǎng)(WLAN)、蜂窩網(wǎng)絡(luò)或任何其他可用的無(wú)線網(wǎng)絡(luò)在遙控器與顯示裝置之間提供無(wú)線連接?;蛘?,可以通過(guò)永久性線纜連接、同軸電纜連接、火線連接、MIDI連接。eSATA連接、以太網(wǎng)連接或任何允許數(shù)據(jù)傳輸?shù)钠渌捎玫挠芯€連接,在遙控器與顯示裝置之間提供有線連接。在一些情況下,有線連接可以是通過(guò)USB電纜的連接。
顯示裝置可以通過(guò)有線連接或無(wú)線連接與遙控器相通信。在一些情況下,有線連接可以是USB連接。遙控器可以從無(wú)人飛行器上的飛行控制系統(tǒng)接收模擬飛行數(shù)據(jù)。模擬飛行數(shù)據(jù)在被傳遞至顯示裝置之前可以由遙控器修改。在一些情況下,模擬飛行數(shù)據(jù)在被傳遞至顯示裝置之前可以不由遙控器修改。在一些情況下,可以在不連接至無(wú)人飛行器上的飛行控制系統(tǒng)的情況下操作飛行模擬??梢岳眠b控器與顯示裝置之間的連接執(zhí)行飛行模擬。顯示裝置可以從遙控器直接接收指令,并且顯示裝置可以在不與無(wú)人飛行器上的飛行控制器相通信的情況下生成飛行模擬。
在一些實(shí)施方式中,顯示裝置可被配置成用于從無(wú)人飛行器上的飛行控制系統(tǒng)直接接收模擬飛行數(shù)據(jù)。當(dāng)無(wú)人飛行器處于模擬模式中時(shí),顯示裝置可以僅從飛行控制系統(tǒng)接收模擬飛行數(shù)據(jù)。顯示裝置可以通過(guò)有線連接或無(wú)線連接來(lái)與無(wú)人飛行器上的飛行控制系統(tǒng)相通信。飛行控制系統(tǒng)可以向顯示裝置傳輸模擬飛行狀態(tài)信息。無(wú)人飛行器還可被配置成用于與遙控器相通信,所述遙控器被配置成用于控制無(wú)人飛行器在飛行模式或模擬模式中的飛行??梢栽陲w行模式和模擬模式中使用相同的控制器來(lái)控制無(wú)人飛行器。在飛行模式中,傳遞至無(wú)人飛行器的飛行控制數(shù)據(jù)可以向位于所述無(wú)人飛行器上的一個(gè)或多個(gè)推進(jìn)單元傳輸。在模擬模式中,傳遞至無(wú)人飛行器的飛行控制數(shù)據(jù)可以向物理模型傳輸以生成模擬飛行數(shù)據(jù)。模擬飛行數(shù)據(jù)可以通過(guò)飛行控制系統(tǒng)從來(lái)自遙控器的飛行控制數(shù)據(jù)、來(lái)自一個(gè)或多個(gè)虛擬傳感器的虛擬傳感器數(shù)據(jù)以及來(lái)自位于無(wú)人飛行器上的物理模型的一個(gè)或多個(gè)輸出之中生成。顯示裝置可以響應(yīng)于從飛行控制系統(tǒng)接收的模擬飛行數(shù)據(jù)而顯示無(wú)人飛行器的模擬飛行狀態(tài)信息。
遙控器和顯示裝置可以通過(guò)不同的有線連接或無(wú)線連接而與飛行控制系統(tǒng)或飛行控制器單獨(dú)通信。飛行控制系統(tǒng)可以位于無(wú)人飛行器之上或之外。在一些情況下,飛行控制系統(tǒng)可以位于顯示裝置上。飛行控制系統(tǒng)可被配置成用于響應(yīng)于來(lái)自控制器和/或顯示裝置的輸入而生成飛行控制數(shù)據(jù)。飛行控制系統(tǒng)可以通過(guò)遙控器和/或顯示裝置而從用戶接收輸入。飛行控制系統(tǒng)可以將所述輸入傳遞至一個(gè)或多個(gè)部件的系統(tǒng),所述一個(gè)或多個(gè)部件可以生成真實(shí)的或虛擬的傳感器數(shù)據(jù)并將此數(shù)據(jù)傳遞回飛行控制系統(tǒng)?;谡鎸?shí)的或虛擬的傳感器數(shù)據(jù),飛行控制系統(tǒng)可以生成飛行數(shù)據(jù)并且將所述飛行數(shù)據(jù)傳輸至遙控器和顯示裝置中的一個(gè)或全部?jī)烧摺O挛膶⒃敿?xì)描述生成真實(shí)的或虛擬的傳感器數(shù)據(jù)的過(guò)程以及真實(shí)的與虛擬的傳感器數(shù)據(jù)之間的區(qū)別。
物理模型
根據(jù)本發(fā)明的各個(gè)實(shí)施方式,可以針對(duì)特定的可移動(dòng)物體,諸如特定的無(wú)人飛行器或無(wú)人飛行器的特定模型提供物理模型。在一些情況下,物理模型可以提供對(duì)應(yīng)于默認(rèn)的可移動(dòng)物體的參數(shù),所述默認(rèn)的可移動(dòng)物體諸如為默認(rèn)的無(wú)人飛行器構(gòu)造和/或模型。在一些情況下,物理模型可以位于諸如無(wú)人飛行器等可移動(dòng)物體上。物理模型可被編程用以提供對(duì)應(yīng)于其所位于的諸如無(wú)人飛行器等可移動(dòng)物體的物理參數(shù)。
圖7示出了根據(jù)本發(fā)明各個(gè)實(shí)施方式與不同的物理模型進(jìn)行交互的實(shí)際飛行模擬系統(tǒng)。如圖7中所示,控制器701可以連接至第一無(wú)人飛行器702或第二無(wú)人飛行器704。可以針對(duì)無(wú)人飛行器702提供物理模型703并且可以針對(duì)無(wú)人飛行器704提供物理模型705。
由控制器建立與特定無(wú)人飛行器的連接可以引起與具有對(duì)應(yīng)于特定無(wú)人飛行器的固定變量的不同物理模型的連接。
當(dāng)控制器701建立與第一無(wú)人飛行器702的連接時(shí),所述控制器701可以利用針對(duì)第一無(wú)人飛行器702的物理模型703??刂破?01可以與第一無(wú)人飛行器702相通信,所述無(wú)人飛行器702可以與第一物理模型703相通信。第一物理模型703可被配置成用于使用對(duì)應(yīng)于第一無(wú)人飛行器702的固定參數(shù)來(lái)模擬飛行數(shù)據(jù)輸出。例如,第一物理模型可被配置成用于在數(shù)學(xué)模型中使用對(duì)應(yīng)于第一無(wú)人飛行器702的重量、尺寸、氣動(dòng)外形、電機(jī)強(qiáng)度、電機(jī)速度和其他動(dòng)力性質(zhì)來(lái)確定一個(gè)或多個(gè)輸出。
而且,只要控制器701建立與第一無(wú)人飛行器704的連接,所述控制器701就可以利用針對(duì)所述第一無(wú)人飛行器705的物理模型705。在這種情況下,相同的控制器701可以與第二無(wú)人飛行器704上的第二物理模型705相通信。相比于第一無(wú)人飛行器702,第二無(wú)人飛行器704可以具有相對(duì)不同的大小、形狀、重量和/或動(dòng)力系統(tǒng)??刂破?01可以與第二無(wú)人飛行器704相通信,所述第二無(wú)人飛行器704包括可以與第二物理模型705相通信。第二物理模型705可被配置成用于使用對(duì)應(yīng)于第二無(wú)人飛行器704的固定參數(shù)來(lái)模擬飛行數(shù)據(jù)輸出。例如,第二物理模型705可被配置成用于在數(shù)學(xué)模型中使用對(duì)應(yīng)于第二無(wú)人飛行器的重量、尺寸、氣動(dòng)外形、電機(jī)強(qiáng)度、電機(jī)速度和其他動(dòng)力性質(zhì)來(lái)確定一個(gè)或多個(gè)輸出。
在備選實(shí)施方式中,物理模型可以位于無(wú)人飛行器之外。物理模型可以位于顯示裝置上。當(dāng)物理模型位于顯示裝置之上時(shí),用戶可以選擇使用指定構(gòu)造和/或模型的無(wú)人飛行器來(lái)運(yùn)行模擬。物理模型可以具有固定物理參數(shù),所述固定物理參數(shù)對(duì)應(yīng)于保存在位于顯示裝置之上或之外的存儲(chǔ)器存儲(chǔ)裝置上的無(wú)人飛行器的一個(gè)或多個(gè)可能構(gòu)造和/或模型。用戶可以選擇使用所保存的、對(duì)應(yīng)于保存在存儲(chǔ)器存儲(chǔ)裝置上的無(wú)人飛行器的一個(gè)或多個(gè)可能構(gòu)造和/或模型的固定物理參數(shù),或者用戶可以將固定物理參數(shù)直接輸入到物理模型中。
物理模型可被配置成用于生成關(guān)于無(wú)人飛行器的飛行控制輸入的期望響應(yīng)作為輸出。所述輸出可以特定于具有固定物理參數(shù)(例如,尺寸、重量、氣動(dòng)截面和/或電機(jī)規(guī)格)的無(wú)人飛行器。對(duì)飛行控制輸入的期望響應(yīng)可以取決于無(wú)人飛行器的物理參數(shù)。例如,較重的無(wú)人飛行器可以比相對(duì)較輕的無(wú)人飛行器加速更慢。類似地,具有較強(qiáng)(例如,較高扭矩)電機(jī)的無(wú)人飛行器可以比具有相對(duì)較弱電機(jī)的無(wú)人飛行器加速更快。
此外,物理模型可以計(jì)算非飛行參數(shù)。在示例中,非飛行參數(shù)可以是電池使用率和剩余電池壽命。電池使用可以計(jì)算為無(wú)人飛行器規(guī)格(例如,尺寸、重量、氣動(dòng)截面和/或電機(jī)規(guī)格)、飛行控制數(shù)據(jù)和模擬環(huán)境中的可變參數(shù)的函數(shù)。可變參數(shù)可以影響無(wú)人飛行器的功率需求并因此影響電池使用率。例如,具有強(qiáng)逆風(fēng)的模擬環(huán)境可以比不具有逆風(fēng)或具有順風(fēng)的模擬環(huán)境更耗電池。類似地,飛行控制數(shù)據(jù)可以影響電池使用率。例如,以相對(duì)較高速度操作無(wú)人飛行器可以比以相對(duì)較低速度操作無(wú)人飛行器更快地消耗電池。可通過(guò)物理模型來(lái)計(jì)算的非飛行參數(shù)的另一示例是無(wú)人飛行器上的部件的磨損。物理模型可以計(jì)算模擬環(huán)境中作用于無(wú)人飛行器上的力并且確定一個(gè)或多個(gè)部件何時(shí)因?yàn)樗隽Χ?jīng)受損壞。
物理模型可以向虛擬傳感器提供一個(gè)或多個(gè)輸出。虛擬傳感器可被配置成基于來(lái)自物理模型模擬數(shù)據(jù)的一個(gè)或多個(gè)輸出而生成虛擬傳感器數(shù)據(jù)。虛擬傳感器輸出中的至少一小部分可以模仿無(wú)人飛行器在真實(shí)環(huán)境中的飛行模式操作期間將會(huì)由位于所述無(wú)人飛行器上的真實(shí)傳感器生成的數(shù)據(jù)。虛擬傳感器可以生成位置數(shù)據(jù)。位置數(shù)據(jù)可以是模擬環(huán)境中無(wú)人飛行器與障礙物或表面之間的一個(gè)或多個(gè)距離。在飛行模式操作中,位置數(shù)據(jù)可由雷達(dá)信號(hào)、聲吶信號(hào)或全球定位系統(tǒng)(GPS)信號(hào)生成。虛擬傳感器還可以生成視覺(jué)數(shù)據(jù)。在飛行模式中,視覺(jué)數(shù)據(jù)可以來(lái)自視覺(jué)傳感器。視覺(jué)傳感器可以是單目相機(jī)、立體視覺(jué)相機(jī)、雷達(dá)、聲吶或紅外相機(jī)。虛擬傳感器可以生成描述無(wú)人飛行器的移動(dòng)和/或作用于無(wú)人飛行器上的力的數(shù)據(jù)。在飛行模式中,被配置成用于檢測(cè)無(wú)人飛行器的移動(dòng)和/或作用于無(wú)人飛行器上的力的真實(shí)傳感器可以是陀螺儀、磁力計(jì)和/或加速度計(jì)。
可以向處理單元提供傳感器數(shù)據(jù)。處理單元可以位于無(wú)人飛行器上。處理單元可被配置成用于解譯傳感器數(shù)據(jù)以使用所述傳感器數(shù)據(jù)來(lái)確定并生成飛行狀態(tài)信息。當(dāng)無(wú)人飛行器處于模擬模式或飛行模式中時(shí),處理單元可以分別解譯來(lái)自虛擬傳感器或真實(shí)傳感器的傳感器數(shù)據(jù)。處理單元可以解譯和/或處理來(lái)自真實(shí)傳感器或虛擬傳感器的傳感器數(shù)據(jù)以生成飛行狀態(tài)信息。飛行狀態(tài)信息可以包括姿態(tài)、加速度、速度、陀螺儀信息、壓力、無(wú)人飛行器的空間布局、位置(例如,GPS數(shù)據(jù))數(shù)據(jù)。處理單元可以向飛行狀態(tài)控制系統(tǒng)提供飛行狀態(tài)信息。
模擬移動(dòng)
根據(jù)本發(fā)明的各個(gè)實(shí)施方式,用戶可以在虛擬場(chǎng)所中操作可移動(dòng)物體,諸如借助于可移動(dòng)物體的移動(dòng)模擬器來(lái)執(zhí)行模擬移動(dòng)。
圖8是根據(jù)本發(fā)明各個(gè)實(shí)施方式的支持模擬飛行的示例性示圖。如圖8中所示,用戶803可以使用無(wú)人飛行器804來(lái)執(zhí)行模擬飛行。例如,用戶803可以利用用戶終端810,所述用戶終端可以包括進(jìn)程801和顯示器802。進(jìn)程801可以由應(yīng)用程序使用,所述應(yīng)用程序諸如為運(yùn)行在iOS或安卓操作系統(tǒng)上的應(yīng)用程序。
在模擬飛行期間,與無(wú)人飛行器804相關(guān)聯(lián)的飛行模擬器(或飛行控制系統(tǒng))可以接收一個(gè)或多個(gè)飛行控制信號(hào)。例如,飛行模擬器可以位于無(wú)人飛行器上或位于顯示裝置上。另外,針對(duì)不同類型的無(wú)人飛行器的飛行模擬器可以采用不同的物理模型。
飛行控制信號(hào)可以從遙控器傳輸。遙控器可以由用戶實(shí)時(shí)地操作或者遙控器可以從由用戶預(yù)編程的處理器接收輸入,以響應(yīng)于啟動(dòng)命令而提供一系列飛行控制信號(hào)。飛行控制信號(hào)可以是用以執(zhí)行離散任務(wù)或動(dòng)作的指令。在示例中,離散任務(wù)或動(dòng)作可以是要使速度增加或減少固定量或固定百分比、要在指定方向上轉(zhuǎn)向指定度數(shù)或者要使高度增加或減少固定量或固定百分比。在一些情況下,飛行控制信號(hào)可以包括針對(duì)預(yù)定飛行序列的命令。在示例中,預(yù)定飛行序列可以是自動(dòng)駕駛功能(例如,自動(dòng)起飛、自動(dòng)降落或自動(dòng)駕駛飛行一段指定距離)、執(zhí)行預(yù)編程的任務(wù)、無(wú)人飛行器自動(dòng)返航至所述無(wú)人飛行器飛行的起點(diǎn)、無(wú)人飛行器自主懸停和/或無(wú)人飛行器保持姿勢(shì)飛行。預(yù)編程的任務(wù)可以包括在機(jī)載傳感器操作或不操作以收集和/或傳輸來(lái)自一個(gè)或多個(gè)位置的數(shù)據(jù)的情況下飛行至特定的一個(gè)或多個(gè)位置。飛行控制系統(tǒng)可以生成針對(duì)或關(guān)于離散任務(wù)或動(dòng)作或者預(yù)定飛行序列的執(zhí)行的模擬飛行數(shù)據(jù)。
如圖8中所示,用戶終端810中的進(jìn)程801可以從無(wú)人飛行器804接收各種類型的信息,諸如模擬無(wú)人飛行器狀態(tài)信息811。模擬無(wú)人飛行器狀態(tài)信息811可以包括相對(duì)坐標(biāo)信息,諸如虛擬空間中以出發(fā)點(diǎn)作為原點(diǎn)的無(wú)人飛行器804的笛卡兒坐標(biāo)。
此外,進(jìn)程801可以獲得各種類型的情景信息812,諸如由用戶終端810收集和/或接收的位置信息。
除了由無(wú)人飛行器804(或其部件)直接或間接提供的數(shù)據(jù)之外,用戶終端810還可被配置成用于從其他來(lái)源接收數(shù)據(jù),所述其他來(lái)源諸如為控制終端、服務(wù)器或在線服務(wù)、數(shù)據(jù)存儲(chǔ)、衛(wèi)星或任何其他合適的裝置或系統(tǒng)。例如,這樣的數(shù)據(jù)可以包括控制終端的位置信息。這樣的數(shù)據(jù)連同無(wú)人飛行器數(shù)據(jù)可以在經(jīng)過(guò)或不經(jīng)過(guò)進(jìn)一步處理的情況下一起顯示在顯示器802上。
進(jìn)程801可以基于所接收的模擬狀態(tài)信息811和情景信息812而確定集成的飛行信息813。而且,進(jìn)程801可以向用戶終端810的顯示器802提供集成的飛行信息813。
所接收的與模擬飛行有關(guān)的狀態(tài)信息可以包含無(wú)人飛行器的相對(duì)坐標(biāo)信息。無(wú)人飛行器的坐標(biāo)信息可以是相對(duì)于模擬飛行中無(wú)人飛行器的起飛點(diǎn)的位置信息。而且,由用戶終端獲得的情景信息可以是位置信息,所述位置信息可以包括處于模擬飛行中的無(wú)人飛行器的起飛點(diǎn)的經(jīng)度信息和緯度信息。
另外,進(jìn)程801可以基于所接收的無(wú)人飛行器的坐標(biāo)信息和用戶終端的位置信息來(lái)確定處于模擬飛行中的無(wú)人飛行器的飛行路徑。例如,位置信息可以包括用戶終端的經(jīng)度信息和緯度信息,所述信息用作模擬飛行中無(wú)人飛行器的起飛點(diǎn)。而且,進(jìn)程801可以基于可儲(chǔ)存在用戶終端中或從遠(yuǎn)程服務(wù)器接收的可用地理信息,諸如預(yù)定地形模型,來(lái)確定高度信息。繼而,處于模擬飛行中的無(wú)人飛行器的飛行路徑可以顯示在用戶終端810的顯示器802的地圖部分上。
例如,顯示終端可被配置成基于來(lái)自無(wú)人飛行器和遙控終端的位置信息而顯示無(wú)人飛行器和遙控終端的相對(duì)位置。又例如,顯示器可被配置成基于對(duì)無(wú)人飛行器的地圖數(shù)據(jù)和位置數(shù)據(jù)的處理而在地圖上顯示無(wú)人飛行器的實(shí)時(shí)位置。所述地圖可以基于從遠(yuǎn)程數(shù)據(jù)服務(wù)器、數(shù)據(jù)存儲(chǔ)等接收的地圖數(shù)據(jù)而生成。無(wú)人飛行器的實(shí)時(shí)位置可以從所述無(wú)人飛行器、遠(yuǎn)程服務(wù)器、遠(yuǎn)程傳感器系統(tǒng)等接收。
對(duì)于處于模擬移動(dòng)中的可移動(dòng)物體而言,可移動(dòng)物體的坐標(biāo)信息可以是相對(duì)于模擬移動(dòng)中可移動(dòng)物體的起始點(diǎn)的位置信息。而且,由用戶終端獲得的情景信息可以是位置信息,其可以包括處于模擬移動(dòng)中的可移動(dòng)物體的起始點(diǎn)的經(jīng)度信息和緯度信息。
另外,進(jìn)程801可以基于所接收的可移動(dòng)物體的坐標(biāo)信息和用戶終端的位置信息來(lái)確定處于模擬移動(dòng)中的可移動(dòng)物體的移動(dòng)路徑。例如,位置信息可以包括用戶終端的經(jīng)度信息和緯度信息,所述信息用作模擬移動(dòng)中可移動(dòng)物體的起始點(diǎn)。而且,進(jìn)程801可以基于可儲(chǔ)存在用戶終端中或從遠(yuǎn)程服務(wù)器接收的可用地理信息,諸如預(yù)定地形模型,來(lái)確定高度信息。繼而,處于模擬飛行中的可移動(dòng)物體的移動(dòng)路徑可以顯示在用戶終端810的顯示器802的地圖部分上。
例如,顯示終端可被配置成基于來(lái)自可移動(dòng)物體和遙控終端的位置信息而顯示可移動(dòng)物體和遙控終端的相對(duì)位置。又例如,顯示器可被配置成基于對(duì)可移動(dòng)物體的地圖數(shù)據(jù)和位置數(shù)據(jù)的處理而在地圖上顯示可移動(dòng)物體的實(shí)時(shí)位置。所述地圖可以基于從遠(yuǎn)程數(shù)據(jù)服務(wù)器、數(shù)據(jù)存儲(chǔ)等接收的地圖數(shù)據(jù)而生成??梢苿?dòng)物體的實(shí)時(shí)位置可以從所述可移動(dòng)物體、遠(yuǎn)程服務(wù)器、遠(yuǎn)程傳感器系統(tǒng)等接收。
此外,進(jìn)程801可以基于優(yōu)先級(jí)列表來(lái)確定處于模擬飛行中的無(wú)人飛行器的位置信息。例如,優(yōu)先級(jí)列表可以包括從無(wú)人飛行器、遙控器和用戶終端上的應(yīng)用程序接收的信息。如果從無(wú)人飛行器接收的位置信息不可適用或不可使用,則進(jìn)程801可以基于從遙控器接收的位置信息來(lái)確定虛擬空間中的無(wú)人飛行器的位置。同樣,如果從遙控器接收的位置信息不可靠或不準(zhǔn)確,則進(jìn)程801可以基于從應(yīng)用程序接收的位置信息來(lái)確定虛擬空間中的無(wú)人飛行器的位置。否則,例如當(dāng)系無(wú)法接收GPS信號(hào)時(shí),進(jìn)程801可以基于默認(rèn)位置來(lái)確定虛擬空間中的無(wú)人飛行器的位置。
模擬飛行數(shù)據(jù)可以顯示在顯示裝置的視覺(jué)顯示器802或用戶界面上。視覺(jué)顯示可以是處于模擬環(huán)境中的無(wú)人飛行器的圖像??梢詫?duì)應(yīng)于由飛行模擬器或控制器提供的飛行數(shù)據(jù)而在顯示器中實(shí)時(shí)地清晰顯示無(wú)人飛行器。所述顯示可以是模擬環(huán)境在對(duì)所述環(huán)境的3D渲染下的圖像或動(dòng)畫。模擬飛行數(shù)據(jù)能夠以模擬飛行狀態(tài)信息的形式顯示。模擬飛行狀態(tài)信息可以包括環(huán)境中的無(wú)人飛行器的位置、距環(huán)境中的特征的距離、無(wú)人飛行器的速度、無(wú)人飛行器的加速度、無(wú)人飛行器的定向前進(jìn)方向以及/或者無(wú)人飛行器上的一個(gè)或多個(gè)系統(tǒng)的健康狀況。
在模擬飛行中,用戶803可以基于所顯示的飛行信息和動(dòng)畫來(lái)控制無(wú)人飛行器804在虛擬空間中飛行。例如,用戶803可以使用遙控器來(lái)發(fā)送一些控制信號(hào)以命令無(wú)人飛行器804進(jìn)行移動(dòng)。
在于無(wú)人飛行器804處接收控制信號(hào)之后,飛行模擬器(例如,位于無(wú)人飛行器804上的飛行模擬器)可以生成模擬飛行狀態(tài)信息811。另外,模擬飛行狀態(tài)信息811可以針對(duì)于用戶終端810中的進(jìn)程801,所述進(jìn)程801可以確定更新的飛行信息813并且提供更新的飛行信息813以供顯示。
在一些情況下,無(wú)人飛行器804可被配置成用于在模擬飛行中執(zhí)行自主任務(wù)。自主任務(wù)可以由用戶發(fā)起。在由用戶發(fā)起自主任務(wù)之后,無(wú)人飛行器在執(zhí)行所述自主任務(wù)的同時(shí)可以無(wú)需來(lái)自用戶的附加控制或輸入。自主任務(wù)可以使無(wú)人飛行器進(jìn)入預(yù)定序列。所述預(yù)定序列可以包括無(wú)需用戶輸入的一系列動(dòng)作。在示例中,自主任務(wù)可以是自動(dòng)返航、保持姿勢(shì)飛行、GPS飛行、自主起飛或自主降落。在本文提供的模擬系統(tǒng)中,用戶可以練習(xí)命令無(wú)人飛行器執(zhí)行自主任務(wù)??梢酝ㄟ^(guò)與飛行模式中使用的接口相同的接口,向處于模擬模式中的無(wú)人飛行器提供用以執(zhí)行自主任務(wù)的指令。所述接口可以是遙控器。
自動(dòng)駕駛功能可以是在模擬飛行中自動(dòng)起飛或降落。自主起飛可以包括打開(kāi)一個(gè)或多個(gè)推進(jìn)單元并且生成足以離開(kāi)表面的升力。自主起飛可以附加地包括調(diào)節(jié)無(wú)人飛行器的旋轉(zhuǎn)和平移以保持穩(wěn)定。一旦無(wú)人飛行器到達(dá)起飛表面上方的指定高度并且實(shí)現(xiàn)穩(wěn)定,所述無(wú)人飛行器就可以退出自動(dòng)駕駛功能并且用戶就可以控制所述無(wú)人飛行器。類似地,在自動(dòng)降落期間,無(wú)人飛行器可以接近表面,同時(shí)保持穩(wěn)定并且在降落于表面上之后關(guān)閉一個(gè)或多個(gè)推進(jìn)單元。在保持姿勢(shì)飛行期間,無(wú)人飛行器可以在指定方向上飛行,同時(shí)與表面或障礙物保持指定距離。
模擬飛行的顯示可以包括顯示所接收的信息中的至少一些,所述信息可以是或者可以不是經(jīng)處理的。在各個(gè)實(shí)施方式中,所顯示的信息通常可以包括或有關(guān)于無(wú)人飛行器、由無(wú)人飛行器攜帶的有效載荷、由有效載荷和/或無(wú)人飛行器捕捉的圖像或其他感測(cè)數(shù)據(jù)、遠(yuǎn)程終端(例如,針對(duì)無(wú)人飛行器和/或有效載荷的控制終端)、無(wú)人飛行器周圍的環(huán)境以及/或者它們的任何組合。
例如,本文討論的各種類型的信息可以同時(shí)在同一屏幕或同一用戶界面上顯示,以便給予用戶對(duì)全部相關(guān)信息的全面觀察。在示例中,無(wú)人飛行器狀態(tài)信息和有效載荷狀態(tài)信息可以同時(shí)顯示在顯示終端的同一屏幕上。在另一示例中,無(wú)人飛行器狀態(tài)信息和/或有效載荷狀態(tài)信息可以和關(guān)于遠(yuǎn)程終端(例如,控制終端)的信息(例如,位置和/或姿態(tài))一起顯示,以便提供對(duì)物體之間的相對(duì)關(guān)系的直觀圖示。又例如,無(wú)人飛行器狀態(tài)信息、有效載荷狀態(tài)信息和/或遠(yuǎn)程終端信息可以與由有效載荷捕捉的實(shí)時(shí)圖像和/或其他關(guān)于無(wú)人飛行器的感測(cè)數(shù)據(jù)同時(shí)顯示,以便允許用戶直觀地控制無(wú)人飛行器的導(dǎo)航和/或有效載荷的朝向(例如,經(jīng)由載體的控制)。又例如,可以提供既示出無(wú)人飛行器的位置又示出有效載荷的視野(FOV)的地圖,從而使得用戶能夠易于確定可由有效載荷的圖像捕捉的地貌的范圍。
在一些實(shí)施方式中,用于顯示本文討論的各種類型的信息的區(qū)域可以重疊或者可以不重疊以提高屏幕效率。重疊區(qū)域可被提供為透明的、半透明的或不透明的層。例如,用于顯示無(wú)人飛行器狀態(tài)信息和有效載荷狀態(tài)信息的區(qū)域可以重疊以使得一區(qū)域可以用于同時(shí)顯示這兩種信息。又例如,無(wú)人飛行器和/或有效載荷狀態(tài)信息可以在疊加于由有效載荷捕捉的圖像之上的層中顯示。
在一些實(shí)施方式中,可以基于用戶偏好和/或用戶輸入來(lái)定制顯示器。例如,用戶可以提供一個(gè)或多個(gè)限定要顯示的信息的內(nèi)容和/或布局的參數(shù)。例如,用戶可以指定與要顯示的信息有關(guān)的量、類型、單位或度量制以及其他相關(guān)參數(shù)。又例如,用戶可以指定用于顯示所述信息的用戶界面(UI)部件的字體、顏色、大小、形狀、位置、格式、布局。在一些實(shí)施方式中,用于顯示信息的用戶界面還可以用于用戶提供信息。這樣的信息可以用于控制無(wú)人飛行器、有效載荷等的方面。
可以實(shí)時(shí)地或接近實(shí)時(shí)地實(shí)現(xiàn)上述步驟中的至少一些。例如,在模擬飛行中可以在生成關(guān)于無(wú)人飛行器和/或有效載荷的狀態(tài)信息、由有效載荷所捕捉的圖像、感測(cè)數(shù)據(jù)和/或其他信息時(shí)實(shí)時(shí)地或接近實(shí)時(shí)地接收這樣的信息。同樣地,可以在接收信息時(shí)實(shí)時(shí)地或接近實(shí)時(shí)地處理所接收的信息。顯示所接收的信息可以實(shí)時(shí)地或接近實(shí)時(shí)地發(fā)生。最后,可以實(shí)時(shí)地或接近實(shí)時(shí)地更新顯示,以便反映接收到了更新的信息?;蛘?,在上述步驟中的一些或全部中可能存在一定的延遲。在各個(gè)實(shí)施方式中,上述步驟中的一些或全部可以在無(wú)人飛行器處于空中或在無(wú)人飛行器不處于空中時(shí)實(shí)現(xiàn)。
此外,為了提供對(duì)模擬飛行的實(shí)際顯示,系統(tǒng)可以利用在真實(shí)飛行模式中使用的各種顯示特征。
在提交于2014年10月27日、標(biāo)題為“UAV FLIGHT DISPLAY”的國(guó)際申請(qǐng)?zhí)朠CT/CN2014/089605中公開(kāi)了顯示特征的更多細(xì)節(jié),上述申請(qǐng)的內(nèi)容通過(guò)特此引用而全文并入于此。
一般而言,本文討論的用于實(shí)現(xiàn)無(wú)人飛行器飛行顯示的任何進(jìn)程的任何步驟均可單獨(dú)地或共同地由一個(gè)、兩個(gè)、三個(gè)、四個(gè)或更多個(gè)裝置或系統(tǒng)來(lái)實(shí)現(xiàn)。這樣的裝置或系統(tǒng)可以包括顯示終端、遙控終端、服務(wù)器、基于云的系統(tǒng)或者任何其他合適的裝置或系統(tǒng)。在示例中,上述全部步驟均可通過(guò)相同的裝置或系統(tǒng)實(shí)現(xiàn)。用于無(wú)人飛行器飛行顯示的數(shù)據(jù)可以由一個(gè)、兩個(gè)、三個(gè)或更多個(gè)裝置和/或系統(tǒng)接收。無(wú)人飛行器飛行顯示所需的數(shù)據(jù)處理可以由一個(gè)、兩個(gè)、三個(gè)或更多個(gè)裝置和/或系統(tǒng)執(zhí)行,所述裝置和/或系統(tǒng)與用于接收數(shù)據(jù)的裝置和/或系統(tǒng)可以重疊或者可以不重疊。最后,無(wú)人飛行器飛行數(shù)據(jù)的顯示可以由一個(gè)、兩個(gè)、三個(gè)或更多個(gè)裝置和/或系統(tǒng)執(zhí)行,所述裝置和/或系統(tǒng)與用于接收和/或處理數(shù)據(jù)的裝置和/或系統(tǒng)可以重疊或者可以不重疊。例如,無(wú)人飛行器和/或有效載荷的狀態(tài)信息可以由第一裝置接收,所述信息可以由第二裝置處理,并且經(jīng)處理的信息可以由第三裝置顯示。
用于顯示模擬飛行的示例性用戶界面(UI)
根據(jù)本發(fā)明的各個(gè)實(shí)施方式,與模擬飛行有關(guān)的信息能夠以直觀且高效的方式顯示在用戶界面中。例如,遠(yuǎn)程顯示終端可以包括顯示器,所述顯示器與遙控終端分離或成為一體。遠(yuǎn)程顯示終端可以與遙控終端相同或者是其一部分。
圖9圖示了根據(jù)本發(fā)明各個(gè)實(shí)施方式用于在無(wú)人飛行器起飛前顯示模擬飛行的示例性用戶界面(UI)。如圖9中所示,UI 900可以包括一個(gè)或多個(gè)主要顯示區(qū)域或部分916以及一個(gè)或多個(gè)輔助顯示區(qū)域(secondary display aera)或部分901-910。
主要顯示區(qū)域916可被配置成比任何一個(gè)輔助顯示部分具有更大的顯示面積(例如,更多的像素計(jì)數(shù))。在一些實(shí)施方式中,主要顯示區(qū)域和/或輔助顯示區(qū)域中顯示的信息的類型是固定的。
在一些其他實(shí)施方式中,主要顯示區(qū)域和/或輔助顯示區(qū)域中顯示的信息的類型可以動(dòng)態(tài)地交換或切換。例如,主要顯示區(qū)域916中顯示的信息可以與輔助顯示區(qū)域中顯示的信息動(dòng)態(tài)地交換。在各個(gè)實(shí)施方式中,用戶可以經(jīng)由諸如觸摸屏、鼠標(biāo)、鍵盤、語(yǔ)音命令等任何合適的輸入機(jī)構(gòu)來(lái)切換或交換顯示。在一些實(shí)施方式中,一個(gè)主要顯示區(qū)域中顯示的信息可以與另一主要顯示區(qū)域中顯示的信息動(dòng)態(tài)地交換。一個(gè)輔助顯示區(qū)域中顯示的信息可以與另一輔助顯示區(qū)域中顯示的信息動(dòng)態(tài)地交換。
如圖9中所示,UI 900中的主要顯示區(qū)域916可以用于顯示處于模擬飛行中的無(wú)人飛行器911(例如,使用圖標(biāo)、圖像或動(dòng)畫來(lái)顯示)。例如,主要顯示區(qū)域916中的圖形顯示可以示出無(wú)人飛行器911在停機(jī)坪913中的起始點(diǎn)915處的動(dòng)畫。動(dòng)畫的視點(diǎn)可以是任意位置或預(yù)先配置的位置(例如,起始點(diǎn)915向南12米并高過(guò)2米的一點(diǎn))。
當(dāng)處于模擬飛行中的無(wú)人飛行器911正在起飛時(shí),飛行模擬器(例如,位于無(wú)人飛行器911上的飛行模擬器)可以生成針對(duì)處于模擬飛行中的無(wú)人飛行器911的模擬坐標(biāo)信息,例如,以起始點(diǎn)915作為坐標(biāo)系的原點(diǎn)。對(duì)應(yīng)地,UI 900可以以動(dòng)畫形式顯示處于模擬飛行中的無(wú)人飛行器911的移動(dòng)。
而且,UI 900中的主要顯示區(qū)域916可以用于顯示由耦合至無(wú)人飛行器的有效載荷捕捉的圖像數(shù)據(jù),諸如靜態(tài)照片或視頻,而輔助顯示區(qū)域可被配置成用于顯示與無(wú)人飛行器有關(guān)和/或用于接收用戶輸入的信息?;蛘撸琔I 900中的主要顯示區(qū)域916可以用于顯示針對(duì)耦合至無(wú)人飛行器的有效載荷而提供的虛構(gòu)的或預(yù)定的圖像或視頻數(shù)據(jù)。例如,在第一人稱視角(FPV)模式中,系統(tǒng)可以例如基于沿著飛行路徑的預(yù)定地形模型來(lái)顯示對(duì)應(yīng)于特定地理位置的虛構(gòu)的或預(yù)定的視野。
在各個(gè)實(shí)施方式中,有效載荷的FOV和/或視線與無(wú)人飛行器正在前進(jìn)的方向可以對(duì)準(zhǔn)或者可以不對(duì)準(zhǔn)。例如,有效載荷的FOV和/或視線可以與無(wú)人飛行器沿著偏航軸線、俯仰軸線和/或橫滾軸線的前進(jìn)方向成一角度。所述角度可以大于0度、30度、60度、90度、120度、150度、180度、210度、240度、300度等。
在一些實(shí)施方式中,UI 900可以提供一個(gè)或多個(gè)控制部分907和908,用于在模擬飛行中控制無(wú)人飛行器和相關(guān)聯(lián)的有效載荷。例如,可以允許用戶經(jīng)由諸如觸摸屏、鼠標(biāo)、鍵盤、操縱桿、觸控筆、可穿戴式裝置、視覺(jué)命令或音頻命令等一個(gè)或多個(gè)輸入機(jī)構(gòu)與UI 900中的一些或全部區(qū)域進(jìn)行交互。經(jīng)由UI 900而提供的用戶輸入可以用于控制顯示器和/或顯示終端、無(wú)人飛行器、有效載荷、遠(yuǎn)程終端、傳感器等的方面。
UI 900還可以包括一個(gè)或多個(gè)控制部分907和908,每個(gè)控制部分包括用于選擇、啟用、停用、修改或以其他方式控制無(wú)人飛行器和/或其組件的一個(gè)或多個(gè)模式、操作或例程的控件。在一些實(shí)施方式中,基于對(duì)控件的選擇而生成的控制數(shù)據(jù)可以直接地或間接地向無(wú)人飛行器傳輸,以便控制無(wú)人飛行器和/或有效載荷的一個(gè)或多個(gè)方面。所述控件中的至少一些可以由圖形圖標(biāo)表示,所述圖形圖標(biāo)圖示出與控制相關(guān)聯(lián)的模式或操作??梢栽O(shè)計(jì)圖形圖標(biāo)以促進(jìn)在無(wú)需借助任何文字描述的情況下直觀地理解控件的功能。另外,這樣的“單觸式”或“單擊式”控制界面可以簡(jiǎn)化用戶提供諸如選擇、啟用、停用或以其他方式控制無(wú)人飛行器和/或有效載荷的方面的控制的過(guò)程。例如,用戶可以使用這樣的“單觸式”或“單擊式”控件來(lái)啟用預(yù)定例程和/或自主例程,諸如自動(dòng)返航、自主起飛、自主降落、懸停等。
在一些實(shí)施方式中,UI 900可以用于允許用戶遙控?zé)o人飛行器上的有效載荷,諸如在模擬飛行中當(dāng)無(wú)人飛行器處于空中時(shí)。例如,控制部分907可以包括一個(gè)或多個(gè)用于選擇諸如圖像捕捉裝置等有效載荷的模式的控件??刂撇糠?07還可以包括多個(gè)有效載荷配置控件,用于設(shè)置有效載荷(例如,圖像捕捉裝置,諸如相機(jī))的各種配置或操作參數(shù)。
在一些實(shí)施方式中,本文描述的UI 900可以由用戶使用以控制可由無(wú)人飛行器、有效載荷或其部件執(zhí)行的一個(gè)或多個(gè)自主任務(wù)的方面。自主任務(wù)可以由用戶發(fā)起。在由用戶發(fā)起自主任務(wù)之后,無(wú)人飛行器在執(zhí)行自主任務(wù)時(shí)可以無(wú)需來(lái)自用戶的附加控制或輸入。自主任務(wù)可以使無(wú)人飛行器進(jìn)入預(yù)定序列。所述預(yù)定序列可以包括無(wú)需用戶輸入的一系列動(dòng)作。
控制部分908可以包括用于控制無(wú)人飛行器和/或有效載荷的其他方面的一個(gè)或多個(gè)控件。例如,可以使用起飛/降落控件來(lái)啟用或停用無(wú)人飛行器的自主起飛和/或降落例程的執(zhí)行。當(dāng)起始時(shí),自主起飛和/或降落例程可以使無(wú)人飛行器參與一系列預(yù)定動(dòng)作(例如,涉及其推進(jìn)系統(tǒng)、傳感器、飛行控制系統(tǒng)等)以便在沒(méi)有任何人為干預(yù)或者在人為干預(yù)最少的情況下起飛和/或降落??梢允褂幂d體模式控件來(lái)指定用于控制載體的模式。載體將有效載荷耦合至無(wú)人飛行器并且可以允許有效載荷相對(duì)于無(wú)人飛行器移動(dòng)。載體模式可以選自多個(gè)模式,包括頭部跟隨模式、第一人稱視角(FPV)模式、自由控制模式、一鍵返航模式、手勢(shì)控制模式、微調(diào)橫滾控制模式等。
控制部分908還可以包括自動(dòng)返航控件,所述自動(dòng)返航控件允許用戶例如利用單擊或選擇自動(dòng)返航控件來(lái)啟用和/或停用自動(dòng)返航例程。當(dāng)起始時(shí),自動(dòng)返航例程可以使無(wú)人飛行器參與一系列預(yù)定動(dòng)作(例如,涉及其推進(jìn)系統(tǒng)、傳感器、飛行控制系統(tǒng)等)以便在沒(méi)有任何人為干預(yù)或人為干預(yù)最少的情況下自主返航至預(yù)定歸航點(diǎn)。歸航點(diǎn)可以是無(wú)人飛行器的起飛點(diǎn)或任何具有已知(或預(yù)定)位置的任意點(diǎn)。歸航點(diǎn)可以由用戶指定或默認(rèn)提供。在一些實(shí)施方式中,自動(dòng)返航例程的歸航點(diǎn)可以經(jīng)由歸航設(shè)置控件來(lái)設(shè)置。歸航設(shè)置控件可以為用戶提供選項(xiàng)以設(shè)置歸航點(diǎn)。
此外,UI 900可以包括允許用戶停止和重啟模擬飛行的復(fù)位或重啟按鈕914。模擬飛行可以從開(kāi)始重啟,例如在無(wú)人飛行器起飛之前重啟。而且,可以重啟模擬飛行的一部分,即,可以沿著飛行路徑從航路點(diǎn)重啟所述模擬飛行。例如,用戶可以利用復(fù)位或重啟按鈕914來(lái)重復(fù)練習(xí)模擬飛行的一部分?;蛘撸琔I 900可以迫使用戶復(fù)位或重啟模擬飛行,例如當(dāng)訓(xùn)練新手駕駛員時(shí)。
UI 900還可以包括一個(gè)或多個(gè)信息顯示部分901-902。顯示部分901-902可被配置成用于顯示處于模擬飛行中的無(wú)人飛行器的各種狀態(tài)信息,諸如與電源、通信、數(shù)據(jù)存儲(chǔ)容量、導(dǎo)航狀態(tài)、傳感器狀態(tài)等有關(guān)的信息。
顯示部分902可以包括針對(duì)與無(wú)人飛行器的各個(gè)通信信道的一個(gè)或多個(gè)狀態(tài)指示器。例如,上行鏈路或控制信道(用于傳輸來(lái)自遙控器的遙控信號(hào)的通信信道或鏈路)的狀態(tài)可以由控制器圖標(biāo)連同柱狀圖、數(shù)字(例如,從0至100)或者任何針對(duì)控制信道的狀態(tài)或條件的其他合適的指示器一起表示。下行鏈路或數(shù)據(jù)信道(用于傳輸來(lái)自無(wú)人飛行器的諸如圖像數(shù)據(jù)等數(shù)據(jù)的通信信道或鏈路)的狀態(tài)可以由數(shù)據(jù)傳輸圖標(biāo)連同柱狀圖、數(shù)字(例如,從0至100)或者任何針對(duì)數(shù)據(jù)信道的狀態(tài)和/或條件的其他合適的指示器一起表示??刂菩诺篮蛿?shù)據(jù)信道的狀態(tài)或條件可以指示出通信信道的信號(hào)強(qiáng)度、噪聲、干擾、信噪比(SNR)、比特誤碼率、衰落率和其他特性。
顯示部分902還可以包括針對(duì)無(wú)人飛行器或其部件的電源的一個(gè)或多個(gè)指示器。這樣的指示器可以包括電池圖標(biāo)以及剩余電池電量的數(shù)字指示器。附加地或備選地,電源指示器還可以包括滾動(dòng)條指示器。滾動(dòng)條可以包括多個(gè)段,每個(gè)段指示出與電池電量有關(guān)的對(duì)應(yīng)狀態(tài)。在一個(gè)實(shí)施方式中,滾動(dòng)條的每個(gè)段對(duì)應(yīng)于電池電量的特定百分比范圍。在一些實(shí)施方式中,多個(gè)段可以諸如通過(guò)顏色、圖案、位置或其任何組合而可在視覺(jué)上彼此區(qū)別開(kāi)來(lái)。滾動(dòng)條上的滾動(dòng)指針的位置可以對(duì)應(yīng)于當(dāng)前可用電池電量的水平。有利地,多段滾動(dòng)條允許用戶容易且直觀地識(shí)別出電池電量的大致水平(例如,電池電量水平很低、較低、中等還是較高)而不必知道確切的百分比。
滾動(dòng)條不僅可以表示電池電量的百分比,還能夠以精確且實(shí)時(shí)的方式提供“更智能的”或更有用的電池電量表示——無(wú)人飛行器到達(dá)特定目的地或距離的能力,以使得用戶不必自己進(jìn)行計(jì)算或估計(jì)——這可能較慢和/或不準(zhǔn)確。這樣的電池指示器允許用戶更快地作出決定,這轉(zhuǎn)而確保無(wú)人飛行器的飛行安全性更好。
電源指示器還可以包括時(shí)間指示器,所述時(shí)間指示器示出模擬飛行中的大致飛行時(shí)間。飛行時(shí)間可以表示在模擬飛行中使用剩余電池電量進(jìn)行飛行的時(shí)間。飛行時(shí)間可以表示在無(wú)人飛行器需要開(kāi)始返航至特定目的地(例如,歸航點(diǎn))以確??梢园踩竭_(dá)所述目的地之前的時(shí)間量。飛行時(shí)間還可以表示在無(wú)人飛行器需要降落以確保安全之前的時(shí)間量。飛行時(shí)間還可以表示在起始自動(dòng)化例程(例如,自動(dòng)降落或自動(dòng)返航)之前的時(shí)間量。有利地,時(shí)間指示器提供基于電池狀態(tài)而得到的重要的飛行狀態(tài)信息(例如,剩余飛行時(shí)間),以便使得用戶能夠采取快速動(dòng)作。
顯示部分902還可以包括設(shè)置控件,所述設(shè)置控件可由用戶使用來(lái)提供并配置一般設(shè)置。選擇設(shè)置控件可以引起顯示附加控件,所述附加控件用于控制附加的方面或用于顯示附加的信息。例如,附加控件可以用于重新格式化存儲(chǔ)介質(zhì)(例如,SD卡)、恢復(fù)默認(rèn)設(shè)置、顯示與無(wú)人飛行器、有效載荷、遠(yuǎn)程終端等相關(guān)聯(lián)的版本信息等。
顯示部分901可以包括GPS指示器,所述GPS指示器包括衛(wèi)星圖標(biāo)和指示出GPS信號(hào)強(qiáng)度的柱狀圖。GPS指示器在視野中可以備選地或附加地包括一定數(shù)目(例如,12)的衛(wèi)星。
顯示部分901還可以包括導(dǎo)航模式指示器。例如,導(dǎo)航模式指示器可以用于指示出導(dǎo)航是基于GPS、視覺(jué)還是全部?jī)烧?。在各個(gè)實(shí)施方式中,除了基于GPS和視覺(jué)之外,導(dǎo)航還可以基于感測(cè)系統(tǒng)來(lái)執(zhí)行,所述感測(cè)系統(tǒng)諸如為慣性測(cè)量單元(IMU)、距離傳感器(例如,激光雷達(dá)、紅外線、超聲波)等??梢曰谌魏魏线m的感測(cè)系統(tǒng)或其任何組合來(lái)選擇導(dǎo)航模式。導(dǎo)航模式可以由運(yùn)行在無(wú)人飛行器上的進(jìn)程(例如,由飛行控制模塊)自動(dòng)確定、由遠(yuǎn)程用戶經(jīng)由遙控終端而遠(yuǎn)程選擇,或它們的組合??梢曰跓o(wú)人飛行器的環(huán)境而動(dòng)態(tài)地改變用戶與無(wú)人飛行器之間的控制分配。例如,當(dāng)無(wú)人飛行器位于相對(duì)簡(jiǎn)單的環(huán)境內(nèi)(例如,在戶外和/或開(kāi)放空間中)時(shí),可以需要較多的無(wú)人飛行器自主性和較少的用戶干預(yù)。相反地,當(dāng)無(wú)人飛行器位于相對(duì)復(fù)雜的環(huán)境內(nèi)(例如,在室內(nèi)和/或封閉空間中)時(shí),可以需要較多的無(wú)人飛行器自主性和較少的用戶干預(yù)。
在一些實(shí)施方式中,導(dǎo)航模式指示器的選擇可以引起顯示附加控件,用于配置與導(dǎo)航模式相關(guān)聯(lián)的各種參數(shù)。這樣的附加控件可以用于設(shè)置最大高度、最小高度、最大距離等。
顯示部分901還可以包括智能朝向控制(IOC)指示器,用于控制無(wú)人飛行器的前進(jìn)方向。顯示部分901還可以包括一個(gè)或多個(gè)存儲(chǔ)指示器,指示出有效載荷和/或無(wú)人飛行器的當(dāng)前數(shù)據(jù)存儲(chǔ)容量。顯示部分901還可以包括后退控件,所述后退控件可以用于退出當(dāng)前用戶界面并返回至先前菜單控件/項(xiàng)目的界面,類似于瀏覽器后退按鈕的功能性。
UI 900可以包括飛行顯示部分,諸如圖標(biāo)顯示部分903(或姿態(tài)球)和飛行參數(shù)顯示部分906。飛行顯示部分可以用于顯示與無(wú)人飛行器有關(guān)的位置、姿態(tài)、速度和其他飛行信息。具體而言,飛行顯示部分可被配置成用于同時(shí)顯示無(wú)人飛行器狀態(tài)信息和有效載荷狀態(tài)信息。
而且,UI 900可以包括地圖部分904,所述地圖部分904可以用于在地圖(例如,衛(wèi)星地圖)上顯示無(wú)人飛行器的當(dāng)前位置和/或朝向。所述地圖還可被配置成用于指示遙控終端的當(dāng)前位置和/或朝向、歸航點(diǎn)、無(wú)人飛行器的飛行路徑等。此外,地圖可被配置成用于指示無(wú)人飛行器上的圖像傳感器的朝向和/或FOV的角度。在一些實(shí)施方式中,地圖部分904能夠以畫中畫的方式顯示為圖像部分916的插圖。在其他實(shí)施方式中,地圖部分904可以不與圖像部分916重疊。
此外,UI 900可以包括其他信息部分,諸如風(fēng)指示器905、有效載荷俯仰指示器910和各種有效載荷配置控件909。風(fēng)指示器905可以顯示場(chǎng)(即虛擬空間)中風(fēng)的模擬速度和方向。有效載荷俯仰指示器910可以包括垂直滾動(dòng)條,其向上和向下的移動(dòng)可以對(duì)應(yīng)于有效載荷圍繞俯仰軸線的向上和向下的移動(dòng)。
有效載荷配置控件909可以包括膠片速度控件、快門速度控件和曝光補(bǔ)償控件。例如,膠片速度控件可以用于顯示圖像捕捉裝置的當(dāng)前膠片速度以及/或者選擇或指定新的膠片速度(例如,ISO 200、ISO 400、ISO 600、ISO 800、ISO 1000)??扉T速度控件可以用于顯示圖像捕捉裝置的當(dāng)前快門速度以及/或者選擇或指定新的快門速度(例如,1/16000s、1/8000s、1/4000s、1/2000s、1/10000s、1/500s、1/250s、1/125s、1/60s、1/30s、1/15s、1/8s、1/4s、1/2s)。曝光補(bǔ)償控件可以用于顯示和/或調(diào)節(jié)與圖像捕捉裝置相關(guān)聯(lián)的曝光。
在一些實(shí)施方式中,可以提供飛行狀態(tài)指示器912以指示出無(wú)人飛行器的模擬飛行狀態(tài)??梢曰谥T如電源、推進(jìn)單元、存儲(chǔ)器、軟件和/或硬件部件等無(wú)人飛行器部件的當(dāng)前狀態(tài)來(lái)確定模擬飛行狀態(tài)。飛行狀態(tài)指示器912可被配置成用于顯示不同的顏色、圖案、紋理、文本或其任何組合來(lái)表示不同的飛行狀態(tài)。例如,綠色可以用于指示安全飛行狀態(tài)。其他顏色,諸如黃色和紅色,可以用于指示較危險(xiǎn)的飛行狀態(tài)。備選地或附加地,可以由飛行狀態(tài)指示器912對(duì)應(yīng)于不同的飛行狀態(tài)來(lái)顯示不同的文本內(nèi)容。例如,可以顯示“安全的飛行”或類似的文本以指示安全的飛行??梢燥@示“危險(xiǎn)的飛行”或其他警告消息以指示較危險(xiǎn)的飛行。在各個(gè)實(shí)施方式中,飛行狀態(tài)指示器912可以安置在顯示部分901與顯示部分902之間或者安置在UI上的任何其他各處上。可以始終顯示飛行狀態(tài)指示器912,或者僅響應(yīng)于某些預(yù)定條件、事件、用戶動(dòng)作等而顯示飛行狀態(tài)指示器912。例如,在一些實(shí)施方式中,可以僅當(dāng)無(wú)人飛行器靠近或處于危險(xiǎn)飛行狀態(tài)時(shí)才顯示飛行狀態(tài)指示器912。又例如,可以僅當(dāng)用戶選擇或以其他方式啟用UI控件時(shí)才顯示飛行狀態(tài)指示器912。
在各個(gè)實(shí)施方式中,可以顯示更多的、更少的或不同的控件,所述控件可以不同于所圖示的UI 900。例如,UI可被配置成用于僅示出圖像顯示部分而不示出任何信息顯示部分;或者反之亦然。在其他實(shí)施方式中,各個(gè)部分中顯示的信息可以在不同的部分中混合和匹配。UI中顯示的信息可以通過(guò)圖形圖標(biāo)或指示器或者以文本或數(shù)字格式表示。此外,所顯示的信息可以自動(dòng)地或響應(yīng)于用戶輸入進(jìn)行動(dòng)態(tài)改變。不同的信息部分可以動(dòng)態(tài)地隱藏/收起或示出/展開(kāi)。在一些實(shí)施方式中,顯示在一個(gè)部分中的數(shù)據(jù)可以動(dòng)態(tài)地切換成顯示在另一部分中。例如,在實(shí)施方式中,地圖部分904和圖像部分901可以交換以使得圖像部分以畫中畫的方式顯示為地圖部分的插圖。在一些實(shí)施方式中,UI的部分的布局可以動(dòng)態(tài)地改變成不同于圖9中示出的布局。例如,能夠以平鋪的方式或者以一個(gè)或多個(gè)平行面板示出所述部分。
圖10圖示了根據(jù)本發(fā)明各個(gè)實(shí)施方式用于在無(wú)人飛行器起飛之后顯示模擬飛行的示例性用戶界面(UI)。如圖10中所示,UI 1000可以包括一個(gè)或多個(gè)主要顯示區(qū)域或部分1016以及一個(gè)或多個(gè)輔助顯示區(qū)域或部分1001-1010。主要顯示區(qū)域1016可被配置成比任何一個(gè)輔助顯示部分具有更大的顯示面積(例如,更多的像素計(jì)數(shù))。在一些實(shí)施方式中,主要顯示區(qū)域和/或輔助顯示區(qū)域中顯示的信息的類型是固定的。
在一些其他實(shí)施方式中,主要顯示區(qū)域和/或輔助顯示區(qū)域中顯示的信息的類型可以動(dòng)態(tài)地交換或切換。例如,主要顯示區(qū)域1016中顯示的信息可以與輔助顯示區(qū)域中顯示的信息動(dòng)態(tài)地交換。在各個(gè)實(shí)施方式中,用戶可以經(jīng)由諸如觸摸屏、鼠標(biāo)、鍵盤、語(yǔ)音命令等任何合適的輸入機(jī)構(gòu)來(lái)切換或交換顯示。在一些實(shí)施方式中,一個(gè)主要顯示區(qū)域中顯示的信息可以與另一主要顯示區(qū)域中顯示的信息動(dòng)態(tài)地交換。一個(gè)輔助顯示區(qū)域中顯示的信息可以與另一輔助顯示區(qū)域中顯示的信息動(dòng)態(tài)地交換。
如圖10中所示,UI 1000中的主要顯示區(qū)域1016可以用于顯示處于模擬飛行中的無(wú)人飛行器1011。例如,主要顯示區(qū)域1016中的圖形顯示可以示出無(wú)人飛行器1011已從停機(jī)坪1013中的起始點(diǎn)1015起飛的動(dòng)畫。當(dāng)處于模擬飛行中的無(wú)人飛行器1011正在起飛時(shí),飛行模擬器(例如,位于無(wú)人飛行器1011上的飛行模擬器)可以生成針對(duì)處于模擬飛行中的無(wú)人飛行器1011的模擬坐標(biāo)信息,例如,以起始點(diǎn)1015作為坐標(biāo)系的原點(diǎn)。對(duì)應(yīng)地,UI 1000可以以動(dòng)畫形式顯示處于模擬飛行中的無(wú)人飛行器1011的移動(dòng)。
或者,UI 1000中的主要顯示區(qū)域1016可以用于顯示由耦合至無(wú)人飛行器的有效載荷捕捉的圖像數(shù)據(jù),諸如靜態(tài)照片或視頻,而輔助顯示區(qū)域可被配置成用于顯示與無(wú)人飛行器有關(guān)和/或用于接收用戶輸入的信息。
在各個(gè)實(shí)施方式中,有效載荷的FOV和/或視線與無(wú)人飛行器正在前進(jìn)的方向可以對(duì)準(zhǔn)或者可以不對(duì)準(zhǔn)。例如,有效載荷的FOV和/或視線可以與無(wú)人飛行器沿著航向軸線、俯仰軸線和/或橫滾軸線的前進(jìn)方向成一角度。所述角度可以大于0度、30度、60度、90度、120度、150度、180度、210度、240度、300度等。
在一些實(shí)施方式中,UI 1000可以提供一個(gè)或多個(gè)控制部分1007和1008,用于在模擬飛行中控制無(wú)人飛行器和相關(guān)聯(lián)的有效載荷。例如,可以允許用戶經(jīng)由諸如觸摸屏、鼠標(biāo)、鍵盤、操縱桿、觸控筆、可穿戴式裝置、視覺(jué)命令或音頻命令等一個(gè)或多個(gè)輸入機(jī)構(gòu)與UI 1000的一些或全部區(qū)域進(jìn)行交互。經(jīng)由UI 1000而提供的用戶輸入可以用于控制顯示器和/或顯示終端、無(wú)人飛行器、有效載荷、遠(yuǎn)程終端、傳感器等的方面。
UI 1000還可以包括一個(gè)或多個(gè)控制部分1007和1008,每個(gè)控制部分包括用于選擇、啟用、停用、修改或以其他方式控制無(wú)人飛行器和/或其部件的一個(gè)或多個(gè)模式、操作或例程的控件。在一些實(shí)施方式中,基于對(duì)控件的選擇而生成的控制數(shù)據(jù)可以直接地或間接地向無(wú)人飛行器傳輸,以便控制無(wú)人飛行器和/或有效載荷的一個(gè)或多個(gè)方面。所述控件中的至少一些可以由圖形圖標(biāo)表示,所述圖形圖標(biāo)圖示出與控件相關(guān)聯(lián)的模式或操作??梢栽O(shè)計(jì)圖形圖標(biāo)以促進(jìn)在無(wú)需借助任何文字描述的情況下直觀地理解控件的功能。另外,這樣的“單觸式”或“單擊式”控制界面可以簡(jiǎn)化用戶提供諸如用于選擇、啟用、停用或以其他方式控制無(wú)人飛行器和/或有效載荷的方面的控制的過(guò)程。例如,用戶可以使用這樣的“單觸式”或“單擊式”控件來(lái)啟用預(yù)定例程和/或自主例程,諸如自動(dòng)返航、自主起飛、自主降落、懸停等。
此外,UI 1000可以包括允許用戶停止和重啟模擬飛行的復(fù)位或重啟按鈕1014。模擬飛行可以從開(kāi)始重啟,即在無(wú)人飛行器起飛之前重啟。而且,可以重啟模擬飛行的一部分,即,可以從沿著飛行路徑從航路點(diǎn)重啟所述模擬飛行。例如,用戶可以利用復(fù)位或重啟按鈕1014來(lái)重復(fù)練習(xí)模擬飛行的一部分?;蛘?,UI 1000可以迫使用戶復(fù)位或重啟模擬飛行,例如當(dāng)訓(xùn)練新手駕駛員時(shí)。
UI 1000還可以包括一個(gè)或多個(gè)信息顯示部分1001-1002。顯示部分1001-1002可被配置成用于顯示處于模擬飛行中的無(wú)人飛行器的各種狀態(tài)信息,諸如與電源、通信、數(shù)據(jù)存儲(chǔ)容量、導(dǎo)航狀態(tài)、傳感器狀態(tài)等有關(guān)的信息。
UI 1000可以包括飛行顯示部分,諸如圖標(biāo)顯示部分1003(或姿態(tài)球)和飛行參數(shù)顯示部分1006。飛行顯示部分可以用于顯示與無(wú)人飛行器有關(guān)的位置、姿態(tài)、速度和其他飛行信息。具體而言,飛行顯示部分可被配置成用于同時(shí)顯示無(wú)人飛行器的狀態(tài)信息和有效載荷狀態(tài)信息。
而且,UI 1000可以包括地圖部分1004,所述地圖部分1004可以用于在地圖(例如,衛(wèi)星地圖)上顯示無(wú)人飛行器的當(dāng)前位置和/或朝向。所述地圖還可被配置成用于指示遙控終端的當(dāng)前位置和/或朝向、歸航點(diǎn)、無(wú)人飛行器的飛行路徑等。此外,地圖可被配置成用于指示無(wú)人飛行器上的圖像傳感器的朝向和/或FOV的角度。在一些實(shí)施方式中,地圖部分1004能夠以畫中畫的方式顯示為圖像部分1016的插圖。在其他實(shí)施方式中,地圖部分904可以不與圖像部分1016重疊。
此外,UI 1000可以包括其他信息部分,諸如風(fēng)指示器1005、有效載荷俯仰指示器1010和各種有效載荷配置控件1009。風(fēng)指示器1005可以顯示場(chǎng)(即虛擬空間)中風(fēng)的模擬速度和方向。有效載荷俯仰指示器910可以包括垂直滾動(dòng)條,其向上和向下的移動(dòng)可以對(duì)應(yīng)于有效載荷圍繞俯仰軸線的向上和向下的移動(dòng)。有效載荷配置控件1009可以包括膠片速度控件、快門速度控件和曝光補(bǔ)償控件。
在一些實(shí)施方式中,可以提供飛行狀態(tài)指示器1012以指示出無(wú)人飛行器的模擬飛行狀態(tài)??梢曰谥T如電源、推進(jìn)單元、存儲(chǔ)器、軟件和/或硬件部件等無(wú)人飛行器部件的當(dāng)前狀態(tài)來(lái)確定模擬飛行狀態(tài)。飛行狀態(tài)指示器1012可被配置成用于顯示不同的顏色、圖案、紋理、文本或其任何組合來(lái)表示不同的飛行狀態(tài)。
圖11圖示了根據(jù)本發(fā)明各個(gè)實(shí)施方式針對(duì)模擬飛行的示例性飛行顯示部分。如圖11中所示,飛行顯示部分1100可以用于顯示模擬飛行中與無(wú)人飛行器以及/或者一個(gè)或多個(gè)有效載荷有關(guān)的位置、姿態(tài)、速度和其他飛行信息。所述飛行信息可以顯示在飛行顯示部分1100內(nèi)的一個(gè)或多個(gè)顯示區(qū)域或部分內(nèi)。
飛行顯示部分1100可以包括圖標(biāo)顯示部分1102(或姿態(tài)球)和飛行參數(shù)顯示部分1104。圖標(biāo)顯示部分1102可以用于至少部分地顯示無(wú)人飛行器的狀態(tài)信息、有效載荷的狀態(tài)信息、遠(yuǎn)程終端的狀態(tài)信息或其任何組合。例如,飛行顯示部分1102可被配置成用于同時(shí)顯示處于模擬飛行中的無(wú)人飛行器狀態(tài)信息和有效載荷狀態(tài)信息。飛行顯示部分1102可被配置成用于同時(shí)顯示處于模擬飛行中的無(wú)人飛行器狀態(tài)信息和遠(yuǎn)程終端狀態(tài)信息。飛行顯示部分1102可被配置成用于同時(shí)顯示處于模擬飛行中的無(wú)人飛行器狀態(tài)信息、有效載荷狀態(tài)信息和遠(yuǎn)程終端狀態(tài)信息。
圖標(biāo)顯示部分1102可以包括以類似于自上而下雷達(dá)圖的方式基本上呈圓形的區(qū)域1103。圖標(biāo)顯示部分1102可以用于圖示處于模擬飛行中的無(wú)人飛行器和遠(yuǎn)程終端(例如,遙控終端和/或遠(yuǎn)程顯示終端)的相對(duì)定位和方位。無(wú)人飛行器可以由無(wú)人飛行器圖標(biāo)1110表示,而遠(yuǎn)程終端可以由遠(yuǎn)程終端圖標(biāo)1128表示。
在一些實(shí)施方式中,遠(yuǎn)程終端圖標(biāo)1128顯示在基本上呈圓形的區(qū)域1103的中心處。基本上呈圓形的區(qū)域1103的比例尺可以通過(guò)從中心輻射的一個(gè)或多個(gè)同心距離圈表示。距離圈的半徑可以根據(jù)預(yù)定比率或比例尺而對(duì)應(yīng)于距中心的實(shí)際距離,諸如100米、200米、300米(或10英里、20英里、30英里)等。在一些實(shí)施方式中,可以動(dòng)態(tài)地調(diào)節(jié)基本上呈圓形的區(qū)域1103的比例尺以使遠(yuǎn)程終端和無(wú)人飛行器適于處在所述基本上呈圓形的區(qū)域1103中。例如,當(dāng)無(wú)人飛行器與遠(yuǎn)程終端之間的距離增加時(shí),距離圈的數(shù)目可以增加;備選地和/或附加地,半徑可以按比例放大以表示更長(zhǎng)的距離。當(dāng)無(wú)人飛行器與遠(yuǎn)程終端之間的距離減少時(shí),情況可以相反。
遠(yuǎn)程終端的朝向可以由遠(yuǎn)程終端朝向指示器1106指示。遠(yuǎn)程終端朝向指示器1106可以位于基本上呈圓形的區(qū)域的外圍上并且在遠(yuǎn)程終端例如圍繞偏航軸線轉(zhuǎn)向時(shí)進(jìn)行對(duì)應(yīng)地移動(dòng)。在示例中,朝向指示器1106的方向可以對(duì)應(yīng)于操作遠(yuǎn)程終端的用戶正面對(duì)的方向。在一些實(shí)施方式中,遠(yuǎn)程終端的朝向可以由與遠(yuǎn)程終端相關(guān)聯(lián)的磁力計(jì)和/或GPS傳感器所測(cè)量。
在一些實(shí)施方式中,無(wú)人飛行器的朝向可以由無(wú)人飛行器圖標(biāo)1110的朝向所指示,諸如由如無(wú)人飛行器圖標(biāo)1110所示的無(wú)人飛行器機(jī)頭指向的方向所指示。無(wú)人飛行器的朝向可以包括無(wú)人飛行器圍繞偏航軸線的朝向。無(wú)人飛行器指示器1110可以與視野(FOV)指示器1108相關(guān)聯(lián)。無(wú)人飛行器的FOV可以對(duì)應(yīng)于由無(wú)人飛行器攜帶的有效載荷的FOV或者無(wú)人飛行器上的任何視覺(jué)或圖像傳感器的FOV。FOV指示器1108可以示出為從無(wú)人飛行器投射的基本上呈圓錐的形狀。FOV的相對(duì)偏航角(例如,圓錐的中線與無(wú)人飛行器的前進(jìn)方向之間的角度)可以對(duì)應(yīng)于有效載荷或視覺(jué)傳感器的相對(duì)于無(wú)人飛行器的偏航角的偏航角。默認(rèn)情況下,F(xiàn)OV的相對(duì)偏航角可以與無(wú)人飛行器的前進(jìn)方向相同,且因此為零。在一些情況下,有效載荷的載體可以使相對(duì)偏航角在有效載荷的指向方向與無(wú)人飛行器的前進(jìn)方向之間。
在一些實(shí)施方式中,圓錐形的角度(例如,限定圓錐的兩條直線之間的角度)可以對(duì)應(yīng)于有效載荷的實(shí)際FOV?;蛘撸瑘A錐形的角度可以是任意角度,其不必對(duì)應(yīng)于有效載荷的實(shí)際FOV。在一些實(shí)施方式中,載體和/或有效載荷的偏航/橫滾旋轉(zhuǎn)的角度可以由圖標(biāo)顯示部分1102中的偏航/橫滾角度指示器以數(shù)字格式顯示。
基本上呈圓形的區(qū)域1103還可以充當(dāng)無(wú)人飛行器姿態(tài)顯示器,其圖示無(wú)人飛行器的朝向,例如,圍繞俯仰軸線和/或橫滾軸線的朝向。例如,有效載荷橫滾/俯仰指示器1126可以包括在基本上呈圓形的區(qū)域1103的外圍上的兩個(gè)點(diǎn)之間延伸的線。線1126的傾斜可以用于指示出無(wú)人飛行器的橫滾朝向。例如,平行于地平線1127的水平線或橫線1126可以指示無(wú)人飛行器的零橫滾旋轉(zhuǎn)。線1126相對(duì)于地平線1127的逆時(shí)針傾斜(即,線的最左點(diǎn)低于線的最右端)可以指示出無(wú)人飛行器的對(duì)應(yīng)的逆時(shí)針橫滾(從無(wú)人飛行器的視角)。同樣地,線1126相對(duì)于地平線1127的順時(shí)針傾斜(即,線的最左端高于線的最右端)可以指示出無(wú)人飛行器的對(duì)應(yīng)的順時(shí)針橫滾(從無(wú)人飛行器的視角)。
附加地或備選地,線1126相對(duì)于水平線1127的上升和下降可以用于指示出無(wú)人飛行器的俯仰朝向。例如,穿過(guò)基本上呈圓形的區(qū)域的中心的橫線可以指示出無(wú)人飛行器相對(duì)于地平線1127的零俯仰旋轉(zhuǎn)。線1126朝基本上呈圓形的區(qū)域1103的頂部的上升可以指示出圍繞俯仰軸線的向上傾斜。線1126朝基本上呈圓形的區(qū)域1103的底部的下降可以指示出圍繞俯仰軸線的向下傾斜。
在一些實(shí)施方式中,可以允許有效載荷相對(duì)于所述無(wú)人飛行器圍繞一個(gè)、兩個(gè)或三個(gè)軸線旋轉(zhuǎn)移動(dòng)。所述軸線可以包括俯仰軸線、橫滾軸線、偏航軸線或其任何組合。因此,在一些備選實(shí)施方式中,基本上呈圓形的區(qū)域1103還可以充當(dāng)有效載荷姿態(tài)顯示器,其圖示載體和/或有效載荷的朝向,例如,圍繞俯仰軸線和/或橫滾軸線的朝向。例如,有效載荷橫滾/俯仰指示器1126可以包括在基本上呈圓形的區(qū)域1103的外圍上的兩個(gè)點(diǎn)之間延伸的線。線1126的傾斜可以用于指示有效載荷和/或載體的橫滾朝向。例如,水平線或橫線1126可以指示有效載荷相對(duì)于無(wú)人飛行器的零橫滾朝向。線1126的逆時(shí)針傾斜(即,線的最左點(diǎn)低于線的最右端)可以指示出有效載荷相對(duì)于無(wú)人飛行器的對(duì)應(yīng)的順時(shí)針橫滾。同樣地,線1126的順時(shí)針傾斜(即,線的最左端高于線的最右端)可以指示出有效載荷相對(duì)于無(wú)人飛行器的對(duì)應(yīng)的逆時(shí)針橫滾。
附加地或備選地,線1126的上升和下降可以用于指示出有效載荷和/或載體的俯仰朝向。例如,穿過(guò)基本上呈圓形的區(qū)域的中心的橫線可以指示出有效載荷相對(duì)于無(wú)人飛行器的零俯仰旋轉(zhuǎn)。線1126朝基本上呈圓形的區(qū)域603的頂部的上升可以指示出圍繞俯仰軸線的向上傾斜。線1126朝基本上呈圓形的區(qū)域603的底部的下降可以指示出圍繞俯仰軸線的向下傾斜。
在一些實(shí)施方式中,無(wú)人飛行器的偏航朝向可以由無(wú)人飛行器圖標(biāo)1110的朝向所圖示。無(wú)人飛行器的俯仰和橫滾朝向可以由基本上呈圓形的區(qū)域1103中的水平指示器1126所圖示。有效載荷的偏航和橫滾朝向可以分別由FOV指示器1108和橫滾角度指示器1124所圖示。
在一些實(shí)施方式中,有效載荷的俯仰朝向(或其視線)可以由包括垂直滾動(dòng)條的有效載荷俯仰指示器1122所圖示。俯仰指示器可以安置在圖標(biāo)顯示部分1102中(或者,有效載荷俯仰指示器1122可以顯示在UI中的主要顯示部分中以易于控制)。滾動(dòng)條的向上和向下移動(dòng)可以對(duì)應(yīng)于有效載荷圍繞俯仰軸線的向上和向下移動(dòng)。在一些實(shí)施方式中,俯仰指示器1122可以可選地包括方向指示器,所述方向指示器示出有效載荷的俯仰移動(dòng)的方向。在一些實(shí)施方式中,始終顯示俯仰指示器1122。在一些其他實(shí)施方式中,默認(rèn)情況下不顯示俯仰指示器1122,而僅在有效載荷的俯仰朝向與無(wú)人飛行器的俯仰朝向之間存在非零角度時(shí)才顯示俯仰指示器1122。方向指示器可以包括上控件和/或下控件,所述上控件和/或下控件可在俯仰角達(dá)到或超過(guò)某一預(yù)定范圍時(shí)被啟用(例如,經(jīng)由顏色、形狀或其他特性的改變)。
在一些實(shí)施方式中,上文描述的朝向指示器被配置成用于僅顯示信息。需要附加的控件來(lái)控制或以其他方式改變朝向(例如,俯仰/偏航/橫滾)。在一些其他實(shí)施方式中,上文描述的朝向指示器被配置成用于既顯示信息又接收用戶輸入以控制無(wú)人飛行器和/或有效載荷的各自朝向。
飛行參數(shù)顯示部分1104可以用于顯示無(wú)人飛行器的飛行參數(shù),諸如距離和速度??梢韵噜徲趫D標(biāo)顯示部分1102或與之分離地顯示飛行參數(shù)顯示部分1104。如圖所示,飛行參數(shù)顯示部分1104可以包括垂直距離指示器1112和水平距離指示器1114,所述指示器分別用于示出無(wú)人飛行器與預(yù)定參考點(diǎn)之間的垂直距離和水平距離,所述預(yù)定參考點(diǎn)諸如為歸航點(diǎn)、遙控終端和/或遠(yuǎn)程顯示終端或者任何其他參考點(diǎn)或位置。
飛行參數(shù)顯示部分1104可以包括垂直速度指示器1118和水平速度指示器1120,所述指示器分別用于示出模擬飛行中的無(wú)人飛行器相對(duì)于預(yù)定參考系(例如,相對(duì)于地面、風(fēng)、遙控器或其他物體)的垂直速度和水平速度。例如,所顯示的速度可以包括模擬飛行中的垂直速度、地速或空速。此外,垂直速度指示器1118還可以包括方向指示器1119,所述方向指示器1119指示出無(wú)人飛行器的垂直移動(dòng)的方向。例如,方向指示器1119可以包括向上箭頭和向下箭頭。當(dāng)無(wú)人飛行器向上移動(dòng)時(shí),可以高亮顯示向上箭頭或以其他方式將其顯示為活動(dòng)的。同樣地,當(dāng)無(wú)人飛行器向下移動(dòng)時(shí)可以高亮顯示向下箭頭或以其他方式將其顯示為活動(dòng)的。
方向參數(shù)顯示部分1104還可以包括距離指示器1116,其用于指示出無(wú)人飛行器到參考物體的距離。參考物體可以包括在無(wú)人飛行器周圍的物體,諸如在無(wú)人飛行器飛行路徑上或附近的物體。例如,距離指示器1116可以用于指示出距無(wú)人飛行器周圍的障礙物的距離。所述距離可以從無(wú)人飛行器到物體表面來(lái)測(cè)量,所述物體表面諸如為建筑物、地面、樹(shù)木等的任何表面。障礙物可以位于或者可以不位于距無(wú)人飛行器的預(yù)定范圍內(nèi)。所述預(yù)定范圍可以通過(guò)用于檢測(cè)障礙物的距離傳感器的最大檢測(cè)范圍和/或最小檢測(cè)范圍來(lái)確定。距離傳感器的示例可以包括激光雷達(dá)傳感器、超聲傳感器、紅外傳感器、視覺(jué)傳感器等。在一些實(shí)施方式中,參考點(diǎn)還可以包括遙控終端和/或顯示終端的位置、無(wú)人飛行器返航的歸航點(diǎn)或者其他任何航路點(diǎn)。在一些實(shí)施方式中,距離傳感器1116可以包括距離圖標(biāo)以及從無(wú)人飛行器到參考點(diǎn)的距離的數(shù)字表示。在一些實(shí)施方式中,可以提供不止一個(gè)距離指示器來(lái)指示距不止一個(gè)參考點(diǎn)的距離。
在一些實(shí)施方式中,如果無(wú)人飛行器與參考點(diǎn)之間的距離在預(yù)定范圍之外,則可以提供警告。例如,如果無(wú)人飛行器處于距物體的預(yù)定最小距離內(nèi),則可以給予警告,從而指示出即將與物體碰撞。因此,警告和距離指示器1116可以允許操作無(wú)人飛行器的用戶以及時(shí)的方式避開(kāi)這樣的障礙物。又例如,如果無(wú)人飛行器距物體比預(yù)定距離更遠(yuǎn),則可以給予警告。物體可以包括用戶意在跟蹤的目標(biāo)物體。物體可以包括具有有限控制范圍的遙控器。因此,警告和距離指示器1116可以允許用戶操作無(wú)人飛行器返回至更靠近所述物體之處,例如,以防止失去對(duì)無(wú)人飛行器的控制。
在各個(gè)實(shí)施方式中,警告可以包括視覺(jué)信號(hào)、音頻信號(hào)、觸覺(jué)反饋或其任何組合。警告信號(hào)可以經(jīng)由遠(yuǎn)程顯示終端、遙控終端、無(wú)人飛行器或一些其他裝置來(lái)提供。例如,可以由紅色或閃爍的距離指示器616或顯示終端上的一些其他視覺(jué)指示器來(lái)視覺(jué)地表示視覺(jué)警告。附加地或備選地,可以提供音頻警告,其可以包括嗶嗶聲、警報(bào)聲、一段音樂(lè)、人聲或其任何組合。附加地或備選地,可以提供觸覺(jué)反饋,其可以包括震動(dòng)、施力或者可由操作遠(yuǎn)程顯示終端和/或遙控終端的用戶感覺(jué)到的移動(dòng)。例如,觸覺(jué)反饋可以由遠(yuǎn)程顯示終端和/或遙控終端的震動(dòng)來(lái)表示。
在一些實(shí)施方式中,飛行顯示部分1100中顯示的至少一些圖標(biāo)或控件可以是可由用戶選擇的。對(duì)這樣的可選擇控件的選擇可以引起附加于或替代于當(dāng)前所顯示的信息而顯示進(jìn)一步信息。例如,對(duì)控件1130的選擇可以引起顯示附加控件,用于控制與有效載荷相關(guān)的設(shè)置,諸如用于控制膠片速度、快門速度、曝光補(bǔ)償?shù)?。又例如,?duì)無(wú)人飛行器圖標(biāo)1110的選擇可以引起顯示對(duì)無(wú)人飛行器相對(duì)于遠(yuǎn)程終端(例如,遙控終端和/或遠(yuǎn)程顯示終端)的空間布局的三維描繪。所述描繪可以包括由遠(yuǎn)程終端所感知的無(wú)人飛行器圍繞俯仰軸線、偏航軸線和橫滾軸線的朝向,或者根據(jù)一些其他參考點(diǎn)的無(wú)人飛行器圍繞俯仰軸線、偏航軸線和橫滾軸線的朝向。
在一些實(shí)施方式中,飛行顯示部分1100的至少一些方面可以由用戶定制。例如,用戶可以經(jīng)由用戶界面來(lái)改變與顯示部分1102相關(guān)聯(lián)的視角或參考系。圖標(biāo)顯示部分可被配置成僅示出由遠(yuǎn)程終端所感知的無(wú)人飛行器的相對(duì)空間布局,而不是同時(shí)示出處于模擬飛行中的遠(yuǎn)程終端和無(wú)人飛行器的自上而下視圖。又例如,用戶可以改變飛行參數(shù)顯示部分1104中所示的值(諸如模擬飛行中的速度和距離)的單位和/或精度。
圖12圖示了根據(jù)本發(fā)明各個(gè)實(shí)施方式的示例性地圖部分。地圖部分1200可以用于顯示處于模擬飛行中的無(wú)人飛行器的當(dāng)前位置、遠(yuǎn)程終端(例如,遙控終端和/或遠(yuǎn)程顯示終端)和/或參考點(diǎn),諸如歸航點(diǎn)。地圖部分1200還可以用于顯示無(wú)人飛行器的FOV和/或無(wú)人飛行器的飛行路徑1205。
地圖部分1200可以包括定位于地圖1201上的無(wú)人飛行器圖標(biāo)1202、遠(yuǎn)程終端指示器和參考點(diǎn)指示器1203。由參考點(diǎn)指示器1203所指示的參考點(diǎn)可以包括歸航點(diǎn)或一些其他合適的點(diǎn)。地圖1201可以包括一區(qū)域的地理特征,諸如陸地、水體、森林、道路、建筑物等。地圖1201可以基于衛(wèi)星圖像、GPS數(shù)據(jù)、地質(zhì)勘測(cè)等而生成。在一些實(shí)施方式中,用于生成地圖1201的數(shù)據(jù)可以從本地或遠(yuǎn)程數(shù)據(jù)存儲(chǔ)、服務(wù)器、基于云的服務(wù)、衛(wèi)星等獲得。地圖可以根據(jù)某種預(yù)定比率或比例尺而對(duì)應(yīng)于實(shí)際地理區(qū)域。地圖1201上的無(wú)人飛行器圖標(biāo)1202、遠(yuǎn)程終端指示器和參考點(diǎn)指示器1203的位置可以根據(jù)地圖的比例尺而成比例地對(duì)應(yīng)于其在地理區(qū)域中的相應(yīng)位置。在一些實(shí)施方式中,可以縮放地圖,以便顯示全部無(wú)人飛行器、遠(yuǎn)程終端、參考點(diǎn)或任何其他感興趣的物體。在其他實(shí)施方式中,地圖僅顯示上述感興趣物體的子集。
無(wú)人飛行器圖標(biāo)1202可以用于在模擬飛行中指示出無(wú)人飛行器在地圖上的位置和/或無(wú)人飛行器的朝向。無(wú)人飛行器的朝向可以由無(wú)人飛行器圖標(biāo)1202所示的無(wú)人飛行器機(jī)頭的指向方向所指示。所顯示的無(wú)人飛行器的朝向可以對(duì)應(yīng)于無(wú)人飛行器的前進(jìn)方向或偏航朝向??梢蕴峁┮曇?FOV)指示器1204來(lái)指示無(wú)人飛行器的視野(FOV)。無(wú)人飛行器的FOV可以對(duì)應(yīng)于由無(wú)人飛行器所攜帶的有效載荷的FOV或者位于無(wú)人飛行器上的任何視覺(jué)或圖像傳感器的FOV。FOV指示器1204可被示出為從無(wú)人飛行器投射的基本上呈圓錐的形狀。圓錐的指向方向可以對(duì)應(yīng)于有效載荷或任何其他合適的視覺(jué)傳感器的偏航角或朝向。有效載荷或任何其他視覺(jué)傳感器的偏航角可以與無(wú)人飛行器相同。在一些實(shí)施方式中,將有效載荷耦合至無(wú)人飛行器的載體可以允許有效載荷相對(duì)于無(wú)人飛行器圍繞偏航軸線旋轉(zhuǎn)移動(dòng)。在這樣的情況下,有效載荷的偏航朝向可以不同于無(wú)人飛行器的偏航朝向。在一些實(shí)施方式中,圓錐形的角度可以對(duì)應(yīng)于有效載荷的實(shí)際FOV?;蛘?,圓錐形的角度可以是任意角度,其不必對(duì)應(yīng)于有效載荷的實(shí)際FOV。有利地,F(xiàn)OV指示器1204允許用戶查看投射到地圖上的無(wú)人飛行器的FOV的方向和/或角度范圍,從而易于理解可由有效載荷或視覺(jué)傳感器捕捉的地貌的大致范圍。
遠(yuǎn)程終端指示器的朝向可以用朝向指示器示出。朝向指示器也可以基本上呈圓錐形。圓錐形的投射方向可以對(duì)應(yīng)于操作遠(yuǎn)程終端的用戶正面對(duì)的方向。由朝向指示器指示的方向可以對(duì)應(yīng)于遠(yuǎn)程終端的朝向的改變而改變。
地圖部分1200還可以包括飛行路徑指示器1205。飛行路徑指示器1205可以表示無(wú)人飛行器的模擬飛行路徑。在一些實(shí)施方式中,可以從無(wú)人飛行器接收生成飛行路徑所需的數(shù)據(jù)。所述數(shù)據(jù)可以包括沿著飛行路徑的一系列航路點(diǎn)的位置信息(例如,模擬的GPS坐標(biāo))?;蛘撸邮盏臄?shù)據(jù)可以是相對(duì)位置信息(例如,以預(yù)定位置為原點(diǎn))。繼而,所述相對(duì)位置信息可以與用戶終端處的位置信息相結(jié)合以得出所顯示的模擬飛行路徑。在一些實(shí)施方式中,用戶可以通過(guò)指定開(kāi)始位置/時(shí)間、結(jié)束位置/時(shí)間、飛行路徑的持續(xù)時(shí)間以及其他參數(shù)來(lái)定制所顯示的飛行路徑。
在一些實(shí)施方式中,系統(tǒng)可以基于所接收的無(wú)人飛行器的坐標(biāo)信息和用戶終端的位置信息來(lái)確定處于模擬飛行中的無(wú)人飛行器的飛行路徑。例如,位置信息可以包括用戶終端的經(jīng)度信息和緯度信息,所述信息用作模擬飛行中的無(wú)人飛行器的起飛點(diǎn)。而且,系統(tǒng)可以基于可儲(chǔ)存在用戶終端中或從遠(yuǎn)程服務(wù)器接收的可用地理信息來(lái)確定高度信息。繼而,處于模擬飛行中的無(wú)人飛行器的飛行路徑可以顯示在地圖部分1200上。
而且,地圖部分1200還可以包括返航路徑指示器1206。當(dāng)在模擬飛行中執(zhí)行自動(dòng)返航任務(wù)時(shí),無(wú)人飛行器可以在虛擬空間中使用返航路徑。此外,用戶可以與返航路徑指示器1206進(jìn)行交互,用于配置模擬飛行中的返航路徑,諸如在地圖中的選定位置處降落。
地圖部分1200還可以包括擦除器控件1209。擦除器控件1209可以用于移除由飛行路徑指示器1205顯示的飛行路徑的一些或全部部分。在實(shí)施方式中,對(duì)擦除器控件1209的選擇導(dǎo)致從地圖顯示中擦除到目前為止的全部飛行路徑。在另一實(shí)施方式中,用戶可以選擇擦除器控件1209并且使用其來(lái)擦除正在顯示的飛行路徑的一部分。在一些實(shí)施方式中,在擦除之后的附加飛行路徑仍然可被記錄和/或被顯示。在其他實(shí)施方式中,擦除器控件1209可以用于關(guān)閉/開(kāi)啟飛行路徑的記錄和/或顯示。
地圖部分1200還可以包括參考控件,所述參考控件可以用于從多個(gè)具有不同參考系的顯示模式中作出選擇。例如,在第一顯示模式下的參考系可以是無(wú)人飛行器。因此,無(wú)人飛行器的前進(jìn)方向被顯示為固定的(例如,無(wú)人飛行器的機(jī)頭指向上方)。地圖中的非無(wú)人飛行器物體(例如,遠(yuǎn)程終端、參考點(diǎn)、地理物體)相對(duì)于固定的無(wú)人飛行器前進(jìn)方向示出,并且當(dāng)無(wú)人飛行器的前進(jìn)方向改變時(shí)改變其朝向。第二顯示模式下的參考系可以是遠(yuǎn)程終端。因此,遠(yuǎn)程終端的前進(jìn)方向是固定的,而地圖中的非遠(yuǎn)程終端物體(例如,無(wú)人飛行器、建筑物、地理物體)相對(duì)于遠(yuǎn)程終端的固定前進(jìn)方向示出,并且當(dāng)遠(yuǎn)程終端的前進(jìn)方向改變時(shí)改變其朝向。在第三顯示模式下的參考系可以是地球。因此,地圖中的地理物體諸如建筑物具有固定的朝向(例如,北、南、西、東)。當(dāng)無(wú)人飛行器或遠(yuǎn)程終端的前進(jìn)方向改變時(shí),在地圖中表示對(duì)應(yīng)的改變。在一些實(shí)施方式中,參考控件可以由不同的圖標(biāo)來(lái)表示,以視覺(jué)地指示出當(dāng)前選定的顯示模式和/或下一可用的顯示模式。例如,當(dāng)選擇第一模式時(shí)可以顯示飛行器的圖標(biāo)。當(dāng)選擇第二模式時(shí)可以顯示遠(yuǎn)程終端的圖標(biāo)。當(dāng)選擇第三模式時(shí)可以顯示羅盤的圖標(biāo)。
地圖部分1200還可以包括比例尺控件1208。比例尺控件1208可以用于從多個(gè)具有不同比例尺的顯示模式中選擇顯示模式。例如,比例尺控件1208可以允許用戶在第一顯示模式與第二顯示模式之間進(jìn)行選擇或切換。在第一顯示模式下,地圖的比例尺可以自動(dòng)增大(例如,從1:1,000,000到1:5,000,000),以便顯示全部興趣點(diǎn),諸如無(wú)人飛行器、遠(yuǎn)程終端和參考點(diǎn)。第一模式下的地圖允許用戶容易地查看全部興趣點(diǎn)之間的全局關(guān)系。在第二顯示模式下,地圖可以自動(dòng)按比例縮小以僅顯示興趣點(diǎn)的子集。例如,第二顯示模式下的地圖可以僅顯示第一顯示模式下的地圖的一部分。例如,第二模式下的地圖允許用戶僅專注于無(wú)人飛行器周圍的區(qū)域。在一些其他實(shí)施方式中,比例尺控件1208可被配置成用于允許用戶在三個(gè)、四個(gè)或更多個(gè)不同顯示模式之間切換。例如,第三模式下的地圖可以具有在第一模式下的地圖比例尺與第二模式下的地圖比例尺之間的比例尺。在示例中,第三模式下的地圖可以用于顯示比第一模式更多但比第三模式更少的興趣點(diǎn)。在一些實(shí)施方式中,比例尺控件1208可由不同的圖標(biāo)所表示,以視覺(jué)地指示出當(dāng)前選定的顯示模式和/或下一可用的顯示模式。例如,在當(dāng)前顯示模式具有較大的地圖比例尺時(shí)可以顯示放大圖標(biāo),而在當(dāng)前顯示模式具有較小的地圖比例尺時(shí)可以顯示縮小圖標(biāo)。有利地,比例尺控件1208使得用戶能夠容易地在不同查看模式之間切換(例如,經(jīng)由一鍵點(diǎn)擊),而無(wú)需占用進(jìn)一步的顯示區(qū)域。
在一些實(shí)施方式中,地圖部分1200中的至少一些方面可以由用戶定制。例如,用戶可以指定要顯示在地圖上的興趣點(diǎn)。興趣點(diǎn)可以包括僅無(wú)人飛行器和遠(yuǎn)程終端、僅無(wú)人飛行器和參考點(diǎn)等。在一些實(shí)施方式中,用戶可以添加除了所示之外的更多興趣點(diǎn)。例如,用戶可以通過(guò)在地圖上點(diǎn)擊來(lái)添加要在地圖上示出的一個(gè)、兩個(gè)、三個(gè)或更多個(gè)參考點(diǎn)。在一些實(shí)施方式中,用戶可以添加或移除顯示在地圖上的信息。例如,可以允許用戶啟用或停用FOV指示器1204和/或遠(yuǎn)程終端朝向指示器1205。在其他實(shí)施方式中,可以允許用戶在地圖的特定部分上放大、縮小、在衛(wèi)星視圖與街景視圖之間切換或者執(zhí)行其他功能性。
圖13圖示了根據(jù)本發(fā)明各個(gè)實(shí)施方式用于在起飛之后顯示處于模擬飛行中的無(wú)人飛行器的另一示例性用戶界面(UI)。如圖13中所示,當(dāng)用戶終端連接至不同類型的無(wú)人飛行器時(shí),用戶終端可以顯示不同的UI 1300(而且在動(dòng)畫中具有不同的無(wú)人飛行器圖像1301并且針對(duì)飛行模擬使用不同的物理模型)。
UI 1300可以包括一個(gè)或多個(gè)主要顯示區(qū)域或部分1302以及一個(gè)或多個(gè)輔助顯示區(qū)域或部分1303-1304。如圖13中所示,地圖部分1303以及其他輔助顯示區(qū)域可被顯示為動(dòng)態(tài)地交換或切換。
圖14示出了根據(jù)本發(fā)明各個(gè)實(shí)施方式用標(biāo)簽來(lái)記錄數(shù)據(jù)的流程圖。如圖14中所示,在步驟1401中,用戶終端上的進(jìn)程可以從飛行模擬器接收處于模擬飛行中的無(wú)人飛行器的狀態(tài)信息,所述飛行模擬器與所述無(wú)人飛行器相關(guān)聯(lián)。繼而,在步驟1402中,所述進(jìn)程可以通過(guò)使所接收的狀態(tài)信息與由用戶終端獲得的情景信息相關(guān)聯(lián)來(lái)確定針對(duì)模擬飛行的飛行信息。另外,在步驟1403中,所述進(jìn)程可以向與用戶終端相關(guān)聯(lián)的顯示器提供所確定的飛行信息。
雖然本文已經(jīng)示出和描述了本發(fā)明的優(yōu)選實(shí)施方式,但對(duì)于本領(lǐng)域技術(shù)人員顯而易見(jiàn)的是,這樣的實(shí)施方式只是以示例的方式提供的。本領(lǐng)域技術(shù)人員現(xiàn)將在不偏離本發(fā)明的情況下想到許多更改、改變和替代。應(yīng)當(dāng)理解,在實(shí)踐本發(fā)明的進(jìn)程中可以采用對(duì)本文所描述的本發(fā)明實(shí)施方式的各種替代方案。所附權(quán)利要求旨在限定本發(fā)明的范圍,并因此覆蓋這些權(quán)利要求及其等效項(xiàng)的范圍內(nèi)的方法和結(jié)構(gòu)。