本發(fā)明涉及圖像處理技術(shù)，尤其是一種街景采集方法和系統(tǒng)、車輛。

背景技術(shù)：

隨著地圖應(yīng)用的發(fā)展，用戶希望能夠獲取到更直觀的街景地圖。但是實(shí)景地圖的采集需要配備專門車輛、人員和專業(yè)的360度攝像設(shè)備。由于車輛和人員稀少導(dǎo)致采集周期長，更新不及時，成本很高。

現(xiàn)有的車輛都是功能型汽車，傳統(tǒng)的功能型汽車完全不具備獲取街景的能力，現(xiàn)有技術(shù)中，主要通過以下方式獲取街景地圖：在現(xiàn)有車輛的頂部加裝專業(yè)攝像設(shè)備，在行駛的過程中，根據(jù)環(huán)境，通過電腦調(diào)節(jié)相機(jī)的快門、光圈和感光度(ISO)，360度拍攝沿路的街景，使用車輛本身攜帶現(xiàn)有的或者加裝定位系統(tǒng)采集位置信息，然后由專業(yè)的地圖圖像處理團(tuán)隊(duì)處理獲取到的街景圖像，生成街景地圖。

在實(shí)現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)，上述現(xiàn)有技術(shù)獲取街景地圖的方式至少存在以下問題：

以單反相機(jī)作為用于街景拍攝的專業(yè)拍攝設(shè)備，由于需要360度拍攝沿路的街景，就需要至少在四個方向就需要四個單反相機(jī)，加上在車輛頂部加裝要求苛刻的改裝技術(shù)，價格昂貴，而且單反相機(jī)需要固定在車輛頂部，頂部凸起的拍攝架也容易碰到低空異物導(dǎo)致安全事故、財(cái)務(wù)損壞；

另外，需要由專業(yè)的地圖圖像處理團(tuán)隊(duì)人工處理獲取到的街景圖像，生成街景地圖，成本較高。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例所要解決的一個技術(shù)問題是：提供一種街景采集方法和系統(tǒng)、車輛，以至少部分解決上述現(xiàn)有技術(shù)獲取街景地圖的方式存在的問題。

根據(jù)本發(fā)明實(shí)施例的一個方面，提供的一種街景采集方法，包括：

在車輛行駛的過程中，通過車載定位裝置獲取所述車輛的當(dāng)前地理位置，以及通過車載環(huán)視攝像設(shè)備獲取所述車輛周圍的圖像，所述車載環(huán)視攝像設(shè)備至少包括分別部署于所述車輛前、后、左、右的四個攝像頭；

由所述車載環(huán)視攝像設(shè)備獲取的圖像生成當(dāng)前地理位置的全景圖像；

根據(jù)所述當(dāng)前地理位置信息、電子地圖和當(dāng)前地理位置的全景圖像生成街景全景地圖。

可選地，在上述各方法實(shí)施例中，所述車載環(huán)視攝像設(shè)備包括以下任意一種或多種：環(huán)視攝像頭、先進(jìn)駕駛輔助系統(tǒng)ADAS攝像頭、夜視攝像頭；

和/或，

所述車載環(huán)視攝像設(shè)備在垂直方向上的攝像范圍包括120～180度，在水平方向的攝像范圍包括180度；

和/或，

所述車載環(huán)視攝像設(shè)備包括八個攝像頭，所述八個攝像頭分別部署于所述車輛的前、前左、前右、左、右、后、后左、后右位置。

可選地，在上述各方法實(shí)施例中，由所述車載環(huán)視攝像設(shè)備獲取的圖像生成當(dāng)前地理位置的全景圖像，包括：

分別對所述車載環(huán)視攝像設(shè)備獲取的圖像進(jìn)行透視變換，將所述車載環(huán)視攝像設(shè)備獲取的圖像投影為在所述車輛中心、以所述車載環(huán)視攝像設(shè)備的垂直攝像角度拍攝的投影圖像；

采用柱面投影方式，將所述投影圖像投影到以所述車載環(huán)視攝像設(shè)備的攝像焦距為半徑的柱面上，在所述柱面上獲得投影拼接圖像；

分別基于所述投影拼接圖像中相鄰兩幅圖像重疊區(qū)域中的匹配特征點(diǎn)，對所述相鄰兩幅圖像進(jìn)行圖像配準(zhǔn)；

采用顏色擬合法對重疊區(qū)域的圖像進(jìn)行融合，獲得當(dāng)前地理位置的全景圖像。

可選地，在上述各方法實(shí)施例中，對所述車載環(huán)視攝像設(shè)備獲取的圖像進(jìn)行透視變換，包括：

根據(jù)預(yù)先設(shè)置的圖像坐標(biāo)系與照相機(jī)坐標(biāo)系、以及照相機(jī)坐標(biāo)系與世界坐標(biāo)系之間的坐標(biāo)變換關(guān)系，將車載環(huán)視攝像設(shè)備獲取的圖像由圖像坐標(biāo)系變換到世界坐標(biāo)系，獲得景物以所述車載環(huán)視攝像設(shè)備的攝影中心為原點(diǎn)的第一世界坐標(biāo)系圖像；

根據(jù)所述車載環(huán)視攝像設(shè)備的攝影中心相對于所述車輛中心的位置關(guān)系，獲得所述景物以車輛中心為原點(diǎn)的第二世界坐標(biāo)系圖像；

根據(jù)預(yù)先設(shè)置的照相機(jī)坐標(biāo)系與世界坐標(biāo)系、以及圖像坐標(biāo)系與照相機(jī)坐標(biāo)系之間的坐標(biāo)變換關(guān)系，獲得所述投影圖像。

可選地，在上述各方法實(shí)施例中，獲得所述投影圖像之后，還包括：

對所述投影圖像進(jìn)行矯正處理，消除所述投影圖像中的畸變和噪聲信息。

可選地，在上述各方法實(shí)施例中，分別基于所述投影拼接圖像中每兩幅圖像重疊區(qū)域中的匹配特征點(diǎn)，對所述的兩幅圖像進(jìn)行圖像配準(zhǔn)，包括：

利用預(yù)設(shè)算法獲取相鄰兩幅圖像的重疊區(qū)域，從所述重疊區(qū)域中提取特征點(diǎn)；

獲取所述重疊區(qū)域中所述相鄰兩幅圖像中的一組以上的初始匹配特征點(diǎn)，每組匹配特征點(diǎn)包括所述相鄰兩幅圖像中一幅圖像中的第一特征點(diǎn)和所述相鄰兩幅圖像中另一幅圖像中的第二特征點(diǎn)；

根據(jù)所述第一特征點(diǎn)到所述一幅圖像中心點(diǎn)之間的距離、以及所述第二特征點(diǎn)到所述另一幅圖像中心點(diǎn)之間的距離之間的相似性，從所述一組以上的初始匹配特征點(diǎn)中選取一組以上精確匹配特征點(diǎn)；

通過所述一組以上精確匹配特征點(diǎn)中各組精確匹配特征點(diǎn)之間的對應(yīng)關(guān)系，獲取所述相鄰兩幅圖像進(jìn)行圖像對齊所需的變換參數(shù)；

基于所述變換參數(shù)對所述相鄰兩幅圖像進(jìn)行圖像對齊。

可選地，在上述各方法實(shí)施例中，所述采用顏色擬合法對重疊區(qū)域的圖像進(jìn)行融合，獲得當(dāng)前地理位置的全景圖像，包括：

對所述重疊區(qū)域的圖像進(jìn)行雙線性插值處理，獲得當(dāng)前地理位置的全景圖像。

根據(jù)本發(fā)明實(shí)施例的另一個方面，提供的一種街景采集系統(tǒng)，包括：

車載定位裝置，用于在車輛行駛的過程中，獲取所述車輛的當(dāng)前地理位置；

車載環(huán)視攝像設(shè)備，用于在車輛行駛的過程中，獲取所述車輛周圍的圖像，所述車載環(huán)視攝像設(shè)備至少包括分別部署于所述車輛前、后、左、右的四個攝像頭；

圖像處理裝置，用于由所述車載環(huán)視攝像設(shè)備獲取的圖像生成當(dāng)前地理位置的全景圖像；

地圖生成單元，用于根據(jù)所述當(dāng)前地理位置信息、電子地圖和當(dāng)前地理位置的全景圖像生成街景全景地圖。

可選地，在上述各系統(tǒng)實(shí)施例中，所述車載環(huán)視攝像設(shè)備包括以下任意一種或多種：環(huán)視攝像頭、ADAS攝像頭、夜視攝像頭；

和/或，

所述車載環(huán)視攝像設(shè)備在垂直方向上的攝像范圍包括120～180度，在水平方向的攝像范圍包括180度；

和/或，

所述車載環(huán)視攝像設(shè)備包括八個攝像頭，所述八個攝像頭分別部署于所述車輛的前、前左、前右、左、右、后、后左、后右位置。

可選地，在上述各系統(tǒng)實(shí)施例中，所述圖像處理裝置，包括：

透視變換單元，用于分別對所述車載環(huán)視攝像設(shè)備獲取的圖像進(jìn)行透視變換，將所述車載環(huán)視攝像設(shè)備獲取的圖像投影為在所述車輛中心、以所述車載環(huán)視攝像設(shè)備的垂直攝像角度拍攝的投影圖像；

投影處理單元，用于采用柱面投影方式，將所述投影圖像投影到以所述車載環(huán)視攝像設(shè)備的攝像焦距為半徑的柱面上，在所述柱面上獲得投影拼接圖像；

圖像配準(zhǔn)單元，用于分別基于所述投影拼接圖像中相鄰兩幅圖像重疊區(qū)域中的匹配特征點(diǎn)，對所述相鄰兩幅圖像進(jìn)行圖像配準(zhǔn)；

圖像融合單元，用于采用顏色擬合法對重疊區(qū)域的圖像進(jìn)行融合，獲得當(dāng)前地理位置的全景圖像。

可選地，在上述各系統(tǒng)實(shí)施例中，所述透視變換單元具體用于：

根據(jù)預(yù)先設(shè)置的圖像坐標(biāo)系與照相機(jī)坐標(biāo)系、以及照相機(jī)坐標(biāo)系與世界坐標(biāo)系之間的坐標(biāo)變換關(guān)系，將車載環(huán)視攝像設(shè)備獲取的圖像由圖像坐標(biāo)系變換到世界坐標(biāo)系，獲得景物以所述車載環(huán)視攝像設(shè)備的攝影中心為原點(diǎn)的第一世界坐標(biāo)系圖像；

根據(jù)所述車載環(huán)視攝像設(shè)備的攝影中心相對于所述車輛中心的位置關(guān)系，獲得所述景物以車輛中心為原點(diǎn)的第二世界坐標(biāo)系圖像；

根據(jù)預(yù)先設(shè)置的照相機(jī)坐標(biāo)系與世界坐標(biāo)系、以及圖像坐標(biāo)系與照相機(jī)坐標(biāo)系之間的坐標(biāo)變換關(guān)系，獲得所述投影圖像。

可選地，在上述各系統(tǒng)實(shí)施例中，所述透視變換單元，還用于在獲得所述投影圖像之后，對所述投影圖像進(jìn)行矯正處理，消除所述投影圖像中的畸變和噪聲信息。

可選地，在上述各系統(tǒng)實(shí)施例中，所述圖像配準(zhǔn)單元具體用于：

利用預(yù)設(shè)算法獲取相鄰兩幅圖像的重疊區(qū)域，從所述重疊區(qū)域中提取特征點(diǎn)；

獲取所述重疊區(qū)域中所述相鄰兩幅圖像中的一組以上的初始匹配特征點(diǎn)，每組匹配特征點(diǎn)包括所述相鄰兩幅圖像中一幅圖像中的第一特征點(diǎn)和所述相鄰兩幅圖像中另一幅圖像中的第二特征點(diǎn)；

根據(jù)所述第一特征點(diǎn)到所述一幅圖像中心點(diǎn)之間的距離、以及所述第二特征點(diǎn)到所述另一幅圖像中心點(diǎn)之間的距離之間的相似性，從所述一組以上的初始匹配特征點(diǎn)中選取一組以上精確匹配特征點(diǎn)；

通過所述一組以上精確匹配特征點(diǎn)中各組精確匹配特征點(diǎn)之間的對應(yīng)關(guān)系，獲取所述相鄰兩幅圖像進(jìn)行圖像對齊所需的變換參數(shù)；

基于所述變換參數(shù)對所述相鄰兩幅圖像進(jìn)行圖像對齊。

可選地，在上述各系統(tǒng)實(shí)施例中，所述圖像融合單元具體用于：對所述重疊區(qū)域的圖像進(jìn)行雙線性插值處理，獲得當(dāng)前地理位置的全景圖像。

根據(jù)本發(fā)明實(shí)施例的又一個方面，提供的一種車輛，包括本發(fā)明上述任一實(shí)施例所述的街景采集系統(tǒng)。

基于本發(fā)明上述實(shí)施例提供的街景采集方法和系統(tǒng)、車輛，在車輛行駛的過程中，通過車載定位裝置獲取車輛的當(dāng)前地理位置，以及通過車載環(huán)視攝像設(shè)備獲取車輛周圍的圖像，其中的車載環(huán)視攝像設(shè)備至少包括分別部署于所述車輛前、后、左、右的四個攝像頭；由車載環(huán)視攝像設(shè)備獲取的圖像生成當(dāng)前地理位置的全景圖像，根據(jù)當(dāng)前地理位置信息、電子地圖和當(dāng)前地理位置的全景圖像生成街景全景地圖。基于本發(fā)明實(shí)施例的技術(shù)方案，無需改造車輛、在車輛上安裝專業(yè)拍攝設(shè)備，通過車載環(huán)視攝像設(shè)備便可無損獲取車輛周邊的圖像、并自動生成全景圖像和街景全景地圖，無需專業(yè)的地圖圖像處理團(tuán)隊(duì)人工處理，減少了人員和設(shè)備，降低了成本，并提高了街景全景地圖的獲取效率。

下面通過附圖和實(shí)施例，對本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。

附圖說明

構(gòu)成說明書的一部分的附圖描述了本發(fā)明的實(shí)施例，并且連同描述一起用于解釋本發(fā)明的原理。

參照附圖，根據(jù)下面的詳細(xì)描述，可以更加清楚地理解本發(fā)明，其中：

圖1為本發(fā)明街景采集方法一個實(shí)施例的流程圖。

圖2a～2c為本發(fā)明實(shí)施例中車載環(huán)視攝像設(shè)備的一個部署位置和攝像范圍示意圖。

圖2d～2f為本發(fā)明實(shí)施例中車載環(huán)視攝像設(shè)備的另一個部署位置和攝像范圍示意圖。

圖3為本發(fā)明實(shí)施例中生成當(dāng)前地理位置的全景圖像的一個流程圖。

圖4為本發(fā)明實(shí)施例中對車載環(huán)視攝像設(shè)備獲取的圖像進(jìn)行透視變換的一個流程圖。

圖5為本發(fā)明實(shí)施例中圖像坐標(biāo)系、照相機(jī)坐標(biāo)系、世界坐標(biāo)系之間關(guān)系的一個示意圖。

圖6為本發(fā)明實(shí)施例中對兩幅圖像進(jìn)行圖像配準(zhǔn)的一個流程圖。

圖7為本發(fā)明街景采集系統(tǒng)一個實(shí)施例的結(jié)構(gòu)示意圖。

圖8為本發(fā)明實(shí)施例中圖像處理裝置的一個結(jié)構(gòu)示意圖。

圖9為本發(fā)明一個具體應(yīng)用實(shí)施例中的車輛的結(jié)構(gòu)框圖。

具體實(shí)施方式

現(xiàn)在將參照附圖來詳細(xì)描述本發(fā)明的各種示例性實(shí)施例。應(yīng)注意到：除非另外具體說明，否則在這些實(shí)施例中闡述的部件和的相對布置、數(shù)字表達(dá)式和數(shù)值不限制本發(fā)明的范圍。

同時，應(yīng)當(dāng)明白，為了便于描述，附圖中所示出的各個部分的尺寸并不是按照實(shí)際的比例關(guān)系繪制的。

以下對至少一個示例性實(shí)施例的描述實(shí)際上僅僅是說明性的，決不作為對本發(fā)明及其應(yīng)用或使用的任何限制。

對于相關(guān)領(lǐng)域普通技術(shù)人員已知的技術(shù)、方法和設(shè)備可能不作詳細(xì)討論，但在適當(dāng)情況下，所述技術(shù)、方法和設(shè)備應(yīng)當(dāng)被視為說明書的一部分。

應(yīng)注意到：相似的標(biāo)號和字母在下面的附圖中表示類似項(xiàng)，因此，一旦某一項(xiàng)在一個附圖中被定義，則在隨后的附圖中不需要對其進(jìn)行進(jìn)一步討論。

本發(fā)明實(shí)施例可以應(yīng)用于計(jì)算機(jī)系統(tǒng)/服務(wù)器，其可與眾多其它通用或?qū)Ｓ糜?jì)算系統(tǒng)環(huán)境或配置一起操作。適于與計(jì)算機(jī)系統(tǒng)/服務(wù)器一起使用的眾所周知的計(jì)算系統(tǒng)、環(huán)境和/或配置的例子包括但不限于：個人計(jì)算機(jī)系統(tǒng)、服務(wù)器計(jì)算機(jī)系統(tǒng)、瘦客戶機(jī)、厚客戶機(jī)、手持或膝上設(shè)備、基于微處理器的系統(tǒng)、機(jī)頂盒、可編程消費(fèi)電子產(chǎn)品、網(wǎng)絡(luò)個人電腦、小型計(jì)算機(jī)系統(tǒng)、大型計(jì)算機(jī)系統(tǒng)和包括上述任何系統(tǒng)的分布式云計(jì)算技術(shù)環(huán)境，等等。

計(jì)算機(jī)系統(tǒng)/服務(wù)器可以在由計(jì)算機(jī)系統(tǒng)執(zhí)行的計(jì)算機(jī)系統(tǒng)可執(zhí)行指令(諸如程序模塊)的一般語境下描述。通常，程序模塊可以包括例程、程序、目標(biāo)程序、組件、邏輯、數(shù)據(jù)結(jié)構(gòu)等等，它們執(zhí)行特定的任務(wù)或者實(shí)現(xiàn)特定的抽象數(shù)據(jù)類型。計(jì)算機(jī)系統(tǒng)/服務(wù)器可以在分布式云計(jì)算環(huán)境中實(shí)施，分布式云計(jì)算環(huán)境中，任務(wù)是由通過通信網(wǎng)絡(luò)鏈接的遠(yuǎn)程處理設(shè)備執(zhí)行的。在分布式云計(jì)算環(huán)境中，程序模塊可以位于包括存儲設(shè)備的本地或遠(yuǎn)程計(jì)算系統(tǒng)存儲介質(zhì)上。

圖1為本發(fā)明街景采集方法一個實(shí)施例的流程圖。如圖1所示，該實(shí)施例的街景采集方法包括：

10，在車輛行駛的過程中，通過車載定位裝置獲取車輛的當(dāng)前地理位置，以及通過車載環(huán)視攝像設(shè)備獲取車輛周圍的圖像。

其中，車載環(huán)視攝像設(shè)備至少包括分別部署于車輛前、后、左、右的四個攝像頭。

20，由車載環(huán)視攝像設(shè)備獲取的圖像生成當(dāng)前地理位置的全景圖像。

30，根據(jù)車載定位裝置獲取的當(dāng)前地理位置信息、電子地圖和當(dāng)前地理位置的全景圖像生成街景全景地圖。

基于本發(fā)明上述實(shí)施例提供的街景采集方法，在車輛行駛的過程中，通過車載定位裝置獲取車輛的當(dāng)前地理位置，以及通過車載環(huán)視攝像設(shè)備獲取車輛周圍的圖像車載環(huán)視攝像設(shè)備；由車載環(huán)視攝像設(shè)備獲取的圖像生成當(dāng)前地理位置的全景圖像，根據(jù)當(dāng)前地理位置信息、電子地圖和當(dāng)前地理位置的全景圖像生成街景全景地圖，本發(fā)明實(shí)施例的街景采集方法，無需改造車輛、在車輛上安裝專業(yè)拍攝設(shè)備，通過車載環(huán)視攝像設(shè)備便可無損獲取車輛周邊的圖像、并自動生成全景圖像和街景全景地圖，無需專業(yè)的地圖圖像處理團(tuán)隊(duì)人工處理，減少了人員和設(shè)備，降低了成本，并提高了街景全景地圖的獲取效率。

在本發(fā)明各街景采集方法實(shí)施例的一個具體示例中，采用的車載環(huán)視攝像設(shè)備具體可以包括以下任意一種或多種：環(huán)視攝像頭、先進(jìn)駕駛輔助系統(tǒng)(ADAS)攝像頭、夜視攝像頭等。

車載環(huán)視攝像設(shè)備在垂直方向上的攝像范圍可以包括但不限于120～180度，在水平方向的攝像范圍可以包括但不限于180度。

本發(fā)明各實(shí)施例中，在實(shí)際情況下，車輛上部署的攝像頭越多，環(huán)視成像的效果越好，越能獲得完整且圖像畸變少的全景圖像。在其中一個具體應(yīng)用中，車載環(huán)視攝像設(shè)備包括八個攝像頭，這八個攝像頭具體可以是環(huán)視攝像頭或者ADAS攝像頭，例如可以分別部署于車輛的前、前左、前右、左、右、后、后左、后右位置。

在另一個具體應(yīng)用中，車載環(huán)視攝像設(shè)備包括四個攝像頭，分別部署于車輛前方、后方、左側(cè)和右側(cè)。其中的攝像頭可以采用廣角高清晰攝像頭，例如180度廣角的攝像頭，廣角攝像頭的攝像范圍可以達(dá)到120-180度，可以獲取車輛周圍較廣范圍內(nèi)的圖像。圖2a～2c為本發(fā)明實(shí)施例中車載環(huán)視攝像設(shè)備的一個部署位置和攝像范圍示意圖。如圖2a～2c所示，四個攝像設(shè)備分別部署在車輛的前端、后端和左右兩側(cè)，圖2a中顯示了設(shè)置在車輛前后兩端的前置攝像設(shè)備A和后置攝像設(shè)備B在垂直方向的拍攝范圍；圖2b中顯示了設(shè)置在車輛左右兩側(cè)的攝像設(shè)備C和D在垂直方向上的拍攝范圍；圖2c中顯示了設(shè)置在車輛前端、后端和左右兩側(cè)的四個攝像設(shè)備在水平方向的拍攝范圍。圖2a～2c中僅示例性地示出了四個攝像設(shè)備的一種部署情況，實(shí)際應(yīng)用中可以采用其他方式進(jìn)行部署。

圖2d～2f為本發(fā)明實(shí)施例中車載環(huán)視攝像設(shè)備的另一個部署位置和攝像范圍示意圖。如圖2d～2f所示，該應(yīng)用實(shí)施例中，車載環(huán)視攝像設(shè)備具體可以是ADAS雙目攝像頭、夜視攝像頭、行車記錄儀攝像頭等，車輛前方安裝前置攝像設(shè)備，車輛左右兩側(cè)分別安裝攝像設(shè)備，車輛后方安裝后置攝像設(shè)備；或者在車輛前左、前、前右安裝ADAS攝像頭，在車輛左、右、后的環(huán)視攝像頭。圖2d～2f示出了采用廣角攝像設(shè)備或者利用軟件方法擴(kuò)展攝像設(shè)備前后，攝像設(shè)備的拍攝范圍的拍攝范圍從原來①變成了②。其中個，圖2d中顯示了前置攝像設(shè)備和后置攝像設(shè)備在垂直方向擴(kuò)大拍攝范圍；圖2e中顯示了左右兩側(cè)的攝像設(shè)備在垂直方向上擴(kuò)大拍攝范圍；圖2f中顯示了前后、左右攝像設(shè)備在水平方向擴(kuò)大拍攝范圍。

圖3為本發(fā)明實(shí)施例中生成當(dāng)前地理位置的全景圖像的一個流程圖。如圖3所示，該實(shí)施例中，上述操作30具體可以通過如下方式實(shí)現(xiàn)：

301，分別對車載環(huán)視攝像設(shè)備獲取的圖像進(jìn)行透視變換，將車載環(huán)視攝像設(shè)備獲取的圖像投影為在車輛中心、以該車載環(huán)視攝像設(shè)備的垂直攝像角度拍攝的投影圖像。

302，采用柱面投影方式，將上述投影圖像投影到以車載環(huán)視攝像設(shè)備的攝像焦距為半徑的柱面上，在柱面上獲得投影拼接圖像。

303，分別基于上述投影拼接圖像中相鄰兩幅圖像重疊區(qū)域中的匹配特征點(diǎn)，對匹配特征點(diǎn)所在的相鄰兩幅圖像進(jìn)行圖像配準(zhǔn)。

304，采用顏色擬合法對重疊區(qū)域的圖像進(jìn)行融合，獲得當(dāng)前地理位置的全景圖像。

由于車輛上的部署的攝像頭拍攝場景和實(shí)際街景圖像有差別，即車輛上前后左右方部署的四個鏡頭之間均相距較遠(yuǎn)，且可能不在同一平面上、且俯仰角不同，通過透視變換將攝像頭拍攝到的圖像投影為在車輛中心以一定的俯仰角拍攝的圖像，之后再采用柱面投影，將所有得到的圖形重投影到一個以相機(jī)焦距(即：攝像頭的攝像焦距，車輛上部署的幾個攝像頭的攝像焦距相同)為半徑的柱面上，在柱面上進(jìn)行全景圖的投影拼接，把拼接問題轉(zhuǎn)化為柱面上圖像間的平移問題，從而實(shí)現(xiàn)在水平方向360°環(huán)視、垂直方向小于180°視角的圓柱形全景圖像。本發(fā)明實(shí)施例中，通過透視變換、柱面投影、圖像配準(zhǔn)和圖像融合，獲得了當(dāng)前地理位置的全景圖像，無需改造車輛，即可通過智能車輛低成本地?zé)o損獲取車輛周邊的全景數(shù)據(jù)，地圖數(shù)據(jù)采集單位可以減少采集車輛、人員和設(shè)備，降低成本。

圖4為本發(fā)明實(shí)施例中對車載環(huán)視攝像設(shè)備獲取的圖像進(jìn)行透視變換的一個流程圖。如圖4所示，本實(shí)施例中，301具體可以通過如下方式，對車載環(huán)視攝像設(shè)備獲取的圖像進(jìn)行透視變換：

401，根據(jù)預(yù)先設(shè)置的圖像坐標(biāo)系與照相機(jī)坐標(biāo)系、以及照相機(jī)坐標(biāo)系與世界坐標(biāo)系之間的坐標(biāo)變換關(guān)系，將車載環(huán)視攝像設(shè)備獲取的圖像由圖像坐標(biāo)系變換到世界坐標(biāo)系，獲得景物以車載環(huán)視攝像設(shè)備的攝影中心為原點(diǎn)的第一世界坐標(biāo)系圖像。

402，根據(jù)車載環(huán)視攝像設(shè)備的攝影中心相對于車輛中心的位置關(guān)系，由上述第一世界坐標(biāo)系圖像獲得景物以車輛中心為原點(diǎn)的第二世界坐標(biāo)系圖像。

403，根據(jù)預(yù)先設(shè)置的照相機(jī)坐標(biāo)系與世界坐標(biāo)系、以及圖像坐標(biāo)系與照相機(jī)坐標(biāo)系之間的坐標(biāo)變換關(guān)系，獲得在車輛中心、以車載環(huán)視攝像設(shè)備的垂直攝像角度拍攝的投影圖像。

圖5為本發(fā)明實(shí)施例中圖像坐標(biāo)系、照相機(jī)坐標(biāo)系、世界坐標(biāo)系之間關(guān)系的一個示意圖。如圖5所示，本實(shí)施例中，世界坐標(biāo)系(x，y，z)的坐標(biāo)軸x、y、z為相互垂直的三條直線。車載環(huán)視攝像設(shè)備(例如：攝像機(jī))所在的坐標(biāo)系稱為照相機(jī)坐標(biāo)系(x_c，y_c，z_c)，在照相機(jī)坐標(biāo)系中，以車載環(huán)視攝像設(shè)備的光軸作為z_c軸，在車載環(huán)視攝像設(shè)備獲取圖像時，設(shè)其光軸z_c軸相對于z軸的旋轉(zhuǎn)角為θ，俯仰角(即：垂直攝像角度)為α，車載環(huán)視攝像設(shè)備繞光軸旋轉(zhuǎn)的角度為0，則從照相機(jī)坐標(biāo)系到世界坐標(biāo)系的坐標(biāo)變換公式如下：

從照相機(jī)坐標(biāo)系到圖像坐標(biāo)系的坐標(biāo)變換公式如下：

其中(u₀，v₀)為圖像中心在圖像坐標(biāo)系中的坐標(biāo)，a_x、a_y為預(yù)設(shè)照相機(jī)參數(shù)，這四個常數(shù)通過標(biāo)定均可得知。z_c是物距，即：拍攝點(diǎn)到車載環(huán)視攝像設(shè)備的光軸的直線距離，可以通過車載環(huán)視攝像設(shè)備預(yù)先獲取。

假設(shè)攝像機(jī)A是其中一個車載環(huán)視攝像設(shè)備，以攝像機(jī)A拍到的圖像為例，可以將其拍攝到的圖像通過公式(2)進(jìn)行反變換獲得照相機(jī)坐標(biāo)系坐標(biāo)，再通過公式(1)進(jìn)行變換，得到景物以攝像機(jī)A的攝影中心為原點(diǎn)的世界坐標(biāo)系圖像。在得知攝像機(jī)A相對于車輛中心位置的情況下，可以得到該景物在以車輛中心為坐標(biāo)原點(diǎn)的世界坐標(biāo)系中的坐標(biāo)，再依次通過公式(1)進(jìn)行反變換、(2)進(jìn)行變換即可獲得相應(yīng)的投影圖像。

在本發(fā)明上述各實(shí)施例的一個具體示例中，為了保證圖像配準(zhǔn)的精度，消除圖像中的無關(guān)信息，通過操作301獲得投影圖像之后，還可以進(jìn)一步對投影圖像進(jìn)行矯正處理，消除投影圖像中的畸變和噪聲信息。其中的矯正處理，例如可以是對投影圖像采用幾何變換、歸一化、平滑與邊緣銳化、復(fù)原、增強(qiáng)等幾個處理方法進(jìn)行一系列的處理，矯正投影圖像的幾何畸變和抑制圖像噪聲。

圖6為本發(fā)明實(shí)施例中對兩幅圖像進(jìn)行圖像配準(zhǔn)的一個流程圖。如圖6所示，該實(shí)施例中，上述操作303中，具體可以通過如下方式，對匹配特征點(diǎn)所在的相鄰兩幅圖像進(jìn)行圖像配準(zhǔn)：

501，利用預(yù)設(shè)算法獲取相鄰兩幅圖像的重疊區(qū)域，從重疊區(qū)域中提取特征點(diǎn)。

其中的預(yù)設(shè)算法具體可以是相位相關(guān)算法，例如Harris-Affine算法，其具有仿射不變性，提取的特征點(diǎn)更準(zhǔn)確。

利用相位相關(guān)算法計(jì)算出相鄰兩幅圖像的重疊區(qū)域，在重疊區(qū)域中提取特征點(diǎn)，這樣縮小了特正點(diǎn)的匹配范圍，增加了匹配點(diǎn)選取的準(zhǔn)確性，且降低了計(jì)算量，縮減了大量時間。

502，獲取重疊區(qū)域中上述相鄰兩幅圖像中的一組以上的初始匹配特征點(diǎn)。

其中，每組匹配特征點(diǎn)包括相鄰兩幅圖像中一幅圖像中的第一特征點(diǎn)和相鄰兩幅圖像中另一幅圖像中的第二特征點(diǎn)。

503，根據(jù)第一特征點(diǎn)到一幅圖像中心點(diǎn)之間的距離、以及第二特征點(diǎn)到另一幅圖像中心點(diǎn)之間的距離之間的相似性，從一組以上的初始匹配特征點(diǎn)中選取一組以上精確匹配特征點(diǎn)。

例如，設(shè)P、Q是一對匹配特征點(diǎn)，p_ij是以P為圖像中心點(diǎn)、r1為半徑的一幅圖像中的特征點(diǎn)集，q_ij是以Q為圖像中心點(diǎn)、r2為半徑的一幅圖像中的特征點(diǎn)集，若P、Q是匹配的，則P與p_ij的關(guān)系和Q與q_ij的關(guān)系應(yīng)具有相似性，通過計(jì)算對應(yīng)特征點(diǎn)與圖像中心的平均距離，相鄰兩幅圖像中特征點(diǎn)與圖像中心點(diǎn)距離的相對差異，可以量化P、Q的整體匹配度，將匹配度較低的點(diǎn)刪除，匹配度較高的點(diǎn)保留為待匹配點(diǎn)，即：精確匹配特征點(diǎn)。

504，通過一組以上精確匹配特征點(diǎn)中各組精確匹配特征點(diǎn)之間的對應(yīng)關(guān)系，獲取上述相鄰兩幅圖像進(jìn)行圖像對齊所需的變換參數(shù)。

基于得到的一組以上精確匹配特征點(diǎn)之間的對應(yīng)關(guān)系構(gòu)造方程組，通過數(shù)值計(jì)算得到變換參數(shù)，以便基于此變換參數(shù)確定相鄰兩幅圖像的匹配位置、進(jìn)行相鄰兩幅圖像的對齊。

505，基于該變換參數(shù)對上述相鄰兩幅圖像進(jìn)行圖像對齊。

相應(yīng)地，本發(fā)明街景采集方法的又一個實(shí)施例中，操作304中，采用顏色擬合法對重疊區(qū)域的圖像進(jìn)行融合具體可以包括：

對重疊區(qū)域的圖像進(jìn)行雙線性插值處理，獲得當(dāng)前地理位置的全景圖像。

具體地，本實(shí)施例中采用顏色擬合法對重疊區(qū)域的圖像進(jìn)行融合時，可以合成圖像的拼接線為中心，在拼接線兩邊各取10像素點(diǎn)的距離，此區(qū)域?yàn)槌C正區(qū)，在矯正區(qū)內(nèi)進(jìn)行雙線性插值處理。

基于上述實(shí)施例，采用柱面投影方式，將投影圖像投影到以車載環(huán)視攝像設(shè)備的攝像焦距為半徑的柱面上，在柱面上獲得投影拼接圖像后，相鄰兩幅圖像會有重疊區(qū)域，這就導(dǎo)致重疊區(qū)域內(nèi)圖像在顏色等視覺上的不一致性，對重疊區(qū)域內(nèi)的兩幅圖像進(jìn)行雙線性插值，通過消除圖像光強(qiáng)或色彩的不連續(xù)性，讓圖像的光強(qiáng)平滑過渡以消除光強(qiáng)的突變。

基于本發(fā)明上述各實(shí)施例提供的街景采集方法，每一個用戶均可通過部署有車載環(huán)視攝像設(shè)備和街景圖像處理模塊的車輛生成街景全景地圖，并可進(jìn)一步通過移動通信網(wǎng)絡(luò)將其生成的街景全景地圖上傳服務(wù)器。在進(jìn)一步應(yīng)用中，可以將該街景全景地圖發(fā)布到地圖應(yīng)用，例如高德地圖、百度地圖等中。用戶還可以將個人拍攝得到的街景全景地圖通過自媒體等方式進(jìn)行分享，其他用戶可以看到當(dāng)前用戶分享的實(shí)時街景。

本領(lǐng)域普通技術(shù)人員可以理解：實(shí)現(xiàn)上述方法實(shí)施例的全部或部分可以通過程序指令相關(guān)的硬件來完成，前述的程序可以存儲于一計(jì)算機(jī)可讀取存儲介質(zhì)中，該程序在執(zhí)行時，執(zhí)行包括上述方法實(shí)施例的；而前述的存儲介質(zhì)包括：ROM、RAM、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。

圖7為本發(fā)明街景采集系統(tǒng)一個實(shí)施例的結(jié)構(gòu)示意圖。該實(shí)施例的街景采集系統(tǒng)可用于實(shí)現(xiàn)本發(fā)明上述各街景采集方法實(shí)施例。如圖7所示，該實(shí)施例的街景采集系統(tǒng)包括：車載定位裝置1，車載環(huán)視攝像設(shè)備2，圖像處理裝置3和地圖生成單元4。其中：

車載定位裝置1，用于在車輛行駛的過程中，獲取該車輛的當(dāng)前地理位置。

車載環(huán)視攝像設(shè)備2，用于在車輛行駛的過程中，獲取該車輛周圍的圖像，該車載環(huán)視攝像設(shè)備至少包括分別部署于車輛前、后、左、右的四個攝像頭。

在本發(fā)明實(shí)施例的一個具體示例中，車載環(huán)視攝像設(shè)備例如可以包括但不限于以下任意一種或多種：環(huán)視攝像頭、ADAS攝像頭、夜視攝像頭。

在本發(fā)明實(shí)施例的另一個具體示例中，車載環(huán)視攝像設(shè)備在垂直方向上的攝像范圍例如可以包括但不限于120～180度，在水平方向的攝像范圍例如可以包括但不限于180度。

在本發(fā)明實(shí)施例的又一個具體示例中，車載環(huán)視攝像設(shè)備例如可以包括八個攝像頭，這八個攝像頭可以分別部署于車輛的前、前左、前右、左、右、后、后左、后右位置。

圖像處理裝置3，用于由車載環(huán)視攝像設(shè)備1獲取的圖像生成當(dāng)前地理位置的全景圖像。

地圖生成單元4，用于根據(jù)車載定位裝置1獲取的當(dāng)前地理位置信息、電子地圖和圖像處理裝置3獲取的當(dāng)前地理位置的全景圖像，生成街景全景地圖。

基于本發(fā)明上述實(shí)施例提供的街景采集系統(tǒng)，在車輛行駛的過程中，可以通過車載定位裝置獲取車輛的當(dāng)前地理位置，以及通過車載環(huán)視攝像設(shè)備獲取車輛周圍的圖像，車載環(huán)視攝像設(shè)備由車載環(huán)視攝像設(shè)備獲取的圖像生成當(dāng)前地理位置的全景圖像，根據(jù)當(dāng)前地理位置信息、電子地圖和當(dāng)前地理位置的全景圖像生成街景全景地圖，本發(fā)明實(shí)施例進(jìn)行街景采集時，無需改造車輛、在車輛上安裝專業(yè)拍攝設(shè)備，通過車載環(huán)視攝像設(shè)備便可無損獲取車輛周邊的圖像、并自動生成全景圖像和街景全景地圖，無需專業(yè)的地圖圖像處理團(tuán)隊(duì)人工處理，減少了人員和設(shè)備，降低了成本，并提高了街景全景地圖的獲取效率。

車載環(huán)視攝像設(shè)備車載環(huán)視攝像設(shè)備車載環(huán)視攝像設(shè)備圖8為本發(fā)明實(shí)施例中圖像處理裝置的一個結(jié)構(gòu)示意圖。如圖8所示，該實(shí)施例中，圖像處理裝置3具體可以包括：透視變換單元31，投影處理單元32，圖像配準(zhǔn)單元33和圖像融合單元34。其中：

透視變換單元31，用于分別對車載環(huán)視攝像設(shè)備獲取的圖像進(jìn)行透視變換，將車載環(huán)視攝像設(shè)備獲取的圖像投影為在車輛中心、以該車載環(huán)視攝像設(shè)備的垂直攝像角度拍攝的投影圖像。

投影處理單元32，用于采用柱面投影方式，將上述投影圖像投影到以車載環(huán)視攝像設(shè)備的攝像焦距為半徑的柱面上，在柱面上獲得投影拼接圖像。

圖像配準(zhǔn)單元33，用于分別基于投影拼接圖像中相鄰兩幅圖像重疊區(qū)域中的匹配特征點(diǎn)，對相鄰兩幅圖像進(jìn)行圖像配準(zhǔn)。

圖像融合單元34，用于采用顏色擬合法對重疊區(qū)域的圖像進(jìn)行融合，獲得當(dāng)前地理位置的全景圖像。

在本發(fā)明上述各實(shí)施例的一個具體示例中，透視變換單元31具體用于：

根據(jù)預(yù)先設(shè)置的圖像坐標(biāo)系與照相機(jī)坐標(biāo)系、以及照相機(jī)坐標(biāo)系與世界坐標(biāo)系之間的坐標(biāo)變換關(guān)系，將車載環(huán)視攝像設(shè)備獲取的圖像由圖像坐標(biāo)系變換到世界坐標(biāo)系，獲得景物以車載環(huán)視攝像設(shè)備的攝影中心為原點(diǎn)的第一世界坐標(biāo)系圖像；

根據(jù)車載環(huán)視攝像設(shè)備的攝影中心相對于車輛中心的位置關(guān)系，獲得景物以車輛中心為原點(diǎn)的第二世界坐標(biāo)系圖像；以及

根據(jù)預(yù)先設(shè)置的照相機(jī)坐標(biāo)系與世界坐標(biāo)系、以及圖像坐標(biāo)系與照相機(jī)坐標(biāo)系之間的坐標(biāo)變換關(guān)系，獲得投影圖像。

在本發(fā)明上述各實(shí)施例的另一個具體示例中，透視變換單元31，還可用于在獲得投影圖像之后，對投影圖像進(jìn)行矯正處理，消除投影圖像中的畸變和噪聲信息。

在本發(fā)明上述各實(shí)施例的又一個具體示例中，圖像配準(zhǔn)單元33具體用于：

利用預(yù)設(shè)算法獲取相鄰兩幅圖像的重疊區(qū)域，從所述重疊區(qū)域中提取特征點(diǎn)；

獲取重疊區(qū)域中相鄰兩幅圖像中的一組以上的初始匹配特征點(diǎn)，每組匹配特征點(diǎn)包括相鄰兩幅圖像中一幅圖像中的第一特征點(diǎn)和相鄰兩幅圖像中另一幅圖像中的第二特征點(diǎn)；

根據(jù)第一特征點(diǎn)到一幅圖像中心點(diǎn)之間的距離、以及第二特征點(diǎn)到另一幅圖像中心點(diǎn)之間的距離之間的相似性，從一組以上的初始匹配特征點(diǎn)中選取一組以上精確匹配特征點(diǎn)；

通過一組以上精確匹配特征點(diǎn)中各組精確匹配特征點(diǎn)之間的對應(yīng)關(guān)系，獲取相鄰兩幅圖像進(jìn)行圖像對齊所需的變換參數(shù)；

基于變換參數(shù)對相鄰兩幅圖像進(jìn)行圖像對齊。

在本發(fā)明上述各實(shí)施例的再一個具體示例中，圖像融合單元34具體用于：對重疊區(qū)域的圖像進(jìn)行雙線性插值處理，獲得當(dāng)前地理位置的全景圖像。

本發(fā)明實(shí)施例提供了一種車輛，包括上述實(shí)施例任意一項(xiàng)的街景采集系統(tǒng)。

本發(fā)明實(shí)施例提供的車輛，可以在行駛的過程中，通過車載定位裝置獲取車輛的當(dāng)前地理位置，以及通過車載環(huán)視攝像設(shè)備獲取車輛周圍的圖像，其中的車載環(huán)視攝像設(shè)備至少包括分別部署于所述車輛前、后、左、右的四個攝像頭；由車載環(huán)視攝像設(shè)備獲取的圖像生成當(dāng)前地理位置的全景圖像，根據(jù)當(dāng)前地理位置信息、電子地圖和當(dāng)前地理位置的全景圖像生成街景全景地圖，無需改造車輛、在車輛上安裝專業(yè)拍攝設(shè)備，通過車載環(huán)視攝像設(shè)備便可無損獲取車輛周邊的圖像、并自動生成全景圖像和街景全景地圖，無需專業(yè)的地圖圖像處理團(tuán)隊(duì)人工處理，減少了人員和設(shè)備，降低了成本，并提高了街景全景地圖的獲取效率。

圖9示出了本發(fā)明一個具體應(yīng)用實(shí)施例中的車輛的結(jié)構(gòu)框圖。如圖9所示，該車輛可以包括：中控模塊、儀表盤、行車記錄儀、HUD(Head Up Display，平視顯示器)抬頭顯示器、智能車載信息娛樂系統(tǒng)、智能駕駛模塊。

儀表盤具有12.3寸LCD顯示設(shè)備，該儀表盤可以采用TI的J6 CPU；儀表盤的操作系統(tǒng)可以基于QNX嵌入式系統(tǒng)，儀表盤可以用于顯示車輛狀態(tài)、地圖、車輛導(dǎo)航信息、車輛播放音樂等，所述車輛狀態(tài)信息包括速度、轉(zhuǎn)速、電量、胎壓、車輛駐車、檔位等。HUD抬頭顯示器可以顯示GPS導(dǎo)航信息、導(dǎo)航路徑信息、時間信息等。

在一個實(shí)施例中，智能駕駛模塊可以用于處理與智能駕駛相關(guān)的操作，智能駕駛模塊可以包括高級輔助駕駛系統(tǒng)(Advanced Driver Assistance Systems，ADAS)、主動安全系統(tǒng)、注意力輔助系統(tǒng)(Attention Assist System，AAS)、疲勞警告系統(tǒng)(Fatigue Waming System，F(xiàn)WS)、車輛智能聲學(xué)報(bào)警系統(tǒng)(Acoustic Vehicle Alerting System，AVAS)等。車輛可以結(jié)合ADAS等進(jìn)行智能駕駛，該智能駕駛可以是完全無人的駕駛，也可以是駕駛員進(jìn)行駕駛控制的輔助并線、車道偏移等高級輔助駕駛功能。

中控裝置可以由多個模塊組成，主要可以包括：主板；SATA(Serial Advanced Technology Attachment，串行高級技術(shù)附件)模塊，連接到如SSD的存儲設(shè)備，可以用來存儲數(shù)據(jù)信息；AM(Amplitude Modulation，調(diào)幅)/FM(Frequency Modulation，調(diào)頻)模塊，為車輛提供收音機(jī)的功能；功放模塊，用于聲音處理；WIFI(Wireless-Fidelity，無線保真)/Bluetooth模塊，為車輛提供WIFI/Bluetooth的服務(wù)；LTE(Long Term Evolution，長期演進(jìn))通信模塊，為車輛提供與電信運(yùn)營商的通信功能；電源模塊，電源模塊為該中控裝置提供電源；Switch轉(zhuǎn)接模塊，該Switch轉(zhuǎn)接模塊可以作為一種可擴(kuò)展的接口連接多種傳感器，例如如果需要添加夜視功能傳感器、PM2.5功能傳感器，可以通過該Switch轉(zhuǎn)接模塊連接到中控裝置的主板，以便中控裝置的處理器進(jìn)行數(shù)據(jù)處理，并將數(shù)據(jù)傳輸給中控顯示器。

在一個實(shí)施例中，該車輛還包括環(huán)視攝像頭、ADAS攝像頭、夜視攝像頭、毫米波雷達(dá)、超聲波雷達(dá)、ESR雷達(dá)等傳感器。車輛硬件在生產(chǎn)后即掛載上述智能駕駛相關(guān)硬件，后期可以通過OTA升級使用上述硬件完善自動駕駛相關(guān)功能。

本說明書中各個實(shí)施例均采用遞進(jìn)的方式描述，每個實(shí)施例重點(diǎn)說明的都是與其它實(shí)施例的不同之處，各個實(shí)施例之間相同或相似的部分相互參見即可。對于系統(tǒng)實(shí)施例而言，由于其與方法實(shí)施例基本對應(yīng)，所以描述的比較簡單，相關(guān)之處參見方法實(shí)施例的部分說明即可。

可能以許多方式來實(shí)現(xiàn)本發(fā)明的方法和裝置。例如，可通過軟件、硬件、固件或者軟件、硬件、固件的任何組合來實(shí)現(xiàn)本發(fā)明的方法和裝置。用于所述方法的上述順序僅是為了進(jìn)行說明，本發(fā)明的方法的不限于以上具體描述的順序，除非以其它方式特別說明。此外，在一些實(shí)施例中，還可將本發(fā)明實(shí)施為記錄在記錄介質(zhì)中的程序，這些程序包括用于實(shí)現(xiàn)根據(jù)本發(fā)明的方法的機(jī)器可讀指令。因而，本發(fā)明還覆蓋存儲用于執(zhí)行根據(jù)本發(fā)明的方法的程序的記錄介質(zhì)。

本發(fā)明的描述是為了示例和描述起見而給出的，而并不是無遺漏的或者將本發(fā)明限于所公開的形式。很多修改和變化對于本領(lǐng)域的普通技術(shù)人員而言是顯然的。選擇和描述實(shí)施例是為了更好說明本發(fā)明的原理和實(shí)際應(yīng)用，并且使本領(lǐng)域的普通技術(shù)人員能夠理解本發(fā)明從而設(shè)計(jì)適于特定用途的帶有各種修改的各種實(shí)施例。