基于圖像匹配的確定智能手機位置和姿態(tài)的方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及一種用于確定位置和姿態(tài)的方法和系統(tǒng)，能有效地被用于基于位置的服務(wù)。其通過使用在網(wǎng)絡(luò)中的服務(wù)器上或用戶終端上預先建立的地理定位參考圖像數(shù)據(jù)庫，以及用戶終端的攝像頭所拍攝的圖像，精確地確定諸如智能手機的用戶終端的關(guān)于位置和姿態(tài)的信息，并將所確定的位置和姿態(tài)提供給用戶終端。
【專利說明】基于圖像匹配的確定智能手機位置和姿態(tài)的方法和系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明總體涉及確定用戶終端（例如智能手機）的位置和姿態(tài)的方法和系統(tǒng)，更 具體地，涉及確定位置和姿態(tài)的方法和系統(tǒng)，其使用地理定位參考圖像數(shù)據(jù)庫（DB)更精確 地確定用戶終端（例如智能手機）的位置和姿態(tài)的信息，該地理定位參考圖像數(shù)據(jù)庫（DB) 預先在用戶終端或網(wǎng)絡(luò)上的服務(wù)器中構(gòu)建，從而使用戶終端能夠有效地利用所確定的關(guān)于 位置服務(wù)的信息。

【背景技術(shù)】
[0002] 近來，由于智能手機用戶的數(shù)量增加以及智能手機的使用急劇擴大，基于地圖的 道路導航系統(tǒng)或提供額外信息的系統(tǒng)的需求急劇增加。為了通過這種系統(tǒng)提供信息，必須 在真實世界的座標系中準確地檢測智能手機的位置和姿態(tài)。然而，使用安裝在終端中的全 球定位系統(tǒng)（GPS)確定用戶位置目前具有誤差范圍大的缺點并且?guī)缀醪豢赡芴峁魞?nèi)區(qū) 域的信息。


【發(fā)明內(nèi)容】

[0003] 技術(shù)問題
[0004] 因此，本發(fā)明旨在解決上述問題。本發(fā)明的一個目標是提供一種確定位置和姿態(tài) 的方法和系統(tǒng)，其使用地理定位參考圖像數(shù)據(jù)庫（DB)，由從用戶終端傳輸?shù)膫鞲衅餍畔⒑?圖像信息更精確地確定用戶終端（例如智能手機）的關(guān)于位置和姿態(tài)的信息，所述地理定 位參考圖像數(shù)據(jù)庫預先在用戶終端或網(wǎng)絡(luò)上的服務(wù)器中構(gòu)建，從而使用戶終端有效地使用 所確定的關(guān)于定位服務(wù)的信息。
[0005] 技術(shù)方案
[0006] 對本發(fā)明的特征進行概括，為實現(xiàn)上述目標，根據(jù)本發(fā)明的一個方面，一種確定用 戶終端的位置和姿態(tài)的系統(tǒng)包括：位置/姿態(tài)確定服務(wù)器，用于接收從用戶終端傳輸?shù)呐c 位置和姿態(tài)相關(guān)的傳感器信息以及攝像頭圖像，所述用戶終端通過網(wǎng)絡(luò)與所述位置/姿態(tài) 確定服務(wù)器協(xié)同運作，其中，所述位置/姿態(tài)確定服務(wù)器由從用戶終端傳輸?shù)乃雠c位置 和姿態(tài)相關(guān)的傳感器信息和攝像頭圖像，通過基于光束平差法（bundle adjustment)的地 理定位確定用戶終端的位置信息和姿態(tài)信息，并將所述位置信息和姿態(tài)信息回饋到用戶終 端。
[0007] 所述位置/姿態(tài)確定服務(wù)器可以包括：初始位置/姿態(tài)確定模塊，用于基于所述傳 感器信息確定用戶終端的初始位置信息和初始姿態(tài)信息；數(shù)據(jù)庫，用于預先存儲地理定位 參考圖像，在所述地理定位參考圖像中指明了在通過地理定位獲取圖像時所獲得的各個攝 像頭的位置和姿態(tài)；搜索模塊，用于在數(shù)據(jù)庫中搜索地理定位參考圖像，所述地理定位參考 圖像包括與接收到的攝像頭圖像相似的圖像；圖像匹配模塊，用于將接收到的多個攝像頭 圖像相互比對或?qū)⒔邮盏降臄z像頭圖像與找到的地理定位參考圖像進行比對，并提取與匹 配的圖像的位置相對應(yīng)的圖像點的座標作為連接點（tie point);以及位置/姿態(tài)調(diào)整模 塊，用于對匹配的圖像執(zhí)行基于光束平差法的地理定位過程，然后對初始位置信息和初始 姿態(tài)信息進行校正，以確定與關(guān)于所述數(shù)據(jù)庫的所述連接點對應(yīng)的所述用戶終端的最終位 置信息和最終姿態(tài)信息。
[0008] 所述傳感器信息可以包括由全球定位系統(tǒng)（GPS)模塊測量的位置數(shù)據(jù)、由指南針 模塊測量的方向數(shù)據(jù)、由陀螺儀傳感器測量的姿態(tài)數(shù)據(jù)或由加速度傳感器測量的加速度數(shù) 據(jù)。
[0009] 所述圖像匹配模塊可以提取在將從用戶終端傳輸?shù)亩鄠€攝像頭圖像中的任何兩 個圖像相互比對時的連接點，以及提取在將從用戶終端傳輸?shù)膶?yīng)攝像頭圖像與找到的地 理定位參考圖像相互比對時的連接點，并且提取可靠的連接點以使得所提取的多個連接點 在一單個點處會合，從而使誤差最小化。
[0010] 所述位置/姿態(tài)調(diào)整模塊可以由實時地從用戶終端傳輸?shù)膫鞲衅餍畔⒑蛿z像頭 圖像來確定最終位置信息和最終姿態(tài)信息，并將最終位置信息和最終姿態(tài)信息實時地回饋 到用戶終端。
[0011] 所述用戶終端可以基于回饋的最終位置信息和最終姿態(tài)信息，在與網(wǎng)絡(luò)中的其它 服務(wù)器通信時接收給定的與位置和姿態(tài)相關(guān)的服務(wù)信息，并在屏幕中的地圖上顯示所接收 到的信息。
[0012] 根據(jù)本發(fā)明的另一個方面，一種確定用戶終端的位置和姿態(tài)的方法，包括：由通過 網(wǎng)絡(luò)與用戶終端協(xié)同運作的服務(wù)器，接收由用戶終端獲取的與位置和姿態(tài)相關(guān)的傳感器信 息和攝像頭圖像；所述服務(wù)器由從所述用戶終端傳輸?shù)乃雠c位置和姿態(tài)相關(guān)的傳感器信 息和攝像頭圖像，通過基于光束平差法的地理定位來確定所述用戶終端的位置信息和姿態(tài) 信息；以及所述服務(wù)器將所述位置信息和所述姿態(tài)信息回饋到所述用戶終端。
[0013] 確定所述用戶終端的位置信息和姿態(tài)信息并將這些信息回饋到所述用戶終端可 以包括：根據(jù)所述傳感器信息確定所述用戶終端的初始位置信息和初始姿態(tài)信息；在數(shù)據(jù) 庫中搜索地理定位參考圖像，所述地理定位參考圖像包括與接收到的攝像頭圖像相似的圖 像，在所述數(shù)據(jù)庫中預先存儲了地理定位參考圖像，在所述地理定位參考圖像中指明了在 經(jīng)由地理定位獲取圖像時所獲得的各個攝像頭的位置和姿態(tài)；經(jīng)由地理定位獲取所述位置 和姿態(tài)；將所接收的多個攝像頭圖像相互比對或?qū)⒔邮盏降臄z像頭圖像與找到的地理定位 參考圖像進行比對，并提取與匹配的圖像的位置對應(yīng)的圖像點的座標作為連接點；以及對 所述匹配的圖像執(zhí)行基于光束平差法的地理定位過程，然后對初始位置信息和初始姿態(tài)信 息進行校正，以確定與關(guān)于所述數(shù)據(jù)庫的所述連接點對應(yīng)的所述用戶終端的最終位置信息 和最終姿態(tài)信息。
[0014] 根據(jù)本發(fā)明的又一個方面，一種用于確定用戶終端的位置和姿態(tài)的方法，包括：使 用攝像頭獲取攝像頭圖像，并且使用一個或多個傳感器測量與位置和姿態(tài)相關(guān)的傳感器 信息；根據(jù)所述傳感器信息確定初始位置信息和初始姿態(tài)信息；在數(shù)據(jù)庫中搜索包括與所 述攝像頭圖像相似的圖像的地理定位參考圖像，所述數(shù)據(jù)庫中預先存儲了地理定位參考圖 像，在所述地理定位參考圖像中指明了在經(jīng)由地理定位獲取圖像時所獲得的各個攝像頭的 位置和姿態(tài)；將該攝像頭圖像與找到的地理定位參考圖像進行比對，并提取與匹配的圖像 的位置對應(yīng)的圖像點的座標來作為連接點；以及對所述匹配的圖像執(zhí)行基于光束平差法的 地理定位過程，然后對初始位置信息和初始姿態(tài)信息進行校正，以確定與關(guān)于所述數(shù)據(jù)庫 的所述連接點對應(yīng)的所述用戶終端的最終位置信息和最終姿態(tài)信息。
[0015] 根據(jù)本發(fā)明的又一個方面，一種確定用戶終端的位置和姿態(tài)的裝置，包括：攝像 頭，用于獲取攝像頭圖像；傳感器模塊，用于測量與位置和姿態(tài)相關(guān)的傳感器信息；初始位 置/姿態(tài)確定模塊，用于基于所述傳感信息確定初始位置信息和初始姿態(tài)信息；數(shù)據(jù)庫，所 述數(shù)據(jù)庫用于預先存儲地理定位參考圖像，在所述地理定位參考圖像中指明了在經(jīng)由地理 定位獲取圖像時所獲得的各個攝像頭的位置和姿態(tài)；搜索模塊，用于在所述數(shù)據(jù)庫中搜索 包括與所述攝像頭圖像相似的圖像的地理定位參考圖像；圖像匹配模塊，用于將所述攝像 頭圖像與找到的地理定位參考圖像相互比對，并且提取與匹配的圖像的位置對應(yīng)的圖像點 的座標來作為連接點；以及位置/姿態(tài)調(diào)整模塊，用于對所述匹配的圖像執(zhí)行基于光束平 差法的地理定位過程，然后對所述初始位置信息和初始姿態(tài)信息進行校正，以確定與關(guān)于 所述數(shù)據(jù)庫的所述連接點對應(yīng)的所述用戶終端的最終位置信息和最終姿態(tài)信息。
[0016] 有益效果
[0017] 根據(jù)本發(fā)明的確定用戶終端的位置和姿態(tài)的方法和系統(tǒng)，使用地理定位參考圖像 數(shù)據(jù)庫（DB)和由攝像頭拍攝的圖像更精確地確定關(guān)于用戶終端的位置和姿態(tài)的信息，并 將其提供給所述用戶終端，從而所述用戶終端可以有效地將所確定的信息用于基于位置的 服務(wù)。被提供給所述用戶終端的所述與位置和姿態(tài)相關(guān)的信息可以用于戶內(nèi)和戶外，并且 可以有效地用于基于位置的服務(wù)，例如精確道路導航服務(wù)、提供額外信息的服務(wù)以及增強 現(xiàn)實的服務(wù)。

【專利附圖】

【附圖說明】
[0018] 圖1是示出根據(jù)本發(fā)明實施例的確定用戶終端的位置和姿態(tài)的系統(tǒng)的示意圖；
[0019] 圖2是示出圖1的用戶終端和位置/姿態(tài)確定服務(wù)器的詳細方框圖；
[0020] 圖3是示出根據(jù)本發(fā)明實施例的確定用戶終端的位置和姿態(tài)的系統(tǒng)的操作流程 圖。

【具體實施方式】
[0021] 以下，將參考附圖以及附圖中的細節(jié)詳細描述本發(fā)明的優(yōu)選實施例，但本發(fā)明不 限于這些實施例。
[0022] 圖1是示出根據(jù)本發(fā)明實施例的確定用戶終端的位置和姿態(tài)的系統(tǒng)100的示意 圖。
[0023] 參見圖1，根據(jù)本發(fā)明實施例的確定用戶終端的位置和姿態(tài)的系統(tǒng)100包括：位置 /姿態(tài)確定服務(wù)器120,用于通過網(wǎng)絡(luò)協(xié)同用戶終端110操作，并且所述網(wǎng)絡(luò)可以包括基于 位置的服務(wù)（LBS)服務(wù)器，該服務(wù)器用于向用戶終端110提供與用戶終端110的位置和姿 態(tài)相關(guān)的LBS服務(wù)信息。
[0024] 此時，根據(jù)通信環(huán)鏡，所述網(wǎng)絡(luò)可以是（但不僅限于），因特網(wǎng)（包括Wi-Fi網(wǎng) 絡(luò)），并且可以包括無線移動通信網(wǎng)絡(luò)，諸如寬帶碼分多址移動通信系統(tǒng)（WCDMA，包括第三 代（3G)或基于長期演進（LTE)的4G)或無線寬帶（WiBro)網(wǎng)絡(luò)，或者包括有線電話網(wǎng)絡(luò) 等。在用戶終端110通過網(wǎng)絡(luò)同與用戶終端協(xié)同的位置/姿態(tài)確定服務(wù)器120協(xié)同操作 時，用戶終端110可以被提供傳輸與位置和姿態(tài)相關(guān)的信息（傳感器信息、攝像頭圖像信息 等）的服務(wù)，所述與位置和姿態(tài)相關(guān)的信息由用戶終端110從戶內(nèi)或戶外區(qū)域獲得，并且用 戶終端110可以從位置/姿態(tài)確定服務(wù)器120接收經(jīng)更精確校正的與位置和姿態(tài)相關(guān)的信 息來作為回饋信息，該信息是通過對與拍攝攝像頭圖像時的位置和姿態(tài)相關(guān)的信息進行校 正來獲得的。
[0025] 根據(jù)使用環(huán)境，用戶終端110是能訪問網(wǎng)絡(luò)（例如互聯(lián)網(wǎng)）并能利用數(shù)據(jù)服務(wù)的 終端，其可以是（但不僅限于）智能手機（例如iPod或Android手機），或者可以是便攜或 移動終端，諸如移動電話或能通過網(wǎng)絡(luò)進行通信的個人通信服務(wù)（PCS)電話、能進行無線 通信的同步/異步國際移動通信-2000 aMT-2000)終端、個人數(shù)字助理（PDA)、無線應(yīng)用協(xié) 議（WAP)電話、移動PS (Play Station)游戲機、或其它類型的便攜多媒體播放器（PMP)，可 以是筆記本式個人計算機（PC)、臺式PC、掌上PC，并且可以包括能與其它電子應(yīng)用通信并 且被全社會廣泛使用的家用或商用的各種類型的電子應(yīng)用或設(shè)備。
[0026] 用戶終端110可以在與網(wǎng)絡(luò)上的LBS服務(wù)器通信時，接收與相應(yīng)的位置或姿態(tài)相 關(guān)的服務(wù)信息，該服務(wù)信息是基于最終位置信息（緯度、經(jīng)度、高度等）或最終姿態(tài)信息 (由位置/姿態(tài)確定服務(wù)器120精確估算并回饋的旋轉(zhuǎn)角信息，例如前向移動方向（橫搖軸 方向）、前向移動方向的右側(cè)方向（縱搖軸方向）、重力方向（首搖軸方向），并且可以在屏 幕中的地圖上顯示相應(yīng)信息。例如，用戶終端110可以在地圖上提供更精確的道路導航服 務(wù)（例如導航系統(tǒng)所提供的服務(wù)），提供增強現(xiàn)實的服務(wù)以更準確地結(jié)合適合于給定姿態(tài) 的（虛擬）圖像，并且提供適宜于用戶終端110的精確位置和姿態(tài)的各種類型的額外信息。
[0027] 以下，將參考用戶終端110的方框圖和圖2的位置/姿態(tài)確定服務(wù)器120以及圖 3的流程圖對根據(jù)本發(fā)明實施例的用于確定用戶終端的位置和姿態(tài)的系統(tǒng)100的操作進行 詳細描述。
[0028] 如圖2所示，用戶終端110包括傳感器模塊111、攝像頭112以及采集傳輸模 塊113,并且位置/姿態(tài)確定服務(wù)器120包括初始位置/姿態(tài)確定模塊121、圖像數(shù)據(jù)庫 (DB) 122、圖像搜索模塊123、圖像匹配模塊124以及位置/姿態(tài)調(diào)整模塊125。
[0029] 首先，在用戶終端110中，根據(jù)用戶的操作或當前服務(wù)的預定應(yīng)用程序的操作，傳 感器模塊111測量與位置和姿態(tài)（PA)相關(guān)的傳感器信息，攝像頭112拍攝周圍圖像（可以 是多個靜止或運動圖像）并產(chǎn)生攝像頭圖像，并且采集傳輸模塊113采集這種與位置和姿 態(tài)（PA)相關(guān)的傳感器信息和攝像頭圖像（信息），并且將所采集的信息傳輸?shù)轿恢?姿態(tài) 確定服務(wù)器120(圖3, S10)。
[0030] 此時，傳感器模塊111測量的與位置和姿態(tài)（PA)相關(guān)的傳感器信息可以是由全球 定位系統(tǒng)（GPS)模塊測量的位置數(shù)據(jù)（緯度、經(jīng)度、高度等）、由指南針模塊測量的方向數(shù)據(jù) (與運動方向有關(guān)的信息）、由陀螺儀傳感器測量的姿態(tài)數(shù)據(jù)（與角速度的增量相關(guān)的旋轉(zhuǎn) 角信息，例如前向移動方向（橫搖軸方向）、前向移動方向的右側(cè)方向（縱搖軸方向）和重 力方向（首搖軸方向）），或者由加速度傳感器測量的加速度數(shù)據(jù)（與在運動方向上的速度 增量相關(guān)的加速度信息）。
[0031] 如果從用戶終端110傳輸與位置和姿態(tài)（PA)相關(guān)的傳感器信息和攝像頭圖像，那 么，初始位置/姿態(tài)確定模塊121根據(jù)與位置和姿態(tài)（PA)相關(guān)的傳感器信息，確定初始位 置信息（爐，入，h)(緯度、經(jīng)度、高度等）和初始姿態(tài)信息（0 toll，0 Piteh，0 Yaw)(旋轉(zhuǎn)角信 息，例如前向移動方向（橫搖軸方向）、前向移動方向的右側(cè)方向（縱搖軸方向）、重力方向 (首搖軸方向））來作為用戶終端110的初始外部取向參數(shù)（圖3, S20)。
[0032] 初始位置/姿態(tài)確定模塊121通過將指南針模塊的方向數(shù)據(jù)、陀螺儀傳感器的姿 態(tài)數(shù)據(jù)、加速度傳感器的加速度數(shù)據(jù)等與位置和姿態(tài)（PA)相關(guān)的傳感器信息應(yīng)用到預定 的導航方程式中，可以估算速度并確定位置信息和姿態(tài)信息，并且通過將GPS模塊的位置 數(shù)據(jù)額外地應(yīng)用到所提供的卡爾曼濾波器（Kalman filter)，可以確定上述初始位置信息 (爐，X，h)(纟韋度、經(jīng)度、高度等）和初始姿態(tài)信息（0M1，0 pitc;h，0Yaw)，來作為用戶終端 110的初始外部取向參數(shù)。由于使用這種導航方程式或卡爾曼濾波器估算與位置和姿態(tài)相 關(guān)的導航信息的技術(shù)在所屬領(lǐng)域內(nèi)是熟知的，所以省略了對其詳細的描述。
[0033] 同時，在圖像數(shù)據(jù)庫122中，地理定位參考圖像和各個圖像點的座標被預先構(gòu)建 并存儲，其中，所述地理定位參考圖像對應(yīng)于各個攝像頭的位置（史，A，h)和姿態(tài)（0 M1， ePitc;h，eYaw)，這些圖像是在經(jīng)由地理定位獲取圖像時所獲得的，各個圖像點的座標是圖像 點的地面座標。圖像搜索模塊123在圖像數(shù)據(jù)庫122中搜索地理定位參考圖像（圖3, S30)， 該地理定位參考圖像包括與從用戶終端110接收的給定攝像頭圖像相似的圖像。上述圖像 點座標可以被存儲在圖像數(shù)據(jù)庫122中，并且有效地用于計算與位置或姿態(tài)相關(guān)的信息， 下文將會對此描述。但這并不是必需的，其可以被省略并且可以由任意一種估算的圖像相 對座標代替。
[0034] 地理定位是一種算法，其通過使用由多傳感器（全球定位系統(tǒng)（GPS)、慣性測量單 元（IMU)、數(shù)字攝像頭、激光掃描儀等）獲取的攝像頭的與位置和姿態(tài)相關(guān)的數(shù)據(jù)和圖像數(shù) 據(jù)，來獲取在圖像或拍攝位置中所包含的地面物體的三維（3D)地面座標信息。根據(jù)數(shù)字 攝像頭等的連續(xù)的與位置和姿態(tài)相關(guān)的數(shù)據(jù)來執(zhí)行基于航空三角測量（AT)的地理定位過 程，然后可以估算在拍攝位置處的攝像頭的圖像或位置和姿態(tài)中所包括的地面物體的座標 (或圖像點），同時諸如與位置和姿態(tài)相關(guān)的數(shù)據(jù)的外部取向參數(shù)被校正，并且可以獲取與 在拍攝時的位置和姿態(tài)相對應(yīng)的地理定位圖像。
[0035] 通過這種地理定位方法，地理定位參考圖像被預先構(gòu)建并存儲在數(shù)據(jù)庫〇)B) 122 中，在所述地理定位參考圖像中指明了在圖像獲取時的各個攝像頭的位置和姿態(tài)。圖像搜 索模塊123可以在圖像數(shù)據(jù)庫122中搜索地理定位參考圖像，所述地理定位參考圖像包括 與用戶終端110的攝像頭圖像相似的圖像。
[0036] 圖像匹配模塊124可以將用戶終端110的多個攝像頭圖像相互比對或者將攝像頭 圖像與由圖像搜索模塊123找到的地理定位參考圖像進行比對，并且提取與攝像頭的拍攝 位置（屮，A，h)對應(yīng)的匹配的圖像的圖像點的座標，來作為連接點（共軛點）（圖3，S40)。 此時，除了將自用戶終端110傳輸?shù)臄z像頭圖像與找到的地理定位參考圖像相互比對時的 連接點以外，在將自用戶終端110傳輸?shù)亩鄠€攝像頭圖像中的任何兩個不同圖像相互比對 時，可以進一步提取在相匹配的圖像部分之間的一個或多個連接點?？梢杂嬎愠鰹槭沟谜` 差最小化而能夠讓多個所提取的連接點在一點處會合的可靠連接點。
[0037] 例如，必須滿足一個條件，其中對于單個地面點，在被估算為相同圖像的攝像頭圖 像和由圖像搜索模塊123所找到的地理定位參考圖像的匹配部分之間的圖像點存在于預 定共線方程的單一直線上。然而，即使在相同地面點的情況中，也可能出現(xiàn)由于圖像點（連 接點）的座標之間的誤差而使得這些地面點不能在單個地面點處會合的情況。因此，通過 采用最小二乘法，可以將下面這種點計算為連接點：這種點允許對于單個地面點的多個共 線方程的直線在相對小范圍內(nèi)會合而使得誤差最小化。
[0038] 如果已經(jīng)以這種方式計算了這些連接點，那么位置/姿態(tài)調(diào)整模塊125被配置為 以下情形：為了確定最終外部取向參數(shù)（所述最終外部取向參數(shù)能使用對應(yīng)的連接點獲取 連接點（使得可以獲取對應(yīng)的攝像頭圖像）），位置/姿態(tài)調(diào)整模塊125可以校正由初始位 置/姿態(tài)確定模塊121根據(jù)相互匹配的攝像頭圖像或地理定位參考圖像（或這些圖像的圖 像點）確定的初始外部取向參數(shù)（初始位置信息和初始姿態(tài)信息），然后可以確定用戶終 端110的最終外部取向參數(shù)（最終位置信息和最終姿態(tài)信息）（圖3, S50)，并且將最終外部 取向參數(shù)回饋到用戶終端110 (圖3, S60)。在這種情況下，位置/姿態(tài)調(diào)整模塊125根據(jù) 從用戶終端110實時傳輸?shù)腜A傳感器信息和攝像頭圖像來相繼確定最終位置信息和最終 姿態(tài)信息，并將最終位置信息和最終姿態(tài)信息實時地回饋到用戶終端110。在這種情況下， 可以引用存儲在數(shù)據(jù)庫122中的對應(yīng)匹配部分的地理定位參考圖像（包括圖像點的地面座 標）。在這種情況下，位置/姿態(tài)調(diào)整模塊125執(zhí)行基于光束平差法的地理定位過程，并校 正初始外部取向參數(shù)（初始位置信息和初始姿態(tài)信息），從而精確地估算拍攝對應(yīng)圖像的 用戶終端110的地面（拍攝）座標。
[0039] 基于光束平差法的地理定位是一種間接確定攝像頭位置和姿態(tài)的方法，S卩，用戶 終端110在獲取圖像時的位置和姿態(tài)?；趫D像的光束平差法的位置/姿態(tài)調(diào)整模塊125 使用一種數(shù)學模型（帶有隨機約束條件的高斯_馬爾可夫模型），其使用帶有隨機約束條件 的共線條件表達式，將最小二乘法應(yīng)用到初始外部取向參數(shù)（初始位置信息和姿態(tài)信息）， 其中從匹配的圖像的部分（或這些圖像的圖像點）參考了與數(shù)據(jù)庫122中的各個攝像頭的 位置和姿態(tài)對應(yīng)的地理定位參考圖像（包括圖像點的地面座標），并且在上述數(shù)學模型中 反復地計算預定的法方程，從而估算最終會聚的最終外部取向參數(shù)（最終位置信息和最終 姿態(tài)信息）。根據(jù)上述過程，可以將以下內(nèi)容估算為關(guān)于拍攝對應(yīng)攝像頭圖像的位置和姿態(tài) 的信息：在基于上述數(shù)學模型的預定法方程中，關(guān)于能夠從匹配的參考圖像部分獲取連接 點的誤差被最小化的最終位置和最終姿態(tài)的信息。
[0040] 如上所述，盡管已經(jīng)示出用戶終端110精確地接收用戶終端110的對應(yīng)位置信息 和姿態(tài)信息來作為回饋信息，同時與在網(wǎng)絡(luò)上的位置/姿態(tài)確定服務(wù)器120協(xié)同操作的過 程，但該過程不限于此例。位置/姿態(tài)確定服務(wù)器120的組件被包括在用戶終端110中來 作為位置/姿態(tài)確定器件，從而用戶終端110可以直接估算并使用上述最終外部取向參數(shù)。 也就是說，用戶終端110可以不僅僅包括傳感器模塊111、攝像頭112和采集傳輸模塊113， 還可以包括初始位置/姿態(tài)確定模塊121、圖像數(shù)據(jù)庫122、圖像搜索模塊123、圖像匹配模 塊124和位置/姿態(tài)調(diào)整模塊125。此時，用戶終端110可以直接估算上述精確的最終外部 取向參數(shù)，而不需要將與位置和姿態(tài)相關(guān)的傳感器信息、攝像頭圖像等傳輸?shù)骄W(wǎng)絡(luò)上的服 務(wù)器。
[0041] 用戶終端110可以在與網(wǎng)絡(luò)上的LBS服務(wù)器通信時接收相應(yīng)的與位置或姿態(tài)相關(guān) 的服務(wù)信息并在屏幕中的地圖上顯示這些信息，該過程是基于由用戶終端直接估算的最終 外部取向參數(shù)，或由網(wǎng)絡(luò)上的位置/姿態(tài)確定服務(wù)器120精確地估算并從服務(wù)器120回饋 的最終外部取向參數(shù)，即，最終位置信息（少，A，h)(緯度、經(jīng)度、高度等）或最終姿態(tài)信息 (0fcll，0Pitc；h， 0YaJ。例如，如在導航系統(tǒng)中的情況中，用戶終端可以在地圖上提供更 精確的道路導航服務(wù)，實現(xiàn)更精確地結(jié)合適用于給定姿態(tài)的（虛擬）圖像來實施增強現(xiàn)實 服務(wù)，并且提供適用于用戶終端110的精確位置和姿態(tài)的各種類型的額外信息。
[0042] 盡管參考了有限數(shù)目個實施例和附圖來描述本發(fā)明，本發(fā)明不限于上述實施例， 并且本發(fā)明所屬領(lǐng)域的技術(shù)人員可以做出多種改變和修改。因此，本發(fā)明的范圍不應(yīng)由上 述實施例限定，并且應(yīng)當由所附權(quán)利要求書及其等同物限定。
【權(quán)利要求】
1. 一種用于確定用戶終端的位置和姿態(tài)的系統(tǒng)，包括： 位置/姿態(tài)確定服務(wù)器，用于接收從用戶終端傳輸?shù)呐c位置和姿態(tài)有關(guān)的傳感器信息 和攝像頭圖像，所述用戶終端通過網(wǎng)絡(luò)與所述位置/姿態(tài)確定服務(wù)器協(xié)同運作， 其中，所述位置/姿態(tài)確定服務(wù)器由從所述用戶終端傳輸?shù)乃雠c位置和姿態(tài)有關(guān)的 傳感器信息和所述攝像頭圖像，通過基于光束平差法的地理定位，確定所述用戶終端的位 置信息和姿態(tài)信息，并將所述位置信息和所述姿態(tài)信息回饋到所述用戶終端。
2. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述位置/姿態(tài)確定服務(wù)器包括： 初始位置/姿態(tài)確定模塊，用于基于所述傳感器信息確定所述用戶終端的初始位置信 息和初始姿態(tài)信息； 數(shù)據(jù)庫，用于預先存儲地理定位參考圖像，在所述地理定位參考圖像中指明了在經(jīng)由 地理定位獲取圖像時所獲得的各個攝像頭的位置和姿態(tài)； 搜索模塊，用于在所述數(shù)據(jù)庫中搜索地理定位參考圖像，所述地理定位參考圖像包括 與接收到的攝像頭圖像相似的圖像； 圖像匹配模塊，用于將接收到的多個攝像頭圖像相互比對或?qū)⒔邮盏降臄z像頭圖像與 找到的地理定位參考圖像進行比對，并提取與匹配的圖像的位置對應(yīng)的圖像點座標來作為 連接點；以及 位置/姿態(tài)調(diào)整模塊，用于對所述匹配的圖像執(zhí)行基于光束平差法的地理定位過程， 然后校正所述初始位置信息和初始姿態(tài)信息，以確定與關(guān)于所述數(shù)據(jù)庫的所述連接點對應(yīng) 的所述用戶終端的最終位置信息和最終姿態(tài)信息。
3. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述傳感器信息包括：由全球定位系統(tǒng)（GPS)模 塊測量的位置數(shù)據(jù)、由指南針模塊測量的方向數(shù)據(jù)、由陀螺儀傳感器測量的姿態(tài)數(shù)據(jù)或由 加速度傳感器測量的加速度數(shù)據(jù)。
4. 根據(jù)權(quán)利要求2所述的系統(tǒng)，其中，所述圖像匹配模塊提取在將從所述用戶終端傳 輸?shù)亩鄠€攝像頭圖像中的任何兩個圖像相互比對時的連接點，提取在將從所述用戶終端傳 輸?shù)膶?yīng)攝像頭圖像與所找到的地理定位參考圖像相互比對時的連接點，并且提取可靠的 連接點以使多個所提取的連接點在一單個點處會合，從而使誤差最小化。
5. 根據(jù)權(quán)利要求2所述的系統(tǒng)，其中，所述位置/姿態(tài)調(diào)整模塊由從所述用戶終端實時 地傳輸?shù)膫鞲衅餍畔⒑蛿z像頭圖像確定所述最終位置信息和最終姿態(tài)信息，并將所述最終 位置信息和最終姿態(tài)信息實時地回饋到所述用戶終端。
6. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述用戶終端根據(jù)所回饋的所述最終位置信息 或最終姿態(tài)信息，在與網(wǎng)絡(luò)中的其它服務(wù)器通信時接收給定的與位置和姿態(tài)相關(guān)的服務(wù)信 息，并在屏幕中的地圖上顯示接收到的信息。
7. -種確定用戶終端的位置和姿態(tài)的方法，包括： 由通過網(wǎng)絡(luò)與用戶終端協(xié)同運作的服務(wù)器來接收由所述用戶終端獲取的與位置和姿 態(tài)相關(guān)的傳感器信息和攝像頭圖像；以及 所述服務(wù)器由從所述用戶終端傳輸?shù)乃雠c位置和姿態(tài)相關(guān)的傳感器信息和所述攝 像頭圖像，通過基于光束平差法的地理定位，確定所述用戶終端的位置信息和姿態(tài)信息，并 且所述服務(wù)器將所述位置信息和姿態(tài)信息回饋到所述用戶終端。
8. 根據(jù)權(quán)利要求7所述的方法，其中，確定所述用戶終端的所述位置信息和姿態(tài)信息 并將所述位置信息和姿態(tài)信息回饋到所述用戶終端包括： 根據(jù)所述傳感器信息確定所述用戶終端的初始位置信息和初始姿態(tài)信息； 在數(shù)據(jù)庫中搜索地理定位參考圖像，其中所述地理定位參考圖像包括與接收到的攝像 頭圖像相似的圖像，在所述數(shù)據(jù)庫中預先存儲了地理定位參考圖像，在所述地理定位參考 圖像中指明了在經(jīng)由地理定位獲取圖像時所獲得的各個攝像頭的位置和姿態(tài)； 經(jīng)由地理定位獲取所述位置和姿態(tài)； 將接收到的多個攝像頭圖像相互比對，或?qū)⑺鼋邮盏降膱D像與找到的地理定位參考 圖像進行比對，并提取與匹配的圖像的位置對應(yīng)的圖像點座標作為連接點；以及 對所述匹配的圖像執(zhí)行基于光束平差法的地理定位過程，然后校正所述初始位置信息 和初始姿態(tài)信息，以確定與關(guān)于所述數(shù)據(jù)庫的所述連接點對應(yīng)的所述用戶終端的最終位置 信息和最終姿態(tài)信息。
9. 一種確定用戶終端的位置和姿態(tài)的方法，包括： 使用攝像頭獲取攝像頭圖像，并使用一個或多個傳感器測量與位置和姿態(tài)相關(guān)的傳感 器信息； 根據(jù)所述傳感器信息確定初始位置信息和初始姿態(tài)信息； 在數(shù)據(jù)庫中搜索地理定位參考圖像，其中所述地理定位參考圖像包括與所述攝像頭圖 像相似的圖像，所述數(shù)據(jù)庫中預先存儲了地理定位參考圖像，在所述地理定位參考圖像中 指明了在經(jīng)由地理定位獲取圖像時所獲得的各個攝像頭的位置和姿態(tài)； 將所述攝像頭圖像與找到的地理定位參考圖像進行比對，并提取與匹配的圖像的位置 對應(yīng)的圖像點座標作為連接點；以及 對所述匹配的圖像執(zhí)行基于光束平差法的地理定位過程，然后校正所述初始位置信息 和初始姿態(tài)信息，以確定與關(guān)于所述數(shù)據(jù)庫的所述連接點對應(yīng)的所述用戶終端的最終位置 信息和最終姿態(tài)信息。
10. -種用于確定用戶終端的位置和姿態(tài)的裝置，包括： 攝像頭，用于獲取攝像頭圖像； 傳感器模塊，用于測量與位置和姿態(tài)相關(guān)的傳感器信息； 初始位置/姿態(tài)確定模塊，用于基于所述傳感器信息確定初始位置信息和初始姿態(tài)信 息； 數(shù)據(jù)庫，用于預先存儲地理定位參考圖像，在所述地理定位參考圖像中指明了在經(jīng)由 地理定位獲取圖像時所獲得的各個攝像頭的位置和姿態(tài)； 搜索模塊，用于在所述數(shù)據(jù)庫中搜索地理定位參考圖像，所述地理定位參考圖像包括 與所述攝像頭圖像相似的圖像； 圖像匹配模塊，用于將所述攝像頭圖像與找到的地理定位參考圖像進行比對，并提取 與匹配的圖像的位置對應(yīng)的圖像點座標作為連接點；以及 位置/姿態(tài)調(diào)整模塊，用于對所述匹配的圖像執(zhí)行基于光束平差法的地理定位過程， 然后校正所述初始位置信息和初始姿態(tài)信息，以確定與關(guān)于所述數(shù)據(jù)庫的所述連接點對應(yīng) 的所述用戶終端的最終位置信息和最終姿態(tài)信息。
【文檔編號】H04W64/00GK104335649SQ201280072738
【公開日】2015年2月4日 申請日期:2012年11月14日 優(yōu)先權(quán)日:2012年4月26日
【發(fā)明者】李林枰, 崔京兒, 金浩俊 申請人:首爾市立大學校產(chǎn)學協(xié)力團