本公開涉及計(jì)算機(jī)視覺領(lǐng)域，尤其涉及一種用于相機(jī)重定位的訓(xùn)練集優(yōu)化方法及裝置。

背景技術(shù)：

近年來，除了通過GPS(Global Position System，全球定位系統(tǒng))、基站、藍(lán)牙和Wi-Fi(Wireless Fidelity，無線保真技術(shù))進(jìn)行定位外，越來越多的定位系統(tǒng)使用了視覺傳感器。視覺傳感器是指利用光學(xué)元件和成像裝置獲取外部環(huán)境圖像信息的儀器。視覺傳感器獲取的視覺圖像中包含底層的顏色、紋理特征以及高層的物體、場景特征，且視覺傳感器價(jià)格低廉、使用廣泛，越來越多地受到定位系統(tǒng)的青睞。近年來，借助計(jì)算機(jī)視覺技術(shù)的高速發(fā)展，基于視覺圖像的定位技術(shù)得到了廣泛的應(yīng)用。

相機(jī)重定位是指通過對相機(jī)拍攝的圖像進(jìn)行分析，計(jì)算相機(jī)在圖像拍攝場景坐標(biāo)系的位移和姿態(tài)。圖1是根據(jù)現(xiàn)有技術(shù)示出的相機(jī)重定位的坐標(biāo)系示意圖。如圖1所示，相機(jī)的位移可以通過向量r＝[X,Y,Z]進(jìn)行表示，相機(jī)的姿態(tài)可以通過xyz坐標(biāo)系(全局坐標(biāo)系)與x’y’z’坐標(biāo)系(局部坐標(biāo)系)之間的關(guān)系進(jìn)行表示。相關(guān)技術(shù)中，主要的相機(jī)重定位方法可以分為基于點(diǎn)特征的相機(jī)重定位方法和基于全圖特征的相機(jī)重定位方法?；邳c(diǎn)特征的相機(jī)重定位方法通過像素點(diǎn)特征來進(jìn)行點(diǎn)坐標(biāo)匹配，例如通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行點(diǎn)匹配，從而計(jì)算相機(jī)的姿態(tài)?；谌珗D特征的相機(jī)重定位方法通過將全圖特征映射到高維特征空間來獲得更好的對于相機(jī)位移、姿態(tài)的連續(xù)映射。利用卷積神經(jīng)網(wǎng)絡(luò)也可以不進(jìn)行點(diǎn)匹配，直接處理圖像回歸得到相機(jī)的姿態(tài)。這類基于神經(jīng)網(wǎng)絡(luò)的相機(jī)重定位方法就是基于全圖特征的相機(jī)重定位方法。

基于全圖特征的相機(jī)重定位方法存在數(shù)據(jù)集的稀疏分布問題。不同于一般的圖像分類問題，相機(jī)重定位由于需要對相機(jī)的位移和方向進(jìn)行回歸，每一張圖像都對應(yīng)于位移的三維空間和對應(yīng)于方向的三維特殊正交群(SO(3)，the Special Orthogonal Group in Dimension 3)空間中的一個(gè)點(diǎn)。很多數(shù)據(jù)集中訓(xùn)練集的采樣十分稀疏，例如七場景數(shù)據(jù)集(7-Scenes Dataset)。圖2是根據(jù)現(xiàn)有技術(shù)示出的七場景數(shù)據(jù)集中頭部場景(Heads Scenes)下圖像姿態(tài)的分布示意圖。圖3是根據(jù)現(xiàn)有技術(shù)示出的七場景數(shù)據(jù)集中頭部場景下圖像位移的分布示意圖。如圖2和圖3所示，測試集與訓(xùn)練集分布差異極大。在訓(xùn)練過程中，模型非常容易出現(xiàn)過擬合的現(xiàn)象。

相關(guān)技術(shù)中，通常采用兩種方法解決基于全圖特征的相機(jī)重定位方法中存在的訓(xùn)練樣本稀疏，測試集與訓(xùn)練集分布差異較大的問題。第一種方法為對場景進(jìn)行密集采樣，采用該種方法使得數(shù)據(jù)集的規(guī)模變得極為龐大，并且密集采樣提高了數(shù)據(jù)集的構(gòu)建成本。第二種方法為利用高精度的RGBD(Red，紅；Green，綠；Blue，藍(lán)；Depth，深度)圖像來構(gòu)建場景的三維模型，并生成虛擬圖像，采用該種方法在很大程度上依賴于數(shù)據(jù)集的質(zhì)量。由于虛擬圖像來自于場景的三維模型，要使得虛擬圖像和實(shí)際圖像較為一致，必須要有非常高精度的三維模型，而高精度的三維模型則對數(shù)據(jù)集的圖像質(zhì)量以及深度圖提出了要求。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本公開提出了一種用于相機(jī)重定位的訓(xùn)練集優(yōu)化方法及裝置，以解決基于全圖特征的相機(jī)重定位方法中存在的訓(xùn)練樣本稀疏，測試集與訓(xùn)練集分布差異較大的問題。

根據(jù)本公開的第一方面，提供了一種用于相機(jī)重定位的訓(xùn)練集優(yōu)化方法，包括：

從第一圖像中選取第一點(diǎn)，所述第一點(diǎn)不為所述第一圖像的幾何中心；

根據(jù)所述第一圖像和所述第一點(diǎn)，確定所述第一點(diǎn)對應(yīng)的第二圖像對應(yīng)的中心圖像塊和標(biāo)簽參數(shù)，其中，所述第二圖像的幾何中心為所述第一點(diǎn)，所述標(biāo)簽參數(shù)包括所述第二圖像對應(yīng)的相機(jī)姿態(tài)參數(shù)和相機(jī)位移參數(shù)；

將所述第二圖像對應(yīng)的中心圖像塊和標(biāo)簽參數(shù)加入訓(xùn)練集，所述訓(xùn)練集用于對相機(jī)重定位模型進(jìn)行訓(xùn)練。

對于所述的用于相機(jī)重定位的訓(xùn)練集優(yōu)化方法，在一種可能的實(shí)現(xiàn)方式中，根據(jù)所述第一圖像和所述第一點(diǎn)，確定所述第一點(diǎn)對應(yīng)的第二圖像對應(yīng)的中心圖像塊，包括：

以所述第一點(diǎn)為幾何中心從所述第一圖像中選取第一圖像塊；

將所述第一圖像塊作為所述第二圖像對應(yīng)的中心圖像塊。

對于所述的用于相機(jī)重定位的訓(xùn)練集優(yōu)化方法，在一種可能的實(shí)現(xiàn)方式中，根據(jù)所述第一圖像和所述第一點(diǎn)，確定所述第一點(diǎn)對應(yīng)的第二圖像對應(yīng)的標(biāo)簽參數(shù)，包括：

根據(jù)所述第一圖像和所述第一點(diǎn)，確定所述第二圖像對應(yīng)的相機(jī)姿態(tài)參數(shù)；

根據(jù)所述第一圖像，確定所述第二圖像對應(yīng)的相機(jī)位移參數(shù)。

對于所述的用于相機(jī)重定位的訓(xùn)練集優(yōu)化方法，在一種可能的實(shí)現(xiàn)方式中，根據(jù)所述第一圖像和所述第一點(diǎn)，確定所述第二圖像對應(yīng)的相機(jī)姿態(tài)參數(shù)，包括：

獲取所述第一圖像的第一尺寸和第二尺寸；

獲取所述第一圖像在第一坐標(biāo)系中的水平視角和垂直視角；

確定所述第一圖像的幾何中心與所述第一點(diǎn)之間的水平位移和垂直位移；

根據(jù)所述第一尺寸、所述第二尺寸、所述水平視角、所述垂直視角、所述水平位移和所述垂直位移，確定從所述第一圖像對應(yīng)的相機(jī)姿態(tài)旋轉(zhuǎn)到所述第二圖像對應(yīng)的相機(jī)姿態(tài)所進(jìn)行的旋轉(zhuǎn)操作的歐拉角；

根據(jù)所述第一圖像對應(yīng)的相機(jī)姿態(tài)參數(shù)和所述歐拉角，確定所述第二圖像對應(yīng)的相機(jī)姿態(tài)參數(shù)。

對于所述的用于相機(jī)重定位的訓(xùn)練集優(yōu)化方法，在一種可能的實(shí)現(xiàn)方式中，根據(jù)所述第一尺寸、所述第二尺寸、所述水平視角、所述垂直視角、所述水平位移和所述垂直位移，確定從所述第一圖像對應(yīng)的相機(jī)姿態(tài)旋轉(zhuǎn)到所述第二圖像對應(yīng)的相機(jī)姿態(tài)所進(jìn)行的旋轉(zhuǎn)操作的歐拉角，包括：

采用式1至式3確定所述歐拉角

其中，表示所述歐拉角的自轉(zhuǎn)角，表示所述歐拉角的章動(dòng)角，表示所述歐拉角的旋進(jìn)角，Δx表示所述水平位移，W表示所述第一尺寸，V_h表示所述水平視角，Δy表示所述垂直位移，H表示所述第二尺寸，V_v表示所述垂直視角。

對于所述的用于相機(jī)重定位的訓(xùn)練集優(yōu)化方法，在一種可能的實(shí)現(xiàn)方式中，

所述第一尺寸為所述第一圖像在水平方向上的第一頂點(diǎn)和第二頂點(diǎn)之間的距離，所述第二尺寸為所述第一圖像在垂直方向上的第一頂點(diǎn)和第三頂點(diǎn)之間的距離；

所述水平視角為第一連線與第二連線之間的夾角，所述第一連線為所述第一頂點(diǎn)與所述第一坐標(biāo)系的原點(diǎn)之間的連線，所述第二連線為所述第二頂點(diǎn)與所述第一坐標(biāo)系的原點(diǎn)之間的連線；所述垂直視角為所述第一連線與第三連線之間的夾角，所述第三連線為所述第三頂點(diǎn)與所述第一坐標(biāo)系的原點(diǎn)之間的連線；

所述水平位移為所述第一圖像的幾何中心與所述第一點(diǎn)在水平方向上的距離，所述垂直位移為所述第一圖像的幾何中心與所述第一點(diǎn)在垂直方向上的距離。

對于所述的用于相機(jī)重定位的訓(xùn)練集優(yōu)化方法，在一種可能的實(shí)現(xiàn)方式中，根據(jù)所述第一圖像，確定所述第二圖像對應(yīng)的相機(jī)位移參數(shù)，包括：

將所述第一圖像對應(yīng)的相機(jī)位移參數(shù)作為所述第二圖像對應(yīng)的相機(jī)位移參數(shù)。

根據(jù)本公開的第二方面，提供了一種用于相機(jī)重定位的訓(xùn)練集優(yōu)化裝置，包括：

選取模塊，用于從第一圖像中選取第一點(diǎn)，所述第一點(diǎn)不為所述第一圖像的幾何中心；

確定模塊，用于根據(jù)所述第一圖像和所述第一點(diǎn)，確定所述第一點(diǎn)對應(yīng)的第二圖像對應(yīng)的中心圖像塊和標(biāo)簽參數(shù)，其中，所述第二圖像的幾何中心為所述第一點(diǎn)，所述標(biāo)簽參數(shù)包括所述第二圖像對應(yīng)的相機(jī)姿態(tài)參數(shù)和相機(jī)位移參數(shù)；

添加模塊，用于將所述第二圖像對應(yīng)的中心圖像塊和標(biāo)簽參數(shù)加入訓(xùn)練集，所述訓(xùn)練集用于對相機(jī)重定位模型進(jìn)行訓(xùn)練。

對于所述的用于相機(jī)重定位的訓(xùn)練集優(yōu)化裝置，在一種可能的實(shí)現(xiàn)方式中，所述確定模塊包括中心圖像塊確定子模塊，所述中心圖像塊確定子模塊包括：

第一圖像塊選取子模塊，用于以所述第一點(diǎn)為幾何中心從所述第一圖像中選取第一圖像塊；

第一確定子模塊，用于將所述第一圖像塊作為所述第二圖像對應(yīng)的中心圖像塊。

對于所述的用于相機(jī)重定位的訓(xùn)練集優(yōu)化裝置，在一種可能的實(shí)現(xiàn)方式中，所述確定模塊包括標(biāo)簽參數(shù)確定子模塊，所述標(biāo)簽參數(shù)確定子模塊包括：

相機(jī)姿態(tài)參數(shù)確定子模塊，用于根據(jù)所述第一圖像和所述第一點(diǎn)，確定所述第二圖像對應(yīng)的相機(jī)姿態(tài)參數(shù)；

相機(jī)位移參數(shù)確定子模塊，用于根據(jù)所述第一圖像，確定所述第二圖像對應(yīng)的相機(jī)位移參數(shù)。

對于所述的用于相機(jī)重定位的訓(xùn)練集優(yōu)化裝置，在一種可能的實(shí)現(xiàn)方式中，所述相機(jī)姿態(tài)參數(shù)確定子模塊包括：

第一獲取子模塊，用于獲取所述第一圖像的第一尺寸和第二尺寸；

第二獲取子模塊，用于獲取所述第一圖像在第一坐標(biāo)系中的水平視角和垂直視角；

位移確定子模塊，用于確定所述第一圖像的幾何中心與所述第一點(diǎn)之間的水平位移和垂直位移；

歐拉角確定子模塊，用于根據(jù)所述第一尺寸、所述第二尺寸、所述水平視角、所述垂直視角、所述水平位移和所述垂直位移，確定從所述第一圖像對應(yīng)的相機(jī)姿態(tài)旋轉(zhuǎn)到所述第二圖像對應(yīng)的相機(jī)姿態(tài)所進(jìn)行的旋轉(zhuǎn)操作的歐拉角；

第二確定子模塊，用于根據(jù)所述第一圖像對應(yīng)的相機(jī)姿態(tài)參數(shù)和所述歐拉角，確定所述第二圖像對應(yīng)的相機(jī)姿態(tài)參數(shù)。

對于所述的用于相機(jī)重定位的訓(xùn)練集優(yōu)化裝置，在一種可能的實(shí)現(xiàn)方式中，所述歐拉角確定子模塊用于：

采用式1至式3確定所述歐拉角

其中，表示所述歐拉角的自轉(zhuǎn)角，表示所述歐拉角的章動(dòng)角，表示所述歐拉角的旋進(jìn)角，Δx表示所述水平位移，W表示所述第一尺寸，V_h表示所述水平視角，Δy表示所述垂直位移，H表示所述第二尺寸，V_v表示所述垂直視角。

對于所述的用于相機(jī)重定位的訓(xùn)練集優(yōu)化裝置，在一種可能的實(shí)現(xiàn)方式中，

所述第一尺寸為所述第一圖像在水平方向上的第一頂點(diǎn)和第二頂點(diǎn)之間的距離，所述第二尺寸為所述第一圖像在垂直方向上的第一頂點(diǎn)和第三頂點(diǎn)之間的距離；

所述水平視角為第一連線與第二連線之間的夾角，所述第一連線為所述第一頂點(diǎn)與所述第一坐標(biāo)系的原點(diǎn)之間的連線，所述第二連線為所述第二頂點(diǎn)與所述第一坐標(biāo)系的原點(diǎn)之間的連線；所述垂直視角為所述第一連線與第三連線之間的夾角，所述第三連線為所述第三頂點(diǎn)與所述第一坐標(biāo)系的原點(diǎn)之間的連線；

所述水平位移為所述第一圖像的幾何中心與所述第一點(diǎn)在水平方向上的距離，所述垂直位移為所述第一圖像的幾何中心與所述第一點(diǎn)在垂直方向上的距離。

對于所述的用于相機(jī)重定位的訓(xùn)練集優(yōu)化裝置，在一種可能的實(shí)現(xiàn)方式中，所述相機(jī)位移參數(shù)確定子模塊用于：

將所述第一圖像對應(yīng)的相機(jī)位移參數(shù)作為所述第二圖像對應(yīng)的相機(jī)位移參數(shù)。

根據(jù)本公開的第三方面，提供了一種用于相機(jī)重定位的訓(xùn)練集優(yōu)化裝置，包括：

處理器；

用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器；

其中，所述處理器被配置為：

從第一圖像中選取第一點(diǎn)，所述第一點(diǎn)不為所述第一圖像的幾何中心；

根據(jù)所述第一圖像和所述第一點(diǎn)，確定所述第一點(diǎn)對應(yīng)的第二圖像對應(yīng)的中心圖像塊和標(biāo)簽參數(shù)，其中，所述第二圖像的幾何中心為所述第一點(diǎn)，所述標(biāo)簽參數(shù)包括所述第二圖像對應(yīng)的相機(jī)姿態(tài)參數(shù)和相機(jī)位移參數(shù)；

將所述第二圖像對應(yīng)的中心圖像塊和標(biāo)簽參數(shù)加入訓(xùn)練集，所述訓(xùn)練集用于對相機(jī)重定位模型進(jìn)行訓(xùn)練。

根據(jù)本公開的第四方面，提供了一種非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，當(dāng)所述存儲(chǔ)介質(zhì)中的指令由終端和/或服務(wù)器的處理器執(zhí)行時(shí)，使得終端和/或服務(wù)器能夠執(zhí)行一種用于相機(jī)重定位的訓(xùn)練集優(yōu)化方法，所述方法包括：

從第一圖像中選取第一點(diǎn)，所述第一點(diǎn)不為所述第一圖像的幾何中心；

根據(jù)所述第一圖像和所述第一點(diǎn)，確定所述第一點(diǎn)對應(yīng)的第二圖像對應(yīng)的中心圖像塊和標(biāo)簽參數(shù)，其中，所述第二圖像的幾何中心為所述第一點(diǎn)，所述標(biāo)簽參數(shù)包括所述第二圖像對應(yīng)的相機(jī)姿態(tài)參數(shù)和相機(jī)位移參數(shù)；

將所述第二圖像對應(yīng)的中心圖像塊和標(biāo)簽參數(shù)加入訓(xùn)練集，所述訓(xùn)練集用于對相機(jī)重定位模型進(jìn)行訓(xùn)練。

本公開的用于相機(jī)重定位的訓(xùn)練集優(yōu)化方法及裝置，從第一圖像中選取第一點(diǎn)，第一點(diǎn)不為第一圖像的幾何中心，根據(jù)第一圖像和第一點(diǎn)，確定第一點(diǎn)對應(yīng)的第二圖像對應(yīng)的中心圖像塊和標(biāo)簽參數(shù)，將第二圖像對應(yīng)的中心圖像塊和標(biāo)簽參數(shù)加入訓(xùn)練集，訓(xùn)練集用于對相機(jī)重定位模型進(jìn)行訓(xùn)練，由此能夠?qū)崿F(xiàn)擴(kuò)展相機(jī)重定位模型的訓(xùn)練集，從而在相機(jī)重定位模型的訓(xùn)練過程中，降低相機(jī)重定位模型的過擬合現(xiàn)象，提高相機(jī)重定位模型的精度。

根據(jù)下面參考附圖對示例性實(shí)施例的詳細(xì)說明，本公開的其它特征及方面將變得清楚。

附圖說明

包含在說明書中并且構(gòu)成說明書的一部分的附圖與說明書一起示出了本公開的示例性實(shí)施例、特征和方面，并且用于解釋本公開的原理。

圖1是根據(jù)現(xiàn)有技術(shù)示出的相機(jī)重定位的坐標(biāo)系示意圖。

圖2是根據(jù)現(xiàn)有技術(shù)示出的七場景數(shù)據(jù)集中頭部場景下圖像姿態(tài)的分布示意圖。

圖3是根據(jù)現(xiàn)有技術(shù)示出的七場景數(shù)據(jù)集中頭部場景下圖像位移的分布示意圖。

圖4是根據(jù)本公開一實(shí)施例的用于相機(jī)重定位的訓(xùn)練集優(yōu)化方法的流程圖。

圖5是根據(jù)本公開一實(shí)施例的第一圖像和第二圖像在第一坐標(biāo)系中的一示例性的示意圖。

圖6是根據(jù)本公開一實(shí)施例的優(yōu)化后的訓(xùn)練集和測試集姿態(tài)分布的一示例性的示意圖。

圖7是根據(jù)一示例性實(shí)施例示出的一種用于相機(jī)重定位的訓(xùn)練集優(yōu)化方法中步驟S402的一示例性的流程圖。

圖8是根據(jù)本公開一實(shí)施例的用于相機(jī)重定位的訓(xùn)練集優(yōu)化裝置的框圖。

圖9是根據(jù)本公開一實(shí)施例的用于相機(jī)重定位的訓(xùn)練集優(yōu)化裝置的一示例性的框圖。

圖10是根據(jù)本公開一實(shí)施例的用于相機(jī)重定位的訓(xùn)練集優(yōu)化裝置的框圖。

具體實(shí)施方式

以下將參考附圖詳細(xì)說明本公開的各種示例性實(shí)施例、特征和方面。附圖中相同的附圖標(biāo)記表示功能相同或相似的元件。盡管在附圖中示出了實(shí)施例的各種方面，但是除非特別指出，不必按比例繪制附圖。

在這里專用的詞“示例性”意為“用作例子、實(shí)施例或說明性”。這里作為“示例性”所說明的任何實(shí)施例不必解釋為優(yōu)于或好于其它實(shí)施例。

另外，為了更好的說明本公開，在下文的具體實(shí)施方式中給出了眾多的具體細(xì)節(jié)。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，沒有某些具體細(xì)節(jié)，本公開同樣可以實(shí)施。在一些實(shí)例中，對于本領(lǐng)域技術(shù)人員熟知的方法、手段、元件和電路未作詳細(xì)描述，以便于凸顯本公開的主旨。

圖4是根據(jù)本公開一實(shí)施例的用于相機(jī)重定位的訓(xùn)練集優(yōu)化方法的流程圖。該用于相機(jī)重定位的訓(xùn)練集優(yōu)化方法可以用于優(yōu)化訓(xùn)練相機(jī)重定位模型的訓(xùn)練集。如圖4所示，該用于相機(jī)重定位的訓(xùn)練集優(yōu)化方法可以包括以下步驟。

在步驟S401中，從第一圖像中選取第一點(diǎn)，第一點(diǎn)不為第一圖像的幾何中心。

本實(shí)施例的第一圖像可以為訓(xùn)練集中的一張現(xiàn)有圖像，訓(xùn)練集可以用于訓(xùn)練并建立相機(jī)重定位模型。測試集可以用于對根據(jù)訓(xùn)練集建立的相機(jī)重定位模型進(jìn)行測試。訓(xùn)練集或測試集中的數(shù)據(jù)可以為預(yù)設(shè)格式，例如以圖像/圖像塊-標(biāo)簽的格式存在。其中，相機(jī)重定位模型的輸入可以為圖像或者從圖像中選取的圖像塊(例如中心圖像塊)。本實(shí)施例的中心圖像塊可以為從圖像中選取的且與圖像具有相同的幾何中心的圖像區(qū)域。相機(jī)重定位模型的輸出可以為相機(jī)在第一坐標(biāo)系中的標(biāo)簽參數(shù)。標(biāo)簽參數(shù)可以包括相機(jī)位移參數(shù)(Translation)和相機(jī)姿態(tài)參數(shù)(Orientation)。

本實(shí)施例不限制第一坐標(biāo)系的類型，例如第一坐標(biāo)系可以是世界坐標(biāo)系，也可以是圖像場景坐標(biāo)系。其中，世界坐標(biāo)系可以為絕對坐標(biāo)系，即在沒有建立用戶坐標(biāo)系之前圖像上所有點(diǎn)的坐標(biāo)都是以該坐標(biāo)系的原點(diǎn)來確定各自的位置的。圖像場景坐標(biāo)系可以為相對坐標(biāo)系，即可以為根據(jù)用戶設(shè)置的原點(diǎn)和方向建立的坐標(biāo)系。

本實(shí)施例不限制從第一圖像中選取第一點(diǎn)的方式，只要第一點(diǎn)為第一圖像中不屬于幾何中心的點(diǎn)即可。其中，圖像的幾何中心可以為圖像對角線的交點(diǎn)，即第一圖像的幾何中心可以為第一圖像對角線的交點(diǎn)。

在步驟S402中，根據(jù)第一圖像和第一點(diǎn)，確定第一點(diǎn)對應(yīng)的第二圖像對應(yīng)的中心圖像塊和標(biāo)簽參數(shù)，其中，第二圖像的幾何中心為第一點(diǎn)，標(biāo)簽參數(shù)包括第二圖像對應(yīng)的相機(jī)姿態(tài)參數(shù)和相機(jī)位移參數(shù)。

本實(shí)施例的第二圖像可以為根據(jù)第一圖像而虛擬的圖像。圖5是根據(jù)本公開一實(shí)施例的第一圖像和第二圖像在第一坐標(biāo)系中的一示例性的示意圖。作為本實(shí)施例的一個(gè)示例，如圖5所示，在第一坐標(biāo)系中，若圖像1為第一圖像，則點(diǎn)A可以為圖像1的幾何中心。點(diǎn)B可以為從第一圖像中選取的第一點(diǎn)，其中，點(diǎn)B與點(diǎn)A不重合。根據(jù)點(diǎn)B可以確定第一點(diǎn)對應(yīng)的第二圖像，即圖像2，其中，點(diǎn)C可以為圖像2的幾何中心，點(diǎn)B和點(diǎn)C重合。

在一種可能的實(shí)現(xiàn)方式中，根據(jù)第一圖像和第一點(diǎn)，確定第一點(diǎn)對應(yīng)的第二圖像對應(yīng)的中心圖像塊(步驟S402)可以包括：以第一點(diǎn)為幾何中心從第一圖像中選取第一圖像塊；將第一圖像塊作為第二圖像對應(yīng)的中心圖像塊。

如圖5所示，圖像1的中心圖像塊可以為點(diǎn)A所處的圖像塊3，圖像2的中心圖像塊可以為點(diǎn)C所處的圖像塊4。從圖像塊3到圖像塊4的移動(dòng)可以視作為將圖像塊3繞著相機(jī)的X軸和Y軸進(jìn)行旋轉(zhuǎn)操作而實(shí)現(xiàn)的。通過該旋轉(zhuǎn)操作，可以使得現(xiàn)有的圖像1的圖像塊3移動(dòng)到虛擬的圖像2的圖像塊4。

本實(shí)施例的第一圖像塊可以為以第一點(diǎn)作為幾何中心從第一圖像中選取的圖像塊。第一圖像塊可以與第一圖像的中心圖像塊具有相同的形狀和面積。作為本實(shí)施例的一個(gè)示例，圖像塊5可以為圖像1中的以點(diǎn)B作為幾何中心的圖像塊。在本實(shí)施例中，通過忽略圖像塊4和圖像塊5之間的差異，可以假設(shè)圖像塊4可以由圖像塊5近似得到。換言之，圖像塊4的相機(jī)姿態(tài)參數(shù)和圖像塊5的相機(jī)姿態(tài)參數(shù)可以近似相同，而圖像塊5的相機(jī)姿態(tài)參數(shù)可以通過其相對于圖像塊3的位移來計(jì)算得到。

需要說明的是，本實(shí)施例并不限制從第一圖像中選取第一圖像塊的方式。在本實(shí)施例中，只要第一圖像塊沒有超出第一圖像的邊界，即第一圖像塊可以在第一圖像中選取到，就可以將第一圖像塊近似為某一個(gè)第二圖像對應(yīng)的中心圖像塊。

在一種可能的實(shí)現(xiàn)方式中，根據(jù)第一圖像和第一點(diǎn)，確定第一點(diǎn)對應(yīng)的第二圖像對應(yīng)的標(biāo)簽參數(shù)(步驟S402)可以包括：根據(jù)第一圖像和第一點(diǎn)，確定第二圖像對應(yīng)的相機(jī)姿態(tài)參數(shù)；根據(jù)第一圖像，確定第二圖像對應(yīng)的相機(jī)位移參數(shù)。

需要說明的是，本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)能夠理解，若從第一圖像中選取不同的第一點(diǎn)，則可以確定多個(gè)不同的虛擬的第二圖像。通過這種近似方式，可以假設(shè)第一圖像所選取的各個(gè)不同第一點(diǎn)對應(yīng)的圖像塊都能夠?qū)?yīng)于另一張?zhí)摂M的圖像的中心圖像塊。在相機(jī)重定位模型的訓(xùn)練過程中，可以將某一圖像的中心圖像塊作為輸入，將該圖像的相機(jī)姿態(tài)參數(shù)和相機(jī)位移參數(shù)作為輸出，從而進(jìn)行相機(jī)重定位模型的訓(xùn)練。

在步驟S403中，將第二圖像對應(yīng)的中心圖像塊和標(biāo)簽參數(shù)加入訓(xùn)練集，該訓(xùn)練集用于對相機(jī)重定位模型進(jìn)行訓(xùn)練。

圖6是根據(jù)本公開一實(shí)施例的用于相機(jī)重定位的訓(xùn)練集優(yōu)化方法訓(xùn)練集和測試集姿態(tài)分布的一示例性的示意圖。如圖6所示，本實(shí)施例的用于相機(jī)重定位的訓(xùn)練集優(yōu)化方法能夠?qū)崿F(xiàn)擴(kuò)展相機(jī)重定位模型的訓(xùn)練集，從而在相機(jī)重定位模型的訓(xùn)練過程中，降低相機(jī)重定位模型的過擬合現(xiàn)象，提高相機(jī)重定位模型的精度。

圖7是根據(jù)一示例性實(shí)施例示出的一種用于相機(jī)重定位的訓(xùn)練集優(yōu)化方法中步驟S402的一示例性的流程圖。如圖7所示，根據(jù)第一圖像和第一點(diǎn)，確定第二圖像對應(yīng)的相機(jī)姿態(tài)參數(shù)，包括：

在步驟S701中，獲取第一圖像的第一尺寸和第二尺寸。

在一種可能的實(shí)現(xiàn)方式中，第一尺寸為第一圖像在水平方向上的第一頂點(diǎn)和第二頂點(diǎn)之間的距離，第二尺寸為第一圖像在垂直方向上的第一頂點(diǎn)和第三頂點(diǎn)之間的距離。

作為本實(shí)施例的一個(gè)示例，如圖5所示，若圖像1為第一圖像，點(diǎn)P可以為圖像1在水平方向上的第一頂點(diǎn)，點(diǎn)Q可以為圖像1在水平方向上的第二頂點(diǎn)，則圖像1的第一尺寸可以為點(diǎn)P和點(diǎn)Q之間的距離，即W。點(diǎn)P也可以為圖像1在垂直方向上的第一頂點(diǎn)，點(diǎn)G可以為圖像1在垂直方向上的第三頂點(diǎn)，則圖像1的第二尺寸可以為點(diǎn)P和點(diǎn)G之間的距離，即H。

在步驟S702中，獲取第一圖像在第一坐標(biāo)系中的水平視角和垂直視角。

在一種可能的實(shí)現(xiàn)方式中，該水平視角為第一連線與第二連線之間的夾角，第一連線為第一頂點(diǎn)與第一坐標(biāo)系的原點(diǎn)之間的連線，第二連線為第二頂點(diǎn)與第一坐標(biāo)系的原點(diǎn)之間的連線；該垂直視角為第一連線與第三連線之間的夾角，第三連線為第三頂點(diǎn)與第一坐標(biāo)系的原點(diǎn)之間的連線。

作為本實(shí)施例的一個(gè)示例，如圖5所示，若圖像1為第一圖像，PO為點(diǎn)P(第一頂點(diǎn))與點(diǎn)O(第一坐標(biāo)系的原點(diǎn))之間的連線，即PO為第一連線，QO為點(diǎn)Q(第二頂點(diǎn))與點(diǎn)O之間的連線，即QO為第二連線，則圖像1在第一坐標(biāo)系中的水平視角可以為PO和QO之間的夾角，即V_h。GO為點(diǎn)G(第三頂點(diǎn))與點(diǎn)O之間的連線，即GO為第三連線，則圖像1在第一坐標(biāo)系中的垂直視角可以為PO和GO之間的夾角，即V_v。

在步驟S703中，確定第一圖像的幾何中心與第一點(diǎn)之間的水平位移和垂直位移。

在一種可能的實(shí)現(xiàn)方式中，該水平位移為第一圖像的幾何中心與第一點(diǎn)在水平方向上的距離，該垂直位移為第一圖像的幾何中心與第一點(diǎn)在垂直方向上的距離。

作為本實(shí)施例的一個(gè)示例，如圖5所示，若圖像1為第一圖像，點(diǎn)A為圖像1的幾何中心，點(diǎn)B為第一點(diǎn)，則圖像1的幾何中心與第一點(diǎn)在水平方向上的距離可以為點(diǎn)A與點(diǎn)B在水平方向上的距離，即Δx，圖像1的幾何中心與第一點(diǎn)在垂直方向上的距離可以為點(diǎn)A與點(diǎn)B在垂直方向上的距離，即Δy。

在步驟S704中，根據(jù)第一尺寸、第二尺寸、該水平視角、該垂直視角、該水平位移和該垂直位移，確定從第一圖像對應(yīng)的相機(jī)姿態(tài)旋轉(zhuǎn)到第二圖像對應(yīng)的相機(jī)姿態(tài)所進(jìn)行的旋轉(zhuǎn)操作的歐拉角。

在一種可能的實(shí)現(xiàn)方式中，采用式1至式3確定該歐拉角

其中，表示該歐拉角的自轉(zhuǎn)角，表示該歐拉角的章動(dòng)角，Δx表示該水平位移，W表示第一尺寸，V_h表示該水平視角，表示該歐拉角的旋進(jìn)角，Δy表示該垂直位移，H表示第二尺寸，V_v表示該垂直視角。

在步驟S705中，根據(jù)第一圖像對應(yīng)的相機(jī)姿態(tài)參數(shù)和該歐拉角，確定第二圖像對應(yīng)的相機(jī)姿態(tài)參數(shù)。

在一種可能的實(shí)現(xiàn)方式中，根據(jù)第一圖像，確定第二圖像對應(yīng)的相機(jī)位移參數(shù)，包括：將第一圖像對應(yīng)的相機(jī)位移參數(shù)作為第二圖像對應(yīng)的相機(jī)位移參數(shù)。

本實(shí)施例的用于相機(jī)重定位的訓(xùn)練集優(yōu)化方法使得訓(xùn)練集(包括相機(jī)姿態(tài)參數(shù)和相機(jī)位移參數(shù))在第一坐標(biāo)系中的分布變得稠密，實(shí)現(xiàn)了擴(kuò)展相機(jī)重定位模型的訓(xùn)練集，即實(shí)現(xiàn)了相機(jī)重定位模型的訓(xùn)練集的樣本數(shù)據(jù)增廣，從而在相機(jī)重定位模型的訓(xùn)練過程中，降低相機(jī)重定位模型的過擬合現(xiàn)象，提高相機(jī)重定位模型的精度。

圖8是根據(jù)本公開一實(shí)施例的用于相機(jī)重定位的訓(xùn)練集優(yōu)化裝置的框圖。參照圖8，該裝置包括選取模塊11、確定模塊13和添加模塊15。

其中，選取模塊11，用于從第一圖像中選取第一點(diǎn)，所述第一點(diǎn)不為所述第一圖像的幾何中心；確定模塊13，用于根據(jù)所述第一圖像和所述第一點(diǎn)，確定所述第一點(diǎn)對應(yīng)的第二圖像對應(yīng)的中心圖像塊和標(biāo)簽參數(shù)，其中，所述第二圖像的幾何中心為所述第一點(diǎn)，所述標(biāo)簽參數(shù)包括所述第二圖像對應(yīng)的相機(jī)姿態(tài)參數(shù)和相機(jī)位移參數(shù)；添加模塊15，用于將所述第二圖像對應(yīng)的中心圖像塊和標(biāo)簽參數(shù)加入訓(xùn)練集，所述訓(xùn)練集用于對相機(jī)重定位模型進(jìn)行訓(xùn)練。。

圖9是根據(jù)本公開一實(shí)施例的用于相機(jī)重定位的訓(xùn)練集優(yōu)化裝置的一示例性的框圖。

在一種可能的實(shí)現(xiàn)方式中，參照圖9，所述確定模塊13包括中心圖像塊確定子模塊131，所述中心圖像塊確定子模塊131包括：第一圖像塊選取子模塊，用于以所述第一點(diǎn)為幾何中心從所述第一圖像中選取第一圖像塊；第一確定子模塊，用于將所述第一圖像塊作為所述第二圖像對應(yīng)的中心圖像塊。

在一種可能的實(shí)現(xiàn)方式中，參照圖9，所述確定模塊13包括標(biāo)簽參數(shù)確定子模塊133，所述標(biāo)簽參數(shù)確定子模塊133包括：相機(jī)姿態(tài)參數(shù)確定子模塊，用于根據(jù)所述第一圖像和所述第一點(diǎn)，確定所述第二圖像對應(yīng)的相機(jī)姿態(tài)參數(shù)；相機(jī)位移參數(shù)確定子模塊，用于根據(jù)所述第一圖像，確定所述第二圖像對應(yīng)的相機(jī)位移參數(shù)。

在一種可能的實(shí)現(xiàn)方式中，所述相機(jī)姿態(tài)參數(shù)確定子模塊包括：第一獲取子模塊，用于獲取所述第一圖像的第一尺寸和第二尺寸；第二獲取子模塊，用于獲取所述第一圖像在第一坐標(biāo)系中的水平視角和垂直視角；位移確定子模塊，用于確定所述第一圖像的幾何中心與所述第一點(diǎn)之間的水平位移和垂直位移；歐拉角確定子模塊，用于根據(jù)所述第一尺寸、所述第二尺寸、所述水平視角、所述垂直視角、所述水平位移和所述垂直位移，確定從所述第一圖像對應(yīng)的相機(jī)姿態(tài)旋轉(zhuǎn)到所述第二圖像對應(yīng)的相機(jī)姿態(tài)所進(jìn)行的旋轉(zhuǎn)操作的歐拉角；第二確定子模塊，用于根據(jù)所述第一圖像對應(yīng)的相機(jī)姿態(tài)參數(shù)和所述歐拉角，確定所述第二圖像對應(yīng)的相機(jī)姿態(tài)參數(shù)。

在一種可能的實(shí)現(xiàn)方式中，所述歐拉角確定子模塊用于：

采用式1至式3確定所述歐拉角

其中，表示所述歐拉角的自轉(zhuǎn)角，表示所述歐拉角的章動(dòng)角，表示所述歐拉角的旋進(jìn)角，Δx表示所述水平位移，W表示所述第一尺寸，V_h表示所述水平視角，Δy表示所述垂直位移，H表示所述第二尺寸，V_v表示所述垂直視角。

在一種可能的實(shí)現(xiàn)方式中，所述第一尺寸為所述第一圖像在水平方向上的第一頂點(diǎn)和第二頂點(diǎn)之間的距離，所述第二尺寸為所述第一圖像在垂直方向上的第一頂點(diǎn)和第三頂點(diǎn)之間的距離；所述水平視角為第一連線與第二連線之間的夾角，所述第一連線為所述第一頂點(diǎn)與所述第一坐標(biāo)系的原點(diǎn)之間的連線，所述第二連線為所述第二頂點(diǎn)與所述第一坐標(biāo)系的原點(diǎn)之間的連線；所述垂直視角為所述第一連線與第三連線之間的夾角，所述第三連線為所述第三頂點(diǎn)與所述第一坐標(biāo)系的原點(diǎn)之間的連線；所述水平位移為所述第一圖像的幾何中心與所述第一點(diǎn)在水平方向上的距離，所述垂直位移為所述第一圖像的幾何中心與所述第一點(diǎn)在垂直方向上的距離。

在一種可能的實(shí)現(xiàn)方式中，所述相機(jī)位移參數(shù)確定子模塊用于將所述第一圖像對應(yīng)的相機(jī)位移參數(shù)作為所述第二圖像對應(yīng)的相機(jī)位移參數(shù)。

本實(shí)施例的用于相機(jī)重定位的訓(xùn)練集優(yōu)化裝置使得訓(xùn)練集(包括相機(jī)姿態(tài)參數(shù)和相機(jī)位移參數(shù))在第一坐標(biāo)系中的分布變得稠密，實(shí)現(xiàn)了擴(kuò)展相機(jī)重定位模型的訓(xùn)練集，即實(shí)現(xiàn)了相機(jī)重定位模型的訓(xùn)練集的樣本數(shù)據(jù)增廣，從而在相機(jī)重定位模型的訓(xùn)練過程中，降低相機(jī)重定位模型的過擬合現(xiàn)象，提高相機(jī)重定位模型的精度。

圖10是根據(jù)本公開一實(shí)施例的用于相機(jī)重定位的訓(xùn)練集優(yōu)化裝置的框圖。例如，裝置800可以是相機(jī)，計(jì)算機(jī)，數(shù)字廣播終端，消息收發(fā)設(shè)備，游戲控制臺(tái)，平板設(shè)備，醫(yī)療設(shè)備，健身設(shè)備，個(gè)人數(shù)字助理等具有拍攝功能的設(shè)備。

參照圖10，裝置800可以包括以下一個(gè)或多個(gè)組件：處理組件802，存儲(chǔ)器804，電源組件806，多媒體組件808，音頻組件810，輸入/輸出(I/O)的接口812，傳感器組件814，以及通信組件816。

處理組件802通常控制裝置800的整體操作，諸如與顯示，電話呼叫，數(shù)據(jù)通信，相機(jī)操作和記錄操作相關(guān)聯(lián)的操作。處理組件802可以包括一個(gè)或多個(gè)處理器820來執(zhí)行指令，以完成上述的方法的全部或部分步驟。此外，處理組件802可以包括一個(gè)或多個(gè)模塊，便于處理組件802和其他組件之間的交互。例如，處理組件802可以包括多媒體模塊，以方便多媒體組件808和處理組件802之間的交互。

存儲(chǔ)器804被配置為存儲(chǔ)各種類型的數(shù)據(jù)以支持在裝置800的操作。這些數(shù)據(jù)的示例包括用于在裝置800上操作的任何應(yīng)用程序或方法的指令，聯(lián)系人數(shù)據(jù)，電話簿數(shù)據(jù)，消息，圖像，視頻等。存儲(chǔ)器804可以由任何類型的易失性或非易失性存儲(chǔ)設(shè)備或者它們的組合實(shí)現(xiàn)，如靜態(tài)隨機(jī)存取存儲(chǔ)器(SRAM)，電可擦除可編程只讀存儲(chǔ)器(EEPROM)，可擦除可編程只讀存儲(chǔ)器(EPROM)，可編程只讀存儲(chǔ)器(PROM)，只讀存儲(chǔ)器(ROM)，磁存儲(chǔ)器，快閃存儲(chǔ)器，磁盤或光盤。

電源組件806為裝置800的各種組件提供電力。電源組件806可以包括電源管理系統(tǒng)，一個(gè)或多個(gè)電源，及其他與為裝置800生成、管理和分配電力相關(guān)聯(lián)的組件。

多媒體組件808包括在所述裝置800和用戶之間的提供一個(gè)輸出接口的屏幕。在一些實(shí)施例中，屏幕可以包括液晶顯示器(LCD)和觸摸面板(TP)。如果屏幕包括觸摸面板，屏幕可以被實(shí)現(xiàn)為觸摸屏，以接收來自用戶的輸入信號(hào)。觸摸面板包括一個(gè)或多個(gè)觸摸傳感器以感測觸摸、滑動(dòng)和觸摸面板上的手勢。所述觸摸傳感器可以不僅感測觸摸或滑動(dòng)動(dòng)作的邊界，而且還檢測與所述觸摸或滑動(dòng)操作相關(guān)的持續(xù)時(shí)間和壓力。在一些實(shí)施例中，多媒體組件808包括一個(gè)前置攝像頭和/或后置攝像頭。當(dāng)裝置800處于操作模式，如拍攝模式或視頻模式時(shí)，前置攝像頭和/或后置攝像頭可以接收外部的多媒體數(shù)據(jù)。每個(gè)前置攝像頭和后置攝像頭可以是一個(gè)固定的光學(xué)透鏡系統(tǒng)或具有焦距和光學(xué)變焦能力。

音頻組件810被配置為輸出和/或輸入音頻信號(hào)。例如，音頻組件810包括一個(gè)麥克風(fēng)(MIC)，當(dāng)裝置800處于操作模式，如呼叫模式、記錄模式和語音識(shí)別模式時(shí)，麥克風(fēng)被配置為接收外部音頻信號(hào)。所接收的音頻信號(hào)可以被進(jìn)一步存儲(chǔ)在存儲(chǔ)器804或經(jīng)由通信組件816發(fā)送。在一些實(shí)施例中，音頻組件810還包括一個(gè)揚(yáng)聲器，用于輸出音頻信號(hào)。

I/O接口812為處理組件802和外圍接口模塊之間提供接口，上述外圍接口模塊可以是鍵盤，點(diǎn)擊輪，按鈕等。這些按鈕可包括但不限于：主頁按鈕、音量按鈕、啟動(dòng)按鈕和鎖定按鈕。

傳感器組件814包括一個(gè)或多個(gè)傳感器，用于為裝置800提供各個(gè)方面的狀態(tài)評(píng)估。例如，傳感器組件814可以檢測到裝置800的打開/關(guān)閉狀態(tài)，組件的相對定位，例如所述組件為裝置800的顯示器和小鍵盤，傳感器組件814還可以檢測裝置800或裝置800一個(gè)組件的位置改變，用戶與裝置800接觸的存在或不存在，裝置800方位或加速/減速和裝置800的溫度變化。傳感器組件814可以包括接近傳感器，被配置用來在沒有任何的物理接觸時(shí)檢測附近物體的存在。傳感器組件814還可以包括光傳感器，如CMOS或CCD圖像傳感器，用于在成像應(yīng)用中使用。在一些實(shí)施例中，該傳感器組件814還可以包括加速度傳感器，陀螺儀傳感器，磁傳感器，壓力傳感器或溫度傳感器。

通信組件816被配置為便于裝置800和其他設(shè)備之間有線或無線方式的通信。裝置800可以接入基于通信標(biāo)準(zhǔn)的無線網(wǎng)絡(luò)，如WiFi，2G或3G，或它們的組合。在一個(gè)示例性實(shí)施例中，通信組件816經(jīng)由廣播信道接收來自外部廣播管理系統(tǒng)的廣播信號(hào)或廣播相關(guān)信息。在一個(gè)示例性實(shí)施例中，所述通信組件816還包括近場通信(NFC)模塊，以促進(jìn)短程通信。例如，在NFC模塊可基于射頻識(shí)別(RFID)技術(shù)，紅外數(shù)據(jù)協(xié)會(huì)(IrDA)技術(shù)，超寬帶(UWB)技術(shù)，藍(lán)牙(BT)技術(shù)和其他技術(shù)來實(shí)現(xiàn)。

在示例性實(shí)施例中，裝置800可以被一個(gè)或多個(gè)應(yīng)用專用集成電路(ASIC)、數(shù)字信號(hào)處理器(DSP)、數(shù)字信號(hào)處理設(shè)備(DSPD)、可編程邏輯器件(PLD)、現(xiàn)場可編程門陣列(FPGA)、控制器、微控制器、微處理器或其他電子元件實(shí)現(xiàn)，用于執(zhí)行上述方法。

在示例性實(shí)施例中，還提供了一種包括指令的非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，例如包括指令的存儲(chǔ)器804，上述指令可由裝置800的處理器820執(zhí)行以完成上述方法。

本公開可以是系統(tǒng)、方法和/或計(jì)算機(jī)程序產(chǎn)品。計(jì)算機(jī)程序產(chǎn)品可以包括計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上載有用于使處理器實(shí)現(xiàn)本公開的各個(gè)方面的計(jì)算機(jī)可讀程序指令。

計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是可以保持和存儲(chǔ)由指令執(zhí)行設(shè)備使用的指令的有形設(shè)備。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)例如可以是――但不限于――電存儲(chǔ)設(shè)備、磁存儲(chǔ)設(shè)備、光存儲(chǔ)設(shè)備、電磁存儲(chǔ)設(shè)備、半導(dǎo)體存儲(chǔ)設(shè)備或者上述的任意合適的組合。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的更具體的例子(非窮舉的列表)包括：便攜式計(jì)算機(jī)盤、硬盤、隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、可擦式可編程只讀存儲(chǔ)器(EPROM或閃存)、靜態(tài)隨機(jī)存取存儲(chǔ)器(SRAM)、便攜式壓縮盤只讀存儲(chǔ)器(CD-ROM)、數(shù)字多功能盤(DVD)、記憶棒、軟盤、機(jī)械編碼設(shè)備、例如其上存儲(chǔ)有指令的打孔卡或凹槽內(nèi)凸起結(jié)構(gòu)、以及上述的任意合適的組合。這里所使用的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)不被解釋為瞬時(shí)信號(hào)本身，諸如無線電波或者其他自由傳播的電磁波、通過波導(dǎo)或其他傳輸媒介傳播的電磁波(例如，通過光纖電纜的光脈沖)、或者通過電線傳輸?shù)碾娦盘?hào)。

這里所描述的計(jì)算機(jī)可讀程序指令可以從計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)下載到各個(gè)計(jì)算/處理設(shè)備，或者通過網(wǎng)絡(luò)、例如因特網(wǎng)、局域網(wǎng)、廣域網(wǎng)和/或無線網(wǎng)下載到外部計(jì)算機(jī)或外部存儲(chǔ)設(shè)備。網(wǎng)絡(luò)可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火墻、交換機(jī)、網(wǎng)關(guān)計(jì)算機(jī)和/或邊緣服務(wù)器。每個(gè)計(jì)算/處理設(shè)備中的網(wǎng)絡(luò)適配卡或者網(wǎng)絡(luò)接口從網(wǎng)絡(luò)接收計(jì)算機(jī)可讀程序指令，并轉(zhuǎn)發(fā)該計(jì)算機(jī)可讀程序指令，以供存儲(chǔ)在各個(gè)計(jì)算/處理設(shè)備中的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中。

用于執(zhí)行本公開操作的計(jì)算機(jī)程序指令可以是匯編指令、指令集架構(gòu)(ISA)指令、機(jī)器指令、機(jī)器相關(guān)指令、微代碼、固件指令、狀態(tài)設(shè)置數(shù)據(jù)、或者以一種或多種編程語言的任意組合編寫的源代碼或目標(biāo)代碼，所述編程語言包括面向?qū)ο蟮木幊陶Z言—諸如Smalltalk、C++等，以及常規(guī)的過程式編程語言—諸如“C”語言或類似的編程語言。計(jì)算機(jī)可讀程序指令可以完全地在用戶計(jì)算機(jī)上執(zhí)行、部分地在用戶計(jì)算機(jī)上執(zhí)行、作為一個(gè)獨(dú)立的軟件包執(zhí)行、部分在用戶計(jì)算機(jī)上部分在遠(yuǎn)程計(jì)算機(jī)上執(zhí)行、或者完全在遠(yuǎn)程計(jì)算機(jī)或服務(wù)器上執(zhí)行。在涉及遠(yuǎn)程計(jì)算機(jī)的情形中，遠(yuǎn)程計(jì)算機(jī)可以通過任意種類的網(wǎng)絡(luò)—包括局域網(wǎng)(LAN)或廣域網(wǎng)(WAN)—連接到用戶計(jì)算機(jī)，或者，可以連接到外部計(jì)算機(jī)(例如利用因特網(wǎng)服務(wù)提供商來通過因特網(wǎng)連接)。在一些實(shí)施例中，通過利用計(jì)算機(jī)可讀程序指令的狀態(tài)信息來個(gè)性化定制電子電路，例如可編程邏輯電路、現(xiàn)場可編程門陣列(FPGA)或可編程邏輯陣列(PLA)，該電子電路可以執(zhí)行計(jì)算機(jī)可讀程序指令，從而實(shí)現(xiàn)本公開的各個(gè)方面。

這里參照根據(jù)本公開實(shí)施例的方法、裝置(系統(tǒng))和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或框圖描述了本公開的各個(gè)方面。應(yīng)當(dāng)理解，流程圖和/或框圖的每個(gè)方框以及流程圖和/或框圖中各方框的組合，都可以由計(jì)算機(jī)可讀程序指令實(shí)現(xiàn)。

這些計(jì)算機(jī)可讀程序指令可以提供給通用計(jì)算機(jī)、專用計(jì)算機(jī)或其它可編程數(shù)據(jù)處理裝置的處理器，從而生產(chǎn)出一種機(jī)器，使得這些指令在通過計(jì)算機(jī)或其它可編程數(shù)據(jù)處理裝置的處理器執(zhí)行時(shí)，產(chǎn)生了實(shí)現(xiàn)流程圖和/或框圖中的一個(gè)或多個(gè)方框中規(guī)定的功能/動(dòng)作的裝置。也可以把這些計(jì)算機(jī)可讀程序指令存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，這些指令使得計(jì)算機(jī)、可編程數(shù)據(jù)處理裝置和/或其他設(shè)備以特定方式工作，從而，存儲(chǔ)有指令的計(jì)算機(jī)可讀介質(zhì)則包括一個(gè)制造品，其包括實(shí)現(xiàn)流程圖和/或框圖中的一個(gè)或多個(gè)方框中規(guī)定的功能/動(dòng)作的各個(gè)方面的指令。

也可以把計(jì)算機(jī)可讀程序指令加載到計(jì)算機(jī)、其它可編程數(shù)據(jù)處理裝置、或其它設(shè)備上，使得在計(jì)算機(jī)、其它可編程數(shù)據(jù)處理裝置或其它設(shè)備上執(zhí)行一系列操作步驟，以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的過程，從而使得在計(jì)算機(jī)、其它可編程數(shù)據(jù)處理裝置、或其它設(shè)備上執(zhí)行的指令實(shí)現(xiàn)流程圖和/或框圖中的一個(gè)或多個(gè)方框中規(guī)定的功能/動(dòng)作。

附圖中的流程圖和框圖顯示了根據(jù)本公開的多個(gè)實(shí)施例的系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品的可能實(shí)現(xiàn)的體系架構(gòu)、功能和操作。在這點(diǎn)上，流程圖或框圖中的每個(gè)方框可以代表一個(gè)模塊、程序段或指令的一部分，所述模塊、程序段或指令的一部分包含一個(gè)或多個(gè)用于實(shí)現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。在有些作為替換的實(shí)現(xiàn)中，方框中所標(biāo)注的功能也可以以不同于附圖中所標(biāo)注的順序發(fā)生。例如，兩個(gè)連續(xù)的方框?qū)嶋H上可以基本并行地執(zhí)行，它們有時(shí)也可以按相反的順序執(zhí)行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個(gè)方框、以及框圖和/或流程圖中的方框的組合，可以用執(zhí)行規(guī)定的功能或動(dòng)作的專用的基于硬件的系統(tǒng)來實(shí)現(xiàn)，或者可以用專用硬件與計(jì)算機(jī)指令的組合來實(shí)現(xiàn)。

以上已經(jīng)描述了本公開的各實(shí)施例，上述說明是示例性的，并非窮盡性的，并且也不限于所披露的各實(shí)施例。在不偏離所說明的各實(shí)施例的范圍和精神的情況下，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說許多修改和變更都是顯而易見的。本文中所用術(shù)語的選擇，旨在最好地解釋各實(shí)施例的原理、實(shí)際應(yīng)用或?qū)κ袌鲋械募夹g(shù)的技術(shù)改進(jìn)，或者使本技術(shù)領(lǐng)域的其它普通技術(shù)人員能理解本文披露的各實(shí)施例。