用于用戶終端的全景圖像生成方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種用于用戶終端的全景圖像生成方法和裝置。
【背景技術(shù)】
[0002]全景圖可以通過(guò)廣角拍攝獲取，但受限于拍攝硬件，更多的全景圖是由多張圖像拼接得到，以盡可能多表現(xiàn)出周圍的環(huán)境?，F(xiàn)有技術(shù)中通常采用如下幾種方式由多個(gè)圖像拼接得到全景圖像:一種是通用拼接方法，該方法使用尺度不變特征轉(zhuǎn)換(Scale-1nvariant feature transform，SIFT)特征和光束法平差(bundle adjustment)優(yōu)化進(jìn)行圖像拼接，另一種是針對(duì)手機(jī)的拼接方法，可分為使用手機(jī)內(nèi)置的傳感器記錄手機(jī)運(yùn)行軌跡加速圖像拼接，以及，通過(guò)對(duì)重疊區(qū)域進(jìn)行顏色和光照補(bǔ)償，以提高拼接的圖像質(zhì)量。
[0003]但是，現(xiàn)有的通用拼接方法和現(xiàn)有的針對(duì)手機(jī)的拼接方法拼接速度都比較慢。

【發(fā)明內(nèi)容】

[0004]本發(fā)明旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問(wèn)題之一。
[0005]為此，本發(fā)明的一個(gè)目的在于提出一種用于用戶終端的全景圖像生成方法，該方法可以提高圖像拼接速度。
[0006]本發(fā)明的另一個(gè)目的在于提出一種用于用戶終端的全景圖像生成裝置。
[0007]為達(dá)到上述目的，本發(fā)明第一方面實(shí)施例提出的用于用戶終端的全景圖像生成方法，包括:獲取用戶終端拍攝的多張圖像，確定多張圖像之間的相鄰關(guān)系，并對(duì)相鄰圖像進(jìn)行特征匹配，獲取匹配的特征點(diǎn)對(duì)；根據(jù)所述匹配的特征點(diǎn)對(duì)和初始相機(jī)參數(shù)，得到優(yōu)化后的相機(jī)參數(shù)；對(duì)相鄰圖像進(jìn)行顏色調(diào)整，得到顏色調(diào)整后的相鄰圖像；根據(jù)所述優(yōu)化后的相機(jī)參數(shù)，對(duì)所述顏色調(diào)整后的相鄰圖像進(jìn)行拼接，生成全景圖。
[0008]本發(fā)明第一方面實(shí)施例提出的用于用戶終端的全景圖像生成方法，通過(guò)確定多張圖像之間的相鄰關(guān)系，并對(duì)相鄰圖像進(jìn)行特征提取，可以滿足準(zhǔn)確度要求并可以降低特征提取的工作量，從而可以提高圖像拼接速度。
[0009]為達(dá)到上述目的，本發(fā)明第二方面實(shí)施例提出的用于用戶終端的全景圖像生成裝置，包括:匹配模塊，用于獲取用戶終端拍攝的多張圖像，確定多張圖像之間的相鄰關(guān)系，并對(duì)相鄰圖像進(jìn)行特征匹配，獲取匹配的特征點(diǎn)對(duì)；優(yōu)化模塊，用于根據(jù)所述匹配的特征點(diǎn)對(duì)和初始相機(jī)參數(shù)，得到優(yōu)化后的相機(jī)參數(shù)；調(diào)整模塊，用于對(duì)相鄰圖像進(jìn)行顏色調(diào)整，得到顏色調(diào)整后的相鄰圖像；拼接模塊，用于根據(jù)所述優(yōu)化后的相機(jī)參數(shù)，對(duì)所述顏色調(diào)整后的相鄰圖像進(jìn)行拼接，生成全景圖。
[0010]本發(fā)明第二方面實(shí)施例提出的用于用戶終端的全景圖像生成裝置，通過(guò)確定多張圖像之間的相鄰關(guān)系，并對(duì)相鄰圖像進(jìn)行特征提取，可以滿足準(zhǔn)確度要求并可以降低特征提取的工作量，從而可以提高圖像拼接速度。
[0011]本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過(guò)本發(fā)明的實(shí)踐了解到。
【附圖說(shuō)明】
[0012]本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中:
[0013]圖1是本發(fā)明一實(shí)施例提出的用于用戶終端的全景圖像生成方法的流程示意圖；
[0014]圖2是本發(fā)明實(shí)施例中Sll的流程示意圖；
[0015]圖3是本發(fā)明實(shí)施例中S12的流程示意圖；
[0016]圖4是本發(fā)明實(shí)施例中S13的流程示意圖；
[0017]圖5是本發(fā)明實(shí)施例中S14的流程示意圖；
[0018]圖6a是本發(fā)明實(shí)施例中進(jìn)行拼接的圖像的示意圖；
[0019]圖6b是本發(fā)明實(shí)施例中圖像對(duì)應(yīng)的mask圖的示意圖；
[0020]圖6c是本發(fā)明實(shí)施例中拼接后的全景圖的示意圖；
[0021]圖7是本發(fā)明另一實(shí)施例提出的用于用戶終端的全景圖像生成裝置的結(jié)構(gòu)示意圖；
[0022]圖8是本發(fā)明另一實(shí)施例提出的用于用戶終端的全景圖像生成裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0023]下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的模塊或具有相同或類似功能的模塊。下面通過(guò)參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對(duì)本發(fā)明的限制。相反，本發(fā)明的實(shí)施例包括落入所附加權(quán)利要求書的精神和內(nèi)涵范圍內(nèi)的所有變化、修改和等同物。
[0024]圖1是本發(fā)明一實(shí)施例提出的用于用戶終端的全景圖像生成方法的流程示意圖，該方法包括:
[0025]Sll:獲取用戶終端拍攝的多張圖像，確定多張圖像之間的相鄰關(guān)系，并對(duì)相鄰圖像進(jìn)行特征匹配，獲取匹配的特征點(diǎn)對(duì)；
[0026]其中，可以采用用戶終端的攝像頭對(duì)周圍環(huán)境進(jìn)行拍攝，得到不同狀態(tài)(如角度，光照等)下的多張圖像。
[0027]一個(gè)實(shí)施例中，為了降低運(yùn)算量，只計(jì)算相鄰圖像之間的匹配關(guān)系，而不對(duì)不相鄰的圖像之間的匹配關(guān)系進(jìn)行運(yùn)算。因此，可以先確定出相鄰圖像。
[0028]可選的，以用戶終端是移動(dòng)設(shè)備為例，參見(jiàn)圖2，是Sll的實(shí)現(xiàn)流程圖，其中的從所述多張圖像中確定相鄰圖像，包括:
[0029]S21:對(duì)應(yīng)每張圖像，獲取拍攝所述圖像時(shí)，設(shè)置在所述移動(dòng)設(shè)備內(nèi)的傳感器的信息，根據(jù)所述傳感器的信息確定相鄰圖像。
[0030]其中，傳感器例如陀螺儀、地磁儀或者重力感應(yīng)器等。
[0031]例如，在每次拍攝一張圖像時(shí)，記錄該圖像對(duì)應(yīng)的傳感器的信息，之后可以根據(jù)該信息確定出相鄰圖像。例如，第一圖像的角度是第一角度，第二圖像的角度是第二角度，第三圖像的角度是第三角度，假設(shè)第一角度與第二角度的差值小于第三角度與第一角度的差值，則可以確定第一圖像與第二圖像相鄰。當(dāng)然，可以理解的是，上述確定相鄰圖像的方式只是一種簡(jiǎn)化示例，還可以采用其他方式實(shí)現(xiàn)。
[0032]本實(shí)施例中，通過(guò)采用移動(dòng)設(shè)備內(nèi)的裝置可以充分利用移動(dòng)設(shè)備自身資源，方便快捷的確定出相鄰圖像。
[0033]在確定出相鄰圖像后，可以對(duì)相鄰圖像中的每張圖像分別進(jìn)行特征提取，以完成特征匹配。
[0034]一個(gè)實(shí)施例中，參見(jiàn)圖2，其中的對(duì)相鄰圖像進(jìn)行特征匹配，獲取匹配的特征點(diǎn)對(duì)，包括:
[0035]S23:將相鄰圖像劃分為預(yù)設(shè)個(gè)數(shù)的區(qū)域，并在每個(gè)區(qū)域內(nèi)，提取個(gè)數(shù)小于預(yù)設(shè)值的特征點(diǎn)。
[0036]例如，可以將相鄰圖像中的每張圖像分為四個(gè)區(qū)域，每個(gè)區(qū)域提取限定個(gè)數(shù)的特征點(diǎn)。
[0037]特征點(diǎn)可以具體是SIFT特征點(diǎn)。
[0038]S24:根據(jù)相鄰圖像內(nèi)提取的特征點(diǎn)，進(jìn)行特征匹配，得到匹配的特征點(diǎn)對(duì)。
[0039]例如，采用隨機(jī)抽樣一致(Random Sample Consensus，RANSAC)算法，對(duì)相鄰圖像中的SIFT特征點(diǎn)進(jìn)行匹配，得到匹配的特征點(diǎn)對(duì)。
[0040]本實(shí)施例中，通過(guò)限定特征點(diǎn)的個(gè)數(shù)，可以降低運(yùn)算量，從而提高拼接速度。
[0041]一個(gè)實(shí)施例中，在特征點(diǎn)提取之前可以先對(duì)圖像進(jìn)行預(yù)處理，和/或，在特征點(diǎn)對(duì)匹配之后再刪除一些匹配錯(cuò)誤的特征點(diǎn)對(duì)。
[0042]參見(jiàn)圖2，還可以包括:
[0043]S22:對(duì)相鄰圖像進(jìn)行預(yù)處理，所述預(yù)處理可以包括:顏色增強(qiáng)，和/或，尺寸縮放。
[0044]其中，顏色增強(qiáng)是指對(duì)偏暗的圖像進(jìn)行增強(qiáng)，例如，如果一張圖像的像素的亮度值小于預(yù)設(shè)值，則可以將該亮度值增加預(yù)設(shè)的增量。
[0045]尺寸縮放是指將原始圖像縮放成適用于移動(dòng)設(shè)備處理的尺寸，其中，該尺寸可以根據(jù)移動(dòng)設(shè)備的類別不同而確定。
[0046]在預(yù)處理之后，可以對(duì)預(yù)處理后的圖像進(jìn)行特征提取和特征匹配，具體可以參見(jiàn)上述相關(guān)描述，在此不再贅述。
[0047]本實(shí)施例中，通過(guò)預(yù)處理，可以提高處理效果，并適應(yīng)于移動(dòng)設(shè)備。
[0048]在采用RANSAC得到匹配的特征點(diǎn)對(duì)后，可能存在匹配錯(cuò)誤的特征點(diǎn)對(duì)，因此，之后還可以去除匹配錯(cuò)誤的特征點(diǎn)對(duì)。
[0049]一個(gè)實(shí)施例中，參見(jiàn)圖2，還可以包括:
[0050]S25:對(duì)所述匹配的特征點(diǎn)對(duì)進(jìn)行過(guò)濾處理，去除匹配錯(cuò)誤的特征點(diǎn)對(duì)。
[0051 ] 其中，可以采用啟發(fā)式算法進(jìn)行過(guò)濾處理。
[0052]例如，假設(shè)兩對(duì)特征點(diǎn)對(duì)分別是A和B，C和D，以及，E和F等，則可以連接A和B，得到線段AB，類似的，還可以得到線段CD，EF等。之后，比較這些線段，將基本相同長(zhǎng)度的，且基本是平行關(guān)系的線段對(duì)應(yīng)的特征點(diǎn)對(duì)進(jìn)行保留，去除其他特征點(diǎn)對(duì)。其中，去除的特征點(diǎn)對(duì)通常包括:匹配錯(cuò)誤的SIFT特征點(diǎn)對(duì)，通常這些匹配錯(cuò)誤的SIFT特征點(diǎn)對(duì)表現(xiàn)為不滿足基本平行，以及，錯(cuò)誤的RANSAC內(nèi)點(diǎn)(inliers)，通常這些錯(cuò)誤的RANSAC內(nèi)點(diǎn)不滿足線段長(zhǎng)度基本相同。
[0053]通過(guò)過(guò)濾處理，得到過(guò)濾處理后的匹配的特征點(diǎn)對(duì)，之后，在后續(xù)處理時(shí)，采用的匹配的特征點(diǎn)對(duì)是指過(guò)濾處理后的匹配的特征點(diǎn)對(duì)。
[0054]本實(shí)施例中，通過(guò)過(guò)濾處理，可以提高匹配的特征點(diǎn)對(duì)的準(zhǔn)確度，從而提高圖像拼接的準(zhǔn)確度。
[0055]S12:根據(jù)所述匹配的特征點(diǎn)對(duì)和初始相機(jī)參數(shù)，得到優(yōu)化后的相機(jī)參數(shù)。
[0056]其中，可以采用