圖像拼接的方法及裝置制造方法
【專利摘要】本申請(qǐng)公開(kāi)了圖像拼接的方法和圖像拼接的裝置。其中圖像拼接方法首先通過(guò)第一圖像和第二圖像中的特征點(diǎn)確定重合區(qū)域以及變換矩陣；然后將所述重合區(qū)域內(nèi)當(dāng)前行中變換誤差滿足預(yù)定條件的像素點(diǎn)作為拼接點(diǎn)；所述變換誤差為所述第一圖像的像素點(diǎn)經(jīng)過(guò)所述變換矩陣變換到第二圖像的像素點(diǎn)位置與所述第二圖像中的匹配像素點(diǎn)位置之間的誤差；根據(jù)所述拼接點(diǎn)進(jìn)行圖像拼接。通過(guò)本申請(qǐng)能夠改善拼接表面存在不同物距時(shí)的拼接縫隙問(wèn)題。
【專利說(shuō)明】圖像拼接的方法及裝置

【技術(shù)領(lǐng)域】
[0001] 本申請(qǐng)涉及計(jì)算機(jī)視覺(jué)領(lǐng)域和圖像處理技術(shù)，尤其涉及圖像拼接的方法及裝置。

【背景技術(shù)】
[0002] 圖像拼接是計(jì)算機(jī)視覺(jué)領(lǐng)域和圖像處理的一個(gè)重要分支，它是將兩幅以上的具有 部分重疊的圖像進(jìn)行無(wú)縫拼接從而得到大畫(huà)幅或?qū)捯暯堑膱D像。
[0003] 相鄰圖像的配準(zhǔn)及拼接是全景圖生成技術(shù)的關(guān)鍵，目前普遍使用的是基于SIFT 特征匹配的無(wú)縫圖像拼接方法，該方法利用SIFT特征匹配、RANSAC算法、L-M算法、多分辨 率融合算法克服了傳統(tǒng)圖像拼接技術(shù)中的局限性，實(shí)現(xiàn)了光照和尺度變化條件下的多視角 無(wú)縫圖像拼接。
[0004] 該現(xiàn)有技術(shù)對(duì)于拼接表面為同一景深平面的情況，或者物體距離攝像機(jī)的距離足 夠遠(yuǎn)，可以近似為同一平面的情況，可以取得較好的拼接效果。當(dāng)存在圖像聚焦模糊、變換 矩陣誤差以及特征點(diǎn)檢測(cè)錯(cuò)誤時(shí)，拼接縫隙會(huì)被察覺(jué)。一個(gè)通用有效的方法是使用圖像融 合，將待拼接圖像分解到不同的頻帶進(jìn)行處理：以兩個(gè)頻帶為例，待融合圖像分成低頻和高 頻兩部分?jǐn)?shù)據(jù)，低頻部分?jǐn)?shù)據(jù)使用較大的權(quán)重進(jìn)行融和，由于低頻對(duì)應(yīng)圖像的平坦部分，不 會(huì)產(chǎn)生較大的細(xì)節(jié)丟失，高頻圖像使用較小的權(quán)重進(jìn)行融和，保留圖像細(xì)節(jié)部分。最后再把 兩個(gè)頻帶處理后的數(shù)據(jù)恢復(fù)到時(shí)域，得并相加，得到最終融合后的圖像。
[0005] 但上述過(guò)程只可以解決存在較小的拼接縫隙，如1-2個(gè)像素點(diǎn)。在實(shí)際的拼接場(chǎng) 景中，常常還有一種情況，既在兩個(gè)相機(jī)的重合區(qū)域中，存在不同物距的物體，當(dāng)景深（就 是物距）較近，且存在不同景深時(shí)，拼接后的圖像往往會(huì)產(chǎn)生明顯的拼縫。


【發(fā)明內(nèi)容】

[0006] 本申請(qǐng)?zhí)峁﹫D像拼接的方法及裝置，能夠改善拼接表面存在不同物距時(shí)的拼接縫 隙問(wèn)題。
[0007] 根據(jù)本申請(qǐng)實(shí)施例的第一方面，提供一種圖像拼接的方法，該方法包括步驟：
[0008] 通過(guò)第一圖像和第二圖像中的特征點(diǎn)確定重合區(qū)域以及變換矩陣；
[0009] 將所述重合區(qū)域內(nèi)當(dāng)前行中變換誤差滿足預(yù)定條件的像素點(diǎn)作為拼接點(diǎn)；所述變 換誤差為所述第一圖像的像素點(diǎn)經(jīng)過(guò)所述變換矩陣變換到第二圖像的像素點(diǎn)位置與所述 第二圖像中的匹配像素點(diǎn)位置之間的誤差；
[0010] 根據(jù)所述拼接點(diǎn)進(jìn)行圖像拼接。
[0011] 根據(jù)本申請(qǐng)實(shí)施例的第二方面，提供一種圖像拼接的裝置，該裝置包括：
[0012] 圖像預(yù)拼接模塊，用于通過(guò)第一圖像和第二圖像中的特征點(diǎn)確定重合區(qū)域以及變 換矩陣；
[0013] 拼接點(diǎn)提取模塊，用于將重合區(qū)域內(nèi)當(dāng)前行中變換誤差滿足預(yù)定條件的像素點(diǎn)作 為拼接點(diǎn)；所述變換誤差為所述第一圖像的像素點(diǎn)經(jīng)過(guò)所述變換矩陣變換到第二圖像的像 素點(diǎn)位置與所述第二圖像中的匹配像素點(diǎn)位置之間的誤差；
[0014] 圖像拼接模塊，用于根據(jù)所述拼接點(diǎn)進(jìn)行圖像拼接。
[0015] 本申請(qǐng)?jiān)谶x取拼接點(diǎn)之前首先對(duì)拼接區(qū)域內(nèi)是否存在不同物距的物體進(jìn)行檢測(cè)， 如果存在不同物距的物體，則選擇變換誤差足夠小的像素點(diǎn)作為拼接點(diǎn)，盡可能的繞開(kāi)物 距不同的像素點(diǎn)作為拼接點(diǎn)，因此拼接后的圖像不會(huì)有明顯的拼縫，避免了不同物距圖像 拼接產(chǎn)生的拼縫問(wèn)題。

【專利附圖】

【附圖說(shuō)明】
[0016] 圖1為本申請(qǐng)實(shí)施例中圖像拼接方法的流程圖；
[0017] 圖2是本申請(qǐng)實(shí)施例中圖像拼接裝置的硬件架構(gòu)圖；
[0018] 圖3是本申請(qǐng)實(shí)施例中圖像拼接裝置的內(nèi)部結(jié)構(gòu)邏輯框圖；
[0019] 圖4是本申請(qǐng)一應(yīng)用實(shí)例的處理流程圖。

【具體實(shí)施方式】
[0020] 圖像拼接技術(shù)中拼接區(qū)域拼接點(diǎn)該如何選取對(duì)于圖像拼接的效果起著至關(guān)重要 的作用，現(xiàn)有技術(shù)對(duì)于拼接區(qū)域中存在多物距的情況無(wú)法達(dá)到令人滿意的拼接效果。本申 請(qǐng)針對(duì)該問(wèn)題提出了一種圖像拼接的方法，在圖像拼接時(shí)首先檢測(cè)在攝相機(jī)公共可視角內(nèi) (即拼接區(qū)域）是否存在遠(yuǎn)近物距差異明顯的情況，如果存在不同物距的物體，則盡量避開(kāi) 不同物距的像素點(diǎn)選取拼接點(diǎn)的解決方案，利用此方案選取拼接點(diǎn)實(shí)現(xiàn)圖像拼接。以下結(jié) 合圖1進(jìn)行詳細(xì)描述。
[0021] 申請(qǐng)人:經(jīng)過(guò)仔細(xì)研究發(fā)現(xiàn)，在圖像拼接時(shí)，當(dāng)將其中一張圖像的像素點(diǎn)轉(zhuǎn)換到另 一張圖像中的匹配像素點(diǎn)位置時(shí)，不同的物距下需要使用不同的變換矩陣來(lái)描述它的變換 關(guān)系，現(xiàn)有技術(shù)中選取拼接點(diǎn)的方式并沒(méi)有考慮這一點(diǎn)，由于變換矩陣無(wú)法同時(shí)表示不同 物距的變換模型，因此拼接后的圖像往往會(huì)產(chǎn)生較大的拼縫。因此 申請(qǐng)人:借助變換矩陣來(lái) 作為檢測(cè)物距是否相同的手段。變換矩陣是指在兩幅待拼接圖像中，計(jì)算其中一張圖像中 的像素點(diǎn)變換到另一張圖像中的匹配像素點(diǎn)時(shí)所使用的矩陣。為了描述上的方便，以兩張 待拼接圖像進(jìn)行拼接的過(guò)程為例，對(duì)于多張待拼接圖像拼接的情況可以分解成一組兩兩拼 接的過(guò)程。在本申請(qǐng)中，將為了描述方便，兩幅圖像中其中一幅圖像稱為第一圖像，另一張 圖像稱為第二圖像；變換矩陣為第一圖像的像素變換到第二圖像的相應(yīng)位置時(shí)所使用的矩 陣。
[0022] 為了檢測(cè)拼接區(qū)域是否存在不同物距的物體，本方法首先對(duì)待拼接的兩張圖像進(jìn) 行特征點(diǎn)檢測(cè)和匹配，根據(jù)特征點(diǎn)確定出待拼接的兩張圖像的重合區(qū)域以及變換矩陣（步 驟101)，重合區(qū)域是由特征點(diǎn)所確定的重合區(qū)域，該步驟可以通過(guò)現(xiàn)有技術(shù)中已經(jīng)存在的 技術(shù)手段獲得，變換矩陣則通過(guò)兩幅圖像中一對(duì)匹配的特征點(diǎn)在兩幅圖像中的空間位置關(guān) 系計(jì)算得出，為了描述方便，在本申請(qǐng)中變換矩陣為第一圖像的特征點(diǎn)變換到第二像素的 匹配特征點(diǎn)所使用的變換矩陣。作為一個(gè)實(shí)施例，本申請(qǐng)通過(guò)SIFT特征匹配算法采集兩張 待拼接圖像中的SIFT特征點(diǎn)進(jìn)行匹配，找出兩幅待拼接圖像中屬于同一個(gè)物理點(diǎn)的一對(duì) 特征點(diǎn)，即特征點(diǎn)和該特征點(diǎn)的匹配特征點(diǎn)。如果匹配到的特征點(diǎn)對(duì)數(shù)量超出變換矩陣變 量數(shù)量，就可以求解出變換矩陣中所有的變量，本實(shí)施例使用RANSAC算法得到變換矩陣。
[0023] 本申請(qǐng)利用得到的變換矩陣作為檢驗(yàn)是否存在不同物距的物體的技術(shù)手段。具體 過(guò)程如下：
[0024] 對(duì)步驟101中所獲得的重合區(qū)域進(jìn)行掃描，判斷當(dāng)前行中是否存在變換誤差（變 換誤差是指第一圖像的像素點(diǎn)經(jīng)過(guò)步驟101所求得變換矩陣變換到第二圖像的像素點(diǎn)的 位置與第二圖像中的匹配像素點(diǎn)的位置之間的誤差）滿足預(yù)定條件的像素點(diǎn)，然后選取該 行中滿足預(yù)定條件的像素點(diǎn)作為拼接點(diǎn)（步驟102)，從而避開(kāi)了不同物距的物體。值得指 出的是，在本申請(qǐng)中，設(shè)置的預(yù)定條件是為了使變換誤差足夠小，以便各個(gè)拼接點(diǎn)在圖像拼 接時(shí)能夠看作是同一拼接平面，從而可以使用同一變換矩陣而不會(huì)導(dǎo)致明顯拼接縫，因此 如何設(shè)置可根據(jù)用戶的不同需求而不同。在一個(gè)實(shí)施例中，在重合區(qū)域進(jìn)行行掃描的規(guī)則 可以是存在多種情況，例如逐行遍歷的方式，設(shè)置優(yōu)先掃描區(qū)域的方式等等，用戶可以根據(jù) 需求靈活選擇。掃描時(shí)判斷當(dāng)前像素點(diǎn)的變換誤差是否滿足條件，如果誤差值不滿足預(yù)定 條件，則繼續(xù)對(duì)該行中其他像素進(jìn)行檢測(cè)，選取該行中變換誤差符合預(yù)定條件的像素點(diǎn)作 為最終選定的拼接點(diǎn)。
[0025] 由于所選取的拼接點(diǎn)從第一圖像變換到第二圖像時(shí)變換誤差足夠小，因此可以認(rèn) 為這些拼接點(diǎn)在同一拼接平面，可以使用相同的變換矩陣，因此可以使用現(xiàn)有技術(shù)中的技 術(shù)手段根據(jù)這些拼接點(diǎn)進(jìn)行圖像拼接（步驟103)，拼接后的圖像不會(huì)產(chǎn)生明顯的拼接縫。
[0026] 對(duì)于步驟102,如何判斷像素點(diǎn)的變換誤差是否滿足預(yù)定條件，本申請(qǐng)?zhí)峁┝硕喾N 實(shí)現(xiàn)方式：作為一個(gè)實(shí)施例，在執(zhí)行完步驟101獲得變換矩陣之后，判斷重合區(qū)域內(nèi)的每個(gè) 像素點(diǎn)的變換誤差是否滿足預(yù)定條件，并將判斷結(jié)果記錄下來(lái)，記錄的方式可以由用戶自 由選擇，例如，可以將變換誤差滿足預(yù)定條件的像素點(diǎn)標(biāo)記為〇,將變換誤差不滿足預(yù)定條 件內(nèi)的像素點(diǎn)標(biāo)記為1等等。在將重合區(qū)域內(nèi)的像素點(diǎn)全部掃描完成后，為了優(yōu)化本方案， 進(jìn)一步消除因噪聲帶來(lái)的影響，可以對(duì)標(biāo)記結(jié)果進(jìn)行去噪處理，以消除誤判。去噪的方式可 以是通過(guò)3*3或4*4或4*3等多種腐蝕模板，也可以使用低通濾波器等方式進(jìn)行處理。由 于在執(zhí)行步驟102之前已經(jīng)將重合區(qū)域的所有像素點(diǎn)進(jìn)行了標(biāo)記，因此在步驟102中可以 根據(jù)已經(jīng)標(biāo)記好的判斷結(jié)果來(lái)獲知該像素點(diǎn)是否為屬于變換誤差滿足預(yù)定條件的像素點(diǎn)。 而作為另一個(gè)實(shí)施例，則無(wú)需預(yù)先對(duì)重合區(qū)域的所有像素點(diǎn)進(jìn)行標(biāo)記，而是當(dāng)掃描到某個(gè) 像素點(diǎn)時(shí)再判斷該像素點(diǎn)的變換誤差是否滿足預(yù)定條件。如果是，則無(wú)需再繼續(xù)掃描同一 行的其它像素點(diǎn)，如果不是，則繼續(xù)掃描同一行中的其他像素點(diǎn)。
[0027] 作為一個(gè)實(shí)施例， 申請(qǐng)人:針對(duì)上一段中如何判斷像素點(diǎn)的變換誤差是否滿足預(yù)定 條件提出了更加具體的解決方案：由于不同攝像機(jī)的位置、角度不同，在圖像拼接點(diǎn)需要將 像素點(diǎn)位置轉(zhuǎn)移到同一個(gè)坐標(biāo)平面，因此，本申請(qǐng)將第一圖像重合區(qū)域中的每個(gè)像素點(diǎn)利 用步驟102的變換矩陣進(jìn)行像素點(diǎn)映射（即將像素的空間坐標(biāo)轉(zhuǎn)換成同一坐標(biāo)平面），變換 到第二圖像中，然后通過(guò)下述公式1中f SAD與預(yù)設(shè)值對(duì)比，判斷重合區(qū)域內(nèi)的第一圖像的像 素點(diǎn)是否與第二圖像在同一拼接平面；如前文 申請(qǐng)人:提到的，設(shè)置的預(yù)定條件是為了使變 換誤差足夠小，以便各個(gè)拼接點(diǎn)在圖像拼接時(shí)能夠看作是同一拼接平面，從而可以使用同 一變換矩陣而不會(huì)導(dǎo)致明顯拼接縫，因此預(yù)設(shè)值可以根據(jù)用戶所需要的精度有不同的設(shè)置 方式，例如，可以將預(yù)設(shè)值設(shè)置為W*W*0. 1*W_，其中W_為窗口內(nèi)第二圖像的像素點(diǎn)的圖 象亮度的均值；也可以在要求高精度、不考慮誤判的極端情況下可以將預(yù)設(shè)值設(shè)置為〇,簡(jiǎn) 化方案。

【權(quán)利要求】
1. 一種圖像拼接的方法，其特征在于，該方法包括步驟： 通過(guò)第一圖像和第二圖像中的特征點(diǎn)確定重合區(qū)域以及變換矩陣； 將所述重合區(qū)域內(nèi)當(dāng)前行中變換誤差滿足預(yù)定條件的像素點(diǎn)作為拼接點(diǎn)；所述變換誤 差為所述第一圖像的像素點(diǎn)經(jīng)過(guò)所述變換矩陣變換到第二圖像的像素點(diǎn)位置與所述第二 圖像中的匹配像素點(diǎn)位置之間的誤差； 根據(jù)所述拼接點(diǎn)進(jìn)行圖像拼接。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于：將所述重合區(qū)域內(nèi)當(dāng)前行中變換誤差滿 足預(yù)定條件的像素點(diǎn)作為拼接點(diǎn)的過(guò)程包括： 判斷所述重合區(qū)域內(nèi)的每個(gè)像素點(diǎn)的變換誤差是否滿足所述預(yù)定條件，并記錄判斷結(jié) 果； 根據(jù)所記錄的判斷結(jié)果，將當(dāng)前行中滿足預(yù)定條件的像素點(diǎn)作為所述拼接點(diǎn)。
3. 根據(jù)權(quán)利要求1所述的方法，其特征在于，通過(guò)下述公式中fSAD與預(yù)設(shè)值對(duì)比，判斷 所述變換誤差是否滿足所述預(yù)定條件；
其中，fSAD為第一圖像中的像素點(diǎn)為中心位置的滑動(dòng)窗口內(nèi)各像素點(diǎn)變換到第二圖像 的像素點(diǎn)位置與第二圖像中的匹配像素點(diǎn)位置之間的誤差累加之和；W是滑動(dòng)窗口的大 小，T表示所述變換矩陣，dl是指I1的圖像像素點(diǎn)映射到I2的圖像后橫坐標(biāo)的圖像偏移量； d2指從I1的圖像像素點(diǎn)映射到I2的圖像后縱坐標(biāo)的圖像偏移量；I1是指第一圖像，I 2為作 為第二圖像。
4. 根據(jù)權(quán)利要求3所述的方法，其特征在于，該方法還包括步驟： 如果當(dāng)前行中不存在變換誤差滿足預(yù)定條件的像素點(diǎn)，則將該行中所述fSAD的值最小 的像素點(diǎn)作為拼接點(diǎn)。
5. 根據(jù)權(quán)利要求3所述的方法，其特征在于，所述預(yù)設(shè)值為W*W*0. 1*WMEAN，其中Wmean為 窗口內(nèi)所述第二圖像的圖象亮度的均值，W為滑動(dòng)窗口的大小。
6. -種圖像拼接的裝置，其特征在于，該裝置包括： 圖像預(yù)拼接模塊，用于通過(guò)第一圖像和第二圖像中的特征點(diǎn)確定重合區(qū)域以及變換矩 陣； 拼接點(diǎn)提取模塊，用于將重合區(qū)域內(nèi)當(dāng)前行中變換誤差滿足預(yù)定條件的像素點(diǎn)作為拼 接點(diǎn)；所述變換誤差為所述第一圖像的像素點(diǎn)經(jīng)過(guò)所述變換矩陣變換到第二圖像的像素點(diǎn) 位置與所述第二圖像中的匹配像素點(diǎn)位置之間的誤差； 圖像拼接模塊，用于根據(jù)所述拼接點(diǎn)進(jìn)行圖像拼接。
7. 根據(jù)權(quán)利要求6所述的裝置，其特征在于：所述拼接點(diǎn)提取模塊 將所述重合區(qū)域內(nèi)當(dāng)前行中變換誤差滿足預(yù)定條件的像素點(diǎn)作為拼接點(diǎn)的過(guò)程包 括： 判斷所述重合區(qū)域內(nèi)的每個(gè)像素點(diǎn)的變換誤差是否滿足所述預(yù)定條件，并記錄判斷結(jié) 果； 根據(jù)所記錄的判斷結(jié)果，將當(dāng)前行中滿足預(yù)定條件的像素點(diǎn)作為所述拼接點(diǎn)。
8. 根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述拼接點(diǎn)提取模塊通過(guò)下述公式中fSAD與預(yù)設(shè)值對(duì)比，判斷所述變換誤差是否滿足所述預(yù)定條件；
其中，fSAD為第一圖像中的像素點(diǎn)為中心位置的滑動(dòng)窗口內(nèi)各像素點(diǎn)變換到第二圖像 的像素點(diǎn)位置與第二圖像中的匹配像素點(diǎn)位置之間的誤差累加之和；W是滑動(dòng)窗口的大 小，T表示所述變換矩陣，dl是指I1的圖像像素點(diǎn)映射到I2的圖像后橫坐標(biāo)的圖像偏移量； d2指從I1的圖像像素點(diǎn)映射到I2的圖像后縱坐標(biāo)的圖像偏移量；I1是指第一圖像，I 2為作 為第二圖像。
9. 根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述拼接點(diǎn)提取模塊還用于： 如果當(dāng)前行中不存在變換誤差滿足預(yù)定條件的像素點(diǎn)，則將該行中所述fSAD的值最小 的像素點(diǎn)作為拼接點(diǎn)。
10. 根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述預(yù)設(shè)值為W*W*0. 1*W_，其中1_為 窗口內(nèi)所述第二圖像的圖象亮度的均值，W為滑動(dòng)窗口的大小。
【文檔編號(hào)】G06T3/40GK104361569SQ201410632500
【公開(kāi)日】2015年2月18日 申請(qǐng)日期:2014年11月11日 優(yōu)先權(quán)日:2014年11月11日
【發(fā)明者】朱旭東, 李嬋, 王智玉 申請(qǐng)人:浙江宇視科技有限公司