專利名稱：使用圖像序列生成玉米果穗全景圖的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機圖形學技術(shù)領(lǐng)域，特別涉及一種使用圖像序列拼接生成玉米果 穗全景圖的方法。
背景技術(shù)：
玉米果穗外部形狀是進行考種和新品種選育所參考的一項重要指標，記錄外形特 點最好的方法之一即為拍攝圖像。由于玉米果穗呈圓柱形，一幅圖像往往不能記錄全部信 息，只有圍繞果穗旋轉(zhuǎn)拍攝多幅圖像才能覆蓋其整個表面。為了獲得理想的觀察效果，一個 果穗通常需要5-10幅圖像記錄。多幅果穗圖像之間必然存在重疊部分，這些重疊部分通過 肉眼很難分辨，這將造成信息冗余與觀察的不便。可以采用全景攝影(panoramic photography)技術(shù)生成全景圖，這種技術(shù)主要通 過特定的硬件和軟件獲得被拍攝物體的寬幅圖像，將多角度多視點圖像序列合成在一幅圖 像上，其可以通過具有可旋轉(zhuǎn)鏡頭的全景相機實現(xiàn)，但這類硬件設備價格較高并需要一定 的專業(yè)操作知識，適用范圍受到限制。另一種生成全景圖的方法是通過圖像拼接軟件將普 通成像設備拍攝的圖像序列合成全景圖，如果事先標定攝像機內(nèi)參，在環(huán)繞物體拍攝圖像 時攝像機運動信息也已知的情況下，可將圖像序列順次投影到同一個柱面上，去除重疊部 分后拼接成完整的柱形全景圖。但在某些應用場合下，確定攝像機運動參數(shù)難度較大，實際 應用復雜繁瑣。生成玉米果穗全景圖涉及到圖像運動模型簡化、圖切割、消除曝光差異、變形拉伸 等方面的技術(shù)，到目前為止仍然沒有一套適合的解決方案。

發(fā)明內(nèi)容
(一)要解決的技術(shù)問題本發(fā)明要解決的技術(shù)問題是克服現(xiàn)有技術(shù)中使用多幅電子照片記錄玉米果穗外 在形態(tài)的方法中存在的信息冗余度大、存儲代價高、不便于觀察等缺陷，簡便、快速地生成 觀察效果良好的玉米果穗全景圖。( 二 )技術(shù)方案為解決上述技術(shù)問題，本發(fā)明的技術(shù)方案提供了一種根據(jù)圖像序列生成玉米果穗 全景圖的方法，包括以下步驟Sl 通過旋轉(zhuǎn)玉米并以間隔預定的角度連續(xù)拍攝的方式獲取玉米果穗的多個圖像 組成的圖像序列，其中每兩幀相鄰圖像具有重疊區(qū)域；S2:通過背景差分法提取所述圖像序列中的果穗的目標圖像序列，并對其進行灰 度化處理，獲得果穗的目標灰度圖像序列；S3 通過透視投影變換將所述果穗的目標灰度化圖像序列中的第1幀和第2幀圖 像注冊至同一坐標系組成一幀新圖像I ；S4 通過動態(tài)規(guī)劃算法搜索所述新圖像I的最佳縫合線，沿所述最佳縫合線切割所述第1幀和第2幀圖像，將所述第1幀圖像的左側(cè)切片與第2幀圖像的右側(cè)切片組合為部分全景圖像I’ ；S5 對所述部分全景圖像I’中位于所述最佳縫合線左側(cè)的圖像進行水平和垂直 拉伸，以消除所述部分全景圖像I’在投影變換過程中的變形，完成一次拼接；S6 對拉伸處理后的部分全景圖像I’和所述果穗的目標灰度化圖像序列中的第3 幀圖像執(zhí)行步驟S3-S5以進行下一次拼接，如此重復至所述果穗的目標灰度化圖像序列中 的最后一幀圖像，得到玉米果穗全景圖。進一步地，所述步驟S3包括以下子步驟S301 通過harris、SUSAN或SIFT方法提取所述第1幀和第2幀圖像的重疊區(qū)域 中的特征點；S302:根據(jù)最鄰近搜索算法對所述特征點進行匹配，獲得兩幀圖像的多組對應匹 配點X和X’ ；S303 通過最小二乘法計算所述多組對應匹配點X和X’之間的單應矩陣H，其中， X，= HX ；S304 根據(jù)所述單應矩陣H對第1幀圖像進行透視投影變換，將其注冊至第2幀圖 像所在坐標系，組成新圖像I ；其中，所述新圖像I的像素為投影變換后第1幀圖像與第2幀圖像對應像素的均值。 進一步地，所述步驟S302和S303之間還包括通過隨機抽樣一致性算法去除所述 多組對應匹配點中的誤匹配點。進一步地，所述步驟S4中，通過動態(tài)規(guī)劃法尋找最佳縫合線的過程包括S401 :由所述新圖像I的第一行像素開始，每一列第一個像素記為一條縫合線的 端點；S402 從每一縫合線的端點開始搜索下一行像素中最鄰接的3個像素，取灰度值 最小的像素作為所述縫合線的延伸方向，逐行向下搜索直至所述新圖像I的底端；S403:重復上述步驟獲得多條縫合線，選擇其中像素灰度值之和最小的一條作為 最佳縫合線。進一步地，所述步驟S4中，沿所述最佳縫合線切割所述第1幀和第2幀圖像之前， 還通過拉普拉斯金字塔融合算法或權(quán)值融合算法消除所述最佳縫合線兩側(cè)圖像的曝光差
巳其中，所述步驟S5中，所述水平和垂直拉伸的像素偏移量d遵循以下公式 其中d’為拉伸方向上該行像素的最大偏移量，Xe為投影變換后該行像素邊界坐 標，Xs為最佳縫合線在該行的坐標，X為欲拉伸位置的像素坐標。進一步地，步驟S5中，在消除所述部分全景圖像I’在投影變換過程中的變形之 后，還對經(jīng)過水平和垂直拉伸的所述部分全景圖像I’的像素進行雙線性插值以填補拉伸過 程中像素移動所產(chǎn)生的空洞。其中，所述步驟Sl中，所述相鄰兩幀圖像之間重疊區(qū)域的面積大于單幀圖像面積的 50%。(三)有益效果本發(fā)明將記錄玉米果穗外在形態(tài)的多幅電子照片拼接成一幅無縫全景圖，從而極 大的減少了照片信息的冗余度，減少信息存儲空間，使形態(tài)觀察更加直觀；同時還為玉米果 穗外部形態(tài)考察(如穗行數(shù)、穗粒數(shù)、穗長、穗直徑、禿尖率)的機器視覺檢測提供了技術(shù) ■石出。


圖1是根據(jù)本發(fā)明的使用圖像序列生成玉米果穗全景圖的方法的流程圖；圖2是根據(jù)本發(fā)明的一個實施例的流程圖；圖3是根據(jù)本發(fā)明的使用圖像序列生成玉米果穗全景圖的方法中縫合線的示意 圖；圖4是根據(jù)本發(fā)明的使用圖像序列生成玉米果穗全景圖的方法中圖像拼接的示 意圖；圖5是根據(jù)本發(fā)明的使用圖像序列生成玉米果穗全景圖的方法生成的玉米果穗 全景圖；其中，(a)為圖像序列中一幀果穗圖像，(b)示出了前后兩幀圖像的拼接融合，(c) 為未進行拉伸處理的果穗全景圖，(d)為拉伸處理后的果穗全景圖。
具體實施例方式本發(fā)明提出的根據(jù)圖像序列生成玉米果穗全景圖的方法，結(jié)合附圖和實施例說明 如下。圖1為根據(jù)本發(fā)明的方法的流程圖，如圖1所示，本發(fā)明主要包括以下步驟Sl 拍攝果穗旋轉(zhuǎn)圖；通過沿玉米外周表面間隔預定角度連續(xù)拍攝的方式獲取玉 米果穗的圖像序列，其中每兩幀相鄰圖像具有重疊區(qū)域；S2 圖像預處理；通過背景差分法提取所述圖像序列中的果穗目標圖像序列，并 對其進行灰度化處理，獲得果穗目標灰度化圖像序列；S3 匹配點檢測；提取所述圖像序列中第1幀和第2幀圖像的重疊區(qū)域中的特征 點；根據(jù)最鄰近搜索算法對所述特征點進行匹配，獲得兩幀圖像的多組對應匹配點；S4 計算單應矩陣；通過最小二乘法計算所述多組對應匹配點之間的單應矩陣；S5 圖像切割、縫合；根據(jù)求得的單應矩陣將前后兩幀圖像注冊至同一坐標系組 成一幀新圖像；搜尋新圖像中的最佳縫合線，沿縫合線切割前后兩幀圖像，組合切片構(gòu)成部 分全景圖；S6 抗扭曲變形；對部分全景圖進行水平和垂直拉伸以消除投影變換過程中的變 形；S7 對抗變形處理后的部分全景圖和下一幀圖像重復上述步驟S3-6進行拼接，直 至處理完最后一幀圖像，生成全景圖。下面將通過一個具體實施例對本發(fā)明的方法進行進一步詳細說明。如圖2所示， 本實施例包括以下步驟
SlOl 獲取圖像；具體地，將數(shù)碼相機固定于三角架上，將玉米果穗放置于可旋轉(zhuǎn)式測定臺上，控制測定臺使果穗每次僅旋轉(zhuǎn)一定角度(10-20度)并拍攝一幀圖像，由此獲 得玉米果穗圖像序列。具體實施過程中，旋轉(zhuǎn)角度的大小會影響后續(xù)操作，具體來說，前后兩幀圖像間果 穗旋轉(zhuǎn)角度過大會減少重疊區(qū)域特征匹配點的數(shù)量，過少的匹配點可能導致求解單應矩陣 的魯棒性下降，在極端情況下甚至可能得到錯誤結(jié)果；旋轉(zhuǎn)角度過小時，圖像序列數(shù)量增 多，這可能加重程序計算量，由此增加執(zhí)行時間；更重要的是，拼接圖像數(shù)量增加時，累計誤 差也隨之增加，這將降低圖像匹配精度；另外，圖像透視變形也將隨著圖像序列的增多而累 計變大，這會增加后處理中抗扭曲變形的難度，由此降低觀察效果。經(jīng)多次實驗驗證，果穗 旋轉(zhuǎn)一周拍攝12-18幅圖像總體效果較理想。圖像獲取過程中，應控制環(huán)境光照相對穩(wěn)定， 圖像序列中前后兩幀圖像重疊部分超過圖像面積50%。S102:圖像預處理；具體地，通過背景差分法差分玉米果穗的前景圖與背景圖， 艮口，以所述果穗圖像序列與不包含果穗的背景圖對應像素做差，提取出果穗前景圖像，得到 果穗目標圖像；對目標圖像進行形態(tài)學腐蝕、膨脹處理去除孤立噪聲點；因此，具體實施過 程中，為便于預處理，圖像獲取過程中還應該注意光照變換與背景選擇，為降低成本以增加 系統(tǒng)的適用性，本發(fā)明實施例中的圖像均在自然光源環(huán)境下獲得，拍攝背景選擇與果穗顏 色差異較大的單色幕布效果較好，整個圖像獲取過程應在盡短的時間內(nèi)完成，以排除環(huán)境 光照變化的影響，使后期拼接圖像曝光效果均一，同時有利于背景差分法生成果穗目標圖 像。S103 圖像匹配；具體地，提取前后兩幀圖像的重疊區(qū)域中的特征點；按照最鄰近 準則匹配特征點；檢驗匹配點的一致性，去除外點；使用最小二乘法計算匹配點之間的單 應矩陣；按照所求得單應矩陣對前一幀圖像作透視投影變換，將前后兩幀圖像注冊至同一 坐標系內(nèi)，取變換后前一幀圖像與后一幀圖像對應像素的均值合成一幅新圖像。具體實施過程中，如果前后兩幀圖像中某像素值對應現(xiàn)實世界中同一點，則稱這 兩個點為對應匹配點，在獲得一定數(shù)量的對應匹配點后，既可解算圖像運動關(guān)系，兩幅相鄰 圖像的拼接就是按照這種圖像相對運動關(guān)系進行的。前后兩幀圖像的拼接操作可以按照下 述圖像運動模型進行兩幅圖像上一對匹配點乂0^，7，2，1)1和乂，(x，，y，，z，1)工滿足如下 關(guān)系X’ = HX，其中H為描述圖像運動關(guān)系的變換矩陣，具體形式為 匹配點的x，y坐標可以從圖像上獲取，ζ分量需通過其他附加條件求取，一般來說 難度較大代價較高。當攝像機繞某固定點旋轉(zhuǎn)拍攝周圍場景，或者被拍攝物體的形狀呈平 面時，匹配點坐標與投影矩陣都可做相應簡化，匹配點坐標不再需要ζ分量，投影矩陣變?yōu)?以下形式 稱其為描述平面上物體運動關(guān)系的單應矩陣(homography)。玉米果穗外表面呈圓柱形，由于前后兩次測量間隔的旋轉(zhuǎn)角度較小，前后兩幀圖像中重疊部分在空間中彎曲較 小，可以近似為平面運動情況，因此，其運動關(guān)系可由單應矩陣描述。一般來說，對應匹配點由圖像的特征描述，圖像特征可由灰度統(tǒng)計量檢測出，例 如，計算像素點灰度值差的平方和(sum of squared ofdifference，SSD)，但這種方法容易 受到光照和幾何變形的影響。本實施例將特征檢測推廣到圖像多尺度空間上以克服光照 和輕微幾何變形的影響，其尺度不變性通過對不同層次的圖像進不同尺度的高斯濾波(X， 1，kcO，得到一組不同尺度的高斯 圖 像L(x，y, ko)D以本組第一幀圖為基礎，1/2比率 向上采樣，對此亞采樣圖像進行濾波處理得到第二組不同尺度的高斯圖像，重復上述操作 獲得圖像的高斯金字塔。同組內(nèi)兩相鄰高斯圖像做差獲得高斯差分圖像(difference of gaussian, DOG)，g2V2G的峰值點是最為穩(wěn)定的特征，因此DOG圖像上的峰值點就是待檢測 的特征點。例如，若某層DOG圖像上的像素點在8個相鄰點與上下兩層各9個像素中是極 值，則該點即為候選特征點。對候選特征點進行3D空間的二次插值精確定位，通過對D(x， y，σ)泰勒展開，去除對比度較小的特征點，計算Hessian矩陣的跡和行列式去除噪點與邊 緣點的影響。特征點須賦予一個抗旋轉(zhuǎn)的方向，在特征點所在的尺度圖像中計算鄰域直方 圖，以累計超過80%的梯度方向為主方向，并在與主方向相鄰的三個位置進行二次插值去 除噪聲影響最終確定特征點方向。檢測出的特征點需要有相應的特征描述字(descriptor) 才能進行匹配，與特征點方向類似，描述字(descriptor)也是建立在尺度圖像鄰域內(nèi)的梯 度方向直方圖之上的，并為抗邊界和光照影響做了相應處理。采用16x16鄰域高斯加權(quán)梯 度直方圖進行統(tǒng)計，從而得到4x4x8 = 128維的描述字。以特征點的描述字建立kd樹，并 采取近似最鄰近搜索算法對特征點進行匹配。通過上述方法可以獲取多組對應匹配點。優(yōu)先搜索算法會產(chǎn)生誤匹配現(xiàn)象，如直接使用這些對應匹配點計算投影轉(zhuǎn)換矩 陣，勢必影響求解精度和拼接效果。本實施例采用隨機抽樣一致性算法去除匹配點對中的 誤匹配外點(outlier)。該算法具體描述如下總體數(shù)據(jù)集N中，循環(huán)隨機抽取滿足模型參 數(shù)估計的最小數(shù)據(jù)集m;假設N個數(shù)據(jù)中有I個匹配點是正確的(inlier)，其比率為ε = Ι/Ν，當N>>m時能夠進行一次正確抽樣的概率為ε"1。該算法能夠保證在循環(huán)L次后在 置信度P下至少能得到一次正確的抽樣，從而得以正確估計模型參數(shù)。循環(huán)次數(shù)L可由公 式⑶計算得到 由于單應矩陣中有8個未知量需確定，理論上4對匹配點即可求解(X，y兩分量)， 在置信度0. 99下假定有50%的外點(實驗中外點比率遠小于50% )，由上式可知獲得一次 正確抽樣的循環(huán)次數(shù)為72。具體步驟如下S1031 從匹配點集中隨機選擇4對匹配點，計算單應矩陣H ；S1032:對匹配點集中余下的點對(Xi, X’ 中的Xi應用H矩陣做變換得ΧΛ并計 算Xih與X’ i之間的歐式距離(1(χΛχ’ i)，若d小于預先設定的閾值t(優(yōu)選為4pixel)，則 匹配點對(Xi, X’ D即為步驟S1032中所選4對匹配點的采樣一致點；S1033:如果由步驟S1032計算得到的采樣一致點對的數(shù)量大于預先設定的閾值 τ(本實施例中，該閾值T取候選匹配點數(shù)量的85% )，則使用采樣一致點重新計算單應矩 陣，計算結(jié)束；如果采樣一致點對的數(shù)量小于Τ，則重新選擇點集、估計模型參數(shù)并重復上述判斷過程；S1034 當抽樣次數(shù)超過預先計算值(72次)時，選擇數(shù)量最大的采樣一致性點集 計算單應矩陣。根據(jù)圖像幾何運動模型即可將多幅圖像注冊到同一坐標系中。計算得到單應矩陣 后即可對前一幀圖像進行透視變換，將前一幀圖像注冊到后一幀圖像的坐標系內(nèi)，建立一 張與前一幀圖像等大的新圖像，新圖像像素值取前后兩幀圖像對應位置的像素均值。S104 圖像融合；在所述步驟S103生成的新圖像中尋找縫合線，依據(jù)縫合線位置 切割前后兩幀圖像，組合兩幀圖像切片形成部分全景圖；對縫合線位置附近的像素進行重 采樣以消除縫合線左右兩幀圖像曝光差異；具體地，在新圖像中，兩原始圖像重疊區(qū)域像素 變化不大，灰度值差異較小，不重疊部分的像素值受兩張原始圖像的影響出現(xiàn)灰度值不自 然的躍遷，即鬼影現(xiàn)象(ghosting)。本實施例采用動態(tài)規(guī)劃算法尋找前后兩幀圖像最佳縫 合線進行圖像切片來消除圖像鬼影。即，依據(jù)圖像重合部分剪裁前后兩幀圖像，取前一幀圖 像的左切片，后一幀圖像的右切片，拼接成新圖像。該動態(tài)規(guī)劃算法具體實現(xiàn)如下S1041 首先從投影變換后的前一幀圖像與后一幀圖像生成縫合線路徑搜索圖 設前一幀圖像Xi處像素灰度值a，后一幀圖像X’ i處像素灰度值b，縫合線路徑搜索圖^處 的像素值c可由公式(4)計算得到
4)由公式(4)可知，縫合線路徑搜索圖在前后兩幀圖像的重疊區(qū)域中的像素灰度值 較小，其他區(qū)域灰度值較大；S1042:從上述縫合線路徑搜索圖的第一行開始，每一列的起點記為一條縫合線的 端點；S1043 從每一縫合線的端點開始搜索下一行中最鄰接的3個像素，取灰度值最小 的像素作為該縫合線的拓展方向；S1044:沿縫合線的拓展方向逐行向下搜索直到圖像底端，選擇所有縫合線中灰度 值之和最小的一條作為最佳縫合線。圖3中示出了本實施例中縫合線的位置與形式。中間分界線即為縫合線。具體實施過程中，拼接圖像源自兩幅不同圖像，拍攝圖像時光線的變化導致對應 像素的亮度不同，因此縫合線兩側(cè)具有一定的明暗差異?？刂骗h(huán)境光照可以減少部分曝光 差異，但由于物體表面光學反射屬性不同，即使嚴格控制光照條件，攝像機拍攝角度的變換 仍會使圖像產(chǎn)生明暗差別，再加上單應矩陣求解誤差的影響，縫合線兩側(cè)的像素必定與真 實情況存在顏色與位置上的細微出入，這將影響全景圖觀察效果，必須去除。本實施例通過圖像的拉普拉斯金字塔融合算法實現(xiàn)曝光差異的消除。該算法是在 圖像的不同尺度、不同空間分辨率和不同層次上進行的，其每一層圖像是該層的高斯圖像 與上一層圖像內(nèi)插放大后做差得到的；其執(zhí)行過程是一個帶通濾波過程，可在保留一些圖 像細節(jié)的情況下消除曝光差異。其具體算法如下1、建立圖像高斯金字塔以原圖作為高斯金字塔的底層圖像，并對底層圖像進行 高斯濾波和隔行隔列的向下采樣得到第一層圖像，重復此操作建立圖像高斯金字塔；2、從高斯圖像金字塔頂層開始，對頂層圖像內(nèi)插值使其尺寸與上一次層相等，并與上一層圖像做差獲得拉普拉斯圖像金字塔；3、根據(jù)公式(5)以高斯金字塔方式恢復圖像，得到拉普拉斯變換后的融合圖像
(5)其中G為圖像高斯金字塔，L為拉普拉斯金字塔，G*為高斯圖像內(nèi)插放大圖像。拉普拉斯圖像變換能夠很好的消除圖像曝光不同造成的明暗差異，但在建立圖像 金字塔的過程中對圖像進行高斯濾波、采樣變換、內(nèi)插值等操作會使圖像的細節(jié)變得模糊， 模糊圖像對觀察效果和后續(xù)處理都有一定的影響。拉普拉斯圖像變換是對整個圖像區(qū)域進 行處理，而實際上縫合線兩側(cè)像素值的差異最明顯，如果能夠使縫合線附近的像素平穩(wěn)過 渡，同時保留距離縫合線較遠處圖像像素值不變，這樣在曝光差異不是很大的情況下，既能 保留圖像的細節(jié)與銳化程度又能消除曝光差異對觀察效果的影響。本發(fā)明以縫合線為界建 立黑白模板圖像，對模板進行高斯濾波，以濾波圖像像素值為權(quán)值從兩幀待融合圖像中采 樣建立融合圖像，采樣模板建立方法如下1、建立一張原圖大小的二值圖像，以縫合線為界，其左側(cè)像素賦為255，右側(cè)像素 賦為0。2、使用7x7模板進行多次高斯濾波，濾波次數(shù)視曝光差異顯著情況而定，所使用 的二維離散高斯濾波模板如下式1 4 7 10 7 4 14 12 26 33 26 12 47 26 55 71 55 26 710 33 71 91 71 33 10 (6)7 26 55 71 55 26 74 12 26 33 26 12 41 4 7 10 7 4 13、設濾波后模板圖像某一位置的像素值為g，g即為前一幀圖像的采樣權(quán)值， 255-g為后一幀圖像的采樣權(quán)值。設采樣合成圖像Xi位置像素值為C，前一幀圖像Xqi位置像素值為b，后一幀圖像^ 位置像素為a，模板圖像乂位置處像素為g，則c可由公式(7)計算得到
(7)明暗變化劇烈的區(qū)域(縫合線附近)受到高斯濾波的影響，明暗變化趨勢緩和，距 離縫合線較遠的區(qū)域灰度值相近，受高斯濾波的影響有限，采樣時可盡量保持原始圖像的 細節(jié)?？p合線兩側(cè)像素明暗躍遷現(xiàn)象基本消逝，融合圖像的曝光差異已不影響觀察效果。具體實施過程中，若前后兩幀圖像曝光差異十分顯著，則采用拉普拉斯融合方法， 以犧牲部分圖像分辨率為代價統(tǒng)一融合圖像亮度；若曝光差異不大，則采用權(quán)值融合方法， 在保留圖像細節(jié)的同時使縫合線兩側(cè)圖像過渡平緩。圖4示出了本實施例的圖像拼接方式，圖中1、2. . . η分別代表第η次拼接得到的 部分全景圖。其中，由于部分全景圖像I’中左側(cè)切片是由第一幀圖像透視變換得到的，多 次拼接所累積的透視變換操作將使圖像形狀變小、分辨率降低，不便于觀察。因此每次拼接后均需對縫合線左側(cè)的圖像進行水平與垂直拉伸，并對其像素進行雙線性插值以填補拉伸 過程中像素移動所形成的空洞。S105 抗變形處理；具體來說，對圖像進行透視投影變換后，圖像像素將發(fā)生水平 和垂直方向的移動。因此，可在每次對圖像透視變換、配準、拼接后再進行拉伸操作以抵消 圖像水平和垂直兩方向的變形。拉伸偏移量計算方法如下式所示
(8)假設對拼接后的圖形進行水平方向上的拉伸，其中d’為拉伸方向上該行像素最大 偏移量(可由單應矩陣求得)，&為投影變換后該行像素邊界坐標，Xs為縫合線在該行的坐 標，X為欲拉伸位置像素坐標。對縫合線左側(cè)圖像按照公式(8)計算的拉伸偏移量進行拉 伸，垂直方向的位移矯正按同樣方法處理。為了避免像素移動的不連續(xù)產(chǎn)生空洞，建立一張空白圖像，縫合線右側(cè)直接復制 未拉伸圖像，左側(cè)像素值由像素坐標與拉伸偏移量的計算結(jié)果在原圖中查找，其坐標值可 能不是整數(shù)，對其進行雙線性插值獲得像素值。經(jīng)過變形矯正的圖像既在一定程度上消除 了變形的干擾，又使待匹配區(qū)域的圖像保持原有形態(tài)不變，簡化了圖像匹配的復雜度，增強 了算法的穩(wěn)定性。S106 對連續(xù)拍攝的圖像序列按照前述步驟S101-105進行圖像配準與融合處理， 生成果穗全景圖；具體來說S1061 差分果穗圖像與背景圖像獲得只包含果穗目標的圖像序列，并進行灰度化 處理；S1062 使用Harris、SUSAN或SIFT方法提取果穗目標二值化圖像序列中第一幀與 第二幀圖像的特征點，并按梯度方向統(tǒng)計量匹配對應特征點；S1063 通過最小二乘法求解第一幀圖像到第二幀圖像的投影變換矩陣P，建立一 張與第一幀圖像大小相同的新圖像I，I中X位置處的像素可由第一幀圖像中位置X’ = F1X 像素確定，χ’通常不是整數(shù)，可通過雙線性插值近似估計；新圖像I與第二幀圖像存在灰度 相似區(qū)域，在此區(qū)域內(nèi)尋找縫合線，按縫合線切割新圖像(由第一幀圖像投影變換后獲得) 和第二幀圖像，將新圖像左側(cè)切片與第二幀圖像右側(cè)切片合并為部分全景圖像I’，縫合線 兩側(cè)像素按高斯模板重采樣消除兩拼接切片的亮度差異；S1064 以部分全景圖像I，代替第二幀圖像與第三幀圖像進行拼接操作，如此反 復直到處理完整個圖像序列。如圖5所示即為根據(jù)實施例生成的玉米果穗全景圖，其中，(a)為圖像序列中的一 幀果穗圖像，(b)為前后兩幀圖像的拼接融合，(c)為未進行拉伸處理的果穗全景圖，(d)為 拉伸處理后的果穗全景圖。綜上所述，本發(fā)明使用固定位置的數(shù)碼相機對玉米果穗間隔一定角度拍攝圖像序 列；提取圖像特征點并依據(jù)匹配特征點計算圖像序列中前后兩幀圖像的運動參數(shù)，將其注 冊到同一坐標系組成一幅新圖像；在新圖像中尋找縫合線，并按照縫合線位置切割前后兩 幀圖像；高斯模板濾波消除縫合線兩側(cè)像素曝光差異，在水平和垂直方向拉伸圖像抵消透 視投影變形；對圖像序列依次進行以上操作合成玉米果穗全景圖。采用本發(fā)明的方法可 以在一幅圖像上顯示玉米果穗圖像序列無縫拼接全貌，從而極大的減少了照片信息的冗余度，減少信息存儲空間，形態(tài)觀察更加直觀。 以上實施方式僅用于說明本發(fā)明，而并非對本發(fā)明的限制，有關(guān)技術(shù)領(lǐng)域的普通技術(shù)人員，在不脫離本發(fā)明的精神和范圍的情況下，還可以做出各種變化和變型，因此所有 等同的技術(shù)方案也屬于本發(fā)明的范疇，本發(fā)明的專利保護范圍應由權(quán)利要求限定。
權(quán)利要求
一種使用圖像序列生成玉米果穗全景圖的方法，其特征在于，包括以下步驟S1通過旋轉(zhuǎn)玉米并以間隔預定的角度連續(xù)拍攝的方式獲取玉米果穗的多個圖像組成的圖像序列，其中每兩幀相鄰圖像具有重疊區(qū)域；S2通過背景差分法提取所述圖像序列中的果穗的目標圖像序列，并對其進行灰度化處理，獲得果穗的目標灰度圖像序列；S3通過透視投影變換將所述果穗的目標灰度化圖像序列中的第1幀和第2幀圖像注冊至同一坐標系組成一幀新圖像I；S4通過動態(tài)規(guī)劃算法搜索所述新圖像I的最佳縫合線，沿所述最佳縫合線切割所述第1幀和第2幀圖像，將所述第1幀圖像的左側(cè)切片與第2幀圖像的右側(cè)切片組合為部分全景圖像I’；S5對所述部分全景圖像I’中位于所述最佳縫合線左側(cè)的圖像進行水平和垂直拉伸，以消除所述部分全景圖像I’在投影變換過程中的變形，完成一次拼接；S6對拉伸處理后的部分全景圖像I’和所述果穗的目標灰度化圖像序列中的第3幀圖像執(zhí)行步驟S3-S5以進行下一次拼接，如此重復至所述果穗的目標灰度化圖像序列中的最后一幀圖像，得到玉米果穗全景圖。
2.如權(quán)利要求1所述的使用圖像序列生成玉米果穗全景圖的方法，其特征在于，所述 步驟S3進一步包括以下子步驟5301通過harris、SUSAN或SIFT方法提取所述第1幀和第2幀圖像的重疊區(qū)域中的 特征點；5302根據(jù)最鄰近搜索算法對所述特征點進行匹配，獲得兩幀圖像的多組對應匹配點 X 禾口 X，；5303通過最小二乘法計算所述多組對應匹配點X和X’之間的單應矩陣H，其中，X’ =HX ；5304根據(jù)所述單應矩陣H對第1幀圖像進行透視投影變換，將其注冊至第2幀圖像所 在坐標系，組成新圖像I ；其中，所述新圖像I的像素為投影變換后第1幀圖像與第2幀圖像對應像素的均值。
3.如權(quán)利要求2所述的使用圖像序列生成玉米果穗全景圖的方法，其特征在于，所述 步驟S302和S303之間還包括通過隨機抽樣一致性算法去除所述多組對應匹配點中的誤 匹配點。
4.如權(quán)利要求1所述的使用圖像序列生成玉米果穗全景圖的方法，其特征在于，所述 步驟S4中，通過動態(tài)規(guī)劃法尋找最佳縫合線的過程進一步包括5401由所述新圖像I的第一行像素開始，每一列第一個像素記為一條縫合線的端點；5402從每一縫合線的端點開始搜索下一行像素中最鄰接的3個像素，取灰度值最小 的像素作為所述縫合線的延伸方向，逐行向下搜索直至所述新圖像I的底端；S403:重復上述步驟獲得多條縫合線，選擇其中像素灰度值之和最小的一條作為最佳 縫合線。
5.如權(quán)利要求1所述的使用圖像序列生成玉米果穗全景圖的方法，其特征在于，所述 步驟S4中，沿所述最佳縫合線切割所述第1幀和第2幀圖像之前，還通過拉普拉斯金字塔 融合算法或權(quán)值融合算法消除所述最佳縫合線兩側(cè)圖像的曝光差異。
6.如權(quán)利要求1所述的使用圖像序列生成玉米果穗全景圖的方法，其特征在于，所述 步驟S5中，所述水平和垂直拉伸的像素偏移量d遵循以下公式 其中d’為拉伸方向上該行像素的最大偏移量，&為投影變換后該行像素邊界坐標，Xs 為最佳縫合線在該行的坐標，X為欲拉伸位置的像素坐標。
7.如權(quán)利要求1所述的使用圖像序列生成玉米果穗全景圖的方法，其特征在于，步驟 S5中，在消除所述部分全景圖像I’在投影變換過程中的變形之后，還對經(jīng)過水平和垂直拉 伸的所述部分全景圖像I’的像素進行雙線性插值以填補拉伸過程中像素移動所產(chǎn)生的空 洞。
8.如權(quán)利要求1-7中任意一項所述的使用圖像序列生成玉米果穗全景圖的方法，其 特征在于，所述步驟Sl中，所述相鄰兩幀圖像之間重疊區(qū)域的面積大于單幀圖像面積的 50%。
全文摘要
本發(fā)明提供了一種使用圖像序列生成玉米果穗全景圖的方法，包括使用固定位置的數(shù)碼相機對玉米果穗間隔一定角度拍攝圖像序列；提取圖像特征點并依據(jù)匹配特征點計算圖像序列中前后兩幀圖像的運動參數(shù)，將其注冊到同一坐標系組成一幅新圖像；在新圖像中尋找縫合線，并按照縫合線位置切割前后兩幀圖像，高斯模板濾波消除縫合線兩側(cè)像素曝光差異；在水平和垂直方向拉伸圖像抵消透視投影變形。對圖像序列依次進行以上操作合成玉米果穗全景圖。本發(fā)明的方法可在一幅圖像上顯示玉米果穗圖像序列無縫拼接全貌，從而極大的減少了照片信息的冗余度，減少信息存儲空間，形態(tài)觀察更加直觀。
文檔編號G06T17/00GK101853524SQ20101017631
公開日2010年10月6日 申請日期2010年5月13日 優(yōu)先權(quán)日2010年5月13日
發(fā)明者溫維亮, 王傳宇, 苗騰, 趙春江, 郭新宇 申請人:北京農(nóng)業(yè)信息技術(shù)研究中心