專利名稱：一種基于混合測度的視頻數(shù)據(jù)寬景成像方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于混合測度的視頻數(shù)據(jù)寬景成像方法，屬于圖像處理領(lǐng)域。
背景技術(shù)：
寬景成像是指將通過實時采集裝置在移動過程中所得到的連續(xù)視頻圖像，利用圖 像抑噪、圖像配準(zhǔn)和圖像融合等圖像處理技術(shù)，合成出完整的大幅面、低噪聲和高清晰度的 寬景圖像。因為有較大的數(shù)據(jù)處理量，該技術(shù)一般利用高速處理器或計算機來重建所述單 幅圖像，并且越來越廣泛地被應(yīng)用于機器人、計算機視覺、虛擬現(xiàn)實及醫(yī)學(xué)等領(lǐng)域。比如機 器人視覺中，對于復(fù)雜環(huán)境的處理就需要寬景成像技術(shù)，通過對機器人雙目獲取的子圖像 進行合成，得到寬視野的環(huán)境信息。再比如在超聲醫(yī)學(xué)領(lǐng)域，由于超聲成像距離或?qū)挾仁艿?探頭尺寸的限制，一次數(shù)據(jù)采集不能有效地觀察被測整個器官和病變部位的全貌，因此也 需要對被測目標(biāo)多次采集后進行寬景成像。寬景成像系統(tǒng)可分為三個部分采集子系統(tǒng)、處理子系統(tǒng)與瀏覽子系統(tǒng)。由于采集 子系統(tǒng)中觀測視角的限制，使得每一次采集的效果不足以對被觀測對象做出判斷，因此需 要將多次采集的數(shù)據(jù)進行處理，得到被觀測對象的全貌。其中最關(guān)鍵的處理技術(shù)為圖像配 準(zhǔn)和圖像拼接技術(shù)。尤其是圖像配準(zhǔn)技術(shù)，在一定程度上直接決定了寬景成像的成敗。圖像配準(zhǔn)是指通過尋找某種空間變換，使來自不同時間、不同傳感器或不同視角 的同一場景的兩幅或多幅圖像的對應(yīng)點達到空間位置上的一致。目前常用的圖像配準(zhǔn)算法 主要包括基于變化域的配準(zhǔn)方法，基于特征提取的配準(zhǔn)方法，基于變換模型的配準(zhǔn)方法和 基于灰度信息的配準(zhǔn)方法。相關(guān)算法多是針對清晰度較高，特征輪廓較清晰的圖像提出的。 而對于清晰度較差，特征不明顯的圖像配準(zhǔn)方法還有待進一步探索提高。圖像拼接技術(shù)就是將數(shù)張有重疊部分的圖像(可能是不同時間、不同視角或者不 同傳感器獲得的)拼成一幅大型的無縫高分辨率圖像的技術(shù)。目前比較常用的有圖像增長 技術(shù)，遞歸的空間組合技術(shù)以及加權(quán)拼接技術(shù)。拼接技術(shù)一般要求原理簡單，計算量小，并 且能夠在一定程度上填充掉兩幅圖像間的灰度差異和可能存在的幾何外形形變等?，F(xiàn)今的寬景成像算法多是針對兩幅圖像的配準(zhǔn)拼接提出的，這就導(dǎo)致了這些算法 在處理視頻數(shù)據(jù)的時候出現(xiàn)執(zhí)行效率低、寬景成像精度低等問題，如能直接針對視頻數(shù)據(jù) 進行處理，將能在一定程度上克服上述缺點，給應(yīng)用帶來很大的方便。

發(fā)明內(nèi)容
本發(fā)明目的是為了解決現(xiàn)有針對兩幅圖像的配準(zhǔn)拼接提出的寬景成像算法在處 理視頻數(shù)據(jù)的時候存在執(zhí)行效率低、寬景成像精度低等問題，提供了一種基于混合測度的 視頻數(shù)據(jù)寬景成像方法。本發(fā)明包括如下步驟
步驟一、在視頻數(shù)據(jù)中采樣，獲得一幀圖像作為配準(zhǔn)幀圖像，
步驟二、按設(shè)定的采樣步長再次進行采樣，獲得下一幀圖像作為待配準(zhǔn)幀圖像，
7步驟三、對采樣獲取的幀圖像進行有效性評估，有效性評估包括依次進行掃描有效性 評估和拼接有效性評估，如果通過上述兩個有效性評估，執(zhí)行步驟四，如果沒通過掃描有效 性評估，需返回重新采樣，如果沒有通過拼接有效性評估，表明獲取視頻數(shù)據(jù)的掃描速度過 快或過慢，則自適應(yīng)調(diào)整采樣步長，并將調(diào)整后的采樣步長作為設(shè)定的采樣步長，返回執(zhí)行
步驟二，
步驟四、采用互信息測度和梯度相關(guān)測度對通過有效性評估的配準(zhǔn)幀圖像和待配準(zhǔn)幀 圖像進行圖像配準(zhǔn)，獲取配準(zhǔn)參數(shù)，
配準(zhǔn)參數(shù)包括配準(zhǔn)幀圖像和待配準(zhǔn)幀圖像的橫向配準(zhǔn)位移量和縱向配準(zhǔn)位移量， 采用先粗后精結(jié)合的方式實現(xiàn)圖像配準(zhǔn)，粗配準(zhǔn)采用互信息測度獲取配準(zhǔn)幀圖像和待 配準(zhǔn)幀圖像的橫向配準(zhǔn)位移量，精配準(zhǔn)采用梯度相關(guān)測度獲取配準(zhǔn)幀圖像和待配準(zhǔn)幀圖像 的縱向配準(zhǔn)位移量，
步驟五、分別判斷橫向配準(zhǔn)位移量和縱向配準(zhǔn)位移量是否超出閾值范圍，根據(jù)下述兩 式獲得判斷結(jié)果
位移低閾值 < 橫向配準(zhǔn)位移量 < 位移高閾值， 位移低閾值 < 縱向配準(zhǔn)位移量 < 位移高閾值，
若上述兩式都成立，則表明橫向配準(zhǔn)位移量和縱向配準(zhǔn)位移量均在閾值范圍內(nèi)，獲取 視頻數(shù)據(jù)的掃描速度正常，無需調(diào)整采樣步長，執(zhí)行步驟六，
若有任何一式不成立，則表明橫向配準(zhǔn)位移量或縱向配準(zhǔn)位移量超出閾值范圍，獲取 視頻數(shù)據(jù)的掃描速度過快或過慢，則自適應(yīng)調(diào)整采樣步長，并將調(diào)整后的采樣步長作為設(shè) 定的采樣步長，再返回執(zhí)行步驟二，
步驟六、采用縫隙漸變加權(quán)融合的方法將獲取配準(zhǔn)參數(shù)的的配準(zhǔn)幀圖像和待配準(zhǔn)幀圖 像進行圖像拼接，并將本次拼接后的圖像作為下一次拼接用的配準(zhǔn)幀圖像， 然后返回步驟二，進行下一次圖像采樣和拼接， 直到視頻數(shù)據(jù)采樣過程結(jié)束，退出循環(huán)，完成一個寬景圖像的拼接過程。本發(fā)明的優(yōu)點
1)處理對象直接是視頻數(shù)據(jù)，使得該算法能直接用于實際應(yīng)用中，解決了當(dāng)前很多寬 景成像算法只是針對兩幅圖像的提出而失去了直接的實際應(yīng)用價值的問題。2)在算法中引入了采樣幀有效性判斷及采樣變步長機制，通過有效性判斷剔除 不具有足夠特征的幀圖像，利用采樣的循環(huán)體系保證了算法的準(zhǔn)確性，結(jié)合采樣步長的調(diào) 整實現(xiàn)了寬景成像算法的自適應(yīng)性。3)混合測度的結(jié)合使用為算法提供了較強的抗干擾能力，使其魯棒性大大增加， 在保證精度的同時也使得算法完全能夠滿足實時性的要求。


圖1為基于混合測度的寬景成像方法框圖； 圖2為互信息粗配準(zhǔn)算法流程圖3為梯度相關(guān)法精配準(zhǔn)算法流程圖； 圖4為圖像縫隙漸變加權(quán)融合拼接算法流程圖； 圖5和圖6為從視頻數(shù)據(jù)中截取的兩幀圖像；圖7和圖8為去除背景后的兩幀超聲圖像； 圖9為兩幀圖像的拼接圖； 圖10為人體肌肉組織掃描視頻數(shù)據(jù)的寬景合成圖； 圖11為體膜視頻數(shù)據(jù)的寬景合成圖。
具體實施例方式
具體實施方式
一下面結(jié)合圖1至圖4說明本實施方式， 本發(fā)明是通過以下技術(shù)方案實現(xiàn)的
首先設(shè)定初始的采樣步長，從視頻圖像數(shù)據(jù)中采集出兩幀圖像，分別對其進行幀掃描 有效性和幀拼接有效性判斷，以鑒別該采樣幀的性能是否滿足寬景成像要求，驗證滿足要 求后將兩個采樣特征幀進行配準(zhǔn)，這里采用的是由粗到精的兩步配準(zhǔn)法，先利用互信息測 度進行粗配準(zhǔn)，然后對圖像進行背景去除以減小噪聲干擾，并以得到的配準(zhǔn)位移作為初始 值，在其鄰域內(nèi)利用梯度相關(guān)法進行精確配準(zhǔn)，最后利用縫隙漸變加權(quán)融合的方法將圖像 按照計算出的配準(zhǔn)位移拼接起來，同時根據(jù)配準(zhǔn)位移的數(shù)值大小調(diào)整采樣步長，對視頻數(shù) 據(jù)進行再次采樣，并將得到的寬景圖像和新采集到的幀圖像作為處理對象重復(fù)上面的過 程，直至整個視頻數(shù)據(jù)采樣完成后算法結(jié)束，退出循環(huán)，得到所求的寬景圖像，具體方法包 括以下步驟
步驟一、在視頻數(shù)據(jù)中采樣，獲得一幀圖像作為配準(zhǔn)幀圖像， 步驟二、按設(shè)定的采樣步長再次進行采樣，獲得下一幀圖像作為待配準(zhǔn)幀圖像， 步驟三、對采樣獲取的幀圖像進行有效性評估，有效性評估包括依次進行掃描有效性 評估和拼接有效性評估，如果通過上述兩個有效性評估，適合寬景拼接，執(zhí)行步驟四，如果 沒通過掃描有效性評估，需返回重新采樣，如果沒有通過拼接有效性評估，表明獲取視頻數(shù) 據(jù)的掃描速度過快或過慢，則自適應(yīng)調(diào)整采樣步長，并將調(diào)整后的采樣步長作為設(shè)定的采 樣步長，返回執(zhí)行步驟二，
步驟四、采用互信息測度和梯度相關(guān)測度對通過有效性評估的配準(zhǔn)幀圖像和待配準(zhǔn)幀 圖像進行圖像配準(zhǔn)，獲取配準(zhǔn)參數(shù)，
配準(zhǔn)參數(shù)包括配準(zhǔn)幀圖像和待配準(zhǔn)幀圖像的橫向配準(zhǔn)位移量和縱向配準(zhǔn)位移量， 采用先粗后精結(jié)合的方式實現(xiàn)圖像配準(zhǔn)，粗配準(zhǔn)采用互信息測度獲取配準(zhǔn)幀圖像和待 配準(zhǔn)幀圖像的橫向配準(zhǔn)位移量，精配準(zhǔn)采用梯度相關(guān)測度獲取配準(zhǔn)幀圖像和待配準(zhǔn)幀圖像 的縱向配準(zhǔn)位移量，
步驟五、分別判斷橫向配準(zhǔn)位移量和縱向配準(zhǔn)位移量是否超出閾值范圍，根據(jù)下述兩 式獲得判斷結(jié)果
位移低閾值 < 橫向配準(zhǔn)位移量 < 位移高閾值， 位移低閾值 < 縱向配準(zhǔn)位移量 < 位移高閾值，
若上述兩式都成立，則表明橫向配準(zhǔn)位移量和縱向配準(zhǔn)位移量均在閾值范圍內(nèi)，獲取 視頻數(shù)據(jù)的掃描速度正常，無需調(diào)整采樣步長，執(zhí)行步驟六，
若有任何一式不成立，則表明橫向配準(zhǔn)位移量或縱向配準(zhǔn)位移量超出閾值范圍，獲取 視頻數(shù)據(jù)的掃描速度過快或過慢，則自適應(yīng)調(diào)整采樣步長，并將調(diào)整后的采樣步長作為設(shè) 定的采樣步長，再返回執(zhí)行步驟二，
9步驟六、采用縫隙漸變加權(quán)融合的方法將獲取配準(zhǔn)參數(shù)的的配準(zhǔn)幀圖像和待配準(zhǔn)幀圖 像進行圖像拼接，并將本次拼接后的圖像作為下一次拼接用的配準(zhǔn)幀圖像， 然后返回步驟二，進行下一次圖像采樣和拼接， 直到視頻數(shù)據(jù)采樣過程結(jié)束，退出循環(huán)，完成一個寬景圖像的拼接過程。執(zhí)行步驟一，采樣視頻數(shù)據(jù)的一幀圖像作為配準(zhǔn)幀圖像，然后執(zhí)行步驟二，按設(shè)定 的采樣步長再采樣視頻數(shù)據(jù)的下一幀圖像作為待配準(zhǔn)幀圖像，第一次采樣時，連續(xù)采樣兩 幀圖像，分別作為配準(zhǔn)幀圖像和待配準(zhǔn)幀圖像，經(jīng)過后續(xù)的處理后，拼接成的圖像在下一次 采樣時作為配準(zhǔn)幀圖像，因此，第二次以后采樣只需采樣待配準(zhǔn)幀圖像即可。步驟三進行掃描有效性判斷時，若第一次采樣判斷時，配準(zhǔn)幀圖像或待配準(zhǔn)幀圖 像的掃描有效性有問題，返回執(zhí)行步驟一；第二次及其以后采樣，配準(zhǔn)幀圖像是上次拼接后 的圖像，不存在掃描有效性問題，只判斷采樣得到的待配準(zhǔn)幀圖像的掃描有效性，因此，若 此步判斷掃描有效性存在問題，返回步驟二，
步驟三中所述的掃描有效性評估是基于統(tǒng)計測度實現(xiàn)的，
判斷采樣獲取的幀圖像基于統(tǒng)計測度進行掃描有效性的標(biāo)準(zhǔn)是要滿足條件 nti < Nti，
其中，JV4f為像素統(tǒng)計閾值，
nM為幀圖像中像素值小于^的像素點數(shù)，
II.nM滿足條件
式丨Λ力幀圖像中點I的像素值，
/為像素閾值，Q為采樣獲取的幀圖像，
配準(zhǔn)幀圖像和待配準(zhǔn)幀圖像統(tǒng)稱為幀圖像，在后續(xù)的運算中，令A(yù)代表配準(zhǔn)幀圖像，令 B代表待配準(zhǔn)幀圖像，
滿足上述條件，則掃描有效，否則，掃描無效；
步驟三中所述的拼接有效性的評估是基于絕對差和SAD實現(xiàn)的，
對采樣獲取的幀圖像基于絕對差和SAD進行拼接有效性判斷標(biāo)準(zhǔn)是要滿足條件
其中，m為拼接有效性低閾值,ST2拼接有效性高閾值，為配準(zhǔn)幀圖像J
中點(Ay)的像素值，^Jf)為待配準(zhǔn)幀圖像忍中點(U)的像素值，C為配準(zhǔn)幀圖像 Jl和待配準(zhǔn)幀圖像忍中的對應(yīng)區(qū)域，
滿足上述條件，則拼接有效，否則，拼接無效。步驟三中的自適應(yīng)調(diào)整步長的方法為 若SV<SV1，則采樣步長按下式進行調(diào)整設(shè)定 Stepi+1= Stepi + Δ stepl,
Stepi為第i次采樣步長、Stepi+1為第i+Ι次采樣步長，Δ step 1為調(diào)整采樣步長，若SV>SV2，則采樣步長按下式進行調(diào)整設(shè)定 Stepi+1= Stepi -Δ stepl,
調(diào)整采樣步長Δ st印1依據(jù)經(jīng)驗而定，一般為1-10之間。步驟三中所述的采樣獲取的幀圖像不滿足掃描有效性條件，需返回重新采樣有兩 種方式第一次循環(huán)需采樣配準(zhǔn)幀圖像和待配準(zhǔn)幀圖像兩幀圖像，若配準(zhǔn)幀圖像或待配準(zhǔn) 幀圖像不滿足掃描有效性時，返回執(zhí)行步驟一；第二次及其以后采樣，只需對待配準(zhǔn)幀圖像 進行掃描有效性判斷，若待配準(zhǔn)幀圖像不滿足掃描有效性時，返回執(zhí)行步驟二。步驟四中的采用互信息測度和梯度相關(guān)測度將通過有效性評估的配準(zhǔn)幀圖像和 待配準(zhǔn)幀圖像進行圖像配準(zhǔn)的過程為
首先采用互信息測度進行粗配準(zhǔn)，然后去除背景干擾噪聲，再采用梯度相關(guān)測度進行 精配準(zhǔn)，
采用互信息測度進行粗配準(zhǔn)的方法為
步驟41、將通過有效性評估的待配準(zhǔn)幀圖像都均分成η個豎條區(qū)域， 步驟42、以待配準(zhǔn)幀圖像的左側(cè)第1個豎條區(qū)域作為匹配標(biāo)準(zhǔn)區(qū)域，按照設(shè)定的橫向 搜索步長在配準(zhǔn)幀圖像上進行從左至右的橫向搜索，找出與匹配標(biāo)準(zhǔn)區(qū)域之間具有最大互 信息值的位置，進而獲得配準(zhǔn)幀圖像和待配準(zhǔn)幀圖像的橫向配準(zhǔn)位移量，實現(xiàn)了配準(zhǔn)幀圖 像和待配準(zhǔn)幀圖像的粗配準(zhǔn)，
將經(jīng)過粗配準(zhǔn)的配準(zhǔn)幀圖像和待配準(zhǔn)幀圖像去除背景干擾噪聲的方法
將經(jīng)過粗配準(zhǔn)的圖像中像素值低于噪聲像素閾值Jb的像素點作為背景干擾噪聲去 除，低于噪聲像素閾值Jb的像素點JTr按下述公式提取
其中，S為經(jīng)過粗配準(zhǔn)的圖像的整體區(qū)域，
去除背景干擾噪聲后，再采用梯度相關(guān)測度進行精配準(zhǔn)的過程為 步驟43、在待配準(zhǔn)幀圖像的粗配準(zhǔn)坐標(biāo)臨域內(nèi)選取aXb矩陣作為匹配標(biāo)準(zhǔn)矩陣， 步驟44、以配準(zhǔn)幀圖像的粗配準(zhǔn)坐標(biāo)所在縱向位置為中心，按照設(shè)定的縱向搜索步長 進行從上到下縱向搜索，獲取多個aXb配準(zhǔn)幀圖像粗配準(zhǔn)臨域矩陣，
步驟45、采用梯度相關(guān)法找出與匹配標(biāo)準(zhǔn)矩陣之間具有最大相關(guān)性的配準(zhǔn)幀圖像粗配 準(zhǔn)臨域矩陣，根據(jù)與匹配標(biāo)準(zhǔn)矩陣之間具有最大相關(guān)性的配準(zhǔn)幀圖像粗配準(zhǔn)臨域矩陣在配 準(zhǔn)幀圖像中的位置，獲得配準(zhǔn)幀圖像和待配準(zhǔn)幀圖像的縱向配準(zhǔn)位移量，實現(xiàn)了配準(zhǔn)幀圖 像和待配準(zhǔn)幀圖像的精配準(zhǔn)。找出與匹配標(biāo)準(zhǔn)區(qū)域之間具有最大互信息值的位置，進而獲得配準(zhǔn)幀圖像和待配 準(zhǔn)幀圖像的橫向配準(zhǔn)位移量的過程為
按照下述公式計算匹配標(biāo)準(zhǔn)與在配準(zhǔn)幀圖像上按照設(shè)定的搜索步長橫向搜索的多個
11
區(qū)域之間的互信息值Mffy
其中，Hh{A}為匹配標(biāo)準(zhǔn)區(qū)域的信息熵，HyC^)為配準(zhǔn)幀圖像上按照設(shè)定的搜索步
長橫向搜索出的區(qū)域的信息熵，
為匹配標(biāo)準(zhǔn)區(qū)域與配準(zhǔn)幀圖像上按
照設(shè)定的搜索步長橫向搜索出的區(qū)域的聯(lián)合熵，
匹配標(biāo)準(zhǔn)區(qū)域的信息熵與配準(zhǔn)幀圖像上按照設(shè)定的搜索步長橫向搜索出的區(qū)
域的信息熵的獲取方法相同，以下把匹配標(biāo)準(zhǔn)區(qū)域的信息熵JTll(J)與配準(zhǔn)幀圖
像上按照設(shè)定的搜索步長橫向搜索出的區(qū)域的信息熵&(均統(tǒng)稱為信息熵H，信息熵H按 下述公式獲得
其中，興=代/1, #為信息熵H所對應(yīng)圖像總的像素個數(shù)，衡為圖像中灰度值為f 的像素點的個數(shù)，
匹配標(biāo)準(zhǔn)區(qū)域與配準(zhǔn)幀圖像上按照設(shè)定的搜索步長橫向搜索出的區(qū)域的聯(lián)合熵 按下述公式獲得
其中，p§ =N§ IN , Nij表示匹配標(biāo)準(zhǔn)區(qū)域與配準(zhǔn)幀圖像上按照設(shè)定的搜索步
長橫向搜索出的區(qū)域?qū)?yīng)位置處灰度值分別為f和J的聯(lián)合數(shù)目，
找出匹配標(biāo)準(zhǔn)與在配準(zhǔn)幀圖像上按照設(shè)定的搜索步長橫向搜索的多個區(qū)域之間的互 信息值Mffy中的最大值，根據(jù)最大互信息值獲取待配準(zhǔn)幀圖像中的匹配標(biāo)準(zhǔn)區(qū)域在配準(zhǔn)
幀圖像中所對應(yīng)的配準(zhǔn)位置，據(jù)此求出配準(zhǔn)幀圖像與待配準(zhǔn)幀圖像的橫向配準(zhǔn)移動坐標(biāo)， 進而獲得配準(zhǔn)幀圖像和待配準(zhǔn)幀圖像的橫向配準(zhǔn)位移量。 采用梯度相關(guān)法找出與匹配標(biāo)準(zhǔn)矩陣之間具有最大相關(guān)性的配準(zhǔn)幀圖像粗配準(zhǔn) 臨域矩陣，根據(jù)與匹配標(biāo)準(zhǔn)矩陣之間具有最大相關(guān)性的配準(zhǔn)幀圖像粗配準(zhǔn)臨域矩陣在配準(zhǔn) 幀圖像中的位置，獲得配準(zhǔn)幀圖像和待配準(zhǔn)幀四像的縱向配準(zhǔn)位移量的過程為
首先，采用梯度相關(guān)法計算匹配標(biāo)準(zhǔn)矩陣Z與配準(zhǔn)幀圖像粗配準(zhǔn)臨域矩陣2的相關(guān)性
系數(shù)~
配準(zhǔn)幀圖像粗配準(zhǔn)臨域矩陣為
根據(jù)相關(guān)性系數(shù)~中的最大值，對應(yīng)的配準(zhǔn)幀圖像粗配準(zhǔn)臨域矩陣，獲取待配準(zhǔn)幀圖
像中的匹配標(biāo)準(zhǔn)矩陣在配準(zhǔn)幀圖像中所對應(yīng)的配準(zhǔn)位置，據(jù)此求出配準(zhǔn)幀圖像與待配準(zhǔn)幀 圖像的縱向配準(zhǔn)移動坐標(biāo)，進而獲得配準(zhǔn)幀圖像和待配準(zhǔn)幀圖像的縱向配準(zhǔn)位移量。匹配標(biāo)準(zhǔn)矩陣Z采用某一列有數(shù)值其它列均為0的形式。為了減少計算量，匹配標(biāo)準(zhǔn)矩陣Z可取成某一列由數(shù)值，其它列均為0的形式，這 樣只計算縱向方向的梯度信息，精配準(zhǔn)只獲取配準(zhǔn)幀圖像和待配準(zhǔn)幀圖像的縱向配準(zhǔn)位移 量。步驟五中若橫向配準(zhǔn)位移量或縱向配準(zhǔn)位移量超出閾值范圍，表明獲取視頻數(shù)據(jù) 的掃描速度過快或過慢，則自適應(yīng)調(diào)整采樣步長，以下將橫向配準(zhǔn)位移量或縱向配準(zhǔn)位移 量統(tǒng)稱為配準(zhǔn)位移量，其自適應(yīng)調(diào)整采樣步長的方法為
采樣步長按下式進行調(diào)整設(shè)定
其中，Stepi為第i次采樣步長、St印i+1為第i+Ι次采樣步長，Δ step2=配準(zhǔn)位移量-事 先設(shè)定的理想配準(zhǔn)位移量。步驟六中的采用縫隙漸變加權(quán)融合的方法將獲取配準(zhǔn)參數(shù)的配準(zhǔn)幀圖像和待配 準(zhǔn)幀圖像進行圖像拼接的過程為
步驟61、根據(jù)配準(zhǔn)幀圖像和待配準(zhǔn)幀圖像的橫向、縱向配準(zhǔn)位移量兩個配準(zhǔn)參數(shù)，將待 配準(zhǔn)幀圖像的所有像素進行坐標(biāo)變換，形成變換后待配準(zhǔn)幀圖像，
其中，i{UD為融合區(qū)域像素值，A(I5J)為配準(zhǔn)幀圖像的像素值，ja( fe/ 為待 配準(zhǔn)幀圖像的像素值。轉(zhuǎn),/)是根據(jù)配準(zhǔn)參數(shù)做位置變換后的坐標(biāo)信息，e為漸變加權(quán)
系數(shù)，當(dāng)重合區(qū)域與配準(zhǔn)幀圖像式接壤時，g=0 ；當(dāng)重合區(qū)域與待配準(zhǔn)幀圖像接壤時，0 = 1。
具體實施方式
二、本實施方式結(jié)合圖1至圖11給出一個具體的實施例，
為了評估提出的基于混合測度的視頻數(shù)據(jù)寬景成像的方法，我們以從臨床設(shè)備中實時 采集的一段人體組織超聲掃描視頻為例，該視頻共有293幀圖像，每幀圖像大小為461*421 像素，像素值為8位無符號整型數(shù)值。執(zhí)行步驟一設(shè)定初始采樣步長Si^ = I，從視頻數(shù)據(jù)中提取出第一幀和第二幀 圖像數(shù)據(jù)，如圖5所示。執(zhí)行步驟二 對兩幀圖像進行采樣幀性能評估。首先評估其掃描有效性，設(shè)定“像
素閾值” 1 = 50,設(shè)定“統(tǒng)計閾值” Iai=BOOO,經(jīng)統(tǒng)計，兩幅圖像皆滿足的條
件，可以用于寬景成像處理。然后對兩幀圖像的拼接有效性進行評估，設(shè)定拼接有效性SV 的閾值門限分別為50000和500000，經(jīng)過計算，兩幀圖像的SV值在這個區(qū)間內(nèi)，滿足拼接要 求，可以進行配準(zhǔn)。執(zhí)行步驟三對兩幅圖像進行配準(zhǔn)。首先進行互信息粗配準(zhǔn)，得到最大互信息值 1. 2523，其位置為1，即配準(zhǔn)位移為1。然后對兩幀圖像進行背景去除，其效果圖如圖6所示， 從圖中可以看出，經(jīng)過背景去除，圖像中一些顆粒狀的斑點噪聲被去除，而肌肉組織特征被 凸顯出來。這將有利于后續(xù)對圖像梯度序列的提取，能夠進一步放大組織特征的位置信息 作用，而提高算法的精度。而在圖像中仍然存在的部分噪聲經(jīng)過仿真驗證不會對算法準(zhǔn)確 度產(chǎn)生較大的影響。此外，由于經(jīng)過了背景去除后圖像中大部分?jǐn)?shù)據(jù)都被簡化為1，這也大 大減少了后續(xù)的處理數(shù)據(jù)量，進一步提高算法的運行時間。接下來對處理過的兩幀圖像進 行梯度相關(guān)法精配準(zhǔn)，得到最大梯度相關(guān)系數(shù)25. 5418，其位置為1，即所求的配準(zhǔn)位移為 1。執(zhí)行步驟四根據(jù)求得的配準(zhǔn)位移調(diào)整采樣步長。設(shè)定單幀的理想配準(zhǔn)位移區(qū)間 為[80，120]，而本次配準(zhǔn)得出的位移為1，根據(jù)差值大小修改采樣步長= 。執(zhí)行步驟五將兩幅圖像利用縫隙漸變加權(quán)融合的方法拼接起來，效果圖如圖7 所示。將得到的寬景拼接圖作為新的待配準(zhǔn)圖像，利用已經(jīng)調(diào)整過的采樣步長再從視頻 數(shù)據(jù)中采集出一幀圖像作為配準(zhǔn)圖像，重復(fù)步驟二，以此循環(huán)，直至整個視頻數(shù)據(jù)采樣結(jié) 束，得到視頻數(shù)據(jù)的寬景圖如圖8所示。從圖中可以看出，視頻組織保存完好，連接正常，成 功實現(xiàn)了寬景成像功能。為了更好地說明算法的魯棒性，圖9給出了利用該算法對體膜掃描視頻數(shù)據(jù)的寬 景合成圖。可以看出，該算法對于像體膜視頻這樣的缺少特征信息的數(shù)據(jù)仍舊能夠成功地 合成其寬景圖像，證明了算法較強的魯棒性。
1權(quán)利要求
一種基于混合測度的視頻數(shù)據(jù)寬景成像方法，其特征在于，它包括如下步驟步驟一、在視頻數(shù)據(jù)中采樣，獲得一幀圖像作為配準(zhǔn)幀圖像，步驟二、按設(shè)定的采樣步長再次進行采樣，獲得下一幀圖像作為待配準(zhǔn)幀圖像，步驟三、對采樣獲取的幀圖像進行有效性評估，有效性評估包括依次進行掃描有效性評估和拼接有效性評估，如果通過上述兩個有效性評估，執(zhí)行步驟四，如果沒通過掃描有效性評估，需返回重新采樣，如果沒有通過拼接有效性評估，表明獲取視頻數(shù)據(jù)的掃描速度過快或過慢，則自適應(yīng)調(diào)整采樣步長，并將調(diào)整后的采樣步長作為設(shè)定的采樣步長，返回執(zhí)行步驟二， 步驟四、采用互信息測度和梯度相關(guān)測度對通過有效性評估的配準(zhǔn)幀圖像和待配準(zhǔn)幀圖像進行圖像配準(zhǔn)，獲取配準(zhǔn)參數(shù)，配準(zhǔn)參數(shù)包括配準(zhǔn)幀圖像和待配準(zhǔn)幀圖像的橫向配準(zhǔn)位移量和縱向配準(zhǔn)位移量，采用先粗后精結(jié)合的方式實現(xiàn)圖像配準(zhǔn)，粗配準(zhǔn)采用互信息測度獲取配準(zhǔn)幀圖像和待配準(zhǔn)幀圖像的橫向配準(zhǔn)位移量，精配準(zhǔn)采用梯度相關(guān)測度獲取配準(zhǔn)幀圖像和待配準(zhǔn)幀圖像的縱向配準(zhǔn)位移量，步驟五、分別判斷橫向配準(zhǔn)位移量和縱向配準(zhǔn)位移量是否超出閾值范圍，根據(jù)下述兩式獲得判斷結(jié)果位移低閾值<橫向配準(zhǔn)位移量<位移高閾值，位移低閾值<縱向配準(zhǔn)位移量<位移高閾值，若上述兩式都成立，則表明橫向配準(zhǔn)位移量和縱向配準(zhǔn)位移量均在閾值范圍內(nèi)，獲取視頻數(shù)據(jù)的掃描速度正常，無需調(diào)整采樣步長，執(zhí)行步驟六，若有任何一式不成立，則表明橫向配準(zhǔn)位移量或縱向配準(zhǔn)位移量超出閾值范圍，獲取視頻數(shù)據(jù)的掃描速度過快或過慢，則自適應(yīng)調(diào)整采樣步長，并將調(diào)整后的采樣步長作為設(shè)定的采樣步長，再返回執(zhí)行步驟二，步驟六、采用縫隙漸變加權(quán)融合的方法將獲取配準(zhǔn)參數(shù)的的配準(zhǔn)幀圖像和待配準(zhǔn)幀圖像進行圖像拼接，并將本次拼接后的圖像作為下一次拼接用的配準(zhǔn)幀圖像， 然后返回步驟二，進行下一次圖像采樣和拼接，直到視頻數(shù)據(jù)采樣過程結(jié)束，退出循環(huán)，完成一個寬景圖像的拼接過程。
2.根據(jù)權(quán)利要求1所述的一種基于混合測度的視頻數(shù)據(jù)寬景成像方法，其特征在于， 步驟三中所述的掃描有效性評估是基于統(tǒng)計測度實現(xiàn)的，判斷采樣獲取的幀圖像基于統(tǒng)計測度進行掃描有效性的標(biāo)準(zhǔn)是要滿足條件nM < Nbi，其中，JVftf為像素統(tǒng)計閾值，nm為幀圖像中像素值小于^的像素點數(shù)，且11&-滿足條件I^f=Kpx <J|xeC^，式中ρ力幀圖像中點的像素值， I為像素閾值，Q為采樣獲取的幀圖像，其中，S為經(jīng)過粗配準(zhǔn)的圖像的整體區(qū)域，去除背景干擾噪聲后，再采用梯度相關(guān)測度進行精配準(zhǔn)的過程為 步驟43、在待配準(zhǔn)幀圖像的粗配準(zhǔn)坐標(biāo)臨域內(nèi)選取aXb矩陣作為匹配標(biāo)準(zhǔn)矩陣， 步驟44、以配準(zhǔn)幀圖像的粗配準(zhǔn)坐標(biāo)所在縱向位置為中心，按照設(shè)定的縱向搜索步長3滿足上述條件，則掃描有效，否則，掃描無效；步驟三中所述的拼接有效性的評估是基于絕對差和SAD實現(xiàn)的，對采樣獲取的幀圖像基于絕對差和SAD進行拼接有效性判斷標(biāo)準(zhǔn)是要滿足條件 其中，■為拼接有效性低閾值,ST2拼接有效性高閾值，巧(H》為配準(zhǔn)幀圖像J中點(υ)的像素值，m^yy為待配準(zhǔn)幀圖像忍中點(Aj)的像素值，c為配準(zhǔn)幀圖像瀣和待配準(zhǔn)幀圖像忍中的對應(yīng)區(qū)域，滿足上述條件，則拼接有效，否則，拼接無效。
3.根據(jù)權(quán)利要求1或2所述的一種基于混合測度的視頻數(shù)據(jù)寬景成像方法，其特征在 于，步驟三中所述的采樣獲取的幀圖像不滿足掃描有效性條件，需返回重新采樣有兩種方 式第一次循環(huán)需采樣配準(zhǔn)幀圖像和待配準(zhǔn)幀圖像兩幀圖像，若配準(zhǔn)幀圖像或待配準(zhǔn)幀圖 像不滿足掃描有效性時，返回執(zhí)行步驟一；第二次及其以后采樣，只需對待配準(zhǔn)幀圖像進行 掃描有效性判斷，若待配準(zhǔn)幀圖像不滿足掃描有效性時，返回執(zhí)行步驟二。
4.根據(jù)權(quán)利要求1所述的一種基于混合測度的視頻數(shù)據(jù)寬景成像方法，其特征在于， 步驟四中的采用互信息測度和梯度相關(guān)測度將通過有效性評估的配準(zhǔn)幀圖像和待配準(zhǔn)幀 圖像進行圖像配準(zhǔn)的過程為首先采用互信息測度進行粗配準(zhǔn)，然后去除背景干擾噪聲，再采用梯度相關(guān)測度進行 精配準(zhǔn)，采用互信息測度進行粗配準(zhǔn)的方法為步驟41、將通過有效性評估的待配準(zhǔn)幀圖像都均分成η個豎條區(qū)域， 步驟42、以待配準(zhǔn)幀圖像的左側(cè)第1個豎條區(qū)域作為匹配標(biāo)準(zhǔn)區(qū)域，按照設(shè)定的橫向 搜索步長在配準(zhǔn)幀圖像上進行從左至右的橫向搜索，找出與匹配標(biāo)準(zhǔn)區(qū)域之間具有最大互 信息值的位置，進而獲得配準(zhǔn)幀圖像和待配準(zhǔn)幀圖像的橫向配準(zhǔn)位移量，實現(xiàn)了配準(zhǔn)幀圖 像和待配準(zhǔn)幀圖像的粗配準(zhǔn)，將經(jīng)過粗配準(zhǔn)的配準(zhǔn)幀圖像和待配準(zhǔn)幀圖像去除背景干擾噪聲的方法將經(jīng)過粗配準(zhǔn)的圖像中像素值低于噪聲像素閾值./Β的像素點作為背景干擾噪聲去 除，低于噪聲像素閾值/ 的像素點JTs.按下述公式提取 進行從上到下縱向搜索，獲取多個aXb配準(zhǔn)幀圖像粗配準(zhǔn)臨域矩陣，步驟45、采用梯度相關(guān)法找出與匹配標(biāo)準(zhǔn)矩陣之間具有最大相關(guān)性的配準(zhǔn)幀圖像粗配 準(zhǔn)臨域矩陣，根據(jù)與匹配標(biāo)準(zhǔn)矩陣之間具有最大相關(guān)性的配準(zhǔn)幀圖像粗配準(zhǔn)臨域矩陣在配 準(zhǔn)幀圖像中的位置，獲得配準(zhǔn)幀圖像和待配準(zhǔn)幀圖像的縱向配準(zhǔn)位移量，實現(xiàn)了配準(zhǔn)幀圖 像和待配準(zhǔn)幀圖像的精配準(zhǔn)。
5.根據(jù)權(quán)利要求4所述的一種基于混合測度的視頻數(shù)據(jù)寬景成像方法，其特征在于， 找出與匹配標(biāo)準(zhǔn)區(qū)域之間具有最大互信息值的位置，進而獲得配準(zhǔn)幀圖像和待配準(zhǔn)幀圖像 的橫向配準(zhǔn)位移量的過程為按照下述公式計算匹配標(biāo)準(zhǔn)與在配準(zhǔn)幀圖像上按照設(shè)定的搜索步長橫向搜索的多個區(qū)域之間的互信息值 y 其中，Mh{A}為匹配標(biāo)準(zhǔn)區(qū)域的信息熵，fly 為配準(zhǔn)幀圖像上按照設(shè)定的搜索步長橫向搜索出的區(qū)域的信息熵，y=l, 2，-,n, H(A^B)為匹配標(biāo)準(zhǔn)區(qū)域與配準(zhǔn)幀圖像上按 照設(shè)定的搜索步長橫向搜索出的區(qū)域的聯(lián)合熵，匹配標(biāo)準(zhǔn)區(qū)域的信息熵與配準(zhǔn)幀圖像上按照設(shè)定的搜索步長橫向搜索出的區(qū)域的信息熵的獲取方法相同，以下把匹配標(biāo)準(zhǔn)區(qū)域的信息熵JTllCJ)與配準(zhǔn)幀圖像上按照設(shè)定的搜索步長橫向搜索出的區(qū)域的信息熵&(均統(tǒng)稱為信息熵H，信息熵H按 下述公式獲得 其中，J^i=JVf/JVrJ為信息熵H所對應(yīng)圖像總的像素個數(shù)，代為圖像中灰度值力， 的像素點的個數(shù)，匹配標(biāo)準(zhǔn)區(qū)域與配準(zhǔn)幀圖像上按照設(shè)定的搜索步長橫向搜索出的區(qū)域的聯(lián)合熵 iiC^S)按K述公式獲得 其中， 表示匹配標(biāo)準(zhǔn)區(qū)域與配準(zhǔn)幀圖像上按照設(shè)定的搜索步長橫向搜索出的區(qū)域?qū)?yīng)位置處灰度值分別為i和7的聯(lián)合數(shù)目，找出匹配標(biāo)準(zhǔn)與在配準(zhǔn)幀圖像上按照設(shè)定的搜索步長橫向搜索的多個區(qū)域之間的互 信息值 Ty中的最大值，根據(jù)最大互信息值獲取待配準(zhǔn)幀圖像中的匹配標(biāo)準(zhǔn)區(qū)域在配準(zhǔn)幀圖像中所對應(yīng)的配準(zhǔn)位置，據(jù)此求出配準(zhǔn)幀圖像與待配準(zhǔn)幀圖像的橫向配準(zhǔn)移動坐標(biāo)， 進而獲得配準(zhǔn)幀圖像和待配準(zhǔn)幀圖像的橫向配準(zhǔn)位移量。
6.根據(jù)權(quán)利要求4所述的一種基于混合測度的視頻數(shù)據(jù)寬景成像方法，其特征在于， 采用梯度相關(guān)法找出與匹配標(biāo)準(zhǔn)矩陣之間具有最大相關(guān)性的配準(zhǔn)幀圖像粗配準(zhǔn)臨域矩陣， 根據(jù)與匹配標(biāo)準(zhǔn)矩陣之間具有最大相關(guān)性的配準(zhǔn)幀圖像粗配準(zhǔn)臨域矩陣在配準(zhǔn)幀圖像中 的位置，獲得配準(zhǔn)幀圖像和待配準(zhǔn)幀圖像的縱向配準(zhǔn)位移量的過程為首先，采用梯度相關(guān)法計算匹配標(biāo)準(zhǔn)矩陣Z與配準(zhǔn)幀圖像粗配準(zhǔn)臨域矩陣Z的相關(guān)性系數(shù)~ 匹配標(biāo)準(zhǔn)矩陣為 配準(zhǔn)幀圖像粗配準(zhǔn)臨域矩陣為 根據(jù)相關(guān)性系數(shù)~-中的最大值，對應(yīng)的配準(zhǔn)幀圖像粗配準(zhǔn)臨域矩陣，獲取待配準(zhǔn)幀圖像中的匹配標(biāo)準(zhǔn)矩陣在配準(zhǔn)幀圖像中所對應(yīng)的配準(zhǔn)位置，據(jù)此求出配準(zhǔn)幀圖像與待配準(zhǔn)幀 圖像的縱向配準(zhǔn)移動坐標(biāo)，進而獲得配準(zhǔn)幀圖像和待配準(zhǔn)幀圖像的縱向配準(zhǔn)位移量。
7.根據(jù)權(quán)利要求6所述的一種基于混合測度的視頻數(shù)據(jù)寬景成像方法，其特征在于， 匹配標(biāo)準(zhǔn)矩陣Z采用某一列有數(shù)值，其它列均為0的形式。
8.根據(jù)權(quán)利要求2所述的一種基于混合測度的視頻數(shù)據(jù)寬景成像方法，其特征在于， 步驟三中的自適應(yīng)調(diào)整步長的方法為若SV<SV1，則采樣步長按下式進行調(diào)整設(shè)定 Stepi+1= Stepi + Δ stepl,Stepi為第i次采樣步長、Stepi+1為第i+Ι次采樣步長，Δ step 1為調(diào)整采樣步長，若SV>SV2，則采樣步長按下式進行調(diào)整設(shè)定Stepi+1= Stepi -Δ stepl,調(diào)整采樣步長Δ st印1取1-10之間。
9.根據(jù)權(quán)利要求1所述的一種基于混合測度的視頻數(shù)據(jù)寬景成像方法，其特征在于， 步驟五中若橫向配準(zhǔn)位移量或縱向配準(zhǔn)位移量超出閾值范圍，表明獲取視頻數(shù)據(jù)的掃描速 度過快或過慢，則自適應(yīng)調(diào)整采樣步長，以下將橫向配準(zhǔn)位移量或縱向配準(zhǔn)位移量統(tǒng)稱為配準(zhǔn)位移量，其自適應(yīng)調(diào)整采樣步長的方法為 采樣步長按下式進行調(diào)整設(shè)定 Stepi+1= Stepi - Δ step2/2,其中，Stepi為第i次采樣步長、St印i+1為第i+Ι次采樣步長，Δ step2=配準(zhǔn)位移量-事 先設(shè)定的理想配準(zhǔn)位移量。
10.根據(jù)權(quán)利要求1所述的一種基于混合測度的視頻數(shù)據(jù)寬景成像方法，其特征在于， 步驟六中的采用縫隙漸變加權(quán)融合的方法將獲取配準(zhǔn)參數(shù)的配準(zhǔn)幀圖像和待配準(zhǔn)幀圖像 進行圖像拼接的過程為步驟61、根據(jù)配準(zhǔn)幀圖像和待配準(zhǔn)幀圖像的橫向、縱向配準(zhǔn)位移量兩個配準(zhǔn)參數(shù)，將待 配準(zhǔn)幀圖像的所有像素進行坐標(biāo)變換，形成變換后待配準(zhǔn)幀圖像，步驟62、按照下述公式將經(jīng)過圖像配準(zhǔn)的配準(zhǔn)幀圖像和待配準(zhǔn)幀圖像拼接在一起 其中，I(Ij)為融合區(qū)域像素值，I1(Lj)為配準(zhǔn)幀圖像的像素值,J2(Wfei))為待配準(zhǔn)幀圖像的像素值是根據(jù)配準(zhǔn)參數(shù)做位置變換后的坐標(biāo)信息，β為漸變加權(quán) 系數(shù)，當(dāng)重合區(qū)域與配準(zhǔn)幀圖像Λ接壤時，e=0 ；當(dāng)重合區(qū)域與待配準(zhǔn)幀圖像A接壤時，
全文摘要
一種基于混合測度的視頻數(shù)據(jù)寬景成像方法，屬于圖像處理領(lǐng)域，本發(fā)明為解決現(xiàn)有針對兩幅圖像的配準(zhǔn)拼接提出的寬景成像算法在處理視頻數(shù)據(jù)的時候存在執(zhí)行效率低、寬景成像精度低等問題，提供了一種基于混合測度的視頻數(shù)據(jù)寬景成像方法。本發(fā)明一、采樣，配準(zhǔn)幀圖像，二、再次采樣，待配準(zhǔn)幀圖像，三、有效性評估，四、獲取配準(zhǔn)參數(shù)，五、分別判斷橫向配準(zhǔn)位移量和縱向配準(zhǔn)位移量是否超出閾值范圍，六、采用縫隙漸變加權(quán)融合的方法將獲取配準(zhǔn)參數(shù)的的配準(zhǔn)幀圖像和待配準(zhǔn)幀圖像進行拼接，將本次拼接后的圖像作為下一次的配準(zhǔn)幀圖像，然后返回二，進行下一次圖像采樣和拼接，直到視頻數(shù)據(jù)采樣過程結(jié)束，退出循環(huán)，完成一個寬景圖像的拼接過程。
文檔編號H04N5/262GK101909165SQ201010240009
公開日2010年12月8日 申請日期2010年7月29日 優(yōu)先權(quán)日2010年7月29日
發(fā)明者李雪萌, 沈毅, 王艷, 金晶 申請人:哈爾濱工業(yè)大學(xué)