一種基于imu信息的手機(jī)夜拍方法
【專利摘要】本發(fā)明提供一種基于imu信息的手機(jī)夜拍方法，在手機(jī)上安裝一個(gè)陀螺儀，在每次手機(jī)拍照的同時(shí)，陀螺儀會(huì)輸出當(dāng)前手機(jī)運(yùn)動(dòng)的角度信息也即imu信息。在針對(duì)夜拍情況時(shí)，手機(jī)對(duì)同一目標(biāo)連續(xù)拍攝5幅圖像{Ai|i＝1,…,5}，與此同時(shí)，陀螺儀輸出每幅圖像的imu信息。本發(fā)明提出的夜拍方法分別使用imu信息對(duì)每幅圖像進(jìn)行校正，然后對(duì)所有校正后的圖像進(jìn)行融合，得到一副高質(zhì)量的夜拍圖像。本發(fā)明提出方法所需的裝置要求簡(jiǎn)單，成本較低，算法部分計(jì)算復(fù)雜度不大，能夠較好的實(shí)現(xiàn)手機(jī)的夜拍功能，具有很好的實(shí)用價(jià)值。
【專利說(shuō)明】
_種基于i mu信息的手機(jī)夜拍方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及圖像處理領(lǐng)域、陀螺儀穩(wěn)像技術(shù)領(lǐng)域，特指一種基于imu信息的手機(jī)夜 拍方法。
【背景技術(shù)】
[0002] 近年來(lái)隨著攝像技術(shù)的不斷發(fā)展，手機(jī)的拍照功能越來(lái)越強(qiáng)大，已逐步取代照相 機(jī)成為人們?nèi)粘Ｅ恼盏闹髁鳟a(chǎn)品。照相手機(jī)給人們的生活帶來(lái)許多的方便，但是隨著手機(jī) 的不斷更新?lián)Q代，特別是八百萬(wàn)像素甚至千萬(wàn)像素的照相手機(jī)開(kāi)始嶄露頭角，人們對(duì)手機(jī) 照相功能的要求也在不斷的提高。僅在白天等正常環(huán)境下拍攝出高質(zhì)量穩(wěn)定的圖像已不能 滿足消費(fèi)者的要求，人們對(duì)夜拍功能的追求日益強(qiáng)烈，希望在夜間也能像白天一樣拍出高 質(zhì)量的效果。
[0003] 為了實(shí)現(xiàn)手機(jī)的夜拍功能，手機(jī)制造商往往通過(guò)提高一些部件的規(guī)格來(lái)解決問(wèn) 題。其一是提高手機(jī)拍照的像素值，像素值的提高意味著解析度的增強(qiáng)，也就是說(shuō)畫面當(dāng)中 呈現(xiàn)的景物更加豐富，使得畫面整體效果更加逼真。同時(shí)高像素也意味著手機(jī)內(nèi)部的感光 元件(CCD或者CMOS)的處理能力更強(qiáng)，這對(duì)于光線不足條件下的拍攝尤其重要。但高像素也 意味著手機(jī)成本需要提高，且單純靠提高像素值的方法對(duì)夜拍效果提升有限。其二是提高 感光度（ISO值），這樣用戶可以適當(dāng)提高快門，從而獲得穩(wěn)定的成像。但高感光度會(huì)帶來(lái)噪 點(diǎn)的增多，對(duì)畫質(zhì)有一定影響。
[0004] 此外，手機(jī)在拍照時(shí)會(huì)提供一些專業(yè)模式，如夜晚、微光等模式，對(duì)一些參數(shù)進(jìn)行 調(diào)整，使之更適合夜間拍攝。但這種方式只是對(duì)一些拍攝參數(shù)的微調(diào)，改善夜間拍攝圖像的 效果比較有限。

【發(fā)明內(nèi)容】

[0005] 針對(duì)現(xiàn)有技術(shù)的不足，提出一種基于imu信息的手機(jī)夜拍方法，在手機(jī)上安裝一個(gè) 陀螺儀，在每次手機(jī)拍照的同時(shí)，陀螺儀會(huì)輸出當(dāng)前手機(jī)運(yùn)動(dòng)的角度信息也即imu(慣性測(cè) 量單元)信息。在針對(duì)夜拍情況時(shí)，手機(jī)對(duì)同一目標(biāo)連續(xù)拍攝5幅圖像{A」i = l，…，5}，與此 同時(shí)，陀螺儀輸出每幅圖像的imu信息。本發(fā)明使用imu信息對(duì)每幅圖像進(jìn)行校正，然后對(duì)所 有校正后的圖像進(jìn)行融合，得到一副高質(zhì)量的夜拍圖像。
[0006] -種基于imu信息的手機(jī)夜拍方法，其特征在于，包括以下步驟：
[0007] S1.在手機(jī)上安裝一個(gè)陀螺儀，在夜拍時(shí)，手機(jī)對(duì)同一目標(biāo)連續(xù)拍攝5幅圖像{Ai | i =1，…，5}，與此同時(shí)，陀螺儀輸出每幅圖像的imu信息。
[0008] S2.使用MJ信息對(duì)每幅圖像進(jìn)行校正，得到新的5幅源圖像池|1 = 1，…，5}。
[0009] S3.對(duì)5幅源圖像{Bi | i = 1，…，5}進(jìn)行融合，得到初始融合圖像Ball。
[0010] S4.采用基于源圖像高質(zhì)量區(qū)域檢測(cè)的方法對(duì)初始融合圖像Ball進(jìn)行改進(jìn)，得到最 終融合圖像newBaii。
[0011 ] S4.1分別計(jì)算初始融合圖像Ball和源圖像| i = 1，…，5}的相似程度，共得到5個(gè) 相似度{SADi(x，y) |i = l,…，5};
[0012] S4.2通過(guò)到5個(gè)相似度{SADi(x，y)|i = l，…，5}來(lái)判斷每個(gè)源圖像的高質(zhì)量區(qū)域， 得到所有像素點(diǎn)對(duì)應(yīng)的高質(zhì)量索引index(x，y);
[0013] S4.3通過(guò)每個(gè)像素點(diǎn)的高質(zhì)量索引index(x，y)，對(duì)融合圖像Bail進(jìn)行改進(jìn)，得至lj最 終的融合結(jié)果，記為newBaii。
[0014]本發(fā)明的有益效果是：
[0015] 本發(fā)明提出的基于imu信息的手機(jī)夜拍方法及裝置，在手機(jī)端裝有陀螺儀，獲取手 機(jī)拍照時(shí)的運(yùn)動(dòng)信息，然后基于imu信息對(duì)夜拍的5幅圖像進(jìn)行校正，最后對(duì)校正的5幅圖像 進(jìn)行融合，得到一副高質(zhì)量的夜拍圖像。本發(fā)明提出方法所需的裝置要求簡(jiǎn)單，成本較低， 算法部分計(jì)算復(fù)雜度不大，能夠較好的實(shí)現(xiàn)手機(jī)的夜拍功能，具有很好的實(shí)用價(jià)值。
【附圖說(shuō)明】
[0016] 圖1是本發(fā)明提出的帶夜拍功能的手機(jī)裝置示意圖；
[0017] 圖2是本發(fā)明提出的圖像融合方法的流程圖。
【具體實(shí)施方式】
[0018] 下面結(jié)合具體實(shí)施例，對(duì)本發(fā)明一種基于imu信息的手機(jī)夜拍方法做詳細(xì)的描述。
[0019] 帶夜拍功能的手機(jī)裝置如圖1所示，在手機(jī)上安裝一個(gè)陀螺儀，在每次手機(jī)拍照的 同時(shí)，陀螺儀會(huì)輸出當(dāng)前手機(jī)運(yùn)動(dòng)的角度信息也即imu(慣性測(cè)量單元)信息。在針對(duì)夜拍情 況時(shí)，手機(jī)對(duì)同一目標(biāo)連續(xù)拍攝5幅圖像{仏|1 = 1，…，5}，與此同時(shí)，陀螺儀輸出每幅圖像 的imu信息。本發(fā)明提出的夜拍方法分別使用imu信息對(duì)每幅圖像進(jìn)行校正，然后對(duì)所有校 正后的圖像進(jìn)行融合，得到一副高質(zhì)量的夜拍圖像。
[0020] 本發(fā)明使用IMU信息對(duì)每幅圖像進(jìn)行校正，得到新的5幅源圖像{Bdizl，…，5}， 具體步驟如下：
[0021] 已知手機(jī)拍照的焦距是f，將手機(jī)拍攝的第k幀和第k-l幀圖像分別設(shè)為參考幀和 當(dāng)前幀。當(dāng)前幀圖像的IMU信息也即陀螺儀角度信息為（co kx，coky)，是第k幀圖像相對(duì)于第 k-l幀圖像的平移信息。那么第k幀圖像相對(duì)于第1幀圖像的平移信息為將第k 幀圖像Ak進(jìn)行平移，平移矢量為-/ ? V< )，即得到新的第k幀圖像Bk。 i = l.
[0022]對(duì)手機(jī)拍攝的5幅圖像都進(jìn)行上述處理，可以得到新的5幅源圖像{Bjiil，…， 5}，由于都是夜拍圖像，每張圖像都存在不同的模糊或噪聲，因此需要對(duì)這5幅圖像進(jìn)行融 合，充分吸收每幅圖像高清的部分，以獲取對(duì)同一場(chǎng)景的更為精確、更為全面、更為可靠的 一副圖像。
[0023]目前像素級(jí)的圖像融合方法大致可分為三大類:簡(jiǎn)單的圖像融合方法、基于塔形 分解(如Laplace塔形分解、比率塔等)的圖像融合方法和基于小波變換的圖像融合方法。其 中小波變換具有許多優(yōu)良特性，如方向選擇性、可變的時(shí)頻域分辨率以及分析數(shù)據(jù)量小等， 可以聚焦到圖像的任意細(xì)節(jié)。采用小波方法對(duì)圖像進(jìn)行融合處理，可以保證既不損失待融 合圖像的所有信息也不會(huì)產(chǎn)生冗余信息，是圖像融合的一種強(qiáng)有力的工具。
[0024] 本發(fā)明采用基于小波變換的圖像融合方法，充分利用小波變換的多尺度特性，對(duì) 新的5幅源圖像…，5}進(jìn)行融合，充分融合每幅圖像的高清部分，獲得一副高質(zhì)量 的夜拍圖像，具體步驟如下：
[0025] 分別對(duì)5幅源圖像{Bjizl，…，5}選擇Haar小波進(jìn)行經(jīng)典的二維離散小波分解， 得到源圖像的低頻分量和高頻分量，而且高頻分量包含三個(gè)分量:水平高頻分量、垂直高頻 分量和主對(duì)角高頻分量。也即對(duì)其中任一幅圖像 Bk，經(jīng)過(guò)小波分解可以得到一個(gè)低頻分量 BkLL，三個(gè)方向的高頻分量BkLH、BkHL、BkHH。
[0026] 圖像的低頻反映了圖像的輪廓，圖像的高頻反映了圖像的細(xì)節(jié)。因此需要用不同 的融合規(guī)則來(lái)處理。
[0027]本發(fā)明對(duì)低頻分量采用平均的方式進(jìn)行處理，記處理后的低頻分量為BallLL:
[0029]對(duì)三個(gè)高頻分量分別采用絕對(duì)值取最大的方式進(jìn)行處理，記處理后的高頻分量分 別為 BaiiLH、BaiiHL、BaiiHH: BJ:LI!(x.y) = ma\[BLinx,y))
[0030] ^ (x, v) = max 15 //L(.v, v) j BidjI!lI(x\y) = max
[0031] 然后對(duì)處理后的低頻分量BaiiLL和高頻分量BaiiLH、BaiiHL、B aiiHH進(jìn)行小波重構(gòu)，得 到一副融合圖像，記為初始融合圖像Ball。
[0032] 通過(guò)上述方法獲得的融合圖像Ball整體質(zhì)量有了明顯提高，但與源圖像中最清晰 的部分相比還存在一定程度的損失。這是因?yàn)?，現(xiàn)有的融合規(guī)則不能保證絕對(duì)選擇到最佳 區(qū)域。
[0033] 為了進(jìn)一步提高夜拍圖像的質(zhì)量，本發(fā)明在基于小波變換的基礎(chǔ)上，提出了一種 基于源圖像高質(zhì)量區(qū)域檢測(cè)的改進(jìn)方法，首先通過(guò)融合圖像B all和源圖像…，5} 的相似程度判斷源圖像的高質(zhì)量也即清晰區(qū)域，然后使用這個(gè)信息對(duì)融合圖像Ball進(jìn)行改 進(jìn)，得到最終的融合結(jié)果，記為newB all。具體步驟如下：
[0034] (1)分別計(jì)算融合圖像Ball和源圖像池|1 = 1，…，5}的相似程度。
[0035]由于圖像之間差異較小，不存在尺度的問(wèn)題，本發(fā)明采用絕對(duì)誤差和準(zhǔn)則SAD來(lái)計(jì) 算兩幅圖像的相似度：
[0037] 其中m、n分別表示對(duì)像素點(diǎn)(x，y)的偏移量，取值范圍從-2到2。
[0038] 也即對(duì)每個(gè)像素點(diǎn)（x，y)，采用領(lǐng)域5X5內(nèi)的所有像素的絕對(duì)誤差和來(lái)表示在該 點(diǎn)兩幅圖像的相似度。一共可以得至1」5個(gè)相似度{SADdxJlizl，…，5}。從定義可以看到， SAD值越小，說(shuō)明相似程度越大。
[0039] (2)通過(guò)到5個(gè)相似度{5六0心，7)|1 = 1，~，5}來(lái)判斷每個(gè)源圖像的高質(zhì)量區(qū)域。
[0040]對(duì)融合圖像上的每個(gè)像素點(diǎn)(x，y)，一共可以得到5個(gè)相似度取值{SADJhWliz 1，…，5}。將其中最小的SAD值對(duì)應(yīng)的序號(hào)作為此像素點(diǎn)的高質(zhì)量索引indeX(X，y)。用公式 表示如下：
[0041 ] ^ADi (-VV>') = min SAD:{x,y)
[0042] index(x,y) =k
[0043] SAD值最小，說(shuō)明在該點(diǎn)這幅源圖像Bk和融合圖像Ball的相似程度最大，也即說(shuō)明 在該點(diǎn)質(zhì)量最好的圖像信息在源圖像Bk上。遍歷融合圖像上所有的像素點(diǎn)，可以得到所有 像素點(diǎn)對(duì)應(yīng)的高質(zhì)量索引index(x，y)。
[0044] (3)通過(guò)每個(gè)像素點(diǎn)的高質(zhì)量索引index(x，y)。對(duì)融合圖像Baii進(jìn)行改進(jìn)，得到最 終的融合結(jié)果，記為newBaii。 I B, (\\ t(), if D
[0045] newBall{x,y}^-\ ' {Ba,i(x-yh else
[0046] 這里D表示滿足如下條件:首先index(x,y) =k，然后以點(diǎn)(x,y)為中心的3 X3領(lǐng)域 里每個(gè)像素的索引均為k，用公式表示為:,"$^1|& + ?^?) = ^這意味著只有以點(diǎn)(^7) 為中心的整個(gè)3X3領(lǐng)域里每個(gè)像素的索引均為k，最終融合圖像newBall在該點(diǎn)(x，y)選擇源 圖像Bk的信息，否則還是選擇初始融合圖像Ball的信息。
[0047]以上包含了本發(fā)明優(yōu)選實(shí)施例的說(shuō)明，這是為了詳細(xì)說(shuō)明本發(fā)明的技術(shù)特征，并 不是想要將
【發(fā)明內(nèi)容】
限制在實(shí)施例所描述的具體形式中，依據(jù)本
【發(fā)明內(nèi)容】
主旨進(jìn)行的其他 修改和變型也受本專利保護(hù)。本
【發(fā)明內(nèi)容】
的主旨是由權(quán)利要求書(shū)所界定，而非由實(shí)施例的 具體描述所界定。
【主權(quán)項(xiàng)】
1. 一種基于imu信息的手機(jī)夜拍方法，其特征在于，包括以下步驟：51. 在手機(jī)上安裝一個(gè)陀螺儀，在夜拍時(shí)，手機(jī)對(duì)同一目標(biāo)連續(xù)拍攝5幅圖像M1 |i = 1，…，5}，與此同時(shí)，陀螺儀輸出每幅圖像的imu信息；52. 使用MJ信息對(duì)每幅圖像進(jìn)行校正，得到新的5幅源圖像(B11 i = 1，…，5};53. 對(duì)5幅源圖像{Bi I i = 1，…，5}進(jìn)行融合，得到初始融合圖像Baii;54. 采用基于源圖像高質(zhì)量區(qū)域檢測(cè)的方法對(duì)初始融合圖像Ball進(jìn)行改進(jìn)，得到最終融 合圖像newBaii。2. 根據(jù)權(quán)利要求1所述的基于imu信息的手機(jī)夜拍方法，其特征在于，S2的方法如下： 已知手機(jī)拍照的焦距是f，將手機(jī)拍攝的第k幀和第k-Ι幀圖像分別設(shè)為參考幀和當(dāng)前 幀；當(dāng)前幀圖像的MU信息為（cA，Coky)，當(dāng)前幀圖像的MJ信息是第k幀圖像相對(duì)于第k-1 幀圖像的平移信息；那么第k幀圖像相對(duì)于第1幀圖像的平移信息為，將第k幀 圖像Ak進(jìn)行平移，平移矢量）> 即得到新的第k幀圖像Bk; 對(duì)手機(jī)拍攝的5幅圖像都進(jìn)行上述處理，得到新的5幅源圖像(B11 i = 1，…，5}。3. 根據(jù)權(quán)利要求1所述的基于imu信息的手機(jī)夜拍方法，其特征在于，S3中采用基于塔 形分解的圖像融合方法或基于小波變換的圖像融合方法對(duì)5幅源圖像= 進(jìn)行 融合，得到初始融合圖像Baii。4. 根據(jù)權(quán)利要求3所述的基于imu信息的手機(jī)夜拍方法，其特征在于，S3中采用基于小 波變換的圖像融合方法對(duì)5幅圖像{B11 i = 1，…，5}進(jìn)行融合，方法如下： 分別對(duì)5幅源圖像(B11 i = 1，…，5}選擇Haar小波進(jìn)行二維離散小波分解，得到源圖像的 低頻分量和高頻分量，其中高頻分量包含三個(gè)分量:水平高頻分量、垂直高頻分量和主對(duì)角 高頻分量;也即對(duì)其中任一幅圖像Bk，經(jīng)過(guò)二維離散小波分解可以得到一個(gè)低頻分量B kLL， 三個(gè)方向的高頻分量BkLH、BkHL、BkHH; 對(duì)低頻分量采用平均的方式進(jìn)行處理，記處理后的低頻分量為BallLL:對(duì)三個(gè)高頻分量分別采用絕對(duì)值取最大的方式進(jìn)行處理，記處理后的高頻分量分別為 BallLH、BallHL、BallHH :然后對(duì)處理后的低頻分量BaIiLL和高頻分量BaiiLH、BaiiHL、B aiiHH進(jìn)行小波重構(gòu)，得到一 副融合圖像，記為初始融合圖像Ball。5. 根據(jù)權(quán)利要求1所述的基于imu信息的手機(jī)夜拍方法，其特征在于，S4包含以下步驟： S4.1分別計(jì)算初始融合圖像Ball和源圖像(B1 |i = l，…，5}的相似程度，共得至1」5個(gè)相似 度{SADi(x，y) I i = l，…，5}; S4.2通過(guò)到5個(gè)相似度{SADi (x，y) I i = I，…，5}來(lái)判斷每個(gè)源圖像的高質(zhì)量區(qū)域，得到 所有像素點(diǎn)對(duì)應(yīng)的高質(zhì)量索引index(x，y); S4.3通過(guò)每個(gè)像素點(diǎn)的高質(zhì)量索引index(x，y)，對(duì)融合圖像Bail進(jìn)行改進(jìn)，得到最終的 融合結(jié)果，記為newBaii。6. 根據(jù)權(quán)利要求5所述的基于imu信息的手機(jī)夜拍方法，其特征在于，S4.1中采用絕對(duì) 誤差和準(zhǔn)則SAD來(lái)計(jì)算兩幅圖像的相似度：其中m、η分別表示對(duì)像素點(diǎn)(X，y)的偏移量，取值范圍從-2到2; 對(duì)每個(gè)像素點(diǎn)（x，y)，采用領(lǐng)域5X5內(nèi)的所有像素的絕對(duì)誤差和來(lái)表示在該點(diǎn)兩幅圖 像的相似度，一共可以得到5個(gè)相似度{SADi (X，y) I i = 1，…，5 }，SAD值越小，說(shuō)明相似程度 越大。7. 根據(jù)權(quán)利要求5所述的基于imu信息的手機(jī)夜拍方法，其特征在于，S4.2中，對(duì)融合圖 像上的每個(gè)像素點(diǎn)（X，y)，一共可以得到5個(gè)相似度取值{SAD i(X，y) I i = 1，…，5};將其中最 小的SAD值對(duì)應(yīng)的序號(hào)作為此像素占的高席量索引iX.V)，用公式表示如下：index(x ,y) =k SAD值最小，說(shuō)明在該點(diǎn)這幅源圖像Bk和融合圖像Ball的相似程度最大，也即說(shuō)明在該點(diǎn) 質(zhì)量最好的圖像信息在源圖像Bk上，遍歷融合圖像上所有的像素點(diǎn)，可以得到所有像素點(diǎn) 對(duì)應(yīng)的高質(zhì)量索引index(x，y)。8. 根據(jù)權(quán)利要求5所述的基于imu信息的手機(jī)夜拍方法，其特征在于，在S4.3中，通過(guò)每 個(gè)像素點(diǎn)的高質(zhì)量索引index (X，y )，對(duì)融合圖像BaIi進(jìn)行改進(jìn)的方法為：其中：〇表示滿足如下條件:首先;[11(161(1，7)=1^，然后以點(diǎn)（1，7)為中心的3\3領(lǐng)域里 每個(gè)像素的索引均為k，用公式表示為+ = &，僅當(dāng)以點(diǎn)(x，y)為中心的整 個(gè)3X3領(lǐng)域里每個(gè)像素的索引均為k，最終融合圖像newBall在該點(diǎn)(x，y)選擇源圖像Bk的信 息，否則還是選擇初始融合圖像Ball的信息。
【文檔編號(hào)】G06T5/50GK105894486SQ201610497460
【公開(kāi)日】2016年8月24日
【申請(qǐng)日】2016年6月29日
【發(fā)明人】羅文峰
【申請(qǐng)人】深圳市優(yōu)象計(jì)算技術(shù)有限公司