同步多聚焦Bayer視頻圖像處理系統(tǒng)及方法
【技術領域】
[0001] 本發(fā)明涉及一種視頻圖像的處理系統(tǒng)與方法，其主要是同步多聚焦視頻圖像處理 系統(tǒng)與方法，特別是一種同步多聚焦Bayer視頻圖像處理系統(tǒng)與方法。
【背景技術】
[0002] 視頻傳感器（即圖像傳感器，下同）屬于光電元件類，核心為光學鏡頭、有源像元構 成的光敏元陣列、時序和控制電路及功能電路和模擬信號的處理與輸出接口等部件共同組 成。其中影響成像質(zhì)量的主要元器件是光學鏡頭和光敏元陣列。由于光學物理特性的局 限，光學鏡頭都受到景深的限制，即只有距離鏡頭在景深范圍內(nèi)的物體能夠清晰成像，不在 景深范圍的物體成像模糊。該局限嚴重限制了視頻傳感在軍事、遙感、醫(yī)學、工業(yè)、交通等諸 多領域的應用。通過改變鏡頭光圈可以在一定范圍擴展景深，但降低了在景深范圍的物體 成像的清晰度。目前，多聚焦圖像融合技術是解決該問題一種有效途徑；多聚焦圖像融合是 指在相同的成像條件下，在于鏡頭取景范圍內(nèi)，不同鏡頭聚焦不同距離的目標，再將不同鏡 頭得到的多個圖像合并得到一個在取景范圍內(nèi)所有聚焦目標都清晰的融合圖像；小波分析 和稀疏表示等理論常用來解決圖像融合問題。然而這些方法都是針對真彩色源圖像進行融 合處理，而從各個鏡頭和相應圖像傳感器直接得到的圖像為Bayer模式數(shù)據(jù)格式圖像，因 此需要將各個圖像傳感器輸出的原始數(shù)據(jù)進行Bayer模式數(shù)據(jù)恢復處理，得到各個真彩色 圖像，然后再對各個真彩色圖像進行融合處理，才可以得到所有聚焦目標都清晰的融合圖 像。這種處理方法先要對各個鏡頭和相應圖像傳感器直接得到的Bayer模式數(shù)據(jù)格式的圖 像分別進行數(shù)據(jù)恢復處理，而進行一次數(shù)據(jù)恢復處理就需要耗費系統(tǒng)(視頻圖像系統(tǒng)）大量 的空間和時間，這樣導致得到一幅清晰的真彩色圖像就要進行多次數(shù)據(jù)恢復處理，大大降 低了系統(tǒng)的效率，無形中對系統(tǒng)的硬件要求大大提高，成本增高，這就是目前高檔的成像裝 備價格昂貴的主要原因。
[0003] 景深是指在攝影機鏡頭或其他成像器前沿能夠取得清晰圖像的成像所測定的被 攝物體前后距離范圍。在聚焦完成后，在焦點前后的范圍內(nèi)都能形成清晰的像，這一前一后 的距離范圍，便叫做景深。在鏡頭前方(調(diào)焦點的前、后）有一段一定長度的空間，當被攝物 體位于這段空間內(nèi)時，其在底片上的成像恰位于焦點前后這兩個彌散圓之間。
[0004]Bayer模式數(shù)據(jù)格式圖像，即Bayer圖像，是伊士曼?柯達公司科學家Bryce Bayer 發(fā)明的，Bryce Bayer所發(fā)明的拜耳陣列被廣泛運用數(shù)字圖像，Bayer圖像數(shù)據(jù)，其一般格式 為：奇數(shù)掃描行輸出RGRG……，偶數(shù)掃描行輸出GBGB……;即奇數(shù)掃描行的第1，2, 3,4,… 象素分別采樣和輸出1?，6，1?，6，~數(shù)據(jù)；偶數(shù)掃描行的第1，2,3,4，~象素分別采樣和輸 出G，B，G，B，…數(shù)據(jù)；Bayer圖像也即馬賽克圖像。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的是克服現(xiàn)有技術的上述不足而提供一種同步多聚焦Bayer視頻圖 像處理系統(tǒng)，其結構所需儲存空間小，其處理速度快，成本低。
[0006] 本發(fā)明的另一目的是克服現(xiàn)有技術的上述不足而提供一種同步多聚焦Bayer視 頻圖像處理方法，其處理速度快，所需要空間少。
[0007] 本發(fā)明的技術方案是：一種同步多聚焦Bayer視頻圖像處理系統(tǒng)，其包括多聚焦 Bayer視頻圖像獲取裝置和視頻圖像處理裝置； 多聚焦Bayer視頻圖像獲取裝置包括多個Bayer成像裝置，其個數(shù)記為U,U > 2,每個 Bayer成像裝置包括聚焦鏡頭、貝爾濾光器和圖像傳感器，聚焦鏡頭為凸透鏡，其焦距可調(diào)， 各個Bayer成像裝置的聚焦鏡頭的焦距設置不相同，以保證在場景范圍內(nèi)的不同位置不同 遠近的目標至少在一個聚焦鏡頭中成像是清晰的，貝爾濾光器由三種顏色濾光片構成，三 種顏色濾光片以Bayer模式排成陣列，即貝爾濾光器是一個二維彩色濾光器陣列，它由RGB 三原色濾光單元格柵組成，每個柵格只能濾過三原色的一種，并一一對應圖像傳感器上的 每個像素；圖像傳感器為CCD，每個圖像傳感器位于對應的聚焦鏡頭聚焦的光路上，每個貝 爾濾光器位于相應的圖像傳感器和聚焦鏡頭之間，貝爾濾光器的每個濾光單元格柵對應于 圖像傳感器上的一個像素；每個Bayer成像裝置可以對目標場景進行成像，并輸出Bayer格 式的圖像，記為/^，即/=為某一時刻k時第u個Bayer成像裝置獲得的目標場景的一個 Bayer圖像，U個Bayer成像裝置可對同一目標場景在同一時刻k產(chǎn)生U個Bayer圖像，記 為/=，其中11 = 1 2,為上述的Bayer成像裝置的個數(shù)；一個Bayer成像裝置在多個時 亥丨Jk產(chǎn)生多個Bayer圖像，即一路Bayer視頻，記為其中Jfc = l,2,…，n，n為成像采樣的 時刻的個數(shù)；多個Bayer成像裝置在多個時刻k產(chǎn)生多個Bayer視頻，即多路Bayer視頻， 記為其中** = 1 2,- U,i = l，2，_._, n,也可記戈
【主權項】
1. 一種同步多聚焦Bayer視頻圖像處理系統(tǒng)，其包括多聚焦Bayer視頻圖像獲取裝置 (I) 和視頻圖像處理裝置（3); 其特征是： 多聚焦Bayer視頻圖像獲取裝置（1)包括多個Bayer成像裝置，其個數(shù)記為U，U彡2， 每個Bayer成像裝置包括聚焦鏡頭（11)、貝爾濾光器（12)和圖像傳感器（13)，聚焦鏡頭 (II) 為凸透鏡，其焦距可調(diào)，各個Bayer成像裝置的聚焦鏡頭（11)的焦距設置不相同， 以保證在場景范圍內(nèi)的不同位置不同遠近的目標至少在一個聚焦鏡頭（11)中成像是清 晰的，貝爾濾光器（12)由三種顏色濾光片構成，三種顏色濾光片以Bayer模式排成陣列， 即貝爾濾光器（12)是一個二維彩色濾光器陣列，它由RGB三原色濾光單元格柵組成，每 個柵格只能濾過三原色的一種，并一一對應圖像傳感器（13)上的每個像素；圖像傳感器 (13)為CCD，每個圖像傳感器（13)位于對應的聚焦鏡頭（11)聚焦的光路上，每個貝爾濾 光器（12)位于相應的圖像傳感器（13)和聚焦鏡頭（11)之間，貝爾濾光器（12)的每個濾 光單元格柵對應于圖像傳感器（13)上的一個像素；每個Bayer成像裝置可以對目標場景 進行成像，并輸出Bayer格式的圖像，記為/ ^，即j? ^為某一時刻k時第u個Bayer成像 裝置獲得的目標場景的一個Bayer圖像，U個Bayer成像裝置可對同一目標場景在同一 時刻k產(chǎn)生U個Bayer圖像，記為|丨，其中a=l 2n U，U為上述的Bayer成像裝置的個 數(shù)；一個Bayer成像裝置在多個時刻k產(chǎn)生多個Bayer圖像，即一路Bayer視頻，記為 ，其中Jfc = I,2,η，η為成像采樣的時刻的個數(shù)；多個Bayer成像裝置在多個時刻k產(chǎn)生 多個Bayer視頻，即多路Bayer視頻，記為/^,其中*2_一」11,*: = 1，2，-，n，也可記為 jf}，A" = 1，2,…，n, W-個Bayer圖像由好XiV個像素組成，即U路 Bayer視頻還可以表示 ;、心（i，_/)，其中《=12一u ，Ar - 1，2， 1 η,^ % - 3^ 2 - -m， Η， J = l· 2-，N，H為每幅Bayer圖像的像素的行數(shù)，N為每幅圖像的像素的列數(shù)； 視頻圖像處理裝置（3)包括數(shù)字處理裝置（31)、多路Bayer圖像融合裝置（32)和 Bayer圖像恢復裝置（33);數(shù)字處理裝置（31)能進行數(shù)據(jù)處理，其包括輸入接口、存貯器、 處理器和輸出接口； 多聚焦Bayer視頻圖像獲取裝置（1)與視頻圖像處理裝置（3)之間通過通訊系統(tǒng)連 接； 多路Bayer圖像融合裝置（32)置于視頻圖像處理裝置（3)的數(shù)字處理裝置（31)中， 其用于對多聚焦Bayer視頻圖像獲取裝置（1)的各Bayer成像裝置同一時刻采集來的U個 Bayer圖像其中H = I5 2卜_,11，或進行融合處理，得到一個融合的Bayer 圖像處理后的Bayer圖像/&包含了 ^ZlvBayer圖像 中所有的聚焦 區(qū)域影像，即處理后的Bayer圖像Zit為同一時刻k時目標場景內(nèi)所有位置的目標均清晰的 Bayer 圖像Jfc; Bayer圖像恢復裝置（33)用于對多路Bayer圖像融合裝置（32)處理后得到的Bayer 圖像/^再經(jīng)過恢復處理，得到一張全圖均清晰的彩色圖像1?1。
2. 根據(jù)權利要求1所述的同步多聚焦Bayer視頻圖像處理系統(tǒng)，其特征是：所述的多 路Bayer圖像融合裝置（32)包括圖像分塊模塊、圖像塊RGB分解模塊、圖像塊清晰度衡量 模塊、基于清晰度的圖像合成模塊； 圖像分塊模塊，其用于將第k個時刻_ Bayer圖像(fK，.的每一個Bayer圖 像#都完全分割成Q個圖像塊; 圖像塊RGB分解模塊，其用于將圖像分塊模塊得到的各圖像塊《=U"U，按 ? 照RGB顏色屬性分別分解成R色子圖像塊、B色子圖像塊、Gl色子圖像塊、G2色子圖像塊； 圖像塊清晰度衡量模塊，其用于衡量每一個圖像的清晰度；其先分別衡量對應于每一 個圖像塊的四個子圖像的清晰度，然后取各子圖像塊的清晰度之和，得到每一個圖像塊的 清晰度； 基于清晰度的圖像合成模塊，其用于對同一時刻k時U個Bayer圖像中相同位置（即 值相同)的各圖像塊的清晰度，取清晰度最大的圖像塊直接或者帶權后作為合成的Bayer圖 像/ 該位置的圖像塊的像素值。
3. 根據(jù)權利要求2所述的同步多聚焦Bayer視頻圖像處理系統(tǒng)，其特征是：所 述的圖像分塊模塊，其用于將第k個時刻_ Bayer圖像}的每一個 Bayer圖像/g都完全分割成Q個包括r行與r列像素的圖像塊 且對同一幅Bayer圖像分割成的任意相鄰兩個圖像塊之間具有c行或者c列像素 重疊，即左右相鄰兩個圖像塊之間有c列像素相重疊(像素相同)，上下相鄰的兩個圖像 塊之間有c行像素相重疊 ，r 一般取8~64之間的偶數(shù)，c取4~32, c〈r，r〈H，r〈N; Q = [(Jff -r)/(r-c) + l]x[(況-r)/(r- c)_H] 表示由第 u 個 Bayer 成像裝置在第 k 時 刻得到的Bayer圖像經(jīng)分割后得到的第#圖像塊，_Bayer圖像}在 對應的同一圖像區(qū)域就分成了 u個圖像塊，記為M^fcU=U"u。
4. 根據(jù)權利要求3所述的同步多聚焦Bayer視頻圖像處理系統(tǒng)，其特征是：所述 的圖像塊RGB分解模塊，其用于將圖像分塊模塊得到的各圖像塊.....JJ，按 照RGB顏色屬性分別分解成R色子圖像塊、B色子圖像塊、Gl色子圖像塊、G2色子圖像 塊尺寸分別為（r/2)x(r/2)四個子圖像塊；具體是對每個圖像塊進 行如下操作：取每個圖像塊的奇數(shù)行和奇數(shù)列的像素，得到一個（r/2)x(r/2)的 9 R色子圖像塊，標記為取每個圖像塊的偶數(shù)行和偶數(shù)列的像素，得到一個 (r/2)x(r/2)的B色子圖像塊，標記為;取每個圖像塊的奇數(shù)行和偶數(shù)列的 像素，得到一個（r/2)x(r/2)的Gl色子圖像塊，標記為Gif#;取每個圖像塊的 偶數(shù)行和奇數(shù)列的像素，得到一