本發(fā)明涉及圖像采集技術(shù)領(lǐng)域,具體涉及一種子孔徑圖像采集方法及系統(tǒng)。
背景技術(shù):
計算成像學是一門結(jié)合了光學成像技術(shù)和圖像處理技術(shù)的學科,其主要研究的內(nèi)容是對光場的處理。其中子孔徑圖像的采集是計算成像學的重要研究領(lǐng)域。
目前,子孔徑圖像采集主要分為兩種方式,一種是使用具有復雜結(jié)構(gòu)的光學系統(tǒng),如編碼光圈、(微)透鏡陣列、可調(diào)掩模等,這些采集系統(tǒng)需要對現(xiàn)有的成像系統(tǒng)進行改造,在現(xiàn)有成像系統(tǒng)上附加或者嵌入額外的光學器件,這些光學器件需要針對所使用的主體成像設(shè)備進行設(shè)計,可移植性較差。由于成像器件以及結(jié)構(gòu)的限制,這些系統(tǒng)需要犧牲所采集圖像的空間分辨率;目前基于多聚焦圖像棧的方法主要有反卷積法、頻域重建法和線性模型求解法。然而,現(xiàn)有的基于多聚焦圖像棧的子孔徑圖像采集方法還存在模型不準確、求解不穩(wěn)定等問題,導致獲得的圖像中含有一些缺陷。
因此,如何設(shè)計一種獲取過程的穩(wěn)定且采集的子孔徑圖像的準確的方法,是亟待解決的問題。
技術(shù)實現(xiàn)要素:
針對現(xiàn)有技術(shù)中的缺陷,本發(fā)明提供一種子孔徑圖像采集方法及系統(tǒng),利用該方法及系統(tǒng)采集子孔徑圖像的速度快且采集的圖像的空間分辨率高,且子孔徑圖像的獲取過程的穩(wěn)定性高,保證了采集的子孔徑圖像的準確性及清晰度。
為解決上述技術(shù)問題,本發(fā)明提供以下技術(shù)方案:
一方面,本發(fā)明提供了一種子孔徑圖像采集方法,所述方法包括:
獲取多聚焦圖像棧的成像模型,其中,所述多聚焦圖像棧為通過聚焦于不同距離獲取的一組圖像;
根據(jù)光學成像原理和所述多聚焦圖像棧的成像模型,得到所述多聚焦圖像棧中的圖像與子孔徑圖像間的關(guān)系,其中,所述子孔徑圖像為物體經(jīng)通光孔徑上的子孔徑在傳感器上形成的分量圖像;
根據(jù)所述多聚焦圖像棧中的圖像與子孔徑圖像間的關(guān)系,得到偏移多聚焦圖像棧;
獲取所述偏移多聚焦圖像棧的梯度信息及相位信息,并根據(jù)所述梯度信息及相位信息得到深度圖;
以及,根據(jù)所述深度圖在所述多聚焦圖像棧中的對應圖像中采集像素,組合所述像素得到所述子孔徑圖像。
進一步的,所述方法還包括:
若已存在子孔徑圖像,則將已存在的子孔徑圖像作為監(jiān)督圖像,根據(jù)聯(lián)合雙邊濾波方法對所述深度圖進行優(yōu)化,得到優(yōu)化后的深度圖和子孔徑圖像。
進一步的,所述多聚焦圖像棧的成像模型包括子孔徑(u,v)、參考平面f和成像面fm,且所述子孔徑(u,v)與參考平面f及聚焦于另一個距離下的成像面fm之間的距離不同。
進一步的,所述多聚焦圖像棧中的圖像與子孔徑圖像間的關(guān)系用分層平移模型表示,其中,所述分層平移模型如公式一所示:
在公式一中,
進一步的,所述根據(jù)所述多聚焦圖像棧中的圖像與子孔徑圖像間的關(guān)系,得到偏移多聚焦圖像棧,包括:
根據(jù)所述多聚焦圖像棧中的圖像與子孔徑圖像間的關(guān)系,將所述多聚焦圖像棧中的每一幅圖像以該圖像相對于子孔徑的相反視差進行分層平移,得到偏移多聚焦圖像棧。
進一步的,所述根據(jù)所述梯度信息及相位信息得到深度圖,包括:
根據(jù)梯度信息將所述偏移多聚焦圖像棧中的圖像中的點劃分為源點和平凡點;
根據(jù)相位信息對所述偏移多聚焦圖像棧中的圖像的一致性進行檢驗,得到最大相位一致流;
將使用梯度提取出的源點組成集合sg,所述集合sg代表偏移多聚焦圖像棧中的圖像的邊緣位置;
根據(jù)所述最大相位一致流的散度將所有源點組成集合sp,所述集合sp為根據(jù)相位檢測出的邊緣位置的集合;
將sg和sp合成為統(tǒng)一的邊緣位置集合s,得到深度圖;其中,所述深度圖即為聚焦位圖。
進一步的,所述根據(jù)梯度信息將所述偏移多聚焦圖像棧中的圖像中的點劃分為源點和平凡點,包括:
根據(jù)最大梯度流獲取所述偏移多聚焦圖像棧中的梯度變化,并根據(jù)最大梯度流的散度將所述偏移多聚焦圖像棧中的圖像中的點劃分為源點和平凡點。
進一步的,所述源點包括:只有一個邊緣存在的點,以及,有多個邊緣存在且邊緣未被擴散梯度所掩蓋的點;
所述平凡點為有多個邊緣存在且存在被擴散梯度所掩蓋的邊緣的點。
進一步的,所述根據(jù)相位信息對所述偏移多聚焦圖像棧中的圖像的一致性進行檢驗,包括:
若檢驗得到所述偏移多聚焦圖像棧中的圖像的邊緣處的各級傅里葉級數(shù)相位一致,則所述偏移多聚焦圖像棧中的圖像的相位一致性為1;
若檢驗得到所述偏移多聚焦圖像棧中的圖像的非邊緣處的各級傅里葉級數(shù)相位不一致,則所述偏移多聚焦圖像棧中的圖像的相位一致性小于1。
另一方面,本發(fā)明還提供了一種子孔徑圖像采集系統(tǒng),所述系統(tǒng)包括:
成像模型獲取單元,用于獲取多聚焦圖像棧的成像模型,其中,所述多聚焦圖像棧為通過聚焦于不同距離獲取的一組圖像;
多聚焦圖像棧與子孔徑圖像關(guān)系單元,用于根據(jù)光學成像原理和所述多聚焦圖像棧的成像模型,得到所述多聚焦圖像棧中的圖像與子孔徑圖像間的關(guān)系,其中,所述子孔徑圖像為物體經(jīng)通光孔徑上的子孔徑在傳感器上形成的分量圖像;
偏移多聚焦圖像棧獲取單元,用于根據(jù)所述多聚焦圖像棧中的圖像與子孔徑圖像間的關(guān)系,得到偏移多聚焦圖像棧;
深度圖獲取單元,用于獲取所述偏移多聚焦圖像棧的梯度信息及相位信息,并根據(jù)所述梯度信息及相位信息得到深度圖;
子孔徑圖像采集單元,用于根據(jù)所述深度圖在所述多聚焦圖像棧中的對應圖像中采集像素,組合所述像素得到所述子孔徑圖像。
由上述技術(shù)方案可知,本發(fā)明所述的一種子孔徑圖像采集方法及系統(tǒng),其中的方法包括:獲取多聚焦圖像棧的成像模型;根據(jù)光學成像原理和所述多聚焦圖像棧的成像模型,得到所述多聚焦圖像棧中的圖像與子孔徑圖像間的關(guān)系;根據(jù)所述多聚焦圖像棧中的圖像與子孔徑圖像間的關(guān)系,得到偏移多聚焦圖像棧;獲取所述偏移多聚焦圖像棧的梯度信息及相位信息,并根據(jù)所述梯度信息及相位信息得到深度圖;以及根據(jù)所述深度圖在所述多聚焦圖像棧中的對應圖像中采集像素,組合所述像素得到所述子孔徑圖像。利用本發(fā)明的技術(shù)方案采集子孔徑圖像的速度快且采集的圖像的空間分辨率高,且子孔徑圖像的獲取過程的穩(wěn)定性高,保證了采集的子孔徑圖像的準確性及清晰度。
附圖說明
為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖是本發(fā)明的一些實施例,對于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1是本發(fā)明實施例一中的一種子孔徑圖像采集方法的一種具體實施方式的流程示意圖。
圖2是本發(fā)明實施例二中的子孔徑圖像采集方法還包括步驟600的一種具體實施方式的流程示意圖。
圖3是本發(fā)明的實施例三中的子孔徑圖像采集方法中步驟400的一種具體實施方式的流程示意圖。
圖4是本發(fā)明的子孔徑圖像采集方法的應用實例中的多聚焦圖像棧光學結(jié)構(gòu)示意圖。
圖5是應用實例中的多聚焦圖像棧成像公式示意圖。
圖6(1)是應用實例中的沒有平移時的單一邊緣最大梯度流示意圖。
圖6(2)是應用實例中的有平移時的單一邊緣最大梯度流示意圖。
圖6(3)是應用實例中的多邊緣最大梯度流,弱邊緣未被掩蓋時的示意圖。
圖6(4)是應用實例中的多邊緣最大梯度流,弱邊緣被掩蓋時的示意圖。
圖7是應用實例中的邊緣的相位一致性示意圖。
圖8是應用實例中的融合后的邊緣點集合及其深度示意圖。
圖9是應用實例中的深度圖及子孔徑圖像的互相優(yōu)化示意圖。
圖10是應用實例中的最終得到的深度圖示意圖。
圖11是應用實例中的最終得到的子孔徑圖像示意圖。
圖12是本發(fā)明的實施例四中的子孔徑圖像采集系統(tǒng)的結(jié)構(gòu)示意圖。
具體實施方式
為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚,下面將結(jié)合本發(fā)明實施例中的附圖,對本發(fā)明實施例中的技術(shù)方案進行清楚、完整的描述,顯然,所描述的實施例是本發(fā)明一部分實施例,而不是全部的實施例?;诒景l(fā)明中的實施例,本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例,都屬于本發(fā)明保護的范圍。
本發(fā)明的實施例一提供了一種子孔徑圖像采集方法的一種具體實施方式,參見圖1,該子孔徑圖像采集方法具體包括如下步驟:
步驟100:獲取多聚焦圖像棧的成像模型。
在步驟100中,所述多聚焦圖像棧為通過聚焦于不同距離獲取的一組圖像;所述多聚焦圖像棧的成像模型包括子孔徑(u,v)、參考平面f和成像面fm,且所述子孔徑(u,v)與參考平面f及聚焦于另一個距離下的成像面fm之間的距離不同。
步驟200:根據(jù)光學成像原理和所述多聚焦圖像棧的成像模型,得到所述多聚焦圖像棧中的圖像與子孔徑圖像間的關(guān)系。
在步驟200中,所述子孔徑圖像為物體經(jīng)通光孔徑上的子孔徑在傳感器上形成的分量圖像;多聚焦圖像棧中的圖像與子孔徑圖像間的關(guān)系用分層平移模型表示,其中,所述分層平移模型如公式一所示:
在公式一中,
步驟300:根據(jù)所述多聚焦圖像棧中的圖像與子孔徑圖像間的關(guān)系,得到偏移多聚焦圖像棧。
在步驟300中,根據(jù)所述多聚焦圖像棧中的圖像與子孔徑圖像間的關(guān)系,將所述多聚焦圖像棧中的每一幅圖像以該圖像相對于子孔徑的相反視差進行分層平移,得到偏移多聚焦圖像棧。
步驟400:獲取所述偏移多聚焦圖像棧的梯度信息及相位信息,并根據(jù)所述梯度信息及相位信息得到深度圖。
在步驟400中,根據(jù)梯度信息將所述偏移多聚焦圖像棧中的圖像中的點劃分為源點和平凡點;并根據(jù)相位信息對所述偏移多聚焦圖像棧中的圖像的一致性進行檢驗,得到最大相位一致流。
步驟500:根據(jù)所述深度圖在所述多聚焦圖像棧中的對應圖像中采集像素,組合所述像素得到所述子孔徑圖像。
在步驟500中,子孔徑圖像和深度圖(聚焦位置)存在互相依賴的關(guān)系。一方面,若當前的深度估計是完全正確的,則子孔徑圖像可以通過從多聚焦圖像棧中的對應圖像中挑選像素組成。
從上述描述可知,本發(fā)明的實施例采集子孔徑圖像的速度快且采集的圖像的空間分辨率高,且子孔徑圖像的獲取過程的穩(wěn)定性高,保證了采集的子孔徑圖像的準確性及清晰度。
本發(fā)明的實施例二提供了一種子孔徑圖像采集方法中還包括步驟600的一種具體實施方式,參見圖2,該步驟600具體包括如下步驟:
步驟600:若已存在子孔徑圖像,則將已存在的子孔徑圖像作為監(jiān)督圖像,根據(jù)聯(lián)合雙邊濾波方法對所述深度圖進行優(yōu)化,得到優(yōu)化后的深度圖和子孔徑圖像。
從上述描述可知,本發(fā)明的實施例給出了對已存在的子孔徑圖像進行優(yōu)化的具體實現(xiàn)方式,提高了方法應用的廣泛性和全面性。
本發(fā)明的實施例三提供了一種子孔徑圖像采集方法中步驟400的一種具體實施方式,參見圖3,該步驟400具體包括如下步驟:
步驟401:根據(jù)梯度信息將所述偏移多聚焦圖像棧中的圖像中的點劃分為源點和平凡點。
在步驟401中,根據(jù)最大梯度流獲取所述偏移多聚焦圖像棧中的梯度變化,并根據(jù)最大梯度流的散度將所述偏移多聚焦圖像棧中的圖像中的點劃分為源點和平凡點;所述源點包括:只有一個邊緣存在的點,以及,有多個邊緣存在且邊緣未被擴散梯度所掩蓋的點;所述平凡點為有多個邊緣存在且存在被擴散梯度所掩蓋的邊緣的點。
步驟402:根據(jù)相位信息對所述偏移多聚焦圖像棧中的圖像的一致性進行檢驗,得到最大相位一致流。
在步驟402中,若檢驗得到所述偏移多聚焦圖像棧中的圖像的邊緣處的各級傅里葉級數(shù)相位一致,則所述偏移多聚焦圖像棧中的圖像的相位一致性為1;若檢驗得到所述偏移多聚焦圖像棧中的圖像的非邊緣處的各級傅里葉級數(shù)相位不一致,則所述偏移多聚焦圖像棧中的圖像的相位一致性小于1。
步驟403:將使用梯度提取出的源點組成集合sg,所述集合sg代表偏移多聚焦圖像棧中的圖像的邊緣位置。
步驟404:根據(jù)所述最大相位一致流的散度將所有源點組成集合sp,所述集合sp為根據(jù)相位檢測出的邊緣位置的集合。
步驟405:將sg和sp合成為統(tǒng)一的邊緣位置集合s,得到深度圖;其中,所述深度圖即為聚焦位圖。
從上述描述可知,本發(fā)明的實施例給出了根據(jù)所述梯度信息及相位信息得到深度圖的具體實施方式,該過程準確且有效,提高了采集子孔徑圖像的效率及可靠性。
本發(fā)明的還提供了一種子孔徑圖像采集方法的應用實例,該子孔徑圖像采集方法的應用實例具體包括如下內(nèi)容:
如圖4所示,本發(fā)明所提到的多聚焦圖像棧即是一組聚焦于不同距離的圖像,所謂子光圈圖像即是通光孔徑的一部分(子孔徑)在傳感器上的分量。本發(fā)明的目的是通過多聚焦圖像棧恢復子孔徑圖像。
如圖5所示,是多聚焦圖像棧的成像模型,其中平面f是參考平面,平面fm是聚焦于另一個距離下的成像面。根據(jù)光學成像原理公式,可以推導出多聚焦圖像棧中的圖像與子孔徑圖像間的關(guān)系為:
其中
其中f是(u,v,m)的函數(shù)。根據(jù)以上公式,可以得出兩點結(jié)論1.若m=d,即點(x;y)恰好聚焦于平面fm處,則視差值(δx′1;δy′1)和(δx′2;δy′2)都是0,有^ifm(x;y)=iuk;vkf(x;y);2.若m≠d,即點(x;y)不聚焦于平面fm處,則^ifm(x;y)是iuk;vkf(x;y)的偏移模糊,偏移量是(δx′1;δy′1),模糊核由(δx′2;δy′2)形成,根據(jù)以上推導,此處的模糊核是圓盤形模糊核。該結(jié)論表明,若將多聚焦圖像棧以每一幅圖像相對于子孔徑(uk;vk)的相反視差分層平移,所得到的是一個關(guān)于子孔徑圖像iuk;vkf的有偏移多聚焦圖像棧,但每個像素在其恰好聚焦的圖像中是無偏移的,即為子孔徑圖像重建的分層平移模型。
如圖6所示,本發(fā)明使用最大梯度流對多聚焦圖像棧中的梯度變化進行建模,其中最大梯度流定義為二維場:
mgf(x,y)=[gx(x,y),gy(x,y)]t
根據(jù)最大梯度流的散度將圖像中的點分為源點和平凡點兩類,其中源點滿足:
其余皆為平凡點。
圖6(1)是無偏移多聚焦圖像棧中的最大梯度流,藍色實線為聚焦情況下的邊緣梯度;綠色虛線為不同程度的模糊下的邊緣梯度,即擴散出的梯度;紅色實線為梯度曲線的包絡(luò),即最大梯度。可以看出圖6(1)中唯一的源點就是邊緣所處的位置。
圖6(2)是有偏移多聚焦圖像棧中的最大梯度流,從圖6(2)中可以看到,雖然由于偏移的引入使得梯度的包絡(luò)寬度發(fā)生了變化,但是圖6(2)中唯一的源點依然是邊緣所處的位置。
圖6(3)是有兩個邊緣的情況,藍色實線是強邊緣聚焦情況下的梯度;藍色虛線是強邊緣的最大梯度;綠色實線是弱邊緣聚焦情況下的梯度;綠色虛線是弱邊緣的最大梯度;紅色實線為總體的最大梯度。為了簡潔,擴散梯度并未呈現(xiàn)于圖6(3)中。在這種情況下弱邊緣并未被強邊緣所掩蓋,兩個源點是兩個邊緣所處的位置。
圖6(4)也是有兩個邊緣的情況,但在這種情況下由于弱邊緣的最大梯度小于強邊緣的擴散梯度,導致弱邊緣被掩蓋,圖6(4)中的唯一源點是強邊緣所處的位置。
通過以上分析可以得出以下幾點結(jié)論:
1.對于只有一個邊緣存在的情況,無論多聚焦圖像棧是否有偏移,都不影響其源點性質(zhì)。
2.對于多個邊緣存在的情況,若某個邊緣沒有被擴散梯度所掩蓋,則不影響其源點的性質(zhì)。
3.對于多個邊緣存在的情況,若某個邊緣被擴散梯度所掩蓋,則其退化為平凡點。以上結(jié)論可以總結(jié)為:源點一定是邊緣所處的位置。
根據(jù)此條結(jié)論,將使用梯度提取出的源點組成集合sg,代表圖像中的邊緣位置。
如圖7所示,為了增強對弱邊緣的檢測效果,本發(fā)明除使用梯度外,還使用相位一致性檢測邊緣位置。相位一致性定義為:
在邊緣處,圖像的各級傅里葉級數(shù)相位一致,相位一致性為1;非邊緣處圖像的各級傅里葉級數(shù)相位不一致,相位一致性小于1。與最大梯度流類似,定位最大相位一致流為:
mpf(x,y)=[pcx(x,y),pcy(x,y)]t
同樣根據(jù)最大相位一致流的散度將所有源點組成集合sp,代表根據(jù)相位檢測出的邊緣位置。最后將sg和sp融合為統(tǒng)一的邊緣位置集合s,如圖8所示即為融合后的邊緣位置集合及其深度值(聚焦位置)。
如圖9所示,子孔徑圖像和深度圖(聚焦位置)存在互相依賴的關(guān)系。一方面,若當前的深度估計是完全正確的,則子孔徑圖像可以通過從多聚焦圖像棧中的對應圖像中挑選像素組成:
其中fi代表融合后的子孔徑圖像,d(p)代表像素p實際聚焦的深度值。另一方面,若已有子孔徑圖像,則可以將子孔徑圖像作為監(jiān)督圖像,使用聯(lián)合雙邊濾波對深度圖進行優(yōu)化:
nhp是像素p的鄰域;kp是歸一化系數(shù);σs控制空間距離權(quán)重;σr控制圖像灰度權(quán)重。基于以上關(guān)系,本發(fā)明使用以上兩公式交替進行子孔徑圖像的合成和深度圖的優(yōu)化,并在每次濾波前,重置種子點集合s中的所有種子點深度為其初始估計值。這樣能夠最大限度地利用種子點的深度信息,使得深度估計更準確。循環(huán)終止的條件是兩次循環(huán)間深度的均方誤差(mse)小于某個閾值或者達到一定的循環(huán)次數(shù),最終得到優(yōu)化后的深度圖和子孔徑圖像。圖10和圖11分別展示了樣例數(shù)據(jù)的深度圖和合成的子孔徑圖像。
從上述描述可知,本發(fā)明的應用實例采集子孔徑圖像的速度快且采集的圖像的空間分辨率高,且子孔徑圖像的獲取過程的穩(wěn)定性高,保證了采集的子孔徑圖像的準確性及清晰度。
本發(fā)明的實施例四提供了一種子孔徑圖像采集系統(tǒng)的一種具體實施方式,參見圖12,該子孔徑圖像采集系統(tǒng)具體包括如下內(nèi)容:
成像模型獲取單元10,用于獲取多聚焦圖像棧的成像模型,其中,所述多聚焦圖像棧為通過聚焦于不同距離獲取的一組圖像。
多聚焦圖像棧與子孔徑圖像關(guān)系單元20,用于根據(jù)光學成像原理和所述多聚焦圖像棧的成像模型,得到所述多聚焦圖像棧中的圖像與子孔徑圖像間的關(guān)系,其中,所述子孔徑圖像為物體經(jīng)通光孔徑上的子孔徑在傳感器上形成的分量圖像。
偏移多聚焦圖像棧獲取單元30,用于根據(jù)所述多聚焦圖像棧中的圖像與子孔徑圖像間的關(guān)系,得到偏移多聚焦圖像棧。
深度圖獲取單元40,用于獲取所述偏移多聚焦圖像棧的梯度信息及相位信息,并根據(jù)所述梯度信息及相位信息得到深度圖。
子孔徑圖像采集單元50,用于根據(jù)所述深度圖在所述多聚焦圖像棧中的對應圖像中采集像素,組合所述像素得到所述子孔徑圖像。
從上述描述可知,利用本發(fā)明的實施例中的子孔徑圖像采集系統(tǒng)采集子孔徑圖像的速度快且采集的圖像的空間分辨率高,且子孔徑圖像的獲取過程的穩(wěn)定性高,保證了采集的子孔徑圖像的準確性及清晰度。
以上實施例僅用于說明本發(fā)明的技術(shù)方案,而非對其限制;盡管參照前述實施例對本發(fā)明進行了詳細的說明,本領(lǐng)域的普通技術(shù)人員應當理解:其依然可以對前述各實施例所記載的技術(shù)方案進行修改,或者對其中部分技術(shù)特征進行等同替換;而這些修改或替換,并不使相應技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的精神和范圍。