本發(fā)明涉及圖像處理技術，尤其涉及一種結合深度信息的圖像去霧方法及裝置和電子裝置。
背景技術：
對包含有天空區(qū)域的有霧圖像，采用暗原色先驗去霧方法對整幅有霧圖像進行去霧處理，天空區(qū)域由于去霧強度過大，會產生異常偏黃偏暗的問題，去霧處理后的圖像的視覺觀感較差。
技術實現要素：
本發(fā)明的實施例提供了一種結合深度信息的圖像去霧方法及裝置和電子裝置。
本發(fā)明實施方式的圖像去霧方法，用于處理電子裝置采集的場景數據，所述場景數據包括場景主圖像，所述圖像去霧方法包括以下步驟：
根據所述場景數據獲取場景的深度信息；
處理所述場景主圖像和所述深度信息以劃分天空區(qū)域和非天空區(qū)域；和
對所述天空區(qū)域和所述非天空區(qū)域分別進行不同程度的去霧處理。
本發(fā)明實施方式的圖像去霧裝置，用于處理電子裝置采集的場景數據，所述場景數據包括場景主圖像，所述圖像去霧裝置包括獲取模塊、劃分模塊和去霧模塊。所述獲取模塊用于根據所述場景數據獲取場景的深度信息；所述劃分模塊用于處理所述場景主圖像和所述深度信息以劃分天空區(qū)域和非天空區(qū)域；所述去霧模塊用于對所述天空區(qū)域和所述非天空區(qū)域分別進行不同程度的去霧處理。
本發(fā)明實施方式的電子裝置包括成像裝置和上述的圖像去霧裝置。所述圖像去霧裝置和所述電子裝置電連接。
本發(fā)明實施方式的結合深度信息的圖像去霧方法、圖像去霧裝置和電子裝置對有霧圖像中的天空區(qū)域和非天空區(qū)域進行劃分進行不同程度的去霧處理，能夠有效去除圖像中的霧/霾，并保留天空區(qū)域的信息，使得去霧處理后的圖像呈現更真實自然的效果。
本發(fā)明的附加方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。
附圖說明
本發(fā)明的上述和/或附加的方面和優(yōu)點從結合下面附圖對實施方式的描述中將變得明顯和容易理解，其中：
圖1是本發(fā)明實施方式的結合深度信息的圖像去霧方法的流程示意圖；
圖2是本發(fā)明實施方式的電子裝置的功能模塊示意圖；
圖3是本發(fā)明實施方式的圖像去霧方法的狀態(tài)示意圖；
圖4是本發(fā)明實施方式的圖像去霧方法的狀態(tài)示意圖；
圖5是本發(fā)明某些實施方式的圖像去霧方法的流程示意圖；
圖6是本發(fā)明某些實施方式的電子裝置的功能模塊示意圖；
圖7是本發(fā)明某些實施方式的圖像去霧方法的流程示意圖；
圖8是本發(fā)明某些實施方式的電子裝置的功能模塊示意圖；
圖9是本發(fā)明某些實施方式的圖像去霧方法的流程示意圖；
圖10是本發(fā)明某些實施方式的電子裝置的功能模塊示意圖；
圖11是本發(fā)明某些實施方式的圖像去霧方法的流程示意圖；
圖12是本發(fā)明某些實施方式的劃分模塊的功能模塊示意圖；
圖13是本發(fā)明某些實施方式的圖像去霧方法的狀態(tài)示意圖；
圖14是本發(fā)明某些實施方式的圖像去霧方法的流程示意圖；和
圖15是本發(fā)明某些實施方式的去霧模塊的功能模塊示意圖。
具體實施方式
下面詳細描述本發(fā)明的實施方式，所述實施方式的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施方式是示例性的，僅用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。
請一并參閱圖1至2，本發(fā)明實施方式的結合深度信息的圖像去霧方法，用于處理電子裝置100采集的場景數據。所述場景數據包括場景主圖像。所述圖像去霧方法包括以下步驟：
s12：根據所述場景數據獲取場景的深度信息；
s14：處理所述場景主圖像和所述深度信息以劃分天空區(qū)域和非天空區(qū)域；和
s16：對所述天空區(qū)域和所述非天空區(qū)域分別進行不同程度的去霧處理。
本發(fā)明實施方式的圖像去霧方法可以由本發(fā)明實施方式的圖像去霧裝置10實現。本發(fā)明實施方式的圖像去霧裝置10包括獲取模塊12、劃分模塊14和去霧模塊16。步驟s12可以由獲取模塊12實現，步驟s14可以由劃分模塊14實現，步驟s16可以由去霧模塊16實現。
也即是說，獲取模塊12用于根據所述場景數據獲取場景的深度信息；劃分模塊14用于處理所述場景主圖像和所述深度信息以劃分天空區(qū)域和非天空區(qū)域；去霧模塊16用于對所述天空區(qū)域和所述非天空區(qū)域分別進行不同程度的去霧處理。
本發(fā)明實施方式的圖像去霧裝置10可以應用于本發(fā)明實施方式的電子裝置100。也即是說，本發(fā)明實施方式的電子裝置100包括本發(fā)明實施方式的圖像去霧裝置10,。當然，本發(fā)明實施方式的電子裝置100還包括成像裝置20。其中，圖像去霧裝置10和成像裝置20電連接。
在某些實施方式中，電子裝置100包括手機、平板電腦、筆記本電腦、智能手表、智能手環(huán)、智能頭盔、智能眼鏡等，在此不作任何限制。在本發(fā)明的具體實施例中，電子裝置100為手機。
請一并參閱圖3至4，可以理解，有霧圖像一般采用基于暗原色先驗的去霧方法對整幅有霧圖像進行去霧處理。當有霧圖像中包含天空區(qū)域時，由于天空區(qū)域亮度較高，暗原色強度值一般也很高，因此，利用暗原色先驗去霧方法對整幅有霧圖像進行處理會導致天空區(qū)域的去霧強度過大，使得處理后的無霧圖像異常偏黃偏暗(如圖3所示)，去霧效果不自然。本發(fā)明實施方式的圖像去霧方法首先利用場景的深度信息對當前場景進行天空區(qū)域和非天空區(qū)域的劃分，再對天空區(qū)域和非天空區(qū)域進行不同程度的去霧處理。如此，在有效去除有霧圖像中的霧/霾的同時能夠較好地保留天空區(qū)域的信息，使得去霧處理后的圖像呈現更加真實自然的效果。
請參閱圖5，在某些實施方式中，圖像去霧方法在步驟s12根據所述場景數據獲取場景的深度信息的步驟前還包括以下步驟：
s11：判斷所述場景主圖像是否為帶霧圖像；和
在所述場景主圖像為帶霧圖像時進入步驟s12根據所述場景數據獲取場景的深度信息的步驟。
請參閱圖6，在某些實施方式中，圖像去霧裝置10還包括判斷模塊11。步驟s11可以由判斷模塊11實現。
也即是說，判斷模塊11用于判斷所述場景主圖像是否為帶霧圖像。獲取模塊12還用于在所述場景主圖像為帶霧圖像時根據所述場景數據獲取場景的深度信息。
可以理解，若場景主圖像是在無霧天氣狀態(tài)下拍攝的，那么場景主圖像無需進行去霧處理。若場景主圖像是在有霧天氣狀態(tài)下拍攝的，則場景主圖像為帶霧圖像，帶霧的場景主圖像中許多場景的細節(jié)會模糊甚至丟失，因此需要進行去霧處理以得到清晰的去霧圖像。
請參閱圖7，在某些實施方式中，步驟s12根據所述場景數據獲取場景的深度信息包括以下子步驟：
s121：處理所述深度圖像以獲取所述場景的深度信息。
請參閱圖8，在某些實施方式中，獲取模塊12包括第一處理單元121。步驟s121可以由第一處理單元121實現。
也即是說，第一處理單元121用于處理所述深度圖像以獲取所述場景的深度信息。
可以理解，場景數據包括與場景主圖像對應的深度圖像。其中，場景主圖像為rgb彩色圖像，深度圖像包含當前場景中景物、建筑、天空等人或物體的深度信息。由于場景主圖像的色彩信息與深度圖像的深度信息是一一對應的關系，因此，可以根據深度圖像獲取到場景主圖像的圖像深度信息。
在某些實施方式中，成像裝置20包括深度攝像頭。深度攝像頭可用來獲取深度圖像。其中，深度攝像頭包括基于結構光深度測距的深度攝像頭和基于tof測距的深度攝像頭。
具體地，基于結構光深度測距的深度攝像頭包括攝像頭和投射器。投射器將一定模式的光結構投射到當前待拍攝的場景中，在場景中的各個人或物體表面形成由該場景中的人或物體調制后的光條三維圖像，再通過攝像頭探測上述的光條三維圖像即可獲得光條二維畸變圖像。光條的畸變程度取決于投射器與攝像頭之間的相對位置以及當前待拍攝的場景中各個人或物體的表面形廓或高度。由于深度攝像頭中的攝像頭和投射器之間的相對位置是一定的，因此，由畸變的二維光條圖像坐標便可重現場景中各個人或物體的表面三維輪廓，從而可以獲取圖像深度信息。結構光深度測距具有較高的分辨率和測量精度，可以提升獲取的圖像深度信息的精確度。
基于tof(timeofflight)測距的深度攝像頭是通過傳感器記錄從發(fā)光單元發(fā)出的調制紅外光發(fā)射到物體，再從物體反射回來的相位變化，在一個波長的范圍內根據光速，可以實時的獲取整個場景的深度距離。當前待拍攝的場景中各個人或物體所處的深度位置不一樣，因此調制紅外光從發(fā)出到接收所用時間是不同的，如此，便可獲取場景的圖像深度信息?；趖of深度測距的深度攝像頭計算圖像深度信息時不受被攝物表面的灰度和特征的影響，且可以快速地計算圖像深度信息，具有很高的實時性。
請參閱圖9，在某些實施方式中，步驟s12根據所述場景數據獲取場景的深度信息包括以下子步驟：
s122：處理所述場景主圖像和所述場景副圖像以獲取所述場景的深度信息。
請參閱圖10，在某些實施方式中，獲取模塊12包括第二處理單元122。步驟s122可以由第二處理單元122實現。
也即是說，第二處理單元122用于處理所述場景主圖像和所述場景副圖像以獲取所述場景的深度信息。
可以理解，深度信息可以通過雙目立體視覺測距的方法進行獲取，此時場景數據包括場景主圖像和場景副圖像。其中，場景主圖像和場景副圖像均為rgb彩色圖像。雙目立體視覺測距是運用兩個規(guī)格相同的攝像頭對同一場景從不同位置成像以獲得場景的立體圖像對，再通過算法匹配出立體圖像對的相應像點，從而計算出視差。最后采用基于三角測量的方法恢復深度信息。如此，通過對場景主圖像和場景副圖像這一立體圖像對進行匹配便可獲得當前場景的圖像深度信息。
在某些實施方式中，成像裝置20包括主攝像頭和副攝像頭。
可以理解，采用雙目立體視覺測距方法獲取深度信息時，需利用兩個攝像頭進行成像。場景主圖像可由主攝像頭拍攝得到，場景副圖像可由副攝像頭拍攝得到。其中，主攝像頭和副攝像頭的規(guī)格相同。如此，根據主攝像頭和副攝像頭拍攝得到的立體圖像對獲取當前場景的圖像深度信息。
請參閱圖11，在某些實施方式中，步驟s14處理所述場景主圖像和所述深度信息以劃分天空區(qū)域和非天空區(qū)域包括以下子步驟：
s141：處理所述場景主圖像和所述深度信息以獲取所述場景主圖像的每個像素點的亮度值和深度值；
s142：比較每個所述像素點的亮度值與預設亮度值的大小；
s143：比較每個所述像素點的深度值與預設深度值的大?。?/p>
s144：將所述亮度值大于所述預設亮度值且所述深度值大于所述預設深度值的所有所述像素點歸并為天空區(qū)域；和
s145：確定所述場景主圖像中除天空區(qū)域外的區(qū)域為所述非天空區(qū)域。
請參閱圖12，在某些實施方式中，劃分模塊14包括獲取單元141、第一比較單元142、第二比較單元143、歸并單元144和確定單元145。步驟s141可以由獲取單元141實現，步驟s142可以由第一比較單元142實現，步驟s143可以由第二比較單元143實現，步驟s144可以由歸并單元144實現，步驟s145可以由確定單元145實現。
也即是說，獲取單元141用于處理所述場景主圖像和所述深度信息以獲取所述場景主圖像的每個像素點的亮度值和深度值；第一比較單元142用于比較每個所述像素點的亮度值與預設亮度值的大?。坏诙容^單元143用于比較每個所述像素點的深度值與預設深度值的大?。粴w并單元144用于將所述亮度值大于所述預設亮度值且所述深度值大于所述預設深度值的所有所述像素點歸并為天空區(qū)域；確定單元145用于確定所述場景主圖像中除天空區(qū)域外的區(qū)域為所述非天空區(qū)域。
請參閱圖13，可以理解，拍攝的場景中的天空區(qū)域的亮度一般比場景中的其他物體如建筑物等的亮度高，且天空區(qū)域一般距離成像裝置20的距離較遠，相對于場景中的其他物體，天空區(qū)域對應的深度較深。如此，根據先驗知識設定劃分天空區(qū)域與非天空區(qū)域的界限參數即預設亮度值和預設深度值，根據場景主圖像及場景主圖像對應的深度信息對場景主圖像中的各個像素點的亮度值和深度值進行計算。隨后，分別對各個像素點的亮度值和深度值與預設亮度值和預設深度值進行比較。若像素點的亮度值大于預設亮度值且深度值大于預設深度值則表明該像素點可能對應于天空區(qū)域的位置。如此，將所有亮度值大于預設亮度值且深度值大于預設深度值的像素點歸并為天空區(qū)域，并將場景主圖像中除天空區(qū)域外的其他區(qū)域歸并為非天空區(qū)域。
請參閱圖14，在某些實施方式中，步驟s16對所述天空區(qū)域和所述非天空區(qū)域分別進行不同程度的去霧處理包括以下子步驟：
s161：處理所述場景主圖像以計算所述天空區(qū)域的第一大氣透射率和所述非天空區(qū)域的第二大氣透射率；和
s162：根據所述第一大氣透射率和所述第二大氣透射率分別對所述天空區(qū)域和所述非天空區(qū)域進行去霧處理。
請參閱圖15，在某些實施方式中，去霧模塊16包括計算單元161和去霧單元162。步驟s161可以由計算單元161實現，步驟s162可以由去霧單元162實現。
也即是說，計算單元161用于處理所述場景主圖像以計算所述天空區(qū)域的第一大氣透射率和所述非天空區(qū)域的第二大氣透射率；去霧單元162用于根據所述第一大氣透射率和所述第二大氣透射率分別對所述天空區(qū)域和所述非天空區(qū)域進行去霧處理。
具體地，帶有霧/霾的場景主圖像的結構方程為：i(x)＝j(x)+a[1-t(x)]，其中，i(x)為場景主圖像，j(x)為去霧圖像，a為全場景范圍內的大氣光值，代表整幅場景主圖像中最亮的像素點的強度值即灰度值。大氣光值a指的是場景主圖像中灰度值最大的點，因此，可根據場景主圖像的r、g、b數據獲得各個像素點的灰度值y，即y＝0.299·r+0.587·g+0144·b，并從所有灰度值y中找出最大的y值，該y值即為大氣光值a的取值。隨后，可根據大氣光值a分別計算天空區(qū)域第一透射率t1(x)和非天空區(qū)域的非天空區(qū)域的第二透射率t2(x)。大氣透射率為
如此，對于天空區(qū)域進行程度較小的去霧處理，對于非天空區(qū)域進行程度較大的去霧處理，使得去霧處理后的圖像呈現更加真實自然的效果。
電子裝置100還包括殼體、存儲器、電路板和電源電路。其中，電路板安置在殼體圍成的空間內部，處理器和存儲器設置在電路板上；電源電路用于為電子裝置100的各個電路或器件供電；存儲器用于存儲可執(zhí)行程序代碼；圖像去霧裝置10通過讀取存儲器中存儲的可執(zhí)行程序代碼來運行與可執(zhí)行程序代碼對應的程序以實現上述的本發(fā)明任一實施方式的圖像去霧方法。
在本說明書的描述中，參考術語“一個實施方式”、“一些實施方式”、“示意性實施方式”、“示例”、“具體示例”、或“一些示例”等的描述意指結合所述實施方式或示例描述的具體特征、結構、材料或者特點包含于本發(fā)明的至少一個實施方式或示例中。在本說明書中，對上述術語的示意性表述不一定指的是相同的實施方式或示例。而且，描述的具體特征、結構、材料或者特點可以在任何的一個或多個實施方式或示例中以合適的方式結合。
流程圖中或在此以其他方式描述的任何過程或方法描述可以被理解為，表示包括一個或更多個用于實現特定邏輯功能或過程的步驟的可執(zhí)行指令的代碼的模塊、片段或部分，并且本發(fā)明的優(yōu)選實施方式的范圍包括另外的實現，其中可以不按所示出或討論的順序，包括根據所涉及的功能按基本同時的方式或按相反的順序，來執(zhí)行功能，這應被本發(fā)明的實施例所屬技術領域的技術人員所理解。
在流程圖中表示或在此以其他方式描述的邏輯和/或步驟，例如，可以被認為是用于實現邏輯功能的可執(zhí)行指令的定序列表，可以具體實現在任何計算機可讀介質中，以供指令執(zhí)行系統、裝置或設備(如基于計算機的系統、包括處理器的系統或其他可以從指令執(zhí)行系統、裝置或設備取指令并執(zhí)行指令的系統)使用，或結合這些指令執(zhí)行系統、裝置或設備而使用。就本說明書而言，"計算機可讀介質"可以是任何可以包含、存儲、通信、傳播或傳輸程序以供指令執(zhí)行系統、裝置或設備或結合這些指令執(zhí)行系統、裝置或設備而使用的裝置。計算機可讀介質的更具體的示例(非窮盡性列表)包括以下：具有一個或多個布線的電連接部(電子裝置)，便攜式計算機盤盒(磁裝置)，隨機存取存儲器(ram)，只讀存儲器(rom)，可擦除可編輯只讀存儲器(eprom或閃速存儲器)，光纖裝置，以及便攜式光盤只讀存儲器(cdrom)。另外，計算機可讀介質甚至可以是可在其上打印所述程序的紙或其他合適的介質，因為可以例如通過對紙或其他介質進行光學掃描，接著進行編輯、解譯或必要時以其他合適方式進行處理來以電子方式獲得所述程序，然后將其存儲在計算機存儲器中。
應當理解，本發(fā)明的各部分可以用硬件、軟件、固件或它們的組合來實現。在上述實施方式中，多個步驟或方法可以用存儲在存儲器中且由合適的指令執(zhí)行系統執(zhí)行的軟件或固件來實現。例如，如果用硬件來實現，和在另一實施方式中一樣，可用本領域公知的下列技術中的任一項或他們的組合來實現：具有用于對數據信號實現邏輯功能的邏輯門電路的離散邏輯電路，具有合適的組合邏輯門電路的專用集成電路，可編程門陣列(pga)，現場可編程門陣列(fpga)等。
本技術領域的普通技術人員可以理解實現上述實施例方法攜帶的全部或部分步驟是可以通過程序來指令相關的硬件完成，所述的程序可以存儲于一種計算機可讀存儲介質中，該程序在執(zhí)行時，包括方法實施例的步驟之一或其組合。
此外，在本發(fā)明各個實施例中的各功能單元可以集成在一個處理模塊中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個模塊中。上述集成的模塊既可以采用硬件的形式實現，也可以采用軟件功能模塊的形式實現。所述集成的模塊如果以軟件功能模塊的形式實現并作為獨立的產品銷售或使用時，也可以存儲在一個計算機可讀取存儲介質中。
上述提到的存儲介質可以是只讀存儲器，磁盤或光盤等。盡管上面已經示出和描述了本發(fā)明的實施方式，可以理解的是，上述實施方式是示例性的，不能理解為對本發(fā)明的限制，本領域的普通技術人員在本發(fā)明的范圍內可以對上述實施方式進行變化、修改、替換和變型。