本發(fā)明涉及通信技術(shù)領(lǐng)域，特別是涉及一種圖像數(shù)據(jù)的處理方法和移動終端。

背景技術(shù)：

現(xiàn)有的移動終端越來越看重相機拍照成像效果、圖像的噪點和清晰度的表現(xiàn)，這些也越來越成為商家的主要競爭因素。

目前移動終端的平臺處理器廠商的圖像處理技術(shù)在細節(jié)上各不相同，但一般采用如下方法：在經(jīng)過isp(imagesignalprocessing，圖像信號處理)進行圖像處理得到rgb、yuv等格式的圖像數(shù)據(jù)之后，進行圖像數(shù)據(jù)的去噪和清晰度的提升。

這種依靠isp完成對于圖像數(shù)據(jù)的處理的方法，處理速度慢。

技術(shù)實現(xiàn)要素：

本發(fā)明實施例提供一種圖像數(shù)據(jù)的方法和移動終端，以解決圖像數(shù)據(jù)在isp處理之后，圖像數(shù)據(jù)的噪聲特性變得復(fù)雜，導(dǎo)致最終圖像質(zhì)量不高的問題。

第一方面，提供了一種圖像數(shù)據(jù)的處理方法，應(yīng)用于移動終端，所述移動終端包括至少兩個攝像頭、與所述至少兩個攝像頭和圖像信號處理器isp相連接的數(shù)字信號處理器dsp，所述方法包括：

確定當(dāng)前攝像模式；

根據(jù)所述當(dāng)前攝像模式，所述dsp獲取第一攝像頭輸出的第一圖像數(shù)據(jù)，以及，第二攝像頭輸出的第二圖像數(shù)據(jù)；

采用所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)計算，得到景深數(shù)據(jù)；

將所述第一圖像數(shù)據(jù)、第二圖像數(shù)據(jù)和景深數(shù)據(jù)發(fā)送至isp；

所述isp基于所述第一圖像數(shù)據(jù)、第二圖像數(shù)據(jù)和/或景深數(shù)據(jù)進行圖像處理。

第二方面，提供了一種移動終端，所述移動終端包括至少兩個攝像頭、與所述至少兩個攝像頭和圖像信號處理器isp相連接的數(shù)字信號處理器dsp，所述移動終端包括：

當(dāng)前攝像模式確定模塊，用于確定當(dāng)前攝像模式；

圖像數(shù)據(jù)獲取模塊，用于根據(jù)所述當(dāng)前攝像模式，所述dsp獲取第一攝像頭輸出的第一圖像數(shù)據(jù)，以及，第二攝像頭輸出的第二圖像數(shù)據(jù)；

景深數(shù)據(jù)計算模塊，用于采用所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)計算，得到景深數(shù)據(jù)；

數(shù)據(jù)發(fā)送模塊，用于將所述第一圖像數(shù)據(jù)、第二圖像數(shù)據(jù)和景深數(shù)據(jù)發(fā)送至isp；

圖像處理模塊，用于所述isp基于所述第一圖像數(shù)據(jù)、第二圖像數(shù)據(jù)和/或景深數(shù)據(jù)進行圖像處理。

這樣，本發(fā)明實施例中，通過在移動終端原有的硬件框架上增加dsp硬件模塊，使得本發(fā)明實施例可以在圖像數(shù)據(jù)進入isp之前，可以先一步進行前端進行圖像數(shù)據(jù)的圖像處理，具體來說，首先確定當(dāng)前攝像模式，并基于該攝像模式在dsp接收圖像數(shù)據(jù)，并在dsp處基于圖像數(shù)據(jù)計算景深數(shù)據(jù)，然后將計算得到的景深數(shù)據(jù)和圖像數(shù)據(jù)發(fā)送給后端isp進行進一步的圖像處理，通過結(jié)合dsp和isp來對于圖像數(shù)據(jù)進行處理，可以提高處理速度。

附圖說明

為了更清楚地說明本發(fā)明實施例的技術(shù)方案，下面將對本發(fā)明實施例的描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是本發(fā)明實施例一的一種圖像數(shù)據(jù)的處理方法實施例的步驟流程圖；

圖2是本發(fā)明的一種添加dsp后的雙攝硬件架構(gòu)圖；

圖3是本發(fā)明實施例二的一種移動終端實施例的結(jié)構(gòu)框圖；

圖4是本發(fā)明另一個實施例的移動終端的框圖；

圖5是本發(fā)明又一個實施例的移動終端的結(jié)構(gòu)示意圖。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

實施例一

參照圖1，示出了本發(fā)明的一種圖像數(shù)據(jù)的處理方法實施例的步驟流程圖，應(yīng)用于移動終端，所述移動終端包括至少兩個攝像頭、與至少兩個攝像頭和圖像信號處理器isp相連接的數(shù)字信號處理器dsp，所述方法具體可以包括如下步驟：

步驟101，確定當(dāng)前攝像模式；

在本發(fā)明實施例中，移動終端可以具有多種攝像模式，例如預(yù)覽模式和拍攝模式，當(dāng)然，還可以包括其他攝像模式。

步驟102，根據(jù)所述當(dāng)前攝像模式，所述dsp獲取第一攝像頭輸出的第一圖像數(shù)據(jù)，以及，第二攝像頭輸出的第二圖像數(shù)據(jù)；

在具體實現(xiàn)中，移動終端上具有攝像頭，攝像頭的數(shù)量可以是兩個，當(dāng)然也可以是三個或者三個以上。本發(fā)明實施例在原有的移動終端的硬件框架基礎(chǔ)上，添加dsp(digitalsignalprocessing，數(shù)字信號處理器)，使得圖像數(shù)據(jù)在進入isp之前，能夠進行更多的圖像處理，提升圖像數(shù)據(jù)的圖像質(zhì)量。

需要說明的是，本發(fā)明實施例在原有的移動終端的硬件框架基礎(chǔ)上，添加dsp(digitalsignalprocessing，數(shù)字信號處理器)，使得圖像數(shù)據(jù)在進入isp(imagesignalprocessing，圖像信號處理)之前，能夠?qū)崿F(xiàn)更多的圖像處理功能，提升圖像數(shù)據(jù)的圖像質(zhì)量。具體地，攝像頭的攝像模組中具有sensor(傳感器)，在移動終端設(shè)置有與攝像頭的sensor和isp相連的dsp。通常，isp在移動終端中作為攝像頭的sensor輸出信號處理的單元，以匹配不同廠商的sensor。

其中，dsp，sensor和isp之間，可以通過mipi(mobileindustryprocessorinterface，移動產(chǎn)業(yè)處理器接口)連接，mipi將手機內(nèi)部的接口如攝像頭、顯示屏接口、射頻/基帶接口等標(biāo)準(zhǔn)化，可以減少手機設(shè)計的復(fù)雜程度和增加設(shè)計靈活性。當(dāng)然，dsp，sensor和isp之間還可以通過其他接口進行連接，本發(fā)明實施例對此無需加以限制。

本發(fā)明實施例的dsp硬件模塊，是在raw區(qū)間(例如對為bayer格式等格式的raw圖像進行處理，raw圖像由于未在isp進行轉(zhuǎn)換成為yuv等格式，因此數(shù)據(jù)量更多，細節(jié)信息豐富)的圖像數(shù)據(jù)進行去噪等操作，讓圖像數(shù)據(jù)在進入isp之前，就有比較好的噪聲表現(xiàn)，并且通過dsp來處理圖像數(shù)據(jù)，相對于在isp處理而言速度快，且在dsp還能使用多種算法實現(xiàn)多種功能。通過在dsp對于圖像數(shù)據(jù)進行預(yù)處理，減少在isp處理過程中，降低后端處理難度，最終得到更好的圖像品質(zhì)。

isp是可以集成于ap(applicationprocessor，應(yīng)用處理器)中，也可以是獨立的芯片，本發(fā)明實施例對此無需加以限制，在dsp得到結(jié)果的raw圖像之后再發(fā)送進行isp處理，使得圖像數(shù)據(jù)更加清晰、自然和美觀。

參照圖2，其為本發(fā)明的一種添加dsp后的雙攝硬件架構(gòu)圖，vip0和vip1是dsp兩個sensor的數(shù)據(jù)接收端口，vop0和vop1是dsp兩個sensor的數(shù)據(jù)輸出端口。dsp可以通過vip端口接收圖像數(shù)據(jù)，并通過vop端口輸出圖像數(shù)據(jù)。優(yōu)選地，本發(fā)明實施例可以基于當(dāng)前攝像模式來獲取攝像頭的sensor輸出的圖像數(shù)據(jù)。

在本發(fā)明的一種優(yōu)選實施例中，所述步驟102可以包括：

當(dāng)所述當(dāng)前攝像模式為預(yù)覽模式時，所述dsp獲取經(jīng)采樣后的所述第一攝像頭輸出的第一圖像數(shù)據(jù)，以及，經(jīng)采樣后的所述第二攝像頭輸出的第二圖像數(shù)據(jù)。

在本發(fā)明實施例中，當(dāng)進入預(yù)覽模式后，dsp接收的是采樣后的圖像數(shù)據(jù)，此時的圖像數(shù)據(jù)的大小為完整大小的一半或四分之一。例如，最簡單的下采樣，就是每四個像素取其中一個。具體的采樣方法可以根據(jù)不同算法有所不同。當(dāng)進入拍攝模式后，dsp接收的是未經(jīng)采樣后的圖像數(shù)據(jù)，即圖像數(shù)據(jù)是完整的大小，包含有更多的數(shù)據(jù)量。

在本發(fā)明的一種優(yōu)選實施例中，所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)具有指定字符串，在所述步驟102之后，還可以包括：

當(dāng)檢測到所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)具有指定字符串時，同步所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)。

在本發(fā)明實施例中，可以根據(jù)幀頭(sof，startofframe)的方式中斷將雙攝像頭的sensor的輸入的圖像數(shù)據(jù)進行同步。具體地，sensor輸出圖像數(shù)據(jù)的時候，在每一幀圖像數(shù)據(jù)的頭部，都有一個特定的一串字符串，當(dāng)平臺ap的isp檢查到這一串字符串之后，就會產(chǎn)生一個中斷指令。每一個中斷指令具體做什么，都可以根據(jù)自己的需要去定義。本發(fā)明實施例所產(chǎn)生的中斷指令，是通知dsp將雙攝像頭sensor的輸入的圖像數(shù)據(jù)進行同步。當(dāng)然，本發(fā)明還可以選用其他方式來實現(xiàn)數(shù)據(jù)同步，只要能在dsp實現(xiàn)即可。

步驟103，采用所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)計算景深數(shù)據(jù)；

在dsp完成第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)的同步時，將采用到第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)去計算景深數(shù)據(jù)。

在本發(fā)明的一種優(yōu)選實施例中，在所述步驟103之后，還可以包括：

讀取當(dāng)前系統(tǒng)時間；

將所述當(dāng)前系統(tǒng)時間作為時間戳添加到所述景深數(shù)據(jù)。

本發(fā)明實施例的ap側(cè)，可以在sof中斷中讀取dsp的系統(tǒng)時間作為時間戳，并添加到景深數(shù)據(jù)中，從而可以基于系統(tǒng)時間來確定景深數(shù)據(jù)是否是最新的數(shù)據(jù)。

步驟104，將所述第一圖像數(shù)據(jù)、第二圖像數(shù)據(jù)和景深數(shù)據(jù)發(fā)送至isp；

在dsp計算出景深數(shù)據(jù)時，就可以將第一圖像數(shù)據(jù)、第二圖像數(shù)據(jù)和景深數(shù)據(jù)發(fā)送至isp進行進一步處理。

步驟105，在所述isp基于所述第一圖像數(shù)據(jù)、第二圖像數(shù)據(jù)和/或景深數(shù)據(jù)進行圖像處理。

在本發(fā)明的一種優(yōu)選實施例中，所述第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)分別具有對應(yīng)的時間戳，所述步驟105可以包括：

生成用于提醒景深數(shù)據(jù)生成的提示信息；

當(dāng)在所述isp接收到所述提示信息時，讀取時間戳與所述第一圖像數(shù)據(jù)的時間戳最相近的景深數(shù)據(jù)，或者，讀取時間戳與所述第二圖像數(shù)據(jù)的時間戳最相近的景深數(shù)據(jù)；

采用所述景深數(shù)據(jù)和所述第一圖像數(shù)據(jù)生成第一景深圖像數(shù)據(jù)，或者，采用所述景深數(shù)據(jù)和所述第二圖像數(shù)據(jù)生成第二景深圖像數(shù)據(jù)。

本發(fā)明實施例在生成景深數(shù)據(jù)時，可以生成提示信息(msg)，以提醒ap內(nèi)的isp去讀取最新的景深數(shù)據(jù)。ap根據(jù)最近準(zhǔn)則，將景深數(shù)據(jù)的時間戳和圖像數(shù)據(jù)的時間戳進行匹配選擇，然后采用所選擇的圖像數(shù)據(jù)和景深數(shù)據(jù)生成景深圖像數(shù)據(jù)。當(dāng)攝像頭輸出有多個圖像數(shù)據(jù)至isp時，可以生成多個景深圖像數(shù)據(jù)，當(dāng)然，也可以僅生成一個基于主攝像頭輸出的圖像數(shù)據(jù)和景深數(shù)據(jù)的景深圖像數(shù)據(jù)。

此外，本發(fā)明實施例還可以基于sensor輸出的圖像數(shù)據(jù)進行3a調(diào)整等操作。參照圖2，可以看到移動終端的硬件架構(gòu)時具有兩個sensor，對應(yīng)了兩個isp接口，分別是isp0和isp1。ap端通過isp0和isp1接收到兩路的圖像數(shù)據(jù)之后，利用內(nèi)部自帶算法，計算出兩路圖像數(shù)據(jù)對應(yīng)的3a數(shù)據(jù)，然后，分別傳回到兩個sensor中，控制兩個sensor基于3a數(shù)據(jù)進行3a調(diào)整。

為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明實施例，以下采用簡單的示例進行說明。參照圖2，本發(fā)明實施例基于圖2的流程要點有如下幾點：

1、雙攝像頭的sensor的3a由ap控制。

2、dsp根據(jù)幀頭中斷將雙攝像頭的sensor的輸入數(shù)據(jù)進行同步

3、在預(yù)覽模式下：

3.1、dsp預(yù)覽模式下接受下采樣后的圖像數(shù)據(jù)，(暫且假設(shè)寬高各1/4下采樣)；

3.2、dsp根據(jù)下采樣后的數(shù)據(jù)進行depthmap計算。

3.3、dsp在計算完成的depthmap中加入時間戳。

3.4、ap側(cè)在幀頭中斷中讀取dsp的timer做為時間戳。

3.5、dsp發(fā)送msg提醒ap讀取最新的depthmap。

3.6、ap根據(jù)最近準(zhǔn)則，將depthmap的時間戳和圖像的時間戳進行匹配選擇，匹配選擇完成后可以進行合成景深圖像數(shù)據(jù)的操作。

4、在拍照模式下：

4.1、拍照時，dsp在接收到拍照指令的下一幀，接收完整大小(size)的圖像數(shù)據(jù)(此時可以稱為rawdata)，利用這個rawdata計算大的depthmap。

4.2、計算完成后，通知ap接收大數(shù)據(jù)的depthmap。

4.3、ap根據(jù)depthmap中的時間戳和接收的圖像數(shù)據(jù)的時間戳進行匹配選擇，匹配選擇完成后可以進行合成景深圖像數(shù)據(jù)的操作。

應(yīng)用本發(fā)明實施例，降低了預(yù)覽圖像數(shù)據(jù)的處理數(shù)據(jù)，降低了數(shù)據(jù)帶寬，降低了系統(tǒng)的要求。

這樣，本發(fā)明實施例中，通過在移動終端原有的硬件框架上增加dsp硬件模塊，使得本發(fā)明實施例可以在圖像數(shù)據(jù)進入isp之前，可以先一步進行前端進行圖像數(shù)據(jù)的圖像處理，然后再發(fā)送給后端isp進行進一步處理，通過dsp和isp一起處理圖像數(shù)據(jù)，可以提高處理效率。

需要說明的是，對于方法實施例，為了簡單描述，故將其都表述為一系列的動作組合，但是本領(lǐng)域技術(shù)人員應(yīng)該知悉，本發(fā)明實施例并不受所描述的動作順序的限制，因為依據(jù)本發(fā)明實施例，某些步驟可以采用其他順序或者同時進行。其次，本領(lǐng)域技術(shù)人員也應(yīng)該知悉，說明書中所描述的實施例均屬于優(yōu)選實施例，所涉及的動作并不一定是本發(fā)明實施例所必須的。

實施例二

參照圖3，示出了本發(fā)明的一種移動終端實施例的結(jié)構(gòu)框圖，所述移動終端包括至少兩個攝像頭、與所述至少兩個攝像頭和圖像信號處理器isp相連接的數(shù)字信號處理器dsp，所述移動終端具體可以包括如下模塊：

當(dāng)前攝像模式確定模塊201，用于確定當(dāng)前攝像模式；

圖像數(shù)據(jù)獲取模塊202，用于根根據(jù)所述當(dāng)前攝像模式，所述dsp獲取第一攝像頭輸出的第一圖像數(shù)據(jù)，以及，第二攝像頭輸出的第二圖像數(shù)據(jù)；

景深數(shù)據(jù)計算模塊203，用于采用所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)計算，得到景深數(shù)據(jù)；

數(shù)據(jù)發(fā)送模塊204，用于將所述第一圖像數(shù)據(jù)、第二圖像數(shù)據(jù)和景深數(shù)據(jù)發(fā)送至isp；

圖像處理模塊205，用于所述isp基于所述第一圖像數(shù)據(jù)、第二圖像數(shù)據(jù)和/或景深數(shù)據(jù)進行圖像處理。

在本發(fā)明的一種優(yōu)選實施例中，還包括：

同步模塊，用于當(dāng)檢測到所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)具有指定字符串時，同步所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)。

在本發(fā)明的一種優(yōu)選實施例中，所述圖像數(shù)據(jù)獲取模塊包括：

圖像數(shù)據(jù)獲取子模塊，用于當(dāng)所述當(dāng)前攝像模式為預(yù)覽模式時，所述dsp獲取經(jīng)采樣后的所述第一攝像頭輸出的第一圖像數(shù)據(jù)，以及，經(jīng)采樣后的所述第二攝像頭輸出的第二圖像數(shù)據(jù)。

在本發(fā)明的一種優(yōu)選實施例中，還包括：

時間讀取模塊，用于讀取當(dāng)前系統(tǒng)時間；

時間戳添加模塊，用于將所述當(dāng)前系統(tǒng)時間作為時間戳添加到所述景深數(shù)據(jù)。

在本發(fā)明的一種優(yōu)選實施例中，所述第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)分別具有對應(yīng)的時間戳，所述圖像處理模塊包括：

提示信息生成子模塊，用于生成用于提醒景深數(shù)據(jù)生成的提示信息；

景深數(shù)據(jù)讀取子模塊，用于當(dāng)所述isp接收到所述提示信息時，讀取時間戳與所述第一圖像數(shù)據(jù)的時間戳最相近的景深數(shù)據(jù)，或者，讀取時間戳與所述第二圖像數(shù)據(jù)的時間戳最相近的景深數(shù)據(jù)；

景深圖像數(shù)據(jù)生成子模塊，用于采用所述景深數(shù)據(jù)和所述第一圖像數(shù)據(jù)生成第一景深圖像數(shù)據(jù)，或者，采用所述景深數(shù)據(jù)和所述第二圖像數(shù)據(jù)生成第二景深圖像數(shù)據(jù)。

對于移動終端實施例而言，由于其與方法實施例基本相似，所以描述的比較簡單，相關(guān)之處參見方法實施例的部分說明即可。

這樣，本發(fā)明實施例中，通過在移動終端原有的硬件框架上增加dsp硬件模塊，使得本發(fā)明實施例可以在圖像數(shù)據(jù)進入isp之前，可以先一步進行前端進行圖像數(shù)據(jù)的圖像處理，具體來說，首先確定當(dāng)前攝像模式，并基于該攝像模式在dsp接收圖像數(shù)據(jù)，并在dsp處基于圖像數(shù)據(jù)計算景深數(shù)據(jù)，然后將計算得到的景深數(shù)據(jù)和圖像數(shù)據(jù)發(fā)送給后端isp進行進一步的圖像處理，通過結(jié)合dsp和isp來對于圖像數(shù)據(jù)進行處理，可以提高處理速度。

實施例三

圖4是本發(fā)明另一個實施例的移動終端的框圖。圖4所示的移動終端700包括：至少一個處理器701、存儲器702、至少一個網(wǎng)絡(luò)接口704和其他用戶接口703。移動終端700中的各個組件通過總線系統(tǒng)705耦合在一起?？衫斫猓偩€系統(tǒng)705用于實現(xiàn)這些組件之間的連接通信。總線系統(tǒng)705除包括數(shù)據(jù)總線之外，還包括電源總線、控制總線和狀態(tài)信號總線。但是為了清楚說明起見，在圖4中將各種總線都標(biāo)為總線系統(tǒng)705。

其中，用戶接口703可以包括顯示器、鍵盤或者點擊設(shè)備(例如，鼠標(biāo)，軌跡球(trackball)、觸感板或者觸摸屏等。

可以理解，本發(fā)明實施例中的存儲器702可以是易失性存儲器或非易失性存儲器，或可包括易失性和非易失性存儲器兩者。其中，非易失性存儲器可以是只讀存儲器(read-onlymemory，rom)、可編程只讀存儲器(programmablerom，prom)、可擦除可編程只讀存儲器(erasableprom，eprom)、電可擦除可編程只讀存儲器(electricallyeprom，eeprom)或閃存。易失性存儲器可以是隨機存取存儲器(randomaccessmemory，ram)，其用作外部高速緩存。通過示例性但不是限制性說明，許多形式的ram可用，例如靜態(tài)隨機存取存儲器(staticram，sram)、動態(tài)隨機存取存儲器(dynamicram，dram)、同步動態(tài)隨機存取存儲器(synchronousdram，sdram)、雙倍數(shù)據(jù)速率同步動態(tài)隨機存取存儲器(doubledataratesdram，ddrsdram)、增強型同步動態(tài)隨機存取存儲器(enhancedsdram，esdram)、同步連接動態(tài)隨機存取存儲器(synchlinkdram，sldram)和直接內(nèi)存總線隨機存取存儲器(directrambusram，drram)。本發(fā)明實施例描述的系統(tǒng)和方法的存儲器702旨在包括但不限于這些和任意其它適合類型的存儲器。

在一些實施方式中，存儲器702存儲了如下的元素，可執(zhí)行模塊或者數(shù)據(jù)結(jié)構(gòu)，或者他們的子集，或者他們的擴展集：操作系統(tǒng)7021和應(yīng)用程序7022。

其中，操作系統(tǒng)7021，包含各種系統(tǒng)程序，例如框架層、核心庫層、驅(qū)動層等，用于實現(xiàn)各種基礎(chǔ)業(yè)務(wù)以及處理基于硬件的任務(wù)。應(yīng)用程序7022，包含各種應(yīng)用程序，例如媒體播放器(mediaplayer)、瀏覽器(browser)等，用于實現(xiàn)各種應(yīng)用業(yè)務(wù)。實現(xiàn)本發(fā)明實施例方法的程序可以包含在應(yīng)用程序7022中。

在本發(fā)明實施例中，通過調(diào)用存儲器702存儲的程序或指令，具體的，可以是應(yīng)用程序7022中存儲的程序或指令，處理器701用于確定當(dāng)前攝像模式；根據(jù)所述當(dāng)前攝像模式，所述dsp獲取所述第一攝像頭輸出的第一圖像數(shù)據(jù)，以及，所述第二攝像頭輸出的第二圖像數(shù)據(jù)；采用所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)計算景深數(shù)據(jù)；將所述第一圖像數(shù)據(jù)、第二圖像數(shù)據(jù)和景深數(shù)據(jù)發(fā)送至isp；在所述isp基于所述第一圖像數(shù)據(jù)、第二圖像數(shù)據(jù)和/或景深數(shù)據(jù)進行圖像處理。

上述本發(fā)明實施例揭示的方法可以應(yīng)用于處理器701中，或者由處理器701實現(xiàn)。處理器701可能是一種集成電路芯片，具有信號的處理能力。在實現(xiàn)過程中，上述方法的各步驟可以通過處理器701中的硬件的集成邏輯電路或者軟件形式的指令完成。上述的處理器701可以是通用處理器、數(shù)字信號處理器(digitalsignalprocessor，dsp)、專用集成電路(applicationspecificintegratedcircuit，asic)、現(xiàn)成可編程門陣列(fieldprogrammablegatearray，fpga)或者其他可編程邏輯器件、分立門或者晶體管邏輯器件、分立硬件組件?？梢詫崿F(xiàn)或者執(zhí)行本發(fā)明實施例中的公開的各方法、步驟及邏輯框圖。通用處理器可以是微處理器或者該處理器也可以是任何常規(guī)的處理器等。結(jié)合本發(fā)明實施例所公開的方法的步驟可以直接體現(xiàn)為硬件譯碼處理器執(zhí)行完成，或者用譯碼處理器中的硬件及軟件模塊組合執(zhí)行完成。軟件模塊可以位于隨機存儲器，閃存、只讀存儲器，可編程只讀存儲器或者電可擦寫可編程存儲器、寄存器等本領(lǐng)域成熟的存儲介質(zhì)中。該存儲介質(zhì)位于存儲器702，處理器701讀取存儲器702中的信息，結(jié)合其硬件完成上述方法的步驟。

可以理解的是，本發(fā)明實施例描述的這些實施例可以用硬件、軟件、固件、中間件、微碼或其組合來實現(xiàn)。對于硬件實現(xiàn)，處理單元可以實現(xiàn)在一個或多個專用集成電路(applicationspecificintegratedcircuits，asic)、數(shù)字信號處理器(digitalsignalprocessing，dsp)、數(shù)字信號處理設(shè)備(dspdevice，dspd)、可編程邏輯設(shè)備(programmablelogicdevice，pld)、現(xiàn)場可編程門陣列(field-programmablegatearray，fpga)、通用處理器、控制器、微控制器、微處理器、用于執(zhí)行本申請所述功能的其它電子單元或其組合中。

對于軟件實現(xiàn)，可通過執(zhí)行本發(fā)明實施例所述功能的模塊(例如過程、函數(shù)等)來實現(xiàn)本發(fā)明實施例所述的技術(shù)。軟件代碼可存儲在存儲器中并通過處理器執(zhí)行。存儲器可以在處理器中或在處理器外部實現(xiàn)。

可選地，處理器701還用于：當(dāng)檢測到所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)具有指定字符串時，同步所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)。

可選地，處理器701還用于：當(dāng)所述當(dāng)前攝像模式為預(yù)覽模式時，所述dsp獲取經(jīng)采樣后的所述第一攝像頭輸出的第一圖像數(shù)據(jù)，以及，經(jīng)采樣后的所述第二攝像頭輸出的第二圖像數(shù)據(jù)。

可選地，處理器701還用于：讀取當(dāng)前系統(tǒng)時間；將所述當(dāng)前系統(tǒng)時間作為時間戳添加到所述景深數(shù)據(jù)。

可選地，處理器701還用于：生成用于提醒景深數(shù)據(jù)生成的提示信息；當(dāng)在所述isp接收到所述提示信息時，讀取時間戳與所述第一圖像數(shù)據(jù)的時間戳最相近的景深數(shù)據(jù)，或者，讀取時間戳與所述第二圖像數(shù)據(jù)的時間戳最相近的景深數(shù)據(jù)；采用所述景深數(shù)據(jù)和所述第一圖像數(shù)據(jù)生成第一景深圖像數(shù)據(jù)，或者，采用所述景深數(shù)據(jù)和所述第二圖像數(shù)據(jù)生成第二景深圖像數(shù)據(jù)。

移動終端700能夠?qū)崿F(xiàn)前述實施例中移動終端實現(xiàn)的各個過程，為避免重復(fù)，這里不再贅述。

這樣，本發(fā)明實施例中，通過在移動終端原有的硬件框架上增加dsp硬件模塊，使得本發(fā)明實施例可以在圖像數(shù)據(jù)進入isp之前，可以先一步進行前端進行圖像數(shù)據(jù)的圖像處理，具體來說，首先確定當(dāng)前攝像模式，并基于該攝像模式在dsp接收圖像數(shù)據(jù)，并在dsp處基于圖像數(shù)據(jù)計算景深數(shù)據(jù)，然后將計算得到的景深數(shù)據(jù)和圖像數(shù)據(jù)發(fā)送給后端isp進行進一步的圖像處理，通過結(jié)合dsp和isp來對于圖像數(shù)據(jù)進行處理，可以提高處理速度。

實施例四

圖5是本發(fā)明另一個實施例的移動終端的結(jié)構(gòu)示意圖。具體地，圖5中的移動終端800可以為手機、平板電腦、個人數(shù)字助理(personaldigitalassistant，pda)、或車載電腦等。

圖5中的移動終端800包括射頻(radiofrequency，rf)電路810、存儲器820、輸入單元830、顯示單元840、處理器860、音頻電路870、wifi(wirelessfidelity)模塊880和電源890。

其中，輸入單元830可用于接收用戶輸入的數(shù)字或字符信息，以及產(chǎn)生與移動終端800的用戶設(shè)置以及功能控制有關(guān)的信號輸入。具體地，本發(fā)明實施例中，該輸入單元830可以包括觸控面板831。觸控面板831，也稱為觸摸屏，可收集用戶在其上或附近的觸摸操作(比如用戶使用手指、觸筆等任何適合的物體或附件在觸控面板831上的操作)，并根據(jù)預(yù)先設(shè)定的程式驅(qū)動相應(yīng)的連接裝置?？蛇x的，觸控面板831可包括觸摸檢測裝置和觸摸控制器兩個部分。其中，觸摸檢測裝置檢測用戶的觸摸方位，并檢測觸摸操作帶來的信號，將信號傳送給觸摸控制器；觸摸控制器從觸摸檢測裝置上接收觸摸信息，并將它轉(zhuǎn)換成觸點坐標(biāo)，再送給該處理器860，并能接收處理器860發(fā)來的命令并加以執(zhí)行。此外，可以采用電阻式、電容式、紅外線以及表面聲波等多種類型實現(xiàn)觸控面板831。除了觸控面板831，輸入單元830還可以包括其他輸入設(shè)備832，其他輸入設(shè)備832可以包括但不限于物理鍵盤、功能鍵(比如音量控制按鍵、開關(guān)按鍵等)、軌跡球、鼠標(biāo)、操作桿等中的一種或多種。

其中，顯示單元840可用于顯示由用戶輸入的信息或提供給用戶的信息以及移動終端800的各種菜單界面。顯示單元840可包括顯示面板841，可選的，可以采用lcd或有機發(fā)光二極管(organiclight-emittingdiode，oled)等形式來配置顯示面板841。

應(yīng)注意，觸控面板831可以覆蓋顯示面板841，形成觸摸顯示屏，當(dāng)該觸摸顯示屏檢測到在其上或附近的觸摸操作后，傳送給處理器860以確定觸摸事件的類型，隨后處理器860根據(jù)觸摸事件的類型在觸摸顯示屏上提供相應(yīng)的視覺輸出。

觸摸顯示屏包括應(yīng)用程序界面顯示區(qū)及常用控件顯示區(qū)。該應(yīng)用程序界面顯示區(qū)及該常用控件顯示區(qū)的排列方式并不限定，可以為上下排列、左右排列等可以區(qū)分兩個顯示區(qū)的排列方式。該應(yīng)用程序界面顯示區(qū)可以用于顯示應(yīng)用程序的界面。每一個界面可以包含至少一個應(yīng)用程序的圖標(biāo)和/或widget桌面控件等界面元素。該應(yīng)用程序界面顯示區(qū)也可以為不包含任何內(nèi)容的空界面。該常用控件顯示區(qū)用于顯示使用率較高的控件，例如，設(shè)置按鈕、界面編號、滾動條、電話本圖標(biāo)等應(yīng)用程序圖標(biāo)等。

其中處理器860是移動終端800的控制中心，利用各種接口和線路連接整個手機的各個部分，通過運行或執(zhí)行存儲在第一存儲器821內(nèi)的軟件程序和/或模塊，以及調(diào)用存儲在第二存儲器822內(nèi)的數(shù)據(jù)，執(zhí)行移動終端800的各種功能和處理數(shù)據(jù)，從而對移動終端800進行整體監(jiān)控?？蛇x的，處理器860可包括一個或多個處理單元。

在本發(fā)明實施例中，通過調(diào)用存儲該第一存儲器821內(nèi)的軟件程序和/或模塊和/或該第二存儲器822內(nèi)的數(shù)據(jù)，處理器860用于確定當(dāng)前攝像模式；根據(jù)所述當(dāng)前攝像模式，所述dsp獲取所述第一攝像頭輸出的第一圖像數(shù)據(jù)，以及，所述第二攝像頭輸出的第二圖像數(shù)據(jù)；采用所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)計算景深數(shù)據(jù)；將所述第一圖像數(shù)據(jù)、第二圖像數(shù)據(jù)和景深數(shù)據(jù)發(fā)送至isp；在所述isp基于所述第一圖像數(shù)據(jù)、第二圖像數(shù)據(jù)和/或景深數(shù)據(jù)進行圖像處理。

可選地，所述處理器860還用于，當(dāng)檢測到所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)具有指定字符串時，同步所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)。

可選地，所述處理器860還用于，當(dāng)所述當(dāng)前攝像模式為預(yù)覽模式時，所述dsp獲取經(jīng)采樣后的所述第一攝像頭輸出的第一圖像數(shù)據(jù)，以及，經(jīng)采樣后的所述第二攝像頭輸出的第二圖像數(shù)據(jù)。

可選地，所述處理器860還用于，讀取當(dāng)前系統(tǒng)時間；將所述當(dāng)前系統(tǒng)時間作為時間戳添加到所述景深數(shù)據(jù)。

可選地，所述處理器860還用于，生成用于提醒景深數(shù)據(jù)生成的提示信息；當(dāng)在所述isp接收到所述提示信息時，讀取時間戳與所述第一圖像數(shù)據(jù)的時間戳最相近的景深數(shù)據(jù)，或者，讀取時間戳與所述第二圖像數(shù)據(jù)的時間戳最相近的景深數(shù)據(jù)；采用所述景深數(shù)據(jù)和所述第一圖像數(shù)據(jù)生成第一景深圖像數(shù)據(jù)，或者，采用所述景深數(shù)據(jù)和所述第二圖像數(shù)據(jù)生成第二景深圖像數(shù)據(jù)。

對于移動終端800實施例而言，由于其與方法實施例基本相似，所以描述的比較簡單，相關(guān)之處參見方法實施例的部分說明即可。

這樣，本發(fā)明實施例中，通過在移動終端原有的硬件框架上增加dsp硬件模塊，使得本發(fā)明實施例可以在圖像數(shù)據(jù)進入isp之前，可以先一步進行前端進行圖像數(shù)據(jù)的圖像處理，具體來說，首先確定當(dāng)前攝像模式，并基于該攝像模式在dsp接收圖像數(shù)據(jù)，并在dsp處基于圖像數(shù)據(jù)計算景深數(shù)據(jù)，然后將計算得到的景深數(shù)據(jù)和圖像數(shù)據(jù)發(fā)送給后端isp進行進一步的圖像處理，通過結(jié)合dsp和isp來對于圖像數(shù)據(jù)進行處理，可以提高處理速度。

本領(lǐng)域普通技術(shù)人員可以意識到，結(jié)合本發(fā)明實施例中所公開的實施例描述的各示例的單元及算法步驟，能夠以電子硬件、或者計算機軟件和電子硬件的結(jié)合來實現(xiàn)。這些功能究竟以硬件還是軟件方式來執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計約束條件。專業(yè)技術(shù)人員可以對每個特定的應(yīng)用來使用不同方法來實現(xiàn)所描述的功能，但是這種實現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明的范圍。

所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為描述的方便和簡潔，上述描述的系統(tǒng)、裝置和單元的具體工作過程，可以參考前述方法實施例中的對應(yīng)過程，在此不再贅述。

在本申請所提供的實施例中，應(yīng)該理解到，所揭露的裝置和方法，可以通過其它的方式實現(xiàn)。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式，例如多個單元或組件可以結(jié)合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口，裝置或單元的間接耦合或通信連接，可以是電性，機械或其它的形式。

所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目的。

另外，在本發(fā)明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。

所述功能如果以軟件功能單元的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時，可以存儲在一個計算機可讀取存儲介質(zhì)中?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部分或者該技術(shù)方案的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品存儲在一個存儲介質(zhì)中，包括若干指令用以使得一臺計算機設(shè)備(可以是個人計算機，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實施例所述方法的全部或部分步驟。而前述的存儲介質(zhì)包括：u盤、移動硬盤、rom、ram、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。

以上所述，僅為本發(fā)明的具體實施方式，但本發(fā)明的保護范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本發(fā)明的保護范圍之內(nèi)。因此，本發(fā)明的保護范圍應(yīng)以權(quán)利要求的保護范圍為準(zhǔn)。