此處描述的多種實(shí)施方式涉及對照相機(jī)進(jìn)行操作,更具體而言,涉及對照相機(jī)接收的圖像進(jìn)行處理。
背景技術(shù):
普通用戶和專業(yè)攝影師都使用數(shù)字照相機(jī)。數(shù)字照相機(jī)可以包括例如自動(dòng)對焦和人臉識(shí)別的特征以輔助進(jìn)行操作用來獲得更好質(zhì)量的圖片。照相機(jī)可以包括操作者選擇例如微距、風(fēng)景、肖像、背光等模式的設(shè)置。然而,照相機(jī)用戶需要以更少的操作者控制設(shè)置和更自動(dòng)化的功能使得用戶更加無需知曉照相機(jī)的技術(shù)操作來獲得更高質(zhì)量的圖片。
可以尋求在本節(jié)中描述的方法,但這并不是先前已經(jīng)構(gòu)思或?qū)で蟮姆椒?。因此,除非此處另有說明,否則在本節(jié)中描述的方法并非是本申請以及要求本身前的優(yōu)先權(quán)的任何申請中權(quán)利要求書的現(xiàn)有技術(shù),并且雖然包含在本節(jié)內(nèi)但并不視為現(xiàn)有技術(shù)。
技術(shù)實(shí)現(xiàn)要素:
根據(jù)此處描述的多種實(shí)施方式,對照相機(jī)操作可包括計(jì)算由該照相機(jī)接收的場景的數(shù)字深度圖?;谒鰣鼍暗乃鰯?shù)字深度圖,可以自動(dòng)選擇所述場景的多個(gè)場景模式設(shè)置中的一個(gè)。
在一些實(shí)施方式中,可以在自動(dòng)選擇多個(gè)場景模式設(shè)置中的一個(gè)之前,基于與場景有關(guān)的非深度信息在多個(gè)場景模式設(shè)置中確定初始場景模式設(shè)置。可以基于場景的數(shù)字深度圖自動(dòng)改變初始場景模式設(shè)置。
根據(jù)一些實(shí)施方式,可以進(jìn)一步基于非深度信息自動(dòng)選擇多個(gè)場景模式設(shè)置中的一個(gè)。
在一些實(shí)施方式中,所述場景可以包括多個(gè)像素。計(jì)算所述數(shù)字深度圖可以包括:計(jì)算所述場景中所述多個(gè)像素中的一個(gè)或更多個(gè)的深度值。
根據(jù)一些實(shí)施方式,所述照相機(jī)可以包括多個(gè)獨(dú)立圖像拍攝系統(tǒng)。計(jì)算所述場景的數(shù)字深度圖可以包括計(jì)算來自多個(gè)獨(dú)立圖像拍攝系統(tǒng)中至少兩個(gè)的場景的數(shù)字深度圖。在一些實(shí)施方式中,可以僅使用多個(gè)獨(dú)立圖像拍攝系統(tǒng)中的兩個(gè)來執(zhí)行場景的數(shù)字深度圖的計(jì)算。
根據(jù)一些實(shí)施方式,計(jì)算所述數(shù)字深度圖可以包括:計(jì)算多個(gè)數(shù)字深度圖,該多個(gè)數(shù)字深度圖中的每一個(gè)與所述場景的相應(yīng)幀有關(guān);自動(dòng)選擇所述多個(gè)場景模式設(shè)置中的一個(gè)可以包括基于所述多個(gè)數(shù)字深度圖自動(dòng)選擇所述多個(gè)場景模式設(shè)置中的一個(gè)。
在一些實(shí)施方式中,計(jì)算所述數(shù)字深度圖可以包括:計(jì)算多個(gè)數(shù)字深度圖,該多個(gè)數(shù)字深度圖中的每一個(gè)與所述場景的相應(yīng)幀有關(guān)?;谒鰣鼍暗乃鰯?shù)字深度圖自動(dòng)選擇所述場景的所述多個(gè)場景模式設(shè)置中的一個(gè)可以包括:比較所述多個(gè)數(shù)字深度圖中的一個(gè)或更多個(gè)以確定所述場景中運(yùn)動(dòng)的存在?;谒龆鄠€(gè)數(shù)字深度圖中的至少一個(gè)以及在所述場景中存在運(yùn)動(dòng),可自動(dòng)選擇所述場景模式設(shè)置。
根據(jù)一些實(shí)施方式,基于所述場景的所述數(shù)字深度圖自動(dòng)選擇所述多個(gè)場景模式設(shè)置中的一個(gè)可以包括:基于所述數(shù)字深度圖識(shí)別所述場景中的一個(gè)或更多個(gè)對象。可以將深度值指派給所述場景中的對象中的一個(gè)或更多個(gè)中的每一個(gè)。可以基于所指派的深度值對場景中的一個(gè)或更多個(gè)對象進(jìn)行加權(quán)?;谒鰧ο蟮南鄳?yīng)加權(quán),可以自動(dòng)選擇所述場景模式設(shè)置。
根據(jù)一些實(shí)施方式,基于所述數(shù)字深度圖識(shí)別所述場景中的所述一個(gè)或更多個(gè)對象包括:基于所述數(shù)字深度圖將所述場景中多個(gè)像素中的一個(gè)或更多個(gè)分類為深度范圍。基于將所述場景中的所述多個(gè)像素中的一個(gè)或更多個(gè)分類為深度范圍,可以識(shí)別場景中的一個(gè)或更多個(gè)對象。
在一些實(shí)施方式中,基于所指派的深度值對場景中的一個(gè)或更多個(gè)對象進(jìn)行加權(quán)包括:確定場景中一個(gè)或更多個(gè)對象中每一個(gè)的相應(yīng)類型?;趫鼍爸幸粋€(gè)或更多個(gè)對象中每一個(gè)的所確定的類型,對場景中的一個(gè)或更多個(gè)對象指派優(yōu)先級(jí)?;谥概山o一個(gè)或更多個(gè)對象的優(yōu)先級(jí),對場景中的該一個(gè)或更多個(gè)對象進(jìn)行加權(quán)。
根據(jù)一些實(shí)施方式,基于所述場景的所述數(shù)字深度圖自動(dòng)選擇所述多個(gè)場景模式設(shè)置中的一個(gè)包括:基于所述數(shù)字深度圖將所述場景中多個(gè)像素中的一個(gè)或更多個(gè)分類為深度范圍。基于將所述多個(gè)像素中的一個(gè)或更多個(gè)分類為深度范圍,對場景中的一個(gè)或更多個(gè)像素進(jìn)行加權(quán)?;谒鲆粋€(gè)或更多個(gè)像素的加權(quán),可以自動(dòng)選擇所述場景模式設(shè)置。
在一些實(shí)施方式中,場景模式設(shè)置可以包括運(yùn)動(dòng)模式、微距模式、電影模式、夜晚模式、雪景模式、文檔模式、沙灘模式、食物模式、焰火模式、微笑檢測模式、穩(wěn)定拍攝模式、風(fēng)景模式、肖像模式、光圈優(yōu)先模式、快門優(yōu)先模式和/或感光度優(yōu)先模式?;趫鼍暗臄?shù)字深度圖自動(dòng)選擇場景的多個(gè)場景模式設(shè)置中的一個(gè)可以包括:設(shè)置與快門速度、光圈、白平衡、色彩飽和度、焦距和/或曝光有關(guān)的參數(shù)。
應(yīng)當(dāng)理解的是,上面以對照相機(jī)進(jìn)行操作的方法的形式描述了多種實(shí)施方式。根據(jù)此處描述的實(shí)施方式中的任意一個(gè),可以為例如照相機(jī)的設(shè)備提供類似的實(shí)施方式。例如,照相機(jī)可以包括配置為執(zhí)行例如計(jì)算數(shù)字深度圖以及自動(dòng)選擇場景模式設(shè)置之類操作的計(jì)算單元和/或選擇單元。根據(jù)此處描述的實(shí)施方式中的任意一個(gè),可以為計(jì)算機(jī)程序產(chǎn)品提供類似的實(shí)施方式。例如,計(jì)算機(jī)程序產(chǎn)品可以包括計(jì)算機(jī)可讀程序代碼,該計(jì)算機(jī)可讀程序代碼配置為計(jì)算場景的數(shù)字深度圖和/或基于場景的數(shù)字深度圖自動(dòng)選擇多個(gè)場景模式設(shè)置中的一個(gè)。
在瀏覽以下附圖和詳細(xì)描述之后,根據(jù)本發(fā)明的實(shí)施方式的其他電子設(shè)備、方法和/或計(jì)算機(jī)程序產(chǎn)品對于本領(lǐng)域技術(shù)人員而言將是明顯的或者將變得明顯。旨在將所有這種附加電子設(shè)備、方法和/或計(jì)算機(jī)程序代碼包括在說明書中,落在本發(fā)明的范圍內(nèi),并受到所附權(quán)利要求書的保護(hù)。此外,此處公開的所有實(shí)施方式旨在可以單獨(dú)地或者以任何方式組合和/或組合來實(shí)現(xiàn)。
附圖說明
附圖被包括進(jìn)來以提供對本發(fā)明的進(jìn)一步理解,并且被并入而構(gòu)成了本申請的一部分,附圖例示了本發(fā)明的特定實(shí)施方式。在附圖中:
[圖1]圖1是根據(jù)此處描述的多種實(shí)施方式的可以由照相機(jī)、設(shè)備、方法和/或計(jì)算機(jī)程序產(chǎn)品進(jìn)行分析的場景的簡化框圖。
[圖2]圖2是根據(jù)此處描述的多種實(shí)施方式的可以由照相機(jī)、設(shè)備、方法和/或計(jì)算機(jī)程序產(chǎn)品進(jìn)行分析的場景的多個(gè)幀的簡化框圖。
[圖3A]圖3A是根據(jù)此處描述的多種實(shí)施方式的可以由照相機(jī)、設(shè)備、方法和/或計(jì)算機(jī)程序產(chǎn)品進(jìn)行分析的場景的簡化框圖。
[圖3B]圖3B是包括照相機(jī)和顯示所拍攝場景的屏幕的簡化框圖。
[圖3C]圖3C是包括照相機(jī)的設(shè)備的簡化框圖。
[圖3D]圖3D是根據(jù)此處描述的多種實(shí)施方式的接口連接至照相機(jī)、方法和/或計(jì)算機(jī)程序產(chǎn)品的設(shè)備的簡化框圖。
[圖4]圖4是照相機(jī)的簡化框圖。
[圖5]圖5是根據(jù)此處描述的多種實(shí)施方式的可以由系統(tǒng)、方法、設(shè)備和/或計(jì)算機(jī)程序產(chǎn)品執(zhí)行以對照相機(jī)進(jìn)行操作用來基于數(shù)字深度圖自動(dòng)選擇場景模式設(shè)置的操作的流程圖。
[圖6]圖6是根據(jù)此處描述的多種實(shí)施方式的可以由系統(tǒng)、方法、設(shè)備和/或計(jì)算機(jī)程序產(chǎn)品執(zhí)行以基于數(shù)字深度圖自動(dòng)選擇場景模式設(shè)置的操作的流程圖。
[圖7]圖7是根據(jù)此處描述的多種實(shí)施方式的可以由系統(tǒng)、方法、設(shè)備和/或計(jì)算機(jī)程序產(chǎn)品執(zhí)行以計(jì)算場景的數(shù)字深度圖的操作的流程圖。
[圖8]圖8是根據(jù)此處描述的多種實(shí)施方式的可以由系統(tǒng)、方法、設(shè)備和/或計(jì)算機(jī)程序產(chǎn)品執(zhí)行以計(jì)算場景的數(shù)字深度圖的操作的流程圖。
[圖9]圖9是根據(jù)此處描述的多種實(shí)施方式的可以由系統(tǒng)、方法、設(shè)備和/或計(jì)算機(jī)程序產(chǎn)品執(zhí)行以計(jì)算場景的數(shù)字深度圖的操作的流程圖。
[圖10]圖10是根據(jù)此處描述的多種實(shí)施方式的可以由系統(tǒng)、方法、設(shè)備和/或計(jì)算機(jī)程序產(chǎn)品執(zhí)行以基于數(shù)字深度圖自動(dòng)選擇場景模式設(shè)置的操作的流程圖。
[圖11]圖11是根據(jù)此處描述的多種實(shí)施方式的可以由系統(tǒng)、方法、設(shè)備和/或計(jì)算機(jī)程序產(chǎn)品執(zhí)行以基于數(shù)字深度圖自動(dòng)選擇場景模式設(shè)置的操作的流程圖。
[圖12]圖12是根據(jù)此處描述的多種實(shí)施方式的可以由系統(tǒng)、方法、設(shè)備和/或計(jì)算機(jī)程序產(chǎn)品執(zhí)行以基于數(shù)字深度圖自動(dòng)選擇場景模式設(shè)置的操作的流程圖。
[圖13]圖13是根據(jù)此處描述的多種實(shí)施方式的可以由系統(tǒng)、方法、設(shè)備和/或計(jì)算機(jī)程序產(chǎn)品執(zhí)行以基于數(shù)字深度圖識(shí)別場景中的一個(gè)或更多個(gè)對象的操作的流程圖。
[圖14]圖14是根據(jù)此處描述的多種實(shí)施方式的可以由系統(tǒng)、方法、設(shè)備和/或計(jì)算機(jī)程序產(chǎn)品執(zhí)行以基于指派的深度值對場景中的一個(gè)或更多個(gè)對象進(jìn)行加權(quán)的操作的流程圖。
[圖15]圖15是根據(jù)此處描述的多種實(shí)施方式的可以由系統(tǒng)、方法、設(shè)備和/或計(jì)算機(jī)程序產(chǎn)品執(zhí)行以基于數(shù)字深度圖自動(dòng)選擇場景模式設(shè)置的操作的流程圖。
[圖16]圖16是根據(jù)此處描述的多種實(shí)施方式的可以由系統(tǒng)、方法、設(shè)備和/或計(jì)算機(jī)程序產(chǎn)品執(zhí)行以基于數(shù)字深度圖自動(dòng)選擇場景模式設(shè)置的操作的流程圖。
具體實(shí)施方式
此處描述的多種實(shí)施方式可以提供用于對照相機(jī)進(jìn)行操作的系統(tǒng)、方法和設(shè)備??梢蕴貏e利用例如移動(dòng)電話或獨(dú)立照相機(jī)的移動(dòng)設(shè)備來使用此處描述的多種實(shí)施方式。
下面將參照示出了多種實(shí)施方式的例子的附圖更充分地描述多種實(shí)施方式。然而,本發(fā)明可以用許多不同的形式來具體實(shí)施,并且不應(yīng)當(dāng)解釋為限于此處所闡述的實(shí)施方式。而是提供這些實(shí)施方式是為了使公開充分和完整,并向本領(lǐng)域技術(shù)人員充分轉(zhuǎn)達(dá)本發(fā)明的范圍。應(yīng)當(dāng)注意的是,這些實(shí)施方式不是互斥的。一個(gè)實(shí)施方式的部件默認(rèn)假設(shè)在另一個(gè)實(shí)施方式中存在/使用。
僅出于例示和解釋的目的,此處在對照相機(jī)進(jìn)行操作的上下文中描述這些和其他實(shí)施方式。然而,應(yīng)當(dāng)理解的是,本發(fā)明不限于這種實(shí)施方式,并且通??梢栽诘靡嬗诎苏障鄼C(jī)的任何類型設(shè)備中具體實(shí)施。如此處所使用的,照相機(jī)可以包括接收圖像和/或場景數(shù)據(jù)的任何設(shè)備,并且可以包括但不限于移動(dòng)設(shè)備(“蜂窩”電話)、膝上型/便攜式計(jì)算機(jī)、口袋計(jì)算機(jī)、手持計(jì)算機(jī)、桌面計(jì)算機(jī)、機(jī)機(jī)(M2M)或MTC型設(shè)備、具有通信接口的傳感器、監(jiān)視系統(tǒng)傳感器、獨(dú)立照相機(jī)(直接拍攝式、單鏡反光式(SLR)等)、望遠(yuǎn)鏡、電視照相機(jī)等。此外,該設(shè)備可以記錄或存儲(chǔ)圖像以供處理。在其他實(shí)施方式中,該設(shè)備不一定記錄或存儲(chǔ)圖像,但可以拍攝和處理圖像并將處理后的圖像轉(zhuǎn)發(fā)到另一個(gè)設(shè)備。照相機(jī)的例子可以包括具有以多種配置而設(shè)置的多個(gè)子照相機(jī)的陣列照相機(jī)。照相機(jī)可以包括具有兩個(gè)照相機(jī)的立體照相機(jī)。根據(jù)此處描述的多種實(shí)施方式,必須具有最少兩個(gè)照相機(jī)來拍攝深度信息。還應(yīng)當(dāng)理解的是,照相機(jī)可以包括處理器、存儲(chǔ)器,以及適當(dāng)縮放以容許用于對此處討論的深度圖進(jìn)行計(jì)算和處理所需的大量處理的其他資源。
深度圖是用于以數(shù)學(xué)方式表達(dá)空間中的表面的值的二維(2D)陣列,其中,該陣列的行和列對應(yīng)于該表面的x和y位置信息,陣列元素是從給定點(diǎn)或照相機(jī)位置到該表面的深度或距離讀數(shù)。深度圖可以視為對象的灰度圖,只是在對象的表面上各點(diǎn)處用深度信息代替了強(qiáng)度和顏色信息、或像素??梢杂缮疃葓D估計(jì)對象的圖形表達(dá)。然而,深度圖的精度會(huì)隨著到對象的距離增大而下降。
圖1是根據(jù)此處描述的多種實(shí)施方式的可以由照相機(jī)系統(tǒng)、方法和/或計(jì)算機(jī)程序產(chǎn)品進(jìn)行分析的場景的簡化框圖。如圖1所示,例示了可以由照相機(jī)拍攝的場景101。根據(jù)此處描述的多種實(shí)施方式,照相機(jī)可以包括一個(gè)或更多個(gè)圖像拍攝系統(tǒng)和/或子照相機(jī)。圖1的場景101例如可以包括多種對象,例如汽車106、處于場景中距離圖像拍攝系統(tǒng)不同距離處的人107-109、可位于前景中的花110-114和位于場景的背景中的云102-105。
圖2是根據(jù)此處描述的多種實(shí)施方式的可以由照相機(jī)、方法和/或計(jì)算機(jī)程序產(chǎn)品進(jìn)行分析的場景的多個(gè)幀的簡化框圖。取決于照相機(jī)的能力和/或所選擇的設(shè)置,可以以多種幀時(shí)間間隔來拍攝多個(gè)幀201-204。幀之間的時(shí)間間隔對于例如視頻的應(yīng)用可以是恒定值,或者可以基于對所拍攝場景的分析而改變。例如,場景中的運(yùn)動(dòng)的指示可以表明在所拍攝各個(gè)場景的幀之間具有較小的時(shí)間間隔。場景中的少許運(yùn)動(dòng)指示可以允許更大的時(shí)間間隔以減少處理時(shí)間和照相機(jī)所使用的存儲(chǔ)器資源。
圖3A是根據(jù)此處描述的多種實(shí)施方式的可以由照相機(jī)、設(shè)備、方法和/或計(jì)算機(jī)程序產(chǎn)品進(jìn)行分析的場景的簡化框圖。圖3A例示了可以配置為拍攝場景101的移動(dòng)設(shè)備301。移動(dòng)設(shè)備301可以包括一個(gè)或更多個(gè)圖像拍攝系統(tǒng)。場景101可以由圖像拍攝系統(tǒng)拍攝,或者發(fā)送到移動(dòng)設(shè)備進(jìn)行處理。
圖3B是包括照相機(jī)和顯示所拍攝場景的顯示屏幕的簡化框圖。圖3B例示了包括顯示屏幕302和照相機(jī)303的移動(dòng)設(shè)備301。照相機(jī)可以是單鏡頭照相機(jī)、陣列照相機(jī)、立體照相機(jī)或者能夠記錄深度信息的任何其他類型的照相機(jī)系統(tǒng)。雖然照相機(jī)303和顯示屏幕302被例示為在移動(dòng)設(shè)備301的前側(cè),但照相機(jī)和顯示屏幕可以位于設(shè)備的任何位置,包括背側(cè)。
圖3C是包括照相機(jī)的設(shè)備的簡化框圖。圖3C例示了包括照相機(jī)304的移動(dòng)設(shè)備301。根據(jù)一些實(shí)施方式,移動(dòng)設(shè)備可以是單獨(dú)照相機(jī)。照相機(jī)可以包括一個(gè)或更多個(gè)獨(dú)立圖像拍攝系統(tǒng)。圖像拍攝系統(tǒng)可以包括單鏡頭照相機(jī)、照相機(jī)陣列或立體照相機(jī)。例如,該圖像拍攝系統(tǒng)可以包括16個(gè)圖像拍攝系統(tǒng)。根據(jù)此處描述的多種實(shí)施方式,可以使用更少或更多的獨(dú)立圖像拍攝系統(tǒng)。雖然照相機(jī)304被例示為在移動(dòng)設(shè)備301的背側(cè),但照相機(jī)可以位于設(shè)備的任何位置,包括前側(cè)。
圖3D是根據(jù)此處描述的多種實(shí)施方式的方法、設(shè)備和/或計(jì)算機(jī)程序產(chǎn)品的的簡化框圖。所例示的移動(dòng)設(shè)備301可以表示包括硬件、軟件、固件和/或電路以及獨(dú)立照相機(jī)的任何適當(dāng)組合的設(shè)備。如圖3D所示,示例性的移動(dòng)設(shè)備301包括處理器308、存儲(chǔ)器309、收發(fā)器307和天線305。收發(fā)器可以包括用于提供無線或有線數(shù)據(jù)傳輸?shù)碾娐?。照相機(jī)306可以位于移動(dòng)設(shè)備301內(nèi)部、位于移動(dòng)設(shè)備301外部,或者可以與移動(dòng)設(shè)備301遠(yuǎn)程通信。在特定實(shí)施方式中,移動(dòng)設(shè)備所提供的上述功能的一些或全部可以由執(zhí)行存儲(chǔ)在例如圖3D中所示存儲(chǔ)器309之類計(jì)算機(jī)可讀介質(zhì)中的指令的處理器308來提供。該設(shè)備的另選實(shí)施方式可以包括除了圖3D中所示部件以外可以負(fù)責(zé)提供移動(dòng)設(shè)備的功能的特定方面的附加部件,這些功能包括任何上述功能和/或支持上述方案所必須的任何功能。
圖4是照相機(jī)的簡化框圖。圖4例示了與處理器308和一個(gè)或更多個(gè)圖像拍攝系統(tǒng)403通信的計(jì)算單元401和選擇單元402。在一些實(shí)施方式中,計(jì)算單元401和選擇單元402可以包括硬件、軟件、固件和/或電路的任何適當(dāng)組合。根據(jù)一些實(shí)施方式,計(jì)算單元401和選擇單元402可以實(shí)現(xiàn)在處理器308中。一個(gè)或更多個(gè)圖像處理系統(tǒng)403可以位于照相機(jī)內(nèi)部或外部,或者可以位于圖3的移動(dòng)設(shè)備301內(nèi)部或外部。
圖5是根據(jù)此處描述的多種實(shí)施方式的可以由系統(tǒng)、方法和/或計(jì)算機(jī)程序產(chǎn)品執(zhí)行以對照相機(jī)進(jìn)行操作用來基于數(shù)字深度圖自動(dòng)選擇場景模式設(shè)置的操作的流程圖。參照圖5,耦合至移動(dòng)設(shè)備的照相機(jī)或獨(dú)立照相機(jī)可以在方框501處操作,其例如可以具體實(shí)現(xiàn)為圖3A-3D的移動(dòng)設(shè)備301。例如,該照相機(jī)可以是獨(dú)立照相機(jī)、移動(dòng)通信設(shè)備的一部分,或者位于該設(shè)備遠(yuǎn)距離處。該照相機(jī)可以拍攝、采集、記錄、存儲(chǔ)或者處理場景??梢栽诜娇?02處計(jì)算照相機(jī)可用的場景的數(shù)字深度圖。如此處所使用的,“計(jì)算”可以包括計(jì)算、算數(shù)運(yùn)算、邏輯運(yùn)算、接收具有數(shù)字深度圖和/或相關(guān)信息的數(shù)據(jù)結(jié)構(gòu)、選擇表示數(shù)字深度圖的數(shù)據(jù)值和/或表查找。在方框503,可以基于場景的數(shù)字深度圖自動(dòng)選擇多個(gè)場景模式設(shè)置中的一個(gè)場景模式設(shè)置。此外,場景模式設(shè)置的自動(dòng)選擇可以包括其他因素,例如面部識(shí)別、曝光等級(jí)、背光、對象識(shí)別和/或顏色渲染等。
場景模式設(shè)置可以包括運(yùn)動(dòng)模式、微距模式、電影模式、使得選擇不同圖像質(zhì)量參數(shù)的電影質(zhì)量指示模式、夜晚模式、雪景模式、文檔模式、沙灘模式、食物模式、焰火模式、微笑檢測模式、穩(wěn)定拍攝模式、風(fēng)景模式、肖像模式、光圈優(yōu)先模式、快門優(yōu)先模式和/或感光度優(yōu)先模式。通常,場景模式設(shè)置可以由照相機(jī)的用戶通過照相機(jī)中的撥盤或者其他用戶輸入來手動(dòng)設(shè)定。在拍攝照片或視頻之前,照相機(jī)的用戶應(yīng)當(dāng)確定最適于當(dāng)前條件的模式類型。
此處描述的多種實(shí)施方式可來源于如下認(rèn)識(shí):照相機(jī)的用戶的手動(dòng)設(shè)置基于用戶感知到的條件,并且還可能隨著條件的快速變化(即,條件在幾幀之內(nèi)變化)而用戶難以并且緩慢改變。強(qiáng)烈對比的是,此處描述的模式的自動(dòng)選擇使得用戶對照相機(jī)的技術(shù)操作更加不了解,并且具有極其大量模式允許在幾幀或甚至連續(xù)幀之間的模式設(shè)置有多種條件、精度和快速改變。
圖6是可以執(zhí)行用于基于數(shù)字深度圖自動(dòng)選擇場景模式設(shè)置(可以對應(yīng)于圖5的方框503)的操作的流程圖。參照圖6,在方框601,自動(dòng)選擇多個(gè)場景模式設(shè)置中的一個(gè)之前,可以基于與場景有關(guān)的非深度信息在多個(gè)場景模式設(shè)置中確定初始場景模式設(shè)置。非深度信息可以包括直方圖數(shù)據(jù)、顏色信息、白平衡、面部檢測和/或焦點(diǎn)位置。非深度信息可以用于確定場景模式。在方框602,可以基于場景的數(shù)字深度圖自動(dòng)改變初始場景模式設(shè)置。
圖7是可以執(zhí)行用于計(jì)算場景的數(shù)字深度圖的操作的流程圖,其可以對應(yīng)于圖5的方框502。參照圖7,在方框701,可以計(jì)算場景中多個(gè)像素中的一個(gè)或更多個(gè)像素的深度值。每個(gè)像素的單獨(dú)深度值可以是場景中特定點(diǎn)的距離的表示。根據(jù)一些實(shí)施方式,可以進(jìn)一步基于非深度信息自動(dòng)選擇多個(gè)場景模式設(shè)置中的一個(gè)。
圖8是可以執(zhí)行用于計(jì)算場景的數(shù)字深度圖的操作的流程圖,其可以對應(yīng)于圖5的方框502。參照圖8,在方框801,可以使用與多個(gè)獨(dú)立成像系統(tǒng)中的至少兩個(gè)相關(guān)聯(lián)的深度值來計(jì)算數(shù)字深度圖。例如,立體照相機(jī)是具有兩個(gè)或更多個(gè)鏡頭且每個(gè)鏡頭具有單獨(dú)圖像傳感器的一種照相機(jī)/成像系統(tǒng)。該多個(gè)鏡頭使得照相機(jī)能夠模擬人的雙眼視覺,因此能夠拍攝三維圖像,即,計(jì)算深度圖。圖像拍攝系統(tǒng)可以包括兩個(gè)或更多個(gè)子照相機(jī),每個(gè)子照相機(jī)具有單獨(dú)圖像傳感器來獲得與場景有關(guān)的信息,例如,如圖3C所例示的。在方框802,可以僅使用多個(gè)獨(dú)立圖像拍攝系統(tǒng)中的兩個(gè)來計(jì)算數(shù)字深度圖。
圖9是可以執(zhí)行用于計(jì)算場景的數(shù)字深度圖的操作的流程圖,其可以對應(yīng)于圖5的方框502。參照圖9,在方框901,可以計(jì)算多個(gè)數(shù)字深度圖,其中各個(gè)數(shù)字深度圖與場景中相應(yīng)的幀有關(guān)。根據(jù)一些實(shí)施方式,可以對每一幀計(jì)算數(shù)字深度圖。在一些實(shí)施方式中,可以對每第N幀或者對在經(jīng)過給定時(shí)間間隔以后的幀計(jì)算數(shù)字深度圖。
圖10是可以執(zhí)行用于基于數(shù)字深度圖自動(dòng)選擇場景模式設(shè)置(可以對應(yīng)于圖5的方框503)的操作的流程圖。參照圖10,在方框1001,可以使用多個(gè)數(shù)字深度圖自動(dòng)選擇場景模式設(shè)置。
圖11是可以執(zhí)行用于基于數(shù)字深度圖自動(dòng)選擇場景模式設(shè)置(可以對應(yīng)于圖5的方框503)的操作的流程圖。參照圖11,在方框1101,對多個(gè)數(shù)字深度圖中的一個(gè)或更多個(gè)進(jìn)行比較以確定在場景中運(yùn)動(dòng)的存在。然后,在方框1102,基于多個(gè)數(shù)字深度圖中的至少一個(gè)和場景中存在運(yùn)動(dòng)來自動(dòng)選擇場景模式設(shè)置。在選擇場景模式設(shè)置時(shí),可以考慮例如場景中一個(gè)或更多個(gè)對象的運(yùn)動(dòng)速率、運(yùn)動(dòng)對象的數(shù)量和場景中不同對象的運(yùn)動(dòng)速率的差別之類的因素。在做出改變模式設(shè)置的決策之前,可以在多幀上對深度圖求平均。在給定數(shù)量幀之后或者給定數(shù)量時(shí)間間隔之后可以應(yīng)用模式設(shè)置的變化,使得模式設(shè)置不會(huì)改變得過于頻繁。可以每第N幀對深度圖進(jìn)行采樣以減小計(jì)算需求。
圖12是可以執(zhí)行用于基于數(shù)字深度圖自動(dòng)選擇場景模式設(shè)置(可以對應(yīng)于圖5的方框503)的操作的流程圖。參照圖12,在方框1201,可以基于數(shù)字深度圖來識(shí)別場景中的一個(gè)或更多個(gè)對象。在方框1202,將深度值指派給場景中一個(gè)或更多個(gè)對象中的每一個(gè)。在方框1203,基于所指派的深度值對場景中的一個(gè)或更多個(gè)對象進(jìn)行加權(quán)。在方框1204,基于對象的相應(yīng)權(quán)重自動(dòng)選擇場景模式設(shè)置。
根據(jù)一些實(shí)施方式,可以使用深度圖來提供用于判定應(yīng)當(dāng)使用的正確場景模式的統(tǒng)計(jì)基礎(chǔ)。例如,初始自動(dòng)場景識(shí)別算法可以選擇風(fēng)景作為正確場景進(jìn)行選擇。深度圖可以用于確定所選擇的風(fēng)景模式是否為適當(dāng)?shù)倪x擇。如果深度圖統(tǒng)計(jì)表明在照相機(jī)附近存在許多對象,則風(fēng)景模式可能不是場景模式選擇的適當(dāng)選擇。在該情況下,深度圖可以改善場景識(shí)別的精度。在另一個(gè)示例性實(shí)施方式中,初始場景模式設(shè)置可以指示食物模式。在統(tǒng)計(jì)上來說,可能期望場景中的一個(gè)或更多個(gè)對象距離照相機(jī)一米距離。如果根據(jù)深度圖一個(gè)或更多個(gè)對象并未被發(fā)現(xiàn)在一米以內(nèi),則食物模式可能是不正確的,并且可以選擇一個(gè)不同的模式。
根據(jù)一些實(shí)施方式,可以在其他類型信息中加權(quán)深度圖信息以確定更精確的場景模式設(shè)置。換言之,可以結(jié)合其他非深度信息使用深度信息來選擇場景模式設(shè)置。在一些實(shí)施方式中,可以將深度信息和非深度信息一起加權(quán)來選擇場景模式設(shè)置。
圖13是可以執(zhí)行用于基于數(shù)字深度圖識(shí)別場景中的一個(gè)或更多個(gè)對象(可以對應(yīng)于圖12的方框1201)的操作的流程圖。參照圖13,在方框1301,可以基于數(shù)字深度圖將場景中多個(gè)像素中的一個(gè)或更多個(gè)分類為范圍。然后,在方框1302,基于將場景中多個(gè)像素中的一個(gè)或更多個(gè)分類為范圍,識(shí)別場景中的一個(gè)或更多個(gè)對象。具有相似深度范圍的像素可以識(shí)別為與相似對象有關(guān),而具有不同深度范圍的像素可以識(shí)別為與不同對象有關(guān)。
圖14是可以執(zhí)行用于基于所指派的深度值對場景中的一個(gè)或更多個(gè)對象進(jìn)行加權(quán)(可以對應(yīng)于圖12的方框1203)的操作的流程圖。參照圖14,在方框1401,可以對場景中一個(gè)或更多個(gè)對象的各個(gè)對象確定相應(yīng)的類型。例如,第一范圍內(nèi)的像素可以識(shí)別為第一對象,而第二范圍內(nèi)的像素可以識(shí)別為場景中的第二對象。然后,在方框1402,對場景中被識(shí)別為這些對象中每一個(gè)的所確定的相應(yīng)類型的一個(gè)或更多個(gè)對象指派優(yōu)先級(jí)。然后,在方框1403,基于指派給該一個(gè)或更多個(gè)對象的優(yōu)先級(jí)完成對場景中該一個(gè)或更多個(gè)對象的加權(quán)。
圖15是可以執(zhí)行用于基于數(shù)字深度圖自動(dòng)選擇場景模式設(shè)置(可以對應(yīng)于圖5的方框503)的操作的流程圖。參照圖15,在方框1501,可以基于數(shù)字深度圖將場景中多個(gè)像素中的一個(gè)或更多個(gè)分類為深度范圍。然后,在方框1502,基于將像素分類為深度范圍對場景中的一個(gè)或更多個(gè)對象進(jìn)行加權(quán)。在方框1503,基于像素的加權(quán)來自動(dòng)選擇場景模式設(shè)置。
圖16是可以執(zhí)行用于基于數(shù)字深度圖自動(dòng)選擇場景模式設(shè)置(可以對應(yīng)于圖5的方框503)的操作的流程圖。參照圖16,在方框1601,可以調(diào)節(jié)與快門速度、光圈、白平衡、色彩飽和度、焦距和/或曝光有關(guān)的參數(shù)。
本領(lǐng)域技術(shù)人員應(yīng)當(dāng)認(rèn)識(shí)到,基于數(shù)字深度圖自動(dòng)選擇場景模式設(shè)置不同于一些照相機(jī)的自動(dòng)對焦功能(即,“自動(dòng)對焦”特征)。自動(dòng)對焦大多通過兩種方法實(shí)現(xiàn):主動(dòng)自動(dòng)對焦和被動(dòng)自動(dòng)對焦。主動(dòng)自動(dòng)對焦使用超聲和/或紅外波來測量到對象的距離。超聲或紅外波到達(dá)拍攝對象并反彈回來。對超聲或紅外波返回照相機(jī)的時(shí)段進(jìn)行測量以估計(jì)到對象的距離?;跍y得的距離,可以應(yīng)用自動(dòng)對焦設(shè)置。相比于主動(dòng)自動(dòng)對焦,被動(dòng)自動(dòng)對焦通常使用來自鏡頭不同部分的兩個(gè)圖像來分析光強(qiáng)度圖案以計(jì)算分離誤差。針對多種對焦設(shè)置計(jì)算該分離誤差。照相機(jī)確定具有由相鄰像素之間的分離誤差所指示的最大強(qiáng)度差的對焦設(shè)置,并選擇相應(yīng)的對焦設(shè)置。換言之,被動(dòng)自動(dòng)對焦嘗試多種對焦設(shè)置,并選擇最佳的一個(gè),類似于在數(shù)字自動(dòng)對焦照相機(jī)的使用變得普遍之前攝影師使用的手動(dòng)對焦。
與主動(dòng)和被動(dòng)自動(dòng)對焦功能形成強(qiáng)烈對比的是,使用此處描述的實(shí)施方式包括計(jì)算照相機(jī)接收的場景的數(shù)字深度圖。深度圖包括來自多個(gè)圖像拍攝系統(tǒng)的數(shù)字信息,以確定從給定點(diǎn)或照相機(jī)位置到表面的深度或距離讀數(shù)。主動(dòng)自動(dòng)對焦使用超聲或紅外波反射的時(shí)間測量,而被動(dòng)自動(dòng)對焦對許多對焦設(shè)置進(jìn)行測試并使像素之間的強(qiáng)度差最大化。然而,主動(dòng)或被動(dòng)自動(dòng)對焦都不使用數(shù)字深度圖來自動(dòng)選擇場景模式設(shè)置,如上所述。
這里參照附圖說明本公開的實(shí)施方式。其他實(shí)施方式可以采取許多不同的形式,并且不應(yīng)當(dāng)解釋為限于此處所闡述的實(shí)施方式。通篇用相同的附圖標(biāo)記表示相同的元件。
將會(huì)理解的是,當(dāng)一個(gè)元件被稱作“連接至”、“耦合至”、“響應(yīng)于”(或者其變型方式)另一個(gè)元件時(shí),它可以直接連接至、耦合至或響應(yīng)于另一個(gè)元件,或者可以存在中間元件。相反,當(dāng)一個(gè)元件被稱作“直接連接至”、“直接耦合至”、“直接響應(yīng)于”(或以變型方式)另一個(gè)元件時(shí),不存在中間元件。此外,此處使用的“耦合”、“連接”、“響應(yīng)”或其變型可以包括無線方式耦合、連接或響應(yīng)。通篇用相同的附圖標(biāo)記表示相同的元件。此處使用的術(shù)語僅是出于描述具體實(shí)施方式的目的,而不是為了限定發(fā)明構(gòu)思。此處所使用的單數(shù)形式的“一”、“一個(gè)”和“該”旨在還包括復(fù)數(shù)形式,除非上下文清楚地表明了相反的情形。出于簡潔和/或清楚的目的,并未詳細(xì)描述公知的功能或構(gòu)造。
應(yīng)當(dāng)理解的是,雖然此處可以使用術(shù)語第一、第二等描述不同的元件,但這些元件不應(yīng)受限于這些術(shù)語。這些術(shù)語只是用于將一個(gè)元件與另一個(gè)元件區(qū)分開。例如,第一元件可以稱為第二元件,類似地,第二元件可以稱為第一元件,而不會(huì)脫離本發(fā)明構(gòu)思的范圍。此外,如此處所使用的,術(shù)語“和/或”包括一個(gè)或更多個(gè)相關(guān)聯(lián)列出的項(xiàng)目的任意和全部組合。
除非另有限定,否則此處使用的所有術(shù)語(包括技術(shù)和科學(xué)術(shù)語)具有與本發(fā)明構(gòu)思所屬技術(shù)領(lǐng)域一個(gè)普通技術(shù)人員一般理解的含義相同的含義。進(jìn)一步將理解,例如在常用詞典中所限定的術(shù)語之類的術(shù)語應(yīng)當(dāng)解釋為具有與本說明書和相關(guān)技術(shù)的上下文中的含義一致的含義,并且不應(yīng)當(dāng)以此處所限定的含義理想化或過于形式化地解釋。
如此處所使用的,術(shù)語“包括”、“包含”、“具有”或其變型是開放式的,并且包括一個(gè)或更多個(gè)所闡述的特征、整體、元件、步驟、部件或功能,但不排除存在或附加一個(gè)或更多個(gè)其他的特征、整體、元件、步驟、部件、功能或其組合。此外,如果在此處使用來源于拉丁語短語exempli gratia的常用縮寫“等”(e.g.),其可以用于引入或指定前述項(xiàng)的一個(gè)或多個(gè)一般性例子,而不是旨在限于這種項(xiàng)。如果在此處使用來源于拉丁語短語id est的常用縮寫“亦即”(i.e.),其可以用于指定來自于更一般性引用的特定項(xiàng)。
此處參照計(jì)算機(jī)實(shí)現(xiàn)的方法、裝置(系統(tǒng)和/或設(shè)備)和/或計(jì)算機(jī)程序產(chǎn)品的框圖和/或流程圖示例描述示例性實(shí)施方式。應(yīng)當(dāng)理解的是,框圖和/或流程圖示例的方框以及框圖和/或流程圖示例中的方框的組合可以用一個(gè)或更多個(gè)計(jì)算機(jī)電路執(zhí)行的計(jì)算機(jī)程序指令來實(shí)現(xiàn)。這些計(jì)算機(jī)程序指令可以提供給通用計(jì)算機(jī)電路、例如數(shù)字處理器的專用計(jì)算機(jī)電路和/或其他可編程數(shù)據(jù)處理電路的處理器電路,來產(chǎn)生一個(gè)機(jī)器,使得通過計(jì)算機(jī)和/或其他可編程數(shù)據(jù)處理裝置的處理器執(zhí)行的指令對晶體管、存儲(chǔ)在存儲(chǔ)器位置中的值以及位于這種電路中的其他硬件部件進(jìn)行變換和控制,以實(shí)現(xiàn)該框圖和/或流程圖方框中指定的功能/動(dòng)作,由此創(chuàng)建用于實(shí)現(xiàn)在該框圖和/或流程圖方框中指定的功能/動(dòng)作的裝置(功能性)和/或結(jié)構(gòu)。這些計(jì)算機(jī)程序指令還可以存儲(chǔ)在指示計(jì)算機(jī)或其他可編程數(shù)據(jù)處理裝置以特定方式運(yùn)行的計(jì)算機(jī)可讀介質(zhì)中,使得存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中的指令產(chǎn)生包括實(shí)現(xiàn)了框圖和/或流程圖方框中指定的功能/動(dòng)作的指令的制品。
實(shí)體的非短時(shí)計(jì)算機(jī)可讀介質(zhì)可以包括電、磁、光、電磁或半導(dǎo)體數(shù)據(jù)存儲(chǔ)系統(tǒng)、裝置或設(shè)備。計(jì)算機(jī)可讀介質(zhì)的更具體例子包括以下例子:便攜式計(jì)算機(jī)磁盤、隨機(jī)存取存儲(chǔ)器(RAM)電路、只讀存儲(chǔ)器(ROM)電路、可擦除可編程只讀存儲(chǔ)器(EPROM或閃存)電路、便攜式壓縮盤只讀存儲(chǔ)器(CD-ROM)、和便攜式數(shù)字視頻盤只讀存儲(chǔ)器(DVD/藍(lán)光)。
這些計(jì)算機(jī)程序指令還可以載入到計(jì)算機(jī)和/或其他可編程數(shù)據(jù)處理裝置上,使得在該計(jì)算機(jī)或其他可編程數(shù)據(jù)處理裝置上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的過程,從而在該計(jì)算機(jī)和/或其他可編程數(shù)據(jù)處理裝置上執(zhí)行的指令提供了用于實(shí)現(xiàn)在框圖和/或流程圖一個(gè)或多個(gè)方框中指定的功能/動(dòng)作的步驟。
因而,本發(fā)明構(gòu)思的實(shí)施方式可以具體實(shí)現(xiàn)在運(yùn)行在統(tǒng)稱為“電路”、“模塊”、“單元”或其變型的例如數(shù)字信號(hào)處理器之類處理器上的硬件和/或軟件(包括固件、駐留軟件、微碼等)中。
應(yīng)理解的是在一些另選實(shí)施方式中,方框中注明的功能/動(dòng)作可以不按照流程圖中所示的順序執(zhí)行。例如,取決于所涉及的功能/動(dòng)作,連續(xù)地示出的兩個(gè)方框?qū)嶋H上可以大致同時(shí)地執(zhí)行,或者這兩個(gè)方框有時(shí)候可以按相反順序執(zhí)行。此外,流程圖和/或框圖的給定方框的功能可以分解為多個(gè)框圖,和/或流程圖和/或框圖的兩個(gè)或多個(gè)方框的功能可以至少部分地結(jié)合在一起。最后,在所例示的方框之間可以增加/插入其他方框。此外,雖然某些圖包括通信路徑上的箭頭以示出通信的主要方向,但應(yīng)理解的是,該通信可以按與所示箭頭相反的方向進(jìn)行。
此處結(jié)合下文的說明和附圖公開了許多不同的實(shí)施方式。應(yīng)當(dāng)理解的是,在字面上描述和例示這些實(shí)施方式的每一個(gè)組合和子組合會(huì)造成不必要的重復(fù)和混淆。因而,包括附圖的本說明書將解釋為構(gòu)成了此處描述的實(shí)施方式、制作和使用這些實(shí)施方式的方式和過程的所有組合和子組合的完整書面說明,并且將支持任何這種組合和子組合的權(quán)利要求。
如此處所使用的,術(shù)語“移動(dòng)設(shè)備”包括具有或沒有多線顯示器的蜂窩和/或衛(wèi)星無線電話;可能將無線電話與數(shù)據(jù)處理、傳真和/或數(shù)據(jù)通信功能組合起來的個(gè)人通信系統(tǒng)(PCS)終端;包括無線電頻率收發(fā)機(jī)和尋呼機(jī)、互聯(lián)網(wǎng)/內(nèi)部網(wǎng)接入、網(wǎng)頁瀏覽器、組織器、日歷和/或全球定位系統(tǒng)(GPS)接收器的個(gè)人數(shù)字助理(PDA)或智能電話;和/或包括無線電頻率收發(fā)機(jī)的常規(guī)膝上型(筆記本)和/或掌上型(上網(wǎng)本)計(jì)算機(jī)或其他裝置。如此處使用的,術(shù)語“移動(dòng)設(shè)備”還包括可以具有時(shí)變或固定地理坐標(biāo)和/或可以是便攜式、可輸送的、安裝在車輛中(航空、航?;蜿懙?和/或位于和/或構(gòu)造成在本地操作和/或分布在一個(gè)或更多個(gè)陸地和/或地球以外位置上的任何其他輻射用戶設(shè)備。如此處使用的,術(shù)語“移動(dòng)設(shè)備”還包括主要功能是拍攝圖片和視頻的單獨(dú)的照相機(jī)。
在附圖和說明文件中,公開了本發(fā)明構(gòu)思的實(shí)施方式,并且雖然采用了特定術(shù)語,但這些術(shù)語僅是在一般的和描述性的意義上使用而不是出于限制目的,本發(fā)明構(gòu)思的范圍由所附權(quán)利要求書限定。