本發(fā)明涉及一種拍攝技術(shù),更確切地說是一種根據(jù)用戶視角進(jìn)行拍攝的方法和系統(tǒng)。
背景技術(shù):
隨著智能設(shè)備中拍照功能的發(fā)展,當(dāng)智能設(shè)備對人物進(jìn)行拍攝時,可以實(shí)現(xiàn)連續(xù)拍攝多張照片。
在現(xiàn)有技術(shù)中,當(dāng)智能設(shè)備對人物進(jìn)行連續(xù)拍攝多張照片時,每張照明并不是以不同用戶的視角進(jìn)行拍攝的,而是以人物中的某個人為焦點(diǎn)進(jìn)行連續(xù)多種拍攝。
本方法通過智能設(shè)備上的雙攝像頭獲取人物的數(shù)量及每個人物的距離,然后以每個人物的距離自動設(shè)置拍攝參數(shù)為每個人物分別拍攝一張照片,從而使每個人都可以獲得一張已自己為視角的照片,使智能手機(jī)的拍攝更加符合用戶的興趣,提高了用戶體驗(yàn)。
技術(shù)實(shí)現(xiàn)要素:
針對上述缺陷,本發(fā)明提供了一種根據(jù)用戶視角進(jìn)行拍攝的方法及裝置。一種根據(jù)用戶視角進(jìn)行拍攝的方法,包括:智能設(shè)備通過所述智能設(shè)備上的雙攝像頭中的任意一個攝像頭獲取圖像,所述智能設(shè)備采用圖像識別技術(shù)獲取所述圖像中的人物數(shù)量;所述智能設(shè)備通過所述雙攝像頭的雙目測距技術(shù)對所述圖像中的每個人物進(jìn)行距離測量,獲取所述每個人物與所述智能設(shè)備之間的距離;所述智能設(shè)備根據(jù)所述每個人物與所述智能設(shè)備之間的距離自動設(shè)置雙攝像頭的拍攝參數(shù),為每個人物分別拍攝一張照片;所述智能設(shè)備選擇一張照片并在所述智能設(shè)備的屏幕上顯示。
可選地,所述智能設(shè)備根據(jù)所述每個人物與所述智能設(shè)備的距離設(shè)置拍攝焦距,所述智能設(shè)備根據(jù)所述每個人物的背景設(shè)置拍攝光圈、快門、ISO、曝光、白平衡。
可選地,所述智能設(shè)備為每個人物拍攝一張照片后,以該人物為中心點(diǎn)保存照片。
可選地,所述智能設(shè)備在拍攝照片前,用戶在所述智能設(shè)備的取景框中手動選擇需要拍攝的人物;所述智能設(shè)備只為用戶選擇的人物分別拍攝一張照片。
可選地,所述智能設(shè)備在分享照片時,采用圖像識別技術(shù)自動識別對方的頭像,然后把對方頭像和照片中的人物進(jìn)行匹配,把匹配成功的照片分享給對方。
另外本發(fā)明還提出一種根據(jù)用戶視角進(jìn)行拍攝的裝置,包括:人物識別模塊:用于通過智能設(shè)備上的雙攝像頭中的任意一個攝像頭獲取圖像,采用圖像識別技術(shù)獲取所述圖像中的人物數(shù)量;
測距模塊:用于通過所述智能設(shè)備上的雙攝像頭的雙目測距技術(shù)對所述圖像中的每個人物進(jìn)行距離測量,獲取所述每個人物與所述智能設(shè)備之間的距離;拍攝模塊:用于根據(jù)所述每個人物與所述智能設(shè)備之間的距離自動設(shè)置雙攝像頭的拍攝參數(shù),為每個人物分別拍攝一張照片;
顯示模塊:用于選擇一張照片并在所述智能設(shè)備的屏幕上顯示選擇的照片。
可選地,所述裝置還包括:
參數(shù)設(shè)置模塊:用于根據(jù)所述每個人物與所述智能設(shè)備的距離設(shè)置拍攝焦距,用于根據(jù)所述每個人物的背景設(shè)置拍攝光圈、快門、ISO、曝光、白平衡。
可選地,所述裝置還包括:存儲模塊:用于每個人物拍攝一張照片后以該人物為中心點(diǎn)保存照片。
可選地,所述裝置還包括:
人物選擇模塊:用于所述智能設(shè)備在拍攝照片前,用戶在所述智能設(shè)備的取景框中手動選擇需要拍攝的人物;所述智能設(shè)備只為用戶選擇的人物分別拍攝一張照片。
可選地,所述裝置還包括:
分享模塊:用于分享照片時采用圖像識別技術(shù)自動識別對方的頭像,然后把對方頭像和照片中的人物進(jìn)行匹配,把匹配成功的照片分享給對方。
本發(fā)明的有益效果:本方法通過智能設(shè)備上的雙攝像頭中的任意一個攝像頭獲取圖像,然后智能設(shè)備采用圖像識別技術(shù)獲取所述圖像中的人物數(shù)量;智能設(shè)備通過雙攝像頭的雙目測距技術(shù)對圖像中的每個人物進(jìn)行距離測量,獲取每個人物與智能設(shè)備之間的距離,然后以每個人物的距離自動設(shè)置拍攝參數(shù)為每個人物分別拍攝一張照片,從而使每個人都可以獲得一張以自己為視角的照片,使智能手機(jī)的拍攝更加符合用戶的興趣,提高了用戶體驗(yàn)。
【附圖說明】
圖1為實(shí)現(xiàn)本發(fā)明各個實(shí)施例的移動終端的硬件結(jié)構(gòu)示意圖。
圖2為如圖1所示的移動終端的無線通信系統(tǒng)示意圖。
圖3是本發(fā)明提供的根據(jù)用戶視角進(jìn)行拍攝的方法實(shí)施例一的方法流程圖。
圖4是本發(fā)明提供的根據(jù)用戶視角進(jìn)行拍攝的方法實(shí)施例二的方法流程圖。
圖5是本發(fā)明提供的根據(jù)用戶視角進(jìn)行拍攝的方法實(shí)施例三的方法流程圖。
圖6是本發(fā)明提供的根據(jù)用戶視角進(jìn)行拍攝的裝置實(shí)施例四的功能模塊圖。
圖7是本發(fā)明提供的根據(jù)用戶視角進(jìn)行拍攝的裝置實(shí)施例五的功能模塊圖。
圖8是本發(fā)明提供的根據(jù)用戶視角進(jìn)行拍攝的裝置實(shí)施例六的功能模塊圖。
圖9是雙目測距原理的Matlab雙目視覺標(biāo)定圖。
圖10是雙目測距原理的畸變矯正圖。
圖11是雙目測距原理的將相機(jī)轉(zhuǎn)化為標(biāo)準(zhǔn)形式圖。
圖12是雙目視覺測距過程圖。
【具體實(shí)施方式】
應(yīng)當(dāng)理解,此處所描述的具體實(shí)施例僅用以解釋本發(fā)明,并不用于限定本發(fā)明。
現(xiàn)在將參考附圖描述實(shí)現(xiàn)本發(fā)明各個實(shí)施例的移動終端。在后續(xù)的描述中,使用用于表示元件的諸如“模塊”、“部件”或“單元”的后綴僅為了有利于本發(fā)明的說明,其本身并沒有特定的意義。因此,"模塊"與"部件"可以混合地使用。
移動終端可以以各種形式來實(shí)施。例如,本發(fā)明中描述的終端可以包括諸如移動電話、智能電話、筆記本電腦、數(shù)字廣播接收器、PDA(個人數(shù)字助理)、PAD(平板電腦)、PMP(便攜式多媒體播放器)、導(dǎo)航裝置等等的移動終端以及諸如數(shù)字TV、臺式計算機(jī)等等的固定終端。下面,假設(shè)終端是移動終端。然而,本領(lǐng)域技術(shù)人員將理解的是,除了特別用于移動目的的元件之外,根據(jù)本發(fā)明的實(shí)施方式的構(gòu)造也能夠應(yīng)用于固定類型的終端。
圖1為實(shí)現(xiàn)本發(fā)明各個實(shí)施例的移動終端的硬件結(jié)構(gòu)示意。
移動終端100可以包括無線通信單元110、A/V(音頻/視頻)輸入單元120、用戶輸入單元130、輸出單元140、存儲器150、接口單元160、控制器170和電源單元180等等。圖1示出了具有各種組件的移動終端,但是應(yīng)理解的是,并不要求實(shí)施所有示出的組件。可以替代地實(shí)施更多或更少的組件。將在下面詳細(xì)描述移動終端的元件。
無線通信單元110通常包括一個或多個組件,其允許移動終端100與無線通信系統(tǒng)或網(wǎng)絡(luò)之間的無線電通信。例如,無線通信單元可以包括移動通信模塊111、無線互聯(lián)網(wǎng)模塊112、短程通信模塊113中的至少一個。
移動通信模塊111將無線電信號發(fā)送到基站(例如,接入點(diǎn)、節(jié)點(diǎn)B等等)、外部終端以及服務(wù)器中的至少一個和/或從其接收無線電信號。這樣的無線電信號可以包括語音通話信號、視頻通話信號、或者根據(jù)文本和/或多媒體消息發(fā)送和/或接收的各種類型的數(shù)據(jù)。
無線互聯(lián)網(wǎng)模塊112支持移動終端的無線互聯(lián)網(wǎng)接入。該模塊可以內(nèi)部或外部地耦接到終端。該模塊所涉及的無線互聯(lián)網(wǎng)接入技術(shù)可以包括WLAN(無線LAN)(Wi-Fi)、Wibro(無線寬帶)、Wimax(全球微波互聯(lián)接入)、HSDPA(高速下行鏈路分組接入)等等。
短程通信模塊113是用于支持短程通信的模塊。短程通信技術(shù)的一些示例包括藍(lán)牙TM、射頻識別(RFID)、紅外數(shù)據(jù)協(xié)會(IrDA)、超寬帶(UWB)、紫蜂TM等等。
A/V輸入單元120用于接收音頻或視頻信號。A/V輸入單元120可以包括相機(jī)121和麥克風(fēng)122,相機(jī)121對在視頻捕獲模式或圖像捕獲模式中由圖像捕獲裝置獲得的靜態(tài)圖片或視頻的圖像數(shù)據(jù)進(jìn)行處理。處理后的圖像幀可以顯示在顯示單元141上。經(jīng)相機(jī)121處理后的圖像幀可以存儲在存儲器150(或其它存儲介質(zhì))中或者經(jīng)由無線通信單元110進(jìn)行發(fā)送,可以根據(jù)移動終端的構(gòu)造提供兩個或更多相機(jī)121。麥克風(fēng)122可以在電話通話模式、記錄模式、語音識別模式等等運(yùn)行模式中經(jīng)由麥克風(fēng)接收聲音(音頻數(shù)據(jù)),并且能夠?qū)⑦@樣的聲音處理為音頻數(shù)據(jù)。處理后的音頻(語音)數(shù)據(jù)可以在電話通話模式的情況下轉(zhuǎn)換為可經(jīng)由移動通信模塊111發(fā)送到移動通信基站的格式輸出。麥克風(fēng)122可以實(shí)施各種類型的噪聲消除(或抑制)算法以消除(或抑制)在接收和發(fā)送音頻信號的過程中產(chǎn)生的噪聲或者干擾。
用戶輸入單元130可以根據(jù)用戶輸入的命令生成鍵輸入數(shù)據(jù)以控制移動終端的各種操作。用戶輸入單元130允許用戶輸入各種類型的信息,并且可以包括鍵盤、鍋?zhàn)衅?、觸摸板(例如,檢測由于被接觸而導(dǎo)致的電阻、壓力、電容等等的變化的觸敏組件)、滾輪、搖桿等等。特別地,當(dāng)觸摸板以層的形式疊加在顯示單元141上時,可以形成觸摸屏。
接口單元160用作至少一個外部裝置與移動終端100連接可以通過的接口。例如,外部裝置可以包括有線或無線頭戴式耳機(jī)端口、外部電源(或電池充電器)端口、有線或無線數(shù)據(jù)端口、存儲卡端口、用于連接具有識別模塊的裝置的端口、音頻輸入/輸出(I/O)端口、視頻I/O端口、耳機(jī)端口等等。識別模塊可以是存儲用于驗(yàn)證用戶使用移動終端100的各種信息并且可以包括用戶識別模塊(UIM)、客戶識別模塊(SIM)、通用客戶識別模塊(USIM)等等。另外,具有識別模塊的裝置(下面稱為"識別裝置")可以采取智能卡的形式,因此,識別裝置可以經(jīng)由端口或其它連接裝置與移動終端100連接。接口單元170可以用于接收來自外部裝置的輸入(例如,數(shù)據(jù)信息、電力等等)并且將接收到的輸入傳輸?shù)揭苿咏K端100內(nèi)的一個或多個元件或者可以用于在移動終端和外部裝置之間傳輸數(shù)據(jù)。
另外,當(dāng)移動終端100與外部底座連接時,接口單元160可以用作允許通過其將電力從底座提供到移動終端100的路徑或者可以用作允許從底座輸入的各種命令信號通過其傳輸?shù)揭苿咏K端的路徑。從底座輸入的各種命令信號或電力可以用作用于識別移動終端是否準(zhǔn)確地安裝在底座上的信號。輸出單元140被構(gòu)造為以視覺、音頻和/或觸覺方式提供輸出信號(例如,音頻信號、視頻信號、警報信號、振動信號等等)。輸出單元140可以包括顯示單元141、音頻輸出模塊142等等。
顯示單元141可以顯示在移動終端100中處理的信息。例如,當(dāng)移動終端100處于電話通話模式時,顯示單元141可以顯示與通話或其它通信(例如,文本消息收發(fā)、多媒體文件下載等等)相關(guān)的用戶界面(UI)或圖形用戶界面(GUI)。當(dāng)移動終端100處于視頻通話模式或者圖像捕獲模式時,顯示單元141可以顯示捕獲的圖像和/或接收的圖像、示出視頻或圖像以及相關(guān)功能的UI或GUI等等。
同時,當(dāng)顯示單元141和觸摸板以層的形式彼此疊加以形成觸摸屏?xí)r,顯示單元141可以用作輸入裝置和輸出裝置。顯示單元141可以包括液晶顯示器(LCD)、薄膜晶體管LCD(TFT-LCD)、有機(jī)發(fā)光二極管(OLED)顯示器、柔性顯示器、三維(3D)顯示器等等中的至少一種。這些顯示器中的一些可以被構(gòu)造為透明狀以允許用戶從外部觀看,這可以稱為透明顯示器,典型的透明顯示器可以例如為TOLED(透明有機(jī)發(fā)光二極管)顯示器等等。根據(jù)特定想要的實(shí)施方式,移動終端100可以包括兩個或更多顯示單元(或其它顯示裝置),例如,移動終端可以包括外部顯示單元(未示出)和內(nèi)部顯示單元(未示出)。觸摸屏可用于檢測觸摸輸入壓力以及觸摸輸入位置和觸摸輸入面積。
音頻輸出模塊142可以在移動終端處于呼叫信號接收模式、通話模式、記錄模式、語音識別模式、廣播接收模式等等模式下時,將無線通信單元110接收的或者在存儲器150中存儲的音頻數(shù)據(jù)轉(zhuǎn)換音頻信號并且輸出為聲音。而且,音頻輸出模塊142可以提供與移動終端100執(zhí)行的特定功能相關(guān)的音頻輸出(例如,呼叫信號接收聲音、消息接收聲音等等)。音頻輸出模塊142可以包括揚(yáng)聲器、蜂鳴器等等。
存儲器150可以存儲由控制器170執(zhí)行的處理和控制操作的軟件程序等等,或者可以暫時地存儲己經(jīng)輸出或?qū)⒁敵龅臄?shù)據(jù)(例如,電話簿、消息、靜態(tài)圖像、視頻等等)。而且,存儲器150可以存儲關(guān)于當(dāng)觸摸施加到觸摸屏?xí)r輸出的各種方式的振動和音頻信號的數(shù)據(jù)。
存儲器150可以包括至少一種類型的存儲介質(zhì),所述存儲介質(zhì)包括閃存、硬盤、多媒體卡、卡型存儲器(例如,SD或DX存儲器等等)、隨機(jī)訪問存儲器(RAM)、靜態(tài)隨機(jī)訪問存儲器(SRAM)、只讀存儲器(ROM)、電可擦除可編程只讀存儲器(EEPROM)、可編程只讀存儲器(PROM)、磁性存儲器、磁盤、光盤等等。而且,移動終端100可以與通過網(wǎng)絡(luò)連接執(zhí)行存儲器160的存儲功能的網(wǎng)絡(luò)存儲裝置協(xié)作。
控制器170通常控制移動終端的總體操作。例如,控制器170執(zhí)行與語音通話、數(shù)據(jù)通信、視頻通話等等相關(guān)的控制和處理。另外,控制器170可以包括用于再現(xiàn)(或回放)多媒體數(shù)據(jù)的多媒體模塊171,多媒體模塊171可以構(gòu)造在控制器170內(nèi),或者可以構(gòu)造為與控制器170分離。控制器170可以執(zhí)行模式識別處理,以將在觸摸屏上執(zhí)行的手寫輸入或者圖片繪制輸入識別為字符或圖像。
電源單元180在控制器170的控制下接收外部電力或內(nèi)部電力并且提供操作各元件和組件所需的適當(dāng)?shù)碾娏Α?/p>
這里描述的各種實(shí)施方式可以以使用例如計算機(jī)軟件、硬件或其任何組合的計算機(jī)可讀介質(zhì)來實(shí)施。對于硬件實(shí)施,這里描述的實(shí)施方式可以通過使用特定用途集成電路(ASIC)、數(shù)字信號處理器(DSP)、數(shù)字信號處理裝置(DSPD)、可編程邏輯裝置(PLD)、現(xiàn)場可編程門陣列(FPGA)、處理器、控制器、微控制器、微處理器、被設(shè)計為執(zhí)行這里描述的功能的電子單元中的至少一種來實(shí)施,在一些情況下,這樣的實(shí)施方式可以在控制器180中實(shí)施。對于軟件實(shí)施,諸如過程或功能的實(shí)施方式可以與允許執(zhí)行至少一種功能或操作的單獨(dú)的軟件模塊來實(shí)施。軟件代碼可以由以任何適當(dāng)?shù)木幊陶Z言編寫的軟件應(yīng)用程序(或程序)來實(shí)施,軟件代碼可以存儲在存儲器150中并且由控制器170執(zhí)行。
至此,己經(jīng)按照其功能描述了移動終端。下面,為了簡要起見,將描述諸如折疊型、直板型、擺動型、滑動型移動終端等等的各種類型的移動終端中的滑動型移動終端作為示例。因此,本發(fā)明能夠應(yīng)用于任何類型的移動終端,并且不限于滑動型移動終端。
如圖1中所示的移動終端100可以被構(gòu)造為利用經(jīng)由幀或分組發(fā)送數(shù)據(jù)的諸如有線和無線通信系統(tǒng)以及基于衛(wèi)星的通信系統(tǒng)來操作。
現(xiàn)在將參考圖2描述其中根據(jù)本發(fā)明的移動終端能夠操作的通信系統(tǒng)。
這樣的通信系統(tǒng)可以使用不同的空中接口和/或物理層。例如,由通信系統(tǒng)使用的空中接口包括例如頻分多址(FDMA)、時分多址(TDMA)、碼分多址(CDMA)和通用移動通信系統(tǒng)(UMTS)(特別地,長期演進(jìn)(LTE))、全球移動通信系統(tǒng)(GSM)等等。作為非限制性示例,下面的描述涉及CDMA通信系統(tǒng),但是這樣的教導(dǎo)同樣適用于其它類型的系統(tǒng)。
參考圖2,無線通信系統(tǒng)可以包括多個移動終端100、多個基站(BS)270、基站控制器(BSC)275和移動交換中心(MSC)280。MSC280被構(gòu)造為與公共電話交換網(wǎng)絡(luò)(PSTN)290形成接口。MSC280還被構(gòu)造為與可以經(jīng)由回程線路耦接到基站270的BSC275形成接口。回程線路可以根據(jù)若干己知的接口中的任一種來構(gòu)造,所述接口包括例如E1/T1、ATM,IP、PPP、幀中繼、HDSL、ADSL或xDSL。將理解的是,如圖2中所示的系統(tǒng)可以包括多個BSC2750。
每個BS270可以服務(wù)一個或多個分區(qū)(或區(qū)域),由多向天線或指向特定方向的天線覆蓋的每個分區(qū)放射狀地遠(yuǎn)離BS270?;蛘?,每個分區(qū)可以由用于分集接收的兩個或更多天線覆蓋。每個BS270可以被構(gòu)造為支持多個頻率分配,并且每個頻率分配具有特定頻譜(例如,1.25MHz,5MHz等等)。
分區(qū)與頻率分配的交叉可以被稱為CDMA信道。BS270也可以被稱為基站收發(fā)器子系統(tǒng)(BTS)或者其它等效術(shù)語。在這樣的情況下,術(shù)語"基站"可以用于籠統(tǒng)地表示單個BSC275和至少一個BS270?;疽部梢员环Q為"蜂窩站"?;蛘撸囟˙S270的各分區(qū)可以被稱為多個蜂窩站。
如圖2中所示,廣播發(fā)射器(BT)295將廣播信號發(fā)送給在系統(tǒng)內(nèi)操作的移動終端100。如圖1中所示的廣播接收模塊111被設(shè)置在移動終端100處以接收由BT295發(fā)送的廣播信號。在圖2中,示出了幾個全球定位系統(tǒng)(GPS)衛(wèi)星300。衛(wèi)星300幫助定位多個移動終端100中的至少一個。
在圖2中,描繪了多個衛(wèi)星300,但是理解的是,可以利用任何數(shù)目的衛(wèi)星獲得有用的定位信息。如圖1中所示的GPS模塊115通常被構(gòu)造為與衛(wèi)星300配合以獲得想要的定位信息。替代GPS跟蹤技術(shù)或者在GPS跟蹤技術(shù)之外,可以使用可以跟蹤移動終端的位置的其它技術(shù)。另外,至少一個GPS衛(wèi)星300可以選擇性地或者額外地處理衛(wèi)星DMB傳輸。
作為無線通信系統(tǒng)的一個典型操作,BS270接收來自各種移動終端100的反向鏈路信號。移動終端100通常參與通話、消息收發(fā)和其它類型的通信。特定基站270接收的每個反向鏈路信號被在特定BS270內(nèi)進(jìn)行處理。獲得的數(shù)據(jù)被轉(zhuǎn)發(fā)給相關(guān)的BSC275。BSC提供通話資源分配和包括BS270之間的軟切換過程的協(xié)調(diào)的移動管理功能。BSC275還將接收到的數(shù)據(jù)路由到MSC280,其提供用于與PSTN290形成接口的額外的路由服務(wù)。類似地,PSTN290與MSC280形成接口,MSC與BSC275形成接口,并且BSC275相應(yīng)地控制BS270以將正向鏈路信號發(fā)送到移動終端100。
基于上述移動終端硬件結(jié)構(gòu)以及通信系統(tǒng),提出本發(fā)明方法各個實(shí)施例。
實(shí)施例一
參考圖3,一種根據(jù)用戶視角進(jìn)行拍攝的方法,包括:
S102、智能設(shè)備通過智能設(shè)備上的雙攝像頭中的任意一個攝像頭獲取圖像,智能設(shè)備采用圖像識別技術(shù)獲取圖像中的人物數(shù)量。
智能設(shè)備中的雙攝像頭不存在主輔之分時,則使用任意一個攝像頭獲取一張圖像;如果智能設(shè)備中的雙攝像頭為主、輔攝像頭,則使用主攝像頭獲取一張圖像,然后智能設(shè)備采用圖像識別介紹獲取該圖像中的人物的數(shù)量。
智能設(shè)備用攝像頭采集含有人臉的圖像后,自動在圖像中檢測和跟蹤人臉,對檢測到的人臉進(jìn)行臉部的一系列相關(guān)技術(shù),通常也叫做人像識別、面部識別。
人臉識別主要包括四個組成部分,分別為:人臉圖像采集及檢測、人臉圖像預(yù)處理、人臉圖像特征提取以及匹配與識別。
1、人臉識別人臉圖像采集及檢測:
人臉圖像采集:不同的人臉圖像都能通過攝像鏡頭采集下來,比如靜態(tài)圖像、動態(tài)圖像、不同的位置、不同表情等方面都可以得到很好的采集。當(dāng)用戶在采集設(shè)備的拍攝范圍內(nèi)時,采集設(shè)備會自動搜索并拍攝用戶的人臉圖像。
人臉檢測:人臉檢測在主要用于人臉識別的預(yù)處理,即在圖像中準(zhǔn)確標(biāo)定出人臉的位置和大小。人臉圖像中包含的模式特征十分豐富,如直方圖特征、顏色特征、模板特征、結(jié)構(gòu)特征及Haar特征等。
人臉檢測就是把這其中有用的信息挑出來,并利用這些特征實(shí)現(xiàn)人臉檢測。主流的人臉檢測方法基于以上特征采用Adaboost學(xué)習(xí)算法,Adaboost算法是一種用來分類的方法,它把一些比較弱的分類方法合在一起,組合出新的很強(qiáng)的分類方法。
人臉檢測過程中使用Adaboost算法挑選出一些最能代表人臉的矩形特征(弱分類器),按照加權(quán)投票的方式將弱分類器構(gòu)造為一個強(qiáng)分類器,再將訓(xùn)練得到的若干強(qiáng)分類器串聯(lián)組成一個級聯(lián)結(jié)構(gòu)的層疊分類器,有效地提高分類器的檢測速度。
2.人臉識別人臉圖像預(yù)處理:
人臉圖像預(yù)處理:對于人臉的圖像預(yù)處理是基于人臉檢測結(jié)果,對圖像進(jìn)行處理并最終服務(wù)于特征提取的過程。系統(tǒng)獲取的原始圖像由于受到各種條件的限制和隨機(jī)干擾,往往不能直接使用,必須在圖像處理的早期階段對它進(jìn)行灰度校正、噪聲過濾等圖像預(yù)處理。對于人臉圖像而言,其預(yù)處理過程主要包括人臉圖像的光線補(bǔ)償、灰度變換、直方圖均衡化、歸一化、幾何校正、濾波以及銳化等。
3.人臉識別人臉圖像特征提?。?/p>
人臉圖像特征提取:人臉識別系統(tǒng)可使用的特征通常分為視覺特征、像素統(tǒng)計特征、人臉圖像變換系數(shù)特征、人臉圖像代數(shù)特征等。人臉特征提取就是針對人臉的某些特征進(jìn)行的。人臉特征提取,也稱人臉表征,它是對人臉進(jìn)行特征建模的過程。人臉特征提取的方法歸納起來分為兩大類:一種是基于知識的表征方法;另外一種是基于代數(shù)特征或統(tǒng)計學(xué)習(xí)的表征方法?;谥R的表征方法主要是根據(jù)人臉器官的形狀描述以及他們之間的距離特性來獲得有助于人臉分類的特征數(shù)據(jù),其特征分量通常包括特征點(diǎn)間的歐氏距離、曲率和角度等。人臉由眼睛、鼻子、嘴、下巴等局部構(gòu)成,對這些局部和它們之間結(jié)構(gòu)關(guān)系的幾何描述,可作為識別人臉的重要特征,這些特征被稱為幾何特征?;谥R的人臉表征主要包括基于幾何特征的方法和模板匹配法。
4.人臉識別人臉圖像匹配與識別:
人臉圖像匹配與識別:提取的人臉圖像的特征數(shù)據(jù)與數(shù)據(jù)庫中存儲的特征模板進(jìn)行搜索匹配,通過設(shè)定一個閾值,當(dāng)相似度超過這一閾值,則把匹配得到的結(jié)果輸出。人臉識別就是將待識別的人臉特征與已得到的人臉特征模板進(jìn)行比較,根據(jù)相似程度對人臉的身份信息進(jìn)行判斷。
S103、智能設(shè)備通過雙攝像頭的雙目測距技術(shù)對圖像中的每個人物進(jìn)行距離測量,獲取每個人物與智能設(shè)備之間的距離
智能設(shè)備與每個人物的距離是通過智能設(shè)備的雙攝像頭實(shí)現(xiàn),智能設(shè)備使用雙目測距算法獲取智能設(shè)備與每個人物的距離。雙目測距算法流程包括:離線標(biāo)定、雙目矯正、雙目匹配。
1、離線標(biāo)定:
標(biāo)定的目的是獲取相機(jī)的內(nèi)參(焦距,圖像中心,畸變系數(shù)等)和外參(R(旋轉(zhuǎn))矩陣T(平移)矩陣,用于對其兩個相機(jī))。目前比較常用的方法為張正友的棋盤格標(biāo)定方法,Opencv和Matlab上均有實(shí)現(xiàn)。但是一般為了獲取更高的標(biāo)定精度,采用工業(yè)級的(60*60格子)玻璃面板效果會更好。并且有人也建議使用Matlab,因?yàn)榫劝梢暬Ч麜靡恍?,并且Matlab的結(jié)果保存為xml,Opencv也可以直接讀入,但是步驟相對于Opencv的麻煩了一些。圖9為Matlab雙目視覺標(biāo)定圖。
步驟為:
(1)左攝像頭標(biāo)定,獲取內(nèi)外參數(shù)。
(2)右參數(shù)攝像頭標(biāo)定獲取外參。
(3)雙目標(biāo)定,獲取相機(jī)之間的平移旋轉(zhuǎn)關(guān)系。
2、雙目矯正:
矯正的目的是得到的參考圖與目標(biāo)圖之間,只存在X方向上的差異。提高視差計算的準(zhǔn)確性。矯正分為兩個步驟
(1)畸變矯正
畸變矯正效果參考圖10.
(2)將相機(jī)轉(zhuǎn)化為標(biāo)準(zhǔn)形式
因?yàn)槌C正部分,會對圖像所有點(diǎn)的位置進(jìn)行重新計算,因而算法處理的分辨率越大耗時越大,而且一般需要實(shí)時處理兩張圖像。而且這種算法并行化強(qiáng)標(biāo)準(zhǔn)化程度較高,建議使用IVE進(jìn)行硬化,類似Opencv中的加速模式,先得到映射Map,再并行化使用映射Map重新得到像素位置。Opencv中的矯正函數(shù)為cvStereoRectify。將相機(jī)轉(zhuǎn)化為標(biāo)準(zhǔn)形式參考圖11.
3、雙目匹配:
雙目匹配是雙目深度估計的核心部分,發(fā)展了很多年,也有非常多的算法,主要目的是計算參考圖與目標(biāo)圖之間像素的相對匹配關(guān)系,主要分為局部和非局部的算法。一般有下面幾個步驟。
(1)匹配誤差計算
(2)誤差集成
(3)視差圖計算/優(yōu)化
(4)視差圖矯正
使用固定大小或者非固定大小窗口,計算與之所在一行的最優(yōu)匹配位置。如下圖為最簡單的局部方式,求一行最佳對應(yīng)點(diǎn)位置,左右視圖X坐標(biāo)位置差異為視差圖。為了增加噪聲,光照的魯棒性可以使用固定窗口進(jìn)行匹配,也可以對圖像使用LBP變換之后再進(jìn)行匹配。匹配損失計算函數(shù)有:SAD,SSD,NCC等。采用最大視差也可以限制最大搜索范圍,也可以使用積分圖和BoxFilter進(jìn)行加速計算。目前效果較好的局部匹配算法為基于Guided Filter的使用Box Filter和積分圖的雙目匹配算法,局部算法易于并行化,計算速度快,但是對于紋理較少的區(qū)域效果不佳,一般對圖像分割,將圖像分為紋理豐富和紋理稀疏的區(qū)域,調(diào)整匹配窗大小,紋理稀疏使用小窗口,來提高匹配效果。
非局部的匹配算法,將搜索視差的任務(wù)看做最小化一個確定的基于全部雙目匹配對的損失函數(shù),求該損失函數(shù)的最小值即可得到最佳的視差關(guān)系,著重解決圖像中不確定區(qū)域的匹配問題,主要有動態(tài)規(guī)劃(Dynamic Programming),信任傳播(Blief Propagation),圖割算法(Graph Cut)。目前效果最好的也是圖割算法,Opencv中提供的圖割算法匹配耗時很大。
圖割算法主要是為了解決動態(tài)規(guī)劃算法不能融合水平和豎直方向連續(xù)性約束的問題,將匹配問題看成是利用這些約束在圖像中尋求最小割問題。
因?yàn)榭紤]到全局能量最小化,非局部算法一般耗時較大,不太好使用硬件加速。但是對于遮擋,紋理稀疏的情況解決的較好。得到了匹配點(diǎn)之后,一般通過左右視線一致性的方式,檢測和確定具有高置信度的匹配點(diǎn)。很類似前后向光流匹配的思想,只有通過左右視線一致性檢驗(yàn)的點(diǎn)才認(rèn)為是穩(wěn)定匹配點(diǎn)。這樣也可以找出因?yàn)檎趽?,噪聲,誤匹配得到的點(diǎn)。
關(guān)于視差圖的后處理,采用中值濾波的方法,對當(dāng)前點(diǎn)的灰度值使用鄰域像素的中值來代替,這種方法可以很好去除椒鹽噪聲??梢匀コ?yàn)樵肼暬蛘呷跫y理匹配失敗的孤立點(diǎn)。
雙目視覺測距過程通??煞譃閿z像機(jī)標(biāo)定、圖像獲取、圖像預(yù)處理、目標(biāo)檢測與特征提取、立體匹配、三維重建等六個步驟。如圖12
S1031攝像機(jī)標(biāo)定
攝像機(jī)標(biāo)定是為了確定攝像機(jī)的位置、內(nèi)部參數(shù)和外部參數(shù),以建立成像模型,確定世界坐標(biāo)系中物體點(diǎn)同它在圖像平面上像點(diǎn)之間的對應(yīng)關(guān)系。立體視覺的基本任務(wù)之一是從攝像機(jī)獲取的圖像信息出發(fā)計算三維空間中物體的幾何信息,并由此重建和識別物體,而攝像機(jī)成像的幾何模型決定了空間物體表面某點(diǎn)的三維幾何位置與圖像中對應(yīng)點(diǎn)之間的相互關(guān)系,這些幾何模型參數(shù)就是攝像機(jī)參數(shù)。一般情況下這些參數(shù)必須通過實(shí)驗(yàn)才能得到,這個過程被稱為是攝像機(jī)標(biāo)定。攝像機(jī)標(biāo)定需要確定攝像機(jī)內(nèi)部幾何和光學(xué)特性(內(nèi)部參數(shù))和相對一個世界坐標(biāo)系的攝像機(jī)坐標(biāo)系的三維位置和方向(外部參數(shù))。在計算機(jī)視覺中,如果使用多個攝像機(jī),對每個攝像機(jī)都要校準(zhǔn)。
S1032圖像獲取
雙目視覺的圖像獲取是由不同位置的兩臺或者一臺攝像機(jī)經(jīng)過移動或旋轉(zhuǎn)拍攝同一個場景,獲取兩幅不同視角的圖像。雙目視覺系統(tǒng)中,深度信息的獲得是分兩步進(jìn)行的。
S1033圖像預(yù)處理
二維圖像由光學(xué)成像系統(tǒng)生成,包含了受環(huán)境影響各種各樣的隨機(jī)噪聲和畸變,因此需要對原始圖像進(jìn)行預(yù)處理,以抑制無用信息、突出有用信息、改善圖像質(zhì)量。圖像預(yù)處理的目的主要有兩個:改善圖像的視覺效果,提高圖像清晰度;使圖像變得更有利于計算機(jī)的處理,便于各種特征分析。
S1034目標(biāo)檢測和特征提取
目標(biāo)檢測是指從經(jīng)過預(yù)處理的圖像中提取待檢測的目標(biāo)物體。特征提取是指從檢測到的目標(biāo)中提取出指定的特征點(diǎn)。由于目前尚沒有一種普遍適用的理論可運(yùn)用于圖像特征的提取,從而導(dǎo)致了立體視覺研究中匹配特征的多樣性。目前,常用的匹配特征主要有區(qū)域特征、線狀特征和點(diǎn)狀特征等。一般來講,大尺度特4雙目視覺測距系統(tǒng)的研究征含有較豐富的圖像信息,易于得到快速的匹配,但是在圖像中的數(shù)目較少,定位精度差,特征提取與描述困難。而小尺度特征數(shù)目較多,但所含信息較少,因而在匹配時為克服歧義匹配和提高運(yùn)算效率,需要較強(qiáng)的約束準(zhǔn)則和匹配策略。良好的匹配特征應(yīng)具有穩(wěn)定性、不變性、可區(qū)分性、唯一性以及有效解決歧義匹配的能力。
S1035立體匹配
立體匹配是指根據(jù)對所選特征的計算,建立特征之間的對應(yīng)關(guān)系,將同一個空間物理點(diǎn)在不同圖像中的映像點(diǎn)對應(yīng)起來。當(dāng)空間三維場景被投影為二維圖像時,同一景物在不同視角下的圖像會有很大不同,而且場景中的諸多因素,如景物幾何形狀和物理特性、噪聲干擾、光照條件和攝像機(jī)畸變等,都被綜合成單一的圖像中的灰度值。因此,要準(zhǔn)確地對包含了如此之多不利因素的圖像進(jìn)行無歧義的匹配是十分困難的,至今這個問題還沒有得到很好的解決。立體匹配的有效性有賴于三個問題的解決:尋找特征間的本質(zhì)屬性,選擇正確的匹配特征及建立能正確匹配所選擇特征的穩(wěn)定算法。
S1036三維重建
當(dāng)通過立體匹配得到視差圖像之后,便可以確定深度圖像,并恢復(fù)場景3D信息。影響距離測量精度的因素主要有攝像機(jī)標(biāo)定誤差、數(shù)字量化效應(yīng)、特征檢測與匹配定位精度等。計算機(jī)視覺中實(shí)施三維空間的重構(gòu)過程,是由幾個主要的技術(shù)環(huán)節(jié)組成的,每個環(huán)節(jié)都有主要的影響因素和關(guān)鍵性技術(shù)。
S104、智能設(shè)備根據(jù)每個人物與智能設(shè)備之間的距離自動設(shè)置雙攝像頭的拍攝參數(shù),為每個人物分別拍攝一張照片
智能設(shè)備根據(jù)雙攝像頭獲取每個人物與智能設(shè)備之間的距離后,以每個人物與智能設(shè)備的距離、環(huán)境光線為依據(jù),自動設(shè)置以下拍攝參數(shù)進(jìn)行拍攝:光圈、快門、ISO、對焦、測光、白平衡。如果雙攝像頭為主、輔攝像頭,則只調(diào)節(jié)主攝像頭的拍攝參數(shù),使用主攝像頭進(jìn)行照片拍攝;如果雙攝像頭不區(qū)分主、輔,則同時設(shè)置兩個攝像頭的參數(shù),兩個攝像頭都進(jìn)行照片拍攝,然后采用算法把兩張照片合成一張照片。
參數(shù)設(shè)置方法如下:
1、設(shè)置光圈
光圈用f值來表示,f值越小,則光圈越大(如:f1>f4>f8)。光圈越大景深越淺,越容易拍出那種主體清晰,背景模糊的照片來。智能設(shè)備可以根據(jù)用戶選擇的主題進(jìn)行設(shè)置,如果用戶選擇拍攝背景模糊的照片,則調(diào)大光圈值。
2、設(shè)置快門
快門用時間長短來表示:如1/125秒,1/8秒,1秒,數(shù)字越大,時間越長,快門速度越慢??扉T速度過慢則無法凝固被攝人/物的動作,而且也會因?yàn)榕臄z者的手震引起照片的抖動模糊。
當(dāng)智能設(shè)備判斷人物移動較少或背景光線較明亮?xí)r,把光圈值設(shè)置為較小的值,如1/8秒;如果背景光線較暗,則把光圈值調(diào)整為較大,如大于2秒以上的值。
3、設(shè)置ISO
ISO值越低,對光的敏感性越差,同時畫面會更細(xì)膩,在這種情況下,需要更大的光圈或者更慢的快門速度;ISO值越高,對光越敏感,但是畫面會出現(xiàn)顆粒和噪點(diǎn),在這種情況下,可以用比較快的快門速度或者較小的光圈。當(dāng)智能設(shè)備判斷拍攝人物背景光線較暗時,自動設(shè)置ISO為較大值,如800;當(dāng)背景光線明亮?xí)r,把ISO設(shè)置為較小值,如200。
4、設(shè)置對焦
智能設(shè)備自動以選擇的人物為單點(diǎn)對焦。
5、設(shè)置測光
測光模式主要有三種:評價測光、中央重點(diǎn)測光、點(diǎn)測光。
在畫面中沒有很明顯的大塊強(qiáng)光,或者大塊陰影同時存在的時,設(shè)置為評價測光;在光線復(fù)雜且很不均勻的畫面中,選擇點(diǎn)測光模式;對準(zhǔn)被攝物體主體進(jìn)行測光,比如在拍人像時,使用點(diǎn)測光。
6、設(shè)置白平衡
當(dāng)用戶沒有手動設(shè)置白平衡時,智能設(shè)備設(shè)置為自動白平衡。
S105、智能設(shè)備為每個人物拍攝一張照片后,以該人物為中心點(diǎn)保存照片。
智能設(shè)備以每個人物與智能設(shè)備的距離、環(huán)境光線為依據(jù),設(shè)置拍攝參數(shù)進(jìn)行拍攝后,在保存照片時,以該人物為照片中心進(jìn)行保存。如果以該人物為中心進(jìn)行照片保存時,存在部分人物不在照片中時,則調(diào)整焦距(拉遠(yuǎn)鏡頭),使所有人物都能保存在照片中。
S106、智能設(shè)備選擇一張照片并在智能設(shè)備的屏幕上顯示。
智能設(shè)備保存這次拍攝的所有照片后,從中隨機(jī)選擇一張照片顯示在智能設(shè)備的顯示屏上。用戶可以在拍攝取景框中選擇一個人物,然后顯示以該人物為中心的照片。
本實(shí)施例通過以每個人物與智能設(shè)備的距離、環(huán)境光線為依據(jù),設(shè)置拍攝參數(shù)為每個人拍攝一張照片,使得在拍攝集體照時每個人都可以獲得一張以自己為焦點(diǎn)的照片,提高了用戶拍照體驗(yàn)。
實(shí)施例二
參考圖4,本實(shí)施例提供了另一種根據(jù)用戶視角進(jìn)行拍攝的方法。在實(shí)施例一基礎(chǔ)上,允許用戶在拍攝人物集體照時,選擇某些人員為焦點(diǎn)進(jìn)行拍攝。如在拍攝照片前,用戶在智能設(shè)備的取景框中選擇(通過點(diǎn)擊該人物的圖像進(jìn)行選擇)某些重要人員,然后分別以這些人員與智能設(shè)備的距離、環(huán)境光線為依據(jù)設(shè)置拍攝參數(shù),為已選擇的人員分別拍攝一張照片。
本實(shí)施例通過在拍攝前選擇某些人員為焦點(diǎn)進(jìn)行照片拍攝,可以節(jié)省拍攝照片的時間,也可以節(jié)省智能設(shè)備的存儲空間。
實(shí)施例三
參考圖5,本實(shí)施例提供了另一種根據(jù)用戶視角進(jìn)行拍攝的方法。在實(shí)施例一基礎(chǔ)上,智能設(shè)備為每個人員拍攝一張照片后,可以把這些照片分享給相應(yīng)人員。智能設(shè)備在分享這些照片時,根據(jù)用戶選擇的分享對象,自動選擇該分享對象相關(guān)的人員的照片。
智能設(shè)備在用戶選擇分享對象時,獲取該分享對象的即時通訊軟件的頭像(如微信),然后采用人臉識別技術(shù),獲取與分享對象頭像屬于同一人物且以該人物為焦點(diǎn)拍攝的照片,然后把該照片分享給他。如果對方即時通訊軟件沒有設(shè)置頭像,則獲取該用戶的名稱,然后通過人臉識別技術(shù)從本地數(shù)據(jù)庫或遠(yuǎn)程服務(wù)器處獲取該照片人物對應(yīng)的姓名及親屬關(guān)系。然后由本地系統(tǒng)判斷對方即時通訊軟件中的用戶名稱是否為該照片識別后獲取的姓名或親屬的姓名,如果是則把該照片分享給他。
智能設(shè)備在拍攝完照片后,可以通過一鍵分享的方式,把以每個人物為焦點(diǎn)拍攝的照片自動分享給對應(yīng)的人員。一鍵分享過程如下:
1、智能設(shè)備以該人物為焦點(diǎn)拍攝照片后,在智能設(shè)備的即時通訊軟件(如微信、QQ、支付寶等)的通訊錄列表中查找每個人的頭像。
2、使用以該人物為焦點(diǎn)拍攝照片中的該人物的圖像和通訊錄列表中的頭像進(jìn)行比對(采用人臉識別技術(shù)進(jìn)行比對)。
3、如果比對成功,則把該照片通過即時通訊軟件分享給對方。
本實(shí)施例通過照片分享功能,可以自動把以每個人物為焦距拍攝后的照片自動分享給該人物對應(yīng)的即時通訊軟件,方便用戶照片拍攝后進(jìn)行照片分享,使每個人都收到以自己為焦距拍攝的照片,提升了用戶使用滿意度。
實(shí)施例四
參考圖6,本實(shí)施例提供了一種根據(jù)用戶視角進(jìn)行拍攝的裝置,包括:
P202人物識別模塊:用于通過智能設(shè)備上的雙攝像頭中的任意一個攝像頭獲取圖像,采用圖像識別技術(shù)獲取所述圖像中的人物數(shù)量;
人物識別模塊采用圖像識別技術(shù)獲取智能設(shè)備取景框中的人物數(shù)量。圖像識別主要包括四個組成部分,分別為:人臉圖像采集及檢測、人臉圖像預(yù)處理、人臉圖像特征提取以及匹配與識別。
1、人臉識別人臉圖像采集及檢測:
人臉圖像采集:不同的人臉圖像都能通過攝像鏡頭采集下來,比如靜態(tài)圖像、動態(tài)圖像、不同的位置、不同表情等方面都可以得到很好的采集。當(dāng)用戶在采集設(shè)備的拍攝范圍內(nèi)時,采集設(shè)備會自動搜索并拍攝用戶的人臉圖像。
人臉檢測:人臉檢測在主要用于人臉識別的預(yù)處理,即在圖像中準(zhǔn)確標(biāo)定出人臉的位置和大小。人臉圖像中包含的模式特征十分豐富,如直方圖特征、顏色特征、模板特征、結(jié)構(gòu)特征及Haar特征等。
人臉檢測就是把這其中有用的信息挑出來,并利用這些特征實(shí)現(xiàn)人臉檢測。主流的人臉檢測方法基于以上特征采用Adaboost學(xué)習(xí)算法,Adaboost算法是一種用來分類的方法,它把一些比較弱的分類方法合在一起,組合出新的很強(qiáng)的分類方法。
人臉檢測過程中使用Adaboost算法挑選出一些最能代表人臉的矩形特征(弱分類器),按照加權(quán)投票的方式將弱分類器構(gòu)造為一個強(qiáng)分類器,再將訓(xùn)練得到的若干強(qiáng)分類器串聯(lián)組成一個級聯(lián)結(jié)構(gòu)的層疊分類器,有效地提高分類器的檢測速度。
2、人臉識別人臉圖像預(yù)處理:
人臉圖像預(yù)處理:對于人臉的圖像預(yù)處理是基于人臉檢測結(jié)果,對圖像進(jìn)行處理并最終服務(wù)于特征提取的過程。系統(tǒng)獲取的原始圖像由于受到各種條件的限制和隨機(jī)干擾,往往不能直接使用,必須在圖像處理的早期階段對它進(jìn)行灰度校正、噪聲過濾等圖像預(yù)處理。對于人臉圖像而言,其預(yù)處理過程主要包括人臉圖像的光線補(bǔ)償、灰度變換、直方圖均衡化、歸一化、幾何校正、濾波以及銳化等。
3、人臉識別人臉圖像特征提取:
人臉圖像特征提?。喝四樧R別系統(tǒng)可使用的特征通常分為視覺特征、像素統(tǒng)計特征、人臉圖像變換系數(shù)特征、人臉圖像代數(shù)特征等。人臉特征提取就是針對人臉的某些特征進(jìn)行的。人臉特征提取,也稱人臉表征,它是對人臉進(jìn)行特征建模的過程。人臉特征提取的方法歸納起來分為兩大類:一種是基于知識的表征方法;另外一種是基于代數(shù)特征或統(tǒng)計學(xué)習(xí)的表征方法?;谥R的表征方法主要是根據(jù)人臉器官的形狀描述以及他們之間的距離特性來獲得有助于人臉分類的特征數(shù)據(jù),其特征分量通常包括特征點(diǎn)間的歐氏距離、曲率和角度等。人臉由眼睛、鼻子、嘴、下巴等局部構(gòu)成,對這些局部和它們之間結(jié)構(gòu)關(guān)系的幾何描述,可作為識別人臉的重要特征,這些特征被稱為幾何特征?;谥R的人臉表征主要包括基于幾何特征的方法和模板匹配法。
4、人臉識別人臉圖像匹配與識別:
人臉圖像匹配與識別:提取的人臉圖像的特征數(shù)據(jù)與數(shù)據(jù)庫中存儲的特征模板進(jìn)行搜索匹配,通過設(shè)定一個閾值,當(dāng)相似度超過這一閾值,則把匹配得到的結(jié)果輸出。人臉識別就是將待識別的人臉特征與已得到的人臉特征模板進(jìn)行比較,根據(jù)相似程度對人臉的身份信息進(jìn)行判斷。
P203測距模塊:用于通過所述智能設(shè)備上的雙攝像頭的雙目測距技術(shù)對所述圖像中的每個人物進(jìn)行距離測量,獲取所述每個人物與所述智能設(shè)備之間的距離;
測距模塊采用智能設(shè)備上的雙攝像頭,使用雙目測距技術(shù)測量每個人物與智能設(shè)備之間的距離。雙攝像頭主要有兩種結(jié)構(gòu)形態(tài)和四種產(chǎn)品形態(tài):
兩種結(jié)構(gòu)形態(tài):
1、一體結(jié)構(gòu):
一個線路板上同時封裝兩顆攝像頭模組,然后增加支架固定和校準(zhǔn)。該結(jié)構(gòu)對兩顆攝像頭的封裝精密度要求較高,需要高精密封裝設(shè)備如AA設(shè)備完成,對兩顆攝像頭的偏移度、光軸傾斜度控制極高,需要通過特殊的硬件材料如高平整度的線路板、堅固的底座、消磁的馬達(dá),也需要特殊的封裝工藝來完成。
2、分體結(jié)構(gòu):
兩顆單獨(dú)的攝像頭,通過支架固定校準(zhǔn)。這種方案對組裝精密度要求相對較低,不需要投入高精密設(shè)備,硬件上也只增加了固定支架,生產(chǎn)工序是也只增加的攝像頭校準(zhǔn)和支架固定。
四種功能形態(tài):
1、同視角同芯片雙攝像頭:
實(shí)現(xiàn)圖像合成與特效,功能豐富,如像素疊加、HDR、先拍照后對焦,超級夜拍、虛擬光圈、測距等功能。
2、主攝像頭+副攝像頭:
實(shí)現(xiàn)先拍照后對焦、背景虛化等少數(shù)功能。
3、不同視角方案:
采用廣角和窄角鏡頭分別采集一幅近景和一幅遠(yuǎn)景圖像,通過圖像合成實(shí)現(xiàn)3X/5X模擬光學(xué)變焦功能,解決單攝像頭取景縮放時產(chǎn)生的畫面清晰度下降問題。
4、三維掃描雙攝像頭:
實(shí)現(xiàn)對物體的3D掃描和建模功能。功能上與谷歌的Project Tango的掃描建模相似,但雙攝的硬件方案更為簡單和成本更優(yōu),同時掃描距離和精密度有差別。
測距模塊使用的雙目測距原理如下:
智能設(shè)備與每個人物的距離是通過智能設(shè)備的雙攝像頭實(shí)現(xiàn),智能設(shè)備使用雙目視覺算法獲取智能設(shè)備與每個人物的距離。雙目視覺算法流程包括:離線標(biāo)定、雙目矯正、雙目匹配。
1、離線標(biāo)定:
標(biāo)定的目的是獲取相機(jī)的內(nèi)參(焦距,圖像中心,畸變系數(shù)等)和外參(R(旋轉(zhuǎn))矩陣T(平移)矩陣,用于對其兩個相機(jī))。目前比較常用的方法為棋盤格標(biāo)定方法,Opencv和Matlab上均有實(shí)現(xiàn)。但是一般為了獲取更高的標(biāo)定精度,采用工業(yè)級的(60*60格子)玻璃面板效果會更好。并且有人也建議使用Matlab,因?yàn)榫劝梢暬Ч麜靡恍?,并且Matlab的結(jié)果保存為xml,Opencv也可以直接讀入,但是步驟相對于Opencv的麻煩了一些。圖9為Matlab雙目視覺標(biāo)定圖。
步驟為:
(1)左攝像頭標(biāo)定,獲取內(nèi)外參數(shù)。
(2)右參數(shù)攝像頭標(biāo)定獲取外參。
(3)雙目標(biāo)定,獲取相機(jī)之間的平移旋轉(zhuǎn)關(guān)系。
2、雙目矯正:
矯正的目的是得到的參考圖與目標(biāo)圖之間,只存在X方向上的差異。提高視差計算的準(zhǔn)確性。矯正分為兩個步驟
(1)畸變矯正
畸變矯正效果參考圖10.
(2)將相機(jī)轉(zhuǎn)化為標(biāo)準(zhǔn)形式
因?yàn)槌C正部分,會對圖像所有點(diǎn)的位置進(jìn)行重新計算,因而算法處理的分辨率越大耗時越大,而且一般需要實(shí)時處理兩張圖像。而且這種算法并行化強(qiáng)標(biāo)準(zhǔn)化程度較高,建議使用IVE進(jìn)行硬化,類似Opencv中的加速模式,先得到映射Map,再并行化使用映射Map重新得到像素位置。Opencv中的矯正函數(shù)為cvStereoRectify。將相機(jī)轉(zhuǎn)化為標(biāo)準(zhǔn)形式參考圖11.
3、雙目匹配:
雙目匹配是雙目深度估計的核心部分,發(fā)展了很多年,也有非常多的算法,主要目的是計算參考圖與目標(biāo)圖之間像素的相對匹配關(guān)系,主要分為局部和非局部的算法。一般有下面幾個步驟。
(1)匹配誤差計算
(2)誤差集成
(3)視差圖計算/優(yōu)化
(4)視差圖矯正
使用固定大小或者非固定大小窗口,計算與之所在一行的最優(yōu)匹配位置。如下圖為最簡單的局部方式,求一行最佳對應(yīng)點(diǎn)位置,左右視圖X坐標(biāo)位置差異為視差圖。為了增加噪聲,光照的魯棒性可以使用固定窗口進(jìn)行匹配,也可以對圖像使用LBP變換之后再進(jìn)行匹配。匹配損失計算函數(shù)有:SAD,SSD,NCC等。采用最大視差也可以限制最大搜索范圍,也可以使用積分圖和Box Filter進(jìn)行加速計算。目前效果較好的局部匹配算法為基于Guided Filter的使用Box Filter和積分圖的雙目匹配算法,局部算法易于并行化,計算速度快,但是對于紋理較少的區(qū)域效果不佳,一般對圖像分割,將圖像分為紋理豐富和紋理稀疏的區(qū)域,調(diào)整匹配窗大小,紋理稀疏使用小窗口,來提高匹配效果。
非局部的匹配算法,將搜索視差的任務(wù)看做最小化一個確定的基于全部雙目匹配對的損失函數(shù),求該損失函數(shù)的最小值即可得到最佳的視差關(guān)系,著重解決圖像中不確定區(qū)域的匹配問題,主要有動態(tài)規(guī)劃(Dynamic Programming),信任傳播(Blief Propagation),圖割算法(Graph Cut)。目前效果最好的也是圖割算法,Opencv中提供的圖割算法匹配耗時很大。
圖割算法主要是為了解決動態(tài)規(guī)劃算法不能融合水平和豎直方向連續(xù)性約束的問題,將匹配問題看成是利用這些約束在圖像中尋求最小割問題。
因?yàn)榭紤]到全局能量最小化,非局部算法一般耗時較大,不太好使用硬件加速。但是對于遮擋,紋理稀疏的情況解決的較好。
得到了匹配點(diǎn)之后,一般通過左右視線一致性的方式,檢測和確定具有高置信度的匹配點(diǎn)。很類似前后向光流匹配的思想,只有通過左右視線一致性檢驗(yàn)的點(diǎn)才認(rèn)為是穩(wěn)定匹配點(diǎn)。這樣也可以找出因?yàn)檎趽?,噪聲,誤匹配得到的點(diǎn)。
關(guān)于視差圖的后處理,采用中值濾波的方法,對當(dāng)前點(diǎn)的灰度值使用鄰域像素的中值來代替,這種方法可以很好去除椒鹽噪聲??梢匀コ?yàn)樵肼暬蛘呷跫y理匹配失敗的孤立點(diǎn)。
測距模塊的雙目視覺測距過程分為攝像機(jī)標(biāo)定、圖像獲取、圖像預(yù)處理、目標(biāo)檢測與特征提取、立體匹配、三維重建等六個步驟。
(1)攝像機(jī)標(biāo)定
攝像機(jī)標(biāo)定是為了確定攝像機(jī)的位置、內(nèi)部參數(shù)和外部參數(shù),以建立成像模型,確定世界坐標(biāo)系中物體點(diǎn)同它在圖像平面上像點(diǎn)之間的對應(yīng)關(guān)系。立體視覺的基本任務(wù)之一是從攝像機(jī)獲取的圖像信息出發(fā)計算三維空間中物體的幾何信息,并由此重建和識別物體,而攝像機(jī)成像的幾何模型決定了空間物體表面某點(diǎn)的三維幾何位置與圖像中對應(yīng)點(diǎn)之間的相互關(guān)系,這些幾何模型參數(shù)就是攝像機(jī)參數(shù)。一般情況下這些參數(shù)必須通過實(shí)驗(yàn)才能得到,這個過程被稱為是攝像機(jī)標(biāo)定。攝像機(jī)標(biāo)定需要確定攝像機(jī)內(nèi)部幾何和光學(xué)特性(內(nèi)部參數(shù))和相對一個世界坐標(biāo)系的攝像機(jī)坐標(biāo)系的三維位置和方向(外部參數(shù))。在計算機(jī)視覺中,如果使用多個攝像機(jī),對每個攝像機(jī)都要校準(zhǔn)。
(2)圖像獲取
雙目視覺的圖像獲取是由不同位置的兩臺或者一臺攝像機(jī)經(jīng)過移動或旋轉(zhuǎn)拍攝同一個場景,獲取兩幅不同視角的圖像。雙目視覺系統(tǒng)中,深度信息的獲得是分兩步進(jìn)行的。
(3)圖像預(yù)處理
二維圖像由光學(xué)成像系統(tǒng)生成,包含了受環(huán)境影響各種各樣的隨機(jī)噪聲和畸變,因此需要對原始圖像進(jìn)行預(yù)處理,以抑制無用信息、突出有用信息、改善圖像質(zhì)量。圖像預(yù)處理的目的主要有兩個:改善圖像的視覺效果,提高圖像清晰度;使圖像變得更有利于計算機(jī)的處理,便于各種特征分析。
(4)目標(biāo)檢測和特征提取
目標(biāo)檢測是指從經(jīng)過預(yù)處理的圖像中提取待檢測的目標(biāo)物體。特征提取是指從檢測到的目標(biāo)中提取出指定的特征點(diǎn)。由于目前尚沒有一種普遍適用的理論可運(yùn)用于圖像特征的提取,從而導(dǎo)致了立體視覺研究中匹配特征的多樣性。目前,常用的匹配特征主要有區(qū)域特征、線狀特征和點(diǎn)狀特征等。一般來講,大尺度特4雙目視覺測距系統(tǒng)的研究征含有較豐富的圖像信息,易于得到快速的匹配,但是在圖像中的數(shù)目較少,定位精度差,特征提取與描述困難。而小尺度特征數(shù)目較多,但所含信息較少,因而在匹配時為克服歧義匹配和提高運(yùn)算效率,需要較強(qiáng)的約束準(zhǔn)則和匹配策略。良好的匹配特征應(yīng)具有穩(wěn)定性、不變性、可區(qū)分性、唯一性以及有效解決歧義匹配的能力。
(5)立體匹配
立體匹配是指根據(jù)對所選特征的計算,建立特征之間的對應(yīng)關(guān)系,將同一個空間物理點(diǎn)在不同圖像中的映像點(diǎn)對應(yīng)起來。當(dāng)空間三維場景被投影為二維圖像時,同一景物在不同視角下的圖像會有很大不同,而且場景中的諸多因素,如景物幾何形狀和物理特性、噪聲干擾、光照條件和攝像機(jī)畸變等,都被綜合成單一的圖像中的灰度值。因此,要準(zhǔn)確地對包含了如此之多不利因素的圖像進(jìn)行無歧義的匹配是十分困難的,至今這個問題還沒有得到很好的解決。立體匹配的有效性有賴于三個問題的解決:尋找特征間的本質(zhì)屬性,選擇正確的匹配特征及建立能正確匹配所選擇特征的穩(wěn)定算法。
(6)三維重建
當(dāng)通過立體匹配得到視差圖像之后,便可以確定深度圖像,并恢復(fù)場景3D信息。影響距離測量精度的因素主要有攝像機(jī)標(biāo)定誤差、數(shù)字量化效應(yīng)、特征檢測與匹配定位精度等。
P204參數(shù)設(shè)置模塊:用于根據(jù)所述每個人物與所述智能設(shè)備的距離設(shè)置拍攝焦距,用于根據(jù)所述每個人物的背景設(shè)置拍攝光圈、快門、ISO、曝光、白平衡。
參數(shù)設(shè)置模塊設(shè)置參數(shù)過程:
(1)設(shè)置光圈
光圈用f值來表示,f值越小,則光圈越大(如:f1>f4>f8)。光圈越大景深越淺,越容易拍出那種主體清晰,背景模糊的照片來。智能設(shè)備可以根據(jù)用戶選擇的主題進(jìn)行設(shè)置,如果用戶選擇拍攝背景模糊的照片,則調(diào)大光圈值。
(2)設(shè)置快門
快門用時間長短來表示:如1/125秒,1/8秒,1秒,數(shù)字越大,時間越長,快門速度越慢??扉T速度過慢則無法凝固被攝人/物的動作,而且也會因?yàn)榕臄z者的手震引起照片的抖動模糊。
當(dāng)智能設(shè)備判斷人物移動較少或背景光線較明亮?xí)r,把光圈值設(shè)置為較小的值,如1/8秒;如果背景光線較暗,則把光圈值調(diào)整為較大,如大于2秒以上的值。
(3)設(shè)置ISO
ISO值越低,對光的敏感性越差,同時畫面會更細(xì)膩,在這種情況下,需要更大的光圈或者更慢的快門速度;ISO值越高,對光越敏感,但是畫面會出現(xiàn)顆粒和噪點(diǎn),在這種情況下,可以用比較快的快門速度或者較小的光圈。當(dāng)智能設(shè)備判斷拍攝人物背景光線較暗時,自動設(shè)置ISO為較大值,如800;當(dāng)背景光線明亮?xí)r,把ISO設(shè)置為較小值,如200。
(4)設(shè)置對焦
智能設(shè)備自動以選擇的人物為單點(diǎn)對焦。
(5)設(shè)置測光
測光模式主要有三種:評價測光、中央重點(diǎn)測光、點(diǎn)測光。
在畫面中沒有很明顯的大塊強(qiáng)光,或者大塊陰影同時存在的時,設(shè)置為評價測光;在光線復(fù)雜且很不均勻的畫面中,選擇點(diǎn)測光模式;對準(zhǔn)被攝物體主體進(jìn)行測光,比如在拍人像時,使用點(diǎn)測光。
(6)設(shè)置白平衡
當(dāng)用戶沒有手動設(shè)置白平衡時,智能設(shè)備設(shè)置為自動白平衡。
P205拍攝模塊:用于根據(jù)所述每個人物與所述智能設(shè)備之間的距離自動設(shè)置雙攝像頭的拍攝參數(shù),為每個人物分別拍攝一張照片。
拍攝模塊以每個人物與智能設(shè)備的距離、環(huán)境光線為依據(jù),設(shè)置拍攝參數(shù)進(jìn)行拍攝。
P206存儲模塊:用于每個人物拍攝一張照片后以該人物為中心點(diǎn)保存照片。
智能設(shè)備拍攝照片后,使用存儲模塊保存照片時,以該人物為照片中心進(jìn)行保存。如果以該人物為中心進(jìn)行照片保存時,存在部分人物不在照片中時,則調(diào)整焦距(拉遠(yuǎn)鏡頭),使所有人物都能保存在照片中。
P207顯示模塊:用于選擇一張照片并在所述智能設(shè)備的屏幕上顯示選擇的照片。
智能設(shè)備保存這次拍攝的所有照片后,顯示模塊從中隨機(jī)選擇一張照片顯示在智能設(shè)備的顯示屏上。用戶可以在拍攝取景框中選擇一個人物,然后顯示模塊根據(jù)用戶選擇的人物圖像,把該人物的照片在智能設(shè)備的顯示屏上。
本實(shí)施例通過以每個人物與智能設(shè)備的距離、環(huán)境光線為依據(jù),設(shè)置拍攝參數(shù)為每個人拍攝一張照片,使得在拍攝集體照時每個人都可以獲得一張以自己為焦點(diǎn)的照片,提高了用戶拍照體驗(yàn)。
實(shí)施例六
參考圖7,本實(shí)施例提供了另一種根據(jù)用戶視角進(jìn)行拍攝的裝置,在實(shí)施例五的基礎(chǔ)上,還包括P201人物選擇模塊。
人物選擇模塊用于用戶在拍攝人物集體照時,選擇某些人員為焦點(diǎn)進(jìn)行拍攝。如在拍攝照片前,用戶在智能設(shè)備的取景框中選擇(通過點(diǎn)擊該人物的圖像進(jìn)行選擇)某些重要人員,然后分別以這些人員與智能設(shè)備的距離、環(huán)境光線為依據(jù)設(shè)置拍攝參數(shù),為已選擇的人員分別拍攝一張照片。
本實(shí)施例通過在拍攝前選擇某些人員為焦點(diǎn)進(jìn)行照片拍攝,可以節(jié)省拍攝照片的時間,也可以節(jié)省智能設(shè)備的存儲空間。
實(shí)施例七
參考圖7,本實(shí)施例提供了另一種根據(jù)用戶視角進(jìn)行拍攝的裝置,在實(shí)施例五的基礎(chǔ)上,還包括P208分享模塊。分享模塊為每個人員拍攝一張照片后,可以把這些照片分享給相應(yīng)人員。智能設(shè)備在分享這些照片時,根據(jù)用戶選擇的分享對象,自動選擇該分享對象相關(guān)的人員的照片。
智能設(shè)備在用戶選擇分享對象時,獲取該分享對象的即時通訊軟件的頭像(如微信),然后采用人臉識別技術(shù),獲取與分享對象頭像屬于同一人物且以該人物為焦點(diǎn)拍攝的照片,然后把該照片分享給他。
智能設(shè)備在拍攝完照片后,可以通過一鍵分享的方式,把以每個人物為焦點(diǎn)拍攝的照片自動分享給對應(yīng)的人員。一鍵分享過程如下:
1、智能設(shè)備以該人物為焦點(diǎn)拍攝照片后,在智能設(shè)備的即時通訊軟件(如微信、QQ、支付寶等)的通訊錄列表中查找每個人的頭像。
2、使用以該人物為焦點(diǎn)拍攝照片中的該人物的圖像和通訊錄列表中的頭像進(jìn)行比對(采用人臉識別技術(shù)進(jìn)行比對)。
3、如果比對成功,則把該照片通過即時通訊軟件分享給對方。
本實(shí)施例通過照片分享功能,可以自動把以每個人物為焦距拍攝后的照片自動分享給該人物對應(yīng)的即時通訊軟件,方便用戶照片拍攝后進(jìn)行照片分享,使每個人都收到以自己為焦距拍攝的照片,提升了用戶使用滿意度。
以上結(jié)合具體實(shí)施例描述了本發(fā)明實(shí)施例的技術(shù)原理,這些描述只是為了解釋本發(fā)明實(shí)施例的原理,而不能以任何方式解釋為對本發(fā)明實(shí)施例保護(hù)范圍的限制,本領(lǐng)域的技術(shù)人員不需要付出創(chuàng)造性的勞動即可聯(lián)想到本發(fā)明實(shí)施例的其它具體實(shí)施方式,這些方式都將落入本發(fā)明實(shí)施例的保護(hù)范圍之內(nèi)。
需要說明的是,在本文中,術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、物品或者裝置不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、物品或者裝置所固有的要素。在沒有更多限制的情況下,由語句“包括一個……”限定的要素,并不排除在包括該要素的過程、方法、物品或者裝置中還存在另外的相同要素。
上述本發(fā)明實(shí)施例序號僅僅為了描述,不代表實(shí)施例的優(yōu)劣。
通過以上的實(shí)施方式的描述,本領(lǐng)域的技術(shù)人員可以清楚地了解到上述實(shí)施例方法可借助軟件加必需的通用硬件平臺的方式來實(shí)現(xiàn),當(dāng)然也可以通過硬件,但很多情況下前者是更佳的實(shí)施方式?;谶@樣的理解,本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計算機(jī)軟件產(chǎn)品存儲在一個存儲介質(zhì)(如ROM/RAM、磁碟、光盤)中,包括若干指令用以使得一臺終端設(shè)備(可以是手機(jī),計算機(jī),服務(wù)器,空調(diào)器,或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實(shí)施例所述的方法。
以上僅為本發(fā)明的優(yōu)選實(shí)施例,并非因此限制本發(fā)明的專利范圍,凡是利用本發(fā)明說明書及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換,或直接或間接運(yùn)用在其他相關(guān)的技術(shù)領(lǐng)域,均同理包括在本發(fā)明的專利保護(hù)范圍內(nèi)。