本發(fā)明涉及攝像技術(shù)領(lǐng)域,尤其涉及一種圖像處理方法、裝置和終端。
背景技術(shù):
隨著網(wǎng)絡(luò)和電子技術(shù)的快速發(fā)展,終端的功能日益強(qiáng)大,被廣泛應(yīng)用于人們的生活、學(xué)習(xí)、工作中。目前,越來越多的終端配置了攝像頭,用戶可以利用攝像頭拍攝照片、錄像、視頻聊天等等。
在日常生活中,有很多用戶的身體可能存在殘疾,比如,只有一只手,一只眼睛或一條腿等,相應(yīng)的,其利用攝像頭拍攝得到的圖像中,身體也是殘缺的。而許多殘疾用戶希望拍攝得到的圖像中,自己的身體是健康完整的。
現(xiàn)有技術(shù),可以在用戶拍攝圖像完成后,利用photoshop等處理工具,對拍攝得到的圖像進(jìn)行處理,從而使拍攝得到的圖像中,用戶的身體健康完整,但這種方式,需要在后期進(jìn)行圖像處理,處理過程復(fù)雜,浪費(fèi)用戶的精力,用戶體驗(yàn)差。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的旨在至少在一定程度上解決上述的技術(shù)問題之一。
為此,本申請?zhí)岢鲆环N圖像處理方法,實(shí)現(xiàn)了在拍攝過程中,實(shí)時(shí)對人體3d模型進(jìn)行補(bǔ)全,從而使得生成的圖像中,用戶的身體健康完整,提高了圖像的視覺效果,滿足了用戶的需求,且無需用戶手動(dòng)操作,節(jié)省了用戶的精力,改善了用戶體驗(yàn)。
本申請還提出一種圖像處理裝置。
本申請還提出一種終端。
本申請還提出一種計(jì)算機(jī)可讀存儲介質(zhì)。
本申請第一方面提出一種圖像處理方法,所述方法包括:
利用結(jié)構(gòu)光,獲取用戶的人體3d模型;
確定所述人體3d模型中待補(bǔ)全的目標(biāo)子模型的類型,其中,所述目標(biāo)子模型為任意人體器官對應(yīng)的模型;
判斷所述人體3d模型中,是否存在第一子模型,所述第一子模型的類型與所述目標(biāo)子模型的類型相同;
若是,則根據(jù)所述第一子模型,生成第二子模型;
利用所述第二子模型對所述人體3d模型進(jìn)行補(bǔ)全處理;
根據(jù)補(bǔ)全后的人體3d模型,生成所述用戶的圖像。
本申請實(shí)施例提供的圖像處理方法,首先利用結(jié)構(gòu)光,獲取用戶的人體3d模型,然后確定人體3d模型中待補(bǔ)全的目標(biāo)子模型的類型,若人體3d模型中,存在與目標(biāo)子模型的類型相同的第一子模型,則根據(jù)第一子模型,生成第二子模型,從而利用第二子模型,對人體3d模型進(jìn)行補(bǔ)全處理,再根據(jù)補(bǔ)全后的人體3d模型,生成用戶的圖像。由此,實(shí)現(xiàn)了在拍攝過程中,實(shí)時(shí)對人體3d模型進(jìn)行補(bǔ)全,從而使得生成的圖像中,用戶的身體健康完整,提高了圖像的視覺效果,滿足了用戶的需求,且無需用戶手動(dòng)操作,節(jié)省了用戶的精力,改善了用戶體驗(yàn)。
本申請第二方面提出一種圖像處理裝置,所述裝置包括:
第一獲取模塊,用于利用結(jié)構(gòu)光,獲取用戶的人體3d模型;
第一確定模塊,用于確定所述人體3d模型中待補(bǔ)全的目標(biāo)子模型的類型,其中,所述目標(biāo)子模型為任意人體器官對應(yīng)的模型;
判斷模塊,用于判斷所述人體3d模型中,是否存在第一子模型,所述第一子模型的類型與所述目標(biāo)子模型的類型相同;
第一處理模塊,用于存在所述第一子模型時(shí),根據(jù)所述第一子模型,生成第二子模型;
第二處理模塊,用于利用所述第二子模型對所述人體3d模型進(jìn)行補(bǔ)全處理;
生成模塊,用于根據(jù)補(bǔ)全后的人體3d模型,生成所述用戶的圖像。
本申請實(shí)施例提供的圖像處理裝置,首先利用結(jié)構(gòu)光,獲取用戶的人體3d模型,然后確定人體3d模型中待補(bǔ)全的目標(biāo)子模型的類型,若人體3d模型中,存在與目標(biāo)子模型的類型相同的第一子模型,則根據(jù)第一子模型,生成第二子模型,從而利用第二子模型,對人體3d模型進(jìn)行補(bǔ)全處理,再根據(jù)補(bǔ)全后的人體3d模型,生成用戶的圖像。由此,實(shí)現(xiàn)了在拍攝過程中,實(shí)時(shí)對人體3d模型進(jìn)行補(bǔ)全,從而使得生成的圖像中,用戶的身體健康完整,提高了圖像的視覺效果,滿足了用戶的需求,且無需用戶手動(dòng)操作,節(jié)省了用戶的精力,改善了用戶體驗(yàn)。
本申請第三方面提出一種終端,包括存儲器、處理器及圖像處理電路,所述存儲器用于存儲可執(zhí)行程序代碼;所述處理器通過讀取所述存儲器中存儲的可執(zhí)行程序代碼,及所述圖像處理電路輸出的深度圖像,以實(shí)現(xiàn)如第一方面所述的圖像處理方法。
本申請實(shí)施例提供的終端,首先利用結(jié)構(gòu)光,獲取用戶的人體3d模型,然后確定人體3d模型中待補(bǔ)全的目標(biāo)子模型的類型,若人體3d模型中,存在與目標(biāo)子模型的類型相同的第一子模型,則根據(jù)第一子模型,生成第二子模型,從而利用第二子模型,對人體3d模型進(jìn)行補(bǔ)全處理,再根據(jù)補(bǔ)全后的人體3d模型,生成用戶的圖像。由此,實(shí)現(xiàn)了在拍攝過程中,實(shí)時(shí)對人體3d模型進(jìn)行補(bǔ)全,從而使得生成的圖像中,用戶的身體健康完整,提高了圖像的視覺效果,滿足了用戶的需求,且無需用戶手動(dòng)操作,節(jié)省了用戶的精力,改善了用戶體驗(yàn)。
本申請第四方面提出一種計(jì)算機(jī)可讀存儲介質(zhì),其上存儲有計(jì)算機(jī)程序,該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面所述的圖像處理方法。
本申請實(shí)施例提供的計(jì)算機(jī)可讀存儲介質(zhì),可以設(shè)置在任意具有攝像功能的終端中,在用戶拍攝圖像時(shí),通過執(zhí)行其上存儲的圖像處理方法,可以實(shí)現(xiàn)在拍攝過程中,實(shí)時(shí)對人體3d模型進(jìn)行補(bǔ)全,從而使得生成的圖像中,用戶的身體健康完整,提高了圖像的視覺效果,滿足了用戶的需求,且無需用戶手動(dòng)操作,節(jié)省了用戶的精力,改善了用戶體驗(yàn)。
本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出,部分將從下面的描述中變得明顯,或通過本發(fā)明的實(shí)踐了解到。
附圖說明
本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對實(shí)施例的描述中將變得明顯和容易理解,其中:
圖1是本申請一個(gè)實(shí)施例的圖像處理方法的流程圖;
圖1a是本申請一個(gè)實(shí)施例的不均勻的結(jié)構(gòu)光的散斑分布圖;
圖1b是本申請一個(gè)實(shí)施例的均勻的結(jié)構(gòu)光的散斑分布圖;
圖1c是本申請一個(gè)實(shí)施例的圖像處理方法的示例圖;
圖2是本申請另一個(gè)實(shí)施例的圖像處理方法的流程圖;
圖3是本申請一個(gè)實(shí)施例的圖像處理裝置的結(jié)構(gòu)圖;
圖4是本申請另一個(gè)實(shí)施例的圖像處理裝置的結(jié)構(gòu)圖;
圖5是本申請一個(gè)實(shí)施例的終端的結(jié)構(gòu)圖;
圖6是本申請一個(gè)實(shí)施例的圖像處理電路的結(jié)構(gòu)圖。
具體實(shí)施方式
下面詳細(xì)描述本發(fā)明的實(shí)施例,所述實(shí)施例的示例在附圖中示出,其中自始至終相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的,旨在用于解釋本發(fā)明,而不能理解為對本發(fā)明的限制。
可以理解,本發(fā)明所使用的術(shù)語“第一”、“第二”等可在本文中用于描述各種元件,但這些元件不受這些術(shù)語限制。這些術(shù)語僅用于將第一個(gè)元件與另一個(gè)元件區(qū)分。舉例來說,在不脫離本發(fā)明的范圍的情況下,可以將第一客戶端稱為第二客戶端,且類似地,可將第二客戶端稱為第一客戶端。第一客戶端和第二客戶端兩者都是客戶端,但其不是同一客戶端。
下面參考附圖描述本發(fā)明實(shí)施例的圖像處理方法、裝置和終端。
本發(fā)明各實(shí)施例針對現(xiàn)有技術(shù),為了使殘疾用戶拍攝得到的圖像中,用戶的身體健康完整,需要在后期進(jìn)行圖像處理,處理過程復(fù)雜,浪費(fèi)用戶的精力,用戶體驗(yàn)差的問題,提出一種圖像處理方法。
本發(fā)明實(shí)施例提供的圖像處理方法,首先利用結(jié)構(gòu)光,獲取用戶的人體3d模型,然后確定人體3d模型中待補(bǔ)全的目標(biāo)子模型的類型,在人體3d模型中,存在與目標(biāo)子模型的類型相同的第一子模型時(shí),則根據(jù)第一子模型,生成第二子模型,從而利用第二子模型,對人體3d模型進(jìn)行補(bǔ)全處理,再根據(jù)補(bǔ)全后的人體3d模型,生成用戶的圖像。由此,實(shí)現(xiàn)了在拍攝過程中,實(shí)時(shí)對人體3d模型進(jìn)行補(bǔ)全,從而使得生成的圖像中,用戶的身體健康完整,提高了圖像的視覺效果,滿足了用戶的需求,且無需用戶手動(dòng)操作,節(jié)省了用戶的精力,改善了用戶體驗(yàn)。
下面結(jié)合圖1對本申請實(shí)施例的圖像處理方法進(jìn)行說明。
圖1是本申請一個(gè)實(shí)施例的圖像處理方法的流程圖。
如圖1所示,該方法包括:
步驟101,利用結(jié)構(gòu)光,獲取用戶的人體3d模型。
其中,本發(fā)明實(shí)施例提供的圖像處理方法,可以由本發(fā)明實(shí)施例提供的圖像處理裝置執(zhí)行。具體的,該圖像處理裝置,可以被配置在任意具有攝像功能的終端中。其中,終端的類型很多,可以根據(jù)應(yīng)用需要進(jìn)行選擇,例如:手機(jī)、電腦等。
具體的,可以在終端中設(shè)置成像設(shè)備,用于采集用戶圖像,及獲取用戶的人體3d模型。
其中,成像設(shè)備中,可以包括結(jié)構(gòu)光投射器及圖像傳感器,分別用于投射結(jié)構(gòu)光及采集結(jié)構(gòu)光圖像;或者,也可以在終端中,單獨(dú)設(shè)置結(jié)構(gòu)光投射器及圖像傳感器,此處不作限制。
具體實(shí)現(xiàn)時(shí),在用戶拍攝圖像時(shí),可以利用成像設(shè)備中的結(jié)構(gòu)光投射器,對用戶所在的區(qū)域投射結(jié)構(gòu)光圖案,其中,該結(jié)構(gòu)光圖案可為激光條紋、格雷碼、正弦條紋、或者,隨機(jī)排列的散斑圖案等。然后通過對結(jié)構(gòu)光圖案變形的感知及三角測量法等,獲取用戶的人體深度圖像。
其中,結(jié)構(gòu)光可以是非均勻的結(jié)構(gòu)光。
具體的,非均勻的結(jié)構(gòu)光,可以通過多種方法形成。
比如,可以通過紅外激光光源照射毛玻璃,從而在用戶所在的區(qū)域產(chǎn)生干涉形成非均勻的結(jié)構(gòu)光。
或者,可以通過衍射光學(xué)元件進(jìn)行投射的方式,形成非均勻的結(jié)構(gòu)光。具體的,可以由單個(gè)激光光源準(zhǔn)直后通過單個(gè)或多個(gè)衍射光學(xué)元件,在用戶所在的區(qū)域形成非均勻的結(jié)構(gòu)光。
或者,還可以直接由不規(guī)則分布的激光陣列通過衍射光學(xué)元件,在用戶所在的區(qū)域形成與激光陣列一致的不規(guī)則分布的散斑,即非均勻的結(jié)構(gòu)光。通過這種方式,還可以控制散斑的細(xì)節(jié)分布,此處不作限定。
可以理解的是,分別以不均勻的結(jié)構(gòu)光和均勻的結(jié)構(gòu)光投射物體表面時(shí),不均勻的結(jié)構(gòu)光的散斑分布如圖1a所示,均勻的結(jié)構(gòu)光的散斑分布如圖1b所示。從圖1a和1b可知,相同大小的區(qū)域內(nèi),圖1a中包含11個(gè)斑點(diǎn),圖1b中包含16個(gè)斑點(diǎn),即不均勻的結(jié)構(gòu)光所包含的斑點(diǎn)比均勻的結(jié)構(gòu)光包含的斑點(diǎn)更少。因此,利用不均勻的結(jié)構(gòu)光,獲取用戶的人體深度圖像,消耗的能量更少,節(jié)能效果更好,改善了用戶體驗(yàn)。
進(jìn)一步的,獲取了用戶的人體深度圖像后,即可根據(jù)用戶的人體深度圖像,獲取用戶的人體3d模型。
具體的,可以通過多種方法,獲取用戶的人體3d模型。
比如,可以獲取多個(gè)人體深度圖像,并對多個(gè)人體深度圖像進(jìn)行去噪聲處理、平滑處理、前后景分割等預(yù)處理,從而將人體深度圖像中可能包括的背景、環(huán)境等與人體進(jìn)行分離。然后,根據(jù)人體深度圖像獲取密集點(diǎn)云數(shù)據(jù),并進(jìn)行人體深度信息點(diǎn)云網(wǎng)格的重建。再對重建后的多幀深度圖像進(jìn)行合并、配準(zhǔn),生成人體3d模型。
或者,可以通過結(jié)構(gòu)光技術(shù),獲取人體的結(jié)構(gòu)光紅外圖像,然后從結(jié)構(gòu)光紅外圖像中采集人體的散斑紅外圖像,計(jì)算得到散斑紅外圖像的散斑點(diǎn)相對于參考散斑圖像的移動(dòng)距離,并根據(jù)移動(dòng)距離、參考散斑圖像的位置信息得到人體的散斑紅外圖像的散斑點(diǎn)的深度值,從而根據(jù)深度值得到人體深度圖像。然后通過對結(jié)構(gòu)光紅外圖像進(jìn)行濾波處理,得到人體紅外圖像。進(jìn)而根據(jù)人體深度圖像與紅外圖像,得到用戶的人體3d模型。
步驟102,確定人體3d模型中待補(bǔ)全的目標(biāo)子模型的類型。
其中,目標(biāo)子模型為任意人體器官對應(yīng)的模型。
可以理解的是,正常的人體3d模型中,包括所有的人體器官,而殘疾用戶的人體3d模型與正常的人體3d模型相比,會有一部分器官缺失,目標(biāo)子模型,即為用戶的人體3d模型,與正常的人體3d模型相比,缺失的人體器官對應(yīng)的模型。
其中,目標(biāo)子模型的類型,可以是手臂、手、腳、腿、鼻子、耳朵等類型。
具體實(shí)現(xiàn)時(shí),獲取了用戶的人體3d模型后,即可根據(jù)用戶的人體3d模型,及正常的人體3d模型,確定用戶的人體3d模型中缺少的人體器官,進(jìn)而確定目標(biāo)子模型的類型。
步驟103,判斷人體3d模型中,是否存在第一子模型,第一子模型的類型與目標(biāo)子模型的類型相同。
具體的,可以根據(jù)人體3d模型中,各個(gè)器官的種類,將人體3d模型中的所有器官對應(yīng)的模型進(jìn)行分類,從而在確定目標(biāo)子模型的類型后,即可判斷人體3d模型中,是否存在與目標(biāo)子模型同種類型的第一子模型。
步驟104,若是,則根據(jù)第一子模型,生成第二子模型。
具體的,步驟104可以通過以下方式實(shí)現(xiàn):
根據(jù)第一子模型的類型,確定第一子模型對應(yīng)的生物信息;
根據(jù)生物信息,生成第二子模型。
其中,生物信息,可以包括器官的長度、粗細(xì),器官中關(guān)節(jié)的數(shù)量、位置等等信息。
可以理解的是,通常,人體的兩個(gè)眼睛,兩個(gè)耳朵,兩個(gè)手臂等等同種類型的器官的生物信息,具有一定的規(guī)律。比如,如圖1c所示,人體的左手及右手,具有相同的大小,且均有5個(gè)手指,左手與右手中手指的排列方向相反,對應(yīng)手指的長度、粗細(xì)等相同,根據(jù)一只手的生物信息,即可得到另一只手。因此,在本發(fā)明實(shí)施例中,可以根據(jù)第一子模型的類型,確定第一子模型的生物信息,從而根據(jù)第一子模型的生物信息進(jìn)行重塑,以生成第二子模型。
舉例來說,假設(shè)人體3d模型中待補(bǔ)全的目標(biāo)子模型為左手模型,目標(biāo)子模型的類型為手型,若人體3d模型中,存在第一子模型,即存在右手模型,則可以根據(jù)右手模型的生物信息進(jìn)行重塑,以生成左手模型。
另外,人體的某些同種類型的器官,可能呈鏡像對稱關(guān)系,因此,在確定人體3d模型中,存在第一子模型時(shí),也可以通過對第一子模型進(jìn)行鏡像處理,以生成第二子模型。
需要說明的是,在實(shí)際運(yùn)用中,可以根據(jù)需要選擇以任意方式,生成第二子模型,此處不作限制。
步驟105,利用第二子模型對人體3d模型進(jìn)行補(bǔ)全處理。
步驟106,根據(jù)補(bǔ)全后的人體3d模型,生成用戶的圖像。
具體的,生成了第二子模型后,即可根據(jù)正常的人體3d模型中,目標(biāo)子模型的位置,將第二子模型,補(bǔ)全到用戶的人體3d模型中的對應(yīng)位置上,得到補(bǔ)全后的人體3d模型,進(jìn)而生成用戶的圖像。
可以理解的是,在對人體3d模型進(jìn)行補(bǔ)全處理后,為了實(shí)現(xiàn)生成的用戶的圖像中,補(bǔ)充的器官與用戶原有器官的膚色相同、連接處更自然等效果,在本發(fā)明實(shí)施例中,還可以根據(jù)用戶原有的各器官的膚色等,對補(bǔ)充的器官所在區(qū)域的飽和度、亮度、像素值等進(jìn)行調(diào)整,以提高生成的用戶的圖像的視覺效果。
在本發(fā)明一種可能的實(shí)現(xiàn)形式中,為了使第二子模型更好的融入人體3d模型所在的場景中,從而提高生成的圖像的視覺效果,還可以根據(jù)第二子模型的深度信息,利用第二子模型對人體3d模型進(jìn)行補(bǔ)全處理。即,步驟105之前,還可以包括:
根據(jù)人體3d模型,確定第二子模型的深度信息。
具體實(shí)現(xiàn)時(shí),可以通過多種方法,確定第二子模型的深度信息。
比如,可以根據(jù)用戶的人體3d模型中,已有的各個(gè)器官的深度信息,及正常人體的各器官的位置關(guān)系,確定第二子模型的深度信息。
舉例來說,若根據(jù)用戶的人體3d模型,確定用戶缺少左耳,則可以確定用戶的頭部的深度信息,并根據(jù)正常人體的頭部及左耳的位置關(guān)系,確定左耳的深度信息。
或者,可以根據(jù)用戶的人體3d模型中,存在的第一子模型的深度信息,確定第二子模型的深度信息。
舉例來說,若根據(jù)用戶的人體3d模型,確定用戶缺少左耳,則可以確定用戶的人體3d模型中,已有的右耳的深度信息,并將右耳的深度信息,確定為左耳的深度信息。
需要說明的是,若用戶拍攝圖像時(shí),沒有正面面向攝像頭,則直接根據(jù)第一子模型的深度信息,確定的第二子模型的深度信息可能會不準(zhǔn)確。在本發(fā)明實(shí)施例中,還可以根據(jù)用戶的人體3d模型中,已有的至少兩個(gè)同種類型子模型的深度信息的關(guān)系,及第一子模型的深度信息,確定第二子模型的深度信息。
舉例來說,若根據(jù)用戶的人體3d模型,確定用戶缺少左耳,且此時(shí)用戶的兩個(gè)眼睛的深度信息相同,則可以確定左耳的深度信息與右耳的深度信息相同;或者,若此時(shí)用戶的左眼的深度信息比右眼的深度信息小,且差值為a,則可以將右耳的深度信息減a后,得到左耳的深度信息。
具體的,確定了第二子模型的深度信息后,即可根據(jù)確定的深度信息,將第二子模型補(bǔ)全到人體3d模型中,并根據(jù)補(bǔ)全后的人體3d模型,生成用戶的圖像。通過根據(jù)深度信息,利用第二子模型對人體3d模型進(jìn)行補(bǔ)全處理,可以實(shí)現(xiàn)在補(bǔ)全人體3d模型的基礎(chǔ)上,使第二子模型更好的融入到用戶所在的場景中,從而使根據(jù)補(bǔ)全后的人體3d模型,生成的用戶的圖像更真實(shí)。
另外,由于用戶拍照時(shí),可能會擺出不同姿勢,為了使補(bǔ)全后生成的用戶的圖像中,用戶的姿勢更加自然,在本發(fā)明實(shí)施例中,還可以在根據(jù)第一子模型生成第二子模型后,對生成的第二子模型的姿態(tài)進(jìn)行調(diào)整,或者對第一子模型的姿態(tài)進(jìn)行調(diào)整,從而根據(jù)調(diào)整后的第一子模型,生成第二子模型,以利用第二子模型對人體3d模型進(jìn)行補(bǔ)全處理。
具體的,可以通過多種方法,對第一子模型/第二子模型的姿態(tài)進(jìn)行調(diào)整。
比如,可以根據(jù)獲取的用戶的人體3d模型的當(dāng)前整體姿態(tài),及大量正常的人體3d模型的姿態(tài),預(yù)測目標(biāo)子模型的姿態(tài)。從而將第一子模型的姿態(tài)/第二子模型的姿態(tài)調(diào)整為大多數(shù)正常的人體3d模型中,目標(biāo)子模型的姿態(tài)。
或者,可以根據(jù)用戶的指令,對第一子模型的姿態(tài)/第二子模型的姿態(tài)進(jìn)行調(diào)整。
通過對根據(jù)第一子模型生成的第二子模型進(jìn)行調(diào)整后,或者對第一子模型的姿態(tài)進(jìn)行調(diào)整,以生成第二子模型后,即可將第二子模型補(bǔ)全到用戶的人體3d模型中后,從而使補(bǔ)全后生成的用戶的圖像中,用戶的姿勢更加自然,更好的滿足用戶的需求。
進(jìn)一步的,在本發(fā)明實(shí)施例中,還可以根據(jù)需要,設(shè)置是否對用戶的人體3d模型進(jìn)行補(bǔ)全處理,以使生成的圖像中,用戶的身體健康完整。即,在步驟101之前,還可以包括:
獲取用戶觸發(fā)的圖像補(bǔ)全指令;
或者,
確定當(dāng)前采集的用戶的圖像滿足圖像補(bǔ)全條件。
具體的,用戶可以通過點(diǎn)擊、長按或者滑動(dòng)具有圖像補(bǔ)全功能的按鈕,觸發(fā)圖像補(bǔ)全指令,從而圖像處理裝置在獲取到用戶觸發(fā)的圖像補(bǔ)全指令后,即可利用結(jié)構(gòu)光,獲取用戶的人體3d模型,并進(jìn)一步確定人體3d模型中待補(bǔ)全的目標(biāo)子模型的類型,然后在人體3d模型中,存在與目標(biāo)子模型的類型相同的第一子模型時(shí),利用第一子模型生成第二子模型,以利用第二子模型,對人體3d模型進(jìn)行補(bǔ)全處理,以使生成的圖像中,用戶的身體健康完整。
或者,可以預(yù)先設(shè)置圖像補(bǔ)全條件為:當(dāng)前采集的用戶的圖像中沒有包括所有的人體器官,從而在當(dāng)前采集的用戶的圖像滿足圖像補(bǔ)全條件時(shí),即可利用結(jié)構(gòu)光,獲取用戶的人體3d模型,并進(jìn)一步確定人體3d模型中待補(bǔ)全的目標(biāo)子模型的類型,然后在人體3d模型中,存在與目標(biāo)子模型的類型相同的第一子模型時(shí),利用第一子模型生成第二子模型,以利用第二子模型,對人體3d模型進(jìn)行補(bǔ)全處理,以使生成的圖像中,用戶的身體健康完整。
若沒有獲取到用戶觸發(fā)的圖像,或者當(dāng)前采集的用戶的圖像不滿足圖像補(bǔ)全條件,則不對當(dāng)前采集的用戶的圖像進(jìn)行補(bǔ)全處理。
需要說明的是,在本發(fā)明實(shí)施例中,在用戶拍攝圖像時(shí),也可以不根據(jù)獲取的用戶的人體3d模型,僅根據(jù)當(dāng)前采集的2d圖像中,用戶的人體圖像,確定目標(biāo)子模型的類型,然后再利用結(jié)構(gòu)光,獲取用戶的人體3d模型,從而利用與目標(biāo)子模型同種類型的第一子模型,生成第二子模型,以利用第二子模型,對用戶的人體3d模型進(jìn)行補(bǔ)全處理,進(jìn)而生成用戶的圖像。
本發(fā)明實(shí)施例提供的圖像處理方法,首先利用結(jié)構(gòu)光,獲取用戶的人體3d模型,然后確定人體3d模型中待補(bǔ)全的目標(biāo)子模型的類型,若人體3d模型中,存在與目標(biāo)子模型的類型相同的第一子模型,則根據(jù)第一子模型,生成第二子模型,從而利用第二子模型,對人體3d模型進(jìn)行補(bǔ)全處理,再根據(jù)補(bǔ)全后的人體3d模型,生成用戶的圖像。由此,實(shí)現(xiàn)了在拍攝過程中,實(shí)時(shí)對人體3d模型進(jìn)行補(bǔ)全,從而使得生成的圖像中,用戶的身體健康完整,提高了圖像的視覺效果,滿足了用戶的需求,且無需用戶手動(dòng)操作,節(jié)省了用戶的精力,改善了用戶體驗(yàn)。
通過上述分析可知,可以利用結(jié)構(gòu)光,獲取用戶的人體3d模型,并確定人體3d模型中待補(bǔ)全的目標(biāo)子模型的類型,若人體3d模型中,存在與目標(biāo)子模型的類型相同的第一子模型,則可以根據(jù)第一子模型,生成第二子模型,以利用第二子模型對人體3d模型進(jìn)行補(bǔ)全處理,進(jìn)而生成用戶的圖像。在實(shí)際運(yùn)用中,人體3d模型中,可能不存在與目標(biāo)子模型的類型相同的第一子模型,下面結(jié)合圖2,對上述情況進(jìn)行具體說明。
圖2是是本發(fā)明另一個(gè)實(shí)施例的圖像處理方法的流程圖。
如圖2所示,該圖像處理方法包括:
步驟201,利用結(jié)構(gòu)光,獲取用戶的人體3d模型。
步驟202,確定人體3d模型中待補(bǔ)全的目標(biāo)子模型的類型。
其中,目標(biāo)子模型為任意人體器官對應(yīng)的模型。
步驟203,判斷人體3d模型中,是否存在第一子模型,第一子模型的類型與目標(biāo)子模型的類型相同,若是,則執(zhí)行步驟204,否則,執(zhí)行步驟206。
步驟204,根據(jù)第一子模型,生成第二子模型。
步驟205,利用第二子模型對人體3d模型進(jìn)行補(bǔ)全處理。
其中,步驟201-步驟205的具體實(shí)現(xiàn)過程及原理,可以參照上述實(shí)施例的詳細(xì)描述,此處不作贅述。
步驟206,根據(jù)用戶的人體3d模型,確定用戶的人體特征信息。
具體的,獲取了用戶的人體3d模型后,即可對人體3d模型進(jìn)行解析,以確定用戶的人體特征信息。
步驟207,從與目標(biāo)子模型的類型對應(yīng)的子模型庫中,選取與用戶的人體特征信息匹配的第三子模型。
具體實(shí)現(xiàn)時(shí),可以預(yù)先建立模型庫,并根據(jù)人體器官類型,將模型庫分為多個(gè)子模型庫,每個(gè)子模型庫中的各個(gè)子模型,分別對應(yīng)不同的人體特征信息。
相應(yīng)的,在步驟207之前,還可以包括:
獲取人體3d模型庫,其中,3d模型庫中任意3d模型中均包括所有的人體器官;
對人體3d模型庫中的所有3d模型進(jìn)行解析,確定人體特征信息與子模型的對應(yīng)關(guān)系。
具體的,人體3d模型庫中,包括大量的正常的人體3d模型,通過對人體3d模型庫中,所有的人體3d模型進(jìn)行解析,可以確定人體特征信息與子模型的對應(yīng)關(guān)系。
從而在確定目標(biāo)子模型的類型及用戶的人體特征信息后,可以根據(jù)目標(biāo)子模型的類型,確定子模型庫,并根據(jù)用戶的人體特征信息,及確定的人體特征信息與子模型的對應(yīng)關(guān)系,從子模型庫中,選取與用戶的人體特征信息匹配的第三子模型。
具體實(shí)現(xiàn)時(shí),可以預(yù)先設(shè)置一個(gè)閾值,并將用戶的人體特征信息,與子模型庫中的人體特征信息進(jìn)行匹配,在匹配程度達(dá)到預(yù)設(shè)閾值時(shí),即可將子模型庫中的人體特征信息對應(yīng)的子模型,確定為第三子模型。
舉例來說,假設(shè)預(yù)設(shè)閾值為80%,模型庫可以分為手臂型、腿型等多個(gè)子模型庫,手臂型子模型庫中包括的子模型為:“身高160厘米(cm)以下、女性”對應(yīng)的子模型a,“身高160-170cm、女性”對應(yīng)的子模型b,“身高170-175cm、女性”對應(yīng)的子模型c,“身高175cm以上、女性”對應(yīng)的子模型d,“身高170cm以下、男性”對應(yīng)的子模型a’,“身高170-175cm、男性”對應(yīng)的子模型b’,“身高175-180cm、男性”對應(yīng)的子模型c’,“身高180cm以上、男性”對應(yīng)的子模型d’。腿型子模型庫中包括的子模型為:“身高160cm以下、女性”對應(yīng)的子模型e,“身高160-170cm、女性”對應(yīng)的子模型f,“身高170-175cm、女性”對應(yīng)的子模型g,“身高175cm以上、女性”對應(yīng)的子模型h,“身高170cm以下、男性”對應(yīng)的子模型e’,“身高170-175cm、男性”對應(yīng)的子模型f’,“身高175-180cm、男性”對應(yīng)的子模型g’,“身高180cm以上、男性”對應(yīng)的子模型h’。則若根據(jù)用戶的人體3d模型,確定用戶缺少手臂,即目標(biāo)子模型的類型為手臂型,用戶的人體特征信息為“身高176cm、男性”,由于用戶的人體特征信息與手臂型子模型庫中的“身高175-180cm、男性”完全匹配,則可以確定第三子模型為“身高175-180cm、男性”對應(yīng)的子模型g’。
需要說明的是,預(yù)設(shè)的模型庫,可以存儲在終端中,也可以存儲在云端中,此處不作限制。另外,可以以預(yù)設(shè)的時(shí)間間隔,對預(yù)設(shè)的模型庫進(jìn)行數(shù)據(jù)更新,以提高確定的第三子模型的準(zhǔn)確性。
步驟208,利用第三子模型,對人體3d模型進(jìn)行補(bǔ)全處理。
步驟209,根據(jù)補(bǔ)全后的人體3d模型,生成用戶的圖像。
具體的,確定了第三子模型后,即可根據(jù)正常的人體3d模型中,目標(biāo)子模型的位置,將第三子模型,補(bǔ)全到用戶的人體3d模型中的對應(yīng)位置上,得到補(bǔ)全后的人體3d模型,進(jìn)而生成用戶的圖像。
可以理解的是,在對人體3d模型進(jìn)行補(bǔ)全處理后,為了實(shí)現(xiàn)生成的用戶的圖像中,補(bǔ)充的器官與用戶原有器官的膚色相同、連接處更自然等效果,在本發(fā)明實(shí)施例中,還可以根據(jù)用戶原有的各器官的膚色等,對補(bǔ)充的器官所在區(qū)域的飽和度、亮度、像素值等進(jìn)行調(diào)整,以提高生成的用戶的圖像的視覺效果。
在本發(fā)明一種可能的實(shí)現(xiàn)形式中,用戶拍照時(shí),可能會擺出不同姿勢,為了使補(bǔ)全后生成的用戶的圖像中,用戶的姿勢更加自然,在本發(fā)明實(shí)施例中,還可以對第三子模型的姿態(tài)進(jìn)行調(diào)整。
具體的,可以通過多種方法,對第三子模型的姿態(tài)進(jìn)行調(diào)整。
比如,可以根據(jù)獲取的用戶的人體3d模型的當(dāng)前姿態(tài),及人體3d模型庫中的大量正常的人體3d模型的姿態(tài),預(yù)測目標(biāo)子模型的姿態(tài)。從而將第三子模型的姿態(tài)調(diào)整為大多數(shù)正常的人體3d模型中,目標(biāo)子模型的姿態(tài)。
或者,可以根據(jù)用戶的指令,對第三子模型的姿態(tài)進(jìn)行調(diào)整。
對第三子模型的姿態(tài)進(jìn)行調(diào)整后,即可將第三子模型補(bǔ)全到用戶的人體3d模型中后,從而使補(bǔ)全后生成的用戶的圖像中,用戶的姿勢更加自然,更好的滿足用戶的需求。
進(jìn)一步的,為了使第三子模型更好的融入人體3d模型所在的場景中,從而提高生成的圖像的視覺效果,還可以根據(jù)第三子模型的深度信息,利用第三子模型對人體3d模型進(jìn)行補(bǔ)全處理。即,步驟208之前,還可以包括:
根據(jù)人體3d模型,確定第三子模型的深度信息。
具體的確定第三子模型的深度信息的方法,與上述實(shí)施例中,確定第二子模型的深度信息的方法類似,此處不再贅述。
具體的,確定了第三子模型的深度信息后,即可根據(jù)確定的深度信息,將第三子模型補(bǔ)全到人體3d模型中,并根據(jù)補(bǔ)全后的人體3d模型,生成用戶的圖像。通過根據(jù)深度信息,利用第三子模型對人體3d模型進(jìn)行補(bǔ)全處理,可以實(shí)現(xiàn)在補(bǔ)全人體3d模型的基礎(chǔ)上,使第三子模型更好的融入到用戶所在的場景中,從而使根據(jù)補(bǔ)全后的人體3d模型,生成的用戶的圖像更真實(shí)。
在一種較優(yōu)的實(shí)現(xiàn)形式中,可以根據(jù)第三子模型的深度信息,將第三子模型以調(diào)整后的姿態(tài),補(bǔ)全到人體3d模型中,從而使第三子模型更好的融入到用戶所在的場景中,進(jìn)而使根據(jù)補(bǔ)全后的人體3d模型,生成的用戶的圖像更真實(shí),且用戶的姿勢更自然,更好的滿足用戶的需求,改善用戶體驗(yàn)。
需要說明的是,在一種可能的實(shí)現(xiàn)形式中,從與目標(biāo)子模型的類型對應(yīng)的子模型庫中,選取與用戶的人體特征信息匹配的第三子模型時(shí),可能存在子模型庫中的多個(gè)人體特征信息與用戶的人體特征信息的匹配程度均達(dá)到預(yù)設(shè)閾值的情況。在本發(fā)明實(shí)施例中,若用戶的人體特征信息與子模型庫中的多個(gè)人體特征信息的匹配程度不等,則可以將子模型庫中,與用戶的人體特征信息的匹配程度最高的,人體特征信息對應(yīng)的子模型,確定為第三子模型。若用戶的人體特征信息與子模型庫中的多個(gè)人體特征信息的匹配程度最高且相等,則可以將多個(gè)人體特征信息對應(yīng)的子模型,均確定為第三子模型,從而可以分別利用多個(gè)第三子模型,對人體3d模型進(jìn)行補(bǔ)全處理,并分別根據(jù)補(bǔ)全后的人體3d模型,生成用戶的圖像,再由用戶根據(jù)多個(gè)圖像的效果,從多個(gè)圖像中選擇合適的圖像作為最終圖像。
另外,用戶也可以根據(jù)需要,從與目標(biāo)子模型的類型對應(yīng)的子模型庫中,選擇合適的子模型作為第三子模型,以利用第三子模型,對人體3d模型進(jìn)行補(bǔ)全處理,具體的補(bǔ)全過程,可以參照步驟105的相關(guān)描述,此處不再贅述。
本發(fā)明實(shí)施例提供的圖像處理方法,首先利用結(jié)構(gòu)光,獲取用戶的人體3d模型,然后確定人體3d模型中待補(bǔ)全的目標(biāo)子模型的類型,再判斷人體3d模型中,是否存在與目標(biāo)子模型的類型相同的第一子模型,若存在,則根據(jù)第一子模型,生成第二子模型,以利用第二子模型對人體3d模型進(jìn)行補(bǔ)全處理,若不存在,則根據(jù)用戶的人體3d模型,確定用戶的人體特征信息,并從與目標(biāo)子模型的類型對應(yīng)的子模型庫中,選取與用戶的人體特征信息匹配的第三子模型,以利用第三子模型,對人體3d模型進(jìn)行補(bǔ)全處理,最后根據(jù)補(bǔ)全后的人體3d模型,生成用戶的圖像。由此,實(shí)現(xiàn)了在拍攝過程中,實(shí)時(shí)對人體3d模型進(jìn)行補(bǔ)全,從而使得生成的圖像中,用戶的身體健康完整,提高了圖像的視覺效果,滿足了用戶的需求,且無需用戶手動(dòng)操作,節(jié)省了用戶的精力,改善了用戶體驗(yàn)。
圖3是本申請一個(gè)實(shí)施例的圖像處理裝置的結(jié)構(gòu)圖。
如圖3所示,該圖像處理裝置,包括:
第一獲取模塊31,用于利用結(jié)構(gòu)光,獲取用戶的人體3d模型;
第一確定模塊32,用于確定人體3d模型中待補(bǔ)全的目標(biāo)子模型的類型,其中,目標(biāo)子模型為任意人體器官對應(yīng)的模型;
判斷模塊33,用于判斷人體3d模型中,是否存在第一子模型,第一子模型的類型與目標(biāo)子模型的類型相同;
第一處理模塊34,用于存在第一子模型時(shí),根據(jù)第一子模型,生成第二子模型;
第二處理模塊35,用于利用第二子模型對人體3d模型進(jìn)行補(bǔ)全處理;
生成模塊36,用于根據(jù)補(bǔ)全后的人體3d模型,生成用戶的圖像。
其中,本實(shí)施例提供的圖像處理裝置,可以執(zhí)行本發(fā)明實(shí)施例提供的圖像處理方法。具體的,該圖像處理裝置,可以被配置在任意具有攝像功能的終端中。其中,終端的類型很多,可以根據(jù)應(yīng)用需要進(jìn)行選擇,例如:手機(jī)、電腦、相機(jī)等。
在本實(shí)施例一種可能的實(shí)現(xiàn)形式中,上述第一處理模塊34,具體用于:
根據(jù)第一子模型的類型,確定第一子模型對應(yīng)的生物信息;
根據(jù)生物信息,生成第二子模型。
在本實(shí)施例另一種可能的實(shí)現(xiàn)形式中,上述第一處理模塊34,還用于:
對第一子模型進(jìn)行鏡像處理,生成第二子模型。
在本實(shí)施例另一種可能的實(shí)現(xiàn)形式中,該裝置,還包括:
第二獲取模塊,用于獲取用戶觸發(fā)的圖像補(bǔ)全指令;
或者,
第二確定模塊,用于確定當(dāng)前采集的用戶的圖像滿足圖像補(bǔ)全條件。
需要說明的是,前述實(shí)施例中對圖像處理方法實(shí)施例的解釋說明也適用于該實(shí)施例的圖像處理裝置,此處不再贅述。
本申請實(shí)施例提供的圖像處理裝置,首先利用結(jié)構(gòu)光,獲取用戶的人體3d模型,然后確定人體3d模型中待補(bǔ)全的目標(biāo)子模型的類型,若人體3d模型中,存在與目標(biāo)子模型的類型相同的第一子模型,則根據(jù)第一子模型,生成第二子模型,從而利用第二子模型,對人體3d模型進(jìn)行補(bǔ)全處理,再根據(jù)補(bǔ)全后的人體3d模型,生成用戶的圖像。由此,實(shí)現(xiàn)了在拍攝過程中,實(shí)時(shí)對人體3d模型進(jìn)行補(bǔ)全,從而使得生成的圖像中,用戶的身體健康完整,提高了圖像的視覺效果,滿足了用戶的需求,且無需用戶手動(dòng)操作,節(jié)省了用戶的精力,改善了用戶體驗(yàn)。
圖4是本申請另一個(gè)實(shí)施例的圖像處理裝置的結(jié)構(gòu)圖。
如圖4所示,在圖3所示的基礎(chǔ)上,該圖像處理裝置,還包括:
第三確定模塊41,用于不存在第一子模型時(shí),根據(jù)用戶的人體3d模型,確定用戶的人體特征信息;
選取模塊42,用于從與目標(biāo)子模型的類型對應(yīng)的子模型庫中,選取與用戶的人體特征信息匹配的第三子模型;
第三處理模塊43,用于利用第三子模型,對人體3d模型進(jìn)行補(bǔ)全處理。
第四確定模塊44,用于根據(jù)人體3d模型,確定第三子模型的深度信息。
需要說明的是,前述實(shí)施例中對圖像處理方法實(shí)施例的解釋說明也適用于該實(shí)施例的圖像處理裝置,此處不再贅述。
本申請實(shí)施例提供的圖像處理裝置,首先利用結(jié)構(gòu)光,獲取用戶的人體3d模型,然后確定人體3d模型中待補(bǔ)全的目標(biāo)子模型的類型,若人體3d模型中,存在與目標(biāo)子模型的類型相同的第一子模型,則根據(jù)第一子模型,生成第二子模型,從而利用第二子模型,對人體3d模型進(jìn)行補(bǔ)全處理,再根據(jù)補(bǔ)全后的人體3d模型,生成用戶的圖像。由此,實(shí)現(xiàn)了在拍攝過程中,實(shí)時(shí)對人體3d模型進(jìn)行補(bǔ)全,從而使得生成的圖像中,用戶的身體健康完整,提高了圖像的視覺效果,滿足了用戶的需求,且無需用戶手動(dòng)操作,節(jié)省了用戶的精力,改善了用戶體驗(yàn)。
本發(fā)明再一方面實(shí)施例還提出一種終端。
圖5是本申請一個(gè)實(shí)施例提供的終端的結(jié)構(gòu)圖。
其中,終端的類型很多,可以根據(jù)應(yīng)用需要進(jìn)行選擇,例如:手機(jī)、電腦、相機(jī)等。圖5以終端為手機(jī)進(jìn)行示意。
如圖5所示,該終端包括:處理器51、存儲器52、及圖像處理電路53。
其中,所述存儲器52用于存儲可執(zhí)行程序代碼;所述處理器51通過讀取所述存儲器52中存儲的可執(zhí)行程序代碼,及所述圖像處理電路53輸出的深度圖像,來實(shí)現(xiàn)如前述實(shí)施例中的圖像處理方法。
上述終端中包括圖像處理電路53,圖像處理電路53可以利用硬件和/或軟件組件實(shí)現(xiàn),可包括定義isp(imagesignalprocessing,圖像信號處理)管線的各種處理單元。
圖6為一個(gè)實(shí)施例中圖像處理電路的示意圖。如圖6所示,為便于說明,僅示出與本發(fā)明實(shí)施例相關(guān)的圖像處理技術(shù)的各個(gè)方面。
如圖6所示,圖像處理電路63包括成像設(shè)備610、isp處理器630和控制邏輯器640。成像設(shè)備610可包括具有一個(gè)或多個(gè)透鏡612、圖像傳感器614的照相機(jī)和結(jié)構(gòu)光投射器616。結(jié)構(gòu)光投射器616將結(jié)構(gòu)光投影至被測物。其中,該結(jié)構(gòu)光圖案可為激光條紋、格雷碼、正弦條紋、或者,隨機(jī)排列的散斑圖案等。圖像傳感器614捕捉投影至被測物形成的結(jié)構(gòu)光圖像,并將結(jié)構(gòu)光圖像發(fā)送至isp處理器630,由isp處理器630對結(jié)構(gòu)光圖像進(jìn)行解調(diào)獲取被測物的深度信息。同時(shí),圖像傳感器614也可以捕捉被測物的色彩信息。當(dāng)然,也可以由兩個(gè)圖像傳感器614分別捕捉被測物的結(jié)構(gòu)光圖像和色彩信息。
其中,以散斑結(jié)構(gòu)光為例,isp處理器630對結(jié)構(gòu)光圖像進(jìn)行解調(diào),具體包括,從該結(jié)構(gòu)光圖像中采集被測物的散斑圖像,將被測物的散斑圖像與參考散斑圖像按照預(yù)定算法進(jìn)行圖像數(shù)據(jù)計(jì)算,獲取被測物上散斑圖像的各個(gè)散斑點(diǎn)相對于參考散斑圖像中的參考散斑點(diǎn)的移動(dòng)距離。利用三角法轉(zhuǎn)換計(jì)算得到散斑圖像的各個(gè)散斑點(diǎn)的深度值,并根據(jù)該深度值得到被測物的深度信息。
當(dāng)然,還可以通過雙目視覺的方法或基于飛行時(shí)差tof的方法來獲取該深度圖像信息等,在此不做限定,只要能夠獲取或通過計(jì)算得到被測物的深度信息的方法都屬于本實(shí)施方式包含的范圍。
在isp處理器630接收到圖像傳感器614捕捉到的被測物的色彩信息之后,可被測物的色彩信息對應(yīng)的圖像數(shù)據(jù)進(jìn)行處理。isp處理器630對圖像數(shù)據(jù)進(jìn)行分析以獲取可用于確定和/或成像設(shè)備610的一個(gè)或多個(gè)控制參數(shù)的圖像統(tǒng)計(jì)信息。圖像傳感器614可包括色彩濾鏡陣列(如bayer濾鏡),圖像傳感器614可獲取用圖像傳感器614的每個(gè)成像像素捕捉的光強(qiáng)度和波長信息,并提供可由isp處理器630處理的一組原始圖像數(shù)據(jù)。
isp處理器630按多種格式逐個(gè)像素地處理原始圖像數(shù)據(jù)。例如,每個(gè)圖像像素可具有8、10、12或14比特的位深度,isp處理器630可對原始圖像數(shù)據(jù)進(jìn)行一個(gè)或多個(gè)圖像處理操作、收集關(guān)于圖像數(shù)據(jù)的圖像統(tǒng)計(jì)信息。其中,圖像處理操作可按相同或不同的位深度精度進(jìn)行。
isp處理器630還可從圖像存儲器620接收像素?cái)?shù)據(jù)。圖像存儲器620可為存儲器裝置的一部分、存儲設(shè)備、或電子設(shè)備內(nèi)的獨(dú)立的專用存儲器,并可包括dma(directmemoryaccess,直接直接存儲器存取)特征。
當(dāng)接收到原始圖像數(shù)據(jù)時(shí),isp處理器630可進(jìn)行一個(gè)或多個(gè)圖像處理操作。
在isp處理器630獲取到被測物的色彩信息和深度信息后,可對其進(jìn)行融合,得到三維圖像。其中,可通過外觀輪廓提取方法或輪廓特征提取方法中的至少一種提取相應(yīng)的被測物的特征。例如通過主動(dòng)形狀模型法asm、主動(dòng)外觀模型法aam、主成分分析法pca、離散余弦變換法dct等方法,提取被測物的特征,在此不做限定。再將分別從深度信息中提取到被測物的特征以及從色彩信息中提取到被測物的特征進(jìn)行配準(zhǔn)和特征融合處理。這里指的融合處理可以是將深度信息以及色彩信息中提取出的特征直接組合,也可以是將不同圖像中相同的特征進(jìn)行權(quán)重設(shè)定后組合,也可以有其他融合方式,最終根據(jù)融合后的特征,生成三維圖像。
三維圖像的圖像數(shù)據(jù)可發(fā)送給圖像存儲器620,以便在被顯示之前進(jìn)行另外的處理。isp處理器630從圖像存儲器620接收處理數(shù)據(jù),并對所述處理數(shù)據(jù)進(jìn)行原始域中以及rgb和ycbcr顏色空間中的圖像數(shù)據(jù)處理。三維圖像的圖像數(shù)據(jù)可輸出給顯示器660,以供用戶觀看和/或由圖形引擎或gpu(graphicsprocessingunit,圖形處理器)進(jìn)一步處理。此外,isp處理器630的輸出還可發(fā)送給圖像存儲器620,且顯示器660可從圖像存儲器620讀取圖像數(shù)據(jù)。在一個(gè)實(shí)施例中,圖像存儲器620可被配置為實(shí)現(xiàn)一個(gè)或多個(gè)幀緩沖器。此外,isp處理器630的輸出可發(fā)送給編碼器/解碼器650,以便編碼/解碼圖像數(shù)據(jù)。編碼的圖像數(shù)據(jù)可被保存,并在顯示于顯示器660設(shè)備上之前解壓縮。編碼器/解碼器650可由cpu或gpu或協(xié)處理器實(shí)現(xiàn)。
isp處理器630確定的圖像統(tǒng)計(jì)信息可發(fā)送給控制邏輯器640單元??刂七壿嬈?40可包括執(zhí)行一個(gè)或多個(gè)例程(如固件)的處理器和/或微控制器,一個(gè)或多個(gè)例程可根據(jù)接收的圖像統(tǒng)計(jì)信息,確定成像設(shè)備610的控制參數(shù)。
以下為運(yùn)用圖6中圖像處理技術(shù)實(shí)現(xiàn)圖像處理方法的步驟:
利用結(jié)構(gòu)光,獲取用戶的人體3d模型;
確定所述人體3d模型中待補(bǔ)全的目標(biāo)子模型的類型,其中,所述目標(biāo)子模型為任意人體器官對應(yīng)的模型;
判斷所述人體3d模型中,是否存在第一子模型,所述第一子模型的類型與所述目標(biāo)子模型的類型相同;
若是,則根據(jù)所述第一子模型,生成第二子模型;
利用所述第二子模型對所述人體3d模型進(jìn)行補(bǔ)全處理;
根據(jù)補(bǔ)全后的人體3d模型,生成所述用戶的圖像。
本申請實(shí)施例提供的終端,首先利用結(jié)構(gòu)光,獲取用戶的人體3d模型,然后確定人體3d模型中待補(bǔ)全的目標(biāo)子模型的類型,若人體3d模型中,存在與目標(biāo)子模型的類型相同的第一子模型,則根據(jù)第一子模型,生成第二子模型,從而利用第二子模型,對人體3d模型進(jìn)行補(bǔ)全處理,再根據(jù)補(bǔ)全后的人體3d模型,生成用戶的圖像。由此,實(shí)現(xiàn)了在拍攝過程中,實(shí)時(shí)對人體3d模型進(jìn)行補(bǔ)全,從而使得生成的圖像中,用戶的身體健康完整,提高了圖像的視覺效果,滿足了用戶的需求,且無需用戶手動(dòng)操作,節(jié)省了用戶的精力,改善了用戶體驗(yàn)。
為達(dá)上述目的,本申請實(shí)施例提出了一種計(jì)算機(jī)可讀存儲介質(zhì),其上存儲有計(jì)算機(jī)程序,當(dāng)該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如前述實(shí)施例中的圖像處理方法。
本申請實(shí)施例提供的計(jì)算機(jī)可讀存儲介質(zhì),可以設(shè)置在任意具有攝像功能的終端中,在用戶拍攝圖像時(shí),通過執(zhí)行其上存儲的圖像處理方法,可以實(shí)現(xiàn)在拍攝過程中,實(shí)時(shí)對人體3d模型進(jìn)行補(bǔ)全,從而使得生成的圖像中,用戶的身體健康完整,提高了圖像的視覺效果,滿足了用戶的需求,且無需用戶手動(dòng)操作,節(jié)省了用戶的精力,改善了用戶體驗(yàn)。
為達(dá)上述目的,本申請實(shí)施例提出了一種計(jì)算機(jī)程序產(chǎn)品,當(dāng)所述計(jì)算機(jī)程序產(chǎn)品中的指令由處理器執(zhí)行時(shí),執(zhí)行如前述實(shí)施例中的圖像處理方法。
本申請實(shí)施例提供的計(jì)算機(jī)程序產(chǎn)品,可以設(shè)置在任意具有攝像功能的終端中,在用戶拍攝圖像時(shí),通過執(zhí)行對應(yīng)圖像處理方法的程序,可以實(shí)現(xiàn)在拍攝過程中,實(shí)時(shí)對人體3d模型進(jìn)行補(bǔ)全,從而使得生成的圖像中,用戶的身體健康完整,提高了圖像的視覺效果,滿足了用戶的需求,且無需用戶手動(dòng)操作,節(jié)省了用戶的精力,改善了用戶體驗(yàn)。
需要說明的是,在本文中,諸如第一和第二等之類的關(guān)系術(shù)語僅僅用來將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開來,而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且,術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、物品或者設(shè)備所固有的要素。在沒有更多限制的情況下,由語句“包括一個(gè)……”限定的要素,并不排除在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同要素。
在流程圖中表示或在此以其他方式描述的邏輯和/或步驟,例如,可以被認(rèn)為是用于實(shí)現(xiàn)邏輯功能的可執(zhí)行指令的定序列表,可以具體實(shí)現(xiàn)在任何計(jì)算機(jī)可讀介質(zhì)中,以供指令執(zhí)行系統(tǒng)、裝置或設(shè)備(如基于計(jì)算機(jī)的系統(tǒng)、包括處理器的系統(tǒng)或其他可以從指令執(zhí)行系統(tǒng)、裝置或設(shè)備取指令并執(zhí)行指令的系統(tǒng))使用,或結(jié)合這些指令執(zhí)行系統(tǒng)、裝置或設(shè)備而使用。就本說明書而言,"計(jì)算機(jī)可讀介質(zhì)"可以是任何可以包含、存儲、通信、傳播或傳輸程序以供指令執(zhí)行系統(tǒng)、裝置或設(shè)備或結(jié)合這些指令執(zhí)行系統(tǒng)、裝置或設(shè)備而使用的裝置。計(jì)算機(jī)可讀介質(zhì)的更具體的示例(非窮盡性列表)包括以下:具有一個(gè)或多個(gè)布線的電連接部(電子裝置),便攜式計(jì)算機(jī)盤盒(磁裝置),隨機(jī)存取存儲器(ram),只讀存儲器(rom),可擦除可編輯只讀存儲器(eprom或閃速存儲器),光纖裝置,以及便攜式光盤只讀存儲器(cdrom)。另外,計(jì)算機(jī)可讀介質(zhì)甚至可以是可在其上打印所述程序的紙或其他合適的介質(zhì),因?yàn)榭梢岳缤ㄟ^對紙或其他介質(zhì)進(jìn)行光學(xué)掃描,接著進(jìn)行編輯、解譯或必要時(shí)以其他合適方式進(jìn)行處理來以電子方式獲得所述程序,然后將其存儲在計(jì)算機(jī)存儲器中。
應(yīng)當(dāng)理解,本發(fā)明的各部分可以用硬件、軟件、固件或它們的組合來實(shí)現(xiàn)。在上述實(shí)施方式中,多個(gè)步驟或方法可以用存儲在存儲器中且由合適的指令執(zhí)行系統(tǒng)執(zhí)行的軟件或固件來實(shí)現(xiàn)。例如,如果用硬件來實(shí)現(xiàn),和在另一實(shí)施方式中一樣,可用本領(lǐng)域公知的下列技術(shù)中的任一項(xiàng)或他們的組合來實(shí)現(xiàn):具有用于對數(shù)據(jù)信號實(shí)現(xiàn)邏輯功能的邏輯門電路的離散邏輯電路,具有合適的組合邏輯門電路的專用集成電路,可編程門陣列(pga),現(xiàn)場可編程門陣列(fpga)等。
需要說明的是,在本說明書的描述中,參考術(shù)語“一個(gè)實(shí)施例”、“一些實(shí)施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)包含于本發(fā)明的至少一個(gè)實(shí)施例或示例中。在本說明書中,對上述術(shù)語的示意性表述不必須針對的是相同的實(shí)施例或示例。而且,描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)可以在任一個(gè)或多個(gè)實(shí)施例或示例中以合適的方式結(jié)合。此外,在不相互矛盾的情況下,本領(lǐng)域的技術(shù)人員可以將本說明書中描述的不同實(shí)施例或示例以及不同實(shí)施例或示例的特征進(jìn)行結(jié)合和組合。
盡管上面已經(jīng)示出和描述了本發(fā)明的實(shí)施例,可以理解的是,上述實(shí)施例是示例性的,不能理解為對本發(fā)明的限制,本領(lǐng)域的普通技術(shù)人員在本發(fā)明的范圍內(nèi)可以對上述實(shí)施例進(jìn)行變化、修改、替換和變型。