圖像處理方法和裝置與流程
本申請涉及一種圖像處理方法和裝置。優(yōu)選的，本申請涉及一種用于在二維顯示模式和三維顯示模式之間進行切換的圖像處理處理方法和裝置。
背景技術：
虛擬現(xiàn)實技術是一種具沉浸感、交互性和構想性的技術，其實現(xiàn)的交互方式之一就是三維立體顯示技術。三維立體顯示可以全面的展現(xiàn)出圖像的位置、層次和縱深，使觀察者更直觀地了解圖像的現(xiàn)實分布狀況，從而更全面了解圖像或立體投影。
目前，在虛擬現(xiàn)實中應用的是雙目立體技術：人的左右眼分別從不同位置和角度觀看同一物體時在雙眼視網膜結像會出現(xiàn)的微小水平像位差，即水平視差。三維立體顯示的基本原理就是要以人工方式來重現(xiàn)視差，即將具有水平視差的左眼圖像和右眼圖像分別輸送給觀察者的左眼和右眼，使得觀察者能夠感知到立體深度，形成立體感。在這個基礎上發(fā)展出各式各樣的三維立體顯示技術，目前相對成熟的是基于眼鏡的三維立體顯示。
實現(xiàn)虛擬現(xiàn)實的現(xiàn)有技術之一的方法流程如圖26所示，其通過虛擬攝像機投影到屏幕上，并通過虛擬攝像機視錐體對人眼視域進行建模。然后將視錐體里的三維物體通過透視投影變化投影在視口上，最后將視口元素渲染到顯示器屏幕。在得到空間任一點在左右圖像中的對應坐標和兩攝像機參數(shù)矩陣的條件下，即可進行空間點的重建，即實現(xiàn)基于人眼視覺原理的虛擬現(xiàn)實顯示。
上述現(xiàn)有技術是目前虛擬現(xiàn)實中立體顯示的主流技術。其核心是獲取三維場景中任一點滿足人眼需求的左右圖像，并將左右圖像分別輸入左眼和右眼，從而產生立體視覺效果。
并且隨著當今社會中圖像處理技術的飛速發(fā)展，增強現(xiàn)實(augmentedreality，簡稱ar)技術也廣泛地應用在圖像處理領域。增強現(xiàn)實(ar)技術是指將通過計算機生成的虛擬對象增加用戶對現(xiàn)實世界感知的技術，可以將虛擬的信息應用到真實世界，并將計算機生成的虛擬物體、場景或系統(tǒng)提示信息疊加到真實場景中，從而實現(xiàn)對現(xiàn)實的增強。增強現(xiàn)實(ar)技術的最大特點是通過三維注冊方法，將虛擬場景與真實場景進行疊加，并允許用戶同時觀看真實場景中的物體和虛擬環(huán)境的物體，獲得超越真實景物的視覺感受和信息服務。增強現(xiàn)實(ar)的關鍵技術包括：虛實物體匹配(又可以稱為三維注冊過程)和三維顯示技術?，F(xiàn)有的三維注冊技術主要包括：基于認知、基于數(shù)字圖像分析和基于視覺的三維環(huán)境注冊方法
虛實物體匹配(即三維注冊過程)是指對真實場景圖像和計算機生成的虛擬對象進行無縫合成。上述無縫合成的具體過程為：首先根據真實場景中的真實對象確定虛擬對象與觀察者之間的關系，然后，通過正確的投影將虛擬對象投影至觀察者的視域范圍?；谝曈X的三維環(huán)境注冊方法采用單攝像頭，利用攝像成像原理對真實場景進行信息采集和轉換，將三維物體圖像轉換為二維圖像，實現(xiàn)把現(xiàn)實環(huán)境的坐標表示為虛擬環(huán)境的坐標；然后，通過識別和確定標識物數(shù)據模型，即將現(xiàn)實環(huán)境坐標系與通過攝像所得到的虛擬坐標系進行比對分析，便可以計算出攝像頭相對于真實場景的位置、方向及角度；有了攝像頭的位置和姿態(tài)參數(shù)后，通過坐標系變換，便可根據現(xiàn)實環(huán)境中的坐標信息計算出虛擬對象在真實場景中的相關信息，即確定所需要添加的虛擬三維物體在真實世界中的正確位置。
概括來說，基于視覺的三維環(huán)境注冊方法是通過真實場景進行信息采集和轉換，并對坐標系進行對比和轉換，計算出虛擬對象在真實場景中位置信息，達到增強現(xiàn)實的目的。
無論是虛擬現(xiàn)實技術還是增強現(xiàn)實技術，都會向用戶提供三維顯示(或立體顯示)。因此，均涉及三維顯示技術，已形成立體視覺。
然而，在實際應用中，仍然存在進行二維顯示(即平面顯示)的需求。
例如，從用戶體驗的角度來說，有很多用戶更喜歡二維顯示的畫面。即便是喜歡立體視覺效果的用戶，在長時間觀看立體視覺效果的影像后也會產生疲勞感，因此需要觀看二維顯示的畫面來進行調節(jié)。
此外，眾所周知，相對于二維顯示而言，三維顯示會需要更大的運算量，因此也需要更高的資源配置。如果資源配置(例如，處理器的運算速度、存儲器的容量、數(shù)據傳輸?shù)乃俾实?達不到三維顯示的要求時，畫面的流暢度就會受到影響，甚至根本無法顯示畫面。這種情況下，則需要解決如何為用戶提供能夠觀看的流暢畫面的問題。
此外，在游戲設計以及影視制品中，為了劇情或者展示效果的需要，可能會在特定的情節(jié)或場景下進行二維畫面的顯示，以達到特殊的效果，如果僅僅進行三維顯示，則顯然是不足的。
由此可見，在現(xiàn)有技術中存在著對二維和三維顯示進行切換的需求，以解決用戶體驗、硬件配置以及游戲和影視等設計需要所提出的上述問題。
并且關于三維立體顯示，從技術層面上講，虛擬顯示技術仍然存在以下問題：
首先，雙目立體技術仍然與觀察自然環(huán)境的三維效果存在差距。究其根本原因是我們只將需要的主要信息通過左右圖像的形式表示出來，而并沒有將場景的全部信息呈現(xiàn)在人眼面前。所以，傳統(tǒng)方法由于場景信息缺失而存在技術壁壘，只能在嚴苛條件下產生立體感，無法呈現(xiàn)出真實和舒適的三維效果。
其次，從算法和成本上講，傳統(tǒng)方法通常利用兩個以上的多相機陣列進行數(shù)據采集，利用多相機陣列來優(yōu)化采集過程，此方法需要的相機數(shù)量大，成本過高，并且大量相機的標定工作繁復。
此外，從實時性上講，傳統(tǒng)方法一定采用左右圖像的兩個或者兩個以上通道的信息，因此信息量大，需要的存儲空間大，傳輸效率低，從而導致運算速度慢，系統(tǒng)實時性差的問題。因此，找到一種存儲空間大而又易于傳輸?shù)臄?shù)據方式提高傳輸效率和運算速度，增強系統(tǒng)的實用性顯得尤為重要。
并且在增強現(xiàn)實系統(tǒng)中，虛擬對象的三維注冊必須滿足正確性和魯棒性。因此，在不同的研究環(huán)境下，滿足性能要求的三維注冊技術是目前增強現(xiàn)實系統(tǒng)的瓶頸。
然而，從其技術層面上講，上述方案采用的單攝像頭圖像轉換過程只能獲取平面信息，是無法獲取真實場景的三維信息，其中，三維信息主要指相位信息。因為攝像成像只記錄了被攝物體表面光線強弱的變化，只能存貯被攝物體光強度的空間分布，即振幅信息。無法記錄光波的相位信息，即無法獲取深度信息。這樣就導致虛擬對象只能出現(xiàn)在真實場景的一個二維平面上。因此，從三維注冊技術的性能評價標準上來看，基于視覺的三維環(huán)境注冊方法沒有考慮魯棒性，無法抵抗裁剪、壓縮、濾波和噪聲等方面的攻擊。
由此可見，作為向用戶提供三維顯示圖像的技術，無論是虛擬現(xiàn)實技術還是增強現(xiàn)實技術，均存在需要改善的問題。
并且，在提出新的三維立體顯示的技術時，又存在三維立體顯示與二維平面顯示這兩種模式的關聯(lián)問題，即尋找不到好的方式能夠將三維立體顯示與二維平面顯示這兩種模式進行整合。
由此可見，現(xiàn)有技術存在以下技術問題：1)過多的三維立體顯示或過多的二維立體顯示導致的用戶體驗劣化；2)通過配置較低的裝置進行三維立體顯示時可能會出現(xiàn)無法顯示或顯示質量低劣的情況；3)應用以及展示的內容需要三維顯示和二維顯示的切換；4)當前的三維立體顯示技術成本過高、工作繁復、傳輸效率低以及運算速度慢；5)三維立體顯示與二維平面顯示這兩種模式的實現(xiàn)方式不能很好地關聯(lián)整合的問題；6)計算機全息圖進行再現(xiàn)時存在零級衍射光斑和共軛像導致衍射效率不高，信噪比很低的問題。
因此，迫切需要提出技術以解決上面所列出的技術問題。
技術實現(xiàn)要素：
針對現(xiàn)有技術中存在的問題，本申請?zhí)岢鲆环N用于能夠在三維顯示和二維顯示之間進行切換的圖像處理方法和裝置以解決現(xiàn)有技術中存在的問題。
根據本申請的一個方面，提供一種圖像處理方法，包括：獲取數(shù)字全息圖；根據預定條件，確定是否進行三維顯示。以及當確定進行三維顯示時，基于所述數(shù)字全息圖生成用于三維顯示的圖像；或當確定不進行三維顯示時，基于所述數(shù)字全息圖生成用于二維顯示的圖像。
根據本申請的另一個方面，提供一種圖像處理裝置，包括：全息圖獲取模塊，用于獲取數(shù)字全息圖；確定模塊，用于根據預定條件，確定是否進行三維顯示；三維圖像生成模塊，用于當確定進行三維顯示時，基于所述數(shù)字全息圖生成用于三維顯示的圖像；二維圖像生成模塊，用于當確定不進行三維顯示時，基于所述數(shù)字全息圖生成用于二維顯示的圖像。
根據本申請的另一個方面，提供一種圖像處理方法，包括：獲取數(shù)據流，所述數(shù)據流包括數(shù)字全息圖序列；根據預定條件，確定是否進行三維顯示；以及當確定進行三維顯示時，基于所述數(shù)字全息圖序列中的數(shù)字全息圖生成用于三維顯示的圖像；或當確定不進行三維顯示時，基于所述數(shù)字全息圖序列中的數(shù)字全息圖生成用于二維顯示的圖像。
根據本申請的另一個方面，提供一種圖像處理裝置，包括：數(shù)據流獲取模塊，用于獲取數(shù)據流，所述數(shù)據流包括數(shù)字全息圖序列；確定模塊，用于根據預定條件，確定是否進行三維顯示；三維圖像生成模塊，用于當確定進行三維顯示時，基于所述數(shù)字全息圖序列中的數(shù)字全息圖生成用于三維顯示的圖像；以及二維圖像生成模塊，用于當確定不進行三維顯示時，基于所述數(shù)字全息圖序列中的數(shù)字全息圖生成用于二維顯示的圖像。
通過本申請的圖像處理方法和裝置，能夠解決現(xiàn)有技術中存在的問題，從而可以提高用戶體驗、靈活的適用于各種硬件配置并且增強游戲以及展示內容等應用的表現(xiàn)力。
附圖說明
此處所說明的附圖用來提供對本申請的進一步理解，構成本申請的一部分，本申請的示意性實施例及其說明用于解釋本申請，并不構成對本申請的不當限定。在附圖中：
圖1是示出根據本申請實施例1的圖像處理方法的流程圖；
圖2是示出根據本申請實施例2的圖像處理裝置的示意圖；
圖3是示出根據本申請實施例3的圖像處理方法的流程圖；
圖4是示出根據本申請實施例4的圖像處理裝置的示意圖；
圖5是示出了根據本申請實施例5的圖像處理系統(tǒng)的示意圖；
圖6是示出了根據本申請實施例5中的圖像處理裝置在接收到用戶指令后的流程圖；
圖7是示出了根據本申請實施例5中的圖像處理裝置在接收到數(shù)字全息圖之后的流程圖；
圖8是示出根據本申請實施例5的形成立體視覺的方法的流程圖；
圖9是對圖5中的步驟做出進一步說明的流程示意圖。
圖10(a)至圖10(d)是說明根據實施例5的方法的效果圖；
圖11(a)至圖11(d)是說明進行魯棒性檢測的效果圖；
圖12是根據本申請的根據全息圖再現(xiàn)左圖像和右圖像的示意圖；
圖13是根據本申請實施例5的根據數(shù)字全息圖進行二維顯示的方法流程；
圖14(a)是模擬基于來自虛擬對象的物光波的傅里葉頻域的示意圖；
圖14(b)是示出了所述數(shù)字全息圖的傅里葉頻譜分布的示意圖；
圖15(a)和圖15(b)是分別示出了實際的數(shù)字全息圖以及相應的傅里葉頻譜分布圖的示意圖；
圖16(a)是示出了對數(shù)字全息圖的傅里葉頻譜進行濾波后的頻譜的示意圖；
圖16(b)是示出了對數(shù)字全息圖的傅里葉頻譜進行頻移后的頻譜分布的示意圖；
圖17是示出了根據實施例5的變形例所述的用于生成數(shù)字全息圖的方法的流程圖；
圖18是示出了根據本申請實施例6的圖像處理系統(tǒng)的示意圖；
圖19是示出了根據本申請實施例6中的圖像處理裝置在接收到資源配置測試參數(shù)后的流程圖；
圖20是示出了根據本申請實施例7的圖像處理系統(tǒng)的示意圖；
圖21是示出了根據本申請實施例7的圖像處理裝置在接收到應用指示后的流程圖；
圖22是示出了根據本申請實施例8的圖像處理系統(tǒng)的示意圖；
圖23是示出了根據本申請實施例8中的圖像處理裝置在接收到資源配置測試參數(shù)后的流程圖；
圖24是示出了根據本申請實施例8中的圖像處理裝置在接收到用戶指令后的流程圖；
圖25是示出了根據本申請實施例8中的圖像處理裝置在接收到應用指示后的流程圖；
圖26是根據現(xiàn)有技術的用于形成立體視覺的方法的流程圖；
圖27是根據現(xiàn)有技術的基于數(shù)字全息圖進行二維顯示的方法的流程圖。
具體實施方式
為了使本技術領域的人員更好地理解本申請方案，下面將結合本申請實施例中的附圖，對本申請實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本申請一部分的實施例，而不是全部的實施例。基于本申請中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都應當屬于本申請保護的范圍。
需要說明的是，本申請的說明書和權利要求書及上述附圖中的術語“第一”、“第二”等是用于區(qū)別類似的對象，而不必用于描述特定的順序或先后次序。應該理解這樣使用的數(shù)據在適當情況下可以互換，以便這里描述的本申請的實施例能夠以除了在這里圖示或描述的那些以外的順序實施。此外，術語“包括”和“具有”以及他們的任何變形，意圖在于覆蓋不排他的包含，例如，包含了一系列步驟或模塊或單元的過程、方法、系統(tǒng)、產品或設備不必限于清楚地列出的那些步驟或模塊或單元，而是可包括沒有清楚地列出的或對于這些過程、方法、產品或設備固有的其它步驟或模塊或單元。
實施例1
附圖1示出了根據實施例1的圖像處理方法的流程圖，如附圖1所示，該方法包括：
s102：獲取數(shù)字全息圖；以及
s104：根據預定條件，確定是否進行三維顯示；以及
s106：當確定進行三維顯示時，基于所述數(shù)字全息圖生成用于三維顯示的圖像；或
s108：當確定不進行三維顯示時，基于所述數(shù)字全息圖生成用于二維顯示的圖像。
在實施例1的技術方案中，根據預定條件基于所述數(shù)字全息圖生成用于三維顯示的圖像或用于二維顯示的圖像，從而實現(xiàn)了三維顯示和二維顯示之間的切換。并且尤其是，用于進行三維顯示的圖像和用于進行二維顯示的都是基于數(shù)字全息圖產生的，從而使得進行三維顯示和進行二維顯示的這兩種模式的實現(xiàn)方式通過數(shù)字全息圖這一關鍵特征而整合在一起。從而在進行顯示時，只需要提供數(shù)字全息圖即可，而不需要提供其他的圖像數(shù)據，從而提高了整合的效率以及數(shù)據傳輸、數(shù)據處理的效率。需要說明的是，實施例1的技術方案對于生成用于三維顯示的圖像的方式沒有特別限制，凡是通過數(shù)字全息圖生成三維顯示的圖像的方式都可用于本申請。
可選地，所述方法還包括接收來自用戶的用戶指示或從正在運行的應用接收應用指示，并且所述根據預定條件，確定是否進行三維顯示，包括：根據所述用戶指示確定是否進行三維顯示；或者根據所述應用指示來確定是否進行三維顯示。從而根據本方案，可以根據用戶的指示在二維顯示和三維顯示之間進行切線，從而提高了用戶體驗。并且根據本技術方案，可以根據正在運行的應用(如正在運行的游戲以及正在演示的視頻等)的要求，實現(xiàn)三維和二維顯示的切換，增強了所述應用的顯示效果以及用戶體驗。
可選地，所述方法還包括對進行圖像處理和/或進行圖像顯示的裝置的相關參數(shù)進行檢測。并且所述根據預定條件，確定是否進行三維顯示，還包括：在根據所述用戶指示或根據所述應用指示確定進行三維顯示后，進一步根據所述相關參數(shù)確定是否進行三維顯示。從而根據本方案，在進行三維顯示時，本方法還可以對進行圖像處理和顯示的裝置的相關參數(shù)進行檢測(例如，處理器的運算速度、存儲器容量的大小、數(shù)據傳輸?shù)乃俾实?，從而確定是否適于進行三維顯示，如果確定該裝置能夠進行三維顯示時，則生成三維顯示的圖像，否則就進行二維顯示。這樣可以靈活地根據資源配置實現(xiàn)三維和二維顯示之間的切換，從而提升了顯示的速度和效果。
可選地所述方法還包括對進行圖像處理和/或進行圖像顯示的裝置的相關參數(shù)進行檢測。并且所述根據預定條件，確定是否進行三維顯示，包括：根據所述相關參數(shù)，確定是否進行三維顯示。從而根據本方案，在進行三維顯示時，本方法還可以對進行圖像處理和顯示的裝置的相關參數(shù)進行檢測(例如，處理器的運算速度、存儲器容量的大小、數(shù)據傳輸?shù)乃俾实?，從而確定是否適于進行三維顯示，如果確定該裝置能夠進行三維顯示時，則生成三維顯示的圖像，否則就進行二維顯示。這樣可以靈活地根據資源配置實現(xiàn)三維和二維顯示之間的切換，從而提升了顯示的速度和效果。
可選地，所述方法還包括接收來自用戶的用戶指示或者從正在運行的應用接收應用指示。并且所述根據預定條件，確定是否進行三維顯示，包括：在根據所述相關參數(shù)確定不進行三維顯示之后，直接確定不進行三維顯示。也就是說，根據相關參數(shù)判定的結果具有最高的優(yōu)先級，當根據相關參數(shù)判定不能進行三維顯示時，則無需考慮用戶指示或者應用指示而只進行二維顯示。
可選地，所述方法還包括接收來自用戶的用戶指示或者從正在運行的應用接收應用指示。并且，在根據所述相關參數(shù)確定進行三維顯示之后，所述根據預定條件，確定是否進行三維顯示，還包括：根據所述用戶指示，確定是否進行三維顯示；或者根據所述應用指示確定是否進行三維顯示。也就是說，只有在根據相關參數(shù)判定可以進行三維顯示時，才會根據用戶指示或應用指示來判定是否進行三維顯示。進一步說明書根據相關參數(shù)做出的決定相對于用戶指示和應用指示具有相對較高的優(yōu)先級。
可選地，所述方法還包括接收來自用戶的用戶指示以及從正在運行的應用接收應用指示，并且所述根據預定條件，確定是否進行三維顯示，包括：根據所述用戶指示確定是否進行三維顯示；或者根據所述用戶指示，確定基于所述應用指示來確定是否進行三維顯示。也就是說，相對于應用指示，用戶指示又具有相對較高的優(yōu)先級。因此需要由用戶指示來確定基于應用指示確定是否進行三維顯示。
可選地，所述獲取數(shù)字全息圖包括：獲取虛擬對象的三維信息；以及根據所述三維信息生成數(shù)字全息圖。并且所述生成用于三維顯示的圖像包括：根據所述數(shù)字全息圖以及與所述數(shù)字全息圖相關的第一參考光信息生成分別對應于左視點和右視點的左圖像和右圖像。
由于根據數(shù)字全息圖生成對應于左視點和右視點的左圖像和右圖像，因此在實際操作中，只需要根據數(shù)字全息圖再現(xiàn)生成系統(tǒng)需要的左右圖像，即可作為信息源輸入虛擬現(xiàn)實系統(tǒng)，從而減少相機數(shù)量和相機標定工作，降低算法和成本代價。并且由于數(shù)字全息圖來記錄三維虛擬對象的信息，因此可以有效地防止場景信息的缺失。
可選地，所述獲取虛擬對象的三維信息，包括：獲取所述虛擬對象的預設記錄距離；以及計算所述虛擬對象在所述預設記錄距離處的波前函數(shù)，其中，所述波前函數(shù)包括振幅信息和相位信息，并且所述根據所述三維信息生成數(shù)字全息圖，包括：根據所述波前函數(shù)以及第二參考光信息計算生成所述數(shù)字全息圖。根據該方法，利用波前函數(shù)以及參考光信息計算生成數(shù)字全息圖，從而整個數(shù)字全息圖的生成過程都是通過計算模擬實現(xiàn)的，因此節(jié)省了生成數(shù)字全息圖的硬件成本。并且由于不需要引入實際的光源以及成像裝置，因此也使得該方法更容易實現(xiàn)。此外，除了上述方法外，任何用于獲取虛擬對象的三維信息以便生成數(shù)字全息圖的方式都適用于本申請，都能得到本技術方案的支持。
可選地，所述第一參考光信息包括與所述左視點和右視點對應的左視點再現(xiàn)參考光信息和右視點再現(xiàn)參考光信息，其中，所述左視點再現(xiàn)參考光信息包括：模擬從與左視點對應的左再現(xiàn)參考光源發(fā)出的光線照射到所述數(shù)字全息圖時的入射角度，所述右視點再現(xiàn)參考光信息包括：模擬從與右視點對應的右再現(xiàn)參考光源發(fā)出的光線照射到所述數(shù)字全息圖時的入射角度。并且所述根據所述數(shù)字全息圖以及與所述數(shù)字全息圖相關的第一參考光信息生成分別對應于左視點和右視點的左圖像和右圖像，包括：基于所述左視點再現(xiàn)參考光信息和右視點再現(xiàn)參考光信息以及所述數(shù)字全息圖生成所述左圖像和右圖像。根據該方法，只需要基于所述參考光信息生成與所述左視點和右視點對應的左視點再現(xiàn)參考光信息和右視點再現(xiàn)參考光信息，再基于所述左視點再現(xiàn)參考光信息和右視點再現(xiàn)參考光信息以及所述數(shù)字全息圖即可生成所述左圖像和右圖像。由于在實際操作中，所述左視點參考光信息和所述右視點參考光信息均可根據所述參考光信息產生(例如根據從所述左視點和右視點發(fā)出的光線照射到所述數(shù)字全息圖時的入射角，基于所述參考光信息生成與所述左視點和右視點對應的左視點再現(xiàn)參考光信息和右視點再現(xiàn)參考光信息)，因此可以僅僅利用參考光信息與所述全息圖即可生成所述左圖像和右圖像，因此減少了生成所述左圖像和右圖像所需的數(shù)據量。此外對于本申請而言，除了該方法之外，其他的用于產生左圖像和右圖像的方法也適用于本申請的技術方案。
可選地，所述預設記錄距離至少為兩個。并且所述計算所述虛擬對象在所述預設記錄距離處的波前函數(shù)，包括：分別計算所述虛擬對象在各個所述預設記錄距離處的波前函數(shù)，并對所述波前函數(shù)進行疊加。以及所述根據所述波前函數(shù)以及第二參考光信息計算生成所述數(shù)字全息圖，包括：根據疊加后的所述波前函數(shù)以及所述第二參考光信息計算生成所述數(shù)字全息圖。
因為三維虛擬對象的波前函數(shù)具有不同的預設記錄距離d(不同的預設記錄距離d對應不同的層)，因此將三維虛擬對象在不同預設記錄距離下的波前函數(shù)進行疊加，再與參考光信息結合，形成全息圖的過程就成為分層信息記錄的過程。而全息再現(xiàn)時，只能在對應的再現(xiàn)距離d下，才能夠清晰的再現(xiàn)出相應的再現(xiàn)像，這樣就不會產生相應的干擾。
可選地，所述獲取數(shù)字全息圖包括：獲取真實環(huán)境中真實對象的三維坐標信息，并獲取虛擬對象的三維坐標信息；以及根據所述真實對象的三維坐標信息和所述虛擬對象的三維坐標信息生成所述數(shù)字全息圖。并且所述生成用于三維顯示的圖像包括：根據所述數(shù)字全息圖以及與所述數(shù)字全息圖相關的第一參考光信息生成分別對應于左視點和右視點的左圖像和右圖像。
在本申請的實施例中，真實環(huán)境又可以稱為現(xiàn)實環(huán)境，真實對象又可以稱為現(xiàn)實環(huán)境中的現(xiàn)實物體；虛擬對象為研發(fā)人員通過計算機生成的虛擬物體、場景或系統(tǒng)提示信息中的至少之一。
在本申請的一個可選實施方式中，真實對象的三維坐標信息包括：真實對象的振幅和真實對象的相位；虛擬對象的三維坐標信息包括：虛擬對象的振幅和虛擬對象的相位。
在本發(fā)明實施例中，通過將真實環(huán)境中真實對象的三維坐標信息和虛擬對象的三維坐標信息進行疊加得到目標全息圖，然后，對目標全息圖進行再現(xiàn)使得虛擬對象能夠表示在真實環(huán)境中，采用本發(fā)明實施例不僅達到了增強現(xiàn)實的目的，還可以滿足魯棒性和正確性的性能要求，進而解決了現(xiàn)有的增強現(xiàn)實技術的魯棒性和正確性無法滿足目標需求的技術問題。并且，由于根據數(shù)字全息圖生成對應于左視點和右視點的左圖像和右圖像，因此在實際操作中，只需要根據數(shù)字全息圖再現(xiàn)生成系統(tǒng)需要的左右圖像，即可作為信息源輸入虛擬現(xiàn)實系統(tǒng)，從而減少相機數(shù)量和相機標定工作，降低算法和成本代價。并且由于數(shù)字全息圖來記錄三維虛擬對象的信息，因此可以有效地防止場景信息的缺失。
可選地，獲取真實環(huán)境中真實對象的三維坐標信息，具體為：首先，對真實對象進行全息處理，得到真實對象的全息圖，然后，對真實對象的全息圖進行時頻分析，得到真實對象的波前函數(shù)，其中，真實對象的波前函數(shù)包括真實對象的三維坐標信息。
在本發(fā)明實施例中，可以通過光學衍射對真實環(huán)境中的真實對象進行全息記錄，以獲取真實對象的全息圖，其中，數(shù)字全息技術是指物體反射的光波與參考光波相疊加產生干涉條紋，被記錄的這些干涉條紋稱為全息圖，其中，全息圖在一定的條件下可以再現(xiàn)，以重現(xiàn)原物體逼真的三維像，傳統(tǒng)的全息技術分為光學全息和計算全息。
在獲取到真實對象的全息圖之后，即可以對真實對象的全息圖進行時頻分析、處理得到真實對象的波前函數(shù)，在該波前函數(shù)中包含真實對象的振幅和真實對象的相位信息。
可選地，對真實對象的全息圖進行時頻分析，得到真實對象的波前函數(shù)包括：通過傅里葉變換將真實對象的全息圖變換至頻域空間，然后，在頻域空間對真實對象的全息圖在頻域空間內進行高通濾波，保留得到真實對象的物光波前信息，最后，通過傅里葉逆變換將物光波前信息進行傅里葉逆變換，變換得到真實對象的波前函數(shù)(波前函數(shù)又可以稱為波前復振幅函數(shù))，其中，在得到的波前函數(shù)中包括真實對象的振幅和真實對象的相位。
可選地，獲取虛擬對象的三維坐標信息包括：獲取所述虛擬對象的預設記錄距離；計算所述虛擬對象在所述預設記錄距離處的波前函數(shù)，其中，所述虛擬對象的波前函數(shù)中包括所述虛擬對象的三維坐標信息。
可選地，根據所述真實對象的三維坐標信息和所述虛擬對象的三維坐標信息生成數(shù)字全息圖包括：將所述真實對象的波前函數(shù)和所述虛擬對象的波前函數(shù)進行疊加得到波前信息；以及根據所得到波前信息以及第二參考光信息計算生成所述數(shù)字全息圖。根據該方法，利用波前函數(shù)以及參考光信息計算生成數(shù)字全息圖，從而整個數(shù)字全息圖的生成過程都是通過計算實現(xiàn)的，因此節(jié)省了生成數(shù)字全息圖的硬件成本。此外，除了上述方法外，任何用于獲取虛擬對象的三維信息以便生成數(shù)字全息圖的方式都適用于本申請，都能得到本技術方案的支持
可選地，所述生成用于二維顯示的圖像，是通過在所述數(shù)字全息圖的頻譜中僅保留與生成所述用于二維顯示的圖像相關聯(lián)的波前函數(shù)的頻譜，而濾除其他頻譜實現(xiàn)的。從而，在進行二維顯示時，通過在所述數(shù)字全息圖的頻譜中僅保留與生成所述用于二維顯示的圖像相關聯(lián)的波前函數(shù)的頻譜，而濾除其他頻譜實現(xiàn)的，一方面減少了計算的復雜度，另一方面率除了零級衍射和共軛像的影響，提高了顯示的質量。
可選地，所述生成用于二維顯示的圖像，是通過在所述數(shù)字全息圖的頻譜中保留﹢1級頻譜，并且濾除0級頻譜和﹣1級頻譜而實現(xiàn)的。進一步可選地，所述生成用于二維顯示的圖像，還包括將所述﹢1級頻譜頻移至所述數(shù)字全息圖的頻譜中的所述0級頻譜的位置。通過該方式，在進行二維顯示時，通過在所述數(shù)字全息圖的頻譜中保留與所述用于二維顯示的圖像的波前函數(shù)相關的頻譜，而濾除0級頻譜和﹣1級頻譜而生成用于二維顯示的圖像，從而一方面減少了計算的復雜度，另一方面濾除了零級衍射和共軛像的影響，提高了顯示的質量。
可選地，所述生成用于二維顯示的圖像，包括：對所述數(shù)字全息圖進行傅里葉變換，生成所述數(shù)字全息圖的頻譜；在所述數(shù)字全息圖的頻譜中濾除所述0級頻譜和所述-1級頻譜，并且保留﹢1級頻譜；將所述﹢1級頻譜頻移至所述數(shù)字全息圖的頻譜中的所述0級頻譜的位置；以及對所述頻移后的所述數(shù)字全息圖的頻譜進行逆傅里葉變換，生成用于二維顯示的圖像。這樣通過傅立葉變換實現(xiàn)波前函數(shù)在頻域以及空域之間的轉換，并且通過在所述數(shù)字全息圖的頻譜中僅保留與所述用于二維顯示的圖像的波前函數(shù)相關的頻譜，而濾除其他頻譜而生成用于二維顯示的圖像，從而一方面減少了計算的復雜度，另一方面濾除了零級衍射和共軛像的影響，提高了顯示的質量。
實施例2
附圖2示出了根據本申請實施例2的圖像處理裝置200的示意圖。如圖2所示，該圖像處理裝置200包括：全息圖獲取模塊201，用于獲取數(shù)字全息圖；確定模塊202，用于根據預定條件，確定是否進行三維顯示；三維圖像生成模塊203，用于當確定進行三維顯示時，基于所述數(shù)字全息圖生成用于三維顯示的圖像；二維圖像生成模塊204，用于當確定不進行三維顯示時，基于所述數(shù)字全息圖生成用于二維顯示的圖像。
可選地，所述確定模塊202包括：用于接收來自用戶的用戶指示的客戶指示接收單元或用于從正在運行的應用接收應用指示的應用指示接收單元；以及判定單元，用于根據所述用戶指示或所述應用指示確定是否進行三維顯示。
可選地，所述確定模塊202包括：參數(shù)檢測單元，用于對進行圖像處理和/或進行圖像顯示的裝置的相關參數(shù)進行檢測；以及判定單元，在根據所述用戶指示或根據所述應用指示確定進行三維顯示后，進一步根據所述相關參數(shù)確定是否進行三維顯示。
可選地，所述確定模塊202包括：參數(shù)檢測單元，用于對進行圖像處理和/或進行圖像顯示的裝置的相關參數(shù)進行檢測；以及判定單元，用于根據所述相關參數(shù)確定是否進行三維顯示。
可選地，所述確定模塊202還包括用于接收來自用戶的用戶指示的客戶指示接收單元或用于從正在運行的應用接收應用指示的應用指示接收單元。并且所述判定單元配置為在根據所述相關參數(shù)確定不進行三維顯示之后，直接確定不進行三維顯示。
可選地，所述確定模塊202還包括用于接收來自用戶的用戶指示的客戶指示接收單元或用于從正在運行的應用接收應用指示的應用指示接收單元。并且所述判定單元配置為在根據所述相關參數(shù)確定進行三維顯示之后，根據所述用戶指示，確定是否進行三維顯示；或者根據所述應用指示確定是否進行三維顯示。
可選地，所述全息圖獲取模塊201包括：三維信息獲取單元，用于獲取虛擬對象的三維信息；以及數(shù)字全息圖生成單元，用于根據所述三維信息生成所述數(shù)字全息圖。并且所述三維圖像生成模塊203包括：左右圖像生成單元，用于根據所述數(shù)字全息圖以及與所述數(shù)字全息圖相關的第一參考光信息生成分別對應于左視點和右視點的左圖像和右圖像。
可選地，所述三維信息獲取單元包括：預設記錄距離獲取部件，用于獲取所述虛擬對象的預設記錄距離；以及波前函數(shù)計算部件，用于計算所述虛擬對象在所述預設記錄距離處的波前函數(shù)。其中，所述波前函數(shù)包括振幅信息和相位信息。并且所述全息圖生成單元包括：全息圖計算部件，用于根據所述波前函數(shù)以及第二參考光信息計算生成所述數(shù)字全息圖。由于圖像處理裝置利用波前函數(shù)以及參考光信息計算生成數(shù)字全息圖，從而整個數(shù)字全息圖的生成過程都是通過計算模擬實現(xiàn)的，因此節(jié)省了生成數(shù)字全息圖的硬件成本。并且由于不需要引入光源以及成像裝置，因此也使得該方法更容易實現(xiàn)。
可選地，所述第一參考光信息包括與所述左視點和右視點對應的左視點再現(xiàn)參考光信息和右視點再現(xiàn)參考光信息，其中，所述左視點再現(xiàn)參考光信息包括：模擬從與左視點對應的左再現(xiàn)參考光源發(fā)出的光線照射到所述數(shù)字全息圖時的入射角度，所述右視點再現(xiàn)參考光信息包括：模擬從與右視點對應的右再現(xiàn)參考光源發(fā)出的光線照射到所述數(shù)字全息圖時的入射角度。并且所述左右圖像生成單元包括：左右圖像生成部件，用于基于所述左視點再現(xiàn)參考光信息和右視點再現(xiàn)參考光信息以及所述數(shù)字全息圖生成所述左圖像和右圖像?；谠搱D像處理裝置，只需要基于所述參考光信息生成與所述左視點和右視點對應的左視點再現(xiàn)參考光信息和右視點再現(xiàn)參考光信息，再基于所述左視點再現(xiàn)參考光信息和右視點再現(xiàn)參考光信息以及所述數(shù)字全息圖即可生成所述左圖像和右圖像。由于在實際操作中，所述左視點參考光信息和所述右視點參考光信息均可根據所述參考光信息產生(例如根據從所述左視點和右視點發(fā)出的光線照射到所述數(shù)字全息圖時的入射角，基于所述參考光信息生成與所述左視點和右視點對應的左視點再現(xiàn)參考光信息和右視點再現(xiàn)參考光信息)，因此可以僅僅利用參考光信息與所述全息圖即可生成所述左圖像和右圖像，因此減少了生成所述左圖像和右圖像所需的數(shù)據量。
可選地，所述預設記錄距離至少為兩個。并且所述波前函數(shù)計算部件包括：波前函數(shù)疊加元件，分別計算所述虛擬對象在各個所述預設記錄距離處的波前函數(shù)，并對所述波前函數(shù)進行疊加，以及所述全息圖計算部件包括：數(shù)字全息圖生成元件，用于根據疊加后的所述波前函數(shù)以及所述第二參考光信息計算生成所述數(shù)字全息圖。因為三維虛擬對象的波前函數(shù)具有不同的預設記錄距離d(不同的預設記錄距離d對應不同的層)，因此將三維虛擬對象在不同預設記錄距離下的波前函數(shù)進行疊加，再與參考光信息結合，形成全息圖的過程就成為分層信息記錄的過程。而全息再現(xiàn)時，只能在對應的再現(xiàn)距離d下，才能夠清晰的再現(xiàn)出相應的再現(xiàn)像，這樣就不會產生相應的干擾。
可選地，所述全息圖獲取模塊201包括：三維信息獲取單元，用于獲取真實環(huán)境中真實對象的三維坐標信息，并獲取虛擬對象的三維坐標信息；以及數(shù)字全息圖生成單元，用于根據所述真實對象的三維坐標信息和所述虛擬對象的三維坐標信息生成所述數(shù)字全息圖。并且所述三維圖像生成模塊203包括：左右圖像生成單元，用于根據所述數(shù)字全息圖以及與所述數(shù)字全息圖相關的第一參考光信息生成分別對應于左視點和右視點的左圖像和右圖像。
可選地，所述三維信息獲取單元包括：真實對象全息處理組件，用于對真實對象進行全息處理，得到真實對象的全息圖；以及真實對象函數(shù)組件，用于對真實對象的全息圖進行時頻分析，得到真實對象的波前函數(shù)，其中，真實對象的波前函數(shù)包括真實對象的三維坐標信息。
可選地，所述真實對象函數(shù)組件包括：時頻分析元件，用于對真實對象的全息圖進行時頻分析；波前函數(shù)元件，用于通過傅里葉變換將真實對象的全息圖變換至頻域空間，然后，在頻域空間對真實對象的全息圖在頻域空間內進行高通濾波，保留得到真實對象的物光波前信息，最后，通過傅里葉逆變換將物光波前信息進行傅里葉逆變換，變換得到真實對象的波前函數(shù)(波前函數(shù)又可以稱為波前復振幅函數(shù))。其中，在得到的波前函數(shù)中包括真實對象的振幅和真實對象的相位。
可選地，所述三維信息獲取單元包括：虛擬對象記錄距離獲取組件，用于獲取所述虛擬對象的預設記錄距離；虛擬對象波前函數(shù)計算組件，用于計算所述虛擬對象在所述預設記錄距離處的波前函數(shù)，其中，所述虛擬對象的波前函數(shù)中包括所述虛擬對象的三維坐標信息。
可選地，所述數(shù)字全息圖生成單元包括：波前函數(shù)疊加組件，用于將所述真實對象的波前函數(shù)和所述虛擬對象的波前函數(shù)進行疊加得到波前信息；以及數(shù)字全息圖生成組件，用于根據所得到波前信息以及第二參考光信息計算生成所述數(shù)字全息圖。
可選地，所述生成用于二維顯示的圖像，是通過在所述數(shù)字全息圖的頻譜中僅保留與生成所述用于二維顯示的圖像相關聯(lián)的波前函數(shù)的頻譜，而濾除其他頻譜實現(xiàn)的。
可選地，所述二維圖像生成模塊204包括濾波單元，用于所述數(shù)字全息圖的頻譜中保留﹢1級頻譜，并且濾除0級頻譜和﹣1級頻譜。
可選地，所述二維圖像生成模塊204還包括頻移單元，用于將所述﹢1級頻譜頻移至所述數(shù)字全息圖的頻譜中的所述0級頻譜的位置。
可選地，所述的二維圖像生成模塊204包括：傅里葉變換單元，用于對所述數(shù)字全息圖進行傅里葉變換，生成所述數(shù)字全息圖的頻譜；濾波單元，用于在所述數(shù)字全息圖的頻譜中濾除所述0級頻譜和所述-1級頻譜，并保留﹢1級頻譜；頻移單元，用于將所述﹢1級頻譜頻移至所述數(shù)字全息圖的頻譜中的所述0級頻譜的位置；以及逆傅里葉變換單元，用于對所述頻移后的所述數(shù)字全息圖的頻譜進行逆傅里葉變換，生成用于二維顯示的圖像。
實施例3
附圖3示出了根據本申請的實施例3的圖像處理方法的流程圖。如圖3所示，所述圖像處理方法包括：
s302：獲取數(shù)據流，所述數(shù)據流包括數(shù)字全息圖序列；
s304：根據預定條件，確定是否進行三維顯示；以及
s306：當確定進行三維顯示時，基于所述數(shù)字全息圖序列中的數(shù)字全息圖生成用于三維顯示的圖像；或
s308：當確定不進行三維顯示時，基于所述數(shù)字全息圖序列中的數(shù)字全息圖生成用于二維顯示的圖像。
隨著網絡技術的發(fā)展，通過遠程服務的方式提供三維立體顯示的視頻流將會成為一個趨勢，由于三維顯示技術需要提供左圖像的視頻以及右圖像的視頻，因此勢必導致傳輸?shù)臄?shù)據量過大。根據實施例5，在實施例1的基礎上獲取數(shù)字全息圖序列，從而可以形成左右圖像的視頻流，極大地減少了需要傳輸?shù)臄?shù)量，有利于提供更加優(yōu)質的服務。
此外，關于全息圖序列中的數(shù)字全息圖的獲取和處理，可以參考實施例1中的各個方法，這里不再贅述。
實施例4
附圖4示出了根據本申請的實施例4的圖像處理裝置400的示意圖，如圖4所示，所述圖像處理裝置包括：
數(shù)據流獲取模塊401，用于獲取數(shù)據流，所述數(shù)據流包括數(shù)字全息圖序列；
確定模塊402，用于根據預定條件，確定是否進行三維顯示；
三維圖像生成模塊403，用于當確定進行三維顯示時，基于所述數(shù)字全息圖序列中的數(shù)字全息圖生成用于三維顯示的圖像；以及
二維圖像生成模塊404，用于當確定不進行三維顯示時，基于所述數(shù)字全息圖序列中的數(shù)字全息圖生成用于二維顯示的圖像。
此外，關于全息圖序列中的數(shù)字全息圖的獲取和處理，可以參考實施例2中的各個裝置，這里不再贅述。
實施例5
下面，在實施例5中，將詳細解釋本申請技術方案的各個細節(jié)，為了便于理解本實施例的技術方案，本實例通過以下幾個部分進行說明：
(一)根據實施例5用于基于數(shù)字全息圖進行切換顯示的圖像處理系統(tǒng)；
(二)基于數(shù)字全息圖進行三維顯示形成立體視覺的方法流程；
(三)基于數(shù)字全息圖進行三維顯示形成立體視覺的效果；
(四)獲取數(shù)字全息圖以及基于數(shù)字全息圖生成左右圖像的具體算法及原理；
(五)基于數(shù)字全息圖進行二維顯示(即再現(xiàn)全息圖)的方法流程；
(六)基于數(shù)字全息圖進行二維顯示的具體算法及原理；
(七)實施例5的變形例。
應注意的本實施例僅僅用于對本申請的技術方案進行解釋說明，而不應視為對本申請保護范圍的限定。并且只要沒有相反的，不能結合的啟示，實施例5的技術方案可以與前面的各個實施例進行結合。
為了便于理解，實施例5中示出通過采用虛擬現(xiàn)實技術生成數(shù)字全息圖的技術方案，而在變形例(第(七)部分)中則示出采用增強顯示技術生成數(shù)字全息圖的技術方案。但是無論哪一種技術方案所生成的數(shù)字全息圖，均可用于在三維顯示模式和二維顯示模式之間進行切換。
(一)用于基于數(shù)字全息圖進行切換顯示的圖像處理系統(tǒng)
圖5示出了根據實施例5，用于基于數(shù)字全息圖進行切換顯示的圖像處理系統(tǒng)500的示意圖。如圖5所示，所述的圖像處理系統(tǒng)包括圖像處理裝置510和顯示器520。其中所述圖像處理裝置510包括用戶接口511、全息圖輸入接口512、立體顯示處理模塊513、全息圖再現(xiàn)模塊514、顯示驅動模塊515、判定單元516以及全息圖分配單元517。
其中，所述用戶接口511用于接收來自用戶的關于三維顯示或二維顯示的選擇指令或切換指令，并將用戶指令傳輸至判定單元516。
全息圖輸入接口512接收來數(shù)字全息圖，并將收到的數(shù)字全息圖發(fā)送至全息圖分配單元517。
判定單元516在從用戶接口511接收到用戶的指令后，根據用戶的指令判斷是否進行三維顯示。如果確定進行三維顯示(例如接收到的用戶指令是選擇進行三維顯示的指令或者是切換至三維顯示的指令)，就將進行三維顯示的指示發(fā)送至全息圖分配單元517；否則(例如接收到的用戶指令是選擇進行二維顯示的指令或者是切換至二維顯示的指令)就將進行二維顯示的指示發(fā)送至全息圖分配單元517。
全息圖分配單元517中設置有狀態(tài)寄存器(未示出)，該狀態(tài)寄存器用于保存當前狀態(tài)是用于進行二維顯示還是進行三維顯示，并且該狀態(tài)寄存器從判定單元516接收用于進行三維顯示或進行二維顯示的指示，并根據該指示對保存的狀態(tài)進行更新。所述全息圖分配單元517在從全息圖輸入接口512接收所述數(shù)字全息圖后，根據所述狀態(tài)寄存器中保存的狀態(tài)，將數(shù)字全息圖發(fā)送至三維顯示處理模塊513或二維顯示處理模塊514，以便進行三維顯示或進行二維顯示。
三維顯示處理模塊513用于基于接收的數(shù)字全息圖，根據本實施例第(二)至第(四)部分記載的流程、算法及原理(主要參考與附圖10中的步驟s1006、附圖11中的步驟s1108相關的內容，以及公式(8)和公式(9)的相關內容)，生成用于三維顯示的左圖像和右圖像，并將其傳輸至顯示驅動模塊515。
二維顯示處理模塊514用于基于接收的數(shù)字全息圖，根據本實施例第(五)至第(六)部分記載的流程、算法及原理(主要參考與附圖12中的步驟s1206至s1210相關的內容以及與第(五)部分的內容)，生成用于二維顯示的平面圖像，并將其傳輸至顯示驅動模塊515。
所述顯示驅動模塊515根據所接收的用于三維顯示的左圖像和右圖像或根據接收的用于二維顯示的平面圖像向顯示器520發(fā)送顯示驅動信號，用于進行三維立體顯示或進行二維平面顯示。
附圖6和圖7示出了實施例5的圖像處理裝置510的具體的操作流程圖，其中圖6示出了圖像處理裝置510在接收到用戶的指令后的流程圖，圖7示出了圖像處理裝置510在接收到數(shù)字全息圖之后的流程圖。
如圖6所示，在步驟s602，所述圖像處理裝置510通過用戶接口511接收用戶關于進行三維顯示或二維顯示的選擇指令或切換指令。
在步驟s604，所述圖像處理裝置510通過判定單元516，根據用戶的指令判定是否進行三維顯示。
如果判定單元516確定進行三維顯示，則在步驟s606向全息圖分配單元517的狀態(tài)寄存器發(fā)送進行三維顯示的指示。
如果判定單元516確定不進行三維顯示，則在步驟s610向全息圖分配單元517的狀態(tài)寄存器發(fā)送進行二維顯示的指示。
在步驟s608，所述全息圖分配單元517的狀態(tài)寄存器根據接收到的指示，對存儲在狀態(tài)寄存器中的狀態(tài)進行更新，以便所述全息圖分配單元517在從全息圖輸入接口512接收所述數(shù)字全息圖后，根據所述狀態(tài)寄存器中保存的狀態(tài)，進行三維顯示或二維顯示。
如圖7所示，在步驟s702，所述圖像處理裝置510通過全息圖輸入接口512接收數(shù)字全息圖。
在步驟s704，在所述圖像處理裝置510的全息圖分配單元517根據狀態(tài)寄存器中保存的狀態(tài)判斷是否進行三維顯示。如果判斷結果為“是”，則將數(shù)字全息圖發(fā)送至三維顯示處理模塊513,并進入步驟s706；如果判斷結果為“否”，則將數(shù)字全息圖發(fā)送至二維顯示處理模塊514，并進入步驟s710。
在步驟s708，通過三維顯示處理模塊513，基于所接收的數(shù)字全息圖，并根據本實施例第(二)至第(四)部分記載的流程、算法及原理，生成用于三維顯示的左圖像和右圖像,并傳輸至顯示驅動模塊515。在步驟s710，通過二維顯示處理模塊，基于接收的數(shù)字全息圖，根據本實施例第(五)至第(六)部分記載的流程、算法及原理，生成用于二維顯示的平面圖像，并傳輸至顯示驅動模塊515。
在步驟s708，通過顯示驅動模塊515根據所接收的左圖像和右圖像或根據接收的平面圖像向顯示器520發(fā)送顯示驅動信號，用于進行三維立體顯示或進行二維平面顯示。
以上，介紹了根據實施例5的用于基于數(shù)字全息圖進行切換顯示的圖像處理系統(tǒng)以及所包括的圖像處理裝置的操作流程。應注意，盡管實現(xiàn)圖像處理流程的各個接口和模塊均包括在圖像處理裝置510中，但也可以分布在不同的裝置中彼此分開。并且不同接口和模塊的功能也可以進行適當?shù)恼{整和組合。并且，所述的圖像處理裝置510中的各個接口和模塊也不限于硬件電路，也可以是通過處理器或控制器實現(xiàn)的各個程序模塊或軟件模塊。
通過該實施例的圖像處理系統(tǒng)，可以根據用戶的指令在三維顯示或二維顯示的模式之間進行選擇或切換。從而提供了良好的用戶體驗。
下面將詳細介紹根據本實施例，基于數(shù)字全息圖生成用于三維顯示的左右圖像或用于二維顯示的圖像的方法。
(二)基于數(shù)字全息圖形成立體視覺的方法流程
圖8示出了根據本申請實施例5的用于形成立體視覺從而進行三維顯示的方法流程圖。為了便于理解和說明，實施例5中通過采用虛擬現(xiàn)實技術來生成數(shù)字全息圖。
如圖8所示，所述方法包括：
s802，獲取三維虛擬對象a。即用于虛擬現(xiàn)實時顯示給用戶的三維虛擬對象。其中，本實施例中的虛擬對象是指通過計算模擬產生的三維虛擬對象(而不是真實存在的物體)，例如通過計算模擬產生的人體、物體等的三維立體對象。
s804，全息記錄。即針對所述三維虛擬對象a進行全息記錄產生數(shù)字全息圖。例如通過菲涅耳衍射積分計算方法，得到三維虛擬對象a的波前復振幅函數(shù)(該函數(shù)包括物光的振幅和相位信息)。可選地，將所述三維虛擬對象a的不同層面的不同衍射距離(本文中，衍射距離與前面實施例所述的預設記錄距離相對應，為同一距離在不同應用場景下的表述)下的波前復振幅信息進行疊加，將疊加的波前復振幅函數(shù)記錄在同一張數(shù)字全息圖中，從而對三維物體進行分層數(shù)字全息記錄，完成三維信息獲取。
s806，再現(xiàn)生成左右圖像。即根據虛擬現(xiàn)實系統(tǒng)的視點需求，根據模擬從所述左視點和右視點發(fā)出的光線照射到所述數(shù)字全息圖時的入射角，基于生成所述數(shù)字全息圖的參考光信息，生成與所有視點對應的左右圖像，作為信息源輸入虛擬現(xiàn)實系統(tǒng)中。
為便于理解，結合附圖9簡要解釋關于圖8中的步驟s802至步驟s806。如上面所述，三維虛擬對象a是一個通過模擬計算產生的三維虛擬對象，附圖9中的步驟s902對應于上述步驟s802，圖9中的步驟s904和s906對應于上述的步驟s804，并且圖9中的步驟s908對應于上述步驟s806。如圖9所示，在步驟s902，通過計算機c模擬計算產生關于小汽車的三維虛擬對象a，其中包括三維虛擬對象a的各個點的坐標(x,y,z)等數(shù)據。為了將三維虛擬對象a呈現(xiàn)給用戶以形成虛擬現(xiàn)實的場景并進行三維顯示，需要生成顯示三維虛擬對象a的左圖像和右圖像以分別顯示到用戶的左眼和右眼。為了獲得上述左圖像和右圖像，在步驟s904，計算機c針對三維虛擬對象a通過菲涅耳衍射積分計算方法計算其在衍射距離處的波前復振幅函數(shù)，即，模擬來自三維虛擬對象a的物光在衍射距離處的波前復振幅函數(shù)，其中該波前復振幅函數(shù)包含該物光的振幅和相位信息?？蛇x的，由于三維虛擬對象a是立體的，因此對于其不同的層面，可以根據不同層面的衍射距離分別計算波前復振幅函數(shù)并進行疊加。然后在步驟s906，計算機c根據所獲得的三維虛擬對象a的波前復振幅函數(shù)，計算獲得數(shù)字全息圖。并且在步驟s908，計算機c根據該數(shù)字全息圖計算獲得進行虛擬現(xiàn)實的左圖像和右圖像。其中，關于數(shù)字全息圖以及左圖像和右圖像的產生和計算，將在后面結合附圖10-12進行詳細說明。需要注意的是，盡管為了簡化說明，上述過程都是由相同的計算機c完成的，但是根據具體的實際情況，可以通過不同的計算裝置分別完成上述的各個步驟。下面繼續(xù)介紹附圖8中的步驟。
s808，利用新生成的左右圖像更新左右輸入數(shù)據。
s810，利用更新后的左右輸入數(shù)據進行左右畫面的分屏顯示。
s812，利用顯示設備對左右眼的畫面分別進行過濾，使得左眼畫面只能由左眼看到以及所述右眼畫面只能由右眼看到。
s814，用戶在看到所述左右眼畫面后形成立體的視覺。
可選地，實施例5還包括對全息圖進行魯棒性檢測的流程，具體的，在全息記錄(步驟s804)之后，在步驟s816對生成的數(shù)字全息圖進行魯棒性攻擊，例如，對全息圖進行裁剪、壓縮以及施加噪聲等處理。并且在步驟s818對進行魯棒性攻擊后的全息圖進行再現(xiàn)，以進行魯棒性判斷。從而在通過魯棒性檢測后，在步驟s806，再現(xiàn)生成的左右圖像。
(二)基于數(shù)字全息圖形成立體視覺的技術效果
下面結合圖10中的效果圖，來說明對三維虛擬對象a進行全息記錄以及最終生成左圖像和右圖像的過程。
首先，在步驟s802獲取三維虛擬對象a，如圖10(a)所示。其中圖10(a)示出了關于三維虛擬對象a(即泰迪熊)的圖像。并且其中，圖像大小為360×300，觀測距離(本文中，觀測距離與前面所述的衍射距離以及預設記錄距離相對應，為同一距離在不同應用場景下的表述)為z。
然后，在步驟s804進行全息記錄，即通過菲涅爾衍射積分方法，計算出三維虛擬對象a在觀測距離z(即泰迪熊圖像到全息圖平面的距離)的波前函數(shù)oz，包括振幅和相位信息。即，對泰迪熊圖像進行距離為z的菲涅爾衍射積分運算，并根據預定的參考光信息，模擬與參考光的干涉而計算得到全息圖，從而完成三維信息的記錄。其中，圖10(b)示出了設定從虛擬對象a反射的物光與參考光的夾角為30°時，計算生成的離軸全息圖。
然后在步驟s806再現(xiàn)生成左右圖像，根據模擬從所述左視點和右視點發(fā)出的光線照射到所述數(shù)字全息圖時的入射角，基于生成所述數(shù)字全息圖的參考光信息，計算生成與所有視點對應的左右圖像。其中圖10(c)是根據全息圖圖10(b)，模擬參考光相對于全息圖的入射角為15°時再現(xiàn)的與左視點對應的左圖像，再現(xiàn)距離z＝500mm(即從左視點到全息圖的距離，與上述觀測距離大小相同)，大小為360×300。圖10(d)是根據全息圖圖10(b)，模擬參考光相對于全息圖的入射角為45°時再現(xiàn)的與右視點對應圖像，再現(xiàn)距離z＝500mm(即從右視點到全息圖的距離，與上述觀測距離大小相同)，大小為360×300。
進而在步驟s808，利用生成的左右圖像圖10(c)和圖10(d)，更新左右輸入數(shù)據，并在步驟s810利用更新后的左右輸入數(shù)據進行左右畫面的分屏顯示。并最終在步驟s814形成立體視覺。
由此可見，通過采用數(shù)字全息圖實現(xiàn)立體視覺，不必再象現(xiàn)有技術那樣需要通過虛擬攝像機獲得具有水平視差的左眼圖像和右眼圖像，而僅僅需要生成數(shù)字全息圖，然后根據數(shù)字全息圖生成所述左眼圖像和右眼圖像。從而能夠解決現(xiàn)有技術中存在的生成左圖像和右圖像的成本過高、工作繁復、傳輸效率低以及運算速度慢等問題。從而在降低成本的同時提高了數(shù)據源的可選擇性和自由度。
下面結合圖11中的效果圖，說明對全息圖進行的魯棒性檢測。
其中圖11(a)是對全息圖11(b)進行圓形裁剪攻擊后的全息圖。圖11(b)是利用裁剪后的全息圖再現(xiàn)的圖像，其是模擬參考光相對于全息圖的入射角為30°時再現(xiàn)的圖像，其中的再現(xiàn)距離z＝500mm；而圖11(c)是根據全息圖圖11(a)，模擬參考光相對于全息圖的入射角為15°時再現(xiàn)的與左視點對應的左圖像，再現(xiàn)距離z＝500mm。圖11(d)是根據全息圖圖11(a)，模擬參考光相對于全息圖的入射角為45°時再現(xiàn)的與右視點對應圖像，再現(xiàn)距離z＝500mm。
根據圖11可以看出，本實施例的通過數(shù)字全息圖生成左右圖像的方法具有非常好的魯棒性。
(四)生成全息圖以及再現(xiàn)左右圖像的具體算法及原理；
下面說明本實施例的基于虛擬現(xiàn)實技術生成全息圖以及再現(xiàn)左右圖像進行三維顯示(立體顯示)的具體算法及原理，并且以下記載的用于生成全息圖以及再現(xiàn)左右圖像的方法適用于前面任意一項實施例中的有關生成全息圖以及再現(xiàn)左右圖像的操作。
算法及原理
具體地，算法及原理一是通過菲涅耳衍射積分計算三維虛擬對象的波前復振幅函數(shù)，采用波前信息疊加的方法生成全息圖，具體如下：
步驟1)計算從三維虛擬對象反射的物光的物光波前復振幅
首先，可以通過下述公式1計算衍射距離為d的物光波前復振幅函數(shù)：
其中，d為衍射距離，(x0,y0)為初始物波平面上與坐標x0和y0對應的點，o(x0,y0)為初始物波平面信息函數(shù)，u(x,y)為經過衍射距離為d的物光波前復振幅函數(shù)，λ為物光的波長，j為虛數(shù)單位，k為波數(shù)，x0、y0為原始物平面坐標，x、y為經過衍射距離d衍射的波前函數(shù)平面坐標。
然后，對公式1進行積分處理，將與積分變量無關的項提到積分號前，得到公式2：
從上述公式2中可以看出，公式2是對
在公式3中，△x＝△y是離散傅里葉變換后對應的空域采樣間距，此時，根據傅里葉變換和離散傅里葉變換的關系，可以得到公式4：
另一方面，根據奈奎斯特取樣定理可知，當只有滿足公式6：
因此，以上結果表明，如果保持物平面的取樣間隔和觀測區(qū)域不變，離散傅里葉變換計算結果在觀測平面上的衍射圖樣取樣范圍l不僅是波長λ和取樣數(shù)n的函數(shù)，并且會隨著衍射距離d的增加而增加。當衍射距離很小時，如果取樣數(shù)n保持不變，計算結果只能對應于觀測平面上鄰近光軸很小區(qū)域的衍射圖像。
步驟2)根據全息原理對三維虛擬對象a進行全息制作，即模擬通過參考光干涉物光波前復振幅u(x,y)，得到目標全息圖ih(x,y)，ih(x,y)包含了虛擬對象的三維信息(增幅和相位信息)。在本申請實施例中，可以通過下述公式7計算得到目標全息圖，ih(x,y)＝|r(x,y)+u(x,y)|2
＝|r(x,y)|2+|u(x,y)|2+r*(x,y)u(x,y)+r(x,y)u*(x,y)(公式7)，其中，r(x,y)
表示參考光，u(x,y)表示經過衍射的物光波前復振幅函數(shù)(即，上述波前信息)，r*(x,y)表示參考光共軛，u*(x,y)表示物光波前復振幅函數(shù)共軛。
步驟3)根據虛擬現(xiàn)實系統(tǒng)的視點需求，生成與左視點和右視點對應的左圖像和右圖像。即模擬不同的參考光入射角(即入射的參考光與全息圖的法線的夾角)，對全息圖進行再現(xiàn)。當參考光為r(x,y)，菲涅耳全息圖為ih(x,y)時，再現(xiàn)的光場分布為：
在(公式8)中，f為函數(shù)傅里葉變換符號，d為衍射距離，λ為波長，j為虛數(shù)單位，k為波數(shù)，(x，y)為經過衍射距離d衍射的波前函數(shù)生成的全息圖平面坐標，(x′，y′)為經過參考光照射全息圖生成的再現(xiàn)像平面坐標，(△x′，△y′)對應空域采樣間距。下面，參考附圖12所示對步驟3)做出具體說明。
首先，人眼的視場角范圍是30度到100度，全息再現(xiàn)時，根據人眼視場角范圍選擇符合系統(tǒng)需求的左視點和右視點，并根據參考光設定與左視點和右視點對應的左視點再現(xiàn)參考光和右視點再現(xiàn)參考光。例如，設定再現(xiàn)時再現(xiàn)參考光入射角度為α，則再現(xiàn)參考光的表達式變?yōu)閞(x,y)exp(jkxsinα)。根據公式8，將次再現(xiàn)參考光表達式代入公式8中從而得到下面的公式9：
由公式9可以看出，入射角度只影響到了再現(xiàn)結果的相位信息。因此，選擇兩個不同的入射角度α，即選擇出兩個不同相位信息的再現(xiàn)參考光，從而在對應左右視點上，再現(xiàn)生成系統(tǒng)需要的左右圖像。
(五)基于全息圖進行二維顯示(即再現(xiàn)全息圖)的方法流程
正如背景技術中所述，在實際應用中，仍然存在進行二維顯示(即平面圖像或視頻的顯示)的需求，因此接下來有必要介紹進行二維顯示的技術。
前面在第(一)至第(三)部分詳細介紹了基于數(shù)字全息圖形成立體視覺進行三維顯示的技術方案。那么，如果在此基礎上僅僅單獨地附加一個進行二維顯示的功能，則在提供數(shù)字全息圖的同時，還需要提供一個用于二維顯示的圖像。但實際上，用戶并不一定會總是想觀看二維顯示畫面，因此如果在用戶想體驗立體視覺時提供用于二維顯示的圖像，這無疑對資源是一種浪費。但是由于提供方不清楚用戶會在什么時候需要二維顯示的圖像，因此為了優(yōu)化用戶體驗，也只能在任何時候都提供二維顯示的圖像以供用戶切換，即便這時候用戶可能并不需要。這無疑會進一步引發(fā)成本過高、工作繁復、傳輸效率低以及運算速度慢等問題。
因此，如果能夠對所述數(shù)字全息圖進行再現(xiàn)，從而進行二維顯示，則可以避免在提供數(shù)字全息圖的同時還要單獨提供用于二維顯示的圖像?；诖?，本實施例的改進之一在于，通過數(shù)字全息圖將三維顯示(即，虛擬現(xiàn)實或立體視覺)和二維顯示(即全息圖再現(xiàn))有機地結合起來，從而只需要提供數(shù)字全息圖，根據用戶的選擇或指示，生成用于三維顯示的圖像或用于二維顯示的圖像。
目前全息再現(xiàn)(即二維顯示)的主流技術，其核心是全息記錄的逆過程。從圖像處理角度上，全息記錄是通過參考光對物波信號進行頻域調制。而全息再現(xiàn)則是對信號調制結果進行解調，從而恢復原來的圖像信號。然而，從技術層面上講，采用傳統(tǒng)的信號調制和解調方式對全息圖進行再現(xiàn)，所得到的再現(xiàn)像光場包括：存在零級衍射光、再現(xiàn)像和共軛像，其中只有再現(xiàn)像(+1級衍射光)是我們所需要的信號。因此，由于零級衍射光斑和共軛像的存在，影響了再現(xiàn)像質量，使再現(xiàn)像的信噪比很低。其次，從衍射效率上講，采用傳統(tǒng)的再現(xiàn)方法不能夠通過全息圖得到單一的再現(xiàn)圖像，其衍射效率不高。
因此本實施例的改進之一在于提供數(shù)字全息圖再現(xiàn)的方法，在實現(xiàn)全息再現(xiàn)的同時，減少了傳統(tǒng)再現(xiàn)像光場中的零級衍射光和共軛像對再現(xiàn)像的干擾，提高再現(xiàn)像的信噪比和衍射效率。
圖13示出了根據本實施例5的根據數(shù)字全息圖進行二維顯示(即再現(xiàn)全息圖)的方法流程。
其中步驟s1302和步驟s1304是用于獲取數(shù)字全息圖的步驟，其與圖8中的步驟s802和s804一致，在這里不再贅述。但是需要注意的是，盡管實施例5中是通過對虛擬對象進行模擬運算的方式產生數(shù)字全息圖，但這只是為了進行實例性說明。實際上，其他的用于生成數(shù)字全息圖的方式，也適用于本申請，只要能夠通過該數(shù)字全息圖獲得用于三維圖像顯示的圖像和用于二維顯示的圖像即可。例如，在下文的變形例中，將說明另外一種根據增強現(xiàn)實技術的適用于本申請生成數(shù)字全息圖的方法。從而進一步說明本申請的技術方案相對于用于生成數(shù)字全息圖的不同方法而言，具有通用性。
這里關鍵是如何對數(shù)字全息圖進行再現(xiàn)，從而生成二維圖像。
如圖13所示，在步驟s1306，對獲得的數(shù)字全息圖進行傅里葉變換，從而得到數(shù)字全息圖的頻譜；
在步驟s1308，對數(shù)字全息圖的頻譜進行濾波和頻移，從而選擇出與物光波前信息相關的頻譜部分，即﹢1級頻譜；
在步驟s1310，對濾波和頻移后的頻譜部分進行傅里葉逆變換，從而實現(xiàn)數(shù)字全息圖的再現(xiàn)，得到用于二維顯示的圖像。
其中有關數(shù)字全息圖頻譜的濾波和頻移的內容將在后面詳細描述。
此外，可選地，還包括在步驟s1312，將獲得的用于二維顯示的圖像與所述虛擬對象a進行對比以檢驗數(shù)字全息圖再現(xiàn)的效果。
采用圖13所述的方法，由于減少了傳統(tǒng)再現(xiàn)像光場中的零級衍射光(對應0級頻譜)和共軛像(對應-1級頻譜)的干擾，因此提高了再現(xiàn)像的信噪比和衍射效率。
(六)基于數(shù)字全息圖進行二維顯示的具體算法及原理
下面介紹基于數(shù)字全息圖進行二維顯示(即全息圖再現(xiàn))的具體算法及原理，其中關于數(shù)字全息圖的形成部分與第(四)部分中介紹的相同，這里不再贅述。根據第(四)部分中的說明可知，生成的數(shù)字全息圖由公式7表示：
ih(x,y)＝|r(x,y)+u(x,y)|2
＝|r(x,y|2+|u(x,y)|2+r*(x,y)u(x,y)+r(x,y)u*(x,y)(公式7)
其中，r(x,y)表示參考光，u(x,y)表示經過衍射的物光波前復振幅函數(shù)(即，上述波前信息)，r*(x,y)表示參考光共軛，u*(x,y)表示物光波前復振幅函數(shù)共軛。
然后對公式7所示的數(shù)字全息圖進行傅里葉變換，從而得到公式10所表示的頻譜：
t(ξ,η)＝t0(ξ,η)+g(ξ-α,η-β)+g*(ξ-α,η-β)(公式10)
在公式10中，t0(ξ,η)表示物光波衍射波前復振幅的自相關項和直流項的傅里葉頻譜部分(即，0級頻譜)，是低頻信息；g(ξ-α,η-β)表示物光波衍射波前復振幅的傅里葉頻譜部分(即，﹢1級頻譜)，g*(ξ-α,η-β)表示共軛項信息的傅里葉頻譜(即，﹣1級頻譜)，其中α和β為載頻。
其中，數(shù)字全息圖的頻譜分布的示意圖如圖14(a)和圖14(b)所示。其中圖14(a)示出了模擬基于來自虛擬對象的物光波的傅里葉頻譜分布，而圖14(b)則示出了所述數(shù)字全息圖的傅里葉頻譜分布。
如圖14(a)所示，模擬基于來自虛擬對象的物光波的傅里葉頻域中的范圍為bx×by。圖14(b)中最右側的矩形表示來自虛擬對象的物光波的頻率信息(即，﹢1級頻譜)，即g(ξ-α,η-β)；圖14(b)中左側的矩形表示共軛物光波的頻率信息(即，﹣1級頻譜)，即g*(ξ-α,η-β)；圖14(b)中的中心原點處的矩形表示直流項頻率部分(即，0級頻譜)，即t0(ξ,η)。
其中，圖15中進一步示出了實際的數(shù)字全息圖(圖15a)以及相應的傅里葉頻譜分布圖(圖15b)。
根據上述的頻譜分布，可以對頻譜進行直接操作，從而對頻譜進行濾波和頻移，從而僅僅保留來自虛擬對象的物光波的頻率信息(即，﹢1級頻譜)，即g(ξ-α,η-β)。
圖16示出了對數(shù)字全息圖的頻譜進行濾波和頻移的示意圖。圖16(a)示出了濾波后的效果，其中表示共軛物光波的頻率信息(即，﹣1級頻譜，g*(ξ-α,η-β))以及表示直流項頻率部分(即，0級頻譜，即t0(ξ,η))被濾除，從而僅僅保留表示來自虛擬對象的物光波的頻率信息(即，﹢1級頻譜)，即g(ξ-α,η-β)。圖16(b)示出了頻移后的頻譜分布，其中表示來自虛擬對象的物光波的頻率信息被頻移到中心原點，從而得到模擬來自虛擬對象的物光波的傅里葉頻譜分布。
接下來對圖16(b)所示出的頻譜部分進行傅里葉逆變換，即可得到虛擬對象的物光衍射波前復振幅函數(shù)。從而可以完成全息再現(xiàn)，得到用于二維顯示的圖像。并且再現(xiàn)的二維顯示的圖像的信噪比和衍射效率均能達到較優(yōu)水平。
應注意的是，數(shù)字全息圖的頻譜成分也是包括很多物波相關的高頻信息的(例如±2級、±3級……等頻譜)。但是這些高頻信息的強度相對于0級和±1級頻譜信息的強度而言，是極其微弱的。因此，在實施例中，僅示出對這3個頻譜(0級和±1級頻譜)進行的處理，但并不代表本申請的保護范圍僅限于對這3個頻譜進行處理。
(七)變形例
下面繼續(xù)說明本申請的實施例5的變形例，其中該變形例與實施例5上述方案的區(qū)別在于數(shù)字全息圖的生成方法，但是對于如何根據該數(shù)字全息圖生成用于三維顯示的左右圖像或者生成用于二維顯示的圖像，則與實施例5上述方案一致。該變形例的內容分為以下部分：(1)生成數(shù)字全息圖的方法流程；(2)生成數(shù)字全息圖的原理；(3)生成用于三維顯示和二維顯示的圖像；(4)本變形例的技術效果。
(1)生成數(shù)字全息圖的方法流程
在該變形例中，通過采用顯示增強技術中三維注冊的方法生成數(shù)字全息圖。圖17示出了根據實施例5的變形例，用于生成數(shù)字全息圖的方法的流程圖。
步驟s1701，獲取真實環(huán)境下真實對象a的三維坐標信息
在本變形例中，可以通過光學衍射對真實環(huán)境中的真實對象進行全息記錄，然后，將真實環(huán)境的三維坐標信息記錄于光學全息圖中。例如，對任意圖像進行距離為z1(其中，z1即為上述的衍射距離)的菲涅爾衍射積分計算，并與參考光干涉得到一個全息圖，以模擬真實環(huán)境的光學全息過程。然后，將此全息圖進行二維傅里葉變換，在頻域空間內進行高通濾波，僅保留物光波前信息相關的部分，再對此部分進行傅里葉逆變換，得到真實環(huán)境中真實對象的波前復振幅函數(shù)(又可以稱為波前函數(shù))，其中，波前復振幅函數(shù)中包含三維坐標信息
步驟s1702，獲取虛擬對象的三維坐標信息
在本變形中，可以通過菲涅耳衍射積分計算方法，得到三維虛擬對象a的波前復振幅函數(shù)
步驟s1703，將真實對象a的三維坐標信息
步驟s1704，基于疊加得到的波前信息制作目標全息圖；
在本變形例中，可以對真實環(huán)境中真實對象的三維坐標信息和虛擬對象的波前函數(shù)進行疊加，疊加的結果仍是波前復振幅函數(shù)。并根據全息原理，對疊加的結果進行全息圖制作。
步驟s1705，對目標全息圖進行魯棒性檢測。
由此可見，在變形例中，還可以根據增強現(xiàn)實技術中的三維注冊方法的性能評價標準，對虛實信息交織的結果進行攻擊，對本方案的魯棒性進行檢測和驗證。
(2)生成數(shù)字全息圖的原理。
下面將結合本變形例第(1)部分中說明的方法流程，對本實施例生成數(shù)字全息圖的原理進行說明：
關于步驟s1702中所述的獲取虛擬對象的三維坐標信息
關于步驟s1701中所述的獲取真實環(huán)境下真實對象a的三維坐標信息
關于步驟s1703所述的將真實對象a的三維坐標信息
關于步驟s1704所述的基于疊加得到的波前信息制作目標全息圖，可以基于步驟s1703中得到的波前信息u1(x,y)，參考本實施例第(三)部分(“生成全息圖以及再現(xiàn)左右圖像的具體算法及原理”)中的步驟2)中記載的方法，根據公式7獲得目標全息圖。在這里不再贅述。
通過以上方式即可生成數(shù)字全息圖。
(3)生成用于三維顯示和二維顯示的圖像
可以參考本實施例第(三)部分(“生成全息圖以及再現(xiàn)左右圖像的具體算法及原理”)中的步驟3)，生成左圖像和右圖像，并且可以參考本實施例的第(四)部分(“基于全息圖進行二維顯示(即再現(xiàn)全息圖)的方法流程”)和第(五)部分(“基于數(shù)字全息圖進行二維顯示的具體算法及原理”)來生成用于三維顯示和用于二維顯示的圖像。在這里不再贅述。
(4)變形例的技術效果
在本變形例提供的圖像處理方法和裝置中，將數(shù)字全息和計算機全息技術應用于增強現(xiàn)實系統(tǒng)中，該方法和裝置帶來的優(yōu)點包括以下至少之一：
本發(fā)明根據光學全息原理得到真實環(huán)境中真實對象的全息圖，將此全息圖進行二維傅里葉變換，并在頻率進行高通濾波，僅保留物光波前信息相關的部分，再對此部分進行傅里葉逆變換，得到真實環(huán)境中真實對象的波前函數(shù)。此波前函數(shù)是真三維信息，包含真實環(huán)境中真實對象的振幅信息和相位信息。
根據菲涅爾衍射原理和根據衍射距離計算出虛擬對象的波前函數(shù)，并與真實環(huán)境中真實對象的波前函數(shù)疊加，用于全息圖(此處的全息圖即為上述的目標全息圖)的分層記錄。通過全息圖可以對真實環(huán)境和虛擬對象進行分層信息記錄。而全息再現(xiàn)時，分層記錄的信息(真實環(huán)境和虛擬對象)不會相互干擾，使得全息圖能夠存儲巨大的信息量。
抗撕毀性是全息技術的最重要特性。本發(fā)明將全息技術引入三維注冊中，能夠增強系統(tǒng)在裁剪、壓縮、濾波和噪聲等方面攻擊的抵抗性，從而滿足性能的魯棒性。
當然，本申請所提出的基于數(shù)字全息圖在三維顯示和二維顯示之間進行切換的圖像處處理方法和圖像處理裝置并不限于實施例5及其變形例中所述記載的數(shù)字全息圖，只要是可以用于獲得用于三維顯示的圖像以及用于二維顯示的圖像的數(shù)字全息圖的技術方案都適用于本申請。
實施例6
下面介紹根據本申請實施例6，其中附圖18示出了根據實施例6，用于基于數(shù)字全息圖實現(xiàn)二維顯示和三維顯示的切換的圖像處理系統(tǒng)1800的示意圖。
如圖18所示，所述的圖像處理系統(tǒng)1800包括圖像處理裝置1810和顯示器1820。其中所述顯示裝置1810包括參數(shù)輸入接口1811、全息圖輸入接口1812、三維顯示處理模塊1813、二維顯示處理模塊1814、顯示驅動模塊1815、判定單元1816以及全息圖分配單元1817。
其中關于全息圖輸入接口1812、全息圖分配單元1817、三維顯示處理模塊1813、二維顯示處理模塊1814以及顯示驅動模塊1815的功能均與實施例5所述的圖像處理裝置中對應的全息圖輸入接口512、全息圖分配單元517、三維顯示處理模塊513、二維顯示處理模塊514以及顯示驅動模塊515的功能相同。并可以參考實施例5中所說明的內容執(zhí)行上述各個部件的操作，這里不再贅述，下面重點介紹參數(shù)輸入接口1811以及判定單元1816的操作。
其中參數(shù)輸入接口1811用于接收與該圖像處理系統(tǒng)1800的運行相關的資源配置測試參數(shù)(例如處理器的運行速度以及負載、緩存的剩余空間、當前資源占有率、網速以及接收數(shù)字全息圖時的數(shù)據率等等)，并將接收的資源配置測試參數(shù)傳輸至判定單元1816。所述判定單元1816根據資源配置測試參數(shù)判斷當前是否適于進行三維顯示。如果通過資源配置測試參數(shù)，所述判定單元1816判定當前運行的資源配置足夠支持三維顯示，則向全息圖分配單元1817的狀態(tài)寄存器發(fā)送進行三維顯示的指示，否則向全息圖分配單元1817的狀態(tài)寄存器發(fā)送進行二維顯示的指示。全息圖分配單元1817的狀態(tài)寄存器在收到來自判定單元1816的指示以后，更新所存儲的狀態(tài)，從而使得所述全息圖分配單元1817將接收的數(shù)字全息圖發(fā)送至所述三維顯示處理模塊1813或發(fā)送至所述二維顯示處理模塊1814。
可選地，實施例6中的圖像處理裝置1810還可以設置有定時裝置，從而可以以預定的時間周期反復對資源配置情況進行實時跟蹤和檢測，從而能夠根據資源配置的改變實時地實現(xiàn)三維顯示和二維顯示模式之間的切換。
圖19示出了實施例6中參數(shù)輸入接口1811、判定單元1816以及全息圖分配單元1817中的狀態(tài)寄存器的工作流程圖。在步驟s1902，參數(shù)輸入接口1811接收與該圖像處理系統(tǒng)1800的運行相關的資源配置測試參數(shù)，并將其發(fā)送到判定單元1816，從而前進到步驟s1904。在步驟s1904，所述判定單元1816根據所接收的資源配置測試參數(shù)，判斷是否進行三維顯示。如果判定單元1816確定進行三維顯示則進入到步驟s1906，否則進入到步驟s1910。在步驟s1906，判定單元1816向全息圖分配單元1817的狀態(tài)寄存器發(fā)送進行三維顯示的指示，在步驟s1910，判定單元1816向全息圖分配單元1817的狀態(tài)寄存器發(fā)送進行二維顯示的指示。在步驟s1908，全息圖分配單元1817的狀態(tài)寄存器根據接收到的指示更新狀態(tài)寄存器中所存儲的狀態(tài)，使得所述全息圖分配單元1817將接收到的數(shù)字全息圖相應地發(fā)送至所述三維顯示處理模塊1813或所述二維顯示處理模塊1814。然后，在步驟s1912經過預定時間之后，再返回到步驟s1902，進行下一循環(huán)的流程。
通過實施例6的技術方案，圖像處理裝置1810能夠根據當前的資源配置情況在三維立體顯示和二維平面顯示之間進行自動的選擇或切換。從而使得當資源配置不足以支持三維立體顯示時，也能夠通過二維平面顯示的方式在低配置的情況下進行顯示。從而提高了顯示的連貫性。
應注意，盡管實現(xiàn)圖像處理流程的各個接口和模塊均包括在圖像處理裝置1810中，但也可以分部在不同的裝置中彼此分開。并且不同接口和模塊的功能也可以進行適當?shù)恼{整和組合。并且，所述的圖像處理裝置1810中的各個接口和模塊也不限于硬件電路，也可以是通過處理器或控制器實現(xiàn)的各個程序模塊或軟件模塊。
實施例7
下面說明根據本申請實施例7的圖像處理系統(tǒng)2000，其中附圖20示出了根據實施例9的圖像處理系統(tǒng)2000的示意圖。
如圖20所示，所述的圖像處理系統(tǒng)2000包括圖像處理裝置2010和顯示器2020。其中所述圖像處理裝置2010包括指示信號輸入接口2011、全息圖輸入接口2012、三維顯示處理模塊2013、二維顯示處理模塊2014、顯示驅動模塊2015、判定單元2016以及全息圖分配單元2017。
其中關于全息圖輸入接口2012、全息圖分配單元2017、三維顯示處理模塊2013、二維顯示處理模塊2014以及顯示驅動模塊2015的功能均與實施例5所述的圖像處理裝置中對應的對應的全息圖輸入接口512、全息圖分配單元517、三維顯示處理模塊513、二維顯示處理模塊514以及顯示驅動模塊515功能相同。這里不再贅述，下面重點介紹指示信號輸入接口2011以及判定單元2016的操作。
其中指示信號輸入接口2011用于從正在運行的應用(例如正在運行的游戲、由內容提供商提供的節(jié)目等)接收的應用指示信號，并將該應用指示信號傳輸至判定單元2016。其中，該應用指示信號用于指示所述圖像處理系統(tǒng)2000進行三維立體顯示或二維平面顯示的選擇或切換。所述判定單元2016根據所述應用指示信息號判斷是否進行三維顯示。如果所述判定單元2016根據所述應用指示信息判定進行三維顯示，則向全息圖分配單元2017的狀態(tài)寄存器發(fā)送進行三維顯示的指示，否則向全息圖分配單元2017的狀態(tài)寄存器發(fā)送進行二維顯示的指示。全息圖分配單元2017的狀態(tài)寄存器在收到來自判定單元2016的指示以后，更新所存儲的狀態(tài)，從而使得所述全息圖分配單元2017將接收的數(shù)字全息圖發(fā)送至所述三維顯示處理模塊2013或發(fā)送至所述二維顯示處理模塊2014，從而進行三維顯示或進行二維顯示。
附圖21示出了根據實施例9的圖像處理裝置2010的流程圖。在步驟s2102，圖像處理裝置2010通過指示信號輸入接口2011從正在運行的應用接收應用指示信號，并將該應用指示信號發(fā)送至判定單元2016。在步驟s2104，所述判定單元2016根據所述應用指示信號判斷是否進行三維顯示。如果判定單元2016確定進行三維顯示則進入到步驟s2106，否則進入到步驟s2110。在步驟s2106，判定單元2016向全息圖分配單元2017的狀態(tài)寄存器發(fā)送進行三維顯示的指示，在步驟s2110，判定單元2016向全息圖分配單元2017的狀態(tài)寄存器發(fā)送進行二維顯示的指示。在步驟s2108，全息圖分配單元2017的狀態(tài)寄存器根據接收到的指示更新狀態(tài)寄存器中所存儲的狀態(tài)，使得所述全息圖分配單元2017將接收到的數(shù)字全息圖相應地發(fā)送至所述三維顯示處理模塊2013或所述二維顯示處理模塊2014。
通過實施例7，圖像處理系統(tǒng)2000能夠根據當前正在運行的游戲或正在展示的節(jié)目的請求，在三維立體顯示和二維平面顯示之間進行自動的選擇或切換。從而增強了游戲或節(jié)目的展示效果，并且為用戶提供更加美好的體驗。
應注意，盡管實現(xiàn)圖像處理流程的各個接口和模塊均包括在圖像處理裝置2010中，但也可以分部在不同的裝置中彼此分開。并且不同接口和模塊的功能也可以進行適當?shù)恼{整和組合。并且，所述的圖像處理裝置2010中的各個接口和模塊也不限于硬件電路，也可以是通過處理器或控制器實現(xiàn)的各個程序模塊或軟件模塊。
實施例8
圖22示出了根據本申請實施例8的顯示系統(tǒng)2200的示意圖。
如圖22所示，所述的圖像處理系統(tǒng)2200包括圖像處理裝置2210和顯示器2220。其中所述圖像處理裝置2210包括參數(shù)輸入接口2211a、用戶接口2211b、指示信號輸入接口2211c、全息圖輸入接口2212、三維顯示處理模塊2213、二維顯示處理模塊2214、顯示驅動模塊2215、判定單元2216、全息圖分配單元2217以及由資源配置寄存器2218a、用戶選擇寄存器2218b和應用指示寄存器2218c組成的寄存器組。
其中關于全息圖輸入接口2212、全息圖分配單元2217、三維顯示處理模塊2213、二維顯示處理模塊2214以及顯示驅動模塊2215的功能均與實施例5所述的所述的圖像處理裝置中對應的全息圖輸入接口512、全息圖分配單元517、三維顯示處理模塊513、二維顯示處理模塊514以及顯示驅動模塊515功能相同。這里不再贅述，下面重點介紹其他部分內容。
如圖22所示，實施例10所述的圖像處理裝置2210將實施例7、8和9中的圖像處理裝置的功能進行了整合。從而實施例10的圖像處理裝置2210包括參數(shù)輸入接口2211a、用戶接口2211b和指示信號輸入接口2211c，以及與各個接口接收的信息相對應的資源配置寄存器2218a、用戶選擇寄存器2218b以及應用指示寄存器2218c。從而使得所述的圖像處理系統(tǒng)2200能夠綜合參考資源配置情況、用戶的選擇以及當前正在運行應用的指示等情況做出相應的操作。
其中，所述參數(shù)輸入接口2211a、用戶接口2211b以及指示信號輸入接口2211c可以參考實施例7-9中的相應描述。所述資源配置寄存器2218a用于存儲當前的資源配置情況，例如支持三維顯示或不支持三維顯示。所述用戶選擇寄存器用于存儲當前的用戶選擇，例如進行三維顯示、進行二維顯示或放棄選擇(此時狀態(tài)為“空”，表示用戶默認由系統(tǒng)或運行的應用程序自行選擇三維或二維的顯示模式)。所述應用指示寄存器用于存儲正在運行的應用的當前指示，例如進行三維顯示、進行二維顯示或沒有(此時狀態(tài)為“空”，表示沒有運行的應用，這種情況下通常以二維顯示的模式顯示系統(tǒng)用戶界面)。也就是說，所述資源配置寄存器2218a以及全息圖分配單元2217中的狀態(tài)寄存器(未示出)均可包括兩種狀態(tài)，而用戶選擇寄存器2218b和所述應用指示寄存器2218c可包括三種狀態(tài)，如下表所示：
表1
根據上述表格，可以看出資源配置寄存器2218a、用戶選擇寄存器2218b和應用指示寄存器2218c的狀態(tài)可能會出現(xiàn)彼此沖突的情形。在本實施例中，資源配置寄存器2218a的狀態(tài)的優(yōu)先級最高。即，當資源配置寄存器2218a的狀態(tài)為不支持進行三維顯示時，無論用戶選擇什么樣的指令或者所述應用發(fā)出什么樣的指示，都只能進行二維顯示。用戶指令的優(yōu)先級高于游戲指示的優(yōu)先級，即無論所述應用給出二維顯示還是三維顯示的指示，除非用戶選擇寄存器的指示為“空”，否則均應按照用戶選擇的方式進行顯示。
所述資源配置寄存器2218a、用戶選擇寄存器2218b、應用指示寄存器2218c以及所述狀態(tài)寄存器均可通過所述判定單元2216存取，以便根據判定單元2216發(fā)送的信息進行更新以及由判定單元2216進行讀取以用于判定單元2216的判斷流程。
其中，所述圖像處理裝置2210的參數(shù)輸入接口2211a接收與圖像處理系統(tǒng)2200的運行相關的資源配置測試參數(shù)(例如處理器的運行速度以及負載、緩存的剩余空間、當前資源占有率、網速以及接收數(shù)字全息圖時的數(shù)據率等等)，并將接收的資源配置測試參數(shù)傳輸至判定單元2216。所述用戶接口2211b用于接收來自用戶的關于三維顯示或二維顯示的選擇指令或切換指令，并將用戶指令傳輸至判定單元2216。所述指示信號輸入接口2211c用于從正在運行的應用(例如正在運行的游戲、由內容提供商提供的節(jié)目等)接收的應用指示信號，并將該應用指示信號傳輸至判定單元2216。
其中所述圖像處理裝置2210關于參數(shù)輸入接口2211a的輸入的判定過程如附圖23所示。通常來說，所述圖像處理系統(tǒng)2200在剛剛啟動時，就開始進行資源配置參數(shù)的檢測以及接收。然后以預定的時間周期反復對資源配置情況進行實時跟蹤和檢測，從而能夠根據資源配置的改變實時地實現(xiàn)三維顯示和二維顯示模式之間的切換。
如圖23所示，在步驟s2302，所述圖像處理裝置2210通過參數(shù)輸入接口2211a接收所檢測的資源配置測試參數(shù)。
然后在步驟s2304，所述圖像處理裝置2210通過所述判定單元2216讀取所述用戶選擇寄存器2218a，并且判定所述用戶選擇寄存器2218a是否為空。如果所述用戶選擇寄存器2218a不為空(“否”)，那就說明書用戶已經對三維顯示模式或者二維顯示模式做出了選擇或切換。由于在本實施例中用戶選擇的優(yōu)先級要高于應用程序的指示，因此只有用戶選擇寄存器為空，即用戶并未選擇進行二維或三維顯示時，流程才會進入到步驟s2306以進一步判定應用指示寄存器的狀態(tài)，否則流程進入到步驟s2312以便進一步根據用戶選擇寄存器2218b的狀態(tài)進行處理。
在步驟s2306，所述判定單元2216讀取應用指示寄存器2218c，以判定所述應用指示寄存器2218c的狀態(tài)是否為空或二維顯示。當判定單元2216判定所述應用指示寄存器2218c的狀態(tài)為空或二維顯示時(“是”)，流程進入到步驟s2308。否則，即應用指示寄存器2218c的狀態(tài)為三維顯示，流程進入到步驟s2314。
在步驟s2308，由于當應用指示寄存器2218c為空或二維顯示時都是要進行二維顯示的，因此相對于三維顯示而言對資源配置的要求會比較低。在這種情況下不需要再根據資源配置的情況進行判定而直接可以確定進行二維顯示。因此在步驟s2308中，所述判定單元2216根據應用指示寄存器2218c的狀態(tài)向所述全息圖分配單元2217的狀態(tài)寄存器發(fā)送進行二維顯示的指示，從而使得該狀態(tài)寄存器更新所存儲的狀態(tài)，以便將數(shù)字全息圖分配至二維顯示處理模塊2214，進行二維顯示；并且然后判定單元2216根據所接收的資源配置測試參數(shù)判定當前的資源配置情況是否能夠支持三維顯示，并據此更新資源配置寄存器2218a的狀態(tài)，以用于后續(xù)的判斷流程。然后經過預定時間后，流程重新返回到步驟s2302，再次接收資源配置測試參數(shù)。
下面繼續(xù)對步驟s2304進行說明。當判定單元2216在步驟s2304判定用戶選擇寄存器不為空時，則流程進入到步驟s2312。在步驟s2312所述圖像處理裝置2210進一步通過判定單元2216判斷所述用戶選擇寄存器2218b的狀態(tài)是否為進行三維顯示。
當判定單元2216在步驟s2312判定所述用戶選擇寄存器2218b的當前狀態(tài)是進行三維顯示時(“是”)，則流程進入到步驟s2314；否則，即用戶選擇寄存器2218b的當前狀態(tài)是進行二維顯示時，流程進入到步驟s2310。
在步驟s2310，由于當用戶選擇寄存器2218b的狀態(tài)為二維顯示時，圖像處理系統(tǒng)2200要進行二維顯示，因此相對于三維顯示而言對資源配置的要求會比較低。在這種情況下不需要再根據資源配置的情況進行判定而直接可以確定進行二維顯示。因此在步驟s2310中，所述判定單元2216根據用戶選擇寄存器2218b的狀態(tài)向所述全息圖分配單元2217的狀態(tài)寄存器發(fā)送進行二維顯示的指示，從而使得該狀態(tài)寄存器更新所存儲的狀態(tài)，以便將數(shù)字全息圖分配至二維顯示處理模塊2214，進行二維顯示；并且然后判定單元2216根據所接收的資源配置測試參數(shù)判定當前的資源配置情況是否能夠支持三維顯示，并據此更新資源配置寄存器2218a的狀態(tài)，以用于后續(xù)的判斷流程。然后經過預定時間后，流程重新返回到步驟s2302，再次接收資源配置測試參數(shù)。
在步驟s2314，此時至少用戶選擇寄存器2218b或應用指示寄存器2218c的狀態(tài)為進行三維顯示。在這種情況下，由于進行三維顯示對資源配置的要求比較高，為了避免出現(xiàn)由于資源配置達不到三維顯示的要求而導致的顯示質量劣化甚至不能顯示的情形，判定單元2216會根據所接收的資源配置測試參數(shù)判定當前的資源配置是否能夠支持三維顯示。如果判定單元2216判定當前的資源能夠支持三維顯示(“是”)，則流程進入步驟s2315，否則流程進入到步驟s2317。
在步驟s2315，判定單元根據支持三維顯示的判定結果對資源配置寄存器2218a進行更新，并且向全息圖分配單元2217的狀態(tài)寄存器發(fā)送三維顯示的指示。
在步驟s2317，判定單元根據不支持三維顯示的判定結果對資源配置寄存器2218a進行更新，并且向全息圖分配單元2217的狀態(tài)寄存器發(fā)送二維顯示的指示。此外，顯示系統(tǒng)2200還通過顯示器2220向用戶發(fā)出當前資源不支持三維顯示的通知。
在步驟s2316，所述全息圖分配單元2217的狀態(tài)寄存器根據從判定單元2216接收的指示，相應地更新狀態(tài)寄存器，以便將數(shù)字全息圖發(fā)送至三維顯示處理模塊2213或二維顯示處理模塊2214以便進行三維顯示或二維顯示。
在步驟s2316之后經過預定時間，該流程重新返回到步驟s2302，再次接收資源配置測試參數(shù)。
通過這樣的方式，圖像處理裝置2210能夠根據當前的資源配置情況在三維立體顯示和二維平面顯示之間進行自動的選擇或切換。從而使得當資源配置不足以支持三維立體顯示時，也能夠通過二維平面顯示的方式在低配置的情況下進行顯示。從而提高了顯示的連貫性。
下面，圖24示出了當圖像處理裝置2210接收到用戶指令時的流程圖。
如圖24所示，在步驟s2402，圖像處理裝置2210通過用戶接口2211b接收來自用戶的在二維顯示和三維顯示之間進行選擇或切換的指令。當然，用戶也可以發(fā)出放棄選擇的指令(即用戶不對二維顯示或三維顯示進行選擇，而由系統(tǒng)或應用自行確定是否進行二維顯示或三維顯示的切換)。
在步驟s2404，判定單元2216對接收到的用戶指令進行判斷，當判定用戶指令為進行三維顯示時，流程進入到步驟s2406。當判定用戶指令為進行二維顯示時，流程進入到步驟s2412。當判定用戶指令為放棄選擇時，流程進入到步驟s2416。
在步驟s2416，當用戶指令為放棄選擇時，判定單元2216根據用戶的指令將用戶選擇寄存器2218b所存儲的狀態(tài)更新為空，然后結束流程。
在步驟s2412，當用戶指令為進行二維顯示時，判定單元2216根據用戶的指令將用戶選擇寄存器2218b所存儲的狀態(tài)更新為進行二維顯示，并且向全息圖分配單元2217的狀態(tài)寄存器發(fā)送進行二維顯示的指示。
在步驟s2406，當用戶指令為進行三維顯示時，判定單元2216從資源配置寄存器2218a讀取資源配置寄存器2218a所存儲的狀態(tài)，當存儲的狀態(tài)為支持三維顯示時，說明當前的資源配置能夠支持三維顯示，流程進入到步驟s2408。否則，當所存儲的狀態(tài)為不支持三維顯示時，流程進入到步驟s2414。
在步驟s2408，判定單元2216根據用戶的指令將用戶選擇寄存器2218b所存儲的狀態(tài)更新為進行三維顯示，并且向全息圖分配單元2217的狀態(tài)寄存器發(fā)送進行三維顯示的指示。
在步驟s2414，判定單元2216根據用戶的指令將用戶選擇寄存器2218b所存儲的狀態(tài)更新為進行三維顯示，但是向全息圖分配單元2217的狀態(tài)寄存器發(fā)送進行二維顯示的指示。并且顯示系統(tǒng)2200還通過顯示器2220向用戶發(fā)出當前資源不支持三維顯示的通知。
在步驟s2410，全息圖分配單元2217的狀態(tài)寄存器根據接收的指示，將所存儲的狀態(tài)更新為進行二維顯示或進行三維顯示，以便將數(shù)字全息圖發(fā)送至三維顯示處理模塊2213或二維顯示處理模塊2214。然后流程結束。
因此，通過該流程，用戶可以根據自己的意愿選擇二維顯示或三維顯示，或者選擇由系統(tǒng)或應用程序自行實現(xiàn)對二維顯示或三維顯示的選擇和切換。因此增強了用戶體驗，從而取得了良好的效果。
圖25示出了在指示信號輸入接口2211c接收到應用指示信號時的流程圖。
如圖25所示，在步驟s2502，圖像處理裝置2210通過指示信號輸入接口2211c從正在運行的應用接收在二維顯示和三維顯示之間進行選擇或切換的指示。
在步驟s2504，判定單元2216對用戶選擇寄存器2218b進行訪問，判定當前用戶選擇寄存器2218b的狀態(tài)是否為“空”。如果用戶選擇寄存器的狀態(tài)為“空”(“是”)，則流程進入到步驟s2506；否則流程進入到步驟s2518。
在步驟s2518，由于用戶選擇寄存器的狀態(tài)不為“空”，這說明用戶已經對二維顯示或三維顯示做出了選擇。由于用戶選擇的優(yōu)先級高于應用指示的優(yōu)先級，因此在這種情況下，判定單元2216僅僅根據接收到的應用指示信號，對應用指示寄存器2218c的狀態(tài)進行更新，便結束流程。
在步驟s2506，由于用戶選擇寄存器狀態(tài)為“空”，這說明用戶放棄對二維顯示或三維顯示的選擇，而交由系統(tǒng)或應用自行進行選擇。因此，判定單元2216判斷接收到的應用指示是否為進行三維顯示。當判定應用指示為進行三維顯示時(“是”)，流程進入到步驟s2508。否則當判定應用指示為不進行三維顯示時(“否”)，流程進入到步驟s2514。
在步驟s2514，當應用指示為不進行三維顯示(即，進行二維顯示)時，判定單元2216根據所接收的應用指示將應用指示寄存器2218c所存儲的狀態(tài)更新為進行二維顯示，并且向全息圖分配單元2217的狀態(tài)寄存器發(fā)送進行二維顯示的指示。
在步驟s2508，當應用指示為進行三維顯示時，判定單元2216從資源配置寄存器2218a讀取資源配置寄存器2218a所存儲的狀態(tài)，當存儲的狀態(tài)為支持三維顯示時，說明當前的資源配置能夠支持三維顯示，流程進入到步驟s2510。否則，當所存儲的狀態(tài)為不支持三維顯示時，流程進入到步驟s2516。
在步驟s2510，判定單元2216根據所接收的應用指示將應用指示寄存器2218c所存儲的狀態(tài)更新為進行三維顯示，并且向全息圖分配單元2217的狀態(tài)寄存器發(fā)送進行三維顯示的指示。
在步驟s2516，判定單元2216根據所接收的應用指示將應用指示寄存器2218c所存儲的狀態(tài)更新為進行三維顯示，但是向全息圖分配單元2217的狀態(tài)寄存器發(fā)送進行二維顯示的指示。
在步驟s2512，全息圖分配單元2217的狀態(tài)寄存器根據接收的指示，將所存儲的狀態(tài)更新為進行二維顯示或進行三維顯示，以便將數(shù)字全息圖發(fā)送至三維顯示處理模塊2213或二維顯示處理模塊2014。然后結束流程。
從而根據該流程，圖像處理系統(tǒng)2200能夠根據當前正在運行的游戲或正在展示的節(jié)目的請求，在三維立體顯示和二維平面顯示之間進行自動的選擇或切換。從而增強了游戲或節(jié)目的展示效果，并且為用戶提供更加美好的體驗
綜上，根據本實施例的圖像處理系統(tǒng)2200，可以綜合考慮用戶指令、資源配置以及應用指示，而在三維顯示和二維顯示之間進行切換。從而綜合性地滿足了用戶體驗、顯示的連貫性和質量以及應用的演示效果等多方面的需求。
應注意，盡管實現(xiàn)圖像處理流程的各個接口和模塊均包括在圖像處理裝置2210中，但也可以分部在不同的裝置中彼此分開。并且不同接口和模塊的功能也可以進行適當?shù)恼{整和組合。并且，所述的圖像處理裝置2210中的各個接口和模塊也不限于硬件電路，也可以是通過處理器或控制器實現(xiàn)的各個程序模塊或軟件模塊。
并且，在本實施例中，資源配置判定結果的優(yōu)先級高于用戶選擇的優(yōu)先級，而用戶選擇的優(yōu)先級高于應用指示的優(yōu)先級。但是，這只是用于對本實施例的方案進行說明，實際上本申請還可以采取其他的優(yōu)先級排序。例如應用指示的優(yōu)先級可以高于用戶選擇的優(yōu)先級，并且用戶選擇和應用指示的優(yōu)先級也可以高于資源配置判定結果的優(yōu)先級，等等。并且盡管實施例中給出了同時結合用戶指令、資源配置以及應用指示三者在二維顯示和三維顯示之間進行切換的技術方案，但也可以在上述因素中進行任意組合，例如只考慮用戶指令和資源配置、或者只考慮用戶指令和應用指示等等，并且也可以根據實際需要設置不同考慮因素之間的優(yōu)先級排序。
并且雖然本實施例中記載的資源配置寄存器2218a、用戶選擇寄存器2218b、應用指示寄存器2218c以及所述全息圖分配單元中的狀態(tài)寄存器為彼此獨立的寄存器，但是也可以考慮將其功能實現(xiàn)于同一個存儲裝置的不同存儲區(qū)塊中。
綜上所述，通過本申請的圖像處理裝置及方法解決了現(xiàn)有技術中存在的以下技術問題：1)過多的三維立體顯示或過多的二維立體顯示導致的用戶體驗劣化；2)通過配置較低的裝置進行三維立體顯示時可能會出現(xiàn)無法顯示或顯示質量低劣的情況；3)應用以及展示的內容需要三維顯示和二維顯示的切換；4)當前的三維立體顯示技術成本過高、工作繁復、傳輸效率低以及運算速度慢；5)三維立體顯示與二維平面顯示這兩種模式的關聯(lián)問題；6)計算機全息圖進行再現(xiàn)時存在零級衍射光斑和共軛像導致衍射效率不高，信噪比很低的問題。從而可以提高用戶體驗、靈活的適用于各種硬件配置并且增強游戲以及展示內容等應用的表現(xiàn)力。
上述本申請實施例序號僅僅為了描述，不代表實施例的優(yōu)劣。
在本申請的上述實施例中，對各個實施例的描述都各有側重，某個實施例中沒有詳述的部分，可以參見其他實施例的相關描述。
在本申請所提供的幾個實施例中，應該理解到，所揭露的技術內容，可通過其它的方式實現(xiàn)。其中，以上所描述的裝置實施例僅僅是示意性的，例如所述單元或模塊的劃分，僅僅為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式，例如多個單元或模塊或組件可以結合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口，模塊或單元的間接耦合或通信連接，可以是電性或其它的形式。
所述作為分離部件說明的單元或模塊可以是或者也可以不是物理上分開的，作為單元或模塊顯示的部件可以是或者也可以不是物理單元或模塊，即可以位于一個地方，或者也可以分布到多個網絡單元或模塊上?？梢愿鶕嶋H的需要選擇其中的部分或者全部單元或模塊來實現(xiàn)本實施例方案的目的。
另外，在本申請各個實施例中的各功能單元或模塊可以集成在一個處理單元或模塊中，也可以是各個單元或模塊單獨物理存在，也可以兩個或兩個以上單元或模塊集成在一個單元或模塊中。上述集成的單元或模塊既可以采用硬件的形式實現(xiàn)，也可以采用軟件功能單元或模塊的形式實現(xiàn)。
所述集成的單元如果以軟件功能單元的形式實現(xiàn)并作為獨立的產品銷售或使用時，可以存儲在一個計算機可讀取存儲介質中?；谶@樣的理解，本申請的技術方案本質上或者說對現(xiàn)有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟件產品的形式體現(xiàn)出來，該計算機軟件產品存儲在一個存儲介質中，包括若干指令用以使得一臺計算機設備(可為個人計算機、服務器或者網絡設備等)執(zhí)行本申請各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括：u盤、只讀存儲器(rom，read-onlymemory)、隨機存取存儲器(ram，randomaccessmemory)、移動硬盤、磁碟或者光盤等各種可以存儲程序代碼的介質。
以上所述僅是本申請的優(yōu)選實施方式，應當指出，對于本技術領域的普通技術人員來說，在不脫離本申請原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視為本申請的保護范圍。
- 還沒有人留言評論。精彩留言會獲得點贊！