專利名稱：用于測量立體運動畫面的潛在眼睛疲勞的系統(tǒng)和方法
技術領域：
本公開一般地涉及計算機圖形處理和顯示系統(tǒng)，并且更具體地涉及一種用于測量由觀看三維(3D)呈現(xiàn)(例如，立體運動畫面)的觀眾感受到的潛在眼睛疲勞的系統(tǒng)和 方法。
背景技術：
立體成像是在視覺上組合一個場景的從稍微不同的視點取得的至少兩個圖像以 便產(chǎn)生三維深度的錯覺的處理。該技術依賴于如下事實人眼分隔一定距離，并且因此 沒有觀看完全相同的場景。通過為每只眼睛提供來自不同觀察點(perspective)的圖像， 欺騙觀看者的眼睛感覺到深度。典型地，在提供兩個有區(qū)別的觀察點的情況下，分別將 組成圖像稱為“左”和“右”圖像，也分別將其已知為基準圖像和補充圖像。然而， 本領域技術人員將認識到，可以組合多于兩個視點來形成立體圖像。在3D后期制作、VFX工作流程和3D呈現(xiàn)應用中，一項重要的處理是從由左 眼視像和右眼視像組成的立體圖像中推斷深度圖，以便創(chuàng)建立體運動畫面。例 如，最近商業(yè)化的自動立體3D顯示器要求圖像加深度圖(image-plus-depth-map)輸入格 式，使得該顯示器可以生成不同的3D視圖來支持多個視角。從立體圖像對推斷深度圖的處理在計算機視覺研究的領域中被稱為立體匹配， 因為使用像素或塊匹配以發(fā)現(xiàn)左眼和右眼視像中的對應點。從與場景中的相同點對 應的各圖像中的兩個像素之間的相對距離推斷深度值。在許多計算機視覺應用(諸如，例如用于計算機輔助繪圖(CAD)的快速對 象建模和成型、用于人機交互(HCI)的對象分割和檢測、視頻壓縮和視覺監(jiān)控(visual surveillance))中廣泛使用數(shù)字圖像的立體匹配，以便提供三維(3D)深度信息。立體匹 配從場景中位于不同位置和朝向的兩個或多個相機獲得場景的圖像。在大約相同的時間 從每個相機獲得這些數(shù)字圖像，并且對應于空間中的3D點匹配每個圖像中的點。通常， 通過搜索一部分圖像和使用約束(諸如外極線約束)來匹配來自不同圖像的點，以便使一 個圖像中的點與另一圖像中的點相關聯(lián)。然后可以采用匹配后的圖像和深度圖來創(chuàng)建立 體3D運動畫面。當前立體3D運動畫面的主要問題之一是觀眾可能在觀看運動畫面一定時間之后 感受到眼睛疲勞。因此，當導演制作3D影片時，他們不得不考慮如何以可以使由觀眾感 受到的眼睛疲勞最小化的方式拍攝場景或剪輯影片，。這是制作3D運動畫面比制作傳統(tǒng) 的2D運動畫面更加復雜和耗時的部分原因。制作3D運動畫面的挑戰(zhàn)在于導演和剪輯師非常難以在視覺上估計由觀眾感受到 的潛在眼睛疲勞。存在促成該困難的若干因素。首先，因為眼睛疲勞是隨著觀看運動畫 面的過程的累計效果，所以導演或剪輯師不得不觀看3D運動畫面足夠長以感受到眼睛疲 勞。因為少量片段通常不導致眼睛疲勞。第二，眼睛疲勞還可能由兩個片段之間的突 然深度變化導致。當剪輯師在剪輯期間連接片段時，他們難以測量由突然深度變化導致的潛在眼睛疲勞。他們將需要使用耗時的反復試驗(trial-and-error)過程來連接不同的片 段，并且“感受”由深度轉換導致的潛在眼睛疲勞。因此，存在對于可以在觀看諸如立體運動畫面的3D呈現(xiàn)的同時測量感受到的潛在眼睛疲勞的技術的需要。此外，存在對于可以在剪輯3D運動畫面的過程期間測量潛在 眼睛疲勞的自動系統(tǒng)和方法的需要。

發(fā)明內(nèi)容
提供一種用于測量在觀看3D呈現(xiàn)(例如，立體運動畫面)時由觀眾感受到的潛 在眼睛疲勞的系統(tǒng)和方法。本公開的系統(tǒng)和方法考慮觀看3D呈現(xiàn)時眼睛的會聚點和焦 點之間的距離與所聚焦的對象的深度緊密相關，所聚焦的對象的深度也與對象的像素的 視差相關。本公開的眼睛疲勞測量系統(tǒng)和方法基于3D呈現(xiàn)的立體圖像的視差(或深度) 和視差轉換的測量。本公開的技術對于導演和剪輯師有效地制作舒適的3D電影是有用 的。根據(jù)本公開的一個方面，提供一種測量在觀看三維(3D)呈現(xiàn)時感受到的潛在眼 睛疲勞的方法，所述方法包括從第一片段獲取第一圖像和第二圖像；估計第一圖像中的 至少一個點與第二圖像中的至少一個對應點的視差；估計第一和第二圖像的序列的視差 轉換；以及基于視差以及第一和第二圖像的序列的視差轉換確定在觀看3D呈現(xiàn)時感受到 的潛在眼睛疲勞。在另一方面中，估計視差轉換步驟包括估計之前片段的最后幀的視差；估計 第一片段的第一幀的視差；以及確定之前片段的最后幀的視差和第一片段的第一幀的視 差之間的差。在一個方面中，估計視差轉換步驟包括估計第一片段的多個幀的每個幀內(nèi)的 視差；以及確定第一片段的每個幀的視差之間的差。在另一方面中，確定潛在眼睛疲勞步驟還包括確定用于第一和第二圖像的序列 的每個幀的即時眼睛疲勞函數(shù)。在另一方面中，確定潛在眼睛疲勞步驟還包括將衰減因子應用到用于第一和第 二圖像的序列的每個幀的即時眼睛疲勞函數(shù)。在另一方面中，確定潛在眼睛疲勞步驟還包括在預定的時間段上累積衰減后的 用于第一和第二圖像的序列的每個幀的即時眼睛疲勞函數(shù)。在另一方面中，確定潛在眼睛疲勞步驟還包括使在第一和第二圖像的序列上累 積的眼睛疲勞函數(shù)飽和。在另一方面中，本方法還包括確定潛在眼睛疲勞是否可接受；以及如果潛在 眼睛疲勞不可接受，則校正第一和第二圖像的視差。根據(jù)本公開的另一方面，提供一種用于測量在觀看三維(3D)呈現(xiàn)時感受到的 潛在眼睛疲勞的系統(tǒng)。所述系統(tǒng)包括用于從第一片段獲取第一圖像和第二圖像的部 件；視差估計器，用于估計第一圖像中的至少一個點與第二圖像中的至少一個對應點的 視差；視差轉換估計器，用于估計第一和第二圖像的序列的視差轉換；以及眼睛疲勞估 計器，用于基于視差以及第一和第二圖像的序列的視差轉換確定在觀看3D呈現(xiàn)時感受到 的潛在眼睛疲勞。
根據(jù)本公開的另一方面，提供一種可由機器讀取的程序存儲設備，所述程序存 儲設備確實地體現(xiàn)可由機器執(zhí)行的、用于執(zhí)行用以測量在觀看三維(3D)呈現(xiàn)時的潛在 眼睛疲勞的方法步驟的指令的程序，所述方法包括從第一片段獲取第一圖像和第二圖 像；估計第一圖像中的至少一個點與第二圖像中的至少一個對應點的視差；估計第一和 第二圖像的序列的視差轉換；以及基于視差以及第一和第二圖像的序列的視差轉換確定 在觀看3D呈現(xiàn)時感受到的潛在眼睛疲勞。


將描述本公開的這些和其它方面、特征和優(yōu)點，或者本公開的這些和其它方 面、特征和優(yōu)點將從優(yōu)選實施例的以下詳細描述變得明顯，結合附圖閱讀優(yōu)選實施例的 以下詳細描述。在附圖中，其中貫穿各附圖相同的參考標號表示類似的元件圖1圖示在觀看三維(3D)呈現(xiàn)的同時由觀看者或者觀眾的成員體驗的會聚點和 隹占.圖2圖示當會聚點在用于顯示3D呈現(xiàn)的屏幕的前面時，會聚距離、所感知的深 度、視差和會聚角度的關系；圖3圖示當會聚點在屏幕后面時，會聚距離、所感知的深度、視差和會聚角度 的關系；圖4是根據(jù)本公開的一個方面的、用于測量在觀看三維(3D)呈現(xiàn)時感受到的眼 睛疲勞的系統(tǒng)的示例性圖示；圖5是根據(jù)本公開的一個方面的、用于測量在觀看三維(3D)呈現(xiàn)時感受到的眼 睛疲勞的示例性方法的流程圖；圖6圖示用于對眼睛疲勞感覺的飽和建模的S形函數(shù)；圖7圖示根據(jù)本公開的一個方面的隨著時間的眼睛疲勞測量方程式；以及圖8圖示根據(jù)本公開的一個方面的即時眼睛疲勞函數(shù)和總體眼睛疲勞測量。應該理解的是(各)附圖是用于圖示本公開的構思的目的，并且不必是用于圖 示本公開的唯一可能配置。
具體實施例方式應該理解的是附圖中示出的各元件可以以硬件、軟件和其組合的各種形式實 現(xiàn)。優(yōu)選地，這些元件以硬件和在可以包括處理器、存儲器和輸入/輸出接口的一個或 多個適當?shù)鼐幊痰耐ㄓ迷O備上的軟件的組合實現(xiàn)。
本描述說明本公開的原理。因此，將認識到本領域技術人員將能夠設計出實 施本公開的原理并被包括在本原理的精神和范圍內(nèi)的各種布置，盡管在這里沒有明確地 描述或示出所述布置。在此敘述的所有示例和條件性語言意欲用于教學的目的以便幫助讀者理解本公 開的原理以及由本發(fā)明人貢獻以促進現(xiàn)有技術的構思，并且應該被解釋為不限制于這種 具體敘述的示例和條件。另外，在這里敘述本公開的原理、方面和實施例及其特定示例的所有陳述意欲包括其結構和功能等效物。另外，意圖是這樣的等效物包括當前已知的等效物以及將 來開發(fā)的等效物二者，即所開發(fā)的執(zhí)行相同功能的任何元件，而不論其結構如何。 因此，例如，本領域技術人員將認識到在此呈現(xiàn)的框圖表示實施本原理的說 明性電路的概念性視圖。類似地，將認識到任何流程圖示(flowchart)、流程圖(flow diagram),狀態(tài)轉換圖、偽代碼等表示實質(zhì)上可以表示在計算機可讀介質(zhì)中并因此由計 算機或處理器執(zhí)行的各種處理，而不管是否明確地示出這樣的計算機或處理器?？梢酝ㄟ^使用專用硬件以及與適當?shù)能浖嚓P聯(lián)的能夠執(zhí)行軟件的硬件來提供 圖中示出的各種元件的功能。當利用處理器來提供所述功能時，可以利用單個專用處理 器、利用單個共享處理器、或者利用其中一些可被共享的多個獨立處理器來提供所述功 能。另外，術語“處理器”或“控制器”的明確使用不應該被解釋為排他性地指代能 夠執(zhí)行軟件的硬件，而是可以隱含地無限制地包括數(shù)字信號處理器(“DSP” )硬件、用 于存儲軟件的只讀存儲器(“ROM”)、隨機存取存儲器(“RAM”)、和非易失性存 儲器。還可以包括其它傳統(tǒng)的和/或定制的硬件。類似地，圖中示出的任何開關只是 概念性的。它們的功能可以通過程序邏輯的運行、通過專用邏輯、通過程序控制和專用 邏輯的交互、或者甚至手動地來執(zhí)行，如從上下文更具體地理解的那樣，可以由實施者 選擇具體技術。在其權利要求中，被表示為用于執(zhí)行指定功能的部件的任何元件意欲包含執(zhí)行 那個功能的任何方式，例如包括a)執(zhí)行那個功能的電路元件的組合或者b)與適當電路 相組合的任何形式的軟件，所述軟件因此包括固件或微代碼等，所述適當電路用于執(zhí)行 該軟件以執(zhí)行所述功能。由這種權利要求限定的本公開在于如下事實，即，以權利要求 所要求的方式將由各種所敘述的部件提供的功能組合和集合到一起。因此認為可以提供 那些功能的任何部件與在此示出的那些部件等效。通常，立體運動畫面由左眼和右眼畫面序列組成。對于電影院應用，觀眾通常 不得不佩戴3D眼鏡(例如，偏振或快門眼鏡)觀看3D呈現(xiàn)。對于不用眼鏡的顯示器， 盡管3D顯示的機制不同，但是3D感知的原理是相同的。也就是說，3D系統(tǒng)將使左眼 觀看左眼圖像，而右眼僅觀看右眼圖像。人腦能夠?qū)⑦@兩個圖像組合到一起，以便正確 感知3D場景。然而，該系統(tǒng)可能潛在地導致眼睛肌肉的疲勞和眼睛疲勞，因為以下兩個 原因1.眼睛的會聚點和焦點是不同的。當我們觀看真實3D場景時，我們眼睛的焦 點與會聚點大致相同。然而，當我們觀看3D影片時，我們眼睛的焦點10不得不總是在 屏幕12上，而我們眼睛的會聚點14不得不在屏幕12的前面或后面，以便感知正確的3D 場景，如圖1所示。該差異是促進眼睛肌肉的疲勞因此導致眼睛疲勞的主要因素。2.3D運動畫面中對象的深度改變。當對象的深度改變時，我們的眼睛不得不調(diào) 整會聚點以感知正確的3D效果，同時保持焦點在屏幕上。如果深度改變是頻繁和突然 的，則我們的眼睛不得不頻繁改變會聚點，導致眼睛肌肉的疲憊。所以，簡而言之，眼睛疲勞主要由兩個原因?qū)е?)眼睛的會聚點和焦點之間 的距離(即，如圖1所示的會聚距離16)；以及2)會聚點14的改變。因此，測量眼睛 疲勞需要考慮上面兩個因素。
本公開提供了一種用于測量在觀看3D呈現(xiàn)(例如，立體運動畫面)時由觀眾感 受到的潛在眼睛疲勞的系統(tǒng)和方法。本公開的眼睛疲勞測量系統(tǒng)和方法基于視差(或深 度)和視差轉換的測量。本解決方案對于導演和剪輯師有效地制作好的和舒適的3D電影 是有用的。本公開的系統(tǒng)和方法考慮觀看者的眼睛的會聚點和焦點之間的距離與3D呈現(xiàn)中所聚焦的對象的深度緊密相關，3D呈現(xiàn)中所聚焦的對象的深度也與對象的像素的視差 有關。圖2示出了觀看3D呈現(xiàn)中涉及的變量的關系?？梢钥吹浇o定會聚距離(Cd) 16、 所感知的深度(Dp) 18、觀眾距離(Ad) 20、會聚角度(Ca) 22、眼睛距離(Ed) 24和視差 (Ds) 26,存在以下關系。l.Cd、Dp 和 Ad 的關系Ad = Cd+Dp2.Cd、Ds、Ad 禾Π Ed 的關系Cd(l/Ds+1/Ed) = Ad/Ed3.Ca、Ed、Ad 和 Cd 的關系Cd = 2atan (Ed/ (2 (Ad-Cd)))當會聚點如圖3所示在屏幕后面時，這些關系保持正確，只要允許負視差和負 會聚距離即可。對于特定觀眾，眼睛距離(Ed) 24和觀眾距離(Ad) 20在呈現(xiàn)期間是恒定 的，而會聚距離(Cd) 16、所感知的深度(Dp) 18、會聚角度(Ca) 22和視差(Ds) 26在運動 畫面期間變化。基于這些關系，會聚點的計算可以簡化為深度或視差的估計。這導致更 簡單的估計算法。因為存在許多視差估計算法，所以傳統(tǒng)的視差測量可以用于眼睛疲勞 估計。現(xiàn)在參照圖4，示出了根據(jù)本公開的實施例的示例性系統(tǒng)組件?？梢蕴峁呙柙O 備103，用于將影片印件(filmprint) 104(例如，相機原始底片(filmnegative))掃描為數(shù)字 格式(例如Cineon格式或SMPTE DPX文件)。掃描設備103可以包括例如將從影片生 成視頻輸出的電視電影或任何設備(諸如，例如具有視頻輸出的Arri LocPro )?？商娲?地，可以直接使用來自后期制作過程或數(shù)字電影的文件106(例如，已經(jīng)處于計算機可讀 形式的文件)。計算機可讀文件的潛在來源是AVID 剪輯器、DPX文件、D5磁帶。所掃描的影片印件被輸入到后期處理設備102 (例如，計算機)。在具有以下硬 件的各種已知計算機平臺的任何計算機平臺上實現(xiàn)該計算機，所述硬件諸如一個或多個 中央處理單元(CPU)、諸如隨機存取存儲器(RAM)和/或只讀存儲器(ROM)的存儲器 110、以及諸如鍵盤和指針控制設備(例如，鼠標或操縱桿)和顯示設備的(多個)輸入 /輸出(I/O)用戶接口 112。計算機平臺還包括操作系統(tǒng)和微指令代碼。在此描述的各 種處理和功能可以是經(jīng)由操作系統(tǒng)執(zhí)行的微指令代碼的一部分或軟件應用程序的一部分 (或其組合)。在一個實施例中，軟件應用程序確實地體現(xiàn)在程序存儲設備上，其可以上 載到任何合適的機器(諸如后期處理設備102)并且被執(zhí)行。此外，各種其它外圍設備可 以通過各種接口和總線結構(諸如并行端口、串行端口或通用串行總線(USB))連接到計 算機平臺。其它外圍設備可以包括額外的存儲設備124和印片機(printer) 128。印片機 128可以用于沖印影片的修改版本126(例如，影片的立體版本)，其中作為下面描述的技 術的結果，可能已經(jīng)使用3D建模的對象變更或替代場景或多個場景?？商娲?，已經(jīng)處于計算機可讀形式(例如，可以存儲在外部硬盤驅(qū)動器124上 的數(shù)字電影)文件/影片印件106可以直接輸入到計算機102中。注意到，在此使用的 術語“影片(film)”可以指影片印件或數(shù)字電影。
軟件程序包括在存儲器110中存儲的眼睛疲勞測量和降低模塊114，用于測量在 觀看3D呈現(xiàn)時由觀眾或觀看者感受到的潛在眼睛疲勞。眼睛疲勞測量和降低模塊114包括視差估計器116，被配置用于估計第一圖像 中的至少一個點與第二圖像中的至少一個對應點的視差(第一和第二圖像產(chǎn)生立體圖像 對)，并且用于對于第一圖像中的至少一個點與第二圖像中的至少一個對應點的每一個從 所估計的視差生成視差圖。視差估計器116包括被配置為匹配第一和第二圖像中的像素 的像素匹配成本函數(shù)132，以及用于將平滑約束應用到視差估計的平滑成本函數(shù)134。視 差估計器116還包括用于最小化所估計的視差的置信傳播算法或函數(shù)136、以及動態(tài)程序 設計算法或函數(shù)138，該動態(tài)程序設計算法或函數(shù)138利用應用于第一和第二圖像的確定 匹配函數(shù)的結果來初始化置信傳播函數(shù)136以便加速置信傳播函數(shù)136。要理解的是，置 信傳播和動態(tài)程序設計僅是用于確定視差的兩個示例性方法，并且可以由視差估計器116 采用其它視差估計方法和算法。提供視差轉換估計器118，用于確定立體圖像的視差的轉換或改變。提供眼睛疲 勞估計器120，用于基于來自視差估計器116的視差圖和來自視差轉換估計器118的相關 聯(lián)圖像的視差轉換，估計潛在眼睛疲勞。眼睛疲勞測量和降低模塊114還包括視差校正器122，用于調(diào)整第一和第二圖像 之間的視差以降低潛在眼睛疲勞。還提供深度圖生成器123，用于通過反轉(invert)視差 圖的視差值而將視差圖轉換為深度圖。在一個實施例中，深度圖生成器123與用于降低 潛在眼睛疲勞的視差校正器122協(xié)同工作，如下面將描述的。圖5是根據(jù)本公開的一個方面的示例性方法的流程圖，該示例性方法用于測量 至少兩個二維(2D)圖像的潛在眼睛疲勞。最初，后期處理設備102獲取至少兩個二維 (2D)圖像，例如具有左眼和右眼視圖的立體圖像對(步驟202)。后期處理設備102可以 通過獲得處于計算機可讀格式的數(shù)字標準圖像文件(digital master image file)來獲取至少 兩個2D圖像?？梢酝ㄟ^用數(shù)字相機捕獲運動圖像的時間序列來獲取數(shù)字視頻文件?？?替代地，可以通過傳統(tǒng)的膠片型相機捕獲視頻序列。在該方案中，經(jīng)由掃描設備103掃 描影片。要理解的是，不管是掃描影片還是影片已經(jīng)處于數(shù)字格式，影片的數(shù)字文件將 包括關于各幀的位置的指示或信息，例如，幀號、從影片開始起的時間等。數(shù)字圖像文 件的每個幀將包括一個圖像，例如，l·、I2>…In。
可以通過具有相同設置的兩個相機拍攝立體圖像。相機的任一個被標定為具 有相同的焦距、焦點高度和平行焦平面；或者必須基于已知的相機參數(shù)來偏轉(warp) 圖像，好像它們由具有平行焦平面的相機拍攝。該偏轉過程包括相機標定(camera calibration)和相機調(diào)校(camera rectification)。標定和調(diào)校過程調(diào)整立體圖像的外極線， 使得外極線精確地為圖像的水平掃描線。因為對應點發(fā)現(xiàn)沿著外極線發(fā)生，所以調(diào)校過 程將對應搜索簡化為僅沿著掃描線搜索，這大大降低了計算成本。對應點是對應于圖像 中相同場景點的像素。接下來，在步驟204，經(jīng)由視差估計器116對于場景(例如，幀)中的每個點 估計視差圖。用于每個場景點的視差被計算為左眼和右眼圖像中的匹配點的相對距離， 艮口，發(fā)現(xiàn)左和右圖像中的對應于相同場景點的像素。例如，如果左眼圖像中一個點的水平坐標是X，并且右眼圖像中其對應點的水平坐標是X’，則視差d = x’ -X。在估計視差的一個實施例中，最初，獲取立體圖像對。計算視差成本函數(shù)，包 括計算像素匹配成本函數(shù)132和計算平滑成本函數(shù)134。執(zhí)行低成本立體匹配優(yōu)化(例 如，動態(tài)程序設計函數(shù)138)，以便得到立體匹配兩個圖像的初始確定結果。然后低成本 優(yōu)化的結果用于初始化置信傳播函數(shù)136，以便加速置信傳播函數(shù)以最小化視差成本函 數(shù)。要理解的是，在本領域中已知用于視差估計的其它方法，并且可以由本公開的系統(tǒng) 和方法采用所述其它方法。在步驟206，確定視差轉換?；敬嬖趦蓚€類型的視差轉換影片片段(例如， 場景、鏡頭等)之間的可能是突然的視差轉換，以及影片片段(例如，場景、鏡頭等)內(nèi) 的通常連續(xù)的視差轉換。如下所討論的，片段意味著包含相同內(nèi)容的幀的序列。片段之間的視差轉換通常是不連續(xù)和突然的。所以為了測量視差轉換，首先估 計之前片段的最后幀和當前片段的開始幀的視差圖。換句話說，假設在第i片段的末尾處 的視差圖是D1,并且在第(i+Ι)片段的開始處的視差圖是D1+1，那么視差差是δ D = Dw-D1(1) 為了測量深度改變的幅度，使用絕對視差差I δ D| = IDw-D1! (2)為了得到總體視差改變，使用最大視差轉換，其是^max(3)或者使用平均視差轉換，其是SDcner(4)
Wtl (x,y)其中W和H是視差圖的寬度和高度。對于片段中的畫面，視差轉換通常是連續(xù)的，但是少量時間中的大視差轉換也 將促進觀眾的眼睛疲勞。類似于片段之間的視差改變，可以將視差差用作測量，即，δ = Dw-Dlt5然而，將在每個幀而不僅僅在片段的邊界執(zhí)行該測量。這里，確定一幀內(nèi)部 的像素上的平均視差值而不是跨越各幀的像素上的平均視差值，然后計算每個連續(xù)幀之 間的差。由大視差和/或視差改變導致眼睛疲勞。因此，在步驟208，基于視差圖和視差 轉換估計眼睛疲勞。本公開的系統(tǒng)和方法利用非常粗略的眼睛疲勞模型。該系統(tǒng)和方法 假設存在將眼睛疲勞與在每幀處的視差和視差改變相關的函數(shù)，并且眼睛疲勞感跨越各 幀得到累積，但是隨著時間指數(shù)衰減。首先，假設存在“即時眼睛疲勞函數(shù)” g(￡>L,，^^vJ，其將由視差導致的眼睛疲 勞與平均視差^L·和視差轉換^Zt ■相關。然后，如果在第i幀之后視差保持為零，則眼 睛疲勞測量可以表示為衰減模型，如下ES1 (0 = g{D'aver，SDimer) exp(-A0( 5 )其中是建模視差對眼睛疲勞的即時影響的函數(shù)。入是衰減系數(shù)。 該模型假設如果在屏幕上不再存在視差(即，會聚點變?yōu)榻裹c)，則眼睛疲勞將快速漸弱。注意到因為在各片段之間可能存在視差的突然改變，因此函數(shù)對于 片段內(nèi)的幀和各片段之間的幀可能是不同的，這是它們在上面被不同地處理的原因。函 數(shù)
權利要求
1.一種測量在觀看三維(3D)呈現(xiàn)時的潛在眼睛疲勞的方法，所述方法包括 從第一片段獲取第一圖像和第二圖像(202)；估計第一圖像中的至少一個點與第二圖像中的至少一個對應點的視差(204)； 估計第一和第二圖像的序列的視差轉換(206)；以及基于視差以及第一和第二圖像的序列的視差轉換確定在觀看3D呈現(xiàn)時的潛在眼睛疲 勞(208)。
2.如權利要求1所述的方法，其中估計視差轉換步驟(206)還包括 估計之前片段的最后幀的視差；估計第一片段的第一幀的視差；以及確定之前片段的最后幀的視差和第一片段的第一幀的視差之間的差。
3.如權利要求1所述的方法，其中估計視差轉換步驟(206)還包括 估計第一片段的多個幀的每個幀內(nèi)的視差；以及確定第一片段的每個幀的視差之間的差。
4.如權利要求1所述的方法，其中確定潛在眼睛疲勞步驟(208)還包括確定用于第一 和第二圖像的序列的每個幀的即時眼睛疲勞函數(shù)。
5.如權利要求4所述的方法，其中確定潛在眼睛疲勞步驟(208)還包括將衰減因子應 用到用于第一和第二圖像的序列的每個幀的即時眼睛疲勞函數(shù)。
6.如權利要求5所述的方法，其中確定潛在眼睛疲勞步驟(208)還包括在預定的時間 段上累積衰減后的用于第一和第二圖像的序列的每個幀的即時眼睛疲勞函數(shù)。
7.如權利要求6所述的方法，其中確定潛在眼睛疲勞步驟(208)還包括使在第一和第 二圖像的序列上累積的眼睛疲勞函數(shù)飽和。
8.如權利要求1所述的方法，還包括確定潛在眼睛疲勞是否可接受(210)；以及 如果潛在眼睛疲勞不可接受，則校正第一和第二圖像的視差(212)。
9.如權利要求8所述的方法，其中校正步驟(212)還包括偏移第一和第二圖像的至少 一個，以便調(diào)整觀看者的眼睛相對于第一和第二圖像的會聚點。
10.如權利要求8所述的方法，其中校正步驟(212)還包括合成第一片段的具有減小 的視差的新視圖。
11.一種用于測量在觀看三維(3D)呈現(xiàn)時的潛在眼睛疲勞的系統(tǒng)(100)，所述系統(tǒng)包括用于從第一片段獲取第一圖像和第二圖像的部件；視差估計器(116)，用于估計第一圖像中的至少一個點與第二圖像中的至少一個對應 點的視差；視差轉換估計器(118)，用于估計第一和第二圖像的序列的視差轉換；以及 眼睛疲勞估計器(120)，用于基于視差以及第一和第二圖像的序列的視差轉換確定在 觀看3D呈現(xiàn)時的潛在眼睛疲勞。
12.如權利要求11所述的系統(tǒng)(100)，其中視差轉換估計器(118)操作來估計之前片 段的最后幀的視差，估計第一片段的第一幀的視差，以及確定之前片段的最后幀的視差 和第一片段的第一幀的視差之間的差。
13.如權利要求11所述的系統(tǒng)(100)，其中視差轉換估計器(118)操作來估計第一片 段的多個幀的每個幀內(nèi)的視差，以及確定第一片段的每個幀的視差之間的差。
14.如權利要求11所述的系統(tǒng)(100)，其中眼睛疲勞估計器(120)操作來確定用于第 一和第二圖像的序列的每個幀的即時眼睛疲勞函數(shù)。
15.如權利要求14所述的系統(tǒng)(100)，其中眼睛疲勞估計器(120)操作來將衰減因子 應用到用于第一和第二圖像的序列的每個幀的即時眼睛疲勞函數(shù)。
16.如權利要求15所述的系統(tǒng)(100)，其中眼睛疲勞估計器(120)操作來在預定的時 間段上累積衰減后的用于第一和第二圖像的序列的每個幀的即時眼睛疲勞函數(shù)。
17.如權利要求16所述的系統(tǒng)(100)，其中眼睛疲勞估計器(120)操作來使在第一和 第二圖像的序列上累積的眼睛疲勞函數(shù)飽和。
18.如權利要求11所述的系統(tǒng)(100)，還包括視差校正器(122)，如果眼睛疲勞估計 器(120)確定潛在眼睛疲勞不可接受，則視差校正器(122)操作來校正第一和第二圖像的 視差。
19.如權利要求18所述的系統(tǒng)(100)，其中視差校正器(122)操作來偏移第一和第二 圖像的至少一個，以便調(diào)整觀看者的眼睛相對于第一和第二圖像的會聚點。
20.如權利要求18所述的系統(tǒng)(100)，其中視差校正器(122)操作來合成第一片段的 具有減小的視差的新視圖。
21.一種可由機器讀取的程序存儲設備，所述程序存儲設備確實地體現(xiàn)可由機器執(zhí)行 的、用于執(zhí)行用以測量在觀看三維(3D)呈現(xiàn)時的潛在眼睛疲勞的方法步驟的指令的程 序，所述方法包括從第一片段獲取第一圖像和第二圖像(202)；估計第一圖像中的至少一個點與第二圖像中的至少一個對應點的視差(204)；估計第一和第二圖像的序列的視差轉換(206)；以及基于視差以及第一和第二圖像的序列的視差轉換確定在觀看3D呈現(xiàn)時的潛在眼睛疲 勞(208)。
22.如權利要求21所述的程序存儲設備，其中所述方法還包括確定潛在眼睛疲勞是否可接受(210)；以及如果潛在眼睛疲勞不可接受，則校正第一和第二圖像的視差(212)。
全文摘要
提供一種用于測量在觀看3D呈現(xiàn)(例如，立體運動畫面)時由觀眾感受到的潛在眼睛疲勞的系統(tǒng)和方法。本公開的眼睛疲勞測量系統(tǒng)和方法基于3D呈現(xiàn)的立體圖像的視差(或深度)和視差轉換的測量。本公開的系統(tǒng)和方法規(guī)定從第一片段獲取第一圖像和第二圖像(202)，估計第一圖像中的至少一個點與第二圖像中的至少一個對應點的視差(204)，估計第一和第二圖像的序列的視差轉換(206)，以及基于視差以及第一和第二圖像的序列的視差轉換確定在觀看3D呈現(xiàn)時感受到的潛在眼睛疲勞(208)。
文檔編號H04N13/00GK102027752SQ200880129158
公開日2011年4月20日 申請日期2008年5月12日 優(yōu)先權日2008年5月12日
發(fā)明者安娜·B·班尼特茲, 張冬青 申請人:湯姆森特許公司