用于控制顫抖可見性的系統(tǒng)和方法
【專利摘要】公開了用于控制顫抖的方法和系統(tǒng)。顫抖可以在圖片內(nèi)被局部地引入以恢復通常在電影中預期的顫抖感覺。幀的捕獲時間和顯示時間可以被操縱以獲得期望的顫抖量。幀可以被插入以獲得具有較高幀速率和顫抖的局部控制的電影。
【專利說明】
用于控制顫抖可見性的系統(tǒng)和方法
[0001] 相關申請的交叉引用
[0002] 本申請要求2014年2月27日提交的美國臨時專利申請No. 61/945，706和2014年9月 25日提交的美國臨時專利申請No. 62/055，555的優(yōu)先權，每一專利申請通過其整體引用而 特此并入。
技術領域
[000引本公開設及視頻處理。更特別地，它設及用于控制顫抖可見性（judder visibility)的系統(tǒng)和方法。
【附圖說明】
[0004] 并入到本說明書中并且構成本說明書的一部分的附圖示出了本公開的一個或多 個實施例，并且與示例實施例的描述一起用于解釋本公開的原理和實現(xiàn)。
[0005] 圖1示出了處理24巧S傳入素材(materia)的一個實施例的高層級框圖。
[0006] 圖2示出了由于對于不具有眼睛移動（即，注視）的世界坐標的情況（左半部）的平 滑運動（頂部）和跟蹤眼睛移動的情況（右半部）下的視網(wǎng)膜運動的時間采樣(底部）而造成 的失真。
[0007] 圖3示出了 W48巧S采樣并且在48巧S保持型顯示器上顯示的線段的運動。
[000引圖4示出了根據(jù)本公開的實施例的具有24fps輸入和48fps輸出的顫抖減少的處 理。
[0009] 圖5示出了根據(jù)本公開的實施例的作為速度的函數(shù)的示例性映射函數(shù)。
[0010] 圖6-14示出了根據(jù)本公開的實施例的顫抖控制的不同可能的方法。
[0011] 圖15示出了根據(jù)本公開的實施例的顫抖控制算法的實施例。
[0012] 圖16示出了本公開的方法的硬件實現(xiàn)的實施例。
[0013] 圖17示出了與顫抖控制有關的一些概念。
[0014] 圖18-19示出了與顫抖控制有關的映射的一些示例。
[001引圖20示出了具有120fps輸入的輸入時間和輸出時間之間的示例性關系。
[0016] 圖21示出了與顫抖控制有關的一些另外的概念。
[0017] 圖22示出了對于無限帖速率示例的真實時間和顯示時間之間的映射。
[001引圖23示出了利用和不利用平滑追隨對象眼睛跟蹤的時間空間軌跡線。
[0019] 圖24示出了本公開的顫抖控制的實施例的映射時間和真實時間。
[0020] 圖25示出了根據(jù)本公開的實施例的擴寬的顫抖可見性控制流程圖的示例。
[0021] 圖26示出了根據(jù)本公開的實施例的用于高帖速率圖像的擴寬的顫抖可見性控制 流程圖的示例。該步驟一般在圖像制作階段(即，后期制作）由人操作者控制。

【發(fā)明內(nèi)容】

[0022] 在本公開的第一方面中，描述了用于利用計算機控制顫抖可見性的方法，所述方 法包括:訪問第一圖像和第二圖像;使用所述第一圖像和第二圖像來生成亮度變化圖和對 比度變化圖；使用所述亮度變化圖和對比度變化圖來生成顫抖圖，其中，所述顫抖圖包括所 述第一圖像的顫抖信息；W及響應于所述顫抖圖，向所述第一圖像添加噪聲和運動模糊W 生成輸出圖像。
[0023] 在本公開的第二方面中，描述了用于控制顫抖可見性的方法，所述方法包括:通過 計算機提供至少兩個輸入帖；通過計算機基于所述至少兩個輸入帖估計插入圖 (interpolation map)，由此獲得估計的插入圖，其中，所述估計的插入圖指定對于所述至 少兩個輸入帖的至少一個像素的時間插入位置；W及通過計算機基于所述至少兩個輸入帖 和估計的插入圖插入至少一個另外的帖，由此獲得至少一個插入帖，其中，所述至少一個插 入帖的至少一個像素與由至少一個像素的插入圖指定的時間處的該至少一個像素對應。
[0024] 在本公開的第Ξ方面中，描述了用于控制高帖速率捕獲和高帖速率顯示的顫抖可 見性的方法，所述方法包括:利用非恒定的時間間隔捕獲帖，由此獲得捕獲的帖；和利用恒 定的時間間隔顯示所述捕獲的帖，由此獲得期望的顫抖可見性。
[0025] 在本公開的第四方面中，描述了用于控制高帖速率捕獲和高帖速率顯示的顫抖可 見性的方法，所述方法包括:利用恒定的時間間隔捕獲帖，由此獲得捕獲的帖；和利用非恒 定的時間間隔顯示所述捕獲的帖，由此獲得期望的顫抖可見性。
[0026] 在本公開的第五方面中，描述了用于控制顫抖可見性的方法，所述方法包括:利用 恒定的時間間隔捕獲帖，由此獲得捕獲的帖;和利用恒定的時間間隔顯示所述捕獲的帖，其 中，所述捕獲的帖中的至少一個帖被用其在前的捕獲的帖替代，由此顯示所述在前的捕獲 的帖兩次。
[0027] 在本公開的第六方面中，描述了用于控制顫抖可見性的方法，所述方法包括:利用 恒定的時間間隔捕獲帖，由此獲得捕獲的帖;通過計算機基于期望的顫抖可見性處理所述 捕獲的帖中的至少一個帖和其在前的捕獲的帖中的至少一個，由此獲得至少一個經(jīng)處理的 捕獲的帖；W及利用恒定的時間間隔顯示所述捕獲的帖和至少一個經(jīng)處理的捕獲的帖。
[0028] 在本公開的第屯方面中，描述了用于控制高帖速率圖像序列的顫抖可見性的方 法，所述方法包括:通過計算機提供輸入帖；通過計算機從所述輸入帖去除噪聲或膠片顆 粒，由此獲得經(jīng)處理的帖;通過計算機處理來自所述輸入帖的所述噪聲或膠片顆粒，由此獲 得低帖速率噪聲或膠片顆粒；W及通過計算機向所述經(jīng)處理的帖添加所述低帖速率噪聲或 膠片顆粒，由此獲得輸出帖。
[0029] 在本公開的第八方面中，描述了用于控制高帖速率圖像序列的顫抖可見性的方 法，所述方法包括:通過計算機提供輸入帖;通過計算機將所述輸入帖分成至少兩組帖;通 過計算機基于期望的顫抖可見性處理所述帖的組中的至少一組，由此獲得經(jīng)處理的至少一 組帖和未經(jīng)處理的至少一組帖；W及通過計算機組合所述經(jīng)處理的至少一組帖與未經(jīng)處理 的至少一組帖。
[0030] 在本公開的第九方面中，描述了用于利用計算機控制顫抖可見性的方法，所述方 法包括:通過計算機提供至少兩個輸入帖;通過計算機基于所述至少兩個輸入帖估計插入 圖，由此獲得估計的插入圖，其中，所述估計的插入圖指定對于所述至少兩個輸入帖的至少 一個像素的時間插入位置；W及通過計算機基于所述至少兩個輸入帖和估計的插入圖插入 至少一個另外的帖，由此獲得至少一個插入帖，其中，所述至少一個插入帖的至少一個像素 與由至少一個像素的插入圖指定的時間處的該至少一個像素對應，輸出帖速率為輸入帖速 率的整數(shù)倍，并且所述至少一個另外的帖被插入在所述至少兩個輸入帖之間。
[0031] 在本公開的第十方面中，描述了用于控制顫抖可見性的方法，所述方法包括:通過 計算機提供至少兩個輸入帖;通過計算機基于所述至少兩個輸入帖估計插入圖，由此獲得 估計的插入圖，其中，所述估計的插入圖指定對于所述至少兩個輸入帖的至少一個像素的 時間插入位置;計算基礎(base)帖速率，所述基礎帖速率為輸出帖速率的偶數(shù)倍并且在值 上基本上接近于輸入帖速率，由此類似于所述輸入帖速率來顯示顫抖，其中，輸出帖速率為 所述輸入帖速率的非整數(shù)倍；W及通過計算機基于所述至少兩個輸入帖、基礎帖速率、輸入 帖速率和輸出帖速率W及估計的插入圖插入至少兩個另外的帖，由此獲得至少兩個插入 帖，其中，所述至少兩個插入帖中的至少一個的至少一個像素與由至少一個像素的插入圖 指定的時間處的該至少一個像素對應，其中，所述至少兩個另外的帖被插入在所述至少兩 個輸入帖之間。
[0032] 在本公開的第十一方面中，描述了用于控制顫抖可見性的方法，所述方法包括：W 輸入帖速率提供輸入帖;通過計算機在每一時間段從所述輸入帖捕獲帖，由此獲得捕獲的 帖;在每一時間段中W低于所述輸入帖速率的帖速率顯示所述捕獲的帖；W及在每一時間 段的結束使所述捕獲的帖在時間上向前跳躍(jump)達趕上所述輸入帖速率所需要的量，由 此獲得期望的顫抖可見性。
[0033] 在本公開的第十二方面中，描述了用于控制高帖速率顫抖可見性的方法，所述方 法包括：W輸入帖速率提供輸入帖;通過計算機計算顫抖基礎帖速率;選擇顫抖控制速率； 在每一時間段從所述輸入帖重采樣帖，由此獲得重采樣的帖;在每一時間段中W不同于所 述輸入帖速率的帖速率顯示捕獲的帖；W及在每一時間段的結束使所述捕獲的帖在時間上 向前跳躍達趕上所述輸入帖速率所需要的量，由此W等于所述輸入帖速率的輸出帖速率獲 得期望的顫抖可見性。
【具體實施方式】
[0034] 運動圖片(motion picture)中的顫抖可W簡單地被描述為非平滑運動，但是該術 語也被用于一般描述視頻記錄中典型的24fps的相對低的帖速率的任何結果。由于24fps的 帖速率(或其它類似低的帖速率)產(chǎn)生的與真實世界中可見的運動相比的失真中的一些可 W被分解成四個主要成分(component): 1)非平滑運動(顫動），2)沿著移動邊緣(edge)的閃 爍，3)移動對象上的空間模糊，W及4)虛假的多個邊緣。
[0035] 運樣的失真主要是由于相對于圖像更新速率(帖速率）的高程度的運動，W及源自 空時混疊的結果。如本領域技術人員已知的，可W通過空時對比靈敏度函數(shù)(CSF)(稱為ST- CSF)來描述運動失真的可見性。運動中的對象相對于其周圍區(qū)域的對比度可W影響可見 性，因為對比度是向ST-CSF的主要輸入變量，從而確定闊值和總的可見性。
[0036] 還存在基于視覺系統(tǒng)的亮度適應對運些失真的可見性的影響。對于較高亮度水 平，ST-CSF的空間和時間帶寬增大，結果是所有四個成分的可見性也增大。用于影片的新投 影儀設計實現(xiàn)較高的最大亮度和較高的對比度。有時增大的最大亮度被用于提升平均亮度 水平，而其它時間它被用于僅增大對象的對比度。運兩種改善具有負面影響，因為它們增大 了顫抖的所有四個成分的可見性。不幸的是，顫抖的W前可接受的水平現(xiàn)在變得令人反感。
[0037] 換言之，針對lOOnits標準動態(tài)范圍顯示器或48nits電影屏幕分級的內(nèi)容在被重 新分級到擴展或可視動態(tài)范圍顯示器(例如，SOOnits TV顯示器或llOnits電影屏幕)時示 出令人反感的顫抖。原因是，如屯、理物理實驗中所示的那樣，較高明亮度(bri曲tness)和較 高對比度增大了顫抖感知(perception)。
[0038] 屯、理物理實驗已通過使用Gabor和自定義的對比度-頻率測試圖W及真實圖像序 列作為刺激(stimuli),研究了不同的因素如何影響運動顫抖的感知。結果表明，顫抖與包 括帖速率、運動速度、明亮度、對比度、快口角度等的不同變量可W具有強的關系。對于顫抖 的感知存在截止帖速率:超過該帖速率，不存在顫抖感知，而低于該速率，顫抖感知在帖速 率降低時增大。因此，在相同帖速率處，顫抖感知隨著運動速度、明亮度W及對比度增大而 增大，并且隨著快口角度增大而降低。
[0039] 在許多成像應用中，運動質(zhì)量的改善的目標是減少W上列舉的所有四個顫抖成 分，并且可見性的窗口提供了朝著運樣的改善的清晰路徑。減少顫抖的一種方式是在捕獲 或顯示階段減少空間和時間分辨率或者增大帖速率。然而，對于影片來說，運些成分中的一 些在某些幅值水平處實際是期望的，因為它們有助于通常由電影攝影師和電影行業(yè)中的其 它專業(yè)人員期望的"電影感(film look)"。它們在使影片看起來不同于視頻時是重要的，視 頻由于其相對較高的帖速率而具有平滑得多的運動和銳利的移動邊緣。盡管電影感的偏好 背后的一些細節(jié)是未知的，但是已假設由于與電影從業(yè)者經(jīng)常對于聚焦偏好淺的景深的事 實有關的那些原因類似的原因，運動模糊（由于在LCD顯示器行業(yè)中經(jīng)常討論的保持型模糊 和平滑追隨眼睛移動交互而造成)是被偏好的。它減少故事講述不需要的可W被視為干擾 的可見細節(jié)。其它理論是，影片不應當太實際，因為運阻礙觀看者的想象力。第Ξ個關鍵理 論是，影迷與朝著電影感的一些顫抖成分存在強的關聯(lián)性，并且作為結果，電影觀看者偏好 影片不具有視頻的更實際的運動質(zhì)量。作為運些復雜因素的結果，需要比簡單地去除顫抖 (諸如通過增大捕獲和顯示的帖速率，或者通過使用運動插入W增大給定源的帖速率)做得 更多的方法。運樣的方法必須管理顫抖；即，保持在感知上類似于傳統(tǒng)影片的所期望的成 分，盡管對比度和亮度水平增大。運些顫抖管理的方法是本公開的主題。除了將來自影片的 顫抖成分水平保留在W前可接受的水平之外，本公開還描述了允許導演或電影攝影師全局 地和局部地控制顫抖顯現(xiàn)(appearance)的方面(從傳統(tǒng)感到更自然的"視頻運動"感(包括 中間的各種狀態(tài))的范圍）的系統(tǒng)和方法。
[0040] 處理運動偽像的另一種方法是通過記錄處理的控制。美國電影攝影師協(xié)會已提供 了關于在場景中捕獲運動的指導方針，諸如"7秒準則"（對象應當花費7秒跨過攝像機帖）。 運些準則是根據(jù)傳統(tǒng)的投影儀針對亮度水平和對比度開發(fā)的。然而，給定新的顯示技術，任 何現(xiàn)有的內(nèi)容將需要針對顫抖的重新評估，并且在真實世界制作環(huán)境中，可能不可W在內(nèi) 容創(chuàng)建期間先驗地判斷顫抖感知量。許多顯示器具有足夠高W致于決不存在顫抖的原生的 帖速率，并且適當?shù)碾娪案胁槐蛔匀坏氐玫健Ｒ虼?，期望控制導?電影攝影師/后期制作者 W及觀看者對顫抖的感知的半自動化處理。
[0041] 掩蔽(mask)顫抖的常見的后期制作方法如下。
[0042] 1.降低總的圖片明亮度水平直到顫抖可接受。該方法與對顯示器中較高明亮度和 較高對比度的期望沖突，并且人為地約束藝術意圖。
[0043] 2.添加運動模糊W偽造攝像機上較長的快口，運基于運動的量和方向巧污 (smear)像素。該方法對存在于場景中的細節(jié)具有負面的影響，其中所有移動的對象將丟失 細節(jié)。為了避免該潛在的問題，添加最小量的運動模糊，運可能對于將來的顯示技術不起作 用。實際上，隱藏顫抖所需要的純粹模糊量可能會如此大，W致于它違犯物理上似合理的攝 像機快口，從而向電影添加新的負面的顯現(xiàn)。
[0044] 3.在圖像之間插入到較高帖速率，或W較高帖速率捕獲，其中帖與帖之間的運動 減少。該方法當前對于大多數(shù)解決方案而言是優(yōu)選模式，然而，該方法也對場景具有負面的 屯、理影響，其中人們評論它不再"感覺"像電影。該方法對一些顯示技術也是不可W的。
[0045] 本公開描述了可W允許導演或電影攝影師全局地和局部地控制顫抖顯現(xiàn)的方面 (從傳統(tǒng)感到更自然的"視頻運動"感(包括中間的各種狀態(tài))的范圍）的系統(tǒng)和方法。本公開 可W提供用戶在特定位置可W感知到多少顫抖的成文的度量，并且提供僅在目標區(qū)域添加 適應性校正的方法。另外，可W修改校正W保留電影"感"的感知和明顯的(apparent)細節(jié)。
[0046] 在2014年2月27日提交的美國臨時專利申請No 61/945,706、"Systems and methods to con化〇1化dder vis化ility"中，已描述了不同的方法來控制低帖速率內(nèi)容 的顫抖可見性，例如，通過W全局和局部可控制的顫抖可見性來使帖速率加倍。另外，對于 利用高帖速率捕獲和顯示來控制顫抖提議了若干方法。美國臨時專利申請No 61/945，706 的公開通過其整體引用而并入本文。另外，處于參考的目的，本文再現(xiàn)了來自美國臨時專利 申請No 61/945,706的若干概念。
[0047] 1.不變帖速率處理
[0048] 不變帖速率處理可W提供減少顫抖同時使帖速率不變的方式。圖1示出了處理 24fps傳入素材的一個實施例的高層級的框圖，并可W是當由于顯示限于24fps而時間插入 不可能時使用的最終輸出。在較高輸入帖速率處，將添加另外的處理W調(diào)整"電影感覺"。設 想諸如顯著性或對象識別之類的另外的圖像屬性來增強結果。
[0049] 在圖1中，在時間*(110)、*-1(105巧化+1(120)處的輸入圖像經(jīng)受時間處理（115)。 視頻處理（115)包括運動估計（130 )，其中運動矢量被估計。還針對亮度（121)和對比度 (125)或者帖與帖之間存在的變化量的其它度量計算輸入圖像（105,110,120)之間的時間 差異。可W通過并入更多周圍帖（surrounding打ame)來改善運動估計及其它變化測量值。 運動估計（130)包括對兩個運動矢量集(一個前向運動矢量集和一個后向運動矢量集)的估 計。該前向和后向集被單獨地計算，并且使得能夠W較高的精度計算運動估計。
[0050] 運動矢量估計包括確定矢量的方向（140)和矢量的幅度（135)。使用矢量的幅度 (135)、亮度變化圖（121)和對比度變化圖（125)來確定規(guī)范化的顫抖圖（145)，其中每一像 素的顫抖值描述多少顫抖是明顯的。該方法的一個簡單實施例將是使用加權的方案對每一 成分求和（諸女曰w0*vector_ma邑1111：11(10+訊1水1111111]1曰]1〇0_〇11曰]1邑0+訊2水〇〇]1化曰81:_〇11曰]1邑0)為在〇 和1之間變化的單一數(shù)字，其中，0表示沒有明顯的顫抖，而1對應于最大量的顫抖?？蒞使用 其它統(tǒng)計度量來在相互關聯(lián)的輸入?yún)?shù)之間更準確地表決(vote)。在一些實施例中，可W 針對全部像素的子集計算顫抖值。也可W使用場景和顯示器元數(shù)據(jù)（150)來確定顫抖圖 (145)。例如，可W利用場景的明亮度和顯示器的尺寸和亮度。如本領域技術人員已知的，屏 幕越大，顫抖就越可見。場景和顯示器元數(shù)據(jù)(150)可影響對顫抖的感知。例如，感知的顫抖 隨著明亮度增大而增大?？偟膱鼍懊髁炼瓤蒞被攜載在場景元數(shù)據(jù)（150)中，并因此可W在 確定顫抖中被使用。顯示器元數(shù)據(jù)（150)可包括顯示器的最大明亮度，W及顯示器的大小， 運兩者可w影響感知的顫抖。
[0051] 可W基于每個像素的顫抖量（145)計算要被添加的噪聲（160)。可W基于顫抖圖 (145)縮放（155)矢量（135)的運動幅度。在縮放（155)之后，基于顫抖量將噪聲（抖動 (jitter))添加（165)到運動幅度。噪聲基于顫抖圖（145)測量（160)。例如，顫抖的幅度越 大，將被添加的噪聲就越高。
[0052] 在抖動（165)之后，使用運動幅度和方向來重構運動矢量（170)。運里使用抖動來 指示時間偏移?；谶\些運動矢量運動模糊（175)被添加到圖像。還基于要與原始圖像混合 的噪聲量添加偽膠片顆粒(grain) (180)使得運動模糊看起來好像原始捕獲的一部分?？蒞 基于顫抖量調(diào)整噪聲幅值、大小或分布。獲得(185)最終輸出圖像。在一些實施例中，對圖像 的一個或多個像素或W加權方式執(zhí)行此處所描述的處理。
[0化3] 2.帖速率調(diào)整處理
[0054] 當替代的帖速率可能時，通過W較高帖速率捕獲或插入較低帖速率并W較高帖速 率顯示，使得能夠進行另外的處理。運允許呈現(xiàn)具有增強的"電影感覺"，而不具有強顫抖的 負面影響。可W在具有令人反感的顫抖的區(qū)域中引入較高帖速率的非平滑運動，使得感知 的顫抖將被減少到可接受的范圍而不被消除，同時不具有過度的顫抖的圖像的大部分將被 W較低的帖速率更新。因此，整個圖像序列當W較高帖速率播放時將保持本能的"電影感 覺"。換言之，在局部區(qū)域中減少過度的顫抖，而使其它區(qū)域未受影響。最終圖像的一些區(qū)域 將基于較高帖速率圖片，而其它區(qū)域將基于較低帖速率圖片。
[0055] 例如，給定24fps的輸入，為了抵消由于顯示器/投影儀明亮度的增大而造成的增 大的顫抖感覺，一種選擇是增大帖速率。所需的帖速率的增大(其可W有效地減少由明亮度 導致的相同量的增大的顫抖)可W通過屯、理物理實驗來進行建模。然而，可調(diào)整的帖速率范 圍可W被限制在24fps和48巧S之間，如在48fps中，通常不存在感知的顫抖。將24巧S序列插 入到低于48fps的任意帖速率并W該任意帖速率顯示它可能是不實際的，盡管當帖速率轉 換和顯示技術進步時運可能更實際。該解決方案的正式描述可W是:給定針對第一顯示明 亮度分級的24巧S圖像序列/場景，找出最優(yōu)第二帖速率，使得在將帖速率從24fps轉換到該 第二帖速率之后，在具有第二顯示明亮度的輸出顯示器上回放的內(nèi)容將具有與當在具有第 一顯示明亮度的顯示器上播放原始的24巧S內(nèi)容時相同量的感知的顫抖。
[0056] 更實際地，顯示器和投影儀通常對于48fps、60fpsW及一些其它標準帖速率是可 用的。在該情況下，如果恰當?shù)赝瓿蓵r間插入，使用帖速率轉換可W消除所有顫抖感知，如 同在運樣的高帖速率中沒有顫抖被看見。
[0057] -種可能的方法試圖識別具有過度的顫抖的區(qū)域，并且僅W較高帖速率更新運些 區(qū)域，同時使其它區(qū)域W較低帖速率回放。該方法示出了與將圖片的每一部分更新到較高 帖速率的方法相比的改善的結果，因為顫抖感覺在大多數(shù)區(qū)域中被保持，盡管在具有過度 的顫抖的區(qū)域中它被消除。
[0058] 可W應用如此處所描述的解決方案W將過度的顫抖減少到可接受的水平，W便當 W較高帖速率回放24巧S內(nèi)容時保持感知的顫抖。例如，可W W較高帖速率引入局部可變的 非平滑運動，W便引入局部可控制的顫抖感覺。利用該能力，適當量的顫抖可W在具有過度 的顫抖的區(qū)域中被打開(turn on)。還可W將其它區(qū)域中的顫抖打開到24巧S處的完全可能 的顫抖量，并在空間上和在時間上確保顫抖感覺的平滑變化。W下利用48巧S的示例性輸出 帖速率解釋此處所描述的方法，然而，本領域技術人員將理解其它輸出帖速率可w是可能 的。
[0化9]可 W根據(jù)例如SID 2001 中J丄arimer等人的 "Judder-induced edge flicker in moving objects,"(其公開內(nèi)容通過整體引用而包括于此)通過邊緣閃爍解釋來自平滑地 移動的對象的顫抖的人類感知。
[0060] 圖2示出了與顫抖控制有關的一些概念。在圖2中，假定線段跨屏幕從左到右移動， 并且觀看者正在利用平滑追隨眼睛移動（SPEM)跟蹤該線段。頂部行（205,210)示出了真實 生活中的線(225，230)的空間時間軌跡，即連續(xù)的域，而底部行(215，220)示出了當W 24fps 采樣并在保持型化old-type)顯示器上回放時頂部行(205,210)的空間時間軌跡。
[0061] 在圖2中，在左側(205，215)，W世界坐標表示空間位置，而在右側(210,220)，利用 S陽觀看者的視網(wǎng)膜(retina)的坐標表示位置。中線（225,230,235,240)示出了當觀看 者正在跟蹤對象時眼睛凝視的空間時間軌跡。因此，面板(panel)(205)示出了線段從左到 右移動，并且在面板(210)中示出了視網(wǎng)膜坐標中的該運動。當移動的線被采樣并在保持型 顯示器上重構時，可W在面板(215)中看見階梯狀軌跡。當在觀看者正在跟蹤對象的同時W 視網(wǎng)膜坐標表示該軌跡時，可W在面板(220)中看見空間時間軌跡中的銀齒狀邊緣。因此， 在線段的邊緣，可W看見運動模糊，其中顏色從背景顏色斜升(ramp up)到線顏色。同時，還 可W看見閃爍，因為帖速率是24fps，遠低于臨界融合頻率(CFF)的頻率。閃爍和運動模糊通 常是在24fps回放中被看作為顫抖的東西。在面板（220)中，銀齒形狀的深度被標記為X (245)，其為對于線段的每個帖的位移，即線段的速度。從屯、理物理實驗，已知感知的顫抖幅 度與運動速度正相關，因此當X增大時，感知的顫抖將增大，而當X減小時，感知的顫抖減小。
[0062] 圖3示出了如果線段的運動被W48fps采樣并顯示在48fps保持型顯示器上所發(fā)生 的事情。在圖3中，頂部行(305,310)示出了保持型顯示器(305)上W及利用SPEM看著顯示器 的觀看者的視網(wǎng)膜（310)上的平滑地移動的線段的空間時間軌跡。如在（310)中可W看見 的，邊緣閃爍比圖2的（220)中少得多，因為位移在值上大約是一半，并且更重要的是，頻率 是接近CFF的48fps。在實際中，較銳利的圖像可較少的運動模糊被觀察到，并且通常沒 有邊緣閃爍。
[0063] 因此，如果利用帖速率控制(FRC)將輸入的24fps內(nèi)容插入到48fps(其中，插入帖 在時間上位于t+0.5處），則將不存在感知的顫抖。運不一定是有利的，因為預期的目的是減 少過度的顫抖，而不是消除它。
[0064] 圖巧日3還示出了利用帖速率控制(FRC)將24巧S處的輸入內(nèi)容插入到48巧s(其中， 插入帖在時間上位于t+0.5處）的結果。
[0065] 在圖3中，底部行（315,320,325,330)示出了利用48fps處的非平滑運動從左到右 移動的線段的空間時間軌跡。具體地，對于24fps時段的第一半（316)，線段(335)向左移動 小的間隙（gap),而對于第二半（317)，向左移動大的間隙。當眼睛正在跟蹤運動時，中線 (335,:340)與頂部行（305，310)的線（345，350)保持相同。換言之，（315)也可W被闡釋為 24fps輸入內(nèi)容到48fps的插入，其中插入帖在時間上位于t+dt處，其中dt< = 0.5。因此， (315)也可W被闡釋為24fps輸入內(nèi)容到48fps的插入，其中插入帖在時間上位于兩個連續(xù) 帖之間的時間化處，其中化= xl/(24x)秒。
[0066] 第一半（316)的小間隙和第二半(317)的大間隙還可W在圖17中更詳細地被看作 為xl(1705)和x2(1710)，其中，xl+x2 = x。
[0067] 返回參考圖3,當（315)中的空間時間軌跡如在(320)中那樣在觀看者的視網(wǎng)膜上 被表示時，（320)中的軌跡可W被分解成兩個成分:24fps成分(325)和48fps成分(330)。成 分(325)非常類似于將被感知為顫抖的圖2的（220)中的軌跡，同時圖3中的成分(330)非常 類似于示出沒有顫抖的（310)中的軌跡。圖3中的（325)和圖2中的（220)之間的不同是(325) 中的位移x(355)小于（220)中的位移x(245)，因為x(355)=x2-xl = x(245)-2*xl。位移X (335)也可W稱為X'。圖2和圖3相對于彼此不是要縮放，因此，圖2和圖3中的位移x(355， 245)的相對長度可能看起來不同于特此所陳述的?；赪上的分析，較小的位移x(355)對 應于較慢的運動速度，并因此導致較少的顫抖。同時，成分（330)將不具有顫抖，因為它是 48fps，并且具有與（310)相比甚至更少的運動速度?？傮w上，視網(wǎng)膜上的空間時間軌跡 (320)將示出與（310)相比減少的顫抖。
[0068] (320)中的位移是(325)中的位移(355)和(330)中的位移的和。因此，位移(355)將 小于(320)中的位移。
[0069] 位移x(355)是可控制的，因為可W在不同的時間位置dt處插入48fps流的中間帖。 用于計算插入位置化的公式是
[0070]
[0071] 如果化=0(并且x'=x)或化=1，則獲得與圖2中的（220)中相同的效果，具有原始 顫抖。如果dt = 0.5(并且x'=0)，則獲得與圖3中的（310)中相同的效果，其中不具有顫抖。 對于0和1之間的其它值(0和X之間的X'值），可W將感知的顫抖控制到對于dt = 0和化= 0.5 的兩種情況之間的期望的程度。經(jīng)由dt'=l-dt處的插入也可W獲得非平滑運動，dt' = l- 化處的插入將具有與化處的插入相同量的顫抖。
[0072] 在一些實施例中，dt< = 0.5被選擇用于顫抖減少，同時0.5的另一側的值將具有類 似的效果?？蒞使用相同技術來對基本(organic)高帖速率內(nèi)容引入顫抖感知，其中，顫抖 可W利用非平滑運動注入。
[0073] 對于具有24fps輸入和48fps輸出的顫抖減少，可W利用圖4所示出的示圖實現(xiàn)算 法?？蒞生成(430)插入位置圖M(425)，使得對于每一像素(X，y)，像素將在時間位置化=M (x，y)處被插入。
[0074] 在該實施例中，輸出的帖速率是輸入的帖速率的兩倍。為了簡單化，每一輸入帖 (405)可W被直接拷貝作為輸出帖(410)，并且可W在每一對相鄰的原始輸入帖之間（455) 插入一個帖，W獲得輸出帖(460)。
[0075] 可W分析(440)帖，W確定它包含多少顫抖。在實施例中，可W如在圖1中所描繪的 顫抖控制處理中所討論的那樣執(zhí)行顫抖分析(440)。在另一個實施例中，接下來參考圖4討 論替代的顫抖分析技術。
[0076] 為了獲得插入帖，首先使用輸入帖（405)來估計（415)每一像素的運動矢量場 (420)。對于每一像素(x，y)，獲得前向運動矢量mvf(x，y)和后向運動矢量mvb(x，y)?；谶\ 兩個運動矢量，可W通過比較前向和后向運動矢量來定義像素（x，y)的時間運動一致性 ((3011313*611〇7)。^，7)，并且可^通過與其相鄰像素比較前向和后向運動矢量來定義空間 運動一致性Cs(x，y)。另外，可W使用每一像素(x，y)的前向運動矢量mvf(x，y)來找到下一帖 中的對應像素(x'，y'），使得可W將像素的前向運動矢量mvf(x，y)與下一帖中的其對應像 素的后向運動矢量(即，mvbiy，/ ))進行比較，W確定前向運動一致性Cf(x，y)。
[0077]類似地，可W通過比較像素的后向運動矢量mvb(x，y)與其前一帖中的其對應像素 (X"，y")的前向運動矢量（即，mvf (X"，y")(其中，對應像素 (X"，y")通過像素(x，y)的后向運 動矢量mvb(x，y)來確定)來確定后向運動一致性Cb(x，y)。在一個實施例中，運些運動矢量一 致性被定義為運動矢量的和的幅度除W運動矢量的平均幅度。例如，
[007引
[0079] 其中，|u|是U的幅度。在一個實施例中，修改的運動幅度m(x，y)對于每一個像素 (x，y)可W被定義為前向運動幅度乘W前向運動一致性和后向運動幅度乘W后向運動一致 性中的較大者。該修改的運動幅度被進一步乘W時間運動一致性，例如：
[0080] s(x，y)=max( |mvf(x，y) |*Cf(x，y)，|mvb(x，y) |*Cb(x，y))*Ct(x，y).
[0081] 高斯濾波器被應用于該修改的運動幅度sW獲得運動速度s'的平滑映射。在實際 中，將通過運動速度s'（x，y)確定像素(x，y)的映射的插入位置M(x，y)。該映射的插入位置 也可W基于顫抖分析結果修改，并且可W通過用戶交互來控制。例如，后期制作的用戶 (435)可W確定場景的哪一部分包含過度的顫抖并且可W調(diào)諧位移圖，使得結果將包含適 當?shù)念澏丁?br>[0082] 在一個實施例中，可W基于之前獲得的平滑的運動速度s'計算插入圖M(425)。例 如，像素(X，y)的運動速度S '（ X，y)和插入位置Μ(X，y)之間的關系可W是兩個速度闊值T1和 T2之間的軟切換（soft switching)函數(shù)，具有最小插入位置0, W及最大插入位置0.25,如 圖5所示。
[0083] 在圖5中，TU505)和Τ2(510)是速度闊值，同時M(x，y)=0(515)是最小插入位置， 并且M(x，y) =0.25(520)是最大插入位置。
[0084] 給定一對原始輸入帖和插入位置圖M，可W在每一像素(x，y)處應用標準帖速率轉 換方法，W獲得對應的插入位置M(x，y)處的插入結果。還可W基于運動估計結果模擬運動 模糊，其中，在一個實施例中，運動模糊的量與插入位置成比例，即，插入位置與其最接近的 原始輸入帖越遠離，越多的運動模糊被應用?？蒞例如通過沿運動方向應用方框(box)濾波 器或高斯濾波器獲得運動模糊。在另一個實施例中，通過對第一輸入帖和插入帖之間的采 樣帖進行平均來模擬運動模糊。在該情況下，可W基于插入位置圖Μ對于每一個像素首先計 算并平均所有采樣的插入帖。
[0085] 對于W上的實施例的顫抖管理方法存在若干應用情景。首先，作為用于后期制作 的工具，工作室可W直接W48fps生成去顫抖的輸出內(nèi)容，并且然后通過兼容的投影儀來回 放該內(nèi)容。后期制作處理也可W針對具有實時去顫抖的數(shù)字影片投影儀生成元數(shù)據(jù)。該元 數(shù)據(jù)還可W被用于在消費者設備中引導FRC。元數(shù)據(jù)可W呈現(xiàn)多種形式，包括針對其場景需 要顫抖減少的指示符，W及定義如何針對特定場景生成插入位置圖的參數(shù)映射函數(shù)。
[0086] 在本公開中所描述的方法也可W直接應用在投影儀和消費者設備兩者中W用于 實時全自動的顫抖減少。本公開描述了可W在諸如編碼器、解碼器、投影儀和消費者設備之 類的硬件設備中實現(xiàn)的算法。
[0087] 3.高帖速率和顫抖控制處理
[0088] 在與W上所描述的方法有關的一些實施例中，可W跳到其中48fps或更高的流已 經(jīng)可用的步驟。如W上假定的，運可W通過插入來完成?？商娲兀蒞通過首先利用高 帖速率攝像機捕獲內(nèi)容來完成。然后，關屯、的事變?yōu)槿绾巫罴训仫@示可用的圖像，使得存在 合適水平的顫抖W便保留電影感。
[0089] 3.1.使用非平滑運動來模擬顫抖
[0090] 主要思想是在高帖速率內(nèi)容中引入非平滑運動，因此它將示出類似顫抖的感知， 即使W高刷新速率播放內(nèi)容。
[0091] 可W在捕獲端在后期制作期間或者在投影儀/顯示器端引入非平滑運動。在W下 的小節(jié)，將基于非平滑運動在何處被引入到高帖速率系統(tǒng)中來描述Ξ種方法。
[0092] 3.1a
[0093] 在一些實施例中，運動圖片將W非平滑方式捕獲，即，在捕獲每一帖之間具有非恒 定的時間間隔。W該非平滑方式捕獲到的運動圖片然后可W被投影在利用恒定的時間間隔 投影連續(xù)帖的投影儀上。因此，感知的內(nèi)容將具有被引入的非平滑運動，運在回放高帖速率 內(nèi)容中提供顫抖感覺。
[0094] 例如，令帖索弓li為i = 0，l，2,….，并且捕獲每一帖時的時間被記為t(i)。對于具 有恒定時間間隔化的正常捕獲，捕獲時間t(i) = i*化，其中，dt是兩個帖之間的時間。例如， 當帖速率是120fps時，化= 1/120 = 8.333ms。對于非平滑捕獲，可W改變帖的子集的捕獲時 間W使捕獲時間在時間上移動早一點或晚一點（例如，對于120fps捕獲每第5帖，使得可W W24化頻率引入一些東西）。在數(shù)學上，可W設置t(i) = i*化+δ，其中，如果mod(i，n)=0,那 么S為非零，否則，δ = 〇。如果對于120fps捕獲η被設置為5,那么運意味著，對于每五個帖，帖 中的一個W不同的時間戳捕獲。運在圖6中示出。在顯示器側仍將在恒定間隔回放中示出在 該方法中捕獲到的帖。在圖6中，可W看見，在顯示器上呈現(xiàn)的第5(605)和第10(610)圖像將 在較早的時間處被捕獲。如果假定存在在顯示器上W恒定的速度從左(615巧Ij右(620)移動 的對象，則對象然后將從帖1到帖4W恒定的速度移動，在帖4和帖5之間減速，并且從帖5到 帖6加速。該非平滑運動將被感知為一種類似于顫抖的運動偽像。
[00M]圖7示出了具有180度快口捕獲的示例。對于每第5帖，捕獲時間被移位dt的一半， 即，第5帖（705)在第4帖（710)之后被立即捕獲。類似地，在顯示器側，W化的恒定時間間隔 投影捕獲到的運動圖片。
[0096] 當前攝像機可能不支持在捕獲視頻時改變捕獲時間。實現(xiàn)運里所描述的實施例的 一種方式是使用能夠捕獲較高帖速率的視頻攝像機。例如，使用具有240fps和360快口度的 攝像機，可W捕獲如圖7所示的序列。
[0097] 3.1b
[0098] 類似于W上的實施例，可W改變投影儀系統(tǒng)使得它將W非恒定時間間隔投影帖。 圖8中示出了示例。考慮捕獲的180度快口角度和顯示器的全時段保持時間，可W看見每一 帖的實際捕獲和顯示如圖9中那樣。
[0099] 在該示例中，改變每一帖的呈現(xiàn)時間戳。然而，該實施例可能不被某些顯示系統(tǒng)支 持。可W使用較高帖速率投影儀/顯示器來模擬效果，如圖10所示。
[0100] 可W將W上的兩個實施例結合起來W具有顫抖感知的更靈活的控制，例如，如圖 11和圖12所示。
[0101] 3.1c
[0102] 在一些實施例中，不改變捕獲時間和顯示時間，因此運動圖片利用恒定時間間隔 捕獲并且利用相同時間間隔呈現(xiàn)。代替的是，在后期處理/制作步驟中操縱捕獲到的運動圖 片。通常，使用在時間t2(t)處捕獲的帖，在時間t處呈現(xiàn)該帖。例如，當輸入是120fps內(nèi)容 時，可W將時間函數(shù)設計為
[0103]
[0104] 基本上，該時間函數(shù)將在每五帖時段中重復第4帖，并且丟棄原始第5帖。在圖13中 示出了該特定實施例，其中，還對于第5(1315)和第10(1320)帖使用第4(1305)和第9(1310) 帖。
[0105] 也可W設計其它時間函數(shù)t2(t)。不僅數(shù)字5可W改變，而且它不需要是整數(shù)。當t2 (t)不是整數(shù)時，不在t2(t)處捕獲帖。在該另一實施例中，可W使用視圖插入技術來生成模 擬在時間floor(t)和floor(t)+l處捕獲的兩個帖中間的帖的帖。在圖14中示出了示例。
[0106] 在圖14中，使用第4(1405)和第5(1410)捕獲的帖來生成第5(1415)顯示的帖。視圖 插入的可能的處理將是首先找出帖和UJ + 1之間的運動矢量，并且對于插入帖中的每 一個像素，使用運動矢量來得到兩個相鄰帖中的對應像素，并且基于那些對應像素和它們 的相鄰像素獲得像素值。
[0107] 3.2將24化內(nèi)容添加到高帖速率
[0108] 二十四赫茲內(nèi)容將是為什么我們感知到顫抖的本質(zhì)原因，并且該特定頻率的內(nèi)容 在歷史上已有助于顫抖感知的形成。為了注入顫抖，將24化內(nèi)容引入到高帖速率內(nèi)容中可 W是可能的。然而，不應當將全部內(nèi)容全部地轉換為24巧S，否則，高帖速率的益處將丟失。
[0109] 3.2a添加24Hz噪聲/膠片顆粒
[0110] 盡管感興趣的內(nèi)容本身W高帖速率更新，但是可W在內(nèi)容上面添加低帖速率噪聲 或膠片顆粒(模擬或實際捕獲到的）?？蒞首先使用噪聲減少方法（1505)來減少原始高帖速 率內(nèi)容中的噪聲或膠片顆粒，并且去除的噪聲或膠片顆粒(1510)將被處理(1515)?生成具 有類似的空間特征的24化噪聲或膠片顆粒（1520)。然后可W將該24化重新生成的噪聲或膠 片顆粒(1520)添加回（1525)高帖速率內(nèi)容中。該處理可W在圖15中看見。
[0111] 生成24fps噪聲和膠片顆粒的一種方式可W是對于120fps內(nèi)容重復地使用一個帖 的噪聲/膠片顆粒，并且將它應用在所有的其相鄰五個帖中。因此，每5帖將具有相同噪聲/ 膠片顆粒，盡管內(nèi)容本身W120f PS改變。
[0112] 3.化改變原始高帖速率的24化內(nèi)容
[0113] 可W通過重復地改變將W 24化示出的帖來改變原始高帖速率內(nèi)容的24化內(nèi)容。例 如，對于120fps內(nèi)容，可W根據(jù)其帖索引被五除的余數(shù)將帖分成五個不同的組。因此，每一 組實際是24化內(nèi)容。可W更改組中的一個或多個內(nèi)的帖，因此24化信號將被添加到原始內(nèi) 容中。存在更改內(nèi)容的許多方式，例如，通過在具有或者不具有在空間上移位的中屯、的情況 下對組的每一帖應用空間濾波器。具體地，可W使用平滑濾波器(高斯、Sigma、雙邊等等)或 銳化濾波器(類似于反銳化掩蔽)來改變該組中的圖像，因此它具有與其它組中的圖像相比 不同的特征。同時，該組中的帖可W基于內(nèi)容本身的某些特征(例如，運動矢量)經(jīng)受非均勻 變換或抖動。另外，每一組高帖速率內(nèi)容也可W被在時間上濾波，W便添加24化內(nèi)容。
[0114] 4.更寬泛的顫抖可見性控制
[0115] 可不同的方式擴寬W上詳述的方法。
[0116] 用于顫抖可見性控制的擴寬的方法的第一示例考慮輸入帖速率Rin(輸入內(nèi)容的帖 速率）（具有兩個連續(xù)帖之間的對應的時間段Tin,其中，Tin=l/Rin)，并且輸出帖速率是Rout (即，顯示帖速率）（具有對應的時間段Tout)。在W上的示例中，運些方法可W例如應用于Rout =巧Rin的情況。運里如下的擴寬的方法可W針對輸出帖速率不是輸入帖速率的兩倍的情 況。
[0117] 例如，第一一般化可W是針對情況R〇ut = 2*n*Rin，其中，〇=1，2，一，是自然數(shù)。在該 情況下，基礎帖速率(BFR)可W被保持為輸入帖速率，并且可W使用本公開中W上所描述的 方法W通過基于局部改變的位移圖dt(x，y，t)在每兩個連續(xù)輸入帖之間插入帖來使帖速率 加倍。輸出然后將具有雙倍帖速率，即2*Rin，其可顯示速率Rout顯示，其中每一輸出帖被 顯示η次。
[0118] 圖 18示出 了針對η = 2并且R〇ut = 4*Rin的特定情況（其中，dt(x,y, t) = 0.25*Tin = Tnut)的W上所討論的實施例的示例。黑色線（1805)示出了輸入帖，灰色線（1810)是插入帖。 每一帖（1805，1810)被示出達2T〇ut的持續(xù)時間。
[0119] 對于當Rout不是Rin的偶數(shù)倍、Tin不是Tout的偶數(shù)倍時的實施例，保持原始輸入帖并 在每一對連續(xù)帖中間插入一個帖的W上方法需要被修改。例如，可W在與W上使用的時間 位置（即，原始帖之間的半途化alf way))不同的時間位置處示出插入帖。例如，當Tin=5Tnut 時，原始帖可W被示出達等于3T〇ut的持續(xù)時間，并且插入帖可W被示出達等于2T〇ut的持續(xù) 時間，如在圖19中可見的。
[0120] 在圖19中，黑色線（1905)示出了被示出達3T〇ut的持續(xù)時間的輸入帖，同時灰色線 (1910)是被示出達2T〇ut的持續(xù)時間的插入帖。
[0121] 然而，該解決方案可能引入類似于技術3:2下拉(pull down)中眾所周知的偽像信 號，并且運可能不是所期望的。
[0122] 為了避免3:2下拉類型偽像，可W將基礎帖速率改變?yōu)榻咏赗in的帖速率。換言 之，可W找到自然數(shù)k，并且可W使BFR等于R〇ut/(2*k)，使得BFR接近于Rin，并且仍然是顫抖 帖速率。
[0123] 例如，如果Rcmt= 120fps，則k可W被選擇為例如k = 2或k = 3，并且W運種方式，BFR 可W等于120/(2*2) =30fps或BFR= 120/(2*3) = 20fps。為了簡單并且不失一般性，利用k =2并且BFR = 30fps進行W下的示例。如果輸入帖速率Rin = 30fps，則可W應用W上所描述 的雙倍帖速率方法，并且可W利用雙倍帖速率W60巧S獲得輸出信號。輸出然后可W通過重 復每一帖2次在120fps顯示器上被示出。如果輸入帖速率Rin是24巧S而不是30fps，則可W使 用時間插入來獲得所有需要的帖。假定例如dt = 0.25*TBFR = Tout，則可W在圖20中示出輸 出時間和輸入時間之間的關系，其中，黑色線(2005)示出了輸入帖，并且灰色線(2010)是插 入帖。
[0124] 另外，由于W上的方法改變BFR，所W需要相應地改變時間位移化W便保持相同的 顫抖感知。
[0125] 用于顫抖可見性控制的擴寬的方法的第二示例考慮如圖2所描述的線段運動模 型。已知視網(wǎng)膜圖像(220)將具有顫抖效果，并且(220)中的位移x(245)確定感知的顫抖的 幅度?？蛇\樣的方式布置要移動的線段：該方式使得SPEM下的其視網(wǎng)膜圖像將具有 (220)的相同形狀，但是具有可控制的位移X。
[0126] 如圖21的（2105)所示，線段(2110)?較慢速度向右移動達時間T=1/BFR，然后W 距離X (2115)向右跳躍。實際上，一個帖的傾斜(2110似速度T = 1/BFR向右移動。由于BFR通 常足夠高，所W跟蹤線段的眼睛總體上仍然遵循直線，如(2120)所示。在(2125)中示出了視 網(wǎng)膜上的投影的軌跡，（2125)與圖2的（220)的形狀類似，但是具有不同的X。
[0127] 假定無限（infinite)帖速率顯示和向無限帖速率在時間上插入輸入圖像序列的 可能性，圖像序列可W被獲得，具有與圖2的（205)中相同的空間時間軌跡。對于該無限帖速 率示例，真實時間和顯示時間之間的映射可W被表示為圖22中的（2205)中所示出的灰色線 (2210)。
[0128] 隨后，無限帖速率輸入可基礎帖速率(BFR)(具有對應的時間段T)被采樣，并 且被顯示在BFR的保持型顯示器上。真實時間和顯示時間之間的映射將被示為圖22中的黑 色線段(2215)。在W上的示例中，為了簡單，快口角度的影響未被考慮。
[0129] 隨后，類似于圖21，可W引入非平滑運動。即，可W在每一時間段T中W較慢速度回 放無限帖速率輸入，并且在每一個T的結束，存在向前跳躍W趕上真實的回放時間。映射曲 線然后將被變?yōu)辄c線段(2220)，如圖22所示。在該情況下，在現(xiàn)實中平滑地移動的對象在時 間段T內(nèi)被顯示為W較慢速度移動，并且然后在下一時間段的開始被顯示為跳躍到新的位 置。該跳躍引入了將被感知為顫抖的WR的信號，同時由點線段(2220)的斜率確定的跳躍量 將影響感知的顫抖的幅度。換言之，感知的顫抖可W被控制在兩個極值之間，即，完全沒有 顫抖和基礎帖速率處的正常量的顫抖之間。
[0130] 因此，可W使用點線段(2220)的斜率作為顫抖控制速率(JCR)來控制輸出的顫抖。 當斜率等于1時，不存在跳躍，因此不存在顫抖，而當斜率等于0時，發(fā)生最大量的跳躍。該 JCR具有與W上所描述的示例中的化類似的效果，在W上所描述的示例中帖速率被加倍，然 而在本示例中考慮了無限帖速率。
[0131] 在若干實施例中，對應于基礎帖速率(BFR)的時間段T是對應于顯示帖速率的時段 Td的倍數(shù)。例如，顯示帖速率可W是120fps，并且BFR可W是24fps。圖22示出了其中顯示帖 速率是BFR的值的五倍的實施例的映射(2225)。線(2210)的完美采樣將導致類似于圖2中的 (210)中的線(230)的映射。
[0132] 因此，假定顯示帖速率足夠高，對象將仍然平滑地移動，而沒有任何顫抖感知。如 果使用相同的線段運動模型，則對于真實空間情況(2305)和視網(wǎng)膜投影情況(2310)，時間 空間軌跡可W被示為如圖23中那樣。如果與圖22中的線段(2215)類似地采樣具有顫抖感知 的輸入，則獲得的映射可W通過如圖22所示的點線段(2230)表示。換言之，可W將輸入圖像 序列插入到那些離散時間戳，其中，點線(2230)被投影到垂直的真實時間軸(2235)上。在圖 23的（2315，2320)中示出了線段運動模型的對應的空間時間軌跡。
[0133] 如果BFR的時間段T是對應于顯示帖速率的時間段Td的值的多倍，并且顫抖控制速 率(JCR)被表示為r(其為圖22中的線（2220)的斜率），則每一顯示時間t的采樣時間f(t)可 W被計算為：
[0134]
[0135] 其中，巧二U/rj。由于我們知道Τ是Td的多倍，令T = kTd，我們具有
[0136] f(t) = (l-r) · η · k · Td+r · m · Td,
[0137] 其中，洗=U/7\|并且化-。
[0138] 在當Τ不是Td的值的多倍時的實施例中，可W選擇值使得r >Τ，其中Τ'是Td的倍 數(shù)，并且隨后可W使用W上的等式來計算f(t)。也許可W的是，在BFR改變時JCR可能需要被 調(diào)整W便保留相同量的顫抖可見性。
[0139] 不需要改變BFR的另一種可能的方法可W被描述如下。首先，考慮無限帖速率顯 示，因此采樣時間將遵循如圖22中那樣的斜線（2220)。在圖24中，斜線(2405)被示出達每一 基礎時間段T。斜線(2405)表示無限帖速率情況，并且然后可W利用采樣速率1/Td采樣無限 帖速率序列，如水平線(2410)所示。對于斜線(2405)的時間映射的公式是
[0140] f' (t) =n · T+r · (t-n · T)
[0141] 其中，^^ = U-/7?。對于采樣的水平線（2410)的公式然后是f(t)=f/(Td·m)， 其中，m == 并且通過組合兩個等式，可W獲得下列公式
[0142] f(t) = (l-r) ·η· T+r · m · Td,
[01創(chuàng)其中，蛛=U/'廠餅且二U/TdJ。
[0144] 可W看見，如果Τ是Td的值的多倍，即T = kTd，則關于W上在第20頁第7段中所描述 的情況將獲得相同的公式。因此，該公式是進一步的一般化。
[0145] 類似于W上所描述的實施例，該JCR或r可W是空間上和時間上變化的函數(shù)r(x，y， t)，即，顫抖控制速率對于不同的空間時間位置可W不同，使得可W在不同的時間對不同的 區(qū)域不同地應用顫抖可見性控制。
[0146] 總之，在本公開中所描述的顫抖可見性控制方法已被擴寬，W便在給定顫抖控制 速率(JCR)和基礎帖速率(BFR)的情況下能夠控制任何輸入帖速率Rin到任何輸出帖速率Rnut 的顫抖感知?？偟牧鞒虉D如圖25中所示。
[0147] 如在圖25中可見的，通過使用顫抖控制速率處理(2510)和基礎帖速率(2010),? 上所描述的擴寬的顫抖可見性方法(2515)可W被應用到輸入圖像序列(2505)，由此獲得輸 出圖像序列(2520)。
[0148] 5.對于高帖速率和多個帖速率的電影感體驗
[0149] 可W在高帖速率(HFR)圖像序列中應用W上所描述的擴寬的顫抖可見性控制方 法，W獲得電影感體驗。高帖速率圖像序列通常具有較銳利的圖像和較少的運動模糊，并且 立體高帖速率將具有與傳統(tǒng)的24fps圖像序列相比更好的3D效果。然而，高帖速率中的平滑 運動有時被批評為"視頻感"，因為不存在顫抖感知?？蒞使用W上所描述的方法來將顫抖 引入到高帖速率圖像序列中。引入的顫抖可W幫助提高內(nèi)容的電影感體驗。圖26示出了用 于向tFR輸入內(nèi)容添加電影感體驗的示圖。
[0150] 在該情況下，輸入和輸出圖像序列兩者將具有相同帖速率，即，RDut = Rin。例如，輸 入和輸出兩者可W是48fps、60fps、120fps等。因為輸入序列W高帖速率對場景進行采樣， 所W當它W相同帖速率Rin被顯示時，在輸入序列中不存在顫抖感知。為了引入顫抖感知，第 一步驟是選擇顫抖基礎帖速率BFR，并且選擇適當?shù)念澏犊刂扑俾蕆，使得可W利用如參考 圖24所描述的處理重采樣輸入圖像序列，其中，T=1/BFR，并且Td=l/Rin。如W上所描述的， 可W確定顫抖控制速率JCR=r，使得當WRout回放時，適當量的顫抖即電影感可W被添加到 輸出圖像序列中。另外，該r可W是r(x，y，t)的空間上和時間上變化的函數(shù)。
[0151] 因此，可W在后期制作端逐像素地控制電影感體驗(顫抖）。不同的像素在不同的 時間可W具有不同的JCR。在該情況下，通常JCR函數(shù)r(x，y，t)在一個鏡頭（shot)內(nèi)將是局 部平滑的。
[0152] 在簡化的實施例中，可W在后期制作端逐帖地控制電影感體驗。不同的帖可W具 有不同的JCR。在該情況下，JCR函數(shù)r(t)在一個鏡頭內(nèi)將是局部平滑的。
[0153] 在一些實施例中，還可W在后期制作端逐鏡頭地控制電影感體驗(顫抖）。不同的 鏡頭可W具有不同的JCR，因此當存在需要時，將向不同的鏡頭添加不同量的顫抖。
[0154] 在后期制作端，一個實施例包括使用專業(yè)的工具來識別需要顫抖感知的局部區(qū) 域。隨后，可W確定添加適當量的顫抖所需要的JCR。在下一步驟中，可W在鏡頭邊界內(nèi)在空 間上和時間上平滑JCR。
[0155] 對于如參考文獻[2]、[3]中提到的在序列中或者甚至在帖內(nèi)具有多個帖速率的混 合帖速率內(nèi)容，存在不同的方法?？焖龠\動帖/對象可W從較高帖速率受益，同時較慢運動 帖/對象可W被保持在較低帖速率。W上所描述的擴寬的顫抖可見性控制方法也可W被應 用到具有多個帖速率的運些內(nèi)容。
[0156] 在低帖速率帖/區(qū)域中，可能存在需要被減少的過度的顫抖，而在高帖速率帖/區(qū) 域，顫抖感知需要被添加回來。W上和W下所描述的方法可W被結合起來W控制多帖速率 內(nèi)容中的顫抖的可見性。
[0157] 因此，在本公開中描述了包括W下的方法:通過計算機提供至少兩個圖像;通過計 算機計算顫抖圖，其中，該顫抖圖包括所述至少兩個圖像的至少一個像素的顫抖信息；W及 基于所述顫抖圖處理所述至少一個像素。
[0158] 所述至少一個像素的處理可W包括由若干像素形成的圖像的區(qū)域的處理。處理可 W包括基于關于顫抖圖中所包含的像素的顫抖信息，應用不同的視頻處理技術，和不同的 技術或具有可W應用到不同像素的不同參數(shù)的相同技術。
[0159] 圖16是用于實現(xiàn)圖1-15的實施例的目標硬件（10)(例如，計算機系統(tǒng)）的示例性實 施例。該目標硬件包括處理器（15)、存儲體(20)、本地接口總線(35)和一個或多個輸入/輸 出設備(40)。處理器可W執(zhí)行與圖1-15的實現(xiàn)有關的并且由操作系統(tǒng)(25)基于存儲在存儲 器(20)中的一些可執(zhí)行程序(30)提供的一個或多個指令。運些指令被經(jīng)由本地接口（35)并 且如由處理器（15)和本地接口特定的某一數(shù)據(jù)接口協(xié)議所規(guī)定的那樣被攜載到處理器 (15)。應當注意，本地接口（35)是一般旨在在基于處理器的系統(tǒng)的多個元件之間提供地址、 控制和/或數(shù)據(jù)連接的諸如控制器、緩沖器(高速緩存）、驅動器、中繼器和接收器之類的若 干元件的符號表示。在一些實施例中，處理器(15)可W提供有一些本地存儲器(高速緩存）， 其中，它可W存儲要被執(zhí)行的一些指令W用于一些增加的執(zhí)行速度。由處理器對指令的執(zhí) 行可能需要使用某一輸入/輸出設備(40)，諸如從存儲在硬盤上的文件輸入數(shù)據(jù)、從鍵盤輸 入命令、從觸摸屏輸入數(shù)據(jù)和/或命令、向顯示器輸出數(shù)據(jù)、或向USB閃存驅動器輸出數(shù)據(jù)。 在一些實施例中，操作系統(tǒng)(25)通過作為用于收集程序的執(zhí)行所需要的各種數(shù)據(jù)和指令并 將運些提供到微處理器的中屯、元件而促進運些任務。在一些實施例中，操作系統(tǒng)可W不存 在，并且所有任務在處理器（15)的直接控制下，盡管目標硬件設備（10)的基本架構將保持 與圖16中所描繪的相同。在一些實施例中，可WW并行配置使用多個處理器W用于增加的 執(zhí)行速度。在運樣的情況下，可執(zhí)行程序可W被特別地修改為并行執(zhí)行。此外，在一些實施 例中，處理器（15)可W執(zhí)行圖1-15的實現(xiàn)的一部分，并且某一其它部分可W使用被放置在 可由目標硬件（10)經(jīng)由本地接口（35)訪問的輸入/輸出位置處的專用硬件/固件來實現(xiàn)。目 標硬件（10)可包括多個可執(zhí)行程序(30)，其中，每個可執(zhí)行程序可W獨立地或彼此相結合 地運行。
[0160] 在本公開中所描述的方法和系統(tǒng)可硬件、軟件、固件或其任何組合來實現(xiàn)。作 為塊、模塊或組件所描述的特征可W-起(例如，在諸如集成邏輯器件之類的邏輯器件中） 或單獨地(例如，作為單獨的連接的邏輯器件)實現(xiàn)。本公開的方法的軟件部分可W包括計 算機可讀介質(zhì)，該計算機可讀介質(zhì)包括指令，所述指令當被執(zhí)行時至少部分地執(zhí)行所描述 的方法。計算機可讀介質(zhì)可W包括例如隨機存取存儲器(RAM)和/或只讀存儲器(ROM)。指令 可W由處理器（例如，數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程邏輯陣列 (FPGA)、圖形處理單元(GPU)或通用GPU)執(zhí)行。
[0161] 本公開的許多實施例已被描述。盡管如此，將理解的是，在不背離本公開的精神和 范圍的情況下，可W進行各種修改。相應地，其它實施例也在隨附的權利要求的范圍內(nèi)。
[0162] W上闡述的示例作為對如何作出并使用本公開的實施例的完整公開和描述被提 供給本領域普通技術人員，并且不意圖限制發(fā)明人視為其公開的內(nèi)容的范圍。
[0163] 對于本領域技術人員顯而易見的用于執(zhí)行本文中所公開的方法和系統(tǒng)的上述模 式的修改意圖處于隨附的權利要求的范圍內(nèi)。在說明書中所提及的所有專利和出版物指示 本公開所屬于的領域中的技術人員的技能水平。在本公開中引用的所有參考文獻通過如同 每一參考文獻已單獨地通過其整體引用而并入的相同程度的引用而被并入。
[0164] 要理解的是，本公開不限于特定方法或系統(tǒng)，運些特定方法或系統(tǒng)當然可W變化。 還要理解的是，本文中所使用的術語僅出于描述特定實施例的目的，而不意圖是限制性的。 如在本說明書和所附權利要求書中所使用的，單數(shù)形式"一"、"一個"W及"所述"包括多個 所指對象，除非內(nèi)容另外明確地指定。術語"多個"包括兩個或更多個所指對象，除非內(nèi)容另 外明確地指定。除非另外定義，否則本文中所使用的所有科技術語具有與本公開所屬于的 領域中的普通技術人員通常所理解的相同的含義。
[0165] 在W下的參考文獻列表中所示出的本申請中的參考文獻通過其整體引用而并入 本文。
[0166] 參考文獻
[0167] [ 1 ]2014年2月27日提交的美國臨時專利申請序列號61/945，706。
[016 引[2]2012年 5 月 24 日提交的 PCT 序列號PCT/US2012/039338。
[0169] [3]美國專利 No.8,363，117。
[0170] [4]Watson,Andrew B.、A]_be;rt J.Ahumada JrW及Joyce E.Farrell的 "Window of visibility:a psychophysical theory of fidelity in time-sampled visual motion displays/'JOSA A 3.3(1986):300-307〇
[0171] [ 5 ] Tyler , Chri stopher W .和Russel 1 D . Hamer的''Analysis of visual modulation sensitivity.IV.Validity of the Ferry-Porter law/'JOSA A 7.4(1990): 743-758〇
[0172] [6]2013年11月22日提交的美國臨時專利申請序列號61/907,996。
【主權項】
1. 一種用于利用計算機控制顫抖可見性的方法，所述方法包括： 訪問第一圖像和第二圖像； 使用所述第一圖像和第二圖像來生成亮度變化圖和對比度變化圖； 使用所述亮度變化圖和對比度變化圖來生成顫抖圖，其中，所述顫抖圖包括所述第一 圖像的顫抖信息；以及 響應于所述顫抖圖，向所述第一圖像添加噪聲和運動模糊以生成輸出圖像。2. 如權利要求1所述的方法，其中，生成所述顫抖圖包括： 通過計算機對于至少一個像素估計所述第一圖像和所述第二圖像之間的運動矢量，由 此獲得估計的運動矢量，其中，所述運動矢量包括運動幅度和運動方向。3. 如權利要求2所述的方法，進一步包括訪問第三圖像，其中： 訪問所述第一圖像、第二圖像以及第三圖像包括通過計算機在時間t處訪問第一圖像， 在時間t_l處訪問第二圖像以及在時間t+Ι處訪問第二圖像； 通過計算機對于所述至少一個像素估計運動矢量包括通過計算機對于所述第一圖像、 第二圖像以及第三圖像的至少一個像素估計所述第一圖像、第二圖像以及第三圖像之間的 運動的運動矢量，由此獲得估計的運動矢量，其中，所述運動矢量包括運動幅度和運動方 向； 生成所述亮度變化圖包括通過計算機測量所述第一圖像、第二圖像以及第三圖像之間 的亮度的差異；以及 生成所述對比度變化圖包括通過計算機對于所述至少一個像素測量所述第一圖像、第 二圖像以及第三圖像之間的對比度的差異。4. 如權利要求2所述的方法，進一步包括通過計算機提供場景和顯示器元數(shù)據(jù)，并且其 中，生成所述顫抖圖部分基于所述場景和顯示器元數(shù)據(jù)。5. 如權利要求2所述的方法，進一步包括通過計算機基于所述顫抖圖縮放所述運動幅 度，由此獲得縮放的運動幅度。6. 如權利要求1所述的方法，其中，添加所述噪聲包括通過計算機基于所述顫抖圖計算 對于至少一個像素的噪聲。7. 如權利要求6所述的方法，進一步包括通過計算機基于對于所述至少一個像素的噪 聲向所述縮放的運動幅度應用抖動，由此獲得抖動的運動幅度。8. 如權利要求7所述的方法，進一步包括通過計算機基于所述抖動的運動幅度和運動 方向重構運動矢量，由此獲得重構的運動矢量。9. 如權利要求8所述的方法，進一步包括通過計算機向所述重構的運動矢量應用運動 模糊，由此獲得運動模糊的圖像。10. 如權利要求9所述的方法，進一步包括通過計算機基于對于所述至少一個像素的噪 聲向所述運動模糊的圖像添加偽膠片顆粒，由此獲得輸出圖像。11. 如權利要求4所述的方法，其中，所述場景和顯示器元數(shù)據(jù)包括場景的明亮度以及 顯示器的尺寸和亮度。12. -種用于控制顫抖可見性的方法，所述方法包括： 通過計算機提供至少兩個輸入幀； 通過計算機基于所述至少兩個輸入幀估計插入圖，由此獲得估計的插入圖，其中，所述 估計的插入圖指定對于所述至少兩個輸入幀的至少一個像素的時間插入位置;以及 通過計算機基于所述至少兩個輸入幀和估計的插入圖插入至少一個另外的幀，由此獲 得至少一個插入幀，其中，所述至少一個插入幀的至少一個像素與由至少一個像素的插入 圖指定的時間處的該至少一個像素對應。13. 如權利要求12所述的方法，進一步包括通過計算機對于所述至少兩個輸入幀的所 述至少一個像素識別顫抖量，并且其中，通過計算機估計插入圖還基于所述顫抖量。14. 如權利要求12所述的方法，進一步包括通過計算機提供關于所述至少兩個輸入幀 的至少一個像素的期望的顫抖量的用戶輸入，并且其中，通過計算機估計插入圖還基于所 述用戶輸入。15. 如權利要求12所述的方法，進一步包括通過計算機向所述至少一個插入幀應用運 動模糊。16. 如權利要求12所述的方法，其中，至少一個輸入幀沒有修改地被插在輸出流中。17. 如權利要求12所述的方法，進一步包括： 通過計算機識別所述至少兩個輸入幀的至少一個區(qū)域，所述至少一個區(qū)域具有比期望 的顫抖量高的顫抖量，其中，僅向所述至少一個區(qū)域應用插入。18. 如權利要求17所述的方法，其中，所述至少一個區(qū)域通過計算機更新到比所述至少 兩個輸入幀的幀速率高的幀速率。19. 如權利要求12所述的方法，其中，通過計算機估計插入圖包括估計前向運動矢量、 后向運動矢量、時間運動一致性、空間運動一致性、前向運動一致性以及后向運動一致性。20. 如權利要求12所述的方法，其中，通過計算機估計插入圖使用兩個速度閾值之間的 軟切換函數(shù)、基于所述至少一個像素的速度。21. 如權利要求12所述的方法，其中，所述插入基于幀速率轉換?；谶\動補償。22. 如權利要求1或12所述的方法，其中，顫抖的規(guī)范化度量被預先計算并且與原始內(nèi) 容一起遞送，使得目標設備能夠決定如何在稍后的時間調(diào)整顫抖。23. -種用于控制高幀速率捕獲和高幀速率顯示的顫抖可見性的方法，所述方法包括： 利用非恒定的時間間隔捕獲幀，由此獲得捕獲的幀;和 利用恒定的時間間隔顯示所述捕獲的幀，由此獲得期望的顫抖可見性。24. -種用于控制高幀速率捕獲和高幀速率顯示的顫抖可見性的方法，所述方法包括： 利用恒定的時間間隔捕獲幀，由此獲得捕獲的幀;和 利用非恒定的時間間隔顯示所述捕獲的幀，由此獲得期望的顫抖可見性。25. -種用于控制顫抖可見性的方法，所述方法包括： 利用恒定的時間間隔捕獲幀，由此獲得捕獲的幀;和 利用恒定的時間間隔顯示所述捕獲的幀， 其中，所述捕獲的幀中的至少一個幀被用其在前的捕獲的幀替代，由此顯示所述在前 的捕獲的幀兩次。26. -種用于控制顫抖可見性的方法，所述方法包括： 利用恒定的時間間隔捕獲幀，由此獲得捕獲的幀； 通過計算機基于期望的顫抖可見性處理所述捕獲的幀中的至少一個幀和其在前的捕 獲的幀中的至少一個，由此獲得至少一個經(jīng)處理的捕獲的幀；以及 利用恒定的時間間隔顯示所述捕獲的幀和至少一個經(jīng)處理的捕獲的幀。27. -種用于控制高幀速率圖像序列的顫抖可見性的方法，所述方法包括： 通過計算機提供輸入幀； 通過計算機從所述輸入幀去除噪聲或膠片顆粒，由此獲得經(jīng)處理的幀； 通過計算機處理來自所述輸入幀的所述噪聲或膠片顆粒，由此獲得低幀速率噪聲或膠 片顆粒；以及 通過計算機向所述經(jīng)處理的幀添加所述低幀速率噪聲或膠片顆粒，由此獲得輸出幀。28. -種用于控制高幀速率圖像序列的顫抖可見性的方法，所述方法包括： 通過計算機提供輸入幀； 通過計算機將所述輸入幀分成至少兩組幀； 通過計算機基于期望的顫抖可見性處理所述幀的組中的至少一組，由此獲得經(jīng)處理的 至少一組幀和未經(jīng)處理的至少一組幀；以及 通過計算機組合所述經(jīng)處理的至少一組幀與未經(jīng)處理的至少一組幀。29. 如權利要求28所述的方法，其中，所述處理包括應用平滑濾波器和/或銳化濾波器。30. 如權利要求29所述的方法，其中，所述平滑濾波器為高斯濾波器、雙邊濾波器或 Sigma濾波器。31. 如權利要求29所述的方法，其中，所述銳化濾波器為反銳化掩蔽濾波器。32. -種用于利用計算機控制顫抖可見性的方法，所述方法包括： 通過計算機提供至少兩個輸入幀； 通過計算機基于所述至少兩個輸入幀估計插入圖，由此獲得估計的插入圖，其中，所述 估計的插入圖指定對于所述至少兩個輸入幀的至少一個像素的時間插入位置;以及 通過計算機基于所述至少兩個輸入幀和估計的插入圖插入至少一個另外的幀，由此獲 得至少一個插入幀，其中， 所述至少一個插入幀的至少一個像素與由至少一個像素的插入圖指定的時間處的該 至少一個像素對應， 輸出幀速率為輸入幀速率的整數(shù)倍，并且 所述至少一個另外的幀被插入在所述至少兩個輸入幀之間。33. 如權利要求32所述的方法，進一步包括通過計算機對于所述至少兩個輸入幀的所 述至少一個像素識別顫抖量，并且其中，通過計算機估計插入圖還基于所述顫抖量。34. 如權利要求32所述的方法，進一步包括通過計算機提供關于所述至少兩個輸入幀 的至少一個像素的期望的顫抖量的用戶輸入，并且其中，通過計算機估計插入圖還基于所 述用戶輸入。35. -種用于控制顫抖可見性的方法，所述方法包括： 通過計算機提供至少兩個輸入幀； 通過計算機基于所述至少兩個輸入幀估計插入圖，由此獲得估計的插入圖，其中，所述 估計的插入圖指定對于所述至少兩個輸入幀的至少一個像素的時間插入位置； 計算基礎幀速率，所述基礎幀速率為輸出幀速率的偶數(shù)倍并且在值上基本上接近于輸 入幀速率，由此類似于所述輸入幀速率來顯示顫抖，其中，輸出幀速率為所述輸入幀速率的 非整數(shù)倍；以及 通過計算機基于所述至少兩個輸入幀、基礎幀速率、輸入幀速率和輸出幀速率以及估 計的插入圖插入至少兩個另外的幀，由此獲得至少兩個插入幀，其中，所述至少兩個插入幀 中的至少一個的至少一個像素與由至少一個像素的插入圖指定的時間處的該至少一個像 素對應，其中，所述至少兩個另外的幀被插入在所述至少兩個輸入幀之間。36. 如權利要求35所述的方法，進一步包括通過計算機對于所述至少兩個輸入幀的所 述至少一個像素識別顫抖量，并且其中，通過計算機估計插入圖還基于所述顫抖量。37. -種用于控制顫抖可見性的方法，所述方法包括： 以輸入幀速率提供輸入幀； 通過計算機在每一時間段從所述輸入幀捕獲幀，由此獲得捕獲的幀； 在每一時間段中以低于所述輸入幀速率的幀速率顯示所述捕獲的幀；以及 在每一時間段的結束使所述捕獲的幀在時間上向前跳躍達趕上所述輸入幀速率所需 要的量，由此獲得期望的顫抖可見性。38. 如權利要求37所述的方法，其中，顯示所述捕獲的幀以及向前跳躍由具有0和1之間 的值的顫抖控制速率確定。39. 如權利要求37所述的方法，進一步包括通過計算機計算每一顯示時間t的采樣時間 f (t)，其中，/W H + r · [(? - η r)/Tdj &，n = [t/rj，r為顫抖控制速率，Ι/Td為采樣速 率，并且T為基礎時間段。40. 如權利要求39所述的方法，其中，T是Td的整數(shù)倍。41. 如權利要求39所述的方法，進一步包括，如果T不是Td的整數(shù)倍，則選擇基本上接近 于T同時是Td的整數(shù)倍的值Τ'。42. 如權利要求37所述的方法，其中，顫抖控制速率是時間和像素位置的函數(shù)，由此在 不同的時間向不同的區(qū)域應用不同的顫抖可見性控制。43. 如權利要求37所述的方法，進一步包括通過計算機計算每一顯示時間t的采樣時間 f(t)，其中，f(t) = (l-r) · η · T+r · m · Td，.fl. = [?/Γ|，Μ == 為顫抖控制速率， 1 /Td為采樣速率，并且T為基礎時間段。44. 一種用于控制高幀速率顫抖可見性的方法，所述方法包括： 以輸入幀速率提供輸入幀； 通過計算機計算顫抖基礎幀速率； 選擇顫抖控制速率； 在每一時間段從所述輸入幀重采樣幀，由此獲得重采樣的幀； 在每一時間段中以不同于所述輸入幀速率的幀速率顯示捕獲的幀；以及 在每一時間段的結束使所述捕獲的幀在時間上向前跳躍達趕上所述輸入幀速率所需 要的量，由此以等于所述輸入幀速率的輸出幀速率獲得期望的顫抖可見性。45. 如權利要求44所述的方法，進一步包括通過計算機計算每一顯示時間t的重采樣時 間f(t)，其中，f(t) = (l-r) · η · T+r · m · Td，?t = [t/rj，饑=[t/rdj，r為顫抖控制速 率，1 /Td為重采樣速率，并且T為基礎時間段。46. 如權利要求45所述的方法，其中，逐像素地控制顫抖可見性。47. 如權利要求45所述的方法，其中，逐鏡頭地控制顫抖可見性。48. 如權利要求44所述的方法，進一步包括通過計算機選擇至少一個幀中的至少一個 區(qū)域，其中，在所述至少一個區(qū)域上與所述至少一個幀的剩余部分不同地控制顫抖可見性。49. 如權利要求44所述的方法，進一步包括通過計算機選擇至少一個幀中具有過度的 顫抖的至少一個區(qū)域和至少一個幀中具有不足的顫抖的至少一個區(qū)域，其中，顫抖可見性 在具有過度的顫抖的所述至少一個區(qū)域中被減小，而在具有不足的顫抖的所述至少一個區(qū) 域中被增大。50. 如權利要求49所述的方法，其中，具有過度的顫抖的所述至少一個區(qū)域為低幀速率 區(qū)域，而具有不足的顫抖的所述至少一個區(qū)域為高幀速率區(qū)域。
【文檔編號】H04N5/14GK106063242SQ201580010829
【公開日】2016年10月26日
【申請日】2015年2月23日
【發(fā)明人】徐寧, K·D·瑟斯頓三世, S·戴勒, J·E·克蘭肖, A·舍
【申請人】杜比實驗室特許公司