背景現(xiàn)代圖像和視頻捕捉系統(tǒng)可自動調整曝光設置以捕捉更好質量的圖像。除了諸如對快門速度或光圈的調整之類的相機調整外，數(shù)字視頻捕捉通常還包括在存儲每一捕捉圖像之前的數(shù)字曝光校正。數(shù)字曝光校正可包括諸如色彩平衡和伽馬(gamma)校正之類的處理。在視頻捕捉系統(tǒng)中，這些調整通常是動態(tài)的，即隨著正被捕捉的場景改變或者隨著場景上的照明改變而改變捕捉到的幀之間的調整。視頻捕捉系統(tǒng)可能不總是隨時間產生相同場景的一致表示。概述如本文中所描述的，一種裝置可包括處理器；以及耦合到所述處理器的存儲器，所述存儲器包括可執(zhí)行指令，所述可執(zhí)行指令在被所述處理器執(zhí)行時，使得所述處理器實現(xiàn)以下操作，包括：通過向參考圖像應用掩模來生成經(jīng)掩模的參考圖像，所述經(jīng)掩模的參考圖像包括表示場景的一部分的多個像素；通過以下方式來生成用于補償包含在所述經(jīng)掩模的參考圖像內的像素的特定像素值的補償估計：聚集所述特定像素值和第二圖像中與所述經(jīng)掩模的參考圖像中具有所述特定像素值的像素相對應的像素的值之間的差異，其中當所述參考圖像中的像素和所述第二圖像中的像素表示場景的同一部分時，所述參考圖像中的像素對應于所述第二圖像中的像素；以及，通過將所述估計加到處于所述參考圖像的補償部分中并且還具有等于所述特定像素值的像素值的像素的值中來生成所述參考圖像的經(jīng)補償?shù)膱D像部分。本文中描述的方法可包括：確定場景的第一表示的像素的特征的第一值和所述場景的第二表示的相應像素的特征的第二值之間的差異；針對所述第一值，基于所確定的差異和至少一個其他值確定聚集；以及，基于聚集值調整在所述第一表示或所述第二表示中的至少一者的調整部分中的像素的特征。本文中所描述的系統(tǒng)可包括：處理器；以及耦合到所述處理器的存儲器，所述存儲器包括可執(zhí)行指令，所述可執(zhí)行指令在被所述處理器執(zhí)行時，使得所述處理器實現(xiàn)以下操作，包括：確定場景的第一表示的像素的特征的第一值和所述場景的第二表示的相應像素的特征的第二值之間的差異；針對所述第一值，基于所確定的差異和至少一個其他值確定聚集；以及，基于聚集值調整所述第一表示或所述第二表示中的至少一者的調整部分的特征。提供本概述以便以簡化的形式介紹以下在詳細描述中進一步描述的一些概念。本概述并不旨在標識所要求保護主題的關鍵特征或必要特征，也不旨在用于限制所要求保護主題的范圍。附圖簡述圖1和圖2描繪可在其中執(zhí)行曝光調整補償?shù)恼f明性計算環(huán)境。圖3描繪可部分地被用于實現(xiàn)曝光調整補償?shù)恼f明性捕捉設備。圖4是曝光調整補償?shù)恼f明性概覽的流程圖。圖5是解說圖4的創(chuàng)建補償表步驟的流程圖。圖6是解說圖4的應用補償表步驟的流程圖。圖7解說可作為圖1-3中示出的多媒體控制臺103的計算系統(tǒng)的示例。圖8解說可作為圖1-3所示的多媒體控制臺103的計算系統(tǒng)的另一示例。各附圖中相同的附圖標記指示相同的元素。除非另外指明否則各元素不是按比例繪制的。詳細描述本公開提供一種系統(tǒng)和方法來補償用于創(chuàng)建存儲在計算機上的兩個圖像的曝光設置方面的未知差異。使用兩個或更多個源視頻幀的許多計算機圖像處理算法、視頻處理算法或計算機視覺算法將不會正確地工作，或者不會同樣工作，如果輸入該算法的所有幀不是用相同的曝光設置來捕捉的話。通過首先估計由曝光設置方面的調整導致的改變，并隨后補償這些調整，視頻處理算法可高效地工作，而不管曝光設置的未知改變。曝光設置的調整可能是常見的問題。在諸如具有自然用戶界面(nui)捕捉設備(諸如，kinect圖像捕捉設備)的視頻游戲系統(tǒng)之類的系統(tǒng)中，捕捉設備將運行長時間段，甚至運行幾個小時，而不停止。優(yōu)質數(shù)字圖像的捕捉需要曝光調整以使對于所記錄的每一像素存儲在有限數(shù)目的比特中的信息最大化，并且還校正傳感器的特性和顯示器的特性中的差異。這些調整包括色彩平衡和伽馬校正(在捕捉時間，伽馬校正通常被稱為伽馬編碼或壓縮)。隨著時間的推移，正被捕捉的場景將改變。例如，場景的照明將隨著日落而慢慢變暗，從而導致慢慢變黑的場景?；蛘?，小型明亮對象可朝向前景移動以占據(jù)圖像的大部分，從而導致總平均亮度遞增的場景。自動曝光系統(tǒng)將隨著場景改變而改變曝光設置，嘗試使捕捉到的圖像的質量最大化。曝光設置改變可能不會隨場景改變而連續(xù)改變，但僅一旦閾值被達到時，就導致針對例如隨著日落連續(xù)而慢慢改變的場景的曝光設置方面不頻發(fā)但突然的改變。在一些系統(tǒng)中，曝光補償可被直接完成。在圖像捕捉組件被很好地集成在視頻處理組件中的情況下，實際曝光控制過程可能是視頻處理組件已知的，并且每一視頻幀的曝光控制設置可(例如作為與每一幀一起存儲的元數(shù)據(jù))被從捕捉組件傳遞到視頻處理組件。在該情況下，比較或以其他方式處理兩個圖像所需的視頻處理組件可使用準確的曝光控制設置并通過已知的曝光控制過程來補償任何曝光調整。然而，在其他系統(tǒng)中，用于任何兩個圖像的曝光控制過程和/或曝光設置可能不是已知的。使用本公開的設計提供用于補償同一場景的兩個或更多個圖像之間的未知曝光控制差異的方式。視頻不是本文中公開的方法的限制示例應用。盡管本文中公開的方法與在兩個不同的時間從單個相機處捕捉到的兩個(或更多個)圖像(例如，視頻)一起工作，但本文中描述的方法可適用于同一場景的任何兩個圖像。例如，如果兩個分開的相機在同一時間從相似的角度(并且可能用不同的曝光設置以及甚至不同的曝光控制過程)拍攝了場景的照片，則基于本公開的設計可有助于補償曝光差異。這個的具體示例將是具有自動曝光系統(tǒng)的立體相機系統(tǒng)，這些自動曝光系統(tǒng)針對每一相機獨立地操作。將理解，盡管術語幀有時暗示隨時間拍攝的圖像序列(視頻)中的一個圖片，但本公開中對幀的引用可類似地被解釋為同一場景的任何兩個圖像，而不管這些圖像是否來自同一相機或來自不同的時間。曝光調整補償?shù)牡谝徊糠謱⑹枪烙嬘蓛蓚€輸入圖像之間曝光設置方面的調整造成的改變。這可通過比較第一幀中的一個像素和第二幀中的另一像素的像素值來完成，其中兩個像素表示實際場景的同一部分。兩個像素可表示例如在兩個圖片中的場景中的地板上的地毯上的同一點?，F(xiàn)在，例如，如果第一幀中的像素具有為10的紅值，而與場景的同一部分相對應的第二幀中的像素具有為14的紅值，并且兩個像素表示地毯上的同一點(該點很可能沒有改變色彩)，則可假定已發(fā)生了曝光調整，該曝光調整導致實際場景中的同一紅色色彩在第一幀中被存儲為10而在第二幀中被存儲為14。除了紅色外，該比較(以及后續(xù)的調整)也可對由紅-綠-藍(rgb)色彩空間表示的像素中的一個像素的綠值或藍值進行。這樣的比較也可對其他像素表示進行，作為非限制性示例，包括諸如亮度、紅色差色度、藍色彩色度(ycrcb)之類的其他三元素色彩空間，諸如青色、洋紅、黃色、黑色(cmyk)之類的四元素色彩空間，或者諸如灰度圖像之類的單元素色彩空間。比較也可對非可見光的像素表示進行，諸如深度圖(其中每一像素的值指示場景和傳感器中的對象之間的距離的圖像，在以下更詳細描述)或紅外(ir)圖像。比較和調整可對任何數(shù)字像素表示進行，包括任何類型的光(可見或不可見)的表示。來自多個像素的估計可被組合以提供對曝光設置調整的更好估計。自然圖像的數(shù)字表示一般總是包含噪聲，并且多個估計的某種方式的平均或聚集可提供較少的噪聲或者更可靠的估計。擴展其中一個像素紅值在第一幀和第二幀之間從10增加到14的以上示例，可能在第一幀中存在同樣具有為10的紅值的另一像素，但其在第二幀中的對應像素具有為16的紅值。此另一像素提供對為16-10＝6而非14–10＝4的曝光改變的影響的估計，這是來自第一示例像素的改變估計。這兩個估計可通過對其求平均來組合，從而導致針對第一幀中為紅值10的像素的平均曝光改變?yōu)?6+4)/2＝5。這樣的平均可被直截了當?shù)財U展，并且可能通過對第一幀中以為10的紅值開始的所有像素的曝光改變求平均來降低估計噪聲。聚集估計的其他方法也是可行的，諸如加權平均、或僅聚集鄰近像素的局部平均。估計也可跨不同的像素值被平滑。例如，具有值10的各像素的估計改變可與相鄰像素值(諸如值5-9和值11-15)估計進行組合。存在跨各像素值組合估計的許多方式。例如，低通濾波器可被應用，或者在滑動窗口上跨各像素值求平均可被進行。替換地，如果捕捉系統(tǒng)所使用的曝光控制過程的模型已知，例如如果捕捉系統(tǒng)使用特定非線性伽馬校正曲線，則該曲線的參數(shù)可被擬合到針對不同像素值的估計。當無法作出某些像素值的估計時，這樣的跨各像素值的平滑技術可能尤其有價值。例如，如果第一幀中不存在具有為30的紅值的像素，則估計過程可能無法產生為30的像素紅值的任何估計?？绺飨袼刂档钠交夹g在創(chuàng)建了估計后就可解決該問題。掩模還可通過從估計過程中消除某些像素來提升估計曝光調整影響的質量。具體地，它可能有助于屏蔽掉打破估計過程的假設的像素。第一可能假設是實際對象尚未改變色彩或亮度，使得像素值的任何改變僅歸因于曝光調整。如果對象改變色彩，例如電視屏幕，則該假設將被打破。另一假設涉及針對第一幀中的給定像素標識第二幀中的哪個像素表示實際場景的同一片(例如地毯上的同一點)的需要。如果兩個源圖像是使用安裝在固定位置的同一相機拍攝的(如可以是其中用于實現(xiàn)自然用戶界面的視頻傳感器附連到計算機或多媒體游戲設備的情況)，則合理的假設是相應的第二像素將只是第二幀內與第一幀中的該像素在同一位置的像素。例如，第一幀的第三行、第二列中的像素對應于第二幀的第三行、第二列中的像素。如果像素表示的對象在這兩個幀之間移動，則該假設將被打破。估計可通過標識打破估計過程的這些或其他假設的像素，并隨后在估計過程中將那些像素屏蔽掉來改善。許多方法可被用來確定要排除或屏蔽哪些像素。例如，如果該系統(tǒng)包括標識人類并跟蹤移動對象的自然用戶界面，則可能正在改變或移動的對象可能已經(jīng)被自然用戶界面標識出。對應于那些改變或移動對象的像素可隨后在估計過程期間被屏蔽。用于生成掩模的另一技術包括使用光流或其他計算機視覺技術來標識將那些像素屏蔽掉的圖像中的運動。或者用于生成掩模的另一技術是僅針對像素值增量的最大閾值設置閾值，使得如果對應像素之間值方面的差異高于該閾值，則將那個像素屏蔽并且在確定聚集差異時不包括那個像素。移動對象可具有在各幀之間移動的掩模。由于來自兩個幀的像素可被需要，因此針對兩個幀的排除掩模可被考慮。假設這兩個掩模被表示為二進制圖像，其中1＝在估計計算中排除像素，并且0＝在估計計算中包括像素，則這樣做的一種方式是將這兩個掩模邏輯或在一起。結果是僅落在兩個幀中的掩模之外的像素將被用作估計曝光調整影響的輸入。其他設計可跟蹤移動對象，并且該運動估計可被用于通過確定第一幀中的哪些像素對應于第二幀中的哪些像素來補償該運動，而不是簡單地屏蔽掉這樣的對象。對于像素對應而言的重要的不是這些像素在圖像的幀中的同一位置，而是這些像素表示場景中的對象的同一點。因此如果例如一球正移動經(jīng)過場景，則例如由自然用戶界面生成的運動信息可被用于在估計曝光調整影響時確定第一幀中的哪些像素對應于第二幀中的哪些像素，而不是屏蔽該球。在兩個不同的相機產生兩個源圖像的情況下，或者在單個相機不是固定的而在移動，從而捕捉兩個圖像的情況下，對象位置的跟蹤也可在設計中被使用。從簡單的全球運動向量到復雜的變形和掩模的任何事物都可被用于在兩個源幀之間配準對象。這樣的運動向量或變形可被用于確定第一幀中的哪些像素與第二幀中的哪些像素配對(對應)。在估計被作出后，它可在最后進行期望的視頻處理操作之前被應用于任一源圖像。對曝光調整影響的估計可為每一可能的第一源幀值或色彩指示該色彩值在第二源幀中應當是什么。關于這樣的輸入色彩值到輸出色彩值的映射的設計是查找表，有時被稱為色彩查找表(clut)。關于影響估計的設計采用其中各條目指示從第一幀到第二幀的改變的查找表的形式。這樣的查找表可被應用于第一幀。這導致可隨后在任何后續(xù)處理操作中與原始的第二幀一起使用的經(jīng)補償?shù)牡谝粠?。替換地，其條目指示由第一幀像素值給出第二幀像素值的反轉查找表可被應用于第二幀而非第一幀。在一些實現(xiàn)中，估計不需要被應用于整個圖像(第一或第二)，而僅需要被應用于圖像的一部分。在一些情況下，估計被應用于的部分可僅僅是在創(chuàng)建估計時被屏蔽的部分。各實現(xiàn)不限于兩個源幀。需要兩個以上輸入幀的圖像或視頻處理操作可需要針對所有輸入幀的曝光調整補償。在該情況下，實現(xiàn)可包括分開地估計單個參考幀和所有其他幀之間的曝光調整影響，并隨后將這些分開的估計分開地應用于其他幀，從而將其全部補償以對應回參考幀的曝光設置。多幀視頻處理操作可隨后被應用于整個圖像群組(有時被稱為圖片群組或gop)?？筛S用于曝光調整的校正的圖像或視頻處理操作是相當多變的。許多計算機視覺和機器類型的操作需要一個以上的輸入幀，并且可從曝光調整校正或補償中獲益。計算機視覺操作的示例類別包括視頻跟蹤、對象識別、運動估計和圖像恢復。使用一個或多個相機來檢測人類身體部位或小的物理姿勢的具有自然用戶界面的計算機是一些計算機視頻或機器視覺操作的較具體的應用。具有諸如xboxkinect之類的光感測設備的自然用戶界面系統(tǒng)可使用視頻處理操作來僅用用戶的臉的視頻圖像通過跟蹤對應于人的心臟的跳動的皮膚色彩方面的輕微改變來測量人的心率。測量這樣的色彩方面的小改變需要人臉的非常穩(wěn)定的圖像，而臉的歸因于曝光校正的改變是有問題的。經(jīng)由攝像機來測量人的心率是可通過用于補償曝光調整的實現(xiàn)來改善的視頻處理的具體示例。轉至附圖，圖1示出可在其中實現(xiàn)本曝光調整補償?shù)恼f明性計算環(huán)境100。需要強調的是，環(huán)境100旨在是說明性，包括其他類型的設備、應用和使用場景的其他環(huán)境也可能能夠使用此處描述的原理。環(huán)境100包括諸如多媒體控制臺103的計算平臺，該多媒體控制臺通常被配置成用于使用本地和/或聯(lián)網(wǎng)的編程和內容來運行游戲和非游戲應用、播放預先錄制的多媒體(諸如包括dvd(數(shù)字多功能盤)和cd(緊致盤)的光盤)、從網(wǎng)絡流傳輸多媒體、參與社交媒體、使用諸如電視機等耦合的音頻/視覺顯示器108來瀏覽因特網(wǎng)和其他聯(lián)網(wǎng)媒體和內容等等。多媒體控制臺103在此例中被操作地耦合至捕捉設備113，捕捉設備113可使用被配置為在視覺上監(jiān)視站著地毯118上的用戶119所占據(jù)的物理空間116(在圖1中大致由虛線指示)的一個或多個攝像機來實現(xiàn)。如以下更詳細地描述的，捕捉設備113被配置成捕捉、跟蹤以及分析用戶119的移動和/或姿勢，使得這些移動和/或姿勢能被用作可被用來影響例如多媒體控制臺103上運行的應用或操作系統(tǒng)的控制。用戶119的手121或其他身體部位的各種運動可對應于常見的系統(tǒng)范圍任務，諸如從主用戶界面中選擇游戲或其他應用。捕捉設備113還被配置成捕捉場景中包括物理空間116而非用戶119的任何對象(諸如地毯和地毯118上的點110)。例如如圖1所示，用戶119可在可選對象122(包括顯示在耦合顯示器108上的各種圖標1251-n)之間導航、瀏覽分層菜單中的項目、打開文件、關閉文件、保存文件等等。此外，用戶119可使用移動和/或姿勢來結束、暫停或保存游戲、選擇級別、查看高分、與朋友交流等。事實上，操作系統(tǒng)和/或應用的任何可控方面都可以由用戶119的移動來控制。用戶119的全范圍運動可以用任何合適的方式來獲得、使用并分析以與在環(huán)境100中執(zhí)行的應用或操作系統(tǒng)進行交互。捕捉設備113也可被用來捕捉、跟蹤以及分析用戶119的移動以在游戲應用在多媒體控制臺103上執(zhí)行時控制玩游戲過程。例如，如圖2所示，游戲應用(諸如拳擊游戲)使用顯示器108來提供用戶119的拳擊對手的視覺表示以及用戶119可用他或她的移動來控制的玩家化身的視覺表示。用戶119可在物理空間116中作出移動(例如，揮拳)以使得玩家化身在游戲空間中作出相應的移動?？稍谖锢砜臻g116中識別并分析用戶119的移動，使得執(zhí)行用于對游戲空間中玩家化身的游戲控制的相應移動。多媒體控制臺103所支持的游戲應用提供其中本曝光調整補償可被有利地利用的示例性上下文。例如，在上述拳擊游戲中，游戲設計者可能希望添加其中用戶的心率連同其他因素(諸如每輪揮拳和擊中的次數(shù))一起得到監(jiān)測的游戲特征作為對用戶的表現(xiàn)、技能或健康水平的指示。將進一步理解，心率跟蹤在包括游戲和非游戲上下文的其他上下文中可能是有用的。如上所述，心率跟蹤可通過曝光調整補償來改善。附加地，用于跟蹤和檢測拳擊游戲輸入的用戶119的自然用戶界面功能中許多功能可通過曝光調整補償來改善。圖3示出捕捉設備113的說明性功能組件，捕捉設備113的功能性組件可作為目標識別、分析和跟蹤系統(tǒng)300的一部分用于在物理空間116(圖1)的捕捉區(qū)域識別人類和非人類目標而無需使用附加到這些主體的專門感測設備，唯一地標識人類和非人類目標，以及在三維空間跟蹤人類和非人類目標。系統(tǒng)300可向自然用戶界面系統(tǒng)提供輸入或提供自然用戶界面系統(tǒng)的一部分。捕捉設備113可被配置成經(jīng)由任何合適的技術(包括例如飛行時間、結構化光、立體圖像等)來捕捉具有深度信息的視頻，包括可包括深度值的深度圖像。在一些實施例中，捕捉設備113可將所計算的深度信息組織為“z層”，即可垂直于從深度相機沿其視線延伸的z軸的層。如圖3所示，捕捉設備113包括圖像相機組件303。圖像相機組件303可被配置成用作可捕捉場景的深度圖像的深度相機。深度圖像可包括所捕捉的場景的二維(2d)像素區(qū)域，其中2d像素區(qū)域中的每個像素都可以表示深度值，諸如所捕捉的場景中的對象與相機相距的距離，例如以厘米、毫米等為單位。在此例中，圖像相機組件303包括ir光組件306、ir相機311和可見光rgb相機314?？衫酶鞣N技術來捕捉深度視頻幀。例如，在飛行時間分析中，捕捉設備113的ir光組件306可以將紅外光發(fā)射到捕捉區(qū)域上，然后可用例如ir相機311和/或rgb相機314來檢測從捕捉區(qū)域中的一個或多個目標和對象的表面反向散射的光。在某些實現(xiàn)中，可以使用脈沖式紅外光從而可以測量出射光脈沖和相應的入射光脈沖之間的時間并將其用于確定從捕捉設備113到捕捉區(qū)域中的目標或對象上的特定位置的物理距離。此外，可將出射光波的相位與入射光波的相位進行比較來確定相移。然后可以使用該相移來確定從捕捉設備到目標或對象上的特定位置的物理距離?？墒褂蔑w行時間分析，通過經(jīng)由包括例如快門式光脈沖成像的各種技術來分析反射光束隨時間的強度以間接地確定從捕捉設備113到目標或物體上的特定位置的物理距離。在其他實施例中，捕捉設備113可使用結構化光來捕捉深度信息。在這樣的分析中，圖案化光(即，被顯示為諸如網(wǎng)格圖案或條紋圖案等已知圖案的光)可經(jīng)由例如ir光組件306被投射到捕捉區(qū)域上。在撞擊到捕捉區(qū)域中的一個或多個目標或對象的表面時，作為響應，圖案可變形。圖案的這種變形可由例如ir相機311和/或rgb相機314來捕捉，然后可被分析來確定從捕捉設備到目標或對象上的特定位置的物理距離。捕捉設備113可使用兩個或更多物理上分開的相機，這些相機可從不同角度查看捕捉區(qū)域以獲得視覺立體數(shù)據(jù)，該視覺立體數(shù)據(jù)可被解析以生成深度信息。使用單個或多個相機的其他類型的深度圖像布置也可用來創(chuàng)建深度圖像。捕捉設備113還可包括話筒318。話筒318可包括可接收聲音并將其轉換成電信號的換能器或傳感器。話筒318可以被用來減少目標識別、分析及跟蹤系統(tǒng)300中的捕捉設備113和多媒體控制臺103之間的反饋。附加地，話筒318可用來接收也可由用戶119提供的音頻信號，以控制可由多媒體控制臺103執(zhí)行的諸如游戲應用、非游戲應用等應用。捕捉設備113還可包括可以通過總線328與圖像相機組件303可操作地通信的處理器325。處理器325可包括可執(zhí)行指令的標準處理器、專用處理器、微處理器等，這些指令可包括用于儲存簡檔的指令、用于接收深度圖像的指令、用于確定合適的目標是否被包括在深度圖像中的指令、用于將合適的目標轉換成該目標的骨架表示或模型的指令，或任何其他合適的指令。捕捉設備113還可以包括存儲器組件332，該存儲器組件432可以存儲可以由處理器325執(zhí)行的指令、由相機捕捉到的圖像或圖像的幀、用戶簡檔或任何其他合適的信息、圖像等。根據(jù)一個示例，存儲器組件332可包括隨機存取存儲器(ram)、只讀存儲器(rom)、高速緩存、閃存、硬盤、或任何其他合適的存儲組件。如圖3所示，存儲器組件332可以是與圖像捕捉組件303和處理器325進行通信的分開的組件。替代地，存儲器組件332可被集成到處理器325和/或圖像捕捉組件303中。在一個實現(xiàn)中，捕捉設備113的組件303、306、311、314、318、325、328和332中的部分或全部位于單個外殼中。捕捉設備113通過通信鏈路335可操作地與多媒體控制臺103進行通信。通信鏈路335可以是包括例如usb(通用串行總線)連接、火線連接(firewireconnection)、以太網(wǎng)電纜連接等的有線連接和/或諸如無線802.11連接之類的無線連接。多媒體控制臺103可以經(jīng)由通信鏈路335向捕捉設備113提供時鐘，該時鐘可以用來確定何時捕捉例如場景。捕捉設備113可經(jīng)由通信鏈路335來向多媒體控制臺103提供由例如ir相機311和/或rgb相機314捕捉的深度信息和圖像，包括可由捕捉設備113生成的骨架模型和/或面部跟蹤模型。多媒體控制臺103然后可使用骨架和/或面部跟蹤模型、深度信息和所捕捉的圖像來例如創(chuàng)建虛擬屏幕、適配用戶界面、以及控制應用。運動跟蹤引擎341使用骨架和/或面部跟蹤模型以及深度信息來向在捕捉設備113所耦合至的多媒體控制臺103上運行的一個或多個應用(在圖3中由應用345代表性地指示)提供控制輸出。姿勢識別引擎351、深度圖像處理引擎354、操作系統(tǒng)359和/或曝光調整補償引擎362也可使用該信息。深度圖像處理引擎354使用深度圖像來跟蹤諸如用戶和其他對象等對象的運動。深度圖像處理引擎354會將檢測到的每個對象的標識以及每幀的對象的位置報告給操作系統(tǒng)359。操作系統(tǒng)359可使用該信息來更新例如化身或顯示器108上示出的其他圖像的位置或移動，或者對用戶界面執(zhí)行動作。姿勢識別引擎351可使用可包括姿勢過濾器集合的姿勢庫(未示出)，每個姿勢過濾器都包含關于例如可由骨架模型(在用戶移動時)執(zhí)行的姿勢的信息。姿勢識別引擎351可將由捕捉設備113所捕捉的幀(其形式為骨架模型以及與其相關聯(lián)的移動)與姿勢庫中的姿勢過濾器進行比較來標識用戶(其由骨架模型來表示)何時執(zhí)行了一個或多個姿勢。那些姿勢可與應用的各種控制相關聯(lián)。這樣，多媒體控制臺103可采用姿勢庫來解釋骨架模型的移動并基于該移動來控制在多媒體控制臺上運行的操作系統(tǒng)或應用。圖4是曝光調整補償?shù)恼f明性概覽的流程圖。過程400是圖3的曝光補償引擎362的可能實現(xiàn)的說明性示例。過程400始于使用第一曝光設置集合捕捉第一圖像415和使用第二曝光設置集合捕捉第二圖像420。如果輸入是視頻，則第二幀將在第一幀之后的某個點處被捕捉，但這些幀不需要是連續(xù)的。在替換實現(xiàn)中，如上所述，兩個輸入幀不需要來自視頻或來自同一相機或來自不同的捕捉時間，而改為可使用兩個不同的相機在相同時間被捕捉。在425使用掩模和兩個捕捉到的圖像創(chuàng)建補償表。圖5中解說了這個的示例過程。圖4的設計采用補償表，該補償表旨在補償?shù)谝粓D像(或其部分)以創(chuàng)建第一圖像的好像該第一圖像是用第二圖像的曝光設置來捕捉的版本。因此，在430，將補償表應用于第一圖像的一部分。所使用的部分是在步驟435執(zhí)行視頻處理操作所期望的部分。圖6中解說了這個的示例過程。如上所述，替換實現(xiàn)包括作為該補償表的反轉，并將被用于創(chuàng)建第二圖像的好像該第二圖像已用第一圖像的曝光設置來捕捉的版本。最后，在435使用第二圖像和第一圖像的經(jīng)補償?shù)牟糠謥韴?zhí)行視頻處理操作。過程400在440處結束。圖5是解說圖4的創(chuàng)建補償表步驟的流程圖。過程500在510處開始，并且表[]陣列和計數(shù)[]陣列的所有元素的值被初始化到0。表[]陣列和計數(shù)[]陣列的尺寸是相同的，并且在該實現(xiàn)中，這些陣列尺寸等于輸入圖像的像素值的數(shù)目。例如，如果正考慮的像素值是由8比特數(shù)字來表示的，則陣列尺寸將為256。步驟525到550是第一幀中的所有像素上的循環(huán)。在步驟525，將循環(huán)變量i初始化為對應于第一幀中的第一像素。如上所述，掩模被用于消除第一幀中可能由用于估計補償表的差基礎造成的像素。掩模可包括移動圖像，并且可包括這些圖像中的將在圖4的步驟435中對其應用視頻處理操作的部分。掩模在步驟530通過測試循環(huán)變量i所指示的像素是否在該掩模中而發(fā)生。如果它在該掩模中，則循環(huán)在步驟535立即移動到下一i(下一像素)。如果i不在掩模中，則在步驟540和545中使用當前像素i來估計補償表。在步驟540中，使針對第一幀的像素i的值的表[]條目增加第一幀和第二幀中的像素i的值之間的差異的量。該實現(xiàn)采用例如靜態(tài)相機和在經(jīng)掩模的區(qū)域之外的靜態(tài)場景，使得第一幀中的第i個像素位置與第二幀中的第i個像素位置表示捕捉到場景的相同部分。在步驟545，增加對應于被修改的表[]條目的計數(shù)。在步驟550，如果i不是第一幀中的最后一個像素，則循環(huán)繼續(xù)到步驟535。在循環(huán)通過第一幀中的所有像素后，在步驟555，所有表[]條目被加到每一條目的像素差異的數(shù)目標準化。最后結果應當是table[]陣列，其中每一條目是幀1中(在掩模之外)的每一像素的平均像素值差異。圖6是解說圖4的應用補償表步驟的流程圖。過程600在610處開始。整個過程是通過第一圖像的感興趣部分中的所有像素的循環(huán)(包括步驟615-630)。感興趣部分是將對其應用圖4中的步驟435的視頻處理操作的幀1的部分。在步驟615，將循環(huán)變量i初始化到該部分中的第一像素。隨后在步驟620，針對每一像素i，確定經(jīng)補償?shù)牟糠謭D像是第一幀中的那個像素的值加上針對那個第一幀像素值的補償表條目。補償表(圖6中的表[])是圖5中創(chuàng)建的表。最后，如果i已到達感興趣部分的結束處，則過程600在635處結束，否則i在步驟630被增加到該部分中的下一像素。圖7解說了計算系統(tǒng)的一示例實施例，該計算系統(tǒng)可以是圖1-3所示的用于實現(xiàn)曝光調整補償并跟蹤運動和/或動畫化(或以其他方式更新)應用所顯示的化身或其他屏幕上對象的多媒體控制臺103。諸如以上參考圖1-2所述的多媒體控制臺103之類的計算系統(tǒng)可以是諸如游戲控制臺之類的多媒體控制臺。如圖7所示，多媒體控制臺700具有含有一級高速緩存702、二級高速緩存704和閃存rom(只讀存儲器)706的中央處理單元(cpu)701。一級高速緩存702和二級高速緩存704臨時存儲數(shù)據(jù)，并且因此減少存儲器訪問周期的數(shù)量，由此改進處理速度和吞吐量。cpu701可被提供為具有一個以上的核，并且由此具有附加的一級高速緩存702和二級高速緩存704。閃存rom706可存儲在多媒體控制臺700通電時引導過程的初始階段期間加載的可執(zhí)行代碼。圖形處理單元(gpu)708和視頻編碼器/視頻編解碼器(編碼器/解碼器)714形成用于高速和高分辨率圖形處理的視頻處理流水線。經(jīng)由總線從圖形處理單元708向視頻編碼器/視頻編解碼器714運送數(shù)據(jù)。視頻處理流水線向a/v(音頻/視頻)端口740輸出數(shù)據(jù)，用于傳輸至電視或其他顯示器。存儲器控制器710連接到gpu708以方便處理器訪問各種類型的存儲器712，諸如但不局限于ram(隨機存取存儲器)。多媒體控制臺700包括優(yōu)選地在模塊718上實現(xiàn)的i/o控制器720、系統(tǒng)管理控制器722、音頻處理單元723、網(wǎng)絡接口724、第一usb主控制器726、第二usb控制器728以及前面板i/o子部件330。usb控制器726和728用作外圍控制器742(1)-742(2)、無線適配器748、以及外置存儲器設備746(例如，閃存、外置cd/dvdrom驅動器、可移動介質等)的主機。網(wǎng)絡接口724和/或無線適配器748提供對網(wǎng)絡(例如，因特網(wǎng)、家庭網(wǎng)絡等)的訪問，并且可以是包括以太網(wǎng)卡、調制解調器、藍牙模塊、電纜調制解調器等的各種不同的有線或無線適配器組件中的任何一種。系統(tǒng)存儲器743被提供來存儲在引導過程期間被加載的應用數(shù)據(jù)。提供媒體驅動器744，且其可包括dvd/cd驅動器、藍光驅動器、硬盤驅動器、或其他可移動媒體驅動器等。媒體驅動器744可位于多媒體控制臺700的內部或外部。應用數(shù)據(jù)可經(jīng)由媒體驅動器744來訪問，以供多媒體控制臺700執(zhí)行、回放等。媒體驅動器744經(jīng)由諸如串行ata總線或其他高速連接(例如ieee1394)之類的總線被連接到i/o控制器720。系統(tǒng)管理控制器722提供與確保多媒體控制臺700的可用性相關的各種服務功能。音頻處理單元723和音頻編解碼器732形成具有高保真度和立體聲處理的相應音頻處理流水線。音頻數(shù)據(jù)經(jīng)由通信鏈路在音頻處理單元723與音頻編解碼器732之間傳輸。音頻處理流水線將數(shù)據(jù)輸出到a/v端口740，以供外置音頻播放器或具有音頻能力的設備再現(xiàn)。前面板i/o子部件730支持被展示在多媒體控制臺700的外表面上的電源按鈕750和彈出按鈕752、以及任何led(發(fā)光二極管)或其他指示器的功能。系統(tǒng)供電模塊736向多媒體控制臺700的組件供電。風扇738冷卻多媒體控制臺700內的電路。多媒體控制臺700內的cpu701、gpu708、存儲器控制器710，以及各種其他組件經(jīng)由一條或多條總線互連，總線包括串行和并行總線、存儲器總線、外圍總線、以及使用各種總線架構中的任一種的處理器或局部總線。作為示例，這樣的架構可包括外圍部件互連(pci)總線、pci-express總線等。當多媒體控制臺700通電時，應用數(shù)據(jù)可從系統(tǒng)存儲器743加載到存儲器712和/或高速緩存702、704中，并且可在cpu701上執(zhí)行。應用可在導航到多媒體控制臺700上可用的不同媒體類型時呈現(xiàn)提供一致用戶體驗的圖形用戶界面。在操作中，媒體驅動器744中所包含的應用和/或其他媒體可從媒體驅動器744啟動或播放，以將附加功能提供給多媒體控制臺700。多媒體控制臺700可通過簡單地將該系統(tǒng)連接到電視機或其他顯示器而作為獨立系統(tǒng)來操作。在該獨立模式中，多媒體控制臺700允許一個或多個用戶與該系統(tǒng)交互、看電影，或聽音樂。然而，在通過網(wǎng)絡接口724或無線適配器748可用的寬帶連接集成的情況下，多媒體控制臺700可進一步作為更大網(wǎng)絡社區(qū)中的參與者來操作。當多媒體控制臺700通電時，可以保留設定量的硬件資源以供多媒體控制臺操作系統(tǒng)作系統(tǒng)使用。這些資源可包括存儲器的保留量(諸如，16mb)、cpu和gpu周期的保留量(諸如，5％)、網(wǎng)絡帶寬的保留量(諸如，8kbs)，等等。因為這些資源是在系統(tǒng)引導時間保留的，所保留的資源從應用的視角而言是不存在的。具體地，存儲器保留量優(yōu)選地足夠大，以包含啟動內核、并發(fā)系統(tǒng)應用和驅動器。cpu保留量優(yōu)選地為恒定，以使得若所保留的cpu用量不被系統(tǒng)應用使用，則空閑線程將消耗任何未使用的周期。對于gpu保留，通過使用gpu中斷來調度代碼以將彈出窗口呈現(xiàn)為覆蓋圖，顯示由系統(tǒng)應用生成的輕量消息(例如，彈出窗口)。覆蓋圖所需的存儲器量取決于覆蓋區(qū)域大小，并且覆蓋圖優(yōu)選地與屏幕分辨率成比例縮放。在并發(fā)系統(tǒng)應用使用完整用戶界面的情況下，優(yōu)選使用獨立于應用分辨率的分辨率。定標器可用于設置該分辨率，從而無需改變頻率和引起tv重新同步。在多媒體控制臺700引導并且系統(tǒng)資源被保留之后，執(zhí)行并發(fā)系統(tǒng)應用來提供系統(tǒng)功能。系統(tǒng)功能被封裝在上述所保留的系統(tǒng)資源內執(zhí)行的一組系統(tǒng)應用中。操作系統(tǒng)內核標識出作為系統(tǒng)應用線程而非游戲應用線程的線程。系統(tǒng)應用優(yōu)選地被調度為在預定時間并以預定時間間隔在cpu701上運行，以便提供對應用而言一致的系統(tǒng)資源視圖。調度是為了使針對在控制臺上運行的游戲應用的高速緩存中斷最小化。當并發(fā)系統(tǒng)應用需要音頻時，由于時間敏感性而將音頻處理異步地調度給游戲應用。多媒體控制臺應用管理器(如下所述)在系統(tǒng)應用活動時控制游戲應用的音頻水平(例如，靜音、衰減)。輸入設備(例如，控制器742(1)和742(2))由游戲應用和系統(tǒng)應用共享。輸入設備不是保留的資源，而是要在系統(tǒng)應用和游戲應用之間被切換以使其各自將具有設備的焦點。應用管理器較佳地控制輸入流的切換，而無需游戲應用的知識，而驅動程序維護有關焦點切換的狀態(tài)信息。相機226、228和捕捉設備120可經(jīng)由usb控制器726或其他接口來定義控制臺700的附加輸入設備。圖8解說了計算系統(tǒng)820的另一示例，該計算系統(tǒng)820可以是圖1-3所示的用于實現(xiàn)曝光調整補償并跟蹤運動和/或動畫化(或以其他方式更新)應用所顯示的化身或其他屏幕上對象的多媒體控制臺103。計算系統(tǒng)820只是合適的計算系統(tǒng)的一個示例，并且不旨在對當前公開的主題的使用范圍或功能提出任何限制。也不應該將計算系統(tǒng)820解釋為對示例性計算系統(tǒng)820中示出的任一組件或其組合有任何依賴性或要求。在一些實現(xiàn)中，所描繪的各種計算元素可包括被配置成實例化本發(fā)明的各具體方面的電路。例如，本公開中使用的術語電路可包括被配置成通過固件或開關來執(zhí)行功能的專用硬件組件。在其他示例實現(xiàn)中，術語電路可包括由軟件指令配置的實施可用于執(zhí)行功能的邏輯的通用處理單元、存儲器等。在電路包括硬件和軟件的組合的示例實現(xiàn)中，實施者可以編寫體現(xiàn)邏輯的源代碼，且源代碼可以被編譯為可以由通用處理單元處理的機器可讀代碼。因為本領域技術人員可以明白現(xiàn)有技術已經(jīng)進化到硬件、軟件或硬件/軟件組合之間幾乎沒有差別的地步，因而選擇硬件或是軟件來實現(xiàn)具體功能是留給實現(xiàn)者的設計選擇。更具體地，本領域技術人員可以明白軟件進程可被變換成等價的硬件結構，而硬件結構本身可被變換成等價的軟件進程。由此，對于硬件實現(xiàn)還是軟件實現(xiàn)的選擇是設計選擇之一并留給實現(xiàn)者。附加地，此處描述的功能(如軟件)可以至少部分由一個或多個硬件邏輯組件來執(zhí)行。例如、但非限制，可使用的硬件邏輯組件的說明性類型包括場可編程門陣列(fpga)、專用集成電路(asic)、專用標準產品(assp)、片上系統(tǒng)(soc)、復雜可編程邏輯器件(cpld)、等等。計算系統(tǒng)820包括計算機841，計算機441通常包括各種計算機可讀介質。計算機可讀介質可以是能由計算機841訪問的任何可用介質，而且包含易失性和非易失性介質、可移動和不可移動介質。系統(tǒng)存儲器822包括易失性和/或非易失性存儲器形式的計算機存儲介質，如只讀存儲器(rom)823和隨機存取存儲器(ram)460。包含諸如在啟動期間幫助在計算機841內的元件之間傳輸信息的基本例程的基本輸入/輸出系統(tǒng)824(bios)通常存儲在rom823中。ram460通常包含處理單元859可立即訪問和/或當前正在操作的數(shù)據(jù)和/或程序模塊。作為示例而非限制，圖4示出了操作系統(tǒng)825、應用程序826、其他程序模塊827和程序數(shù)據(jù)828。計算機841也可以包括其他可移動/不可移動、易失性/非易失性計算機存儲介質。僅作為示例，圖8示出了從不可移動、非易失性磁介質中讀取或向其寫入的硬盤驅動器838，從可移動、非易失性磁盤854中讀取或向其寫入的磁盤驅動器839，以及從諸如cdrom或其他光學介質等可移動、非易失性光盤853中讀取或向其寫入的光盤驅動器840。可在示例性操作環(huán)境中使用的其他可移動/不可移動、易失性/非易失性計算機存儲介質包括但不限于，磁帶盒、閃存卡、數(shù)字多功能盤、數(shù)字錄像帶、固態(tài)ram、固態(tài)rom等。硬盤驅動器838通常通過諸如接口834之類的不可移動存儲器接口連接到系統(tǒng)總線821，并且磁盤驅動器839和光盤驅動器840通常通過諸如接口835之類的可移動存儲器接口連接到系統(tǒng)總線821。以上討論并在圖8中示出的驅動器及其相關聯(lián)的計算機存儲介質為計算機841提供了對計算機可讀指令、數(shù)據(jù)結構、程序模塊和其他數(shù)據(jù)的存儲。在圖8中，例如，硬盤驅動器838被示為存儲操作系統(tǒng)858、應用程序857、其他程序模塊856和程序數(shù)據(jù)855。注意，這些組件可與操作系統(tǒng)825、應用程序826、其他程序模塊827和程序數(shù)據(jù)828相同，也可與它們不同。在此操作系統(tǒng)858、應用程序857、其他程序模塊856以及程序數(shù)據(jù)855被給予了不同的編號，以至少說明它們是不同的副本。用戶可以通過輸入設備，如鍵盤851和定點設備852(通常被稱為鼠標、跟蹤球或觸摸墊)向計算機841輸入命令和信息。其他輸入設備(未示出)可包括話筒、操縱桿、游戲手柄、圓盤式衛(wèi)星天線、掃描儀等。這些以及其他輸入設備通常通過耦合到系統(tǒng)總線的用戶輸入接口836連接到處理單元859，但也可通過諸如并行端口、游戲端口或通用串行總線(usb)之類的其他接口和總線結構來連接。相機226、228和捕捉設備120可經(jīng)由用戶輸入接口836來定義計算系統(tǒng)820的附加輸入設備。監(jiān)視器842或其他類型的顯示設備也經(jīng)由諸如視頻接口832之類的接口連接至系統(tǒng)總線821。除了監(jiān)視器以外，計算機還可包括諸如揚聲器844和打印機843之類的其他外圍輸出設備，它們可通過輸出外圍接口833來連接。捕捉設備120可經(jīng)由輸出外圍接口833、網(wǎng)絡接口837或其他接口連接到計算系統(tǒng)820。注意，結合圖7和8或在本公開中的別處討論的存儲器或存儲可包括具有具體的、有形的、物理的結構的存儲介質。如所公知的，信號不具有具體的、有形的、物理的結構。存儲器以及本文所述的任何計算機可讀存儲介質不被解釋為信號。存儲器以及本文所述的任何計算機可讀存儲介質都不被解釋為瞬態(tài)信號。存儲器以及本文所述的任何計算機可讀存儲介質都不被解釋為傳播信號。存儲器以及本文所述的任何計算機可讀存儲介質都不被解釋為具有具體的、有形的、物理的結構的制品。計算機841可使用到一個或多個遠程計算機(諸如，遠程計算機846)的邏輯連接而在聯(lián)網(wǎng)環(huán)境中操作。遠程計算機846可以是個人計算機、服務器、路由器、網(wǎng)絡pc、對等設備或其他常見網(wǎng)絡節(jié)點，并且通常包括許多或所有以上相對計算機841所描述的元件，但在圖4中僅示出了存儲器存儲設備847。所描繪的邏輯連接包括局域網(wǎng)(lan)845和廣域網(wǎng)(wan)849，但也可以包括其它網(wǎng)絡。此類聯(lián)網(wǎng)環(huán)境在辦公室、企業(yè)范圍的計算機網(wǎng)絡、內聯(lián)網(wǎng)和因特網(wǎng)中是常見的。當在lan聯(lián)網(wǎng)環(huán)境中使用時，計算機841通過網(wǎng)絡接口837連接到lan845。當在wan聯(lián)網(wǎng)環(huán)境中使用時，計算機841通常包括調制解調器850或用于通過諸如因特網(wǎng)等wan849建立通信的其他手段。調制解調器850可以是內置的或外置的，可經(jīng)由用戶輸入接口836或其他適當?shù)臋C制連接到系統(tǒng)總線821。在聯(lián)網(wǎng)環(huán)境中，相關于計算機841所示的程序模塊或其部分可被存儲在遠程存儲器存儲設備中。作為示例而非局限，圖4示出應用程序848駐留在存儲器設備847上。應當理解，所示的網(wǎng)絡連接是示例性的，并且可使用在計算機之間建立通信鏈路的其他手段。盡管用結構特征和/或動作專用的語言描述了本主題，但可以理解，所附權利要求書中定義的主題不必限于上述具體特征或動作。相反，上述特定特征和動作是作為實現(xiàn)權利要求書的示例而公開的，并且其他等價特征和動作旨在處于權利要求書的范圍內。示例裝置可包括：處理器；以及耦合到所述處理器的存儲器，所述存儲器包括可執(zhí)行指令，所述可執(zhí)行指令在被所述處理器執(zhí)行時，使得所述處理器實現(xiàn)以下操作，包括：通過向參考圖像應用掩模來生成經(jīng)掩模的參考圖像，所述經(jīng)掩模的參考圖像包括多個像素；為包含在所述經(jīng)掩模的參考圖像中的像素值生成補償估計，其中特定像素值的估計是針對所述經(jīng)掩模的參考圖像中具有特定像素值的像素，第二圖像中的相應像素的像素值和該特定像素值之間的像素值差異的聚集，其中當參考圖像中的像素和第二圖像中的像素表示場景的同一部分時，參考圖像中的像素對應第二圖像中的像素；以及，通過將所述估計應用于參考圖像的補償部分來生成經(jīng)補償?shù)膱D像部分，其中經(jīng)補償?shù)膱D像部分中的每一像素是通過將參考圖像中的相應像素的值加到該相應像素值的估計中來生成的。另一示例裝置是以上裝置，其中操作進一步包括通過將參考圖像的二進制掩模與第二圖像的二進制掩模進行邏輯或來生成掩模。另一示例裝置是以上裝置，其中操作進一步包括對經(jīng)補償?shù)膱D像部分以及第二圖像的對應于補償部分的部分執(zhí)行視頻處理操作。另一示例裝置是以上裝置，其中操作進一步包括通過在掩模中包括以下中的至少一者來構造掩模：所述圖像的正在移動的部分以及補償部分。另一示例裝置是以上裝置，其中視頻處理操作檢測參考圖像和第二圖像中的人類對象的心率。另一示例裝置是以上裝置，其中像素值差異的聚集是通過對這些像素值差異求平均來確定的。另一示例裝置是以上裝置，其中像素值表示以下中的至少一者：紅、綠、藍、亮度、紅色差異色度、藍色差異色度、或紅外、或光譜的其他部分。一種示例方法可包括確定場景的第一表示的像素的特征的第一值和所述場景的第二表示的相應像素的特征的第二值之間的差異；針對所述第一值，基于所確定的差異和至少一個其他值確定聚集；以及，基于聚集值調整在所述第一表示或所述第二表示中的至少一者的調整部分中的像素的特征。另一示例方法是以上方法，其進一步包括如果一像素被包含在掩模中，則從聚集中排除該像素。另一示例方法是以上方法，其進一步包括通過將所述第一表示的二進制掩模與所述第二表示的二進制掩模進行邏輯或來構造掩模。另一示例方法是以上方法，其進一步包括通過在掩模中包括以下中的至少一者來構造掩模：這些表示中正在移動的部分以及調整部分。另一示例方法是以上方法，其進一步包括對經(jīng)調整的調整部分和另一表示的相應部分執(zhí)行視頻處理操作，其中視頻處理操作檢測所述第一表示和所述第二表示中的人類對象的心率。另一示例方法是以上方法，其進一步包括通過對確定的差異的集合求平均來確定所述聚集，其中該集合包括參考幀中具有該特征的相同第一值的像素，并且其中參考幀是所述第一表示或所述第二表示。一種示例系統(tǒng)可包括：處理器；以及耦合到所述處理器的存儲器，所述存儲器包括可執(zhí)行指令，所述可執(zhí)行指令在被所述處理器執(zhí)行時，使得所述處理器實現(xiàn)以下操作，包括：確定場景的第一表示的像素的特征的第一值和所述場景的第二表示的相應像素的特征的第二值之間的差異；針對所述第一值，基于所確定的差異和至少一個其他值確定聚集；以及，基于聚集值調整所述第一表示或所述第二表示中的至少一者的調整部分的特征。另一示例系統(tǒng)是以上系統(tǒng)，其中操作進一步包括如果一像素被包含在掩模中，則從聚集中排除該像素。另一示例系統(tǒng)是以上系統(tǒng)，其中操作進一步包括通過將所述第一表示的二進制掩模與所述第二表示的二進制掩模進行邏輯或來構造掩模。另一示例系統(tǒng)是以上系統(tǒng)，其中操作進一步包括通過在掩模中包括以下中的至少一者來構造掩模：這些表示中正在移動的部分以及補償部分。另一示例系統(tǒng)是以上系統(tǒng)，其中操作進一步包括對經(jīng)補償?shù)谋硎静糠趾退龅诙硎镜膶谒稣{整部分的部分執(zhí)行視頻處理操作，其中所述視頻處理操作檢測所述第一表示和所述第二表示中的人類對象的心率。另一示例系統(tǒng)是以上系統(tǒng)，其中操作進一步包括通過對確定的差異的集合求平均來確定所述聚集，其中該集合僅包括參考幀中具有該特征的相同第一值的像素，并且其中參考幀是所述第一表示或所述第二表示。另一示例系統(tǒng)是以上系統(tǒng)，其中像素的特征是以下中的至少一者的數(shù)字值：紅、綠、藍、亮度、紅色差異色度、藍色差異色度、或紅外、或光譜的其他部分。一種示例裝置包括：處理器；以及耦合到所述處理器的存儲器，所述存儲器包括可執(zhí)行指令，所述可執(zhí)行指令在被所述處理器執(zhí)行時，使得所述處理器實現(xiàn)以下操作，包括：通過向參考圖像應用掩模來生成經(jīng)掩模的參考圖像，所述經(jīng)掩模的參考圖像包括表示場景的一部分的多個像素；通過以下方式來生成用于補償包含在所述經(jīng)掩模的參考圖像內的像素的特定像素值的補償估計：聚集所述特定像素值和第二圖像中與所述經(jīng)掩模的參考圖像中具有所述特定像素值的像素相對應的像素的值之間的差異，其中當所述參考圖像中的像素和所述第二圖像中的像素表示場景的同一部分時，所述參考圖像中的像素對應于所述第二圖像中的像素；以及，通過將所述估計加到處于所述參考圖像的補償部分中并且還具有等于所述特定像素值的像素值的像素的值中來生成所述參考圖像的經(jīng)補償?shù)膱D像部分。另一示例裝置是以上裝置，其包括通過將所述參考圖像的二進制掩模與所述第二圖像的二進制掩模邏輯或來生成掩模。另一示例裝置是以上裝置，其進一步包括確定所述參考圖像和所述第二圖像中表示的對象的心率。另一示例裝置是以上裝置，其中所確定的心率基于速搜參考圖像的經(jīng)補償?shù)膱D像部分以及所述第二圖像的對應于所述補償部分的部分。另一示例裝置是以上裝置，其中所述掩模包括以下中的至少一者：所述圖像的正在移動的部分或所述補償部分。另一示例裝置是以上裝置，其中所述差異是通過對所述差異求平均來聚集的。另一示例裝置是以上裝置，其中像素值表示以下中的至少一者：紅、綠、藍、亮度、紅色差異色度、藍色差異色度、或紅外、或光譜的一部分。一種示例方法包括：確定場景的第一表示的像素的特征的第一值和所述場景的第二表示的相應像素的特征的第二值之間的差異；針對所述第一值，基于所確定的差異和至少一個其他值確定聚集；以及，基于聚集值調整在所述第一表示或所述第二表示中的至少一者的調整部分中的像素的特征。另一示例方法是進一步包括如果一像素被包含在掩模中，則從聚集中排除該像素的以上方法。另一示例方法是以上方法，其進一步包括檢測所述第一表示和所述第二表示中的對象的心率。另一示例方法是以上方法，其進一步包括通過對確定的差異的集合求平均來確定所述聚集，其中該集合包括參考幀中具有該特征的同一第一值的像素，并且其中參考幀是所述第一表示或所述第二表示。另一示例方法是以上方法，其進一步包括通過將所述第一表示的二進制掩模與所述第二表示的二進制掩模進行邏輯或來構造掩模。另一示例方法是進一步包括通過在掩模中包括以下中的至少一者來構造掩模的以上方法：這些表示中正在移動的部分以及補償部分。當前第1頁12當前第1頁12