專利名稱：至少表示基于像素值的值的變化的時變信號的形成的制作方法
技術領域：
本發(fā)明涉及一種用于形成至少表示基于來自圖像序列的像素值的值的變化的時變信號的方法和系統(tǒng)。該發(fā)明還涉及一種計算機程序。
背景技術：
US2009/0141124 Al涉及一種基于紅外線視頻的生命信號測量的系統(tǒng)和方法，其使用主體校準、信號增強和諧波分析。在該方法中，首先執(zhí)行輪廓分割(segmentation)以定位將要測量的血管。然后，相同的分割參數(shù)集合被用在所有幀中以對對應的區(qū)域進行分割。 之后，基于每個幀中分割的位置和尺度通過校準在幀上所選擇的區(qū)域中的所有像素來執(zhí)行運動補償。在輪廓分割和動作補償之后，執(zhí)行空間濾波以移除與心跳不相關的噪聲，并且之后執(zhí)行非線性濾波以處理對應于每個校準的像素序列的時間信號。然后每個像素的信號頻譜被饋入用于異常值移除的聚類算法。然后在最大簇中的像素被使用以選擇優(yōu)勢頻率，并且優(yōu)勢頻率的中值頻率被作為脈沖頻率而輸出。已知方法的問題是當片段(segment)的校準沒有被足夠精確地執(zhí)行時，異常值移除不能很好地起作用。在某些情況中，特別是在對應像素之間的差別位于像素值的量化誤差處或者之下的情況時，校準是不夠精確的。

發(fā)明內(nèi)容
期望的是提供一種上述類型的方法、系統(tǒng)和計算機程序，其允許獲得更精確的時變信號以在頻譜分析中使用，例如從而從視頻圖像序列中確定生物統(tǒng)計參數(shù)的值。為此，根據(jù)本發(fā)明的一個方面，提供了一種根據(jù)本發(fā)明形成至少表示基于像素值的值的變化的時變信號的方法，其包括
獲取圖像序列；
通過從定義間隔的至少兩個圖像的每個中選擇至少一個像素值的子集以形成關聯(lián)子集的組，從而形成像素值的子集的多個組，
其中，對于只具有來自相同圖像的子集的任意配對的組，來自多于一個圖像的子集是不同的；和
根據(jù)至少一個選擇標準選擇子集的組以形成信號， 其中所選擇的子集的組覆蓋不同的間隔，其短于序列的長度。由于來自至少兩個圖像的每個的像素值的子集的組被選擇，有可能建立差別，其都被要求頻譜分析。因此，通過該方法獲取的信號將至少表示在圖像的至少特定部分中的顏色和/或亮度的變化。然后，這個信號能夠被用于確定在圖像的該特定部分中表示的個體的心率或呼吸率。通過分開執(zhí)行選擇步驟以覆蓋信號的不同間隔，對于不同的間隔能夠使用不同的相應子集的對。例如，如果從第一圖像中選擇了第一子集并從第二圖像中選擇了相應子集，則該對能夠被使用在信號中。對于信號的下一個間隔，對應于例如下一對圖像，能夠選擇相應子集的對，其與來自第一圖像的第一子集不對應。只有小的信號變化對于確定要被量化的周期性現(xiàn)象的值(例如，在圖像序列中表示的個人的諸如心率或呼吸率的生物統(tǒng)計參數(shù))是相關的。該方法基于這樣的實現(xiàn)，其中與第一圖像中像素的特定子集對應的區(qū)域不必貫穿整個圖像序列被追蹤以形成在確定表征周期性現(xiàn)象的值中使用的信號。相反，對于不同的間隔選擇合適的組，其被融合以形成比任何組都長的信號。因此該方法與貫穿圖像序列跟蹤感興趣的單個區(qū)域的方法的區(qū)別在于，對于只具有來自相同圖像的子集的任意配對的組，來自多于一個圖像的子集是不同的。在實施例中，通過至少在基于獲取的圖像的多個圖像的每個的至少區(qū)域上放置柵格以獲取像素值的時空體積(spatio-temporal volume)而形成組，每個時空體積包括在由柵格限定的相應空間孔徑(aperture)中的每個圖像的像素值。效果是不需要在多個圖像的每個中搜索類似的子集。由兩個或更多圖像中相應位置處的子集簡單地形成了組。這個實施例的變形包括，對于每個組，分析由空間孔徑確定的像素值的至少一個子集，以確定其是否表示某種類型的表面的一部分。特別地，像素的一個或多個子集能夠被分析以確定它們是否具有指示它們表示生物、更特別地是人類的裸露皮膚的部分區(qū)域的特征。在光體積描記術方法的環(huán)境中正使用該方法的情況下，該實施例是有用的。其幫助確保在該環(huán)境中時變信號表示由于脈動血流而產(chǎn)生的反射的變化。在該方法的實施例中，至少基于獲取的圖像序列，通過獲取來自圖像序列的像素值的時空體積而形成組，每個體積包括在來自序列的間隔中每個圖像的空間孔徑中的像素值，該方法包括對于在序列的不同間隔上定義的組，使用不同的孔徑。這個實施例允許在不同時刻(對應于圖形序列上不同的間隔)特別調(diào)整孔徑的大小。其針對以下問題具有大空間孔徑意味著有更多像素值能夠被合并以便減少隨機噪聲，但是具有大孔徑也增加了由于運動偽像(motion artifact)或光照變化(illumination change)的原因、組將不符合至少一個選擇標準的可能性。在實施例中，孔徑的大小取決于孔徑中像素子集的均勻性(uniformity)。能夠使用對象分割、顏色分割和/或背景_前景分割而確定該均勻性。這是有用的，由于其幫助避免了以下情況基于像素值的值的時間變化被檢測到，其不是由于在圖像中表示的對象的實際亮度變化，而是由于在時空體積的持續(xù)時間內(nèi)特征移動至空間孔徑中的事實。在實施例中，至少基于獲取的圖像序列，通過獲取來自圖像序列的像素值的時空體積而形成組，每個體積包括在來自序列的間隔中每個圖像的空間孔徑中的像素值，該方法包括對于序列的不同間隔上定義的組、使用不同的間隔長度。這個實施例針對以下問題具有長間隔能夠增加需要完成的處理的量，但是將允許檢測能夠被移除的運動偽像。在實施例中，至少基于獲取的圖像序列，通過獲取來自圖像序列的像素值的時空體積而形成組，每個體積包括在來自序列的間隔中的每個圖像的空間孔徑中的像素值，其中至少一個選擇標準的估計包括確定空間均勻性的度量和確定時間均勻性的度量中的至少一個。時間均勻性的度量能夠被限制在特定頻率范圍。這個實施例針對不穩(wěn)定的測量和對運動或光照偽像的脆弱性的問題。通過使用空間均勻性的度量，能夠只選擇具有均勻區(qū)域的組，即符合空間均勻性的最小絕對值的那些，或者僅相對于其他組是最均勻的那些。非均勻性會快速地導致運動偽像，意味著在基于時空體積中的像素值的、時變信號中表示的顏色或亮度的時間變化實際上是由于較深或較亮區(qū)域移動至定義時空體積的空間孔徑中。 使用時間均勻性的度量還有助于防止感興趣的那些之外的時間變化進入時變信號。在實施例中，至少基于獲取的圖像序列，通過獲取來自圖像序列的像素值的時空體積而形成組，每個體積包括在來自序列的間隔中的每個圖像的空間孔徑中的像素值，并且該方法進一步包括通過將來自每個孔徑的多個像素值合并為一個值而從每個選擇的組中提取信號段。合并步驟有助于移除隨機噪聲。在特別的變形中，信號段的提取包括獲取只表示基于像素值的空間合并的值的時間變化的信號段。特別地，這些能夠是低于特定振幅和/ 或在特定受限頻率范圍中的變化，其中最大振幅能夠是絕對或相對振幅(例如移動平均的最大百分比)。在這個實施例的變形中，通過采取信號段作為輸入的融合操作而形成時變信號， 并且其中信號段通過不同的權重參與該融合操作，權重確定它們影響時變信號的程度。這個實施例考慮了如下事實一些信號段包括比其他信號段更清楚的感興趣現(xiàn)象的分量特征。例如，一些段具有相對清楚的表示由于血流而導致的皮膚反射的變化的分量。 還能夠是這種情形某些信號段比其他的信號段長，因此它們攜帶更多的信息。這能夠使得對于在融合處理中強調(diào)這些段是有用的。 在該方法的實施例中，通過從至少基于獲取的圖像序列中的一個的第一圖像選擇至少一個像素值的第一子集、并至少基于獲取的圖像序列的相應的一個在至少一個另外的圖像的每個中定位類似的子集而形成組。至少在大小和/或旋度的放大或減少之后，類似的子集在它們所表示的內(nèi)容上至少在一定程度上相對應。在捕獲移動對象的像素值中的變化方面，這個實施例是有用的。在實施例中，通過獲取預測的運動向量和修改該預測的運動向量以根據(jù)至少一個類似性標準選擇用于估計的備選子集，來尋找至少一個另外的圖像中的類似的子集。因為對于每個子集使用單獨的運動向量，這個實施例能夠具有相對高的精確性地檢測類似的子集，但是其在計算上不是非常昂貴，因為其不使用窮盡搜索。在實施例中，形成組包括至少基于獲取的圖像序列的相應圖像、只從至少兩個圖像的序列的每個中感興趣的有限區(qū)域中選擇子集。這個實施例能夠處理表示相同類型的不同對象(例如兩個生物)的圖像序列。此外，其在計算上是更高效的。根據(jù)本發(fā)明的另一個方面，提供了一種用于形成至少表示基于來自圖像序列的像素值的值的變化的時變信號的系統(tǒng)，該信號在長度上對應于圖像序列，該系統(tǒng)包括
接口，用于獲取圖像序列；和數(shù)據(jù)處理系統(tǒng)，被布置用于
通過從定義間隔的至少兩個圖像的每個選擇至少一個像素值的子集以形成關聯(lián)子集的組，從而形成像素值的子集的多個組，使得圖像由至少兩個間隔覆蓋；和根據(jù)至少一個選擇標準，選擇子集的組以形成信號， 其中所選擇的子集的組覆蓋不同的間隔，其短于序列的長度。
在實施例中，所述系統(tǒng)被布置成執(zhí)行根據(jù)本發(fā)明的方法。根據(jù)本發(fā)明的另一個方面，提供了一種計算機程序，包括指令集合，其能夠當被結合在機器可讀介質(zhì)中時使得具有信息處理能力的系統(tǒng)執(zhí)行根據(jù)本發(fā)明的方法。


本發(fā)明將參照附圖被進一步詳細解釋，其中 圖1是用于形成時變信號的系統(tǒng)的示意性框圖2是示出形成時變信號的方法的第一通用實施例的流程圖； 圖3是示出形成時變信號的方法的第二實施例的流程圖； 圖4是從覆蓋圖像序列的有限間隔的圖像中獲取的像素值的子集的組的圖示； 圖5是從選擇的像素值的子集的組中提取信號段的圖示。
具體實施例適于執(zhí)行遠程光學體積描記術的系統(tǒng)的多個實施例將在此處被解釋。光學體積描記術是一種用于使用皮膚反射變化來表征某些周期性生理現(xiàn)象的方法。人類皮膚能夠被模型化為具有至少兩個層的對象，其中一個是表皮(薄的表面層)，另一個是真皮(在表皮之下的較厚的層)。在表皮中，大約5%的進入光線被反射，這是對于所有波長和皮膚顏色的情況。 在已知為身體反射(在雙色反射模型(Dichromatic Reflection Model)中被描述)的現(xiàn)象中，剩余的光在兩個皮膚層中被散射和吸收。表皮的表現(xiàn)為像是光濾波器，主要吸收光。在真皮中，光被散射和吸收。該吸收取決于血液成分，因此該吸收對于血流變化是靈敏的。真皮的光學屬性通常對于所有人種是相同的。真皮包含密集的血管網(wǎng)絡，大約為成人總血管網(wǎng)絡的10%。這些血管根據(jù)身體中的血流而收縮。它們因此改變了真皮的結構，其影響皮膚層的反射。因此，根據(jù)皮膚反射變化能夠確定心率。要描述的系統(tǒng)和方法不限于光學體積描記術，而是還能夠被用來獲取至少包括攜帶信息的分量的信號，所述信息表征在圖像序列中表示的感興趣的周期性現(xiàn)象。在所有應用中，該方法對于與感興趣的周期性現(xiàn)象(在光學體積描記術的情況下是血液脈動流)無關的光照變化和運動偽像是健壯的。系統(tǒng)包括多個組件，其中只有一些在圖1中被示出。系統(tǒng)包括數(shù)據(jù)處理系統(tǒng)1，其可以是通用計算機，并且包括數(shù)據(jù)處理單元2和主存儲器3。它進一步包括用于存儲軟件的海量存儲設備4，包括用于執(zhí)行在此概述的方法的軟件。數(shù)據(jù)處理系統(tǒng)1具有針對用于獲取數(shù)字圖像序列的視頻攝像機6的接口 5。它還具有針對輸出設備8、例如可視顯示單元的接口 7以用于以可感知的形式呈現(xiàn)輸出。當然，數(shù)據(jù)處理系統(tǒng)1進一步包括常用功能組件，諸如用戶輸入設備、網(wǎng)絡接口等，其在圖1中沒有被單獨地示出。在實施例中，(未示出)，數(shù)據(jù)處理系統(tǒng)1進一步包括對于至少一個光源的接口，該光源能夠是被調(diào)整至電磁輻射頻譜的可視或近紅外線部分的特定范圍的光源。數(shù)據(jù)處理系統(tǒng)1被布置成生成至少表示基于來自由視頻攝像機6捕獲的圖像序列的每一個的像素值的值的變化的第一信號。在某些實施例中(在圖中未示出)，它被布置成處理該第一信號以便抑制或移除由捕獲圖像的單獨分析而確定的運動。在第一實施例中(圖2)，數(shù)據(jù)處理系統(tǒng)1執(zhí)行的方法包括獲取(步驟9)圖像序列。至少一個圖像被分割(步驟10)，感興趣的一個或多個區(qū)域被選擇(步驟11)。分割和選擇步驟10，11被執(zhí)行以便識別表示特定類型的表面的區(qū)域，特別是那些符合特定標準的區(qū)域。在一個實施例中，識別感興趣的區(qū)域，其表示在圖像中表示的人的臉部的一些或全部。用于實現(xiàn)這個實施例的合適的算法被描述在Viola，P.和Jones， Μ. J. ,"Robust real-time object detection，，，Proc. of IEEE workshop on statistical and computational theories of vision，2001年7月13日。用于識別具有特定形狀、顏色和/或圖案的圖像分段的其它合適的算法是已知的，并且能夠代替這個算法或與這個算法相結合地使用。本說明書將基于感興趣的一個區(qū)域被選擇的假設繼續(xù)進行。這個感興趣的區(qū)域貫穿圖像序列被跟蹤。用于實現(xiàn)此的合適的算法在De Haan等的“True-motion estimation with 3-D recursive search block matching", IEEE transactions on circuits and systems for video technology, 3 (5)，1993 年 10 月，第 368-379 頁中被描述。對于序列中的第一對圖像，數(shù)據(jù)處理系統(tǒng)1繼續(xù)進行以在感興趣的區(qū)域中選擇至少一個像素值的子集。特別地，從第一圖像中感興趣的區(qū)域中選擇多個子集(步驟12)。對于每個選擇的子集，在子序列中的鄰近的圖像(通常是在當前圖像之后的那個圖像，但是也可以是在前的圖像)中尋找相應的子集(步驟13)。通常，每個子集將具有多個像素值，使得在另一個圖像中尋找相應的子集的步驟 13包括根據(jù)一些標準搜索類似的子集。也就是說在下一個圖像中尋找感興趣的區(qū)域中最匹配的子集。來自第一圖像的每個選擇的子集和來自下一個圖像的最佳匹配的子集形成子集的組。因為來自第一圖像的子集彼此完全不同，對于任意對的組，來自第一和下一個圖像兩者的子集是不同的。在下一個幀中尋找相應的子集能夠包括在下一個圖像中全局搜索與從第一圖像中選擇的子集的集合相對應的子集的合并集合。這是一種低成本的解決方案，但是很可能相對不夠精確。可替換地，對于從第一圖像中選擇的像素值的每個子集，能夠執(zhí)行窮盡的搜索。這是相對精確的方法，但是計算上相對昂貴。在另一個實施例中，通過獲取該子集的預測的運動向量和修改該預測的運動向量以根據(jù)至少一個類似性標準選擇用于估計的備選子集來尋找類似的子集。該修改是以更新向量的形式，其可以是隨機的。這樣一種途徑表示預測的搜索，其能夠在當前圖像中的子集上迭代多次。由于對于在初始步驟12中選擇的每個子集、運動向量都被單獨地尋找的事實，組中的子集相對好地匹配。預測的運動向量的使用允許具有相對低的計算成本的實現(xiàn)方式。例如，能夠通過對在當前幀中選擇的子集的第一個執(zhí)行窮盡搜索、然后使用從中產(chǎn)生的運動向量作為其它子集的預測的運動向量來獲取預測的運動向量。接下來(步驟14)，每個組被分析。不符合至少一個預先確定的標準的那些組被丟棄(步驟15)。在一個實施例中，在最佳匹配的一個或多個組被選擇的意義上，該至少一個標準是相對標準。然而，通常，該至少一個標準將是絕對標準，因為形成的組的數(shù)量將是非常大的，使得將總會有一些符合該至少一個標準。在特定實施例中，該至少一個標準包括像素值的每個子集應當具有最小空間均勻性的標準。在另一個實施例中，該至少一個標準包括至少一個類似性標準。該類似性標準能夠與例如顏色和/或紋理的類似性相關。在實施例中，從圖像至圖像，有關系的像素不能移動比特定距離更多的距離，在這個意義上，使用運動標準。這些標準的每個被設計成確保對于與感興趣的現(xiàn)象(在光學體積描記術的情況中是周期生物現(xiàn)象)不相關的運動和/或光照改變的健壯性。然后，只對于選擇的子集的組的每個，建立信號片段(步驟16)。在實施例中，來自子集中的像素值被合并成單個值，例如，通過采取加權平均或者通過尋找平均值。對于組中的每個子集都這樣做，以使得每個圖像都有一個這樣的值。效果是對于噪聲的健壯性相對高。然而，提取信號值的其它方式也是可能的。在實施例中，圖像序列包括兩個或多個圖像幀序列，每個對應于不同的頻道并且包括表示在電磁輻射頻譜的有限范圍內(nèi)捕獲的電磁輻射的強度的像素值。例如，圖像序列能夠包括在不同顏色頻道(例如紅、綠和藍)中的圖像幀序列。在這個可替換的方案中，合并能夠包括對來自形成完整圖像的每個圖像幀的像素值取加權和。其還能夠包括減法操作，例如從對應于綠色光的頻道中的像素值中減去在所有頻道上的平均亮度。然后，在與組的各個子集相關聯(lián)的值之間的差別被取得。在每個組僅包括來自兩個圖像的子集的實施例中，信號片段因此只包括一個值。請注意，選擇步驟15能夠被推遲， 直到信號片段已經(jīng)被建立之后，特別地以便于使用基于值的合并或者基于圖像間合并中的差別的選擇標準。因此，只有產(chǎn)生強信號值的那些組能夠被選擇。對于每個下一對圖像重復步驟12-16，以使得獲取到不同的信號片段，其表示在由圖像序列限定的時間基礎上的不同時間間隔。在最終步驟中這些被融合(步驟17)以獲取覆蓋的時間間隔對應于由圖像序列所覆蓋的時間間隔的信號。多種方法能夠被用于信號片段的融合(fusion)。該融合能夠例如基于尋找在信號之間的最高關聯(lián)性或基于異常值的光照?？蛇x擇地，信號段能夠通過不同權重參與融合過程，所述權重確定它們影響作為融合步驟17的結果的時變信號的程度。例如，權重值能夠取決于在尋找類似子集的步驟13中組中的子集被確定與之相匹配的可靠性。在另一個實施例中，組中的子集之間的空間距離至少部分地確定權重。如果距離大，則權重較低。雖然已經(jīng)使用來自相鄰子集的子集對的組的例子解釋了圖2的方法，但是圖2的方法能夠使用來自序列的連續(xù)圖像的三個或更多子集的組。由組確定的間隔能夠重疊。例如，一個組能夠包括從第一至第三圖像的子集，而另一個從第二至第四圖像。在又一個可替換的實施例中，某些組不是根據(jù)來自相鄰圖像的子集而形成，而是通過跳過某些圖像。例如，在一個實現(xiàn)方式中，從第一圖像中選擇子集，并且在第二圖像中找到最相似的子集，從而獲取了來自第一和第二圖像的子集對。如果特定對不符合特定標準，則該對被丟棄，并且來自第三圖像的類似子集被確定。然后，例如能夠使用內(nèi)插以形成從中提取出信號段的子集對。因此，在這個實施例中，在丟棄不符合至少一個標準的集合的像素值的子集對的步驟15后，在另外的圖像中尋找類似子集的步驟13在從圖像序列中的當前圖像中進一步移除的圖像上重復。在一個實施例中(未示出)，執(zhí)行額外的校正以增加對于移動的健壯性。在圖像序列中表示的至少一個主體的移動被量化，以便獲取分離的信號，該分離的信號至少表示在圖像序列中表示的至少一個特定類型的主體的周期性運動。然后，這個信息被用于抑制作為融合處理的結果而獲取的信號的分量。將能理解只有對應于感興趣的區(qū)域的主體的運動被分析。能夠通過確定表示在圖像序列上感興趣的區(qū)域的運動的運動向量序列來實現(xiàn)運動分析。然后，通過分析運動向量的重復性來確定表示生物的周期的運動分量的數(shù)據(jù)。在實施例中，只有在特定幅度范圍內(nèi)的運動被考慮。作為使用運動向量的替代方案，在像素值或者像素值集合中的光照變化能夠被使用以推斷運動。然而，這是不太可靠的，并且運動的頻率不能被很好地確定。注意到的是作為融合步驟17的結果的信號、利用可選的運動抑制步驟獲得的信號和針對多個間隔獲取(步驟16)的信號片段中的任意項能夠并且通常會經(jīng)歷進一步的處理，其可以包括提取對應于感興趣的生物統(tǒng)計信號的信息的步驟，例如使用阿爾法(alpha) 趨勢均值過濾器過濾。另一個可能的過濾操作是帶通過濾。產(chǎn)生的信號能夠被分析，例如以獲取對應于例如心率或呼吸率的、感興趣的周期性現(xiàn)象的頻率值。它還能夠被使用以選通(gate)成像裝置(例如CT掃描儀)。形成至少表示基于來自圖像序列的像素值的值的變化的時變信號的替代方法(圖 3)刪去在兩個或多個圖像中尋找類似子集以形成像素值的子集的組的步驟13。代替地，形成位置對應的子集的組。該方法使用特定數(shù)量的圖像的緩沖器，通過該方法的每次迭代，最近的圖像被加入其中(步驟18)，而最久的圖像從中移除。因此，該緩沖器包含圖像序列的子序列。這些通過在圖像的集合20的每個上放置柵格(圖3)而被用于構成時空體積(步驟19)。在集合 20中的圖像至少基于視頻攝像機6提供的圖像。它們可以是過濾和/或圖像處理操作(未示出)的結果以補償運動、攝像機移動等等。柵格定義了具有寬度Δ χ和高度Δ y的空間孔徑。每個時空體積由集合20中的每個圖像的孔徑中的給定的一個孔徑中的像素值組成。對應于空間孔徑中的像素值的像素值子集的序列21的例子在圖4中被示出。在集合20中的圖像數(shù)量確定時間間隔Δ t。根據(jù)至少一個標準的集合來估計(步驟22)每個時空體積中像素值的子集。只有符合該至少一個標準的那些被保留，并被用于獲取至少包括表示生物中的周期性現(xiàn)象的分量的信號。通常，在圖3的實施例中能夠使用相同種類的選擇標準，如已經(jīng)結合圖2的實施例的選擇步驟14而描述的。在柵格被放置在整個圖像上的情況下，圖3的方法的選擇步驟22 將至少還包括步驟估計像素值的子集是否表示特定類型表面，例如人的裸露皮膚。進一步的選擇標準涉及像素值的每個子集的均勻性和子集的序列21的時間均勻性。只有最均勻的時空體積、或者符合一些絕對均勻性標準的那些被保留。能夠使用多個方法的任意一個來完成在空間和時間域中均勻性的計算，包括動態(tài)范圍、方差(variance)、熵等的計算。構成時空體積的步驟19能夠使用缺省的空間孔徑和時間間隔Δ t。在一個實施例中，圖3的方法的每次迭代(S卩，對于被處理的整個圖像序列的每個間隔)使用不同的孔徑大小。附加地或者可替換地，間隔的長度、即在集合20中的圖像的數(shù)量是變化的?？讖酱笮?(寬度Δ χ或高度Δ y)能夠與所分析的區(qū)域的均勻性有聯(lián)系。從而，更均勻的區(qū)域?qū)a(chǎn)生更大的孔徑。其它合適的影響因子包括視頻攝像機6的傳感器的空間分辨率和這些傳感器的其它特征。在其它實施例中，不同的孔徑具有不同尺寸，在這個意義上，柵格是不規(guī)則的。 適當?shù)某叽邕€能夠通過在圖像集合20的至少一個上執(zhí)行對象分割、顏色分割和背景-前景分割中的至少一個而確定。如果分割產(chǎn)生相對小的片段，則柵格的孔徑將也是小的。圖像的合適大小將通常取決于在每個圖像中存在的運動量。因此，與選擇步驟22相關的一些分析在這些實施例中將已經(jīng)被執(zhí)行以組成時空體積。能夠確定間隔Δ t的大小的其它因子包括視頻攝像機6的幀速率、在圖像中表示的主體的運動強度和光照改變。在時空體積的某些已經(jīng)被選擇之后，對于每個選擇的時空體積，提取基于時空體積的像素值的值的時間變化(步驟23)。在這個步驟23中，來自子集中的像素值被合并成單個值，例如，通過取加權平均或者通過查找平均值。這針對序列21中的每個子集來完成 (圖4)，以使得每個圖像有一個這樣的值。像素值的合并的效果為對噪聲的健壯性是相對高的。然而，提取信號值的其它方式是可能的。在一個實施例中，每個圖像包括兩個或多個圖像幀，每個對應于不同的頻道并且包括表示在電磁輻射頻譜的有限范圍內(nèi)捕獲到的電磁輻射的強度的像素值。例如，圖像序列能夠包括在不同顏色頻道(例如，紅、綠和藍)內(nèi)的圖像幀的序列。在這個可替代方案中，合并能夠包括對來自形成完整圖像的每個圖像幀的像素值取加權和。其還能夠包括減法操作，例如，從相應于綠色光的頻道中的像素值減去平均亮度。如圖5中圖示的，在為像素值的一個子集計算的值和對于序列21中所有子集的值的時間平均之間的差被計算。通常，能夠使用任意其他方法以提取在特定時間段上顏色值的空間平均亮度的時間波動。這些變化應當在幅度變化和頻率值的特定范圍內(nèi)。在圖示的實施例中，使用滑窗以形成和選擇時空體積。因此，在每次迭代處，為圖像的當前集合20獲取的信號片段彼此融合并且與在前面的迭代處獲取的重疊信號片段融合(步驟M)。例如，該融合能夠基于尋找信號之間的最高關聯(lián)性或基于光照異常值。信號片段能夠通過不同加權參數(shù)參與融合操作。例如，這些能夠取決于相關聯(lián)的時空體積的時間間隔Δ t的長度(更多的權重被分配給具有更大間隔Δ t的體積(volume))。融合的信號被用于提取最重要的信息，其在心跳信號監(jiān)視的情況下是心率。能夠使用阿爾法(Alpha)趨勢均值過濾器以從融合的信號中提取感興趣的融合信號的部分。如上所述作為對圖2中圖示的方法的可選附加，抑制表示周期性運動的分量的類似方法在一個實施例(未示出)中被使用。在這種情況下，通過執(zhí)行圖象序列的基于視頻的運動分析，獲取分離的數(shù)據(jù)，該分離的數(shù)據(jù)至少表示在被處理的圖像序列中表示的生物的周期性的運動分量。一個運動信號能夠被獲取并且被至少用于抑制對應于該周期性運動的融合信號的分量?？商鎿Q地，能夠為分離的圖像部分獲取分離的運動信號，并且其被用于抑制為對應于那些部分的時空體積而獲取的信號段的分量。在特定變形中，是否獲取分離的運動信號以便至少抑制從分離的時空體積提取的信號段的周期性分量取決于運動信號之間的差異程度。即使沒有運動抑制，上面概述的方法允許在存在主體運動或光照的突然變化時、 從主體的皮膚區(qū)域中健壯地提取和分析時間生物統(tǒng)計信號?；跇嬙旌瓦x擇最可靠和時間上一致的不受運動偽影影響的時空像素體積(spatio-temporal pixel volumes)，圖3的實施例能夠在信號獲得過程期間被直接實現(xiàn)。應當注意到上面提及的實施例是闡釋而非限制本發(fā)明，并且本領域技術人員將能夠設計許多可替換的實施例，而不脫離所附權利要求的范圍。在權利要求中，置于括號間的任何參考標記將不被解釋為限制權利要求。詞語“包括”不排除在權利要求中列出的那些之外的元素或步驟的存在。在元素前面的詞語“一”或“一個”不排除多個該元素的存在。在彼此不同的從屬權利要求中記載的特定措施的純粹事實不表明這些措施的組合不能被有利地使用。 在圖2的方法中用于尋找類似子集的類似性的度量能夠被限制于紋理的類似性。 不需要嚴格的像素值的類似性。
權利要求
1.一種形成時變信號的方法，該時變信號至少表示基于來自圖像序列的像素值的值的變化，該信號在長度上對應于該圖像序列，該方法包括獲取所述圖像序列；通過從定義間隔的至少兩個圖像的每個選擇至少一個像素值的子集以形成關聯(lián)子集的組(21)，從而形成像素值的子集的多個組(21)，其中對于只具有來自相同圖像的子集的任意配對的組(21)，來自多于一個圖像的子集是不同的；和根據(jù)至少一個選擇標準選擇子集的組(21)以形成信號，其中所選擇的子集的組(21) 覆蓋不同的間隔，其短于序列的長度。
2.根據(jù)權利要求1的方法，其中通過至少在基于所獲取的圖像的多個圖像的每個的至少區(qū)域上放置柵格以獲取像素值的時空體積而形成組(21)，每個體積包括在由所述柵格限定的相應空間孔徑中的每個圖像的像素值。
3.根據(jù)權利要求2的方法，包括針對每個組，分析由空間孔徑限定的像素值的至少一個子集，以確定其是否表示特定類型的表面的一部分。
4.根據(jù)權利要求1的方法，其中至少基于獲取的圖像序列、通過獲取來自圖像序列的像素值的時空體積而形成組，每個體積包括在來自序列的間隔中的每個圖像的空間孔徑中的像素值，該方法包括針對在序列的不同間隔上定義的組使用不同的孔徑。
5.根據(jù)權利要求1的方法，其中至少基于獲取的圖像序列、通過獲取來自圖像序列的像素值的時空體積而形成組，每個體積包括在來自序列的間隔中的每個圖像的空間孔徑中的像素值，該方法包括針對在序列的不同間隔上定義的組(21)使用不同的間隔長度。
6.根據(jù)權利要求1的方法，其中至少基于獲取的圖像序列、通過獲取來自圖像序列的像素值的時空體積而形成組，每個體積包括在來自序列的間隔中的每個圖像的空間孔徑中的像素值，其中至少一個選擇標準的估計包括確定空間均勻性的度量和確定時間均勻性的度量中的至少一個。
7.根據(jù)權利要求1的方法，其中至少基于獲取的圖像序列、通過獲取來自圖像序列的像素值的時空體積而形成組(21)，每個體積包括在來自序列的間隔中的每個圖像的空間孔徑中的像素值，并且該方法進一步包括通過將來自每個孔徑的多個像素值合并為一個值而從每個選擇的組(21)中提取信號段。
8.根據(jù)權利要求7的方法，其中通過采取信號段作為輸入的融合操作而形成時變信號，其中信號段通過不同權重參與該融合操作，所述權重確定它們影響所述時變信號的程度。
9.根據(jù)權利要求1的方法，其中通過從至少基于獲取的圖像序列中的一個的第一圖像選擇至少一個像素值的第一子集，并至少基于獲取的圖像序列的相應的一個、在至少一個另外的圖像的每個中定位類似的子集而形成組。
10.根據(jù)權利要求1的方法，其中通過獲取預測的運動向量和修改該預測的運動向量以根據(jù)至少一個類似性標準選擇用于估計的備選子集，從而找到至少一個另外的圖像中的類似的子集。
11.根據(jù)權利要求1的方法，其中形成組包括至少基于獲取的圖像序列的相應圖像、只從至少兩個圖像的序列的每個中感興趣的有限區(qū)域中選擇子集。
12.一種用于形成時變信號的系統(tǒng)，該時變信號至少表示基于來自圖像序列的像素值的值的變化，該信號在長度上對應于所述圖像序列，該系統(tǒng)包括 接口(5)，用于獲取所述圖像序列；和數(shù)據(jù)處理系統(tǒng)(1)，被布置用于通過從定義間隔的至少兩個圖像的每個中選擇至少一個像素值的子集以形成關聯(lián)子集的組(21)，從而形成像素值的子集的多個組(21)，以使得圖像由至少兩個間隔覆蓋；并根據(jù)至少一個選擇標準，選擇子集的組(21)以形成所述信號，其中所選擇的子集的組 (21)覆蓋不同的間隔，短于所述序列的長度。
13.根據(jù)權利要求12的系統(tǒng)，被配置以執(zhí)行根據(jù)權利要求1-11中任意一個的方法。
14.計算機程序，包括指令集合，當結合在機器可讀介質(zhì)中時，該指令集合能夠使得具有信息處理能力的系統(tǒng)執(zhí)行根據(jù)權利要求1-11中任意一個的方法。
全文摘要
一種形成時變信號的方法，該時變信號至少表示基于來自圖像序列的像素值的值的變化，該信號在長度上對應于該圖像序列，該方法包括獲取圖像序列。通過從定義間隔的至少兩個圖像的每個中選擇至少一個像素值的子集以形成關聯(lián)子集的組(21)，從而形成像素值的子集的多個組(21)。對于只具有來自相同圖像的子集的任意對的組(21)，來自多于一個圖像的子集是不同的。根據(jù)至少一個選擇標準選擇子集的組(21)以形成信號。所選擇的子集的組(21)覆蓋不同的間隔，其短于序列的長度。
文檔編號G06T7/20GK102549620SQ201080045228
公開日2012年7月4日 申請日期2010年10月1日 優(yōu)先權日2009年10月6日
發(fā)明者G.德哈恩, I.O.基倫科, V.讓內(nèi) 申請人:皇家飛利浦電子股份有限公司