專利名稱：改進的報警前視頻緩沖器的制作方法
技術領域：
本發(fā)明涉及視頻序列的緩沖。更具體地，本發(fā)明涉及用于緩沖包 括全圖像幀和差分圖像幀的視頻序列的方法。本發(fā)明還涉及報警前緩 沖器、視頻服務器、監(jiān)視照相機和計算機程序。
背景技術：
現(xiàn)代保安系統(tǒng)常常包括多個監(jiān)視照相機。監(jiān)視照相機使保安人員 可以監(jiān)視大的區(qū)域，例如在辦公樓中的幾層。監(jiān)視照相機也為保安人 員提供了用于在釆取任何進一步的行動之前驗證報警是真實報警的良 好儀器。
某些保安系統(tǒng)被設置成記錄在檢測例如報警之前開始，在檢測時 結束的時間段內(nèi)的視頻序列。這種類型的視頻序列被稱為報警前視頻 序列。當然，這樣的保安系統(tǒng)也可以記錄在檢測時開始，在任意時間 結束的視頻序列。這種類型的視頻序列被稱為報警后視頻序列。被記 錄的報警前序列可有利于驗證檢測是否起因于真實的報警事件，并可 以提供有關在檢測前的事件的視頻。
由于這樣的視頻序列通常按照某種壓縮標準，例如MPEG4被壓 縮，所以必須考慮具體的壓縮方案的特性。
例如，視頻壓縮的共同的基本原理是用差分圖像幀替代某些全圖 像幀，其中差分圖像幀包含前一全圖像幀與被替換的全圖像幀之間的 差，而全圖像幀包含完整的圖像數(shù)據(jù)。這樣，描述每個全圖像幀的所 有信息不必全被存儲或發(fā)送，而只需要存儲或發(fā)送當前幀與先前幀之 間的差值，這又意味著只需要存儲或發(fā)送較少的數(shù)據(jù)。
因此，當解壓縮被壓縮的視頻流時，差分圖像幀與當前圖像組合， 因此重建由差分圖像代表的圖像。
通常，這樣的壓縮視頻序列或這樣的壓縮視頻流設有多個全圖像 幀，在全圖像幀之間設有多個差分圖像幀。在兩個相鄰的全圖像幀之 間的差分圖像幀的數(shù)目取決于想要的壓縮率和/或質(zhì)量。
例如，第一幀是全圖像幀，第二、第三和第四幀是差分圖像幀， 第五幀是全圖像幀，第六、第七和第八幀是差分圖像幀，諸如此類。 第一幀包含完整圖像的信息，不必為了表示完整的圖像而與來自另一 幀的圖像信息相結合。然而，為了得到下一個完整的圖像，包含全圖 像數(shù)據(jù)的第一幀與包含第一圖像幀和第二圖像幀之間的差值的第二差 分圖像幀被組合成代表第二完整圖像的第二圖像幀。為了得到第三全 圖像幀，第二完整圖像和第三差分圖像幀被組合成第三完整圖像，一 直重復以上過程，直到作為全圖像幀的第五幀為止。
在基于上述共同原理的一些壓縮方案中，使用不同類型的差分圖
4象幀，例如在本領域技術人員熟知的MPEG標準中的P幀和B幀。 因此，當從報警前緩沖器例如從先入先出(FIFO)緩沖器取出報警
前視頻序列時，在緩沖器中的視頻序列可以以多個差分圖像幀開始，
這意味著視頻序列的初始幀不包含呈現(xiàn)完整圖像所需的足夠信息。
一個替換例是把報警前緩沖器中的所有的幀呈給操作員，包括第
一差分幀。由于沒有給出這些差分圖像所基于的全圖像幀，所以報警
前視頻序列的第一幀不會給出正確的圖像信息。
另一個解決方案是引入電子設備，它尋找報警前視頻序列的第一
全圖像幀。這樣，存儲器使用更有效率，包含正確圖像信息的幀不會丟失。
這樣做到的一個缺點是報警前視頻序列將不時地變化，例如，如 果選擇10秒的報警前序列，并且視頻序列包括合理多的差分幀，那么 在報警前視頻序列的開始部分可能有4秒的不能使用的差分視頻幀。
解決這個問題的一個方案可以是擴展緩沖器，這樣，可以存儲多 個額外的幀，即，報警前視頻序列的開始部分被及時地傳回。于是， 可以選擇額外幀的數(shù)目，使得代表所選擇的報警前時間段的所有圖像 幀可被解壓縮。
這個解決方案具有某些缺點。首先，報警前視頻序列的長度將不 時地變化。第二，所需要的添加的額外幀的數(shù)目取決于壓縮率，由于 較高的壓縮率常常意味著更多的差分圖像幀和更少的全圖像幀。因此，
為了支持具有高壓縮率的視頻序列，所添加的額外幀的數(shù)目必須是高 的。

發(fā)明內(nèi)容
鑒于以上說明，本發(fā)明的目的是解決或至少減小以上討論的問題。 另一個目的是提供對于報警前視頻序列的改進的緩沖。
這些目的是藉助于根據(jù)權利要求1的用于緩沖視頻序列的方法、
根據(jù)權利要求12的報警前緩沖器、根據(jù)權利要求18的視頻服務器、 根據(jù)權利要求19的照相機、根據(jù)權利要求20的計算機程序、根據(jù)權 利要求21的報警前視頻序列和根據(jù)權利要求25的計算機程序來實現(xiàn) 的。本發(fā)明的實施例在從屬權利要求中被公開。
根據(jù)本發(fā)明的第一方面，提供了一種用于緩沖視頻序列的方法， 包括以下步驟
從包括全圖像幀和差分圖像幀的輸入視頻流中接收輸入圖像幀， 響應于每個幀的接收，把每個接收的輸入圖像幀存儲在視頻序列FIFO 緩沖器中，把與被存儲在視頻序列FIFO緩沖器中的視頻序列有關的 至少一個全圖像幀存儲在全圖像FIFO緩沖器中，以及通過組合來自
全圖像幀F(xiàn)IFO緩沖器的所述被存儲的至少一個全圖像幀中的至少一 個與視頻序列FIFO緩沖器的圖像幀而生成輸出視頻序列。
把所接收的輸入圖像幀存儲在視頻序列FIFO緩沖器中和把與被 存儲在視頻序列FIFO緩沖器中的視頻序列有關的至少一個全圖像幀 存儲在全圖像FIFO緩沖器中的優(yōu)點在于可以組合視頻序列緩沖器 的視頻序列與全圖像幀，以使視頻序列緩沖器的初始幀是差分幀對于 輸出視頻序列的負面影響最小化。換句話說，差分圖像幀使得很難甚 至不可能使用視頻序列FIFO緩沖器的幾乎所有視頻幀來創(chuàng)建可視的 視頻序列，但這里可以用全圖像幀替代差分圖像幀。由此，有可能有
效地使用被存儲在視頻序列FIFO緩沖器中的圖像信息。
在本發(fā)明的第 一方面的另 一個實施例中，被存儲在全圖像幀F(xiàn)IFO
緩沖器中的所述至少一個全圖像幀是被存儲在所述視頻序列FIFO緩
沖器中的圖像幀的全圖像表示。
這樣，就可以通過使用對于特定的視頻序列相關的圖像信息而進
一步減小視頻序列緩沖器中可能的初始差分圖像幀的負面影響。由此，
通過組合這樣的全圖像幀與視頻序列緩沖器的視頻序列，就可以利用
視頻序列緩沖器的圖像幀中的信息，以便生成報警前視頻序列的更真
實的表示。
在再一個實施例中，被存儲在全圖像幀F(xiàn)IFO緩沖器中的所述至 少一個全圖像幀是與被存儲在視頻序列FIFO緩沖器中的視頻序列的 最舊的圖像幀之間具有短的時間距離的圖像幀的全圖像表示。
藉助于這個安排，全圖像幀可以是在視頻序列緩沖器中最舊的圖 像幀的全圖像表示，或是在時間上靠近視頻序列緩沖器中的最舊圖像 的圖〗象的表示。優(yōu)點與以上所述相同。
在本發(fā)明的一個實施例中，報警前視頻序列的生成包括插入來自 全圖像FIFO緩沖器的全圖像幀作為從包括全圖像幀和差分圖像幀的 視頻序列FIFO緩沖器輸出的視頻序列的第一幀。
把全圖像幀插入到視頻序列緩沖器的視頻序列之首位的優(yōu)點在 于視頻流的初始差分圖像幀可以成為可視的視頻序列的一部分，因 為初始差分圖像幀的圖像信息現(xiàn)在是可解譯的。由此，緩沖器可以更 有效地使用，報警前視頻序列的長度可以更精確地預測，報警前視頻 序列的第一圖像幀的時間點可以更精確地確定。被插入到輸出視頻序 列首位的全圖像幀是視頻序列中的差分幀的全圖像幀并且在該差分幀 與輸出視頻序列的初始差分幀之間的時間距離較小或不存在的實施例 中還得到另外的優(yōu)點。在這種情形下，視頻序列FIFO緩沖器的所有 圖像幀都被有效地使用，因為它們作為以全圖像幀開始的壓縮視頻序 列的一部分全都是可視的。
在再一個實施例中，輸出視頻序列的生成是在接收到檢測信號后
Ala Ala Lys Pro Lys Ser Gly Lys Pi-o Lys Val Thr Lys Ala Lys Lys 65 70 75 80
Ala Ala Pro Lys Lys Lys 85
<210〉 11
<211〉 72
<212> DNA
<213> 人
<400> 11
gccaagaagc ccaagaaggt ggctggcgcc gctaccccga agetaaagcat caaaaagact 60 cctaagaagg ta 72
<210〉 12
<211〉 24
<212〉 PRT
<213〉 人
<400〉 12
Ala Lys Lys Pro Lys Lys Val Ala Gly Ala Ala Thr Pro Lys Lys Ser 15 10 15
lie Lys Lys Thr Pro Lys Lys Val 20
<210〉13
〈211〉27
<212>PRT
<213>人
<400>13
Asn Val Ser Glu Ala Asp Asp Arg Tyr lie Cys Asp Arg Phe Tyr Pro 1 5 10 15
Asn Asp Leu Trp Val Val Val Phe Gin Phe Gin 20 25
<210> 14
<211> 30
<212> PRT
<213> 人
一個全圖像幀是被存儲在所述視頻序列FIFO緩沖器中的圖像的全圖 像表示。
在另一個實施例中，被存儲在全圖像幀F(xiàn)IFO緩沖器中的所述至 少一個全圖像幀是與被存儲在視頻序列FIFO緩沖器中的視頻序列的 最舊的圖像幀之間具有短的時間距離的圖像幀的全圖像表示。
在再一個實施例中，組合器被設為插入來自全圖像FIFO緩沖器
器輸出的視頻序列的第一幀。
在又一個實施例中，報警前緩沖器還包括壓縮視頻輸入端，被設 為接收包括全幀(fullframe)和差分幀的視頻序列。
在另一個實施例中，報警前緩沖器還包括全幀視頻輸入端，被設 為接收只包括全幀的視頻序列。
本發(fā)明的這方面的實施例的優(yōu)點類似于結合本發(fā)明的第一方面的 相應的實施例給出的優(yōu)點。
根據(jù)第三方面，本發(fā)明由包括如上所述的報警前緩沖器的視頻服 務器提供。
根據(jù)第四方面，本發(fā)明由包括如上所述的報警前緩沖器的照相機 提供。
根據(jù)第五方面，本發(fā)明由包括用于執(zhí)行如上所述的方法的步驟的 計算機程序代碼的計算機程序提供。


參照附圖，通過本發(fā)明的優(yōu)選實施例的以下的說明性的和非限制 性的詳細說明，將更好地理解本發(fā)明的以上的以及其它目的、特性和 優(yōu)點，其中相同的標號將被使用于相近的單元，其中
圖l是報警視頻序列的圖示。
圖2是通用視頻壓縮算法的示意圖。
圖3是通用視頻解壓縮算法的示意圖。
圖4是報警前視頻序列緩沖器的功能的第一實施例的示意圖.
圖5是報警前視頻序列緩沖器的功能的第二實施例的示意圖。 圖6是報警前視頻序列緩沖器的功能的第三實施例的示意圖。 圖7是報警前視頻序列緩沖器的功能的第四實施例的示意圖。 圖8是報警前視頻序列緩沖器的功能的第五實施例的示意圖。 圖9是包括根據(jù)第一實施例的報警前視頻序列緩沖器的監(jiān)視照相 機的示意圖。
圖6 是包括根據(jù)第二、第三、第四或第五實施例的報警前視頻序 列緩沖器的監(jiān)視照相機的示意圖。
圖11是包括被連接到模擬照相機的視頻服務器的視頻監(jiān)視系統(tǒng) 的示意圖，其中視頻服務器包括根據(jù)第一實施例的報警前視頻序列緩 沖器。
圖12是包括被連接到模擬照相機的視頻服務器的視頻監(jiān)視系統(tǒng) 的示意圖，其中視頻服務器包括根據(jù)第二、第三、第四或第五實施例 的報警前視頻序列緩沖器。
圖13是解釋用于緩沖視頻序列的方法的流程圖。
具體實施例方式
在本文件中，用語"全圖像幀，，和"差分圖像幀"被使用。"全圖像幀" 應被解釋為與其它圖像無關的圖像，而"差分圖像幀"應被解釋為僅僅
包括兩個相連圖像之間的差的圖像，即依賴于其它圖像。
而且，用語"壓縮視頻流/序列，，應被解釋為包括被共同壓縮的多個 圖像幀的視頻流/序列。這樣的共同壓縮例如通過用差分圖像幀替代某 些圖像幀，而將相連的圖像幀之間的相似性考慮進來。
而且，用語"壓縮圖像，，應被解釋為被單獨壓縮的圖像，其中已經(jīng) 考慮了圖像內(nèi)的可壓縮信息，這樣的壓縮格式例如是JPEG。
另外，"壓縮視頻流/序列"可包括"壓縮圖像"，即，通過考慮相連 圖像之間的相似性，以及考慮每個圖像內(nèi)的可壓縮信息，而減少信息。 這樣的壓縮格式是MPEG-4標準.
圖1顯示形成視頻序列的多個圖像幀100a-100f。在每個圖像幀中，
存在人101a-101f和被連接到檢測器(未示出)的檢測線102a-102f。
在第四圖像幀100d中，人101d與檢測線102d交叉，其中檢測 信號從檢測器發(fā)出。當檢測信號被照相機接收時，生成報警視頻序列。 生成的視頻序列與報警有關，并被發(fā)送到操作員。這例如在對檢測前 的事件以及檢測后的事件感興趣的實驗中是有用的。
這些類型的報警前和報警后視頻序列可能有用的另 一個例子是在 制造工業(yè)中。例如，如果組裝線的中斷信號與帶有報警前視頻序列選 項的照相機相關聯(lián)，則中斷信號的原因可以被研究，并可以釆取適當 的行動，以便減小類似的中斷信號的風險。
如上所述，另一個例子是保安領域。通過使報警前和報警后視頻 序列與監(jiān)視照相機的檢測相關聯(lián)，有利于檢測的處理以及檢測的分析。
報警視頻序列包括兩個部分顯示檢測前的事件的報警前視頻序 列和顯示檢測后的事件的報警后視頻序列。這兩個序列的長度優(yōu)選地
是用戶可調(diào)節(jié)的。
而且，報警后視頻序列的長度不必在報警之前規(guī)定。例如，它可 以一直記錄到操作員停止它為止。
在圖1的說明性例子中，報警前視頻序列和報警后視頻序列被設 置為包含兩個幀。然而，在實際的情形下，幀的數(shù)目可以大得多，例 如，10到300幀，這對應于在每秒10幀的幀率(fps)時的l到30秒。
幀的數(shù)目和幀率可以隨不同的應用而變化。
應當看到，報警前和報警后視頻序列的處理可以由視頻服務器或 適于處理視頻序列的其它設備作出。
替換地，不是作為報警后視頻序列的一部分，在其中進行檢測的 圖像幀100d可以是報警前視頻序列的一部分。
在圖1上，圖像幀100a-100f被顯示為獨立的圖像，或換句話說， 是全圖像幀，即，每個圖像幀都可以被看到，而不需要來自其它圖像 幀的圖像信息。然而，數(shù)字表示的視頻序列優(yōu)選地被壓縮，以便減小 要存儲和發(fā)送的信息量。
有多種方式壓縮數(shù)字視頻序列。然而，壓縮原始的視頻序列—即
未壓縮的視頻序列-的通常方式是把原始視頻序列的幀變換成全圖像 幀和差分圖像幀，這將在下面詳細地說明。在本申請中，考慮這種類 型的壓縮。
為了減小圖像幀中的信息，開發(fā)了從相鄰圖像間的相似性獲益的
數(shù)字視頻格式，諸如MPEG-4。
圖2顯示將包括原始全圖像幀(表示為Oi-012)的原始視頻序 列200壓縮成壓縮視頻序列202的一般原理，壓縮視頻序列202包括 被表示為FrF3的全圖像幀和被表示為Du-D13、 D21-D23和D31-D33的 差分圖像幀。
在這個壓縮原理中，在視頻序列中的某些圖像幀被減小為只包含 與前一圖像的差而不是完整的圖像信息。這些幀在這里被稱為差分圖 像幀，它們可以以一定程度的簡化模型通過圖2所示的減法來確定。
圖3顯示把壓縮視頻序列300解壓縮為包括被表示為RrR12的重
建全圖像幀的解壓縮視頻序列302的一般原理。
按照這個解壓縮原理，差分圖像幀可以以一定程度的簡化模型通
過圖3所示的加法被轉換成全圖像幀。
該一般原理可以通過具有不同類型的差分圖像幀，諸如在 MPEG-4標準中的B和P幀而被改進，并且全圖像幀也可以被處理， 例如被壓縮，諸如在MPEG-4標準中的I幀.
正如從上述的說明性例子可以看到，為了觀看被存儲在報警前視 頻緩沖器中的整個序列，第一圖像幀應當是全圖像幀，但如果壓縮視 頻序列的固定數(shù)目的幀被存儲在FIFO報警前視頻序列緩沖器中的話， 則不總是能夠這樣。
在圖4上，顯示本發(fā)明的第一實施例的一般原理。壓縮視頻信號， 即全圖像幀和差分圖像幀，被順序輸入到包括緩沖器402和緩沖器404 的報警前視頻序列緩沖器400,其中緩沖器402緩沖壓縮的視頻，緩 沖器402或相應的緩沖器在本申請中有時被稱為視頻序列FIFO緩沖 器，而緩沖器404僅僅緩沖全圖像幀，緩沖器404或相應的緩沖器在 本申請中有時被稱為全幀F(xiàn)IFO緩沖器。
來自視頻信號的每個輸入幀被存儲在緩沖器402中。當緩沖器變 滿時，最舊的幀按照FIFO原理FIFO被清除。
當接收到新的全圖像幀時，緩沖器404中的全圖像幀被更新。為 了獲知新的全圖像幀何時被接收，可以利用計數(shù)器406。
當檢測信號到達報警前視頻序列緩沖器時，在緩沖器404中最舊 的全圖像幀和在緩沖器402中的壓縮視頻序列被輸出到組合器408。 組合器408通過用緩沖器404中的第一圖像幀替代緩沖器402中的視 頻序列的第一圖像幀而生成新的視頻序列。因此，如果援沖器404的 第一圖像幀是差分圖像幀，則緩沖器404的第一圖像幀常常是緩沖器 402的第一差分圖像幀所基于的全圖像幀。
這個解決方案在壓縮的射頻信號中具有小數(shù)目的中間差分幀，即 在全圖像幀之間有少量差分圖像幀時是適用的。
例如，如果在兩個相連的全圖像幀之間有75個差分圖像幀，則在
其中74個差分圖像幀丟失的最壞的情形下，在報警前視頻緩沖器中在 第一和第二圖像幀之間跳過是相當重要的。然而如果在兩個相連的全
圖像幀之間有4個差分圖像幀，則跳過不那么重要了，因為對于本例
的最壞的情形只代表3個丟失的差分圖像幀。
替換地，可以檢驗壓縮視頻緩沖器的最舊的幀是否為全圖像幀。 如果最舊的幀是全圖像幀，則在壓縮視頻序列緩沖器402中的壓縮視 頻序列不用調(diào)節(jié)就被輸出，反之，如果最舊的幀不是全圖像幀，則如 上所述，用從全圖像幀緩沖器404取出的全圖像幀來替代它。
通過在全圖像視頻緩沖器中具有最新的全圖像幀，在組合器中的 過程總是相同的，意味著更少的計算時間，這又導致改進的處理效率。
在圖5上顯示本發(fā)明的第二實施例。簡要地，壓縮的視頻信號被 順序地輸入到報警前視頻序列緩沖器500，該緩沖器500包括緩沖壓 縮視頻的緩沖器502、緩沖全圖像幀的緩沖器504和圖像更新器506。 當接收到檢測信號時，由組合器508生成報警前視頻序列。
笫一和第二實施例之間的主要差別在于在第一實施例中，緩沖
器404對于在緩沖器402中的每個幀包括最新的全圖像幀，但在第二
實施例中，緩沖器504對于在緩沖器502中的每個幀包括相應的全圖 像幀。這是通過圖像更新器506完成的，它為每個進入的圖像幀確定 相應的全圖像。
當壓縮視頻信號的進入的幀被接收到時，該進入的幀被緩沖在緩 沖器502中并被傳送到圖像更新器506。圖像更新器506通過以下操 作生成與進入的圖像幀相應的全圖像幀如果進入的圖像幀是差分圖 像幀，則把接收的差分圖像組合到緩沖器504中最新的全圖像幀，否 則如果進入的圖像幀是全圖像幀，則不必進行組合，因為進入的圖像 幀已是全圖像幀，也就是它自身的相應的全圖像幀。此后，緩沖器504 用這個相應的全圖像幀進行更新。
當接收到檢測信號時，由組合器506通過用相應的全圖像幀替代 壓縮視頻緩沖器502的第一幀而生成報警前視頻序列。
替換地，可以檢驗壓縮視頻緩沖器的最舊的幀是否為全圖像幀。 如果最舊的幀是全圖像幀，則在緩沖器502中的壓縮視頻序列不用調(diào) 節(jié)就被輸出，反之，如果最舊的幀不是全圖像幀，則如上所述，它被 替換為從緩沖器504取出的全圖像幀。
在圖6上顯示本發(fā)明的第三實施例。正如第二實施例，壓縮視頻 信號被順序地輸入到報警前視頻序列緩沖器600，該緩沖器600包括 緩沖壓縮視頻的緩沖器602、緩沖全圖像幀的緩沖器604和圖像更新 器606。當接收到檢測信號時，報警前視頻序列由組合器608生成。
正如在第二實施例中那樣，對于壓縮視頻信號的每個輸入幀確定 相應的全圖像幀。因此，緩沖器604具有與第二實施例中相同的特性。
然而，與第二實施例不同的是，在緩沖器602中的一個以上的差 分幀可以用來自緩沖器604的全圖像幀替代。
例如，如果緩沖器602的頭兩個幀是差分圖像幀，則這兩個幀可 以用來自緩沖器604的相應的全圖像幀替代。
替換地，為了獲知要被替換的幀的數(shù)目，可以使用指示要被替換 的幀的數(shù)目的計數(shù)器。
這個實施例的優(yōu)點在于在一行中差分圖像幀的數(shù)目是恒定的，
這使得有可能提高報警前視頻緩沖器的效率。
在圖7上顯示本發(fā)明的第四實施例。不像上述的實施例那樣，壓 縮視頻信號和在這里也被稱為F幀視頻信號的壓縮全圖像幀視頻信號 被輸入到報警前視頻序列緩沖器700。壓縮視頻信號包括這里被稱為F 幀的壓縮全圖像幀和壓縮差分圖像幀。這個壓縮視頻信號例如可以是 MPEG-4視頻序列。F幀和F幀視頻信號在某些壓縮方法中可以被稱 為I幀和I幀視頻信號。
F幀視頻信號代表與壓縮視頻信號相同的視頻序列。差別在于F 幀視頻信號只包括F幀。因此，對于在壓縮的視頻信號中的每個圖像 幀，在F幀視頻信號中存在相應的壓縮全圖像幀。
壓縮視頻信號被輸入到緩沖壓縮視頻的緩沖器702，F(xiàn)幀視頻信號 被輸入到緩沖F幀的緩沖器704。緩沖器702和緩沖器704按照FIFO 原理工作。
當由報警前視頻序列緩沖器700接收到檢測信號時，在組合器706 中生成報警前視頻序列。在組合器中，緩沖器702的第一幀用緩沖器 704的第一幀替代。
在圖8上顯示本發(fā)明的第五實施例。在這個實施例中，壓縮視頻 信號被輸入到報警前視頻序列緩沖器800中的緩沖壓縮視頻的緩沖器 802。報警前視頻序列緩沖器800還包括緩沖F幀視頻的緩沖器抑4。 緩沖器804只包括一個幀。這個幀由F幀更新器806更新，如果最舊 的幀是差分圖像幀，則F幀更新器組合壓縮視頻序列緩沖器的最舊幀 與當前F幀，否則，如果最舊的幀是F幀，則當前F幀用這個F幀替 代。這在每次壓縮視頻信號中的一個幀進入到報警前視頻序列緩沖器 800時完成。
當檢測信號被報警前視頻序列緩沖器800接收時，在組合器808 中生成報警前視頻序列。在組合器808中，緩沖器洲2的第一幀用來 自緩沖器804的幀替代。
在上述的實施例中，進入的全圖像幀和差分圖像幀分別以相同的 方式被處理。然而，如果在報警前視頻序列中的第一和第二圖像幀之
間的小的跳過是可接受的，則有可能只處理每隔一個的進入的幀，或 如果大一些的跳過是可接受的，則有可能只處理每隔兩個的幀等等。 但是，如果處理所有的全圖像幀，可以得到最好的質(zhì)量。
在圖9上，顯示包括如圖4所示的報警前視頻序列緩沖器902的 照相機900。照相機900還包括鏡頭904、圖像傳感器906、視頻控制 器卯8、壓縮引擎910、被連接到LAN(局域網(wǎng))或因特網(wǎng)914的數(shù)據(jù)網(wǎng) 接口 912、組合器916、處理器918和存儲器920，還可能有外部檢測 器922。
簡要地，為了發(fā)送流視頻到LAN或因特網(wǎng)914，通過鏡頭904把 光傳送到圖像傳感器906。在可以是CCD傳感器或CMOS傳感器的 圖像傳感器906中，光被變換成數(shù)字信號。此后，數(shù)字信號被傳送到 視頻控制器908，它把數(shù)字信號變換成圖像幀。這些圖像幀然后在壓 縮引擎910中被壓縮成一種視頻格式，諸如MPEG,最后經(jīng)由數(shù)據(jù)網(wǎng) 接口 912被傳送到LAN或因特網(wǎng)914。
如果在檢測后要自動發(fā)送報警視頻序列，則輸出的圖像幀，即， 來自視頻控制器908的全圖像幀和來自壓縮引擎910的輸出的壓縮圖 像幀被輸入到報警前視頻序列緩沖器902。當檢測結果由照相機接收 到時，由組合器916和報警前視頻序列緩沖器902生成報警前視頻序 列，如圖4所示。報警前視頻序列被傳送到數(shù)據(jù)網(wǎng)接口 912，此后被 傳送到LAN或因特網(wǎng)914。
在報警前視頻序列的傳送期間，報警后視頻序列被存儲在存儲器 或緩沖器(未示出)中，當報警前視頻序列已被發(fā)送時，這個報警后視 頻序列被發(fā)送。由于報警后視頻序列正好在報警前視頻序列后面出現(xiàn)， 因此不必如在報警前視頻序列的情形下那樣專門注意它。
觸發(fā)報警前視頻序列的發(fā)送的檢測可以從外部檢測器922被輸入 到照相機卯O。這個檢測器可以是PIR(無源紅外線)檢測器、光束檢測 器、聲音檢測器、壓力檢測器或在檢測后輸出信號的任何其它檢測器。 信號由處理器918接收，并被轉發(fā)到報警前視頻序列緩沖器902。
檢測信號也可以由被編程來檢測進入圖像的某些情形的圖像分析
軟件完成。這個軟件可以由處理器918執(zhí)行，并被存儲在存儲器920 中。
在報警前視頻序列已被發(fā)送到LAN或因特網(wǎng)914后，報警后視頻 序列被傳送到LAN或因特網(wǎng)914。
在圖10上，顯示包括如圖5、圖6、圖7或圖8所示的報警前視 頻序列緩沖器1002的照相機1000。照相機1000還包括鏡頭1004、圖 像傳感器1006、視頻控制器1008、壓縮引擎IOIO、被連接到LAN(局 域網(wǎng))或因特網(wǎng)1014的數(shù)據(jù)網(wǎng)接口 1012、組合器1016、處理器1018 和存儲器1020，還可能有外部檢測器1022。
照相機1000與照相機卯0之間的差別是報警前緩沖器1002和在 報警前緩沖器1002與視頻控制器1008和壓縮引擎1010之間的通信。
在照相機1000中，如果在檢測后要自動發(fā)送報警視頻序列，則來 自壓縮引擎1010的輸出的壓縮圖像幀被連續(xù)地輸入到報警前視頻序 列緩沖器1002，直至接收到檢測信號為止。
在圖5、圖6和圖8所示的實施例中，輸出的壓縮圖像幀是一個 視頻信號，即壓縮視頻信號，如實線所示。然而，在圖7所示的實施 例中，輸出的壓縮圖像幀是兩個視頻信號，即壓縮視頻信號和F幀視 頻信號，分別由實線和虛線所示。
在圖11上，顯示包括視頻服務器1100和模擬照相機ll(M的監(jiān)視 系統(tǒng)，該視頻服務器又包括如圖4所示的報警前視頻序列緩沖器1102。 視頻服務器1100包括A/D轉換器1106、視頻控制器1108、壓縮引擎 1110、被連接到LAN(局域網(wǎng))或因特網(wǎng)1114的數(shù)據(jù)網(wǎng)接口 lll2、組 合器1116、處理器1118和存儲器1120，還可能有外部檢測器1122。
視頻服務器1100與照相機900之間的差別在于用模擬照相機 1104和A/D轉換器1106替代鏡頭904和圖像傳感器906。
在圖12上，顯示包括視頻服務器1200和模擬照相機1204的監(jiān)視 系統(tǒng)，該視頻服務器又包括如圖5、圖6、圖7或圖8所示的報警前視 頻序列緩沖器1202。視頻服務器1200包括A/D轉換器1206、視頻控 制器1208、壓縮引擎1210、被連接到LAN(局域網(wǎng))或因特網(wǎng)1214的
數(shù)據(jù)網(wǎng)接口 1212、組合器1216、處理器1218和存儲器1220，還可能 有外部檢測器1222。
視頻服務器1200與照相機1000之間的差別在于用模擬照相機 1204和A/D轉換器1206替代鏡頭1004和圖像傳感器1006。 參照圖13，顯示用于緩沖和生成報警前視頻序列的方法。 在步驟1300，從與圖像捕獲設備(例如照相機)間的外部直接連 接，與圖像捕獲設備的網(wǎng)絡連接，或圖像捕獲設備(例如照相機，包 括壓縮引擎和用于執(zhí)行本處理過程的裝置)的視頻壓縮引擎接收輸入 圖像幀。輸入圖像幀可以是壓縮視頻序列，即偶爾由包括全圖像幀的 全圖像間隔的差分圖像序列。輸入圖像幀可以是如上所述的壓縮視頻 序列和代表壓縮視頻序列的圖像幀的全圖像幀的另外輸入。
在步驟1302,所接收的壓縮視頻序列的輸入圖像幀被存儲在視頻 序列FIFO緩沖器中。
在步驟1304，至少一個第一全圖像幀被存儲在全圖像FIFO緩沖 器中。該至少一個全圖像幀可以是從輸入圖像幀的壓縮視頻序列計算 出來的全圖像幀，或在輸入圖像幀包括代表壓縮視頻序列的圖像幀的 全圖像幀的情況下，是作為輸入圖像幀的一部分被接收的全圖像幀。 此后，在步驟1308,接收表示感興趣的事件的檢測信號。 響應于檢測信號，在步驟1310，通過組合全圖像FIFO緩沖器的 最舊的全圖像幀與被存儲在視頻序列FIFO緩沖器中的視頻序列從而 生成輸出視頻序列。在一個實施例中，在全圖像FIFO緩沖器中的最 舊的全圖像幀是視頻序列FIFO緩沖器的最舊的圖像幀的全圖像版本。 在另 一個實施例中，在被插入到來自視頻序列緩沖器的視頻序列中的 全圖像幀之間可以有一定的時間距離.
輸出視頻序列的生成可以在接收到檢測信號后自動進行。 本發(fā)明在以上主要是參照幾個實施例描述的。然而，正如本領域 技術人員將會容易看到的，在不背離要求保護的本發(fā)明的范圍的條件 下，同樣可能作出不同于以上公開的實施例的其它實施例.
權利要求
1.一種用于緩沖視頻序列的方法，包括以下步驟從包括全圖像幀和差分圖像幀的輸入視頻流中接收輸入圖像幀，響應于每個幀的接收，把每個接收的輸入圖像幀存儲在視頻序列FIFO緩沖器中，把與被存儲在視頻序列FIFO緩沖器中的視頻序列有關的至少一個全圖像幀存儲在全圖像FIFO緩沖器中，以及通過組合來自全圖像幀F(xiàn)IFO緩沖器的所述被存儲的至少一個全圖像幀中的至少一個與視頻序列FIFO緩沖器的圖像幀而生成輸出視頻序列。
2. 根據(jù)權利要求l的方法，其中被存儲在全圖像幀F(xiàn)IFO緩沖器 中的所述至少一個全圖像幀是被存儲在所述視頻序列FIFO緩沖器中 的圖像幀的全圖像表示。
3. 根據(jù)權利要求l的方法，其中被存儲在全圖像幀F(xiàn)IFO緩沖器 中的所述至少一個全圖像幀是與被存儲在視頻序列FIFO緩沖器中的 視頻序列的最舊的圖像幀之間具有短的時間距離的圖像幀的全圖像表 示。
4. 根據(jù)權利要求l的方法，其中輸出視頻序列的生成包括插入 來自全圖像FIFO緩沖器的全圖像幀作為從包括全圖像幀和差分圖像 幀的視頻序列FIFO緩沖器輸出的視頻序列的第一幀。
5. 根據(jù)權利要求l的方法，其中，所述的輸出視頻序列的生成是 在接收到檢測信號后自動進行的。
6. 根據(jù)權利要求l的方法，還包括頻繁地從輸出包括輸入圖像 幀的視頻流的視頻序列編碼裝置接收全圖像幀，每個全圖像幀代表輸 入圖像幀中的一個圖像幀的全圖像版本，并且其中至少一個全圖像幀 的存儲包括響應于每個全圖像幀的接收，把每個所接收的全圖像幀存 儲在全圖像FIFO緩沖器中。
7. 根據(jù)權利要求l的方法，其中存儲至少一個全圖像幀包括將所述接收的輸入圖像幀中的全圖像幀存儲在全圖像FIFO緩沖器中。
8. 根據(jù)權利要求l的方法，其中所述的把至少一個全圖像幀存儲 在全圖像FIFO緩沖器中還包括組合所述接收的輸入圖像幀中的至少 一個圖像幀與所述至少 一個 全圖像幀，所述接收的輸入圖像幀中的所述至少一個圖像幀是差分圖 像并代表在視頻序列中比所述至少一個全圖像幀代表的圖像幀靠后的 圖1象幀，以及將所述組合后的圖像幀存儲在全圖像FIFO緩沖器中。
9. 根據(jù)權利要求8的方法，其中全圖像FIFO緩沖器和視頻序列 FIFO緩沖器存儲相等數(shù)目的圖像幀。
10. 根據(jù)權利要求8的方法，其中全圖像FIFO緩沖器存儲一個 圖像幀。
11. 根據(jù)權利要求3的方法，其中所述的把至少一個全圖像幀存 儲在全圖像FIFO緩沖器中還包括組合所述接收的輸入圖像幀中的至少 一個圖像幀與所述至少 一個 全圖像幀，所述接收的輸入圖像幀中的所述至少 一個圖像幀是差分圖 像并代表在視頻序列中比所述至少一個全圖像幀代表的圖像幀靠后的 圖1象幀，以及將所述組合后的圖像幀存儲在全圖像FIFO緩沖器中。
12. 根據(jù)權利要求ll的方法，其中，全圖像FIFO緩沖器存儲一 個圖像幀。
13. 根據(jù)權利要求12的方法，其中，所述接收的輸入圖像幀中的 至少一個圖像幀或所述接收的輸入圖像幀中的全圖像幀是視頻序列 FIFO緩沖器中的最舊的圖像幀。
14. 一種用于緩沖視頻序列的報警前緩沖器，包括視頻序列FIFO緩沖器，被設為緩沖來自輸入視頻流的輸入圖像幀，全圖像FIFO緩沖器，被設為緩沖至少一個全圖像幀，其與所述 視頻序列FIFO緩沖器有關， 組合器，被設為組合來自全圖像FIFO緩沖器的圖像幀與第一 FIFO緩沖器的圖像幀，并生成報警前視頻序列。
15. 根據(jù)權利要求14的報警前緩沖器，其中被存儲在全圖像幀 FIFO緩沖器中的所述至少一個全圖像幀是被存儲在所述視頻序列 FIFO緩沖器中的圖像幀的全圖像表示。
16. 根據(jù)權利要求14的報警前緩沖器，其中被存儲在全圖像幀 FIFO緩沖器中的所述至少一個全圖像幀是與被存儲在視頻序列FIFO 緩沖器中的視頻序列的最舊的圖像幀之間具有短的時間距離的圖像幀 的全圖像表示。
17. 根據(jù)權利要求14的報警前緩沖器，其中組合器被設為插入來 自全圖像FIFO緩沖器的全圖像幀作為從包括全圖像幀和差分圖像幀 的視頻序列FIFO緩沖器輸出的視頻序列的第一幀。
18. 根據(jù)權利要求14的報警前緩沖器，還包括壓縮視頻輸入端， 被設為接收包括全幀和差分幀的視頻序列。
19. 根據(jù)權利要求14的報警前緩沖器，還包括全幀視頻輸入端， 被設為接收只包括全幀的視頻序列。
20. —種包括根據(jù)權利要求14的報警前緩沖器的視頻服務器。
21. —種包括根據(jù)權利要求14的報警前緩沖器的照相機。
22. —種計算機程序，包括用于執(zhí)行根據(jù)權利要求1的方法的步 驟的計算機程序代碼。
23. —種用于生成報警前視頻序列的方法，包括 插入來自全圖像FIFO緩沖器的全圖像幀作為從包括全圖像幀和差分圖像幀的視頻序列FIFO緩沖器輸出的視頻序列的第一幀。
24. 根據(jù)權利要求23的方法，其中來自全圖像FIFO緩沖器的全 圖像幀替代從視頻序列FIFO緩沖器輸出的第一圖像。
25. 根據(jù)權利要求23的方法，其中來自全圖像FIFO緩沖器的全 圖像幀被放置為來自視頻序列FIFO緩沖器的視頻序列的第一幀，并 使得從該視頻序列輸出的第一幀成為最終的視頻序列的第二視頻幀。
26. —種計算機程序，包括用于通過執(zhí)行以下步驟而生成報警前 視頻序列的計算機程序代碼插入來自全圖像FIFO緩沖器的全圖像幀作為從包括全圖像幀和 差分圖像幀的視頻序列FIFO緩沖器輸出的視頻序列的第 一幀。
27. 根據(jù)權利要求26的計算機程序，其中來自全圖像FIFO緩沖 器的全圖像幀替代從視頻序列FIFO緩沖器輸出的第一圖像。
28. 根據(jù)權利要求26的計算機程序，其中來自全圖像FIFO緩沖 器的全圖像幀被放置為來自視頻序列FIFO緩沖器的視頻序列的第一 幀，并使得從視頻序列輸出的第一幀成為最終的視頻序列的第二視頻 幀。
全文摘要
本發(fā)明涉及改進的報警前視頻緩沖器和用于緩沖視頻序列的方法。該方法包括以下步驟從包括全圖像幀和差分圖像幀的輸入視頻流中接收輸入圖像幀，存儲所述接收的輸入圖像幀，以及根據(jù)所述輸入圖像幀中的至少一個全圖像幀確定至少一個第一全圖像幀，其中所述生成的第一全圖像幀被設方在假定的輸出視頻序列中的第一圖像幀。
文檔編號H04N7/26GK101106705SQ20071012879
公開日2008年1月16日 申請日期2007年7月12日 優(yōu)先權日2006年7月13日
發(fā)明者約阿基姆·圖爾伯格 申請人:阿克塞斯股份公司