視頻分析的方法
【技術領域】
[0001]本發(fā)明涉及一種分析視頻流并且生成可以傳輸到不同位置的元數據的方法。
【背景技術】
[0002]可取地分析記錄的或現場流視頻并且產生包含分析結果的緊湊元數據。如果要在遠程位置分析元數據，那么僅僅流動這個元數據，這不太方便，因為數據量可以隨著時間變大。需要一種減少元數據的量的方法。
[0003]此外，可以可取地在遠程裝置處進行分析，該遠程裝置生成與通過分析原始視頻可以獲得的結果可比較的結果。根據先有技術，這要求將視頻流全部傳輸給服務器。全部傳輸視頻，具有低效率，并且需要一種用于更有效的傳輸的方法。

【發(fā)明內容】

[0004]根據本發(fā)明的第一方面，提供了一種用于分析具有多個幀的視頻流的方法，所述方法包括:
[0005]使用對象檢測算法，確定存在對象的一組幀；以及
[0006]從所述視頻流的內容生成至少一個對象記錄，所述對象記錄包括在這組幀內的對象的至少一個特征的時間演化。
[0007]這解決了在對象記錄內僅僅包括所選擇的元數據時減少元數據的量的問題。這便于儲存、傳輸以及索引。
[0008]該方法優(yōu)選地包括分析所述對象記錄，可以在與確定一組幀并且生成至少一個對象記錄相同的位置或者不同的位置執(zhí)行所述分析。
[0009]本發(fā)明進一步涉及一種用于在第一位置處理具有多個幀的視頻流的第一設備，所述設備包括:
[0010]至少一個處理器；以及
[0011]至少一個存儲器，包括計算機程序指令；
[0012]所述至少一個存儲器和所述計算機程序指令被配置為與所述至少一個處理器一起促使所述設備執(zhí)行以下方法:
[0013]使用對象檢測算法確定存在對象的一組幀；
[0014]從所述視頻流的內容生成至少一個對象記錄，所述對象記錄包括在這組幀內的對象的至少一個特征的時間演化。
[0015]本發(fā)明進一步涉及一種用于在第二位置處理包括元數據的對象記錄的第二設備，所述設備包括:
[0016]至少一個處理器；以及
[0017]至少一個存儲器，包括計算機程序指令；
[0018]所述至少一個存儲器和所述計算機程序指令被配置為與所述至少一個處理器一起促使所述設備執(zhí)行以下方法:
[0019]從第一位置接收所述對象記錄；
[0020]分析所述對象記錄；以及
[0021]獲得分析的結果。
[0022]本發(fā)明進一步涉及一種用于處理視頻流的系統(tǒng)，包括上述第一設備和第二設備。
[0023]從參照附圖進行的、僅僅通過實例提供的本發(fā)明的優(yōu)選實施方式的以下描述中，本發(fā)明的進一步特征和優(yōu)點顯而易見。
【附圖說明】
[0024]圖1示出了用于生成元數據并且分析這個元數據的方法；
[0025]圖2示出了用于由視頻幀生成元數據的方法；
[0026]圖3示出了在視頻流中識別的對象的使用期中的各種關鍵點；
[0027]圖4示出了響應于確定檢測的對象與相同的對象對應，用于形成組合的對象記錄的兩個對象記錄的組合；
[0028]圖5a和圖5b示出了實現圖1的方法的兩個系統(tǒng)。
【具體實施方式】
[0029]各種分析技術可以應用于儲存在存儲器內的遇險記錄的視頻中，并且還可以應用于實時視頻(例如，由相機拍攝的)中。視頻可以是在相機模塊內的圖像處理的結果，或者可以由原始數據流構成，例如，由CMOS或CCD傳感器輸出的原始數據流?？梢苑治鲞@個視頻，以產生與視頻流的內容相關的數據，例如，元數據；例如，可以應用對象檢測算法，以識別在視頻流內存在的對象。可以在視頻顱內檢測對個對象，在視頻流內的相同點或在不同點，并且如果這樣的話，那么在本文中描述的方法可以應用于每個檢測的對象中。在這種情況下，數據可以包括在視頻流內的這個或這些對象的一組特征。這種特征的實例包括每個對象的標識符、在視頻幀內的每個對象的位置和尺寸、對象類型(例如，“人”或“狗”)、對象的部分(例如，“頭部”、“上半身”)及其取向角、描述檢測的精確度的檢測得分、以及每個對象的最可能的取向角的指示(例如，區(qū)分朝著相機的人臉和朝著側邊的人臉)。在該數據內可以包括其他描述數據，例如，對象顏色的直方圖或其他度量，例如，每個顏色成分的平均值和標準偏差、或與圖像的剪切部分對應的縮略圖。這些特征中的一些特征可以在具有具體對象的時間段內變化，并且數據可以通過(例如)儲存用于存在對象的這組幀的每個視頻幀的或者用于所述一組幀的幀的子集的單獨值來反映這個。在存在對象的一系列幀內顯示規(guī)定的對象一個或多個這種特征的時間演化的數據集合可以稱為“跟蹤記錄”或“對象記錄”。為了便于第三方工具解釋，例如，可以在ASCII XML格式中編碼對象記錄。
[0030]圖1示意性示出了根據一個實施方式的方法，其中，可以生成和分析對象記錄。源(例如，產生現場鏡頭的相機或儲存視頻文件的存儲器)提供視頻數據101，例如，視頻流，在第一處理系統(tǒng)中使用對象檢測算法對該視頻數據執(zhí)行第一分析102。這個分析識別對象所在的幀。然后，產生包括數據103例如上述元數據的對象記錄，可以傳輸該數據，用于在第二處理系統(tǒng)中的第二分析104。優(yōu)選地，一個或多個對象記錄不連續(xù)地流動，而是可以一次至少傳輸一個數據塊或部分。第一和第二處理系統(tǒng)可以包含在相同的裝置(例如，智能電話或相機)內，或者可以遠程定位。例如，第一處理系統(tǒng)可以在第一位置位于相機內，并且第二處理系統(tǒng)可以在第二位置位于遠程服務器內。作為另一個實例，第一處理系統(tǒng)可以是從存儲器中檢索視頻文件的計算機。第二處理系統(tǒng)分析所述一個或多個對象記錄，并且根據一些實施方式，可以將包含這個分析的至少一個結果的數據105傳輸回第一處理系統(tǒng)。可以將分析結果儲存在包含分析的視頻的至少一部分的視頻文件內。
[0031]根據一些實施方式，第一處理系統(tǒng)是相機，并且第二處理系統(tǒng)是計算機系統(tǒng)，例如，服務器。替換地，可以在相同的處理系統(tǒng)中執(zhí)行這兩個分析步驟。在圖2中更詳細地示出了在這種相機內分析視頻，以產生對象記錄。視頻流可以包含幀，每個幀都包括圖像。圖2描述了包含對象202的視頻幀201，在這種情況下，對象是人像。在對象檢測步驟203中分析幀。在本領域中，眾所周知對象檢測算法，并且該算法包括(例如)被配置為通過給定的取向角檢測人臉的面部檢測算法。面部檢測算法可以基于V1la和Jones方法。已知能夠全部或部分檢測人體體型以及具有特性體型的其他類型的對象的其他實例，并且這些實例可以基于方向梯度直方圖，利用諸如支持向量機的分類器或(例如)使用卷積神經網絡。在這個實例中，對象檢測算法用于確定圖像包含人像204，圖中由虛線表示周長，并且在該人像內包括人臉205，人臉由虛線周長示出。具體對象的識別的這些單獨實例可以稱為“檢測”。
[0032]多個檢測可以與單個對象對應。例如，在圖2中，檢測的人像和確定的人臉與幀中的同一個人