本公開涉及視頻分析領(lǐng)域，特別涉及通過視頻分析對昆蟲的特征進行自動識別。

背景技術(shù)：

動物行為學是生物學中的一個重要的研究方向。傳統(tǒng)的動物行為學研究主要靠人工識別分析動物行為的強度，這樣做不僅耗費人力與時間，還會因不同人對行為的主觀標準不統(tǒng)一降低不同實驗間的可比性。目前已存在一些對昆蟲的行為視頻進行自動分析的算法。然而，已有算法適用于比較理想的視頻拍攝環(huán)境，難以應(yīng)對例如生物學實驗室等低成本拍攝條件下的視頻噪聲，魯棒性不強。

技術(shù)實現(xiàn)要素：

有鑒于此，本公開提出了視頻分析設(shè)備、方法、計算機程序。

根據(jù)本公開的一方面，提供了一種視頻分析設(shè)備，所述設(shè)備包括：前景提取部，用于從輸入視頻中提取昆蟲前景圖像，以及三維姿態(tài)重建部，包括：特征點求解單元，用于從所述昆蟲前景圖像中計算初始特征點，并且利用在所述昆蟲前景圖像中所標定的特征點生成特征點信號子空間，根據(jù)所述初始特征點和所標定的特征點、在所述特征點信號子空間的約束下訓練迭代矩陣，以將所述迭代矩陣限制在所述特征點信號子空間上，通過對所述初始特征點利用所訓練的迭代矩陣進行迭代，求解出每一視頻幀中的昆蟲身體最終特征點，以及姿態(tài)計算單元，所述姿態(tài)計算單元通過所述昆蟲身體最終特征點來重建所述昆蟲的姿態(tài)。

根據(jù)本公開的其它方面，提供了一種視頻分析方法，包括：從輸入視頻中提取昆蟲前景圖像；從所述昆蟲前景圖像中計算初始特征點，并且利用在所述昆蟲前景圖像中所標定的特征點生成特征點信號子空間；根據(jù)所述初始特征點和所標定的特征點、在所述特征點信號子空間的約束下訓練迭代矩陣，以將所述迭代矩陣限制在所述特征點信號子空間上；通過對所述初始特征點利用所訓練的迭代矩陣進行迭代，求解出每一視頻幀中的昆蟲身體最終特征點；以及通過所述昆蟲身體最終特征點來重建所述昆蟲的姿態(tài)。

根據(jù)本公開的其它方面，提供一種視頻分析設(shè)備，其特征在于，包括：處理器，用于存儲處理器可執(zhí)行指令的存儲器，其中，所述處理器被配置為執(zhí)行上述任一可能的實施方式所述的視頻分析方法。

根據(jù)本公開的其它方面，提供一種計算機程序產(chǎn)品，包括用于使處理器實現(xiàn)上述任一可能的實施方式所述的視頻分析方法的計算機可讀程序指令。

本公開的實施例可以對昆蟲三維特征的迭代過程進行自適應(yīng)，有助于提高昆蟲三維姿態(tài)重建的魯棒性。

進一步地，根據(jù)本公開的實施例，例如可以通過昆蟲身體結(jié)構(gòu)來限制視頻中的前景面積，對昆蟲三維特征的閾值進行自適應(yīng)，有助于提高昆蟲三維姿態(tài)重建的魯棒性和/或準確性。

根據(jù)下面參考附圖對示例性實施例的詳細說明，本公開的其它特征及方面將變得清楚。

附圖說明

包含在說明書中并且構(gòu)成說明書的一部分的附圖與說明書一起示出了本公開的示例性實施例、特征和方面，并且用于解釋本公開的原理。

圖1示出根據(jù)示例實施方式的用于從輸入視頻中自動識別昆蟲的特征的視頻分析設(shè)備1的示意框圖。

圖2示出根據(jù)一個示例的視頻預(yù)處理部16的示意框圖。

圖3示出了根據(jù)一個示例的前景提取部12的示意框圖。

圖4示出了根據(jù)一個具體示例的背景亮度畸變估計單元的結(jié)構(gòu)的示意框圖。

圖5示出了根據(jù)一個實施方式的昆蟲的身體姿態(tài)重建示意圖。

圖6示出了根據(jù)一個示例實施方式的視頻分析設(shè)備2的示意框圖。

圖7示出了根據(jù)一個示例實施方式的視頻分析設(shè)備3的示意框圖。

圖8示出了根據(jù)一個示例實施方式的視頻分析方法的示意流程圖。

圖9是根據(jù)示例實施例示出的一種用于視頻分析裝置1900的框圖。

具體實施方式

以下將參考附圖詳細說明本公開的各種示例實施例、特征和方面。附圖中相同的附圖標記表示功能相同或相似的元件。盡管在附圖中示出了實施例的各種方面，但是除非特別指出，不必按比例繪制附圖。

在這里專用的詞“示例”意為“用作例子、實施例或說明性”。這里作為“示例”所說明的任何實施例不必解釋為優(yōu)于或好于其它實施例。舉例而言，本公開中涉及的“閾值”可以理解為子視頻中的亮度的閾值。

另外，為了更好的說明本公開，在下文的具體實施方式中給出了眾多的具體細節(jié)。本領(lǐng)域技術(shù)人員應(yīng)當理解，沒有某些具體細節(jié)，本公開同樣可以實施。在一些實例中，對于本領(lǐng)域技術(shù)人員熟知的方法、手段、元件和電路未作詳細描述，以便于凸顯本公開的主旨。

圖1示出了根據(jù)示例實施方式的視頻分析設(shè)備1的示意框圖。該設(shè)備可用于從輸入視頻中自動識別昆蟲的特征。如圖1所示，視頻分析設(shè)備1可包括前景提取部12和三維姿態(tài)重建部14。前景提取部12可從輸入視頻中提取昆蟲前景圖像。三維姿態(tài)重建部14可包括特征點求解單元142和姿態(tài)計算單元144。特征點求解單元142可從昆蟲前景圖像中計算初始特征點，并且利用在昆蟲前景圖像中所標定的特征點生成特征點信號子空間。特征點求解單元142還可以根據(jù)初始特征點和所標定的特征點、在信號子空間的約束下訓練迭代矩陣，以將迭代矩陣限制在特征點信號子空間上，通過對初始特征點利用所訓練的迭代矩陣進行迭代計算，求解出每一視頻幀中的昆蟲身體最終特征點。姿態(tài)計算單元144可通過求出的昆蟲身體最終特征點來重建昆蟲的姿態(tài)。在一個具體實現(xiàn)中，前景提取部12可利用昆蟲活動臺(arena，有時稱為“打架臺”)模型進行迭代以自適應(yīng)地計算輸入視頻中的前景，從而提取昆蟲前景圖像。

在一個示例中，視頻分析設(shè)備1還可以包括視頻預(yù)處理部16。圖2示出了根據(jù)一個示例的視頻預(yù)處理部16的示意框圖。視頻預(yù)處理部16用于對輸入視頻進行預(yù)處理，以得到多個子視頻。視頻預(yù)處理部16可包括活動臺估計單元162和子視頻生成單元164。如圖2所示，活動臺估計單元162可從輸入視頻中提取多個幀，估計多個幀中各昆蟲活動臺的位置、大小以及出現(xiàn)和移出各昆蟲活動臺的時刻。在一個具體實現(xiàn)中，活動臺估計單元162可對多個輸入幀應(yīng)用與多個昆蟲活動臺的已知形狀相對應(yīng)的數(shù)學變換，以檢測多個幀中與已知形狀相對應(yīng)的物體。子視頻生成單元164可根據(jù)活動臺估計單元162估計得到的各昆蟲活動臺的位置、大小和出現(xiàn)各昆蟲活動臺的時刻，對輸入視頻進行切割，以得到各自包含一個單獨昆蟲活動臺的多個子視頻。圖1中例示出的前景提取部12可根據(jù)歸一化后的多個子視頻，提取昆蟲前景圖像。應(yīng)當理解，活動臺估計單元162可用于檢測視頻中的圓形活動臺，但不以此為限，例如也可以用于檢測多個其它形狀的活動臺。檢測其它形狀的活動臺時，只需將變換替換為檢測其它特定形狀的以霍夫變換為例的數(shù)學變換。利用與上述數(shù)學變換相適應(yīng)的各種修改，可實現(xiàn)針對任意形狀活動臺的檢測，這是本領(lǐng)域技術(shù)人員容易理解的，上述各種修改均在本公開的范圍之內(nèi)。

背景模型

在一個具體示例中，可以通過將視頻背景的像素值建模成一定的概率分布，得到不屬于背景模型的前景像素，并在此基礎(chǔ)上通過自適應(yīng)算法得到準確的前景。在一個具體實現(xiàn)中，所使用的測試視頻在通過例如子視頻生成單元164切割后，可以只包含單獨的固定活動臺，因此可以使用例如單高斯背景模型對視頻背景進行建模。具體地，根據(jù)一個示例，視頻分析設(shè)備1可以首先將視頻中每個像素的取值建模成單高斯分布，然后通過統(tǒng)計整個視頻，得到像素(x,y)的高斯分布均值和方差作為背景模型的分布參數(shù)。

在一個示例中，昆蟲活動臺模型可以是輸入視頻中活動臺空腔的圓心和半徑，其可以刻畫活動臺中昆蟲的可移動范圍，對象昆蟲可被限制在昆蟲活動臺內(nèi)部活動。在一個示例中，當昆蟲活動臺中昆蟲的移動比較頻繁，且其移動區(qū)域遍布整個活動臺空腔時，可以利用背景模型參數(shù)的變化來對活動臺進行建模。在一個示例中，輸入視頻中各像素的初始亮度畸變均方根在活動臺的空腔內(nèi)外具有明顯的差異，因此可以用來確定活動臺空腔的范圍，其算法流程如以下算法所示。應(yīng)當理解，盡管以下算法的偽代碼以果蠅作為對象昆蟲的示例，但本公開的設(shè)備和方法還可以應(yīng)用于其它昆蟲的視頻分析，不以果蠅為限。在以下算法實例中，n為亮度畸變rms的二值化圖像中連通區(qū)域的個數(shù)，m為所述連通區(qū)域中不靠近邊緣的連通區(qū)域的個數(shù)。

圖3示出了根據(jù)一個示例的前景提取部12的示意框圖。

如圖3所示，在一個示例中，前景提取部12可以包括背景亮度畸變估計單元122、昆蟲平均尺寸估計單元126、昆蟲翅膀估計單元124、和昆蟲身體估計單元128。背景亮度畸變估計單元122可用于劃分子視頻中的背景。昆蟲平均尺寸估計單元126可用于根據(jù)子視頻和初始昆蟲身體閾值來獲得身體二值圖像，還可以與活動臺中的昆蟲的已知數(shù)量相對應(yīng)地，在身體二值圖像中針對昆蟲的身體進行建模，以求出昆蟲的平均尺寸。昆蟲翅膀估計單元124可用于根據(jù)子視頻和初始昆蟲翅膀閾值來獲得昆蟲整體二值圖像，其中，可以針對所述多個幀中的各幀進行迭代，在迭代中，根據(jù)昆蟲整體二值圖像中的連通域面積，對初始昆蟲翅膀閾值進行自適應(yīng)調(diào)整。昆蟲翅膀估計單元124可以輸出昆蟲整體二值圖像和自適應(yīng)后的昆蟲翅膀閾值。昆蟲身體估計單元128可接收昆蟲整體二值圖像，并且接收子視頻、初始昆蟲身體閾值和子視頻中的已知的昆蟲數(shù)量。昆蟲身體估計單元128可使用初始昆蟲身體閾值求出身體二值圖像，其中，針對所述多個幀中的各幀進行迭代，在迭代中，可以根據(jù)身體二值圖像中的連通域面積，對初始昆蟲身體閾值進行自適應(yīng)調(diào)整，以輸出自適應(yīng)后的昆蟲身體閾值和根據(jù)自適應(yīng)后的昆蟲身體閾值獲得的昆蟲身體二值圖像。在一個示例中，昆蟲前景圖像可以包括根據(jù)自適應(yīng)后的昆蟲身體閾值獲得的昆蟲身體二值圖像。示例的實施方式可以有助于應(yīng)對短時間光照變化對視頻分析的影響。

在一個具體實現(xiàn)中，可以通過昆蟲的平均尺寸，得到視頻中昆蟲的平均身體面積?？梢愿鶕?jù)平均身體面積對前景圖像中檢到的身體和翅膀的面積進行限制，從而自適應(yīng)地得到合理的前景閾值。除可用于優(yōu)化前景提取外，活動臺模型和昆蟲模型還可以輔助建立昆蟲姿態(tài)，并可以用來對昆蟲特征進行歸一化。

在一個具體示例中，以果蠅作為對象昆蟲。例如，視頻分析設(shè)備1中的背景亮度畸變估計單元122可以利用像素層模型初步劃分屬于背景、果蠅身體和果蠅翅膀的像素點。例如，還可以利用活動臺模型、果蠅身體模型和果蠅翅膀模型(統(tǒng)稱為物體層模型)更精確地估計果蠅身體和翅膀的位置和大小，其中表征活動臺、身體和翅膀的閾值等的參數(shù)可以由自適應(yīng)算法迭代計算得到。

在一個具體示例中，在得到視頻模型后，可以根據(jù)視頻模型自適應(yīng)調(diào)整昆蟲的身體閾值和翅膀閾值。前景圖像中的昆蟲身體可以決定昆蟲的位置、方向、身體傾角等特征，而翅膀可以決定昆蟲的翅膀角度。在一個具體示例中，在前景圖像中，昆蟲身體可以具有比翅膀更高的重要性。

例如，在一個具體實現(xiàn)中，可以先對昆蟲翅膀閾值進行自適應(yīng)，得到比較準確的翅膀區(qū)域。例如，還可以結(jié)合昆蟲模型和昆蟲翅膀的自適應(yīng)結(jié)果對昆蟲身體閾值進行自適應(yīng)，以得到更準確的昆蟲身體。再例如，還可以根據(jù)昆蟲身體的自適應(yīng)結(jié)果對前景圖像中的昆蟲翅膀進行優(yōu)化，從而得到更精確的前景圖像。在一個具體示例中，可以根據(jù)昆蟲身體尺寸的統(tǒng)計值消除固定閾值所引起的噪聲，得到比較精確的昆蟲模型。

在一個具體實現(xiàn)中，例如，可以根據(jù)果蠅模型來確定前景中期望得到的果蠅身體和翅膀面積，從而根據(jù)當前前景面積對閾值進行自適應(yīng)，以增加前景提取的魯棒性。

在一個具體實現(xiàn)中，例如，對于視頻中的果蠅，其前景像素可分為身體和翅膀兩個部分。其中，由于果蠅身體一般為黑色，例如可以根據(jù)像素亮度變化對其進行區(qū)分。另一方面，由于果蠅翅膀具有一定的透光性，可能導致其像素值色調(diào)和背景相同、而亮度不同，表現(xiàn)出與陰影相似的特點。因此，在一個示例實現(xiàn)中，可以使用例如horprasert等(horprasertt，harwoodd，davisls.arobustbackgroundsubtractionandshadowdetection.proc.accv，2000.983–988.)提出的亮度畸變來刻畫背景像素的亮度變化，以區(qū)分果蠅的身體和翅膀。

由于不同像素的變化幅度可能不同，為使用統(tǒng)一的閾值處理全部像素，背景亮度畸變估計單元122可使用去均值后的均方根(rootmeansquare，rms)對視頻中的各像素值進行歸一化，以得到最終的亮度畸變。

在一個具體示例中，在前景提取部12的上述迭代計算中，昆蟲平均尺寸估計單元126可以在子視頻中的昆蟲身體連通域的數(shù)量與昆蟲的數(shù)量不同時，對子視頻中的各像素的坐標進行聚類，以求出昆蟲的平均尺寸。例如，昆蟲平均尺寸估計單元126還可以根據(jù)昆蟲的平均尺寸求出昆蟲的平均身體面積。昆蟲平均尺寸估計單元126還可以根據(jù)平均身體面積對昆蟲前景圖像中檢測到的昆蟲身體和翅膀的面積進行限制，從而對昆蟲翅膀閾值和昆蟲身體閾值進行自適應(yīng)調(diào)整。

在一個具體示例中，昆蟲翅膀估計單元124可以與平均身體面積、子視頻中的昆蟲數(shù)量的乘積和昆蟲的可能姿勢相對應(yīng)地來確定昆蟲整體最小面積值和昆蟲整體最大面積值。例如，在迭代計算中，可以將昆蟲整體二值圖像中的各連通域的面積之和與昆蟲整體最大面積值進行比較，如果各連通域的面積之和大于昆蟲整體最大面積值，則使昆蟲翅膀閾值減小預(yù)定的自適應(yīng)步長，如果各連通域的面積之和小于昆蟲整體最小面積值，則使昆蟲翅膀閾值增大預(yù)定的自適應(yīng)步長，由此得到自適應(yīng)后的昆蟲翅膀閾值。

例如，在一個具體實現(xiàn)中，通過迭代計算進行的最大自適應(yīng)次數(shù)和預(yù)定的自適應(yīng)步長可以根據(jù)子視頻的幀率或光照變化條件來確定。

在一個具體示例中，例如通過昆蟲翅膀估計單元124對果蠅翅膀閾值進行自適應(yīng)的方法如以下算法所示。

上述算法的示例中有5個參數(shù)：最大自適應(yīng)次數(shù)imax,fly、噪聲閾值snoise、自適應(yīng)步長δ，以及果蠅面積限制smin,fly和smax,fly。在一個示例中，smin,fly可表示昆蟲整體最小面積值，smax,fly可表示昆蟲整體最大面積值。其中imax,fly可用來限制自適應(yīng)次數(shù)，以預(yù)防視頻中的極端惡劣條件。ffly表示昆蟲整體二值圖像。snoise可用來對ffly的連通域進行降噪，可根據(jù)視頻信噪比對其合理取值。自適應(yīng)步長δ可用來控制每次自適應(yīng)的精細度，其可以和imax,fly一起決定算法的最大自適應(yīng)速度，可根據(jù)視頻的fps、光照變化條件等因素合理選擇δ和imax,fly。

smin,fly和smax,fly是用于自適應(yīng)調(diào)整的參數(shù)，其可以用來決定自適應(yīng)后前景中果蠅身體和翅膀的面積。在一個理想情況下，sfly可以只包含果蠅的身體和翅膀，從而可根據(jù)果蠅的身體結(jié)構(gòu)和視頻中的果蠅數(shù)確定合理的smin,fly和smax,fly。

在一個具體示例中，在迭代計算中，昆蟲身體估計單元128可以在昆蟲身體二值圖像中各身體連通域的面積之和大于昆蟲身體最大面積值時，使昆蟲身體閾值減小預(yù)定的自適應(yīng)步長。在一個具體實現(xiàn)中，在各身體連通域的面積之和小于昆蟲身體最小面積值時，可以使昆蟲身體閾值增大預(yù)定的自適應(yīng)步長。其中，在一個具體實現(xiàn)中，昆蟲身體最大面積值和昆蟲身體最小面積值可以與平均身體面積和昆蟲的可能姿勢相對應(yīng)地確定。

在一個具體示例中，昆蟲身體估計單元128也可以在如下情況時也使昆蟲身體閾值增大預(yù)定的自適應(yīng)步長：例如，檢測到的昆蟲身體連通域的數(shù)量大于子視頻中的昆蟲的數(shù)量、并且存在昆蟲整體連通域內(nèi)部的昆蟲身體連通域的數(shù)量大于或等于2的昆蟲整體連通域。示例的實施方式可以有助于應(yīng)對初始昆蟲身體閾值設(shè)置較低、以致昆蟲身體連通域發(fā)生分裂的情況。

例如，與翅膀閾值自適應(yīng)的方法類似，例如可以由昆蟲身體估計單元128根據(jù)其連通域面積進行自適應(yīng)，其算法流程可以基本與上述果蠅翅膀閾值自適應(yīng)算法相同，其各參數(shù)的意義也可以和上述算法中的各參數(shù)相對應(yīng)，以下僅對兩算法的區(qū)別進行說明。

首先，昆蟲身體估計自適應(yīng)算法中，除限制了果蠅身體的最小面積外，還可以額外增加條件。例如，為使昆蟲處于其它姿態(tài)時不發(fā)生漏檢，在對象昆蟲例如為果蠅時，可以使用果蠅身體和果蠅整體連通域的從屬關(guān)系對smin,body進行補足。測試表明，當初始昆蟲身體閾值較低時，身體的連通域可能會發(fā)生分裂，此時可以增加的條件例如是以下兩者：

1.檢測到的果蠅身體連通域數(shù)量大于視頻中的果蠅數(shù)，即m>k；并且

2.存在一個果蠅整體連通域，其內(nèi)部的果蠅身體連通域數(shù)量大于等于2。

在一個具體實現(xiàn)中，在得到自適應(yīng)后的昆蟲身體閾值和昆蟲身體二值圖像fbody后，可以對ffly進行二次降噪。例如，可以通過刪除ffly中不包含果蠅身體的連通域得到更準確的視頻前景。在引入了基于視頻模型的前景閾值自適應(yīng)算法后，例如，當視頻中發(fā)生短時間光照變化導致前景判別錯誤時，可以根據(jù)自適應(yīng)條件對昆蟲身體閾值和昆蟲翅膀閾值進行對應(yīng)的調(diào)整，以得到更準確的前景二值圖像，即昆蟲翅膀二值圖像ffly和昆蟲身體二值圖像fbody。

圖4示出了根據(jù)一個具體示例的背景亮度畸變估計單元的結(jié)構(gòu)的示意框圖。在一個具體示例中，如圖4所示，背景亮度畸變估計單元122可以包括精確估計單元1222。在一個示例實現(xiàn)中，精確估計單元1222可以從視頻預(yù)處理部16接收子視頻，并且以初始視頻亮度畸變值作為閾值對子視頻進行二值化，在所得到的活動臺二值圖像中求出各連通域。例如，精確估計單元1222還可以選擇大于特定閾值的連通域作為活動臺的空腔范圍，針對所選擇出的空腔范圍求出活動臺的精確位置和大小。在一個具體示例中，背景亮度畸變估計單元122還可以利用精確估計單元1222所求出的位置和大小，將活動臺的空腔內(nèi)各像素的統(tǒng)計值用活動臺的空腔外的各像素的均值來替換，以確定背景。

在一個具體示例中，特征點求解單元142可以根據(jù)前景提取部12提取出的昆蟲前景圖像估計昆蟲的姿態(tài)。其中，特征點求解單元142可以使用例如由昆蟲身體估計單元128得出的身體二值圖像估計昆蟲身體基本特征。在一個具體實現(xiàn)中，特征點求解單元142可以根據(jù)昆蟲身體估計單元128得出的身體基本特征以及昆蟲所處的位置、方向或傾斜角度，計算昆蟲身體初始特征點。然后，在一個具體實現(xiàn)中，特征點求解單元142還可以根據(jù)例如由昆蟲翅膀估計單元124得出的昆蟲整體二值圖像來估計昆蟲翅膀初始特征點。

在一個具體實現(xiàn)中，特征點求解單元142可以利用昆蟲活動臺模型，求得昆蟲在活動臺中的相對半徑和昆蟲頭部的相對方向，以估計昆蟲的姿態(tài)。

進一步，例如，特征點求解單元142可以將所標定的特征點集合和相對應(yīng)的初始特征點集合按照初始特征點的頭部方向?qū)R，利用監(jiān)督下降算法即sdm算法訓練迭代矩陣，以獲得昆蟲身體最終特征點。

特征點標定

在一個具體實現(xiàn)中，對象昆蟲以果蠅為例。例如，在定義了果蠅特征點的位置后，可以對果蠅特征點進行標定，以訓練特征點定位模型。

引入子空間約束的sdm算法

相比涉及人臉等的特征點定位問題，由于昆蟲特征點數(shù)量少，且當昆蟲傾斜、旋轉(zhuǎn)時，特征點在圖像中的位置不明確，導致sdm算法容易迭代計算出錯誤的結(jié)果，影響昆蟲姿態(tài)的重建。而由于所標定的昆蟲身體特征點具有一定的對稱性，可以認為正確的特征點集合同屬于一個信號子空間。例如，可以參考aam(cootestf，edwardsgj，taylorcj.activeappearancemodels.ieeetransactionsonpatternanalysis&machineintelligence，2001，(6):681–685.)等算法，利用標定點建立信號子空間，將sdm算法的迭代限制在信號子空間上。此時，sdm算法的自變量變?yōu)樾盘栕涌臻g內(nèi)果蠅不同特征姿態(tài)的權(quán)重，例如可以通過圖像特征直接對昆蟲姿態(tài)進行更新，從而確保得到可重建的特征點。

在一個具體實現(xiàn)中，為降低信號子空間的維度，可以對昆蟲特征點進行對齊。下表示出了以果蠅為例的各示例特征點的意義及其符號表示。昆蟲的特征點向量的一個描述可以為也可以是上述特征點的其他排列，其中特征點還可以包括除昆蟲頭部、尾部、左側(cè)、右側(cè)、背部、腹部等位置的其他特征點。首先，可以將所有昆蟲初始特征點的頭部旋轉(zhuǎn)到x軸正向。然后，可以將各初始點對應(yīng)的標定點和亮度畸變圖像旋轉(zhuǎn)與初始點相同的角度。最后，可以將所有特征點的坐標原點平移到其身體中心上。旋轉(zhuǎn)、平移后的特征點向量示出為此時需要指出的是，由于的計算與翅膀特征點無關(guān)，因此昆蟲特征點整體的中心不位于坐標原點。返回參考圖5，圖5所示的兩橢圓的方向可根據(jù)果蠅頭尾的方向確定，其中心例如可定義為：

其中，也可以定義為果蠅其他部位的平均，例如，可以定義為果蠅頭部、尾部、左側(cè)和右側(cè)位置的加權(quán)平均，或者可以定義為果蠅頭部、尾部、背部和腹部位置的加權(quán)平均，以及其他位置的任意組合?？傊?，可以定義為對果蠅中心位置任一方式的估計。

在一個具體示例中，可以使用主成分分析(principalcomponentsanalysis，pca)對果蠅標定特征點建立信號子空間，得到果蠅特征點在子空間上的投影

其中，w為pca得到的投影矩陣，為的均值。所述pca也可以替換為線性判別分析(lineardiscriminantanalysis，lda)、局部線性嵌入(locallylinearembedding，lle)、等距映射算法(isometricmapping，isomap)、棧式自編碼神經(jīng)網(wǎng)絡(luò)(stackedauto-encoder，sae)等其他子空間降維算法。

得到果蠅的特征點在子空間上的投影向量和果蠅的中心后，sdm算法的自變量可以表述為

對應(yīng)地，可得的重建方法為

此時sdm算法的迭代過程為其中r^(k)和為sdm算法在第k次迭代時的原始迭代矩陣和偏置，h(·)表示求特征點的圖像特征。在特征點有多個時，h(·)得到的是所有點的圖像特征連接而成的向量。

在一個具體實現(xiàn)中，該迭代訓練時的優(yōu)化函數(shù)為

其中，為第i個標定點和其對應(yīng)的初始點迭代k次后所得到的迭代點在信號子空間上的差值，||·||f表示弗羅貝尼烏斯范數(shù)(frobeniusnorm)。在一個具體實現(xiàn)中，特征點求解單元142還可以根據(jù)昆蟲翅膀與身體的連接點初始位置以及昆蟲頭部方向計算昆蟲翅膀角度，以得到昆蟲翅膀初始特征點。

在求解時，可令

其中n為標定點個數(shù)。sdm算法中使用的點的圖像特征h(·)可以是lbp、sift或hog等任意圖像特征。

由此可以解得sdm算法的迭代矩陣a^(k)。

在一個具體示例中，姿態(tài)計算單元144可以根據(jù)例如由特征點求解單元142獲得的昆蟲身體最終特征點來計算翅膀連接點的三維坐標。在一個具體實現(xiàn)中，姿態(tài)計算單元144可以根據(jù)昆蟲身體的建模，利用三角函數(shù)計算翅膀振翅角和翅膀傾角，來重建昆蟲翅膀姿態(tài)。

以下在一個具體示例中，以果蠅為例描述昆蟲身體與翅膀姿態(tài)的重建。

例如，所考慮的昆蟲姿態(tài)特征可以包括以下中的至少一個：昆蟲身體的傾角、身體與水平面的夾角、自旋果蠅繞身體長軸自旋的角度、翅膀振翅角、翅膀在身體水平面的投影與果蠅身體的夾角、翅膀傾角果蠅翅膀與身體水平面的夾角。

例如，果蠅身體的傾角在果蠅頭朝上時為正，否則為負。為確定昆蟲身體傾角的符號，需考慮昆蟲身體特定軸特征點的相對位置。

圖5示出了根據(jù)一個實施方式的昆蟲的身體姿態(tài)重建示意圖。

對于橢球形的昆蟲身體，其身體中心上與兩短軸相交的截面為圓，下記其為昆蟲圓截面。昆蟲圓截面在視頻中的投影為橢圓或線段，其為橢圓時如圖7中中部的扁橢圓所示，該橢圓的尺寸可以求得。當昆蟲身體傾角的符號不同時，昆蟲頭部方向的右手向在圓截面投影上的旋轉(zhuǎn)方向不同。因此，可利用該性質(zhì)判斷昆蟲身體傾角的符號與極軸方向。

在一個具體示例中，姿態(tài)計算單元144可以利用昆蟲的身體的對稱性，對昆蟲的特征進行降噪。

圖6示出了根據(jù)一個示例實施方式的視頻分析設(shè)備2的示意框圖。與視頻分析設(shè)備1相比，視頻分析設(shè)備2還可以包括行為識別部16。在一個具體實現(xiàn)中，行為識別部16可以包括行為分析單元162和特征分類單元164。例如，特征分類單元164可以對昆蟲的特征進行分類，還可以在得到全部分類特征后，對昆蟲的特征的訓練樣本進行白化，以使各特征在特征分類單元中的權(quán)重相同。例如，行為分析單元162可以接收例如由特征點求解單元142求解出的昆蟲身體最終特征點，并可用于根據(jù)已標定行為的特征和該最終特征點對特征分類單元164進行訓練，從而分析昆蟲的行為。示例的實施方式可以有助于提高動物行為分類的準確度。

在一個具體示例中，對昆蟲身體特征進行估計的算法例如可以如以下算法所示。以果蠅為例，θh即的角度，可以簡單地通過果蠅特征點計算得到，其中定義的角度為0。θdip表示果蠅身體傾角，即果蠅身體和水平面的夾角。這里，返回參考圖5，在圖5所示的橢圓示例中，表示視頻中的果蠅平均半長軸長度，表示視頻中的果蠅平均半短軸長度，hi表示橢圓長軸長度。

在一個具體示例中，昆蟲翅膀特征可以是根據(jù)昆蟲翅膀二值圖像ffly得到的對昆蟲二維翅膀角度的粗略估計出的特征。

在一個具體實現(xiàn)中，針對昆蟲的求偶行為，用于分類的特征可以額外包括昆蟲的頭部到其它昆蟲的距離和方向。

在一個具體實現(xiàn)中，針對昆蟲的連續(xù)性行為進行分類時，直到輸入視頻的固定數(shù)量的幀中大于一半的幀被判斷為屬于同一個新的分類時，才將當前分類切換為新的分類。例如，由于果蠅求偶行為是連續(xù)性行為，可根據(jù)各類別的連續(xù)性減少突發(fā)噪聲。

行為分類

在一個具體實施方式中，特征分類單元164的輸入可以為根據(jù)昆蟲行為特點設(shè)計的分類特征，其可分為幀特征和圖片組(groupofpictures，gop)特征兩部分。以下以打架行為為例進行說明。其中，幀特征為視頻的單幀分類特征，gop特征為若干連續(xù)幀中無法由幀特征線性組合得到的連續(xù)幀分類特征。gop特征的一個示例如下表。

例如，可以取gop長度為3，則此時第t幀的gop表示從第t-1幀至第t+1幀的幀集合。在一個具體實現(xiàn)中，每一幀的分類特征可以包含該幀與前后幀的幀特征，可以從中得到昆蟲信息的幀間變化。此外，分類特征還包含了該幀附近的gop特征，可以從中得到在該幀附近的總體信息。

雖然不同的行為間可能具有較大的差異，但基本都和特征相關(guān)，因此可定義不同行為共通的基礎(chǔ)分類幀特征。在一個具體實現(xiàn)中，可以進行歸一化。例如，歸一化一列是指在得到長度相關(guān)量后，使用對應(yīng)的視頻模型進行歸一化，以消除不同視頻中活動臺尺寸和個體差異的影響。

在一個具體實現(xiàn)中，基礎(chǔ)分類幀特征或者等于原特征，或者可根據(jù)相鄰幀的特征與視頻模型簡單計算得到，具體的計算過程這里不再闡述。

對于昆蟲的打架行為來講，例如，其可能具有在后挫、前沖過程中速度方向改變，且在打架過程中頭部方向基本朝向另一只的特點，可相應(yīng)地定義打架行為的額外幀特征。在一個具體實現(xiàn)中，最終的打架行為幀特征可以是額外幀特征和基礎(chǔ)幀特征。

在得到分類特征后，可對所有訓練樣本的分類特征進行白化，以使各特征在分類器中的權(quán)重相同。

根據(jù)打架行為的標定與分類特征可以訓練打架行為分類器。由于昆蟲的打架行為具有突發(fā)性，其正樣本幀占視頻全部幀的比例可能很少。因此，在一個具體實現(xiàn)中，可以取每次打架行為的全部三幀作為正樣本，而負樣本例如通過在視頻中均勻抽取若干非打架幀得到，再通過給svm算法施加不同的類權(quán)重避免類別間的不平衡。此外，在訓練svm分類器時，例如可以使用k折交叉校驗(k-foldcross-validation)來防止過擬合。在實際訓練中，例如可以取k＝5。

應(yīng)當理解，盡管此處以打架行為為例進行說明，但本公開同樣可適用于昆蟲的求偶行為等其它行為。

圖7示出了根據(jù)一個示例實施方式的視頻分析設(shè)備3的示意框圖。與視頻分析設(shè)備1、2相比，視頻分析設(shè)備3還可以包括行為輸出部18。在一個具體實現(xiàn)中，行為輸出部18可以包括用于輸出行為日志的圖形用戶界面。

圖8示出了根據(jù)一個示例實施方式的視頻分析方法的示意流程圖。視頻分析方法可以包括以下步驟。從輸入視頻中提取昆蟲前景圖像。從所述昆蟲前景圖像中計算初始特征點，并且利用在所述昆蟲前景圖像中所標定的特征點生成特征點信號子空間。根據(jù)所述初始特征點和所標定的特征點、在所述特征點信號子空間的約束下訓練迭代矩陣，以將所述迭代矩陣限制在所述特征點信號子空間上；通過對所述初始特征點利用所訓練的迭代矩陣進行迭代，求解出每一視頻幀中的昆蟲身體最終特征點；以及通過所述昆蟲身體最終特征點來重建所述昆蟲的姿態(tài)。

根據(jù)其它可能的實施方式，視頻分析方法可能包含的步驟如前所述，此處不再贅述。應(yīng)當理解，圖8示出的步驟順序以及本公開其它部分對各步驟進行描述的順序僅為示例。例如，本技術(shù)領(lǐng)域的技術(shù)人員可以在不偏離本公開的范圍和精神的情況下，改變一些步驟之間的執(zhí)行順序或者使一些步驟同時執(zhí)行。

在可能的實施方式中，所述視頻分析方法還可包括：從所述輸入視頻中提取多個幀，估計所述多個幀中各昆蟲活動臺的位置、大小及出現(xiàn)和移出各昆蟲活動臺的時刻；根據(jù)估計得到的所述各昆蟲活動臺的位置、大小和出現(xiàn)各昆蟲活動臺的時刻，對所述輸入視頻進行切割，以得到各自包含一個單獨昆蟲活動臺的多個子視頻。其中，從輸入視頻中提取昆蟲前景圖像可以包括：根據(jù)歸一化后的多個子視頻，提取所述昆蟲前景圖像。

在可能的實施方式中，從輸入視頻中提取昆蟲前景圖像可包括：劃分所述子視頻中的背景；根據(jù)所述子視頻的亮度畸變和初始昆蟲翅膀閾值來獲得昆蟲整體二值圖像，其中，針對所述多個幀中的各幀進行迭代，在迭代中，根據(jù)所述昆蟲整體二值圖像中的連通域面積，對所述初始昆蟲翅膀閾值進行自適應(yīng)調(diào)整，輸出昆蟲整體二值圖像和自適應(yīng)后的昆蟲翅膀閾值；以及接收所述昆蟲整體二值圖像，并且接收所述子視頻、所述初始昆蟲身體閾值和所述子視頻中的已知的昆蟲數(shù)量，其中，針對所述多個幀中的各幀進行迭代，在迭代中，根據(jù)所述子視頻使用所述初始昆蟲身體閾值求出身體二值圖像，并且根據(jù)身體二值圖像中的連通域面積大小，對所述初始昆蟲身體閾值進行自適應(yīng)調(diào)整，以輸出自適應(yīng)后的昆蟲身體閾值和根據(jù)自適應(yīng)后的昆蟲身體閾值所獲得的昆蟲身體二值圖像。

在可能的實施方式中，從輸入視頻中提取昆蟲前景圖像可包括：根據(jù)所述子視頻的亮度畸變和初始昆蟲身體閾值來獲得身體二值圖像；與所述昆蟲活動臺中的昆蟲的已知數(shù)量相對應(yīng)地，在身體二值圖像中針對昆蟲的身體進行建模，以求出昆蟲的平均尺寸，其中，在迭代中、所述子視頻中的昆蟲身體連通域的數(shù)量與所述昆蟲的數(shù)量不同時，對所述子視頻中的各像素的坐標進行聚類以求出昆蟲的平均尺寸；根據(jù)昆蟲的平均尺寸求出昆蟲的平均身體面積；以及根據(jù)所述平均身體面積對所述昆蟲前景圖像中檢測到的昆蟲身體和翅膀的面積進行限制，從而對所述初始昆蟲翅膀閾值和所述初始昆蟲身體閾值進行自適應(yīng)調(diào)整。

在可能的實施方式中，從所述昆蟲前景圖像中計算初始特征點可包括：根據(jù)提取出的所述昆蟲前景圖像估計昆蟲的姿態(tài)；使用所述昆蟲身體二值圖像估計昆蟲的身體基本特征；根據(jù)所述身體基本特征以及昆蟲所處的位置、方向或傾斜角度，計算昆蟲身體初始特征點；以及根據(jù)所述昆蟲整體二值圖像估計昆蟲翅膀初始特征點。

在可能的實施方式中，通過所述昆蟲身體最終特征點來重建所述昆蟲的姿態(tài)可包括：根據(jù)所述昆蟲身體最終特征點來計算翅膀連接點的三維坐標；以及根據(jù)昆蟲身體的建模，利用三角函數(shù)計算翅膀振翅角和翅膀傾角，來重建昆蟲翅膀姿態(tài)。

在可能的實施方式中，所述視頻分析方法還可包括：對所述昆蟲的特征進行分類，其中，對所述昆蟲的特征的訓練樣本進行白化，以使各特征在特征分類中的權(quán)重相同；以及根據(jù)已標定行為和求解得出的所述昆蟲身體最終特征點，對所述特征分類進行訓練，從而分析所述昆蟲的行為。

在可能的實施方式中，對所述初始昆蟲身體閾值進行自適應(yīng)調(diào)整可包括：在如下情況時可以使昆蟲身體閾值增大預(yù)定的自適應(yīng)步長：檢測到的昆蟲身體連通域的數(shù)量大于所述子視頻中的昆蟲的數(shù)量、并且存在內(nèi)部的所述昆蟲身體連通域的數(shù)量不小于2的昆蟲整體連通域。

在可能的實施方式中，劃分子視頻中的背景可包括：以初始視頻亮度畸變值作為閾值對所述子視頻進行二值化，在所得到的活動臺二值圖像中求出各連通域；選擇大于特定閾值的連通域作為所述昆蟲活動臺的空腔范圍；以及針對所選擇出的空腔范圍求出所述昆蟲活動臺的位置和大小。

圖9是根據(jù)示例實施例示出的一種用于視頻分析裝置1900的框圖。例如，裝置1900可以被提供為一服務(wù)器。參照圖9，裝置1900包括處理組件1922，其進一步包括一個或多個處理器，以及由存儲器1932所代表的存儲器資源，用于存儲可由處理組件1922執(zhí)行的指令，例如應(yīng)用程序。存儲器1932中存儲的應(yīng)用程序可以包括一個或一個以上的模塊，每一個模塊對應(yīng)于一組指令。此外，處理組件1922被配置為執(zhí)行指令，以執(zhí)行上述的視頻分析方法。

裝置1900還可以包括一個電源組件1926被配置為執(zhí)行裝置1900的電源管理，一個有線或無線網(wǎng)絡(luò)接口1950被配置為將裝置1900連接到網(wǎng)絡(luò)，和一個輸入輸出(i/o)接口1958。裝置1900可以操作基于存儲在存儲器1932的操作系統(tǒng)，例如windowsserver^tm，macosx^tm，unix^tm，linux^tm，freebsd^tm或類似。

在示例性實施例中，還提供了一種包括指令的非易失性計算機可讀存儲介質(zhì)，例如包括指令的存儲器1932，上述指令可由裝置1900的處理組件1922執(zhí)行以完成上述方法。

本公開可以是系統(tǒng)、方法和/或計算機程序產(chǎn)品。計算機程序產(chǎn)品可以包括計算機可讀存儲介質(zhì)，其上載有用于使處理器實現(xiàn)本公開的各個方面的計算機可讀程序指令。

計算機可讀存儲介質(zhì)可以是可以保持和存儲由指令執(zhí)行設(shè)備使用的指令的有形設(shè)備。計算機可讀存儲介質(zhì)例如可以是但不限于電存儲設(shè)備、磁存儲設(shè)備、光存儲設(shè)備、電磁存儲設(shè)備、半導體存儲設(shè)備或者上述的任意合適的組合。計算機可讀存儲介質(zhì)的更具體的例子(非窮舉的列表)包括：便攜式計算機盤、硬盤、隨機存取存儲器(ram)、只讀存儲器(rom)、可擦式可編程只讀存儲器(eprom或閃存)、靜態(tài)隨機存取存儲器(sram)、便攜式壓縮盤只讀存儲器(cd-rom)、數(shù)字多功能盤(dvd)、記憶棒、軟盤、機械編碼設(shè)備、例如其上存儲有指令的打孔卡或凹槽內(nèi)凸起結(jié)構(gòu)、以及上述的任意合適的組合。這里所使用的計算機可讀存儲介質(zhì)不被解釋為瞬時信號本身，諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波(例如，通過光纖電纜的光脈沖)、或者通過電線傳輸?shù)碾娦盘枴?/p>

這里所描述的計算機可讀程序指令可以從計算機可讀存儲介質(zhì)下載到各個計算/處理設(shè)備，或者通過網(wǎng)絡(luò)、例如因特網(wǎng)、局域網(wǎng)、廣域網(wǎng)和/或無線網(wǎng)下載到外部計算機或外部存儲設(shè)備。網(wǎng)絡(luò)可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火墻、交換機、網(wǎng)關(guān)計算機和/或邊緣服務(wù)器。每個計算/處理設(shè)備中的網(wǎng)絡(luò)適配卡或者網(wǎng)絡(luò)接口從網(wǎng)絡(luò)接收計算機可讀程序指令，并轉(zhuǎn)發(fā)該計算機可讀程序指令，以供存儲在各個計算/處理設(shè)備中的計算機可讀存儲介質(zhì)中。

用于執(zhí)行本公開操作的計算機程序指令可以是匯編指令、指令集架構(gòu)(isa)指令、機器指令、機器相關(guān)指令、微代碼、固件指令、狀態(tài)設(shè)置數(shù)據(jù)、或者以一種或多種編程語言的任意組合編寫的源代碼或目標代碼，所述編程語言包括面向?qū)ο蟮木幊陶Z言—諸如smalltalk、c++等，以及常規(guī)的過程式編程語言—諸如“c”語言或類似的編程語言。計算機可讀程序指令可以完全地在用戶計算機上執(zhí)行、部分地在用戶計算機上執(zhí)行、作為一個獨立的軟件包執(zhí)行、部分在用戶計算機上部分在遠程計算機上執(zhí)行、或者完全在遠程計算機或服務(wù)器上執(zhí)行。在涉及遠程計算機的情形中，遠程計算機可以通過任意種類的網(wǎng)絡(luò)—包括局域網(wǎng)(lan)或廣域網(wǎng)(wan)—連接到用戶計算機，或者，可以連接到外部計算機(例如利用因特網(wǎng)服務(wù)提供商來通過因特網(wǎng)連接)。在一些實施例中，通過利用計算機可讀程序指令的狀態(tài)信息來個性化定制電子電路，例如可編程邏輯電路、現(xiàn)場可編程門陣列(fpga)或可編程邏輯陣列(pla)，該電子電路可以執(zhí)行計算機可讀程序指令，從而實現(xiàn)本公開的各個方面。

這里參照根據(jù)本公開實施例的方法、裝置(系統(tǒng))和計算機程序產(chǎn)品的流程圖和/或框圖描述了本公開的各個方面。應(yīng)當理解，流程圖和/或框圖的每個方框以及流程圖和/或框圖中各方框的組合，都可以由計算機可讀程序指令實現(xiàn)。

這些計算機可讀程序指令可以提供給通用計算機、專用計算機或其它可編程數(shù)據(jù)處理裝置的處理器，從而生產(chǎn)出一種機器，使得這些指令在通過計算機或其它可編程數(shù)據(jù)處理裝置的處理器執(zhí)行時，產(chǎn)生了實現(xiàn)流程圖和/或框圖中的一個或多個方框中規(guī)定的功能/動作的裝置。也可以把這些計算機可讀程序指令存儲在計算機可讀存儲介質(zhì)中，這些指令使得計算機、可編程數(shù)據(jù)處理裝置和/或其他設(shè)備以特定方式工作，從而，存儲有指令的計算機可讀介質(zhì)則包括一個制造品，其包括實現(xiàn)流程圖和/或框圖中的一個或多個方框中規(guī)定的功能/動作的各個方面的指令。

也可以把計算機可讀程序指令加載到計算機、其它可編程數(shù)據(jù)處理裝置、或其它設(shè)備上，使得在計算機、其它可編程數(shù)據(jù)處理裝置或其它設(shè)備上執(zhí)行一系列操作步驟，以產(chǎn)生計算機實現(xiàn)的過程，從而使得在計算機、其它可編程數(shù)據(jù)處理裝置、或其它設(shè)備上執(zhí)行的指令實現(xiàn)流程圖和/或框圖中的一個或多個方框中規(guī)定的功能/動作。

附圖中的流程圖和框圖顯示了根據(jù)本公開的多個實施例的系統(tǒng)、方法和計算機程序產(chǎn)品的可能實現(xiàn)的體系架構(gòu)、功能和操作。在這點上，流程圖或框圖中的每個方框可以代表一個模塊、程序段或指令的一部分，所述模塊、程序段或指令的一部分包含一個或多個用于實現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。在有些作為替換的實現(xiàn)中，方框中所標注的功能也可以以不同于附圖中所標注的順序發(fā)生。例如，兩個連續(xù)的方框?qū)嶋H上可以基本并行地執(zhí)行，它們有時也可以按相反的順序執(zhí)行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合，可以用執(zhí)行規(guī)定的功能或動作的專用的基于硬件的系統(tǒng)來實現(xiàn)，或者可以用專用硬件與計算機指令的組合來實現(xiàn)。

以上已經(jīng)描述了本公開的各實施例，上述說明是示例性的，并非窮盡性的，并且也不限于所披露的各實施例。在不偏離所說明的各實施例的范圍和精神的情況下，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說許多修改和變更都是顯而易見的。本文中所用術(shù)語的選擇，旨在最好地解釋各實施例的原理、實際應(yīng)用或?qū)κ袌鲋械募夹g(shù)的技術(shù)改進，或者使本技術(shù)領(lǐng)域的其它普通技術(shù)人員能理解本文披露的各實施例。