基于多尺度聯(lián)合學(xué)習(xí)的無交疊視域攝像頭之間的低分辨率行人匹配方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻監(jiān)控領(lǐng)域不同攝像頭之間的行人匹配方法，尤其涉及一種基于多 尺度聯(lián)合學(xué)習(xí)的無交疊視域攝像頭之間的低分辨率行人匹配方法。
【背景技術(shù)】
[0002] 當(dāng)前在公共場(chǎng)合，常使用無交疊視域攝像頭進(jìn)行視頻監(jiān)控以擴(kuò)大監(jiān)控范圍和記錄 行人軌跡。這其中的關(guān)鍵是實(shí)現(xiàn)不同攝像頭檢測(cè)到的行人之間的準(zhǔn)確匹配。然而在現(xiàn)實(shí)中 行人和不同攝像頭之間的距離存在較大的差異，行人圖像的分辨率往往大小不一，導(dǎo)致了 低分辨率行人匹配問題的出現(xiàn)，即一個(gè)攝像頭檢測(cè)到的低分辨率行人和另一個(gè)攝像頭檢測(cè) 到的正常分辨率行人之間的匹配問題。
[0003] 近五年來出現(xiàn)了很多行人匹配的方法，如基于支持向量排序模型的匹配、基于相 對(duì)距離比較學(xué)習(xí)的統(tǒng)計(jì)方法、基于等價(jià)約束模型的貝葉斯距離、基于自適應(yīng)決策函數(shù)的匹 配，以及基于局部線性判別分析的匹配等方法。但是現(xiàn)有方法忽略了行人匹配中存在的低 分辨率問題，直接將所有行人圖像縮放到單一的標(biāo)準(zhǔn)尺度后再進(jìn)行匹配，使低分辨行人的 信息損失嚴(yán)重，導(dǎo)致低分辨率行人匹配的準(zhǔn)確率低下。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種實(shí)用性強(qiáng)、可明顯提高低分辨 率行人匹配準(zhǔn)確率的基于多尺度聯(lián)合學(xué)習(xí)的不同攝像頭之間低分辨率行人匹配的方法。本 方法對(duì)低分辨率行人和正常分辨率行人在多個(gè)圖像尺度上進(jìn)行聯(lián)合建模以充分學(xué)習(xí)其內(nèi) 在的匹配關(guān)系，并獲得了較高的匹配準(zhǔn)確率。這是現(xiàn)有的方法中第一次解決低分辨率行人 的匹配問題。
[0005] 本發(fā)明的目的通過下述方案實(shí)現(xiàn)：一種基于多尺度聯(lián)合學(xué)習(xí)的無交疊攝像頭之間 的低分辨率行人匹配方法，包括下述步驟：
[0006] (1)生成多個(gè)不同圖像尺度的行人訓(xùn)練數(shù)據(jù)；
[0007] (2)提出不同尺度上同一行人差異最小化準(zhǔn)則；
[0008](3)建立多尺度聯(lián)合學(xué)習(xí)模型；
[0009](4)實(shí)現(xiàn)不同攝像頭間低分辨率行人的匹配。
[0010] 作為優(yōu)選的，所述步驟（1)中，不同尺度的行人訓(xùn)練數(shù)據(jù)是通過將原始分辨率各 異的行人訓(xùn)練圖像同時(shí)縮放到多個(gè)不同的尺度得到的。
[0011] 作為優(yōu)選的，步驟（1)具體為：
[0012] 行人訓(xùn)練圖像被縮放到兩個(gè)尺度，即一個(gè)標(biāo)準(zhǔn)尺度和一個(gè)其他的小尺度，更 多尺度的情況可以很容易擴(kuò)展，具體地，對(duì)于一個(gè)行人訓(xùn)練集，通過縮放圖像可以分 別得到一個(gè)標(biāo)準(zhǔn)尺度的行人訓(xùn)練集
和一個(gè)小尺度的行人訓(xùn)練集
分別表示同一張行人圖像調(diào) 整到標(biāo)準(zhǔn)尺度和小尺度后提取的特征向量，其所屬的行人/類別記為yi，N是訓(xùn)練集的行人 圖像樣本總數(shù)。
[0013] 作為優(yōu)選的，所述步驟（2)中，提出的不同尺度同一行人分布差異最小化準(zhǔn)則，是 通過最小化不同尺度上同一行人的圖像特征向量在低維空間中的分布差異實(shí)現(xiàn)的。
[0014] 作為優(yōu)選的，步驟（2)具體為：
[0015] 不同尺度的同一個(gè)行人差異最小化準(zhǔn)則通過最大限度減少同一行人在不同尺度 上的圖像的特征向量的均值在一個(gè)低維空間中的差異來實(shí)現(xiàn)，即最小化不同尺度的行人同 類均值在低維子空間中的差異，該過程可表示為：
[0017] 其中，uf和< 分別是\和Xs中第i個(gè)行人的所屬圖像的特征向量的均值,C是行 人的總個(gè)數(shù)即總類別數(shù)，e 和1Wse 分別是標(biāo)準(zhǔn)尺度和小尺度上距離度 量的變換矩陣，用來投影行人樣本到低維空間，r是被投影的低維空間的維度。
[0018] 作為優(yōu)選的，所述步驟（3)中的多尺度聯(lián)合學(xué)習(xí)模型，目的是協(xié)同地在每個(gè)尺度 上學(xué)習(xí)一個(gè)最優(yōu)的距離度量，既實(shí)現(xiàn)不同尺度上同一行人差異最小化準(zhǔn)則，同時(shí)又保證在 同一尺度上，不同行人的類間距離最大化，同一行人的類內(nèi)距離最小化。
[0019] 作為優(yōu)選的，步驟（3)具體為：
[0020] 首先根據(jù)He和Niyogi提出的親和度矩陣A和Sugiyama提出的局部線性判別理 論，構(gòu)造同一尺度的行人的類間散度矩陣Sb和類內(nèi)的散度矩陣Sw如下：
[0024] 其中，xjPX.j為兩張行人圖像的特征向量，當(dāng)X;和X.j屬于同一行人時(shí)，
當(dāng)xJPX屬于不同行人時(shí)，
^和X_,之間的親和度，N是所有行人樣本的總數(shù)，N。是對(duì)應(yīng)的同一行人的樣本數(shù)，對(duì)于標(biāo)準(zhǔn) 尺度和小尺度，其對(duì)應(yīng)的類間散度矩陣分別被表示為和Sf其對(duì)應(yīng)的類內(nèi)散度矩陣分 另|J被表示為和
[0025] 為了得到最優(yōu)距離度量的變換矩陣WjPWs，使其既要滿足不同尺度的行人同類均 值差異HCMD(Wh，Ws)最小化，又要分別實(shí)現(xiàn)行人樣本的類內(nèi)距離最小化和類間距離最大化， 所以建立多尺度聯(lián)合學(xué)習(xí)模型如下：
[0027] 公式③表示的是基于兩個(gè)圖像尺度的多尺度聯(lián)合學(xué)習(xí)模型，通過增加更多的尺度 來最小化HCMD并同時(shí)學(xué)習(xí)各個(gè)尺度上行人的距離度量，能夠很容易擴(kuò)展到兩個(gè)以上尺度 的聯(lián)合學(xué)習(xí)模型，求解公式③即可得到優(yōu)選方案中標(biāo)準(zhǔn)尺度和小尺度上的最優(yōu)距離度量的 變換矩陣WjPWs。
[0028] 作為優(yōu)選的，所述步驟（4)是對(duì)攝像頭camA中檢測(cè)到的低分辨率行人PA，在攝像 頭camB中檢測(cè)到的R個(gè)正常分辨率行人,re[1，R]中找到與其匹配的行人，與PA匹配
確定，其中是？&與/^在不同尺度上 學(xué)習(xí)的最優(yōu)距離度量計(jì)算的融合距離。
[0029] 本發(fā)明與現(xiàn)有技術(shù)相比，具有如下優(yōu)點(diǎn)和有益效果：
[0030] 1、本發(fā)明使用多個(gè)圖像尺度來提取行人的信息，與現(xiàn)有的行人匹配技術(shù)直接將所 有行人縮放到單一圖像尺度的做法相比，有效地保持了低分辨率行人的表觀信息。
[0031] 2、本發(fā)明提出的不同尺度的同一行人差異最小化準(zhǔn)則能夠保持不同尺度的行人 表觀信息的相似性，有效地傳遞了不同分辨率行人的判別信息。
[0032] 3、本發(fā)明在不同尺度上同一行人差異最小化準(zhǔn)則的基礎(chǔ)上建立多尺度聯(lián)合學(xué)習(xí) 模型，學(xué)習(xí)每個(gè)尺度的最優(yōu)距離度量，有效地增強(qiáng)了低分辨率行人和正常分辨率行人之間 的匹配關(guān)系。與現(xiàn)有行人匹配技術(shù)相比，較好地改善了無交疊視域攝像頭之間低分辨率行 人的匹配效果。
【附圖說明】
[0033]圖1為本發(fā)明的操作流程圖示。
[0034] 圖2為本發(fā)明方法的思想描述。
[0035] 圖3為CAVIAR行人數(shù)據(jù)集示例（第一行是一個(gè)攝像頭中檢測(cè)到的正常分辨率行 人，第二行是對(duì)應(yīng)的另一攝像頭中檢測(cè)到的低分辨率行人）。
[0036] 圖4為本發(fā)明的方法與現(xiàn)有行人匹配方法在CAVIAR行人數(shù)據(jù)集上的CMC曲線結(jié) 果對(duì)比圖。
[0037] 圖5為本發(fā)明的方法在低分辨率行人監(jiān)控場(chǎng)景下的匹配結(jié)果示例圖。
【具體實(shí)施方式】
[0038] 下面結(jié)合實(shí)施例及附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)的描述，但本發(fā)明的實(shí)施方式不限 于此。
[0039] 實(shí)施例
[0040] 圖1、圖2示出了本發(fā)明的操作過程，由圖1可見，基于多尺度聯(lián)合學(xué)習(xí)的無交疊視 域攝像頭之間的低分辨率行人匹配方法，包括下述步驟：
[0041] (1)將原始的行人訓(xùn)練數(shù)據(jù)分別縮放到多個(gè)圖像尺度上，以充分保持低分辨率行 人的信息。具體地，在本實(shí)施例中，采用行人匹配方法中常用的單一標(biāo)準(zhǔn)尺度（128X48)和 一個(gè)其他的小尺度（64X24)共兩個(gè)尺度。對(duì)于行人圖像，提取其顏色、LBP和H0G特征組 成特征向量。
[0042] (2)構(gòu)造不同尺度上同一行人差異最小化準(zhǔn)則的具體表達(dá)形式。在本實(shí)施例中， 通過最小化同一行人在不同尺度上的圖像特征向量的均值在一個(gè)低維空間中的差異即 min% %HCMDO%，)來實(shí)現(xiàn)該準(zhǔn)則。其中^和別是標(biāo)準(zhǔn)尺度和小尺度上距 離度量的變換矩陣，用來投影行人樣本到低維空間。在本實(shí)施例中，低維空間的維度取1〇〇 維最佳。
[0043] (3)構(gòu)建多尺度聯(lián)合學(xué)習(xí)模型，協(xié)同學(xué)習(xí)不同尺度上最優(yōu)距離度量，從而實(shí)現(xiàn)最小 化HCMD(Wh，Ws)，又保證同一尺度上不同行人的類間距離最大化和同一行人的類內(nèi)距離最小 化。具體地，在本實(shí)施例中，通過以下公式③的近似等價(jià)形式來求解最優(yōu)距離度量的變換矩 陣1和Ws:
[0045] 其中，α是控制HCMD影響幅度的參數(shù)，在本實(shí)施例中α取10。
[0046] (4)實(shí)現(xiàn)不同攝像頭下的低分辨率行人的匹配（見圖5)。具體地，在本實(shí)施例中， 對(duì)于攝像頭camA中檢測(cè)到的目標(biāo)行人P 攝像頭camΒ中檢測(cè)到的某一行人ΡΒ，分別提取 其在標(biāo)準(zhǔn)尺度上的圖像特征向量4和4，以及在小尺度上的圖像特征向量χχ* 則PjPΡΒ在兩個(gè)不同尺度上分別利用WjpW/變換后得到的融合距離度量可以由下式計(jì)算 得到：
[0048] 其中，β是調(diào)節(jié)標(biāo)準(zhǔn)尺度和小尺度影響的權(quán)重。在本實(shí)施例中β取0.3。假 設(shè)在一段時(shí)間內(nèi)有R個(gè)行人進(jìn)入攝像頭camB，則利用公式⑤分