專利名稱：基于得分差加權(quán)融合的多模態(tài)身份識別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及分類器融合技術(shù)，主要是一種基于得分差加權(quán)融合的多模態(tài)身份識別方法。
背景技術(shù)：
在現(xiàn)實生活的應(yīng)用中，身份的鑒別是一項很復(fù)雜的工作，因為它需要達(dá)到很高的性能并且要求具有很強(qiáng)的魯棒性。生物認(rèn)證技術(shù)以人們自身的物理特征作為身份認(rèn)證依據(jù)，從根本上區(qū)別于傳統(tǒng)的基于“你所擁有的東西”或者“你所知道的東西”的認(rèn)證技術(shù)，真正以人自身作為身份認(rèn)證的依據(jù)，自己真正代表了自己。
在眾多的生物認(rèn)證技術(shù)中，基于聲音和圖像的身份鑒別是當(dāng)前比較流行的兩種方法。聲紋識別，即說話人識別，具有不會遺失、無需記憶和使用方便、經(jīng)濟(jì)、準(zhǔn)確等優(yōu)勢；而人臉識別則具有主動性、非侵犯性和用戶友好等許多優(yōu)點。當(dāng)這幾種方法單獨使用時，其各自性能總是會受到一定極值的約束或是表現(xiàn)出不穩(wěn)定性。所以，采用信息融合來綜合各個子模式的優(yōu)點，是提高身份識別的可靠性是一條有效的途徑。
目前幾乎所有的多模態(tài)識別方法，都是在決策級的融合級別上進(jìn)行的。根據(jù)融合規(guī)則，決策層融合一般有兩種策略。一種是參數(shù)固定的融合方法，如平均法，投票法，加法等等；另一種是需要參數(shù)訓(xùn)練的方法，如Dempster-Shafer，知識行為空間和樸素貝葉斯法等等。
固定參數(shù)的融合方法在很大程度上會因為分類器的成對效應(yīng)影響了性能。而訓(xùn)練集的質(zhì)量和大小使得參數(shù)訓(xùn)練的決策級融合方法往往不能達(dá)到理論上的融合效果。

發(fā)明內(nèi)容
本發(fā)明要解決上述技術(shù)所存在的缺陷，提供一種基于得分差加權(quán)融合的多模態(tài)身份識別方法。通過對單個分類器的識別得分的研究，把識別類與所屬類得分差作為權(quán)值依據(jù)，得到了一種新的加權(quán)參數(shù)訓(xùn)練方法“基于得分差加權(quán)”SDWS(Scores Difference-BasedWeightedSum Rule)來融合聲紋分類器和人臉分類器，從而提高說話人識別的性能。
本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案這種基于得分差加權(quán)融合的多模態(tài)身份識別方法，首先利用一組說話人樣本數(shù)據(jù)，通過原有的傳統(tǒng)單模態(tài)分類器每個樣本相對模板中每個說話人模型的得分；如果得分最高的那個模型和樣本屬于不同的說話人，則記錄下兩者的得分差；然后把單個分類器中所有這些差值都累加起來；最后利用各分類器的得分差來確定各個模態(tài)的權(quán)重。
本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案還可以進(jìn)一步完善。所述的傳統(tǒng)單模態(tài)分類器為聲紋識別分類器和人臉識別分類器。所述的得分為分類器對輸入的數(shù)據(jù)屬于某個類別的這一猜想的支持度。所述的得分差為在分離器判別錯誤情況下，此時輸入數(shù)據(jù)原所屬類別與分類器假設(shè)的輸入數(shù)據(jù)的類別不一致時，分類器對上述兩個類別的支持度的差值。所述的分類器的得分差為單個分類器中所有說話人判別錯誤情況下的樣本屬于的說話人模型的得分與最高得分的差值的和。所述的分類器基于得分差的權(quán)重為單個分離器得分差的倒數(shù)對所有分離器得分差的倒數(shù)和的比值。
本發(fā)明有益的效果是利用多生物特征(聲紋，人臉)進(jìn)行交叉身份認(rèn)證，并采用一種修正的基于得分差的加權(quán)算法SDWS對兩個生物認(rèn)證模態(tài)進(jìn)行融合，把兩種身份認(rèn)證的結(jié)果加以綜合。利用兩種生物特征信息識別的優(yōu)點及適用的領(lǐng)域，提高容錯性，降低不確定性，克服單個生物特征信息的不完整性，增強(qiáng)識別決策結(jié)果的可靠性，使其具有更廣泛安全性和適應(yīng)性。


圖1是本發(fā)明的基于得分差加權(quán)融合SDWS的多模態(tài)身份識別系統(tǒng)框架圖；圖2是本發(fā)明的動態(tài)貝葉斯模型的拓?fù)浣Y(jié)構(gòu)示意圖。
具體實施例方式
下面結(jié)合附圖和實施例對本發(fā)明作進(jìn)一步介紹本發(fā)明的方法共分三步。
第一步、聲紋識別說話人識別分為語音預(yù)處理，特征提取，模型訓(xùn)練，識別四個部分。
1.語音預(yù)處理語音預(yù)處理分為采樣量化，去零漂，預(yù)加重和加窗三個部分。
A)、采樣量化I.用銳截止濾波器對音頻信號進(jìn)行濾波，使其奈奎斯特頻率FN為4KHZ；II.設(shè)置音頻采樣率F＝2FN；
III.對音頻信號Sa(t)按周期進(jìn)行采樣，得到數(shù)字音頻信號的振幅序列s(n)=sa(nF);]]>IV.用脈沖編碼調(diào)制(PCM)對s(n)進(jìn)行量化編碼，得到振幅序列的量化表示s’(n)。
B)、去零漂I.計算量化的振幅序列的平均值s；II.將每個振幅值減去平均值，得到去零漂后平均值為0的振幅序列s”(n)。
C)、預(yù)加重I.設(shè)置數(shù)字濾波器的Z傳遞函數(shù)H(z)＝1-αz-1中的預(yù)加重系數(shù)α，α可取比1稍小的值；II.s”(n)通過數(shù)字濾波器，得到音頻信號的高、中、低頻幅度相當(dāng)?shù)恼穹蛄衧(n)。
D)、加窗I.計算語音幀的幀長N(32毫秒)和幀移量T(10毫秒)，分別滿足NF=0.032]]>TF=0.010]]>這里F是語音采樣率，單位為Hz；II.以幀長為N、幀移量為T，把s(n)劃分成一系列的語音幀F(xiàn)m，每一音頻幀包含N個語音信號樣本；III.計算哈明窗函數(shù) IV.對每一語音幀F(xiàn)m加哈明窗2.MFCC的提取A)、設(shè)置梅爾倒譜系數(shù)的階數(shù)p；B)、做快速傅立葉變換FFT，將時域信號s(n)變成頻域信號X(k)。
C)、計算梅爾域刻度Mi=ip×2595log(1+8000/2.0700.0),(i=0,1,2,...,p)]]>D)、計算對應(yīng)的頻域刻度
fi=700×eMi2595ln10-1,(i=0,1,2,...,p)]]>E)、計算每個梅爾域通道φj上的對數(shù)能量譜Ej=Σk=0K2-1φj(k)|X(k)|2]]>其中Σk=0K2-1φj(k)=1.]]>F)、做離散余弦變換DCT3.DBN模型訓(xùn)練動態(tài)貝葉斯網(wǎng)絡(luò)模型(DBN)類似于HMM，是一個生成模型，它僅需要一個人的語音數(shù)據(jù)就可以對它進(jìn)行建模，完成識別過程。
訓(xùn)練的目的是為了使在給定的語音數(shù)據(jù)下，模型的參數(shù)能夠更好的描述語音在特征空間中的分布情況。這里DBN訓(xùn)練主要側(cè)重于對模型參數(shù)的訓(xùn)練，并不針對網(wǎng)絡(luò)拓?fù)溥M(jìn)行學(xué)習(xí)。
A)、如果似然度沒有收斂，并且迭代次數(shù)小于預(yù)設(shè)次數(shù)，轉(zhuǎn)B)步；否則，轉(zhuǎn)E)。
這里收斂的定義是Converged=TRUE,if|PreLogLik-CurLogLik|<θFALSE,otherwize]]>這里的PreLogLik是指前一步迭代的似然度，CurLogLik是指當(dāng)前迭代的似然度，它們都是通過步驟C)中的前向后向遍歷得到的。θ是預(yù)設(shè)的閥值。預(yù)設(shè)的最大迭代次數(shù)MAXITER可以任意設(shè)定。這一步的判斷是使得迭代不至于無限制的進(jìn)行。
B)、每一個節(jié)點的相關(guān)統(tǒng)計值清空。
在前向后向遍歷之前要對統(tǒng)計值進(jìn)行清空，這里所說的統(tǒng)計值是指對節(jié)點的CPD(條件概率分布)進(jìn)行學(xué)習(xí)時所需要的數(shù)據(jù).
C)、綜合觀測值，進(jìn)行前向后向遍歷，輸出似然度。
對網(wǎng)絡(luò)進(jìn)行前向后向遍歷，使得觀測值對某些節(jié)點的更新能使網(wǎng)絡(luò)中的其他節(jié)點也能得到更新，滿足局部一致性和全局一致性條件，這一步實現(xiàn)了鄰接算法，并對幀內(nèi)結(jié)構(gòu)用COLLECT-EVIDENCE(收集證據(jù))和DISTRIBUTE-EVIDENCE(發(fā)布證據(jù))進(jìn)行概率擴(kuò)散。這一步遍歷，將輸出Log似然度，在A)中將被用到。識別中所用到的概率輸出也是通過這個遍歷得到的。
D)、根據(jù)觀測值，計算相關(guān)統(tǒng)計值，更新相關(guān)節(jié)點的概率分布，轉(zhuǎn)A).
根據(jù)觀測值，計算相關(guān)統(tǒng)計值，更新節(jié)點的概率分布，這是由EM學(xué)習(xí)算法決定的。
E)、保存模型。
4.識別用戶語音輸入后，經(jīng)特征提取，得到一特征向量序列C。按貝葉斯規(guī)則，在給定數(shù)據(jù)C下，符合模型Mi的似然度為，P(Mi|C)=P(C|Mi)*P(Mi)P(C)]]>因為沒有任何先驗的知識，所以我們認(rèn)為對所有的模型，P(Mi)是相同的，即P(Mi)＝1/N，i＝1，2，...，N，而對所有的說話者來說，P(C)是無條件概率，也是相同的，即P(Mi|C)∝P(C|Mi)我們把求模型的后驗概率轉(zhuǎn)化為求模型對數(shù)據(jù)的先驗概率。如此，說話人的識別測試就是計算下面的式子，i*=argmaxiP(C|Mi)]]>第二步人臉識別2維人臉識別系統(tǒng)主要包括圖像預(yù)處理、特征提取和分類器分類三個部分。
1.圖像預(yù)處理圖像預(yù)處理的一般目的是調(diào)整原始圖像在光照和幾何上的差異，得到歸一化的新圖像。預(yù)處理包括圖像的對齊和縮放。
2.PCA特征提取通過主元變換，用一個低維子空間(主元子空間)來描述人臉圖像，力圖在剔除分類干擾分量的同時保留有利于分類的判別信息。
以預(yù)處理過后的標(biāo)準(zhǔn)圖像作為訓(xùn)練樣本集，并以該樣本集的協(xié)方差矩陣作為主元變換的產(chǎn)生矩陣
Σ=1MΣi=0M-1(xi-μ)(xi-μ)T]]>其中xi為第i個訓(xùn)練樣本的圖像向量，μ為訓(xùn)練樣本集的平均圖像向量，M為訓(xùn)練樣本的總數(shù)。若圖像大小為K×L，則矩陣∑有KL×KL維。圖像很大時，直接計算產(chǎn)生矩陣的特征值和特征向量將有一定困難。當(dāng)樣本數(shù)M小于KL×KL時，可用奇異值分解定理(SVD)轉(zhuǎn)換為M維矩陣的計算。
將特征值從大到小排序λ0≥λ1≥…λr-1，并設(shè)它們對應(yīng)的特征向量為ui。這樣，每一幅人臉圖像都可以投影到由u0，u1，…，uM-1張成的子空間中。總共得到了M個特征向量，選取最大的前k個特征向量，使得Σi=0kλiΣi=0M-1λi=α]]>其中α稱為能量比，為樣本集在前k個軸上的能量占整個能量的比值。
3.分類器分類以最近鄰分類方法作為分量分類器。距離度量使用的是歐幾里德距離公式。
第三步基于得分差加權(quán)的分類器融合基于得分差加權(quán)的分類器融合算法分為分類器形式化描述，訓(xùn)練和識別三個部分。
1.分類器形式化描述A)、分類器描述設(shè)D＝{D1，D2，...，DL}代表一組分量分類器；B)、類別描述設(shè)Ω＝{ω1，...，ωc)代表一組類別標(biāo)識，即所有可能的分類結(jié)果C)、輸入特征向量 D)、輸出長度為c的向量Di(x)＝[di，1(x)，di，2(x)，...，di，c(x)]T，其中di，j(x)代表Di對于x屬于 這一猜想的支持度.di，j(x)是被歸一化到
區(qū)間內(nèi)的分量分類器輸出，且Σj=1cdi,j(x)=1]]>
E)、所有分類器的輸出可以合成一個DP(Decision Profile)矩陣DP(x)=d1,1(x),d1,2(x),...,d1,c(x)...di,1(x),di,2(x),...,di,c(x)...dL,1(x),dI,2(x),...,dI,c(x)]]>在這個矩陣中，第i行元素代表分量分類器Di的輸出Di(x)；第j列元素代表每個分量分類器對 的支持度。
2.訓(xùn)練A)、訓(xùn)練樣本有N個元素的訓(xùn)練集合X＝{x1，x2，...，xN}B)、分類器對樣本的識別結(jié)果S(X)=s1,1(X),...,S1,L(X)...sj,1(X),...,sj,L(X)...sN,1(X),...,sN,L(X)]]>其中sj，i為分類器Di對樣本元素xj所標(biāo)識的類，當(dāng)且僅當(dāng)sj，i＝Di(xj)=s⇔di,s(xj)=maxo=1,2,..,c{di,o(xj)}]]>這里j＝1，...，N是訓(xùn)練集合中元素的數(shù)目；i＝1，...L是分類器的數(shù)目.C是分類的數(shù)目，此處為待識別的人數(shù)。
C)、樣本原始所屬類別L(X)＝[k1，...，kN]T， D)、第i個分類器的得分差SDi(X)為SDi(X)=Σj=1NSDij(xj)]]>=Σj=1NΣsj,i≠kj|di,kj(xj)-di,sj,i(xj)|]]>SDi(X)為在分離器判別錯誤情況下，此時輸入數(shù)據(jù)原所屬類別與分類器假設(shè)的輸入數(shù)據(jù)的類別不一致時sj，i≠kj，分類器對上述兩個類別的支持度的差值。其中di，j(x)為DP(x)矩陣中的元素.
E)、分類器基于得分差的權(quán)值Wi=SDi(X)-1Σi=1LSDi(X)-1]]>3.判決根據(jù)權(quán)值，重新計算多模態(tài)狀態(tài)下，每個類別的支持度D(x)＝[d1(x)，d2(x)，...，dc(x)]T=[Σi=1LWi*di,1(x),Σi=1LWi*di,2(x),...Σi=1LWi*di,c(x),]T]]>多個分類器對測試向量x的分類結(jié)果為ωs當(dāng)且僅當(dāng)s=maxi=1,...cdi(x).]]>實驗結(jié)果本系統(tǒng)在一個包括54位用戶聲紋與語音信息的多模態(tài)語音數(shù)據(jù)庫上進(jìn)行了實驗。該數(shù)據(jù)庫采集了浙江大學(xué)54名學(xué)生(37名男同學(xué)，17名女同學(xué))的人臉與聲紋信息。整個數(shù)據(jù)庫的采集工作在光線充足，低噪的環(huán)境中進(jìn)行。語音部分中，每人被要求講個人信息3遍；普通話數(shù)字串，方言數(shù)字串，英語數(shù)字串，普通話詞語串，看圖說話各10句，短文一段。語音文件格式為wav/nist格式，全部規(guī)范成8000Hz采樣率，16bit數(shù)據(jù)。實驗采用短文和個人信息作為訓(xùn)練，其余50句語音作為測試。人臉圖像部分中，每個人各攝制正面以及側(cè)面人臉照共4張，其中正面照兩張，側(cè)面照兩張。實驗采用其中一張正面照作訓(xùn)練，另一張作測試。
我們同時在這個庫上用單模態(tài)聲紋識別，單模態(tài)人臉識別以及加法，加權(quán)，投票法和基于行為知識空間的方法這幾種常見的決策層融合算法進(jìn)行了同樣的實驗，用于和本系統(tǒng)(SDWS，基于得分差加權(quán)的融合算法)進(jìn)行對比。其中聲紋識別基于人的語音特征，人臉識別基于人的臉部特征。融合算法將這兩種特征結(jié)合起來，加法和投票法屬于參數(shù)固定的融合方法；加權(quán)和基于行為知識空間的方法屬于需要參數(shù)訓(xùn)練的融合算法。
單模態(tài)聲紋說話人識別方法基于本說明的第一步，對語音進(jìn)行預(yù)處理以后，對其提取梅爾倒譜特征，利用動態(tài)貝葉斯模型對說話人建模。動態(tài)貝葉斯模型的拓?fù)洳捎媒Y(jié)構(gòu)如圖2所示，其中qij，i＝1，2，3，j＝1，2，…T表示隱節(jié)點變量，每個節(jié)點假設(shè)有兩個離散值，oij，i＝1，2，3，j＝1，2，…T是觀測節(jié)點，對應(yīng)于觀測向量，具有離散分布的父節(jié)點qij，滿足高斯分布。同樣的，測試語音在經(jīng)過預(yù)處理和梅爾倒譜特征提取的過程之后，與建好的說話人模型進(jìn)行匹對，取得分最高的模型所對應(yīng)的說話人為識別者。
單模態(tài)人臉識別基于本說明的第二步，對人臉圖像根據(jù)眼睛進(jìn)行手動定位以后，對其提取PCA特征，通過比較PCA特征之間的歐式距離，取距離最近的特征所對應(yīng)的說話人為識別者。
對于加法，其思想可由以下公式表示μi(x)＝F(d1，i(x)，...，dL，i(x))，i＝1，...，c其中F代表了加法操作(Sum)，最終的分類結(jié)果是使得μi最大的i對應(yīng)的ωi。
加權(quán)算法是在加法的基礎(chǔ)上發(fā)展起來的，通過權(quán)重來體現(xiàn)各個分類器之間優(yōu)劣的差別。這里采用每個分類器的等錯誤率作為其權(quán)重。
投票法的基本思想是“少數(shù)服從多數(shù)”。其中，投票人是所有分量分類器，候選人是所有可能的分類結(jié)果。由投票人給它所支持的候選人投票，票數(shù)最多的候選人勝出。
基于行為知識空間的方法是在知道分量分類器分類結(jié)果的情況下估計后驗概率。它需要統(tǒng)計每一類樣本落在行為知識空間各單元的個數(shù)。使用該方法時，訓(xùn)練集中的樣本被劃分到不同的單元，這些單元是由所有分量分類器分類結(jié)果的不同組合來定義的。當(dāng)一個未知樣本需要進(jìn)行分類時，所有分量分類器對分類結(jié)果的組合都是可以知道的，可以由此找到對應(yīng)的單元。然后，根據(jù)該單元中的樣本實際類別，把未知樣本歸入出現(xiàn)次數(shù)最多的類別。
我們在不同于語音內(nèi)容和語種的語音集下，對單模態(tài)身份識別和以上幾種融合算法進(jìn)行了評估。
為了對說話人識別系統(tǒng)的性能進(jìn)行評估，選用識別率(IR，Identification Rate)來作為實驗結(jié)果的評估標(biāo)準(zhǔn)。
識別率IR的計算公式是 實驗結(jié)果如下

實驗結(jié)果表明，單模態(tài)的生物認(rèn)證方法無法達(dá)到較好的識別率，不能滿足安全性和魯棒性的要求。
在兩個分類器融合的情況下，加法和加權(quán)的方法，往往會因為沒有考慮到分類器的得分分布情況，反而使得兩個分類器的優(yōu)勢相消。
投票法只考慮了每個分類器輸出的類別標(biāo)號，而沒有考慮它們的錯誤率，這在一定程度上浪費了訓(xùn)練樣本的信息。
行為知識空間方法雖然是對多個分類器決策結(jié)果之多維分布的直接統(tǒng)計，可以組合分量分類器的決策以獲得最好的結(jié)果。然而，由于行為知識空間相對訓(xùn)練樣本數(shù)量來說過于龐大，很容易出現(xiàn)訓(xùn)練不足的情況，這是因為訓(xùn)練集無法龐大到把每個單元填充到足夠的密度。
本識別算法能通過對分類器得分的分析，根據(jù)在分類器識別錯誤的情況下，收集到的分類器所判定的模型的得分與樣品所屬的模型的得分之間的差異，以此作為分類器的權(quán)重，通過簡單有效的加權(quán)方法對分類器在決策層上進(jìn)行融合，使得兩種分類器優(yōu)勢互補(bǔ)，對系統(tǒng)性能上有很大的提高，遠(yuǎn)遠(yuǎn)超出了其他的融合方法，比單模態(tài)的方法提高了約7.8-13.3％。從而提高了說話人識別的識別性能。
權(quán)利要求
1.一種基于得分差加權(quán)融和的多模態(tài)身份識別方法，其特征在于首先利用一組說話人樣本數(shù)據(jù)，通過原有的傳統(tǒng)單模態(tài)分類器每個樣本相對模版中每個說話人模型的得分；如果得分最高的那個模型和樣本屬于不同的說話人，則記錄下兩者的得分差；然后把單個分類器中所有這些差值都累加起來；最后利用各分類器的得分差來確定各個模態(tài)的權(quán)重。
2.根據(jù)權(quán)利要求1所述的基于得分差加權(quán)融和的多模態(tài)身份識別方法，其特征在于所述的傳統(tǒng)單模態(tài)分類器為聲紋識別分類器和人臉識別分類器。
3.根據(jù)權(quán)利要求1所述的基于得分差加權(quán)融和的多模態(tài)身份識別方法，其特征在于所述的得分為分類器對輸入的數(shù)據(jù)屬于某個類別的這一猜想的支持度。
4.根據(jù)權(quán)利要求1所述的基于得分差加權(quán)融和的多模態(tài)身份識別方法，其特征在于所述的得分差為在分離器判別錯誤情況下，此時輸入數(shù)據(jù)原所屬類別與分類器假設(shè)的輸入數(shù)據(jù)的類別不一致時，分類器對上述兩個類別的支持度的差值。
5.根據(jù)權(quán)利要求1所述的基于得分差加權(quán)融和的多模態(tài)身份識別方法，其特征在于所述的分類器的得分差為單個分類器中所有說話人判別錯誤情況下的樣本屬于的說話人模型的得分與最高得分的差值的和。
6.根據(jù)權(quán)利要求1所述的基于得分差加權(quán)的多模態(tài)身份識別方法，其特征在于所述的分類器基于得分差的權(quán)重為單個分離器得分差的倒數(shù)對所有分離器得分差的倒數(shù)和的比值。
7.根據(jù)權(quán)利要求1或2或3或4或5或6所述的基于得分差加權(quán)的多模態(tài)身份識別方法，其特征在于基于得分差加權(quán)的分類器融合算法分為分類器形式化描述，訓(xùn)練和識別三個部分；1)、分類器形式化描述A)、分類器描述設(shè)D＝{D1，D2，...，DL}代表一組分量分類器；B)、類別描述設(shè)Ω＝{ω1，...，ωc}代表一組類別標(biāo)識，即所有可能的分類結(jié)果；C)、輸入特征向量 D)、輸出長度為c的向量Di(x)＝[di，1(x)，di，2(x)，...，di，c(x)]T，其中di，j(x)代表Di對于x屬于 這一猜想的支持度，di，j(x)是被歸一化到
區(qū)間內(nèi)的分量分類器輸出，且Σj=1cdi,j(x)=1;]]>E)、所有分類器的輸出合成一個DP矩陣DP(x)=d1,1(x),d1,2(x),···,d1,c(x)···di,1(x),di,2(x),···,di,c(x)···dL,1(x),dl,2(x)···,dl,c(x)]]>在這個矩陣中，第i行元素代表分量分類器Di的輸出Di(x)；第j列元素代表每個分量分類器對 的支持度；2)、訓(xùn)練A)、訓(xùn)練樣本有N個元素的訓(xùn)練集合X＝{x1，x2，...，xN}；B)、分類器對樣本的識別結(jié)果S(X)=s1,1(X),···,s1,L(X)···sj,i(X),···,sj,L(X)···sN,1(X),···,sN,L(X)]]>其中sj，i為分類器Di對樣本元素xj所標(biāo)識的類，當(dāng)且僅當(dāng)sj,i=Di(xj)=s⇔di,s(xj)=maxo=1,2,···,c{di,o(xj)}]]>這里j＝1，...，N是訓(xùn)練集合中元素的數(shù)目i＝1，...L是分類器的數(shù)目，C是分類的數(shù)目，此處為待識別的人數(shù)；C)、樣本原始所屬類別L(X)＝[k1，...，kN]T， D)、第i個分類器的得分差SDi(X)為SDi(X)=ΣJ=1NSDij(xj)=Σj=1NΣsj,i≠kj|di,kj(xj)-di,sj,i(xj)|]]>SDi(X)為在分離器判別錯誤情況下，此時輸入數(shù)據(jù)原所屬類別與分類器假設(shè)的輸入數(shù)據(jù)的類別不一致時sj，i≠kj，分類器對上述兩個類別的支持度的差值。其中di，j(x)為DP(x)矩陣中的元素；E)、分類器基于得分差的權(quán)值Wi=SDi(X)-1Σi=1LSDi(X)-1]]>3)、判決根據(jù)權(quán)值，重新計算多模態(tài)狀態(tài)下，每個類別的支持度D(x)=[d1(x),d2(x),···,dc(x)]T=[Σi=1LWi*di,1(x),Σi=1LWi*di,2(x),···Σi=1LWi*di,c(x),]T]]>多個分類器對測試向量x的分類結(jié)果為ωs當(dāng)且僅當(dāng)s=maxi=1,···cdi(x).]]>
全文摘要
本發(fā)明涉及一種基于得分差加權(quán)融合的多模態(tài)身份識別方法，首先利用一組說話人樣本數(shù)據(jù)，通過原有的傳統(tǒng)單模態(tài)分類器每個樣本相對模板中每個說話人模型的得分；如果得分最高的那個模型和樣本屬于不同的說話人，則記錄下兩者的得分差；然后把單個分類器中所有這些差值都累加起來；最后利用各分類器的得分差來確定各個模態(tài)的權(quán)重。本發(fā)明有益的效果是利用多生物特征進(jìn)行交叉身份認(rèn)證，并采用一種修正的基于得分差的加權(quán)算法SDWS對兩個生物認(rèn)證模態(tài)進(jìn)行融合，把兩種身份認(rèn)證的結(jié)果加以綜合。利用兩種生物特征信息識別的優(yōu)點，提高容錯性，降低不確定性，克服單個生物特征信息的不完整性，增強(qiáng)識別決策結(jié)果的可靠性，使其具有更廣泛安全性和適應(yīng)性。
文檔編號G06K9/00GK1758263SQ200510061359
公開日2006年4月12日 申請日期2005年10月31日 優(yōu)先權(quán)日2005年10月31日
發(fā)明者吳朝暉, 楊瑩春, 李東東 申請人:浙江大學(xué)