基于支持向量機(jī)的對(duì)象檢測(cè)系統(tǒng)及相關(guān)方法
【專利說(shuō)明】
[0001] 相關(guān)申請(qǐng)的交叉引用
[0002] 本申請(qǐng)要求2013年11月8日提交的美國(guó)專利申請(qǐng)序號(hào)14/076,030的優(yōu)先權(quán)，該申 請(qǐng)被認(rèn)為通過(guò)引用方式合并于本申請(qǐng)的公開(kāi)中。
技術(shù)領(lǐng)域
[0003] 本公開(kāi)一般設(shè)及對(duì)象檢測(cè)系統(tǒng)及相關(guān)方法，并且更特別地設(shè)及基于支持向量機(jī) (SVM)的對(duì)象檢測(cè)系統(tǒng)和相關(guān)方法。
【背景技術(shù)】
[0004] 對(duì)象檢測(cè)系統(tǒng)和方法，諸如行人檢測(cè)系統(tǒng)和方法，能夠?qū)崿F(xiàn)在自動(dòng)駕駛輔助系統(tǒng) 中W提供路線檢測(cè)、障礙物檢測(cè)、交通標(biāo)志識(shí)別、行人檢測(cè)和/或其它類型的檢測(cè)。運(yùn)些對(duì)象 檢測(cè)系統(tǒng)和方法經(jīng)常實(shí)現(xiàn)支持向量機(jī)(SVM)分類器來(lái)輔助將分析后圖像分類成對(duì)象類或非 對(duì)象類。當(dāng)今的基于SVM的對(duì)象檢測(cè)系統(tǒng)和方法趨于計(jì)算密集，要求相當(dāng)大的數(shù)據(jù)帶寬，對(duì) 實(shí)時(shí)實(shí)現(xiàn)提出了挑戰(zhàn)。因此，雖然現(xiàn)有的基于SVM的對(duì)象檢測(cè)系統(tǒng)和相關(guān)方法對(duì)于它們預(yù)期 目的通常是足夠的，但是它們并不是在所有方面都完全令人滿意。
【附圖說(shuō)明】
[0005] 通過(guò)下面結(jié)合附圖理解下面的發(fā)明詳述，能夠最好的理解本公開(kāi)。應(yīng)強(qiáng)調(diào)的是，根 據(jù)行業(yè)的標(biāo)準(zhǔn)慣例，各特征不是按比例繪制，僅用于示例的目的。實(shí)際上，為了論述清晰的 原因，各特征的尺寸可任意增大或減小。
[0006] 圖1示出了根據(jù)本公開(kāi)的各方面的用于檢測(cè)圖像帖中的對(duì)象的示例性的方法。
[0007] 圖2是根據(jù)本公開(kāi)的各方面的用于檢測(cè)圖像帖中的對(duì)象的示例性的方法的流程 圖，諸如與參考圖1所描繪和所描述的示例性方法相關(guān)聯(lián)的流程圖。
[000引圖3示出了根據(jù)本公開(kāi)的各方面的用于檢測(cè)圖像帖中的對(duì)象的另一示例性方法。
[0009] 圖4是根據(jù)本公開(kāi)的各方面的用于檢測(cè)圖像帖中的對(duì)象的示例性方法的流程圖， 諸如與參考圖3所描繪和描述的示例性方法相關(guān)聯(lián)的流程圖。
[0010] 圖5是根據(jù)本公開(kāi)的各方面的用于實(shí)現(xiàn)對(duì)象檢測(cè)和分類過(guò)程的示例性處理器的示 意性框圖，諸如參考圖1-4所描繪和所描述的對(duì)象檢測(cè)和分類方法。
[0011] 圖6是根據(jù)本公開(kāi)的各方面的諸如圖5的處理器的具有對(duì)象檢測(cè)模塊的處理器的 示例性的存儲(chǔ)器方案W及實(shí)現(xiàn)諸如參考圖3和圖4所描繪和所描述的實(shí)現(xiàn)對(duì)象檢測(cè)與分類 過(guò)程的示例性的存儲(chǔ)器方案的示意性框圖。
【具體實(shí)施方式】 [0012] 發(fā)明概述
[0013]示例性的對(duì)象檢測(cè)方法包括:生成表征圖像帖的特征塊組件，W及利用特征塊組 件來(lái)分析圖像帖。對(duì)于圖像帖的每個(gè)特征塊行，與特征塊行相關(guān)聯(lián)的特征塊組件被評(píng)估W 對(duì)于與圖像帖的包括特征塊行的部分重疊的檢測(cè)窗來(lái)確定部分向量點(diǎn)積，使得每個(gè)檢測(cè)窗 具有關(guān)聯(lián)的一組部分向量點(diǎn)積。該方法可W包括:基于相關(guān)聯(lián)的一組部分向量點(diǎn)積來(lái)確定 與每個(gè)檢測(cè)窗相關(guān)聯(lián)的向量點(diǎn)積，W及基于向量點(diǎn)積將與每個(gè)檢測(cè)窗相對(duì)應(yīng)的圖像帖分類 為對(duì)象或非對(duì)象。每個(gè)特征塊組件能夠從外存儲(chǔ)器移到內(nèi)存儲(chǔ)器一次，實(shí)現(xiàn)示例性的對(duì)象 檢測(cè)方法。在各實(shí)現(xiàn)中，裝置包括與內(nèi)存儲(chǔ)器和外存儲(chǔ)器禪合的處理器，其中所述處理器包 括對(duì)象檢測(cè)模塊，該對(duì)象檢測(cè)模塊配置為執(zhí)行最小化內(nèi)存儲(chǔ)器與外存儲(chǔ)器之間的數(shù)據(jù)傳輸 的對(duì)象檢測(cè)與分類過(guò)程。對(duì)象檢測(cè)模塊能夠配置為執(zhí)行示例性的對(duì)象檢測(cè)方法。
[0014] 發(fā)明詳述
[0015] 下面的公開(kāi)提供了多個(gè)不同的實(shí)施方案或?qū)嵤├糜趯?shí)現(xiàn)本公開(kāi)的不同的特 征。下面描述組件和布置的具體實(shí)施例W簡(jiǎn)化本公開(kāi)。當(dāng)然，運(yùn)些僅為實(shí)施例，而不意在限 審IJ。此外，本公開(kāi)可W在各實(shí)施例中重復(fù)附圖標(biāo)記和/或字母。該重復(fù)是為了簡(jiǎn)化和清晰的 目的，本身不規(guī)定所論述的各實(shí)施方案和/或配置之間的關(guān)系。
[0016] 圖1示出了根據(jù)本公開(kāi)的各個(gè)方面的用于檢測(cè)圖像帖10中的對(duì)象的示例性的方 法。在各實(shí)現(xiàn)中，示例性的方法檢測(cè)圖像帖10中的行人。為了清晰目的，已經(jīng)簡(jiǎn)化了圖1，W 便更好的理解本公開(kāi)的發(fā)明構(gòu)思。附加的特征能夠添加到示例性的方法和關(guān)聯(lián)的圖像帖10 中，并且在示例性的方法的其它實(shí)施方案和關(guān)聯(lián)的圖像帖10中，下面描述的一些特征能夠 被取代或消除。
[0017]在圖1中，圖像帖10被分割成特征塊FB1，F(xiàn)B2，F(xiàn)B3，. . . FBx，其中X是圖像帖10的特 征塊的總數(shù)。特征塊FBl，F(xiàn)B2，F(xiàn)B3,.. .FBx能夠分組成特征塊行(在圖像帖10的水平方向上 的特征塊組）W及特征塊列(在圖像帖10的垂直方向上的特征塊組）。例如，在所描繪的實(shí)施 方案中，圖像帖10包括特征塊行Hl，肥，H3，... HR和特征塊列Vl，V2，V3，... VC，其中R是圖像 帖10的特征塊行的總數(shù)，C是圖像帖10的特征塊列的總數(shù)。每個(gè)特征塊行化，肥，冊(cè)，...皿包 括在圖像帖10的水平方向上的多個(gè)特征塊N;并且每個(gè)特征塊列Vl，V2，V3, .. .VC包括在圖 像帖10的垂直方向上的多個(gè)特征塊M。
[0018] 每個(gè)特征塊FBI,FB2，F(xiàn)B3, .. .FBx具有關(guān)聯(lián)的特征塊組件，諸如方向梯度化OG)特 征塊組件的關(guān)聯(lián)直方圖。例如，在各實(shí)現(xiàn)中，圖像帖10能夠分割成單元（圖像帖10的各個(gè)空 間區(qū)域），其中每個(gè)單元包括圖像帖10的一個(gè)或多個(gè)像素。每個(gè)像素具有邊緣(梯度)強(qiáng)度值 和邊緣角度(方向）值。對(duì)于每個(gè)單元，邊緣強(qiáng)度加權(quán)邊緣角直方圖能夠通過(guò)對(duì)于每個(gè)邊緣 角倉(cāng)庫(kù)累積邊緣強(qiáng)度值來(lái)確定。該直方圖提供了用于單元的HOG描述符。單元隨后能夠分組 成塊(此處，特征塊FBl，F(xiàn)B2，F(xiàn)B3,.. .FBx),其中每個(gè)單元能夠形成多于一個(gè)塊的部分。對(duì)于 每個(gè)塊，強(qiáng)度度量（"能量"能夠累積在塊內(nèi)的單元上且用于標(biāo)準(zhǔn)化該塊內(nèi)的各單元的HOG特 征描述符，使得塊具有關(guān)聯(lián)的冊(cè)G特征塊組件。在各實(shí)現(xiàn)中，關(guān)聯(lián)的冊(cè)G特征塊組件因此可W 包括塊內(nèi)的單元的標(biāo)準(zhǔn)化單元直方圖的冊(cè)G特征描述符的向量。
[0019] 利用HOG特征塊組件，圖像帖10能夠被分析W檢測(cè)圖像帖10中的對(duì)象。例如，檢測(cè) 窗能夠被限定且與圖像帖10的部分對(duì)準(zhǔn)，使得檢測(cè)窗重疊(跨越）圖像帖10的部分;并且與 圖像帖10的通過(guò)檢測(cè)窗重疊的部分對(duì)應(yīng)的冊(cè)G特征塊組件能夠被評(píng)估W識(shí)別圖像帖10的部 分中的對(duì)象。檢測(cè)窗能夠移到圖像帖10內(nèi)的各位置W評(píng)估圖像帖10的各部分，用于對(duì)象檢 。在各實(shí)現(xiàn)中，檢測(cè)窗能夠在圖像帖10內(nèi)垂直地W及水平地移動(dòng)W評(píng)估圖像帖10的感興 趣區(qū)域，該圖像帖10的感興趣區(qū)域可W包括全部的圖像帖10或者圖像帖10的選定部分。在 各實(shí)現(xiàn)中，圖像帖10能夠利用具有各種尺寸一-多個(gè)檢測(cè)窗標(biāo)度L一一的檢測(cè)窗來(lái)評(píng)估。例 如，在一些實(shí)施方案中，=個(gè)檢測(cè)窗標(biāo)度化=3)能夠應(yīng)用于圖像帖IOW檢測(cè)對(duì)象，諸如具有 48x 80像素尺寸的第一檢測(cè)窗，具有64x 128像素尺寸的第二檢測(cè)窗，W及具有SOx 160像 素尺寸的第=檢測(cè)窗。通過(guò)具有不同尺寸的檢測(cè)窗來(lái)評(píng)估圖像帖10能夠增強(qiáng)對(duì)象檢測(cè)可靠 性。
[0020] 在圖1中，檢測(cè)窗20重疊圖像帖10的部分21，并且因此，重疊與圖像帖部分21對(duì)應(yīng) 的特征塊FB1，F(xiàn)B2，F(xiàn)B3,. . .FBx的部分。特別地，檢測(cè)窗20重疊多個(gè)特征塊行P，W及多個(gè)特 征塊列Q。例如，檢測(cè)窗20重疊八個(gè)特征塊行(P = S) W及四個(gè)特征塊列(Q = 4)。在圖像帖10 內(nèi)的每個(gè)位置，檢測(cè)窗20(更特別地，通過(guò)檢測(cè)窗20重疊的圖像部分)具有關(guān)聯(lián)的冊(cè)G特征向 量，其由與通過(guò)檢測(cè)窗20重疊的圖像部分對(duì)應(yīng)的特征塊的HOG特征塊組件來(lái)表征。例如，在 描繪的實(shí)施方案中，檢測(cè)窗20具有由與通過(guò)檢測(cè)窗20重疊的圖像部分21對(duì)應(yīng)的特征塊的 HOG特征塊組件表征的關(guān)聯(lián)的HOG特征向量。換言之，在每個(gè)位置處，與檢測(cè)窗20相關(guān)聯(lián)的 冊(cè)G特征向量能夠通過(guò)對(duì)通過(guò)檢測(cè)窗20重疊的特征塊的標(biāo)準(zhǔn)化單元直方圖化OG描述符)分 組來(lái)形成。
[0021] 分類器能夠?qū)OG特征向量評(píng)估且分類為肯定(表明冊(cè)G特征向量表示對(duì)象)或否 定(表明HOG特性向量不表示對(duì)象），從而對(duì)圖像帖10的被檢測(cè)窗20重疊(與其對(duì)應(yīng)）的部分 提供對(duì)象/非對(duì)象分類。在各實(shí)現(xiàn)中，分類器是支持向量機(jī)(SVM)分類器，諸如線性SVM，其能 夠被訓(xùn)練W針對(duì)各種尺寸的檢測(cè)窗來(lái)檢測(cè)對(duì)象。例如，SVM分類器可W是二進(jìn)制分類器，其 使用訓(xùn)練數(shù)據(jù)來(lái)構(gòu)建用于最優(yōu)地將冊(cè)G特征向量分成兩類一一此處是對(duì)象或非對(duì)象一一的 超平面。在各實(shí)現(xiàn)中，SVM分類器通過(guò)圖像集來(lái)訓(xùn)練，圖像集劃分成行人類圖像和非行人類 圖像，其中SVM分類器已經(jīng)過(guò)進(jìn)一步訓(xùn)練W利用不同尺寸的檢測(cè)窗對(duì)圖像進(jìn)行分類。
[0022] 在所描繪的實(shí)施方案中，SVM分類器構(gòu)建超平面30,超平面能夠用于將與檢測(cè)窗20 (W及因此表征圖像帖10中的圖像的冊(cè)G特征向量)相關(guān)聯(lián)的HOG特征向量識(shí)別為落入對(duì)象 (行人)類或非對(duì)象(非行人)類。超平面30具有與用于對(duì)象檢測(cè)和分類的檢測(cè)窗的尺寸對(duì)應(yīng) 的尺寸。例如，此處，超平面30還跨越多個(gè)特征塊行P和多個(gè)特征塊列Q。SVM分類器利用向量 點(diǎn)積40將與檢測(cè)窗20相關(guān)聯(lián)的HOG特征向量與超平面30(換言之，HOG特征描述符的加權(quán)和） 組合，并且然后評(píng)估向量點(diǎn)積40W將冊(cè)G特征向量（W及因此對(duì)應(yīng)的圖像部分21)分類為對(duì) 象或非對(duì)象。能夠?qū)D像帖10內(nèi)的各位置處與檢測(cè)窗20相關(guān)聯(lián)的冊(cè)G特征向量執(zhí)行該分類 過(guò)程，使得圖像帖10的各個(gè)部分能夠被分類為對(duì)象或非對(duì)象。
[0023] 典型地，當(dāng)實(shí)現(xiàn)圖1所描繪的示例性方法時(shí)，與圖像帖10對(duì)應(yīng)的所有的HOG特征塊 組件(此處，與特征塊FBl，F(xiàn)B2，F(xiàn)B3, .. .FBx相關(guān)聯(lián)的冊(cè)G特征塊組件）不能放置在內(nèi)存儲(chǔ)器 中用于對(duì)象檢測(cè)與分類過(guò)程。因此，冊(cè)G特征塊組件被放置在外存儲(chǔ)器中，并且隨著檢測(cè)窗 在圖像帖10內(nèi)移動(dòng)，對(duì)于圖像帖10內(nèi)的檢測(cè)窗的每個(gè)位置，關(guān)聯(lián)的HOG特征向量（W及因此 關(guān)聯(lián)的HOG特征塊組件)從外存儲(chǔ)器移動(dòng)到內(nèi)存儲(chǔ)器用于分類。例如，一旦檢測(cè)窗20移動(dòng)到 跨越如圖1所描繪的圖像部分21的位置，與圖像部分21對(duì)應(yīng)且因此形成關(guān)聯(lián)的HOG特征向量 的HOG特征塊組件從外存儲(chǔ)器移到內(nèi)存儲(chǔ)器，其中關(guān)聯(lián)的HOG特征向量隨后與超平面30組合 W確定向量點(diǎn)積40, W及因此將相關(guān)聯(lián)的HOG特征向量（W及因此，圖像帖10的與檢測(cè)窗20 對(duì)應(yīng)的部分)分類為對(duì)象或非對(duì)象。對(duì)于圖像帖10內(nèi)檢測(cè)窗20的每個(gè)位置，W及類似地對(duì)于 用于評(píng)估圖像帖10的其它檢測(cè)窗的每個(gè)位置，實(shí)現(xiàn)該特征塊組件(數(shù)據(jù))從外存儲(chǔ)器到內(nèi)存 儲(chǔ)器的移動(dòng)。
[0024] 圖2是根據(jù)本公開(kāi)的各個(gè)方面的用于檢測(cè)圖像帖內(nèi)的對(duì)象的示例性的方法50的流 程圖，諸如與參考圖1所描繪和描述的示例性方法相關(guān)聯(lián)的。方法50開(kāi)始于框52,將表征圖 像帖（與圖像帖對(duì)應(yīng)）的特征塊組件存儲(chǔ)在外存儲(chǔ)器中。例如，參考圖IW及對(duì)應(yīng)的描述，圖 像帖10能夠被分析W限定表征圖像帖10的特征塊組件，諸如HOG特征塊組件。在后續(xù)處理期 間能夠用于對(duì)圖像帖10的部分分類的HOG特征塊組件能夠存儲(chǔ)在外存儲(chǔ)器中。在框54中，檢 測(cè)窗定位成重疊(跨越)圖像帖的部分。例如，參考圖1，檢測(cè)窗20重疊圖像帖10的部分21。在 框56,與檢測(cè)窗相關(guān)聯(lián)的特征向量從外存儲(chǔ)器移到內(nèi)存儲(chǔ)器。例如，參考圖1，與圖像帖10內(nèi) 檢測(cè)窗20的位置相關(guān)聯(lián)的冊(cè)G特征向量從外存儲(chǔ)器移到內(nèi)存儲(chǔ)器。換言之，與通過(guò)檢測(cè)窗20 重疊的圖像部分21對(duì)應(yīng)的一組HOG特征塊組件從外存儲(chǔ)器移到內(nèi)存儲(chǔ)器。在框58處，方法50 進(jìn)行W確定超平面和特征向量的向量點(diǎn)積。例如，參考圖1，與檢測(cè)窗20相關(guān)聯(lián)的HOG特征向 量(定位在圖像帖10內(nèi)）與超平面30組合W確定向量點(diǎn)積40。在框60處，在各實(shí)現(xiàn)中圖像帖 的部分被分類成兩類之一。例如，參考圖1，基于向量點(diǎn)積40,通過(guò)檢測(cè)窗30重疊的圖像帖部 分21被分類為對(duì)象或非對(duì)象。步驟54至步驟60能夠重復(fù)，直到檢測(cè)窗已經(jīng)定位成重疊圖像 帖的各部分。例如，在各實(shí)現(xiàn)中，步驟54至步驟60重復(fù)，直到檢測(cè)窗20已經(jīng)覆蓋了圖像帖10 的全部。本公開(kāi)還構(gòu)思了運(yùn)樣的實(shí)現(xiàn)方式：圖像帖10的選定部分被評(píng)估，而不是整個(gè)圖像帖 10。此外，在各個(gè)檢測(cè)窗標(biāo)度被實(shí)現(xiàn)的情況下，能夠?qū)τ诿總€(gè)檢測(cè)窗標(biāo)度的檢測(cè)窗重復(fù)步驟 54至步驟60。在方法50之前、期間和之后，可W提供額外的步驟，并且對(duì)于方法50的其它實(shí) 施例，所描述的一些步驟能夠被取代或去除。
[002