局部特征量提取裝置、用于提取局部特征量的方法和程序的制作方法
【專利摘要】本發(fā)明減少特征量的大小，同時保持識別被寫體的精度。局部特征量提取裝置包括被配置成檢測圖像中的特征點的特征點檢測單元、被配置成獲取用于每個特征點的局部區(qū)域的局部區(qū)域獲取單元、被配置成將每個局部區(qū)域分成多個子區(qū)域的子區(qū)域分割單元、被配置成對每個局部區(qū)域中的每個子區(qū)域，生成具有多個維度的特征向量的子區(qū)域特征向量生成單元，以及被配置成基于每個局部區(qū)域中的子區(qū)域之間的位置關系，從每個子區(qū)域中的特征向量選擇維度，使得減小鄰近子區(qū)域之間的相關性以及將所選擇的維度的元素輸出為局部區(qū)域的特征量的維度選擇單元。
【專利說明】局部特征量提取裝置、用于提取局部特征量的方法和程序

【技術領域】
[0001] 本發(fā)明涉及局部特征量提取裝置、用于提取局部特征量的方法和程序。

【背景技術】
[0002] 已經(jīng)提出了打算在存在拍攝大小或角度的變化或遮擋的情況下，魯棒地識別圖像 中的被寫體（object)的方案。這些方案涉及檢測圖像中的大量興趣點（特征點）以及提 取特征點的每一個周圍的局部區(qū)域中的特征量（局部特征量）。作為典型的方案，專利文獻 1和非專利文獻1公開了使用SIFT(規(guī)模不變特征變換）特征量的局部特征量提取裝置。
[0003] 圖31是示出使用SIFT特征量的局部特征量提取裝置的一般配置的示例的圖。此 夕卜，圖32是示出圖31中所示的局部特征量提取裝置中的SIFT特征量的提取的圖像的圖。
[0004] 如圖31所示，局部特征量提取裝置包括特征點檢測單元200、局部區(qū)域獲取單元 210、子區(qū)域分割單元220和子區(qū)域特征向量生成單元230。特征點檢測單元200檢測圖像 中的大量興趣點（特征點）并且輸出特征點的每一個的坐標位置、規(guī)模（大?。┖投ㄏ?。 局部區(qū)域獲取單元210基于所檢測的特征點的每一個的坐標值、規(guī)模和定向，獲取將從其 提取特征量的局部區(qū)域。子區(qū)域分割單元220將局部區(qū)域分割成子區(qū)域。在圖32所示的 例子中，子區(qū)域分割單元220將局部區(qū)域分割成16個塊（4X4個塊）。子區(qū)域特征向量生 成單元230針對局部區(qū)域的子區(qū)域的每一個，生成梯度定向直方圖。具體地，子區(qū)域特征向 量生成單元230針對每個子區(qū)域中的像素中的每一個計算梯度定向并且執(zhí)行量化以獲得8 個方向。所確定的定向方向是相對于由特征點檢測單元200輸出的特征點的定向的方向。 艮P，定向方向是相對于由特征點檢測單元200輸出的定向所規(guī)范化的方向。然后，子區(qū)域特 征向量生成單元230合計每個子區(qū)域的量化的8個定向的頻率以生成梯度定向直方圖。由 此，針對每個特征點生成的16個塊X8個定向的梯度定向直方圖被輸出為128維度的局部 特征量。
[0005] 現(xiàn)有技術文獻
[0006] 專利文獻 1 :U. S.專利 No. 6711293
[0007] 非專利文獻 1 :David G. Lowe, "Distinctive image features from scale-invariant keypoints"，（U.S.)，International Journal of Computer Vision, 60(2), 2004, p. 91-110


【發(fā)明內(nèi)容】

[0008] 本發(fā)明要解決的問題
[0009] 上述局部特征量不利地具有增加的大小。例如，為了以1字節(jié)表示每一維度中的 直方圖值，SIFT特征量需要128維度XI字節(jié)的大小。當使用局部特征量來使圖像彼此匹 配（匹配）時，由此增加的局部特征量的大小可能產(chǎn)生問題。例如，當用戶終端（例如具有 照相機的便攜式終端）從圖像中提取局部特征量，并且將局部特征量傳送到服務器，以便 于搜索與已經(jīng)從其提取了局部特征量的圖像類似的圖像時，大的局部特征量的大小使通信 時間增加。這增加了直至獲得圖像搜索的結果為止的時間量。此外，當基于局部特征量使 圖像彼此匹配時，大的局部特征量的大小使處理時間增加。此外，在使用局部特征量的圖像 搜索中，將圖像中的局部特征量存儲在存儲器中。然而，大的局部特征量的大小減小可以在 存儲器上存儲其局部特征量的圖像的數(shù)目。因此，使用局部特征量不適合于預期用于大量 圖像的大規(guī)模圖像搜索。
[0010] 由此，本發(fā)明的目的是減小特征量的大小，同時保持被寫體識別的精度。
[0011] 對問題的解決方案
[0012] 根據(jù)本發(fā)明的一方面的局部特征量提取裝置包括檢測圖像中的特征點的特征點 檢測單元、獲取針對各個特征點的局部區(qū)域的局部區(qū)域獲取單元、將各個局部區(qū)域分割成 多個子區(qū)域的子區(qū)域分割單元、針對各個局部區(qū)域中的子區(qū)域中的每一個生成具有多個維 度的特征向量的子區(qū)域特征向量生成單元、以及基于各個局部區(qū)域中的子區(qū)域的位置關系 來從各個子區(qū)域中的特征向量中選擇維度以便于減少鄰近子區(qū)域中的特征向量之間的相 關性并且將所選擇的維度的元素作為局部區(qū)域的特征量進行輸出的維度選擇單元。
[0013] 此外，在根據(jù)本發(fā)明的一方面的用于提取局部特征量的方法中，計算機檢測圖像 中的特征點，獲取針對各個特征點的局部區(qū)域，將各個局部區(qū)域分割成多個子區(qū)域，針對各 個局部區(qū)域中的子區(qū)域中的每一個生成具有多個維度的特征向量，以及基于各個局部區(qū)域 中的子區(qū)域中的位置關系來從各個子區(qū)域中的特征向量中選擇維度以便于減小鄰近子區(qū) 域中的特征向量之間的相關性，并且將所選擇的維度的元素作為局部地區(qū)的特征量進行輸 出。
[0014] 此外，根據(jù)本發(fā)明的一方面的程序允許計算機實現(xiàn)檢測圖像中的特征點的功能， 獲取針對各個特征點的局部區(qū)域的功能，將各個局部地區(qū)分割成多個子區(qū)域的功能，針對 各個局部區(qū)域中的子區(qū)域中的每一個生成具有多個維度的特征向量的功能，以及基于各個 局部區(qū)域中的子區(qū)域中的位置關系來從各個子區(qū)域的特征向量中選擇維度以便于減小鄰 近子區(qū)域中的特征向量之間的相關性，并且將所選擇的維度的元素作為局部地區(qū)的特征量 進行輸出的功能。
[0015] 根據(jù)本發(fā)明，"單元"不是簡單的是物理裝置，而是包括通過軟件實現(xiàn)"單元"的功 能。此外，一個"單元"或裝置的功能可以由兩個或以上物理裝置或設備實現(xiàn)或兩個或以上 "單元"或設備的功能可以由一個物理裝置或設備實現(xiàn)。
[0016] 本發(fā)明的效果
[0017] 本發(fā)明可以在保持被寫體識別的精度的情況下減小特征量的大小。

【專利附圖】

【附圖說明】
[0018] 圖1是示出作為本發(fā)明的第一實施例的局部特征量提取裝置的配置的圖。
[0019] 圖2是示出從128維的特征向量中選擇維度的例子的圖。
[0020] 圖3是示出維度選擇的其他例子的圖。
[0021] 圖4是示出用于維度的選擇的優(yōu)先次序的例子的圖。
[0022] 圖5是示出150維中的特征向量的元素的編號的圖。
[0023] 圖6是示出150維中的特征向量的元素的編號的另一例子的圖。
[0024] 圖7是示出根據(jù)優(yōu)先次序，局部特征量輸出的配置的例子的圖。
[0025] 圖8A和8B是示出用于維度的選擇的優(yōu)先次序的例子的圖。
[0026] 圖9A和9B是示出用于維度的選擇的優(yōu)先次序的另一例子的圖。
[0027] 圖10是示出圓形局部區(qū)域的例子的圖。
[0028] 圖11是示出用于圓形局部區(qū)域的維度選擇的例子的圖。
[0029] 圖12是示出局部特征量提取裝置中的處理的例子的流程圖。
[0030] 圖13是示出根據(jù)本發(fā)明的第二實施例的局部特征量提取裝置的配置的圖。
[0031] 圖14是示出根據(jù)本發(fā)明的第三實施例的局部特征量提取裝置的配置的圖。
[0032] 圖15是示出將梯度定向直方圖中的維度量化為二進制的例子的圖。
[0033] 圖16是示出根據(jù)本發(fā)明的第四實施例的局部特征量提取裝置的配置的圖。
[0034] 圖17是示出根據(jù)本發(fā)明的第五實施例的局部特征量提取裝置的配置的圖。
[0035] 圖18是示出特征向量的擴展的例子的圖。
[0036] 圖19是示出特征向量的擴展的例子的圖。
[0037] 圖20是示出使用不同于由后級維度選擇單元選擇的維度的維度的梯度定向直方 圖的擴展的例子的圖。
[0038] 圖21是示出用于維度的選擇的優(yōu)先次序的另一例子的圖。
[0039] 圖22是示出根據(jù)優(yōu)先次序的局部特征量輸出的配置例子的圖。
[0040] 圖23是示出用于維度的選擇的優(yōu)先次序的另一例子的圖。
[0041] 圖24是示出根據(jù)優(yōu)先次序的局部特征量輸出的配置例子的圖。
[0042] 圖25是示出根據(jù)本發(fā)明的第六實施例的局部特征量提取裝置的配置的圖。
[0043] 圖26是示出根據(jù)本發(fā)明的第七實施例的局部特征量提取裝置的配置的圖。
[0044] 圖27是示出根據(jù)本發(fā)明的第八實施例的局部特征量提取裝置的配置的圖。
[0045] 圖28是示出根據(jù)本發(fā)明的第九實施例的局部特征量提取裝置的配置的圖。
[0046] 圖29是不出可應用局部特征量提取裝置的匹配系統(tǒng)的例子的圖。
[0047] 圖30是示出在匹配裝置中，使用局部特征量匹配的例子的圖。
[0048] 圖31是示出使用SIFT特征量的局部特征量提取裝置的一般配置的例子的圖。
[0049] 圖32是示出在局部特征量提取裝置中，SIFT局部特征量的提取的圖像的圖。

【具體實施方式】
[0050] 在下文中，將參考圖，描述本發(fā)明的實施例。
[0051] 第一實施例
[0052] 圖1是示出作為本發(fā)明的第一實施例的局部特征量提取裝置的配置的圖。局部特 征量提取裝置1A被配置成包括特征點檢測單元10、局部區(qū)域獲取單元12、子區(qū)域分割單元 14、子區(qū)域特征向量生成單元16和維度選擇單元18。局部特征量提取裝置1A可以被配置 成例如使用信息處理裝置，諸如個人計算機或個人數(shù)字助理。局部特征量提取裝置1A的單 元可以通過例如使用諸如存儲器的存儲區(qū)域或通過執(zhí)行存儲在存儲區(qū)域中的程序的處理 器來實現(xiàn)。可以類似地實現(xiàn)下述其他實施例中的組件。
[0053] 特征點檢測單元10檢測圖像中的多個興趣點（特征點），并且輸出各個特征點的 坐標位置、規(guī)模（大?。┖投ㄏ?。
[0054] 局部區(qū)域獲取單元12基于所檢測的特征點的每一個的坐標值、規(guī)模和角度來獲 取將從其提取特征量的局部區(qū)域。
[0055] 子區(qū)域分割單元14將局部區(qū)域分割成子區(qū)域。例如，子區(qū)域分割單元14可以將 局部區(qū)域分成16個塊（4 X 4個塊），如圖32所示。替代地，子區(qū)域分割單元14可以將局部 區(qū)域分割成25個塊（5 X 5個塊）。
[0056] 子區(qū)域特征向量生成單元16生成針對局部區(qū)域中的子區(qū)域中的每一個的特征向 量。作為子區(qū)域中的特征向量，例如，可以使用梯度定向直方圖。具體地，子區(qū)域特征向量 生成單元16計算各個子區(qū)域中的像素中的每一個的梯度定向（gradient orientation), 并且執(zhí)行量化來獲得8個定向。所確定的定向方向是相對于由特征點檢測單元10輸出的 特征點的定向的方向。即，定向方向是相對于由特征點檢測單元10輸出的定向規(guī)范化的方 向。然后，子區(qū)域特征向量生成單元16合計各個子區(qū)域的量化的8個方向的頻率以生成梯 度定向直方圖。在該情況下，子區(qū)域特征向量生成單元16輸出特征向量，包括針對各個特 征點生成的16割塊X8個方向=128個維度的梯度定向直方圖。此外，從量化得到的梯度 定向的數(shù)目不限于8,而是可以是任何量化數(shù)目，諸如4、6或10。當要通過量化獲得D個梯 度定向時，如果量化前的梯度定向由G(0至2π弧度）表示，則可以使用例如公式（1)或公 式（2)來確定用于梯度定向的量化值（i) (i = 0,…，D-1)。然而，第一實施例不限于這些 公式。
[0057] [公式 1]
[0058]

【權利要求】
1. 一種局部特征量提取裝置，包括： 特征點檢測單元，所述特征點檢測單元被配置成檢測圖像中的特征點； 第一局部區(qū)域獲取單元，所述第一局部區(qū)域獲取單元被配置成獲取針對各個特征點的 局部區(qū)域； 第一子區(qū)域分割單元，所述第一子區(qū)域分割單元被配置成將各個局部區(qū)域分割成多個 子區(qū)域； 第一子區(qū)域特征向量生成單元，所述第一子區(qū)域特征向量生成單元被配置成針對各個 局部區(qū)域中的子區(qū)域中的每一個生成具有多個維度的特征向量；以及 維度選擇單元，所述維度選擇單元被配置成基于各個局部區(qū)域中的子區(qū)域之間的位置 關系來從每個子區(qū)域中的特征向量選擇使得減小鄰近子區(qū)域之間的相關性的維度，并且將 所選擇的維度的元素作為局部區(qū)域的特征量進行輸出。
2. 根據(jù)權利要求1所述的局部特征量提取裝置，其中，所述維度選擇單元被配置成以 使得相鄰子區(qū)域在所選擇的維度的至少一個中彼此不同的方式來從所述特征向量選擇維 度。
3. 根據(jù)權利要求1或2所述的局部特征量提取裝置，其中，所述維度選擇單元被配置成 根據(jù)用于從局部區(qū)域的多個子區(qū)域中的特征向量中選擇維度的選擇順序，來從所述特征向 量選擇維度。
4. 根據(jù)權利要求3所述的局部特征量提取裝置，其中，所述維度選擇單元被配置成將 按根據(jù)所述選擇順序選擇的維度的順序所選擇的維度的元素作為局部區(qū)域的特征量進行 輸出。
5. 根據(jù)權利要求1至4中的任何一項所述的局部特征量提取裝置，進一步包括維度 數(shù)目確定單元，所述維度數(shù)目確定單元被配置成確定由所述維度選擇單元所選擇的維度數(shù) 目，其中，所述維度選擇單元被配置成以使得局部區(qū)域的特征量的維度數(shù)目等于所確定的 維度數(shù)目的方式來從所述特征向量選擇維度。
6. 根據(jù)權利要求5所述的局部特征量提取裝置，其中，所述維度數(shù)目確定單元被配置 成根據(jù)所檢測的特征點的數(shù)目，確定針對各個特征點的局部區(qū)域的特征量所選擇的維度數(shù) 目。
7. 根據(jù)權利要求5所述的局部特征量提取裝置，其中，所述維度數(shù)目確定單元被配置 成基于指示各個特征點的重要性的信息來確定針對各個特征點的局部區(qū)域的特征量所選 擇的維度數(shù)目。
8. 根據(jù)權利要求1至7的任何一項所述的局部特征量提取裝置，進一步包括配置成量 化每個子區(qū)域中的所述特征向量的量化單元， 其中，所述維度選擇單元被配置成從所量化的特征向量選擇維度。
9. 根據(jù)權利要求1至7中的任何一項所述的局部特征量提取裝置，進一步包括配置成 量化所述局部區(qū)域的特征量的量化單元。
10. 根據(jù)權利要求1至9中的任何一項所述的局部特征量提取裝置，進一步包括特征向 量擴展單元，所述特征向量擴展單元被配置成基于多個鄰近子區(qū)域中的所述特征向量來生 成擴展子區(qū)域的特征向量，所述擴展子區(qū)域是大于所述多個鄰近子區(qū)域中的每一個的子區(qū) 域， 其中，所述維度選擇單元被配置成基于各個局部區(qū)域中的擴展的子區(qū)域之間的位置關 系來從每個擴展的子區(qū)域的所述特征向量選擇使得減小鄰近擴展子區(qū)域之間的相關性的 維度，并且將所選擇的維度的元素作為局部區(qū)域的特征量進行輸出。
11. 根據(jù)權利要求10所述的局部特征量提取裝置，其中，所述特征向量的元素是取決 于定向的特征量，并且 所述特征向量擴展單元被配置成基于每個子區(qū)域中的所述特征向量的所述維度選擇 單元沒有選擇的維度的元素，來生成用于所述擴展子區(qū)域的特征向量。
12. 根據(jù)權利要求1至11中的任何一項所述的局部特征量提取裝置，進一步包括第二 子區(qū)域特征向量生成單元，所述第二子區(qū)域特征向量生成單元被配置成針對每個局部區(qū)域 中的子區(qū)域中的每一個生成具有多個維度的特征向量，所述具有多個維度的特征向量在至 少一個元素的定向上不同于由所述第一子區(qū)域特征向量生成單元所生成的特征向量。
13. 根據(jù)權利要求12所述的局部特征量提取裝置，進一步包括第二子區(qū)域分割單元， 所述第二子區(qū)域分割單元被配置成將每個局部區(qū)域分割成與通過所述第一子區(qū)域分割單 元進行的分割所獲得的多個子區(qū)域不同的多個子區(qū)域， 其中，所述第二子區(qū)域特征向量生成單元被配置成針對通過所述第二子區(qū)域分割單元 進行的分割所獲取的子區(qū)域中的每一個生成所述特征向量。
14. 根據(jù)權利要求13所述的局部特征量提取裝置，進一步包括第二局部區(qū)域獲取單 元，所述第二局部區(qū)域獲取單元被配置成針對每個特征點獲取與由所述第一局部區(qū)域獲取 單元所獲得的局部區(qū)域不同的局部區(qū)域， 其中，所述第二子區(qū)域分割單元被配置成將由所述第二局部區(qū)域獲取單元所獲得的局 部區(qū)域中的每一個分割成多個子區(qū)域。
15. -種用于提取局部特征量的方法，由計算機執(zhí)行的所述方法包括： 檢測圖像中的特征點； 獲取針對各個特征點的局部區(qū)域； 將各個局部區(qū)域分割成多個子區(qū)域； 針對各個局部區(qū)域中的子區(qū)域中的每一個生成具有多個維度的特征向量；以及 基于各個局部區(qū)域中的子區(qū)域之間的位置關系來從每個子區(qū)域中的特征向量選擇使 得減小鄰近子區(qū)域之間的相關性的維度，并且將所選擇的維度的元素作為局部區(qū)域的特征 量進行輸出。
16. -種程序，所述程序使得計算機執(zhí)行下述功能： 檢測圖像中的特征點； 獲取針對各個特征點的局部區(qū)域； 將各個局部區(qū)域分割成多個子區(qū)域； 針對各個局部區(qū)域中的子區(qū)域中的每一個生成具有多個維度的特征向量；以及 基于各個局部區(qū)域中的子區(qū)域之間的位置關系來從每個子區(qū)域中的特征向量選擇使 得減小鄰近子區(qū)域之間的相關性的維度，并且將所選擇的維度的元素作為局部區(qū)域的特征 量進行輸出。
【文檔編號】G06T7/00GK104115189SQ201280056878
【公開日】2014年10月22日 申請日期:2012年11月15日 優(yōu)先權日:2011年11月18日
【發(fā)明者】巖元浩太, 間瀨亮太 申請人:日本電氣株式會社