商品識別裝置及商品識別方法
【專利摘要】本發(fā)明公開了一種商品識別裝置及商品識別方法，該裝置包括：特征量抽取部，從通過攝影商品的攝像部已攝影的圖像中抽取圖像所包含的商品的外觀特征量；相似度計算部，將通過特征量抽取部抽取出的外觀特征量與對應(yīng)每個識別對象商品保存有表示商品的表面信息的特征量數(shù)據(jù)的識別詞庫文件的特征量數(shù)據(jù)進行核對，并對應(yīng)每個識別對象商品計算出相似度，相似度是表示外觀特征量與特征量數(shù)據(jù)相似到哪種程度的數(shù)據(jù)；候選輸出部，按照通過相似度計算部計算出的相似度從大到小的順序?qū)⒆R別對象商品作為識別商品候選進行輸出；距離測量部，測量從攝像部到通過該攝像部已攝影的商品的距離；可變部，根據(jù)通過距離測量部測量的距離，變更通過候選輸出部輸出的識別商品候選數(shù)。
【專利說明】商品識別裝置及商品識別方法
[0001]本申請主張申請日為2012年11月5日、申請?zhí)枮镴P2012-243485的日本申請為優(yōu)先權(quán)，并引用上述申請的內(nèi)容。
【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及一種從通過攝像部攝像的圖像數(shù)據(jù)中識別商品的商品識別裝置及用于使計算機具有作為所述商品識別裝置的功能的商品識別方法。
【背景技術(shù)】
[0003]有這樣一種技術(shù)，從通過攝像部攝像了作為對象的物品(目的物)的圖像數(shù)據(jù)中抽取所述物品的外觀特征量，并與識別詞庫文件所登記的基準圖像的特征量數(shù)據(jù)進行核對，計算出相似度，并根據(jù)該相似度識別所述物品的種類等。識別這樣的圖像中包含的物品的技術(shù)被稱為一般物體識別(generic object recognition:—般物體識別)。關(guān)于該一般物體識別的技術(shù)在下列的文獻中各種識別技術(shù)被說明。
[0004]柳井啓司，“一般物體認識A現(xiàn)狀i今後”，情報処理學(xué)會論文誌，V ο 1.48, N0.S IG 16 [平成 22 年8 月 10 日検索],?1 > 夕一才、'7 卜〈URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yana1.pdf> (柳井啟司，“一般物體識別的現(xiàn)狀與未來”，信息處理學(xué)會論文志，Vol.48，N0.SIG16 “平成 22 年 8 月 10 日檢索”，互聯(lián)網(wǎng)< URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yana1.pdf >)
[0005]此外，通過對應(yīng)每個目的物對圖像進行區(qū)域分割，進行一般物體識別的技術(shù)在下列的文獻中被說明。
[0006]Jamie Shotton h ,“Semantic Texton Forests for Image Categorization andSegmentation，，，[平成 22 年 8 月 10 日検索]，^ > 夕一才、'7 卜 <URL:http://citeseerx. 1st.psu.edu/viewdoc/download?doi = 10.1.1.145.3036&rep=repl&type=pdf> (JamieShotton h (杰米肖頓等人),“Semantic Texton Forests for Image Categorization andSegmentation: ”，“平成 22 年 8 月 10 日檢索”，互聯(lián)網(wǎng) < URL:http://citeseerx.1st.psu.edu/viewdoc/download ? doi = 10.1.1.145.3036&rep = repl&type = pdf >)。
[0007]近年來，提案有諸如在小賣店的結(jié)賬系統(tǒng)(P0S系統(tǒng))中，向顧客所購買的商品，尤其象蔬菜、水果等那樣未附有條形碼的商品的識別裝置應(yīng)用上述的一般物體識別的技術(shù)。在這種情況下，雖然操作員(店員或顧客)朝向攝像部對準了識別對象的商品，但是在對準了時，從攝像部到商品的距離未必為一定。另一方面，攝像部的像素數(shù)由于是固定的，所以攝影圖像的分辨率會因從攝像部到商品的距離而不同。因此，有這樣的一種擔(dān)心，在比較了從攝像圖像抽取的商品的外觀特征量和基準圖像的特征量數(shù)據(jù)時，因為攝像圖像和基準圖像的分辨率不同所以相似度變低，識別率降低。

【發(fā)明內(nèi)容】

[0008]鑒于上述問題，本發(fā)明的目的在于提供一種商品識別裝置及商品識別方法，其能夠極力抑制因從攝像部到商品的距離的變化而導(dǎo)致識別率降低的影響。
[0009]本發(fā)明第一方面涉及的商品識別裝置，包括:特征量抽取部、相似度計算部、候選輸出部、距離測量部以及可變部。特征量抽取部從通過攝影商品的攝像部已攝影的圖像中抽取所述圖像所包含的商品的外觀特征量。相似度計算部將通過特征量抽取部抽取出的外觀特征量與對應(yīng)每個識別對象商品保存有表示該商品的表面信息的特征量數(shù)據(jù)的識別詞庫文件的特征量數(shù)據(jù)進行核對，并對應(yīng)每個識別對象商品計算出相似度，所述相似度是表示外觀特征量與特征量數(shù)據(jù)相似到哪種程度的數(shù)據(jù)。候選輸出部按照通過相似度計算部計算出的相似度從大到小的順序?qū)⒆R別對象商品作為識別商品候選進行輸出。距離測量部測量從攝像部到通過該攝像部已攝影的商品的距離?？勺儾扛鶕?jù)通過距離測量部測量出的距離，變更通過候選輸出部輸出的識別商品候選數(shù)。
[0010]本發(fā)明第二方面涉及的商品識別方法，包括以下步驟:特征量抽取步驟，從通過攝影商品的攝像部已攝影的圖像中抽取所述圖像所包含的商品的外觀特征量；相似度計算步驟，將通過該特征量抽取步驟抽取出的外觀特征量與對應(yīng)每個識別對象商品保存有表示該商品的表面信息的特征量數(shù)據(jù)的識別詞庫文件的所述特征量數(shù)據(jù)進行核對，并對應(yīng)每個所述識別對象商品計算出相似度，其中，所述相似度是表示所述外觀特征量與所述特征量數(shù)據(jù)相似到哪種程度的數(shù)據(jù)；候選輸出步驟，按照通過該相似度計算步驟計算出的所述相似度從大到小的順序?qū)⑺鲎R別對象商品作為識別商品候選進行輸出；以及可變步驟，根據(jù)從所述攝像部到通過所述攝像部已攝影的商品的距離，變更通過所述候選輸出步驟輸出的識別商品候選數(shù)。
【專利附圖】

【附圖說明】
[0011]下面，參照附圖對本發(fā)明所涉及的商品識別裝置及商品識別方法進行說明。當(dāng)結(jié)合附圖考慮時，通過參照下面的詳細描述，能夠更完整更好地理解本發(fā)明以及容易得知其中許多伴隨的優(yōu)點，但此處所說明的附圖用來提供對本發(fā)明的進一步理解，構(gòu)成本申請的一部分，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當(dāng)限定，其中:
[0012]圖1是作為一實施例的店鋪結(jié)賬系統(tǒng)的外觀圖；
[0013]圖2是表示該店鋪結(jié)賬系統(tǒng)的掃描裝置和POS終端的硬件構(gòu)成的框圖；
[0014]圖3是表示識別詞庫文件所保存的商品分類詞庫數(shù)據(jù)的構(gòu)造的示意圖；
[0015]圖4是表示適當(dāng)距離文件所保存的適當(dāng)距離數(shù)據(jù)的構(gòu)成的示意圖；
[0016]圖5是表示在向掃描裝置的讀取窗對準了商品時的狀態(tài)和此時所攝影的幀圖像的一例的不意圖；
[0017]圖6是表示在向掃描裝置的讀取窗對準了商品時的狀態(tài)和此時所攝影的幀圖像的一例的不意圖；
[0018]圖7是表示掃描裝置所具有的作為商品識別裝置的功能的框圖；
[0019]圖8是表示掃描裝置的CPU按照商品識別程序執(zhí)行的信息處理次序的要部的流程圖；
[0020]圖9是具體地示出距離警告處理的次序的流程圖；
[0021]圖10是具體地示出識別處理的次序的流程圖；[0022]圖11是表示在商品和攝像部的距離遠時觸摸面板所顯示的畫面的一例圖；
[0023]圖12是表示在商品和攝像部的距離近時觸摸面板所顯示的畫面的一例圖；以及
[0024]圖13是表示在商品和攝像部的距離恰當(dāng)時觸摸面板所顯示的畫面的一例圖。
[0025]附圖標記說明
[0026]I掃描裝置2POS終端
[0027]12觸摸面板14攝像部
[0028]15距離傳感器30識別詞庫文件
[0029]40適當(dāng)距離文件71特征量抽取部
[0030]72相似度計算部73候選輸出部
[0031]74距離測量部75距離判定部
[0032]76警告部77可變部
[0033]78第一確定部79第二確定部
【具體實施方式】
[0034]下面，參照附圖，對商品識別裝置的實施例進行說明。另外，本實施例是使構(gòu)筑將蔬菜、水果等作為商品進行處理的小賣店的店鋪結(jié)賬系統(tǒng)的掃描裝置1，具有作為商品識別裝置的功能的情況。
`[0035]圖1是店鋪結(jié)賬系統(tǒng)的外觀圖。該系統(tǒng)包括作為對顧客購買的商品進行登記的登記部的掃描裝置1、以及作為對顧客的貨款支付進行處理的結(jié)算部的P0S(Point Of Sales:銷售點)終端2。掃描裝置I被安裝在結(jié)賬臺3上。POS終端2通過拉出裝置5設(shè)置在收銀臺4上。掃描裝置I和POS終端2通過通信電纜300 (參照圖2)電氣連接。
[0036]掃描裝置I具有鍵盤11、觸摸面板12及顧客用顯示器13。這些顯示、操作裝置(鍵盤11、觸摸面板12及顧客用顯示器13)被安裝在構(gòu)成掃描裝置I的本體的薄的矩形形狀的外殼IA上。
[0037]外殼IA內(nèi)置有攝像部14。此外，在外殼IA的正表面上形成有矩形形狀的讀取窗IB0攝像部14具有作為區(qū)域圖像傳感器的CCD (Charge Coupled Device:電荷稱合器件)攝像元件及其驅(qū)動電路、用于使攝像區(qū)域的圖像在CCD攝像元件上成像的攝像透鏡。攝像區(qū)域就是指從讀取窗IB透過攝像透鏡在CCD攝像元件的區(qū)域上成像的幀圖像的區(qū)域。攝像部14輸出透過攝像透鏡在CXD攝像元件上已成像的攝像區(qū)域的圖像。另外，攝像部14也可以是CMOS (Complementary Metal Oxide Semiconductor:互補金屬氧化物半導(dǎo)體)圖像傳感器。
[0038]在所述讀取窗IB的附近設(shè)有作為后述的距離測量部74的距離傳感器15。距離傳感器15用作從所述攝像部14到通過該攝像部14攝影的商品的距離計量。作為這樣的距離傳感器15可適用有組合紅外線LED和光電晶體管的、或者使用超聲波、激光的等公知的距離傳感器。
[0039]POS終端2具有鍵盤21、操作員用顯示器22、顧客用顯示器23及票據(jù)打印機24，作為結(jié)算所需要的設(shè)備。
[0040]結(jié)賬臺3沿其里側(cè)的顧客通道呈細長形狀。收銀臺4在相對于沿結(jié)賬臺3進行移動的顧客的移動方向下游側(cè)的結(jié)賬臺3的端部跟前側(cè)，與結(jié)賬臺3大致垂直地被放置。而且，該結(jié)賬臺3的跟前側(cè)和收銀臺4的跟前側(cè)成為負責(zé)結(jié)賬的店員所謂的收銀員的空間。
[0041]在結(jié)賬臺3的大致中央上掃描裝置I的外殼IA以鍵盤11、觸摸面板12及讀取窗IB分別朝向跟前側(cè)的收銀員側(cè)的方式被豎直設(shè)置。掃描裝置I的顧客用顯示器13面向顧客通道側(cè)安裝在外殼IA上。
[0042]隔著結(jié)賬臺3的掃描裝置I的顧客移動方向上游側(cè)的負荷接受面成為用于放置裝入有購物顧客購入的未登記的商品M的購物筐6的空間。另一方面，下游側(cè)的負荷接受面成為用于放置購物筐7的空間，該購物筐7用于裝入通過掃描裝置I已登記的商品M。
[0043]圖2是表示掃描裝置I和POS終端2的硬件構(gòu)成的框圖。掃描裝置I具有掃描部101、以及操作、輸出部102。掃描部101安裝有作為控制部本體的CPU(Central ProcessingUnit:中央處理器)111。而且，在該CPUlll上通過地址總線、數(shù)據(jù)總線等的總線112連接有ROM (Read Only Memory:只讀存儲器)113 和 RAM (Random Access Memory:隨機存取存儲器)114。ROMl 13存儲有后述的商品識別程序等通過CPUlll執(zhí)行的程序。
[0044]此外，總線112通過輸入輸出電路(未圖示)連接有所述攝像部14和距離傳感器
15。此外，總線112通過連接接口 115及連接接口 116被延長，并在該總線112上連接有所述鍵盤11、觸摸面板12及顧客用顯示器13。觸摸面板12具有面板型顯示器12a、重疊配置在該顯示器12a的畫面上的觸摸面板傳感器12b。此外，語音合成部16也與總線112連接。語音合成部16按照通過總線112輸入的命令向揚聲器17輸出語音信號。揚聲器17將語音信號轉(zhuǎn)換成語音并進行輸出。
[0045]所述連接接口 116與所述鍵盤11、觸摸面板12、顧客用顯示器13及語音合成部16構(gòu)成所述操作、輸出部102。構(gòu)成操作、輸出部102的各部不僅受掃描部101的CPUlll的控制，而且也受后述的POS終端2的CPU201的控制。
[0046]POS終端2也安裝有作為控制部本體的CPU201。而且，在該CPU201上通過總線202連接有R0M203、RAM204、輔助存儲部205、通信接口 206及連接接口 207。此外，所述鍵盤21、操作員用顯示器22、顧客用顯示器23、打印機24及拉出裝置5的各部也分別通過輸入輸出電路(未圖示)與總線202連接。
[0047]通信接口 206通過LAN (Local Area Network:局域網(wǎng))等的網(wǎng)絡(luò)，與負責(zé)店鋪中樞的店鋪服務(wù)器(未圖示)連接。通過該連接，POS終端2可與店鋪服務(wù)器進行數(shù)據(jù)的發(fā)送接收。
[0048]連接接口 207通過通信電纜300與掃描裝置I的兩個連接接口 115、116連接。通過該連接，POS終端2從掃描裝置I的掃描部101接收信息。此外，POS終端2在與構(gòu)成掃描裝置I的操作、輸出部102的鍵盤11、觸摸面板12、顧客用顯示器13以及語音合成部16之間發(fā)送接收數(shù)據(jù)信號。另一方面，掃描裝置I通過該連接向POS終端2的輔助存儲部205所保存的數(shù)據(jù)文件進行訪問。
[0049]輔助存儲部205諸如是HDD (Hard Disk Drive:硬盤驅(qū)動器)裝置或SSD (SolidState Drive:固態(tài)驅(qū)動器)裝置，其除保存各種程序外，還保存識別詞庫文件30、適當(dāng)距離文件40等的數(shù)據(jù)文件。
[0050]圖3是表示識別詞庫文件30所保存的商品分類詞庫數(shù)據(jù)的構(gòu)造的示意圖。如圖3所示，識別詞庫文件30對應(yīng)每個作為識別對象的商品與識別所述商品的商品ID及商品名關(guān)聯(lián)保存有多個特征量數(shù)據(jù)。特征量數(shù)據(jù)是從攝影了通過所對應(yīng)的商品ID識別的商品的基準圖像中，抽取作為該商品的表面信息(外觀形狀、色彩、圖案、凹凸?fàn)顩r等)的外觀上的特征量，并以參數(shù)表示該外觀特征量的數(shù)據(jù)，對于一個商品，分別保存有從各個方向觀察該商品時的特征量數(shù)據(jù)O~η。另外，對于一個商品的特征量數(shù)據(jù)的數(shù)(η+1)并不固定。此外，特征量數(shù)據(jù)的數(shù)(η+l)因商品而不同。此外，商品名也可以不一定包含在商品分類詞庫數(shù)據(jù)中。
[0051]圖4是表示適當(dāng)距離文件40所保存的適當(dāng)距離數(shù)據(jù)的構(gòu)造的示意圖。如圖4所示，適當(dāng)距離文件40保存有適當(dāng)距離最小值Dmin、與所述最小值Dmin相比大的適當(dāng)距離最大值Dmax (Dmin < Dmax)。通過攝像部14攝影的商品和攝像部14的距離有適當(dāng)范圍。該適當(dāng)范圍的最小值是適當(dāng)距離最小值Dmin，最大值是適當(dāng)距離最大值Dmax。在這里,對適當(dāng)范圍進行說明。
[0052]圖5及圖6是表示在向掃描裝置I的讀取窗IB對準了商品(U > 3'' (蘋果))M時的狀態(tài)和此時所攝影的幀圖像Gl、G2的一例的不意圖。圖5不出從讀取窗IB到商品M的距離近的情況(距離=dl)，圖6示出從讀取窗IB到商品M的距離遠的情況(距離=d2:d2 >dl)。
[0053]如果對圖5的幀圖像Gl和圖6的幀圖像G2進行比較，則很明顯，在從讀取窗IB到商品M的距離近時商品M相對于幀圖像Gl的尺寸被較大地映出，在距離遠時，商品M相對于幀圖像G2的尺寸被較小地映出。其結(jié)果，當(dāng)將幀圖像Gl和幀圖像G2以同一尺寸的單元劃分成格子狀時，則映出商品M的單元數(shù)與在從讀取窗IB到商品M的距離遠時相比在近時多。就是說，在從讀取窗IB到商品M的距離近時映出到幀圖像Gl上的商品M的分辨率變高，在距離遠時分辨率變低。
[0054]另一方面，所述識別詞庫文件30所保存的商品分類詞庫數(shù)據(jù)的各特征量數(shù)據(jù)是將在將距離攝像部只離開 大致一定距離D的商品通過所述攝像部攝影了時的幀圖像作為基準圖像，并將該基準圖像格子狀地進行細分化，而且，對應(yīng)每個格子內(nèi)的圖像，抽取作為商品的表面信息(外觀形狀、色彩、圖案、凹凸?fàn)顩r等)的外觀上的特征量，并通過將該外觀特征量進行參數(shù)化從而生成有各特征量數(shù)據(jù)。因此，在一般物體識別的技術(shù)中，有這樣的傾向，通過攝像部攝影的圖像的分辨率和基準圖像的分辨率越近似識別率越變高。
[0055]在本實施例中，以在攝影基準圖像時的攝像單元和商品的距離D為基準，將獲得有大于等于規(guī)定的識別率的從+ α?到一 α2的范圍視為適當(dāng)范圍。也就是說，適當(dāng)范圍的最大值Dmax變?yōu)椤癉+ α I ”，最小值Dmin變?yōu)椤癉 — α I ”。
[0056]圖7是表示作為商品識別裝置的功能的框圖。在本實施例中，掃描裝置I具有該功能。就是說，掃描裝置I具有作為識別向攝像部14的攝像區(qū)域?qū)柿说纳唐稭并直到確定作為銷售商品的功能的特征量抽取部71、相似度計算部72、候選輸出部73、距離測量部74、距離判定部75、警告部76、可變部77、第一確定部78及第二確定部79。
[0057]特征量抽取部71從通過攝像部14攝影的圖像中抽取該圖像所包含的商品M的外觀特征量。相似度計算部72將通過特征量抽取部71抽取出的外觀特征量與識別詞庫文件30的特征量數(shù)據(jù)進行核對，并對應(yīng)每個作為識別對象的商品計算出表示外觀特征量與特征量數(shù)據(jù)相似到哪種程度的相似度。候選輸出部73按照通過相似度計算部72計算出的相似度從大到小的順序，將識別對象商品作為識別商品候選可選擇地顯示輸出在觸摸面板12上。[0058]距離測量部(距離傳感器15) 74測量從攝像部14到通過該攝像部14攝影的商品M的距離d。距離判定部75參照適當(dāng)距離文件40所保存的適當(dāng)距離數(shù)據(jù)(Dmax、DmirOjlJ定通過距離測量部74測量的距離d是否為適當(dāng)值。具體地說，只要距離d為從適當(dāng)距離最小值Dmin到適當(dāng)距離最大值Dmax的范圍內(nèi)，則判定為是適當(dāng)值，如果為范圍外，則判定為不是適當(dāng)值。
[0059]警告部76在通過距離判定部75判定出距離d不是適當(dāng)值時，發(fā)出警告。例如，使警告距離d不是適當(dāng)值的圖像顯示在觸摸面板12上?；蛘?，使警告距離d不是適當(dāng)值的語音引導(dǎo)從揚聲器17中發(fā)音。
[0060]可變部77根據(jù)通過距離測量部74測量出的距離d來變更通過候選輸出部73輸出的識別商品候選的數(shù)。具體地說，在通過距離判定部75判定出距離d為適當(dāng)值時，與在判定出為不是適當(dāng)值相比，使識別商品候選的數(shù)變少。例如，將在判定出為不是適當(dāng)值時的候選數(shù)視為“6”，將在判定出是適當(dāng)值時的候選數(shù)視為“3”。
[0061]第一確定部78將從作為識別商品候選被顯不輸出在觸摸面板12上的商品中選擇出的商品確定作為通過攝像部14攝影了的商品、即銷售商品。第二確定部79當(dāng)通過距離判定部75判定距離d為適當(dāng)值，且通過候選輸出部73作為識別商品候選被輸出的商品的最大相似度為大于等于預(yù)先設(shè)定的確定閾值時，則將具有該最大相似度的商品確定作為通過攝像部14攝影了的商品、即銷售商品。
[0062]各部71?79通過掃描裝置I的CPUlll按照商品識別程序進行動作來實現(xiàn)。當(dāng)商品識別程序起動時，則掃描裝置I的CPUlll以圖8的流程圖所示的次序控制各部。首先，CPUlll將后述的初次標志H)和適當(dāng)標志Fl復(fù)位為“O” (STl)0初次標志H)及適當(dāng)標志Fl被存儲到RAMl 14中。此外，CPUlll向攝像部14輸出攝像導(dǎo)通信號(ST2)。通過該攝像導(dǎo)通信號，攝像部14開始攝像區(qū)域的攝像。通過攝像部14攝像的攝像區(qū)域的幀圖像被依次保存到RAMl 14中。此外，步驟STl和步驟ST2的處理次序也可以相反。
[0063]輸出了攝像導(dǎo)通信號的CPUlll采集RAM114所保存的幀圖像(ST3)。而且，CPUlll確認在該幀圖像上是否攝影有商品(ST4)。具體地說，CPUlll從將幀圖像二值化的圖像中抽取輪廓線等。而且，CPUlll對幀圖像所映出的物體的輪廓抽取進行嘗試。當(dāng)物體的輪廓被抽取時，則CPUl 11將該輪廓內(nèi)的圖像視為商品。
[0064]當(dāng)在幀圖像中未被攝影有商品時(ST4的否)，CPU111從RAM104中采集下一幀圖像(ST3)。而且，CPUlll確認在該幀圖像中是否攝影有商品(ST4)。
[0065]當(dāng)在幀圖像中攝影有商品M時(ST4的是)，CPUlll從其輪廓內(nèi)的圖像中抽取商品M的形狀、表面的色彩、圖案、凹凸?fàn)顩r等的外觀特征量(ST5:特征量抽取部71)。此外，CPUlll使距離傳感器15動作，測量從攝像部14到商品M的距離d (ST6:距離測量部74)。此外，步驟ST5和步驟ST6的處理順序也可以相反。
[0066]當(dāng)取得商品M的外觀特征量和從攝像部14到商品M的距離d時，則CPUlll起動距離警告處理(ST7)。此外，CPUlll起動識別處理(ST8)。而且，CPUlll待機到距離警告處理和識別處理均結(jié)束。
[0067]圖9是表示距離警告處理的次序的圖。首先，CPUlll確認初次標志H)是否被復(fù)位為“O”。在第一次的距離警告處理時初次標志H)被復(fù)位為“O”。這時(ST21的是)，CPUlll訪問通過連接接口 115連接的POS終端2的輔助存儲部205，并檢索適當(dāng)距離文件40(ST22)。而且，CPUlll從適當(dāng)距離文件40中讀取適當(dāng)距離最大值Mmax和適當(dāng)距離最小值Mmin (ST23)。當(dāng)初次標志H)已經(jīng)被置為“I”時(ST21的否)，由于是第二次以后的距離警告處理，所以CPUlll不執(zhí)行步驟ST22、ST23的處理。
[0068]接著，CPUlll確認通過距離傳感器15測量出的距離d是否超過適當(dāng)距離最大值Mmax (ST24:距離判定部75)。當(dāng)距離d超出適當(dāng)距離最大值Mmax時(ST24的是)，CPUlll使顯示器12a顯示表示距離不適當(dāng)?shù)臉俗R諸如“NG”。此外，CPUlll使語音合成部16動作，并語音輸出警告距離太遠的引導(dǎo)、諸如“請將商品靠近”(ST25:警告部76)。此外，CPUlll將適當(dāng)標志Fl復(fù)位為“O”(ST8)。
[0069]針對于此，當(dāng)距離d未超過適當(dāng)距離最大值Mmax時(ST24的否),CPUl 11確認所述距離d是否與適當(dāng)距離最小值Mmin相比短(ST26:距離判定部75)。當(dāng)距離d與適當(dāng)距離最小值Mmin相比短時(ST26的是),CPUl 11使顯示器12a顯示表示距離不適當(dāng)?shù)臉俗R、諸如“NG”。此外，CPUlll使語音合成部16動作，并語音輸出警告距離太近的引導(dǎo)、諸如“請將商品遠離” (ST27:警告部76)。此外，CPUlll將適當(dāng)標志Fl復(fù)位為“O”(ST28)。
[0070]此外，步驟ST24和步驟ST26的處理次序也可以相反。就是說，CPUlll也可以先確認距離d是否與適當(dāng)距離最小值Mmin相比短，并當(dāng)距離d與適當(dāng)距離最小值Mmin相比短時，執(zhí)行步驟ST27的處理，當(dāng)距離d為大于等于適當(dāng)距離最小值Mmin時，確認距離d是否超過適當(dāng)距離最大值Mmax,當(dāng)距離d超過適當(dāng)距離最大值Mmax時,執(zhí)行步驟ST25的處理。
[0071]此外，將適當(dāng)標志Fl復(fù)位為“O”的定時并不限定于在步驟ST25或步驟ST27的處理后，也可以是在處理前。
[0072]另一方面，當(dāng)距離d未超過適當(dāng)距離最大值Mmax (ST24的否)，且與適當(dāng)距離最小值Mmin相比長時(ST26的否),距離d為適當(dāng)。這時,CPUl 11使顯示器12a顯示表示距離d為適當(dāng)?shù)臉俗R、諸如“OK” (ST29)。此外，CPUlll將適當(dāng)標志Fl置位為“I” (ST30)。此外，步驟ST29和步驟ST30的處理次序也可以相反。
[0073]這樣，如果在步驟ST28或步驟ST30中對適當(dāng)標志Fl進行了置位或復(fù)位，則CPUlll將初次標志H)置位為“I”(ST31)。以上，結(jié)束此次的距離警告處理。另外，置位初次標志H)的定時不限定于此。也可以在步驟ST24的處理之前。
[0074]圖10是表示識別處理的次序的流程圖。首先，CPUlll訪問通過連接接口 115連接的POS終端2的輔助存儲部205，檢索識別詞庫文件30 (ST41)。而且，CPUlll從識別詞庫文件30讀取一商品的數(shù)據(jù)記錄(商品ID、商品名、特征量數(shù)據(jù)O?n) (ST42)。
[0075]如果讀入了數(shù)據(jù)記錄，則CPUlll對應(yīng)每個所述記錄的特征量數(shù)據(jù)O?η，計算出表示在步驟ST5的處理中抽取出的商品的外觀特征量與所述特征量數(shù)據(jù)O?η相似到哪種程度的相似度。而且，CPUlll將對應(yīng)每個各特征量數(shù)據(jù)O?η計算出的相似度的最大值確定作為通過所述記錄的商品ID指定的商品和已檢測出的商品M的相似度(ST43:相似度計算部72)。另外，被確定的相似度也可以不是對應(yīng)每個各特征量數(shù)據(jù)O?η計算出的相似度的最大值，而是對應(yīng)每個各特征量數(shù)據(jù)O?η計算出的相似度的合計值或平均值等。
[0076]CPUlll確認在步驟ST43的處理中確定出的相似度是否超過預(yù)先設(shè)定的候選閾值Lmin (ST44)。當(dāng)相似度未超過候選閾值Lmin時(ST44的否)，CPUlll前進到步驟ST46的處理。
[0077]當(dāng)相似度超過了候選閾值Lmin時(ST44的是)，CPUlll將所述記錄的商品ID和相似度作為登記商品候選(識別商品候選)的數(shù)據(jù)存儲到RAM114中(ST45)。而后，CPUlll前進到步驟ST46的處理。
[0078]在步驟ST46中，CPUl 11確認在識別詞庫文件30中是否存在有未處理的數(shù)據(jù)記錄。當(dāng)存在有時(ST46的是)，CPUlll返回到步驟ST42的處理。就是說，CPUlll從識別詞庫文件30中讀取未處理的數(shù)據(jù)記錄，并執(zhí)行上述步驟ST43?ST45的處理。
[0079]當(dāng)在識別詞庫文件30中未存在有未處理的數(shù)據(jù)記錄時，就是說，如果結(jié)束了識別詞庫文件30的檢索(ST46的否)，則CPUlll確認登記商品候選的數(shù)據(jù)是否已被存儲到RAMl 14中(ST47 )。當(dāng)未存儲有登記商品候選的數(shù)據(jù)時(ST47的否)，CPUl 11前進到步驟ST53的處理。
[0080]當(dāng)未存儲有登記商品候選的數(shù)據(jù)時(ST47的是)，CPUlll確認適當(dāng)標志Fl是否已被置位為“I”(ST48)。當(dāng)適當(dāng)標志Fl未被置位為“I”時(ST48的否)，CPUlll從RAM114所存儲的登記商品候選的數(shù)據(jù)中按照相似度從大到小的順序選擇最大的P (P > 2)品種的商品(可變部77 )。而且，CPUl 11將已選擇的最大P品種的商品作為登記商品候選的商品列表顯示在顯示器12a (ST49:候選輸出部73)。
[0081]當(dāng)適當(dāng)標志Fl已被置位為“I”時(ST48的是)，CPUlll確認RAMl 14所存儲的登記商品候選的數(shù)據(jù)的最大相似度是否超過預(yù)先設(shè)定的確定閾值Lmax (Lmax > Lmin) (ST50)。當(dāng)最大相似度未超過確定閾值Lmax時(ST50的是)，CPUlll從RAM114所存儲的登記商品候選的數(shù)據(jù)中按照相似度從大到小的順序選擇最大Q (Q > I且Q < P)品種的商品(可變部77)。而且，CPUl 11將已選擇的最大Q品種的商品作為登記商品候選的商品列表顯不在顯示器12a上(ST51:候選輸出部73)。
[0082]如果在步驟ST49或ST51中使顯示器12a顯示登記商品候選的商品列表，則CPUlll確認是否從所述商品列表中選擇了任一商品(ST52)。例如，當(dāng)宣告有鍵盤11的再檢索鍵未被輸入選擇時(ST52的否)，CPUlll前進到步驟ST53的處理。
[0083]在步驟ST53中，CPUlll將商品確定標志F2視為“O”。以上，CPUlll結(jié)束此次的識別處理。
[0084]另一方面，當(dāng)通過觸摸面板12或鍵盤11的操作輸入，從登記商品候選的商品列表中選擇了任意一個商品時(ST52的是)，CPUlll從RAM114中取得所述已選擇的商品的商品ID (ST54)。而且，CPUlll將所述已取得的商品ID確定作為銷售商品的商品ID，并通過電纜330發(fā)送給POS終端2 (ST55:第一確定部78)。此外，CPUlll將商品確定標志F2置位為“I” (ST56)。以上，CPUlll結(jié)束此次的識別處理。
[0085]此外，當(dāng)在步驟ST50中登記商品候選的數(shù)據(jù)的最大相似度超過確定閾值Lmax時(ST50的是)，CPUlll從RAM114中取得具有該最大相似度的商品的商品ID。而且，CPUlll將所述已取得的商品ID確定作為銷售商品的商品ID，并通過通信電纜330發(fā)送給POS終端
2(ST55:第二確定部79)。此外，CPUl 11將商品確定標志F2置位為“I”(ST56)。此外，步驟ST54和步驟ST55的處理次序也可以相反。以上，CPUlll結(jié)束此次的識別處理。
[0086]如果距離警告處理和識別處理均處理結(jié)束了(ST9的是)，則CPUlll確認商品確定標志F2是否已被置位為“I” (STlO)0當(dāng)商品確定標志F2未被置位為“I”時(ST10的否)，CPUlll返回到步驟ST3。就是說，CPUlll采集RAM114所保存的其他幀圖像(ST3)。而且，CPUlll再次執(zhí)行上述步驟ST4以后的處理。[0087]當(dāng)商品確定標志F2已被置位為“I”時(ST10的是)，CPU111向攝像部14輸出攝像截至信號(ST11)。根據(jù)該攝像截至信號，攝像部14停止攝像。以上，商品識別程序結(jié)束。
[0088]圖11是在向讀取窗IB對準了的商品M和攝像部14的距離d與適當(dāng)距離文件40所設(shè)定的適當(dāng)距離最大值Dmax相比遠時，觸摸面板所顯示的畫面120的一例圖。畫面120被劃分成圖像顯示區(qū)域121和商品候選區(qū)域122。而且，圖像顯示區(qū)域121顯示有在步驟ST3的處理中采集到的幀圖像。此外，商品候選區(qū)域122通過步驟ST47的處理可選擇地顯示有P品種(圖11中為6品種)的商品，作為登記商品候選。而且，圖像顯示區(qū)域121通過步驟ST25的處理顯示有表示距離不適當(dāng)?shù)臉俗R“NG”。
[0089]圖12是在向讀取窗IB對準了的商品M和攝像部14的距離d與適當(dāng)距離文件40所設(shè)定的適當(dāng)距離最小值Dmin相比近時，觸摸面板所顯示的畫面120的一例圖。畫面120被劃分成圖像顯示區(qū)域121和商品候選區(qū)域122。而且，圖像顯示區(qū)域121顯示有在步驟ST3的處理中采集到的幀圖像。此外，商品候選區(qū)域122通過步驟ST47的處理可選擇地顯示有P品種(圖12中為6品種)的商品，作為登記商品候選。而且，圖像顯示區(qū)域121通過步驟ST25的處理顯示有表示距離不適當(dāng)?shù)臉俗R“NG”。
[0090]圖13是在向讀取窗IB對準了的商品M和攝像部14的距離d在適當(dāng)距離文件40所設(shè)定的適當(dāng)距離最小值Dmin和適當(dāng)距離最大值Dmax之間時、即在適當(dāng)范圍時,觸摸面板所顯示的畫面120的一例圖。畫面120被劃分為圖像顯示區(qū)域121和商品候選區(qū)域122。而且，圖像顯示區(qū)域121顯示有在步驟ST3的處理中采集到的幀圖像。此外，商品候選區(qū)域122通過步驟ST49的處理，可選擇地顯示有與P相比少的Q品種(圖13中為3品種)的商品，作為登記商品候選。而且，圖像顯示區(qū)域121通過步驟ST29的處理顯示表示距離為適當(dāng)?shù)臉俗R“ OK ”。
[0091]如圖11或圖12所示，在商品M和攝像部14的距離d在適當(dāng)范圍外時，作為登記商品候選按照相似度從高到低的順序可選擇地顯示有比較多的商品(在圖11或圖12中為6品種)。因此，在登記商品候選中包含有符合商品M的可能性高。當(dāng)在登記商品候選中包含有符合商品M時，用戶對該商品進行觸摸等來選擇。通過這樣做，符合商品M被確定作為銷售商品，并在POS終端2中被銷售登記。
[0092]當(dāng)在登記商品候選中未包含有符合商品M時，用戶能夠根據(jù)畫面120所顯示的標識“NG”識別商品M和攝像部14的距離d不恰當(dāng)。因而，用戶將商品M靠近或遠離讀取窗IB0而且，當(dāng)商品M和攝像部14的距離d進入到適當(dāng)范圍內(nèi)時，則如圖13所示，作為登記商品候選被顯示的商品的數(shù)變少。但是，由于商品M和攝像部14的距離d是在適當(dāng)范圍內(nèi)，所以識別率高。因此，在登記商品候選中包含有符合商品M的可能性高。此外，當(dāng)商品M和攝像部14的距離d進入適當(dāng)范圍內(nèi)時，則由于在畫面120上顯示有標識“0K”，所以用戶能夠容易得知距離d是在適當(dāng)范圍內(nèi)。當(dāng)在登記商品候選中包含有符合商品M時，用戶對該商品進行觸摸等來選擇。通過這樣做，符合商品M被確定作為銷售商品，并在POS終端2中被銷售登記。這時，登記商品候選的數(shù)由于與距離d在適當(dāng)范圍之外時進行比較少，所以容易檢索符合商品M。
[0093]此外，當(dāng)商品M和攝像部14的距離d進入到適當(dāng)范圍內(nèi)時，則登記商品候選的最大相似度是否超過確定閾值Lmax被判定。而且,當(dāng)最大相似度超過確定閾值Lmax時,具有該最大相似度的商品自動地被確定作為銷售商品，并在POS終端2中被銷售登記。如上所述，由于商品M和攝像部14的距離在適當(dāng)范圍內(nèi)，識別率高，所以在這個時候可以說具有大于等于確定閾值Lmax的最大相似度的商品毫無疑問是向讀取窗IB對準了的商品M。因此，無需用戶從登記商品候選中選擇符合的商品M，就能夠?qū)⒎仙唐反_定作為銷售商品。
[0094]另外，本發(fā)明并不限定于上述實施例。
[0095]例如，在上述實施例中，距離判定部75判定通過距離測量部74測量出的距離d是否為適當(dāng)值，并以在是適當(dāng)值時和在不是適當(dāng)值時，可變部77可變了作為登記商品候選進行顯示的商品數(shù)。關(guān)于這點，諸如事先準備與以O(shè)cm?10cm、10cm?20cm、20cm?30cm的方式階段地設(shè)定的距離范圍相關(guān)設(shè)定了作為登記商品候選進行顯示的商品數(shù)的表。而且，也可以為距離判定部75檢索通過距離測量部74測量出的距離d被包含在哪個距離范圍內(nèi)，可變部77將與符合的距離范圍相關(guān)的數(shù)的商品作為登記商品候選的構(gòu)成。
[0096]此外，雖然上述實施例的掃描裝置I具有了作為商品識別裝置的所有功能，但是也可以掃描裝置I和POS終端2分散具有作為商品識別裝置的功能?；蛘?，也可以將掃描裝置I裝配到POS終端2中而一體地構(gòu)成，從而該一體構(gòu)成的裝置具有作為商品識別裝置的功能。此外，也可以為使店鋪服務(wù)器等的外部裝置存儲實現(xiàn)發(fā)明功能的商品識別程序的全部或一部分的構(gòu)成。此外，在本實施例中，雖然對固定式掃碼器進行了說明，但是也可以是可移動的便攜式掃碼器。
[0097]另外，上述實施例是在裝置內(nèi)部的作為程序存儲部的ROM中預(yù)先存儲有實現(xiàn)發(fā)明功能的商品識別程序的例子。不過，并不限定于此，也可以將同樣的程序從網(wǎng)絡(luò)下載到裝置中。或者，也可以將存儲介質(zhì)所記錄的同樣程序安裝到裝置中。存儲介質(zhì)只要是象CD-ROM、存儲卡等那樣能存儲程序且裝置可讀取的，則其形態(tài)不限。此外，通過安裝或下載程序獲得的功能也可以與裝置內(nèi)部的OS (操作系統(tǒng))等協(xié)作來實現(xiàn)該功能。此外，也可以將本實施例的程序安裝到具有通信功能的移動電話或所謂的PDA那樣的便攜信息終端來實現(xiàn)該功能。
[0098]另外，雖然對本發(fā)明的幾個實施例進行了說明，但是這些實施例是作為例子提出的，并不意圖限定發(fā)明的范圍。這些新穎的實施例可以用其他各種形式來實施，只要在不脫離發(fā)明的要旨的范圍內(nèi)可以進行各種省略、替換、變更。這些實施例及其變形均被包含在發(fā)明的范圍或要旨中，而且，包含在權(quán)利要求的范圍所記載的發(fā)明和其均等的范圍內(nèi)。
【權(quán)利要求】
1.一種商品識別裝置，其特征在于，包括: 特征量抽取部，從通過攝影商品的攝像部已攝影的圖像中抽取所述圖像所包含的商品的外觀特征量； 相似度計算部，將通過該特征量抽取部抽取出的外觀特征量與對應(yīng)每個識別對象商品保存有表示該商品的表面信息的特征量數(shù)據(jù)的識別詞庫文件的所述特征量數(shù)據(jù)進行核對，并對應(yīng)每個所述識別對象商品計算出相似度，其中，所述相似度是表示所述外觀特征量與所述特征量數(shù)據(jù)相似到哪種程度的數(shù)據(jù)； 候選輸出部，按照通過該相似度計算部計算出的所述相似度從大到小的順序?qū)⑺鲎R別對象商品作為識別商品候選進行輸出； 距離測量部，測量從所述攝像部到通過該攝像部已攝影的商品的距離；以及可變部，根據(jù)通過該距離測量部測量的距離，變更通過所述候選輸出部輸出的識別商品候選數(shù)。
2.根據(jù)權(quán)利要求1所述的商品識別裝置，其特征在于， 所述候選輸出部是能夠選擇地顯示輸出識別商品候選的識別對象商品的部， 其中，所述商品識別裝置還包括:第一確定部，將從所述識別商品候選中選擇出的識別對象商品確定作為通過所述攝影部已攝影的商品。
3.根據(jù)權(quán)利要求1或2所述的商品識別裝置，其特征在于，還包括: 距離判定部，判定通過所述距離測量部測量的距離是否為適當(dāng)值， 其中，所述可變部在所述距離為適當(dāng)值時與在不是適當(dāng)值時相比，使識別商品候選數(shù)變少。
4.根據(jù)權(quán)利要求3所述的商品識別裝置，其特征在于，還包括: 第二確定部，在通過所述距離判定部判定所述距離為適當(dāng)值，且通過所述候選輸出部作為識別商品候選被輸出的識別對象商品的最大相似度為大于等于預(yù)先設(shè)定的確定值時，將具有該最大相似度的識別對象商品確定作為通過所述攝像部已攝影的商品。
5.根據(jù)權(quán)利要求3或4所述的商品識別裝置，其特征在于，還包括: 警告部，當(dāng)通過所述距離判定部判定所述距離不是適當(dāng)值時發(fā)出警告。
6.一種商品識別方法，包括以下步驟: 特征量抽取步驟，從通過攝影商品的攝像部已攝影的圖像中抽取所述圖像所包含的商品的外觀特征量； 相似度計算步驟，將通過該特征量抽取步驟抽取出的外觀特征量與對應(yīng)每個識別對象商品保存有表示該商品的表面信息的特征量數(shù)據(jù)的識別詞庫文件的所述特征量數(shù)據(jù)進行核對，并對應(yīng)每個所述識別對象商品計算出相似度，其中，所述相似度是表示所述外觀特征量與所述特征量數(shù)據(jù)相似到哪種程度的數(shù)據(jù)； 候選輸出步驟，按照通過該相似度計算步驟計算出的所述相似度從大到小的順序?qū)⑺鲎R別對象商品作為識別商品候選進行輸出；以及 可變步驟，根據(jù)從所述攝像部到通過所述攝像部已攝影的商品的距離，變更通過所述候選輸出步驟輸出的識別商品候選數(shù)。
7.根據(jù)權(quán)利要求6所述的商品識別方法，其特征在于， 所述候選輸出步驟是能夠選擇地顯示輸出識別商品候選的識別對象商品的步驟，其中，所述商品識別方法還包括以下步驟:第一確定步驟，將從所述識別商品候選中選擇出的識別對象商品確定作為通過所述攝影部已攝影的商品。
8.根據(jù)權(quán)利要求6或7所述的商品識別方法，其特征在于，還包括以下步驟: 距離判定步驟，判定通過所述距離測量步驟測量的距離是否為適當(dāng)值， 其中，在所述可變步驟中，在所述距離為適當(dāng)值時與在不是適當(dāng)值時相比，使識別商品候選數(shù)變少。
9.根據(jù)權(quán)利要求8所述的商品識別方法，其特征在于，還包括以下步驟: 第二確定步驟，在通過所述距離判定步驟判定所述距離為適當(dāng)值，且通過所述候選輸出步驟作為識別商品候選被輸出的識別對象商品的最大相似度為大于等于預(yù)先設(shè)定的確定值時，將具有該最大相似度的識別對象商品確定作為通過所述攝像部已攝影的商品。
10.根據(jù)權(quán)利要求8或9所述的商品識別方法，其特征在于，還包括以下步驟: 警告步驟，當(dāng)通過所述距離判定步驟判定所述距離不是適當(dāng)值時發(fā)出警告。
【文檔編號】G06K9/00GK103810798SQ201310532819
【公開日】2014年5月21日 申請日期:2013年10月31日 優(yōu)先權(quán)日:2012年11月5日
【發(fā)明者】宮越秀彥 申請人:東芝泰格有限公司