專利名稱：：基于圖像處理的貨架圖提取的制作方法
技術(shù)領(lǐng)域：
：本公開總體上涉及庫存管理，具體地，涉及用于基于圖像分析技術(shù)進行庫存管理的技術(shù)。
背景技術(shù)：
：目前，庫存管理，也即對產(chǎn)品支撐設(shè)備(例如，貨柜、貨架、陳列架、走廊端頭展示架等)之上貨物的充足水平進行展現(xiàn)和維護，是一項持續(xù)性的勞力密集型工作。例如，為了向客戶提供貨品展現(xiàn)，期望將所展示貨物的水平與最大水平盡可能接近。在某些產(chǎn)品售罄并且不再展示在貨柜上時(有時稱為“缺貨”)，商店運營者通常將損失大量收入，因為客戶將無法找到他們期望購買的產(chǎn)品，或者無法抓住根據(jù)一時的沖動購買產(chǎn)品的機會。另外，在庫房或者倉庫中可能難以識別出低庫存或者缺貨情況，這導(dǎo)致了重新訂購的延遲。為了解決這一問題，管庫人員或者其他人員負有如下任務(wù)，即不斷地監(jiān)控所展示的貨物，并且在所展示的貨物減少時或者在貨柜上的產(chǎn)品展示次優(yōu)時(例如，混亂、錯位等)做出響應(yīng)。由于這確實是人力過程，因此這種工作傾向于是相對昂貴并且有時是易錯的。在零售環(huán)境中與人工監(jiān)控庫存相關(guān)聯(lián)的這些問題同樣存在于庫存水平維護也很重要的非零售環(huán)境，例如倉庫。同樣，常見的情況是，某些產(chǎn)品的制造商與零售商達成協(xié)議，以確保其產(chǎn)品以特定的方式來展示。由此，需要持續(xù)地就零售商是否恰當?shù)卣故玖酥圃焐痰漠a(chǎn)品的表現(xiàn)進行審核。然而，這種審核和驗證任務(wù)此前是由人工完成的。也就是說，通常將代理人派往現(xiàn)場，親自檢查給定零售商的操作，以驗證與促銷活動的一致性。由于對于針對給定產(chǎn)品的可能零售商數(shù)量是驚人的，這種人工解決方案很快將變?yōu)槌杀靖甙旱?，由此只能抽查，而這不是最優(yōu)的解決方案。因此，提供使先前使用人工技術(shù)進行的這些對貨物庫存和展示任務(wù)進行核查中的很多核查變得自動化的技術(shù)將是有益的。如果可以使用這種自動化的技術(shù)來提供對產(chǎn)品實際上是如何展示的更為詳細的理解，將是更有益的。
發(fā)明內(nèi)容本公開描述了通過使用圖像分析技術(shù)來克服現(xiàn)有技術(shù)中上述限制的各種技術(shù)，其中圖像分析技術(shù)包括但不限于向部署在庫存環(huán)境中的一個或多個圖像捕獲設(shè)備所獲得的圖像應(yīng)用的對象識別分析技術(shù)。具體地，基于請求或者自動地，庫存環(huán)境中的圖像捕獲設(shè)備可以捕獲一個或多個圖像，隨后向優(yōu)選地實現(xiàn)對象識別技術(shù)的圖像分析功能提供所述圖像。對象識別分析基于所存儲的產(chǎn)品圖像來提供對象識別數(shù)據(jù)，其可以包括接收圖像內(nèi)的一個或多個已識別產(chǎn)品實例。繼而，可以基于對象識別數(shù)據(jù)啟用各種功能。例如，在本發(fā)明的一個實施方式中，可以從以此方式分析的一個或多個圖像中提取貨架圖。在此實施方式中，對象識別分析是基于按照配置簡檔中所包括的一個或多個候選產(chǎn)品而選擇的那些存儲產(chǎn)品圖像。提取出的貨架圖可以在貨架圖中反映與至少一個已識別產(chǎn)品實例相對應(yīng)的產(chǎn)品在庫存環(huán)境中實際位置的位置處包括這些產(chǎn)品的圖像。此后，可以將提取的貨架圖與目標(也即，之前提取的或者最優(yōu)的)貨架圖進行比較，并且可以計算基于差異的性能測量。在另一實施方式中，對象識別數(shù)據(jù)可以用來確定在庫存環(huán)境中展示的產(chǎn)品的至少一個產(chǎn)品展示參數(shù)。繼而，所述產(chǎn)品展示參數(shù)可以用來確定所述產(chǎn)品在庫存環(huán)境中的存在和位置，或者用來確定產(chǎn)品的展示與促銷目標的一致性。在又一實施方式中，可以在單個圖像內(nèi)進行比較，或者隨時間在多個圖像之間進行比較。以此方式，可以快速檢測到需要適當人員響應(yīng)的潛在狀況。例如，可以按照這種方式來分析圖像，以檢測這些圖像內(nèi)的一個或多個缺貨特征。此后，如果檢測到此類特征，則提供至少部分耗盡的貨物狀況的指示。在另一實施方式中，產(chǎn)品展示參數(shù)可以用來評估產(chǎn)品展示的方式與促銷目標的一致性。其結(jié)果是，本發(fā)明使此前使用人工技術(shù)實現(xiàn)的很多任務(wù)變得自動化，由此極大地增強了需要庫存維護的操作的效率和效用。在本公開中描述的特征具體地記載在所附權(quán)利要求書中。通過結(jié)合附圖考慮以下詳細描述，這些特征和隨附優(yōu)點將變得易見?，F(xiàn)在將參考附圖僅以示例的方式描述一個或多個實施方式，在附圖中，相似的標號表示相似的元素，其中圖1是按照本發(fā)明一個實施方式的系統(tǒng)的示意圖；圖2是按照本發(fā)明一個實施方式的、用于貨架圖自動提取的技術(shù)的流程圖；圖3是從庫存環(huán)境中取得的、并且示出了多個產(chǎn)品的展示的示例圖像；圖4是按照本發(fā)明一個實施方式提供的、基于圖3的示例性圖像的示例性已提取貨架圖；圖5是示出了按照本發(fā)明一個實施方式的、用于根據(jù)對缺貨特征的檢測來提供耗盡貨物狀況的指示的技術(shù)的流程圖；圖6是包括部署于其上的一個或多個可檢測圖案的至少一個產(chǎn)品支撐設(shè)備的示意圖，所述可檢測圖案可以用作用來檢測耗盡貨物狀況的缺貨特征；圖7是至少一個產(chǎn)品支撐設(shè)備的示意圖，其中，至少一個產(chǎn)品支撐設(shè)備的一個或多個已知特征被用來檢測耗盡貨物狀況；圖8是示出了基于產(chǎn)品展示參數(shù)的檢測的技術(shù)的流程圖；圖9是示出了用于基于對時間上不同的圖像進行比較來提供需要響應(yīng)的潛在狀況的指示的技術(shù)的流程圖；圖10是示出了用于基于對單個圖像的部分進行比較來提供需要響應(yīng)的潛在狀況的指示的技術(shù)的流程圖。具體實施例方式將進一步參考圖1-圖10來提供對本發(fā)明各種實施方式更為詳細的描述?，F(xiàn)在參考圖1，其示出了系統(tǒng)100包括部署在庫存環(huán)境102中的一個或多個圖像捕獲設(shè)備104。在庫存環(huán)境102中，在各種產(chǎn)品支撐設(shè)備108上展示有各種產(chǎn)品106。圖像捕獲設(shè)備104通過第一網(wǎng)絡(luò)112與圖像服務(wù)器110通信。盡管被示為在庫存環(huán)境102外部，但是圖像服務(wù)器110也可以部署在庫存環(huán)境102內(nèi)。圖像捕獲設(shè)備104可以包括可被旋轉(zhuǎn)、平移等的靜態(tài)圖像照相機或視頻照相機，其可以安裝在庫存環(huán)境102中的一個或多個位置。備選地或者附加地，圖像捕獲設(shè)備可以包括相對移動的(潛在地，無線的)靜態(tài)圖像照相機或者視頻照相機，其安裝在多個可移動對象的任意對象上，可移動對象包括但不限于引導(dǎo)圖像捕獲設(shè)備移動的固定軌道、購物車或貨物車，或者甚至是在庫存環(huán)境102中移動的人。而且，圖像捕獲設(shè)備104可以使用電磁頻譜的不同部分(也即，可見波長和/或紅外波長)來進行操作。這是因為，如下所述，給定的圖像捕獲設(shè)備104的位置對于在此描述的各種技術(shù)來說可能是有用的，或者甚至是必須的。在具有固定的圖像捕獲設(shè)備104的情況下，此類位置信息可以是隱含已知的。在具有相對移動的圖像捕獲設(shè)備的情況下，如上所述，可以通過潛在不同的方式來提供可變程度的位置信息。例如，位置信息可以由操作移動圖像捕獲設(shè)備的人來人工提供。備選地，可以使用由移動圖像捕獲設(shè)備所捕獲的圖像來推斷其位置。例如，在一個實施方式中，可以遍布庫存環(huán)境來定位位置唯一的標記(例如，字符圖像、條形碼等)，使得其可以被識別(如下所述)和解碼以確定位置信息。在又一實施方式中，可以使用所捕獲圖像中存在的其他信息來推斷位置信息?；趯μ囟ǖ漠a(chǎn)品或者產(chǎn)品群組的預(yù)期位置的先前知識，隨后在一個或多個所捕獲圖像中識別出這些產(chǎn)品可以用作推斷在捕獲所述一個或多個圖像時該圖像捕獲設(shè)備正處于這些產(chǎn)品的預(yù)期位置的基礎(chǔ)。在產(chǎn)品可能具有多個位置的情況下，可以通過注意預(yù)期唯一的特性(諸如，其他產(chǎn)品的附近、檢測到產(chǎn)品的高度、陳列面(facing)的數(shù)目等)來執(zhí)行歧義消除。圖像服務(wù)器110繼而可以包括計算平臺，例如實現(xiàn)能夠從圖像捕獲設(shè)備104接收所捕獲圖像、并且可選地能夠向圖像捕獲設(shè)備104提供控制信令的適當軟件的服務(wù)器計算機，如本領(lǐng)域內(nèi)已知的。基于對給定庫存環(huán)境布局的知識(例如，在假定特定的產(chǎn)品和相機被定位的情況下，或者更簡單點說，通過提供給其的坐標來定位的情況下)，圖像服務(wù)器110可以響應(yīng)于請求而選擇適當?shù)膱D像捕獲設(shè)備104(以及這些設(shè)備的適當朝向)。盡管第一網(wǎng)絡(luò)112可以包括有助于遞送來自圖像捕獲設(shè)備104的圖像數(shù)據(jù)(以及可選地，向圖像捕獲設(shè)備104遞送控制信號)的實際上任意類型的網(wǎng)絡(luò)，但是也可以使用特定于任務(wù)的網(wǎng)絡(luò)，諸如閉路電視網(wǎng)絡(luò)(CCTV)等。一般地，庫存環(huán)境可以包括以結(jié)構(gòu)化方式來保存和/或展示產(chǎn)品106的任何環(huán)境，包括但不限于雜貨店、服裝店、消費者電子產(chǎn)品商店、百貨商店、倉庫等。庫存環(huán)境102中的結(jié)構(gòu)化展示可以基于對一個或多個產(chǎn)品支撐設(shè)備108的使用，其中產(chǎn)品支撐設(shè)備108諸如是貨架、貨柜、縱向展示架、端頭展示架等，這對于本領(lǐng)域的普通技術(shù)人員而言是已知的。在所示的實施方式中，圖像服務(wù)器110通過第二通信網(wǎng)絡(luò)122與各組件124-130通信。再一次，第二網(wǎng)絡(luò)122可以包括實際上任何適當?shù)穆?lián)網(wǎng)技術(shù)，在目前優(yōu)選的實施方式中，其包括基于因特網(wǎng)協(xié)議的網(wǎng)絡(luò)，包括但不限于因特網(wǎng)或者萬維網(wǎng)?？傮w上，組件124-130構(gòu)成了自動化庫存管理系統(tǒng)120，但是將會理解，組件124-130中的一個或多個可以合并為單個組件(例如，單個服務(wù)器計算機)。在所示的實施方式中，圖像分析服務(wù)器124與貨架圖服務(wù)器126和庫存分析服務(wù)器128通信。繼而，圖像分析服務(wù)器124和貨架圖服務(wù)器126二者都與數(shù)據(jù)庫130通信。自動化庫存管理系統(tǒng)120的各組件124-128可以通過第二網(wǎng)絡(luò)122(或者其他網(wǎng)絡(luò)，例如無線網(wǎng)絡(luò))來與一個或多個用戶140通信。用戶140可以包括庫存管理中所涉及到的或者對此感興趣的任何一方，包括但不限于管庫人員、商店經(jīng)理、廣告商、零售商的總部等。在目前優(yōu)選的實施方式中，可以為每個用戶140提供接收由各組件124-128提供的指示(將在下文進一步詳細描述)所需的適當通信設(shè)備，諸如計算機、移動電話、尋呼機、個人數(shù)字助理等。如本領(lǐng)域中已知的，第二通信網(wǎng)絡(luò)122可以適于按照需要與用戶140所關(guān)聯(lián)的任何無線設(shè)備進行通信。圖像分析服務(wù)器124執(zhí)行對圖像(優(yōu)選地的是接收自圖像服務(wù)器110(或者任何其他來源)的圖像)的圖像分析技術(shù)。圖像分析服務(wù)器所接收的圖像可以響應(yīng)于由圖像分析服務(wù)器124向圖像服務(wù)器110發(fā)出的特定請求(也即，拉取)被提供，或者其可以在沒有事先請求的情況下由圖像服務(wù)器110自動向圖像分析服務(wù)器124提供(也即，推送)。優(yōu)選地，圖像分析服務(wù)器124使用一個或多個適當?shù)挠嬎闫脚_來具體化，諸如商業(yè)上可獲得的個人計算機，其包括能夠執(zhí)行實現(xiàn)各種圖像處理技術(shù)的已存儲指令的至少一個處理器(例如，微處理器、微控制器、數(shù)字信號處理器、專用集成電路、可編程邏輯等或其組合)。在目前優(yōu)選的實施方式中，圖像分析服務(wù)器124實現(xiàn)例如基于DavidG.Lowe白勺“Distinctiveimagefeaturesfromscale-invariantkeypoints",InternationalJournalofComputerVision，60，2(2004)，第91-110頁以及美國專利號6，711，293(在此通過引用并入其全部內(nèi)容)中描述的所謂尺度不變的特征變換(SIFT)算法的對象識別技術(shù)，這是特別有用的，因為其能夠識別出圖像中的對象實例(基于訓(xùn)練圖像)，而不考慮旋轉(zhuǎn)、視點、尺度的改變，以及光照條件的改變等。用于對象識別的另一技術(shù)在公布的美國專利申請?zhí)?007/0179921A1中教導(dǎo)，在此也通過引用將其并入。一般地，當基于待識別的對象的一個或多個訓(xùn)練圖像時，此類算法提供了對圖像中識別出的對象的標識、識別出的對象在圖像中的位置以及所述對象實際上位于圖像中的概率。而且，可以使用用于識別圖像內(nèi)特定特征的、潛在地在計算上更為有效的技術(shù)。例如，可以使用圖像各個部分的亮度水平來檢測圖像的較暗區(qū)域(也即，陰影)，這潛在地指示給定的位置處產(chǎn)品的缺失。此外，可以使用對均勻顏色區(qū)域(與產(chǎn)品包裝中通常使用的非均勻著色形成對比)的檢測來再一次檢測給定區(qū)域中產(chǎn)品的缺失。而且，對垂直線(例如，使用Harris檢測符)的檢測和字符的檢測(使用光學字符識別)是產(chǎn)品存在的指示，而這種特征的缺失是產(chǎn)品不存在的指示。在又一實施方式中，可以采用形狀檢測來檢測特定包裝的總體形狀。對于庫存環(huán)境的不同部分或者甚至是相同產(chǎn)品支撐設(shè)備的不同部分而言，不同的技術(shù)可能是最佳的，因此例如可以由圖像服務(wù)器110和/或圖像分析服務(wù)器124來維護與針對庫存環(huán)境的不同區(qū)域(或者庫存環(huán)境中特定位置的不同部分)的優(yōu)選技術(shù)有關(guān)的數(shù)據(jù)。如本領(lǐng)域已知的，貨架圖至少是產(chǎn)品(使用任何方便的標識機制)、產(chǎn)品的方位(例如，產(chǎn)品中心的x、y、z坐標)以及產(chǎn)品的“主表面”(通常是前表面)的朝向(3個角度)的列表。盡管不是必需的，但是貨架圖還可以包括在圖形上示出該數(shù)據(jù)的固定設(shè)備和產(chǎn)品的示意圖，也即，產(chǎn)品應(yīng)當如何展示以及展示在哪里，通常展示在貨架或者其他產(chǎn)品支撐設(shè)備上。通常，貨架圖由產(chǎn)品供應(yīng)商來提供和設(shè)計，以增加客戶購買。如下文更為詳細描述的，期望可以出于多種目的而有益地使用反映出給定庫存環(huán)境當前狀態(tài)的貨架圖。為此，類似于圖像分析服務(wù)器124，貨架圖服務(wù)器126優(yōu)選地使用一個或多個適當?shù)挠嬎闫脚_來具體化，其包括至少一個處理器，能夠執(zhí)行基于由圖像分析服務(wù)器所提供的結(jié)果(也即一個或多個已識別產(chǎn)品實例的標識和位置(在一個或多個圖像內(nèi)))來生成貨架圖的軟件例程的已存儲指令，這將在下文更為詳細地描述。提供數(shù)據(jù)庫130，以便與圖像分析服務(wù)器124以及可選地貨架圖服務(wù)器126二者結(jié)合使用。在目前優(yōu)選的實施方式中，數(shù)據(jù)庫130存儲多個已存儲的產(chǎn)品圖像和/或所述圖像和產(chǎn)品的特征和特性，其可被圖像分析服務(wù)器124所實現(xiàn)的對象識別軟件用作訓(xùn)練數(shù)據(jù)，并且可以在根據(jù)已識別對象實例來組裝所提取的貨架圖時在貨架圖服務(wù)器126中使用。如本領(lǐng)域中已知的，數(shù)據(jù)庫130可以使用具有適當?shù)臄?shù)據(jù)庫以及數(shù)據(jù)庫查詢軟件的、經(jīng)過適當編程的存儲服務(wù)器來實現(xiàn)。庫存分析服務(wù)器128(再一次，其優(yōu)選地使用一個或多個適當?shù)挠嬎闫脚_來實現(xiàn)，所述計算平臺包括能夠執(zhí)行實現(xiàn)軟件例程的已存儲指令的至少一個處理器)可以用來實現(xiàn)各種與庫存相關(guān)的任務(wù)，以及下文例如將進一步參考圖8來描述的與促銷一致性有關(guān)的任務(wù)。如果期望，與缺貨確定相關(guān)聯(lián)的那些功能(下文描述)可以可選地在專用的缺貨分析服務(wù)器127(使用類似于其他所示服務(wù)器的硬件平臺來實現(xiàn))上執(zhí)行。最后請注意，圖1中示出的服務(wù)器和數(shù)據(jù)庫124-130的特定配置是出于說明性目的的，并且本領(lǐng)域技術(shù)人員將會理解，同樣可以采用各種其他配置(有可能包括未示出的附加聯(lián)網(wǎng)設(shè)備)?，F(xiàn)在參考圖2，示出了按照本發(fā)明一個實施方式的流程圖。在目前優(yōu)選的實施方式中，優(yōu)選地使用圖1中所示的系統(tǒng)100來實現(xiàn)圖2(以及圖5和圖8-圖10)的流程圖所示的技術(shù)。此外，圖2中所示的各框優(yōu)選地使用存儲在適當?shù)奶幚砥骺勺x介質(zhì)中、并由適當?shù)奶幚碓O(shè)備來執(zhí)行的可執(zhí)行指令來執(zhí)行。開始于框202，可以向圖像捕獲設(shè)備104提供針對一個或多個圖像的請求。例如，圖像分析服務(wù)器124可以通過第二網(wǎng)絡(luò)122向圖像服務(wù)器110發(fā)送針對一個或多個圖像的請求。繼而，圖像服務(wù)器110可以控制圖像捕獲設(shè)備104(例如，指示其指向庫存環(huán)境中的特定位置，或者指向特定的產(chǎn)品支撐設(shè)備等)來獲取期望的圖像。相反，不同于響應(yīng)于特定請求來獲取圖像，圖像捕獲設(shè)備104可以自動地和/或連續(xù)地獲取圖像，并且向圖像服務(wù)器110提供這些圖像。此后，圖像服務(wù)器110可以類似地在沒有事先請求的情況下向圖像分析服務(wù)器124提供期望的圖像。不論請求圖像(拉)或者自動提供圖像(推)的方式如何，每個圖像的元數(shù)據(jù)或者類似信息都可以包括標識圖像的信息(其形式例如是特定圖像捕獲設(shè)備的標識以及其朝向和位置，或者圖像中所捕獲的特定區(qū)域的標識)以及捕獲圖像的相對時間。不論在框204接收圖像的方式，處理繼續(xù)到框206，其中，基于配置簡檔來標識一個或多個候選產(chǎn)品。在此使用的候選產(chǎn)品包括特定的產(chǎn)品或者一類產(chǎn)品的標識。例如，“COKE”和“PEPSI”是特定產(chǎn)品的品牌的示例，而“軟飲料”是特定產(chǎn)品類別的示例。在產(chǎn)品類別中的各種特定產(chǎn)品的外在(outward)配置通常遵從對于該類產(chǎn)品而言相對通用的特征的那些情況下，使用特定產(chǎn)品類別可能是特別有益的。例如，在“軟飲料”作為一類產(chǎn)品的情況下，這些產(chǎn)品的個體罐子或瓶子的形狀可能彼此非常類似，由此允許使用對于該類別通用的訓(xùn)練圖像。以此方式，本發(fā)明不僅可以用來識別特定產(chǎn)品，而且還可以用來識別產(chǎn)品的類別。配置簡檔包括對預(yù)期存在于給定圖像中的內(nèi)容的文本描述。例如，在圖像捕獲設(shè)備104安裝在已知位置并因此可以與其視場內(nèi)的特定預(yù)期產(chǎn)品相關(guān)的情況下，配置簡檔可以列出預(yù)期位于一個或多個特定圖像捕獲設(shè)備的視場中的那些產(chǎn)品。以此方式，對象識別分析所使用的已存儲產(chǎn)品圖像的列表(也即，訓(xùn)練圖像)可以充分地減少，由此改進對象識別分析的效率。繼續(xù)到框208，對圖像執(zhí)行至少部分地基于在框206標識的一個或多個候選產(chǎn)品的對象識別分析，以提供對象識別數(shù)據(jù)。在此使用的對象識別分析的輸出，也即對象識別數(shù)據(jù)，包括圖像中任何已識別產(chǎn)品的標識，以及相應(yīng)的產(chǎn)品實際上位于圖像中的適當指示(例如，概率)，此后偶爾稱為已識別產(chǎn)品實例。而且，對象識別數(shù)據(jù)優(yōu)選地包括所標識產(chǎn)品(如果有的話)在圖像中的位置信息(相對于圖像而言)，也即，在圖像中的x、y坐標。注意，對象識別數(shù)據(jù)可能無法標識任何已識別對象，但例如在確定是否存在缺貨狀況時其仍然是有用的。鑒于大部分庫存環(huán)境可能存在來自不同供應(yīng)商以及不同產(chǎn)品類別的多個產(chǎn)品這一本質(zhì)，至少一個已識別產(chǎn)品實例可以包括對單個或多個產(chǎn)品的單個或多個識別(例如，對“COKE”軟飲料的瓶子的多個識別，對“COKE”軟飲料的單個瓶子的識別和對“PEPSI”軟飲料的瓶子的多個識別，對“COKE”和“PEPSI”兩種軟飲料的瓶子的多個識別，以及對“S0L0”塑料杯的多個識別等)。這將參考圖3進一步地示出。具體地，圖3示出了其中使用多個產(chǎn)品支撐設(shè)備(在此例中是貨架)302-306來展示多種產(chǎn)品308-314的庫存環(huán)境301的示例性圖像300。在此例中，圖像300由近似位于最高貨架302的高度處的圖像捕獲設(shè)備所捕獲。典型的圖像還可以包括在圖3中為了說明簡便而未示出的各種其他對象(例如，貨架上的價簽，諸如購物車或人的不透明對象，宣傳資料等)。在目前優(yōu)選的實施方式中，用來捕獲圖像的圖像捕獲設(shè)備定位在期望位置(例如，貨架302-306)的相對遠端。取決于庫存環(huán)境的特定配置，例如，雜貨店情況中間隔相對緊密的貨架行，可能期望將圖像捕獲設(shè)備定位在貨架之上的某處。在常見的情況下并如圖3所示，產(chǎn)品308-314沒有“理想地”排列。例如，某些產(chǎn)品308可能被旋轉(zhuǎn)或者以其他方式而未對齊，使得其不是面朝前的；其他產(chǎn)品310不適當?shù)囟逊旁诒舜酥希欢硪恍┊a(chǎn)品312的定位可能使其遮擋了其他產(chǎn)品314。而且，圖像中還可能存在間隙316和陰影區(qū)域318，使得沒有可識別的特定產(chǎn)品。優(yōu)選地，所采用的對象識別分析能力能夠處理圖像中的這種非優(yōu)化特性，從而在可能的情況下仍能提供一個或多個已識別產(chǎn)品實例，在圖3中被示為以粗線示出的產(chǎn)品。在框208處執(zhí)行的對象識別分析還可以將基于對圖像的附加分析而產(chǎn)生的遮擋信息或障礙信息納入考慮。例如，在擁擠的雜貨店或類似操作中，對于庫存環(huán)境中給定位置的圖像而言，存在障礙物擋住否則將可獲得的“標準”視圖的至少一部分的可能性是很大的。例如，一個或多個人或者購物車可能擋住某些產(chǎn)品的視圖。如果障礙物(或者其他原因，諸如不足的光照或者圖像分辨率)阻止了對整個圖像中或者至少部分圖像中產(chǎn)品的檢測，則該整個圖像或者被過高地遮擋(或者以其他形式不利于圖像分析)的該部分可以被丟棄或者忽略，并利用從不同視點捕獲的和/或在即便不相同也是非常類似的時間點捕獲的相同位置的另一圖像。也即，如果可能，優(yōu)選地還是使用未被遮擋或不存在其他缺陷的圖像的任何部分。用來檢測遮擋的技術(shù)可以基于有待檢測的遮擋的類型。例如，多種技術(shù)被公知用于檢測圖像中人和運動的存在。例如，人跟蹤技術(shù)在以下參考文獻中描述J.K.Aggarwal禾口Q.Cai.“HumanMotionAnalysis:AReview".ComputerVisionandImageUnderstanding:CVIU,Vol.73，No.3，第428-440頁，1999；I.A.Essa.“ComputersSeeingPeople"AIMag，Vol.20，No.2，第69-82頁，1999;D.Gavrila.“TheVisualAnalysisofHumanMovement:ASurvey".ComputerVisionandImageUnderstanding,Vol.73，No.1，第82-98頁，1999年1月；和IsmailHaritaoglu,DavidHarwood,以及LarryDavis.“W4:ffho？When？Where？What？ARealTimeSystemforDetectingandTrackingPeople".InProceedings3rdInternationalConferenceonFaceandGestureRecognition,日本，奈良，1998年4月，在此通過引用并入這些參考文獻的教導(dǎo)。而且，類似臉部特征的檢測可以用來檢測人的存在，并且例如可以使用在Intel公司的OpenCV(開源計算機視覺)庫中找到的臉部識別功能來實現(xiàn)?？梢允褂闷渌夹g(shù)來檢測如購物車的某些對象。例如，可以基于來自各個角度的購物車的訓(xùn)練圖像來使用如上所述的對象識別。而且，可以使用線檢測算法來檢測間隔相對緊密的、基本上平行的線，其常常表示購物車框的垂直結(jié)構(gòu)部件；或者，可以使用形狀檢測算法來檢測購物車的輪廓或者購物車輪子的圓形形狀。而且，顏色和/或紋理檢測技術(shù)也可以用來(單獨地或者與上述技術(shù)的任意組合相結(jié)合地)檢測購物車的特有特征，例如，購物車的相對光澤的金屬結(jié)構(gòu)部件。特別地，對于購物車，使用這些技術(shù)檢測到的與購物車的位置和/移動有關(guān)的信息可以用來確定庫存環(huán)境中的人的行為。例如，在給定區(qū)域內(nèi)頻繁且連續(xù)地檢測到購物車可以表示高流量環(huán)境。而且，在特定的產(chǎn)品展示前面、在相對延續(xù)的時段中檢測到購物車可能表示(在積極的意義上)消費者對于所展示的產(chǎn)品和/或宣傳資料有很大興趣，或者表示存在障礙物或者阻礙特定區(qū)域周圍的交通流動的其他狀況(在消極的意義上)。再次參考圖2，處理繼續(xù)到框210，基于對象識別數(shù)據(jù)(以及可能的貨架檢測)來生成提取的貨架圖，并將其作為輸出提供。特別地，提取的貨架圖包括與至少一個已識別產(chǎn)品實例(如果有的話)中的每一個相對應(yīng)的一個或多個產(chǎn)品的位置以及可能還有圖像。圖4中示出了其一個示例。圖4示出了基于圖3的示例性圖像300的提取的貨架圖400。如圖所示，提取的貨架圖400示出了與圖像300中識別的貨架302-306相對應(yīng)的貨架402-406。在目前優(yōu)選的實施方式中，圖像300中貨架的位置是通過對象識別分析或者任何其他適當?shù)募夹g(shù)確定的，作為非限制性示例，所述其他適當技術(shù)例如通過使用已知的邊檢測算法來標識圖像中相對較長的連續(xù)邊。此后，利用已知的幾何變換技術(shù)，可以將圖像中的貨架302-306的位置轉(zhuǎn)換為庫存環(huán)境中貨架的實際位置，其可以由提取的貨架圖400中示出的貨架402-406的方位所反映。為了確定貨架的實際位置，庫存環(huán)境中的圖像捕獲設(shè)備的方位信息被使用。在目前優(yōu)選的實施方式中，該方位信息包括照相機的成像平面的空間坐標(例如，x、y、z)，以及該圖像捕獲設(shè)備在庫存環(huán)境中的垂直和水平傾斜、視場、縮放因子、高度等。基于此信息以及本領(lǐng)域技術(shù)人員已知的其他可確定信息(例如，貨架的總體高度、貨架到圖像捕獲設(shè)備的成像平面的距離等)，可以將圖像中的已識別對象(例如，貨架)的坐標向庫存環(huán)境301中的實際位置映射。使用類似的映射來將圖像中各種已識別產(chǎn)品實例的方位信息轉(zhuǎn)換為產(chǎn)品在庫存環(huán)境301、102中的實際位置。考慮到對象識別數(shù)據(jù)可能不包括任何已識別產(chǎn)品實例，提取的貨架圖或者至少貨架圖與所分析圖像相對應(yīng)的那部分可能不包括與已識別產(chǎn)品相對應(yīng)的任何信息。利用與一個或多個已識別產(chǎn)品實例(圖3中以粗體示出)相對應(yīng)的產(chǎn)品的身份以及其在庫存環(huán)境中的實際位置的知識，提取的貨架圖400可以包括已識別產(chǎn)品的對應(yīng)圖像408-412，其在提取的貨架圖400中的位置對應(yīng)于其在庫存環(huán)境301、102中的實際位置。再一次，將庫存環(huán)境中的實際位置向貨架圖表示中的相應(yīng)位置映射是本領(lǐng)域中公知的。類似地，產(chǎn)品416之間的間隙，未對齊以及其他展示缺陷也可以在貨架圖400中示出，由此反映貨架的當前狀態(tài)。還如提取的貨架圖400中所示，還可以示出附加貨架420和產(chǎn)品422的位置。由于在創(chuàng)建提取的貨架圖400時可以使用多個圖像(其中沒有一個圖像單獨完全捕獲了給定的產(chǎn)品支撐設(shè)備，而是集體捕獲)這一事實，這是可能的。例如，基于多個基本上同時的圖像，可以確定給定圖像中最下面的貨架位于圖3的示例性圖像300中描繪的第二貨架306之下，這歸因于這些圖像中都表示了第二貨架306這一事實。利用該知識(例如，包括已知的相機位置和/或第二貨架306的圖像之間的關(guān)系)，貨架圖生成軟件可以有效地向提取的貨架圖400添加附加的貨架420和產(chǎn)品422，由此提供貨架在拍攝圖像時刻的總體圖像。如上所述，對象識別數(shù)據(jù)直接用于生成提取的貨架圖。然而，實際上，優(yōu)選地的是，在將對象識別數(shù)據(jù)用于任何在此描述的目的(包括貨架圖的提取)之前，首先對其進行過濾。這是優(yōu)選的，因為圖像分析不是完美的，并且偶然會提供假陽(falsepositive)信息，例如，對象識別分析有時將指示實際上并不在那兒的已識別產(chǎn)品實例。而且，與圖像分析的執(zhí)行無關(guān)的外部因素(例如，遮擋、變化的光照條件等)的存在可能干擾圖像分析的正確執(zhí)行。其結(jié)果是，經(jīng)常需要在單個圖像(以及更一般地，一系列圖像)中過濾掉這種誤導(dǎo)的出現(xiàn)。例如，給定的產(chǎn)品可能被識別為在相應(yīng)貨架之上一定距離(歸因于其下面的某些其他不可識別的對象)。在提取的貨架圖中可以將該產(chǎn)品描繪為放在貨架之上，而非將其描述為“懸”在貨架之上。類似地，可以忽略不像真實的產(chǎn)品識別(例如，產(chǎn)品“漂浮”在半空或者被貨架分割)。同樣可以忽略以不可能的角度識別的產(chǎn)品(例如，產(chǎn)品可能在z軸上轉(zhuǎn)動非90度的角度，但是不太可能在x軸和y軸上這樣)。因為涉及各種可能產(chǎn)品的已存儲數(shù)據(jù)還可以包括關(guān)于產(chǎn)品的實際尺寸的信息，因此，可以丟棄與產(chǎn)品的已知尺寸不同的產(chǎn)品識別實例，例如，玉米片的盒子不可能有兩米寬。通過比較隨時間的多個圖像，可以實現(xiàn)附加的過濾。也即，為了可靠地確定給定的對象是應(yīng)當還是不應(yīng)當被認為是在多個圖像中識別到的，需要隨時間的比較。例如，對圖像的對象識別分析可以確定兩個或者更多已識別產(chǎn)品實例基本上重疊。這種情況通常將需要驗證，因為這實際上可能是這樣的情況，即，一個或多個產(chǎn)品可能定位在另一個之后，但是卻被識別了出來。備選地，這可能通過對單個產(chǎn)品的多個識別而出現(xiàn)。通過使用隨時間的多個圖像(例如，使用稍后某時的另一圖像)和/或隨空間的多個圖像(例如，從不同角度捕獲一個或多個附加圖像)，可以把每種情況考慮進來或者排除出去。類似的邏輯可以應(yīng)用于檢測到潛在的遮擋或變化的光照條件的那些實例。再一次，在這些實例中，多個時間上或空間上相異的圖像的使用可以用于確認或者排除特定的識別結(jié)果。再次參考圖2，處理可選地繼續(xù)到框212，在此將提取的貨架圖與目標貨架圖進行比較。在目前優(yōu)選的實施方式中，目標貨架圖可以包括基于一個或多個附加圖像(或者甚至是基于使用不同對象識別技術(shù)的同一圖像)的另一提取的貨架圖，或者最優(yōu)貨架圖。這里所使用的“最優(yōu)貨架圖”表示規(guī)劃者最初預(yù)想的一個或多個產(chǎn)品的理想展示。提取的貨架圖與目標貨架圖的比較可以用來標識所比較貨架圖之間的差異。如上所述，貨架圖包括產(chǎn)品、(相對)方位和朝向的列表。優(yōu)選地，期望的比較基于產(chǎn)品中心之間的距離及其朝向的之間的比較。這種差異可以包括但不限于產(chǎn)品距期望位置的水平偏離或垂直偏離、沒有在其預(yù)期位置檢測到產(chǎn)品，或者相對于目標圖像而言增加了不期望的產(chǎn)品?；谔崛〉呢浖軋D與目標貨架圖之間任何標識出的差異，處理可以可選地繼續(xù)到框214，在此，針對每個產(chǎn)品(或者產(chǎn)品類別)確定貨架圖之間差異的相對成本。例如，在一個實施方式中，給定產(chǎn)品相對于目標貨架圖的水平偏移可以具有與其相關(guān)聯(lián)的相對較低的成本。此外，給定產(chǎn)品相對于目標貨架圖的垂直偏移可以具有與其相關(guān)聯(lián)的中等成本。另一方面，與目標貨架圖相比，產(chǎn)品在提取的貨架圖中完全缺失可以具有與其相關(guān)聯(lián)的相對較高的成本。其他成本(作為設(shè)計選擇問題而被確定)可以與其他可檢測差異相關(guān)聯(lián)，所述其他可檢測差異諸如額外的、計劃外產(chǎn)品的存在，或者期望產(chǎn)品的額外陳列面的存在等。根據(jù)基于所標識的差異而計算的各種成本，可以計算差異的總成本(或者與給定貨架圖的期望特定方面相對應(yīng)的各種小計)，以作為測量當前庫存管理技術(shù)的有效性的一種方式。注意，可以針對一系列時間上不同的提取的貨架圖/目標貨架圖來執(zhí)行框212和214的比較和/或成本確定，以便辨清趨勢或者其他與時間有關(guān)的發(fā)展。此外，在框216，可以使用通過框202-214的處理而獲得的各種信息以作為采取任何動作的基礎(chǔ)。例如，提取的貨架圖或者成本信息可以充當向適當?shù)娜藛T發(fā)送提示或其他指示的基礎(chǔ)。例如，如果提取的貨架圖與目標貨架圖之間的成本差異足夠大，則可能期望指示管庫人員檢查受影響的區(qū)域，并采取任何需要的補救動作。本領(lǐng)域的普通技術(shù)人員將會理解，基于按照圖2的處理而得出的信息，可以容易地得出各種其他動作。現(xiàn)在參考圖5，其示出了一種用于確定耗盡貨物狀況的技術(shù)。開始于框502，如前所述，可以可選地請求(或者自動提供)至少一個圖像。當在框504處接收到庫存環(huán)境的至少一個圖像之后，處理繼續(xù)到框506，在此分析至少一個接收到的圖像，以檢測該至少一個圖像中的至少一個缺貨特征的存在。在此使用的“缺貨特征”是可以通過圖像分析來識別、并且用來指示產(chǎn)品支撐設(shè)備上可能缺失一個或多個產(chǎn)品的圖像中任意類型的可檢測特征。其示例在下文參考圖6和圖7進一步示出。注意，在框506處對缺貨特征的檢測優(yōu)選地包括如上所述的過濾過程，以便將對缺貨特征的假陽檢測最小化，或者適應(yīng)在其他情況下可檢測的缺貨特征被遮擋(例如，在不良的光照中等)的概率?，F(xiàn)在參考圖6，示出了多個貨架602、604，其上保存有各種產(chǎn)品606-612。而且，貨架上還可以部署有各種可檢測的圖案614-626。利用已知的技術(shù)，各種圖案614-626實際上可以持久地或臨時地附于貨架602-604的任何面，特別是圖像捕獲設(shè)備容易看見的那些面。例如，第一可檢測圖案614被示為展示在上層貨架602的上表面上。此外，第二可檢測圖案616被示為在上層貨架602的后壁上。而且，第三可檢測圖案618被示為在上側(cè)貨架602的側(cè)壁上。在第一可檢測圖案、第二可檢測圖案和第三可檢測圖案614-618中，圖案包括黑白方塊交替的高對比、高度組織的(并且因此易于檢測)圖案。本領(lǐng)域的技術(shù)人員將會理解，其他功能上類似的圖案(諸如一維條形碼或二維條碼，或者其他高對比的顏色/圖案)同樣可以用于此目的。在使用能夠編碼信息的圖案(諸如，條形碼或其他圖案)的情況中，可以使用這些圖案來編碼與和其一起展示的產(chǎn)品有關(guān)的信息，例如關(guān)聯(lián)產(chǎn)品的身份、形狀、尺寸、數(shù)量、價格等。在又一實施方式中，還提供包括文本標記的第四可檢測圖案620。在此實施方式中，使用人類可讀的文本，該文本可以通過使用公知的光學字符識別技術(shù)來進行識別。此外，可檢測圖案中可以包含其他區(qū)別特性，諸如獨特的顏色、形狀或者紋理，以便增強其可檢測性和/或其在被檢測到的情況下傳遞相關(guān)信息的能力。還可以使用多個可檢測圖案622、624(假定其在未被遮擋的情況下可被給定的圖像捕獲設(shè)備感知到)以作為確定貨架上產(chǎn)品的耗盡程度的手段。也即，如果多個可檢測圖案622、624都被阻擋并因此未被檢測到，則可以推斷所展示產(chǎn)品的庫存尚未耗盡。在另一極端情況，如果可檢測圖案622、624都未被阻擋并隨后被檢測到，則可以推斷所展示產(chǎn)品的庫存基本上(甚至是完全)耗盡。此外，如果只有一個可檢測圖案624未被阻擋并因此被檢測到，則可以推斷已經(jīng)發(fā)生了中等程度的貨物耗盡。備選地，可以使用已知維度的較大連續(xù)可檢測圖案(諸如第七可檢測圖案626)，使得對該可檢測圖案的部分的檢測充當至少部分耗盡的貨物狀況的量的指示。在此實施方式中，可以確定圖案626的已檢測部分的尺寸，并將其與圖案626的已知尺寸進行比較。此后，可以與圖案626的已檢測部分與圖案626的已知尺寸的比率成比例地(或者，在剩余貨物的情況下，是成反比)確定作為結(jié)果的貨物耗盡水平(或者剩余貨物的水平)。在又一實施方式中，并非依賴于部署在各貨架表面上的可檢測圖案，貨架的已知特征同樣可以用作圖像中的缺貨特征。例如，可以使用貨架本身的顏色、形狀和/或紋理。此外，貨架附近(之上、之下等)的已知光照條件可以使給定圖像中出現(xiàn)特定的陰影特征。再一次，這些陰影特征可以用作適于指示所展示庫存的耗盡狀態(tài)的缺貨特征。這在圖7中示出，其中多個貨架702、704具有保存在其上的多個產(chǎn)品706、708。利用貨架的已知特征(顏色、形狀、紋理等)，如果檢測到了此類特征710、712的相對較大的區(qū)域(例如，與適當選取的閾值相比)，則可以推斷貨物水平至少部分地耗盡，因為已經(jīng)檢測到這些通常被阻擋住的特征。如同之前的實施方式中一樣，可以使用檢測到的區(qū)域710、712的相對尺寸來推斷貨物耗盡/貨物剩余的水平。類似地，對陰影或反常明亮的區(qū)域714、716的檢測也可以用來推斷所展示庫存的缺乏。在實踐中，可以使用所謂的高斯混合模型來實現(xiàn)如上所述的對貨架顏色等的檢測。利用此技術(shù)，各種圖像捕獲設(shè)備被訓(xùn)練為基于特定位置的隨時間的一系列圖像(可能是在各種光照條件下)針對每個像素解釋與空貨架(或者陰影等)對應(yīng)的顏色集合。繼而將這些像素聚合為區(qū)域。再次參考圖5，如果在框506檢測到一個或多個缺貨特征，處理可以繼續(xù)到框508，在此可以向適當?shù)娜藛T提供至少部分耗盡的貨物狀況的指示。例如，可以向負責庫存環(huán)境中檢測到缺貨特征的那部分的管庫人員提供該指示。而且，考慮到貨物耗盡水平可以根據(jù)檢測到的缺貨特征來確定，該指示同樣可以反映貨物耗盡的程度。在目前優(yōu)選的實施方式中，僅在檢測到缺貨特征持續(xù)預(yù)定時段之后，才提供至少部分耗盡的貨物狀況的指示。在該段時間期間，如果檢測到障礙物，則可以將指示的提供推遲一段時間，以將障礙物的持續(xù)時間考慮在內(nèi)?，F(xiàn)在參考圖8，進一步示出了基于產(chǎn)品展示參數(shù)的確定的各種技術(shù)。開始于框802，如前所述，可以請求(或者自動提供)一個或多個圖像。當在框804接收到庫存環(huán)境的一個或多個圖像之后，處理繼續(xù)到框806，在此，如上所述，對一個或多個接收到的圖像應(yīng)用對象識別分析，以提供對象識別數(shù)據(jù)(其可以包括或者也可以不包括至少一個已識別產(chǎn)品實例)。請再次注意，框806處的對象識別數(shù)據(jù)的提供優(yōu)選地包括如上所述的過濾過程，以將假陽的檢測最小化，或者適應(yīng)在其他情況下可識別的特征被遮擋(例如，在不良的光照中等)的概率。假設(shè)對象識別數(shù)據(jù)包括至少一個已識別產(chǎn)品實例，過程繼續(xù)到框808，在此，確定與至少一個已識別產(chǎn)品實例相對應(yīng)的產(chǎn)品的至少一個產(chǎn)品展示參數(shù)。產(chǎn)品展示參數(shù)是用來測量給定產(chǎn)品在庫存環(huán)境中的展示普遍性和/或展示質(zhì)量(或其缺乏)的各種參數(shù)，該展示普遍性和/或展示質(zhì)量(或其缺乏)由產(chǎn)品被展示時的各種可量化特性來指示。例如，如本領(lǐng)域內(nèi)已知的，產(chǎn)品的“陳列面”是這樣的情況，在該情況中，產(chǎn)品在被展示時是可識別的。可以至少部分地基于產(chǎn)品陳列面的位置來確定給定產(chǎn)品陳列面的相對質(zhì)量。由此，一個產(chǎn)品展示參數(shù)可以包括產(chǎn)品在整個庫存環(huán)境中或其一個或多個部分中的陳列面數(shù)目。類似地，其他產(chǎn)品展示參數(shù)可以包括產(chǎn)品的陳列面的位置(例如，頂部貨架、底部貨架、走廊X、走廊Y、與走廊盡頭相距的距離、互補產(chǎn)品之間的距離等)，以及產(chǎn)品的陳列面之間的距離。對于陳列面之間的距離，可以基于陳列面在庫存環(huán)境中的實際位置的知識來計算直線距離，或者可以使用已知的路徑映射技術(shù)來計算相關(guān)位置之間(也即，對應(yīng)于第一實例的貨架與另一走廊中對應(yīng)于第二實例的另一貨架之間)的步行距離/時間。還如本領(lǐng)域中已知的，產(chǎn)品的展示高度經(jīng)常是產(chǎn)品成功銷售的關(guān)鍵決定性因素，因此可以構(gòu)成有用的展示參數(shù)。類似地，產(chǎn)品與第二產(chǎn)品的鄰近性可以構(gòu)成附加的有用展示產(chǎn)品參數(shù)。例如，如果第一產(chǎn)品是一類調(diào)味品，知道該產(chǎn)品與贈送產(chǎn)品(諸如，其他調(diào)味品)的鄰近性可能是有益的。作為另一示例，可能期望知道給定產(chǎn)品的位置以及其與相似類型的競爭產(chǎn)品的鄰近性。如上所述，可以基于對產(chǎn)品中心(x、y、z坐標)和/或三個角度朝向的比較來確定產(chǎn)品的鄰近性?？梢曰谶x定的閾值來做出鄰近/不鄰近決策，或者將原始距離數(shù)據(jù)作為結(jié)果提供。在目前優(yōu)選的實施方式中，鄰近性也可以被描述為步行距離/時間，或者更簡單點說，通過產(chǎn)品是在相同貨架還是不同貨架上的確定來描述。此外，在框806執(zhí)行的用于提供對象識別數(shù)據(jù)的處理也可以用于對圖像中的一個或多個宣傳資料實例進行識別。例如，可以應(yīng)用對象識別分析來確定在圖像中是否存在優(yōu)惠券分發(fā)者、廣告海報等。當在圖像中識別到此類宣傳資料時，附加的產(chǎn)品展示參數(shù)可以包括利用上文針對確定產(chǎn)品間鄰近性而描述的相同技術(shù)的、產(chǎn)品與一個或多個宣傳資料實例的鄰近性的確定。而且，可以確定宣傳資料的存在(也即，宣傳資料的展示的相對普遍性和/或質(zhì)量，如下文所述)。例如，利用這些技術(shù)，可以測量宣傳資料被購物車遮擋的頻率，或者其與已知的高流量區(qū)域的相對鄰近性?；谠诳?08確定的一個或多個產(chǎn)品展示參數(shù)，處理可以繼續(xù)到框810或者框812。首先參考框810，處理繼續(xù)，在此確定產(chǎn)品的存在。產(chǎn)品的存在是產(chǎn)品在庫存環(huán)境中的有益展示的相對程度的描述。也即，存在指示超出了給定產(chǎn)品是否在庫存環(huán)境中展示這一單純事實，而是試圖沿著兩個維度(即，展現(xiàn)的數(shù)量和展現(xiàn)的質(zhì)量二者)來測量產(chǎn)品的展示。也即，通過比當前的慣例更為頻繁和更為詳細的監(jiān)測，環(huán)境中產(chǎn)品被觀察到的存在程度。以此方式，本發(fā)明提供了用于支持新的促銷表現(xiàn)度量和方法的各種技術(shù)。例如，基于識別出的產(chǎn)品實例，可以記載特定產(chǎn)品在過去300次15分鐘觀測中的平均存在為4個位置中15個陳列面，其范圍在2次觀測到2個位置缺貨到283次觀測到與促銷目標完全一致之間變化。這種粒度水平允許可以協(xié)商的服務(wù)水平協(xié)議的本質(zhì)發(fā)生改變，由此改變可以銷售的促銷的本質(zhì)。此外，該數(shù)據(jù)構(gòu)成了關(guān)于產(chǎn)品表現(xiàn)的有價值的業(yè)界數(shù)據(jù)，其本身可以變成可銷售的資產(chǎn)，或者可作為服務(wù)提供給感興趣的第三方(例如，非競爭零售商，打包貨品公司寸乂O作為另一示例，對于給定產(chǎn)品而言，該產(chǎn)品在庫存環(huán)境中的陳列面的總數(shù)可以認為是該產(chǎn)品的存在的粗糙的第一近似。為了改進此存在指示，可以按照不同的展示高度和位置中每一個的感知質(zhì)量，對不同展示高度或位置(例如，底部貨架、眼睛高度的貨架、端頭展示架等)處的陳列面的小計進行加權(quán)。例如，考慮表1中示出的以下示例<table>tableseeoriginaldocumentpage15</column></row><table>表1在表1所示的示例中，權(quán)重被挑選以使得中部(也即，眼睛高度)貨架和端頭展示架上的陳列面的權(quán)重最大(有利)，而底部貨架上的陳列面加權(quán)較低(較不有利)。在此示例中，存在值可以計算為加權(quán)總計除以陳列面的總數(shù)(也即，200/50)，其值為4(最大可能值為5)。然而，如果找到了相同總數(shù)的陳列面，但是分布不同，如表2中所示，鑒于在較為有利加權(quán)的端頭展示架位置處存在更多數(shù)目的陳列面，則該存在值提升為4.4(也即，220/50)。<table>tableseeoriginaldocumentpage15</column></row><table>表2表1和表2中記載的示例示出了用于評估給定產(chǎn)品的陳列面的數(shù)量和質(zhì)量的一個潛在算法，當然，本領(lǐng)域普通技術(shù)人員將容易理解，在這方面可以提出各種評估技術(shù)。如上所述，在框808確定的其他產(chǎn)品展示參數(shù)可以作為設(shè)計選擇的問題被并入存在等級。例如，當每個陳列面位于互補產(chǎn)品的閾值鄰近性內(nèi)和/或位于相應(yīng)的宣傳資料的另一閾值鄰近性內(nèi)時，產(chǎn)品的存在等級可以增加。反之，其總計陳列面中的較大比例位于彼此相對較小的距離中(也即，聚集在庫存環(huán)境的一個區(qū)域中，而不是較為均勻地遍布)的產(chǎn)品的存在等級可能因此降低。再一次，此類產(chǎn)品展示參數(shù)的相對貢獻可以作為設(shè)計選擇問題進行選擇。實際上，這種貢獻可以按照所考慮的特定庫存環(huán)境而有所變化，例如，互補陳列面之間鄰近性的貢獻在雜貨店中可以比在家用品商店更為有利地加權(quán)。備選地，處理可以繼續(xù)到框812，在此，可以確定產(chǎn)品展示與促銷目標的一致性。例如，產(chǎn)品制造商通常會與商店聯(lián)系以確保在庫存環(huán)境中總是存在該制造商的產(chǎn)品的最小數(shù)目的陳列面。而且，可以進行安排以確保始終保持給定產(chǎn)品的促銷展示的特定最小質(zhì)量水平。因此，使用在框808獲得的產(chǎn)品展示參數(shù)，可以測量給定產(chǎn)品的展示的一致性，并將其與期望促銷目標進行比較。在確定產(chǎn)品與預(yù)期促銷目標基本上不一致的情況下，處理可以繼續(xù)到框814，在此向諸如商店經(jīng)理、審計員、廣告代表等適當人員提供不一致指示。不一致可以通過與期望參數(shù)水平的偏離水平(例如，按照位置、陳列面數(shù)目、一天內(nèi)缺貨的持續(xù)時間/相對可獲得性)來判定?，F(xiàn)在參考圖9和圖10，進一步示出了用于檢測需要人員響應(yīng)的潛在狀況的各種技術(shù)。更具體地，圖9示出了基于對時間上不同的圖像進行比較的技術(shù)，而圖10示出了基于對單個(或多個)圖像的不同空間區(qū)域進行比較的技術(shù)?，F(xiàn)在參考圖9，過程開始于框902，在此，再一次可以如上所述地請求一個或多個圖像(或者自動提供)。然而，在本例中，所請求的圖像(或者自動提供的圖像)是針對給定位置在時間上不同的圖像。也即，在框904接收到的多個圖像是在一段時間內(nèi)針對單個位置拍攝的。在框906，可選地可以至少向接收圖像的第一圖像和第二圖像(優(yōu)選地，更多的圖像，以便通過使用上述過濾操作獲得更為可靠的結(jié)果)應(yīng)用如上所述的對象識別分析。盡管目前優(yōu)選的是對第一圖像和第二圖像(或者按照需要，更多的圖像)執(zhí)行這種對象識別分析，但這并非必要條件，因為后續(xù)的比較步驟908可以在沒有對象識別分析的情況下執(zhí)行。由此，在框908，將第一圖像的部分與第二圖像的部分進行比較。具體地，框908的比較試圖測量第一圖像與第二圖像的相應(yīng)部分之間的相似程度。在對每個圖像執(zhí)行對象識別的情況下，比較可能需要對圖像中相似位置處的已識別產(chǎn)品實例(如果有的話)所對應(yīng)的產(chǎn)品的身份進行比較。備選地(或者在已經(jīng)執(zhí)行了對象識別的情況下，附加地)可以使用諸如上文描述的其他比較技術(shù)來評估圖像的相應(yīng)部分之間的相似程度。再一次，在框908中同樣可以應(yīng)用將假陽最小化/考慮情有可原的情況所需的過濾操作，以更好地確?？煽啃?。此后，在框910，確定對第一圖像和第二圖像的部分的比較是否是有利的。如果不是，處理繼續(xù)到框912，在此，向適當人員提供需要響應(yīng)的潛在狀況的通知。例如，框910處的比較可以基于第一圖像的部分是否與第二圖像的部分基本上匹配。反之，框910處的比較可以基于第一圖像的部分是否與第二圖像的部分基本上不匹配。參考前一種情況，如果框910的比較確定已識別產(chǎn)品實例存在于第一圖像的給定部分中但是不存在于第二圖像的相同部分中，則這可以是給定產(chǎn)品已經(jīng)耗盡、需要補貨或者產(chǎn)品已被某些東西遮擋的指示。作為設(shè)計選擇的問題，框912處提供的通知的本質(zhì)顯然將取決于檢測到的特定狀況的本質(zhì)及其在庫存環(huán)境的給定情況下的解釋。現(xiàn)在參考圖10，同樣示出了類似于圖9中所示的處理。然而，在圖10所描述的技術(shù)中，并不是基于由時段分割的多個圖像的比較，處理是針對單個圖像執(zhí)行的，但是在該圖像的不同空間部分之間。由此，框1002到框1006的處理與上文描述的框902到框906的處理基本上類似，包括對象識別分析的可選使用。然而，此后，在框1008，在圖像的第一部分與該同一圖像的第二部分之間進行比較。在此實施方式中，可以再一次采用上文描述的期望的過濾技術(shù)。然而，考慮到圖10的處理優(yōu)選地集中于單個圖像，優(yōu)選的可能是用于過濾的多個圖像是空間上不同的或者至少是時間變化非常小的(也即，在短時間內(nèi)獲得的)。此后，在框1010，確定比較是否是有利的，如果不是，處理繼續(xù)到框1012，在此，提供需要響應(yīng)的潛在狀況的通知。例如，可能期望對圖像中一個貨架的內(nèi)容與該第一貨架之上或者之下的其他貨架的內(nèi)容進行比較。同樣，還可以執(zhí)行與給定產(chǎn)品鄰近的產(chǎn)品的比較。使用在此描述的各種技術(shù)提供的信息(提取的貨架圖和/或作為結(jié)果的成本差異確定；缺貨檢測；產(chǎn)品展示參數(shù)確定和/或作為結(jié)果的產(chǎn)品存在和促銷一致性確定；或者需要響應(yīng)的潛在狀況的確定)可以由多個相關(guān)方的任意方來使用。例如，連鎖店的總部可能期望涉及以及對應(yīng)以下內(nèi)容的數(shù)據(jù)促銷一致性的洞察、每個分支機構(gòu)/區(qū)域的補貨信息、雇員和分支機構(gòu)表現(xiàn)、每種產(chǎn)品的缺貨等。再一次，本領(lǐng)域普通技術(shù)人員可以輕易地標識其他感興趣方。而且，盡管上文描述的各種技術(shù)基本上是彼此獨立描述的，但是在實踐中，可以有益地使用這些技術(shù)的組合。例如，用于缺貨檢測的潛在方法可以結(jié)合上文描述的對象識別技術(shù)和貨架圖匹配技術(shù)二者。在這種情況下，當產(chǎn)品在給定區(qū)域之中或者附近未被檢測到，并且按照目標貨架圖該產(chǎn)品被指定為位于該處，并且沒有檢測到遮擋，以及進一步假設(shè)已經(jīng)采用了適當?shù)倪^濾過程時，則可以將該產(chǎn)品標為缺失。以更為細化的方式來解釋這一點，可以使用得分函數(shù)(例如，基于連續(xù)檢測到該組狀況的次數(shù))來評估產(chǎn)品隨時間缺貨的相對可信性。在得分超過閾值的情況下，則可以提供所需的提示。作為另一示例，業(yè)界的顯著需求是期望確定哪些具體位置產(chǎn)生給定產(chǎn)品的最大銷售水平，尤其是在正使用給定環(huán)境中的多個位置的情況下。為此，使用上文描述的技術(shù)，可以使用圖像(或者貨架圖)之間的差異來推斷在銷售產(chǎn)品的整個庫存環(huán)境中各個位置處、針對給定產(chǎn)品的購買率(該購買率推斷可以與實際銷售點數(shù)據(jù)相關(guān))。此后，可以對該產(chǎn)品在不同位置處的銷售率差異進行比較，以確定最佳表現(xiàn)位置和最差表現(xiàn)位置。如上所述，本發(fā)明提供了用于改進庫存管理技術(shù)的效率和效用的各種技術(shù)。具體地，這是通過應(yīng)用適用于在庫存環(huán)境中捕獲的圖像的圖像分析技術(shù)而實現(xiàn)的。例如，通過向這種圖像應(yīng)用對象識別技術(shù)，不僅可以確定諸如缺貨狀況等特定狀況的存在，還可以按照諸如總體產(chǎn)品存在或者與促銷目標一致性的多種復(fù)雜標準來評估產(chǎn)品的展示。至少出于這些原因，上述技術(shù)代表了相對于現(xiàn)有技術(shù)教導(dǎo)的發(fā)展。盡管已經(jīng)示出和描述了特別優(yōu)選的實施方式，但是對于本領(lǐng)域技術(shù)人員而言顯然的是，可以在不脫離本教導(dǎo)的情況下進行改變和修改。例如，在上述特定示例依賴于貨架的使用的情況下，可以理解，同樣可以采用其他類型的產(chǎn)品支撐設(shè)備，諸如貨柜或者縱向展示架。因此，可以想到，上述教導(dǎo)的任何以及所有修改、變形或者等效物都位于上文公開和在此要求保護的基本原理的范圍內(nèi)。權(quán)利要求一種方法，包括接收庫存環(huán)境中的至少一個產(chǎn)品的圖像；基于配置簡檔來標識至少一個候選產(chǎn)品實例；基于與所述至少一個候選產(chǎn)品實例相對應(yīng)的已存儲產(chǎn)品圖像，來對所述圖像執(zhí)行對象識別分析，以提供產(chǎn)品識別數(shù)據(jù)；以及基于所述產(chǎn)品識別數(shù)據(jù)來提供提取的貨架圖。2.如權(quán)利要求1所述的方法，進一步包括標識產(chǎn)品支撐設(shè)備在所述圖像中的圖像位置；以及將所述產(chǎn)品支撐設(shè)備在所述圖像中的所述位置向貨架在所述庫存環(huán)境中的實際位置映射，其中所述提取的貨架圖進一步示出所述產(chǎn)品支撐設(shè)備的所述實際位置。3.如權(quán)利要求1所述的方法，其中所述產(chǎn)品識別數(shù)據(jù)包括至少一個已識別產(chǎn)品實例，以及其中提取的貨架圖針對所述至少一個已識別產(chǎn)品實例的每一個包括所述已識別產(chǎn)品實例的相應(yīng)圖像。4.如權(quán)利要求3所述的方法，進一步包括，針對所述至少一個已識別產(chǎn)品實例的每一個標識所述已識別產(chǎn)品實例在所述圖像中的圖像位置；以及將所述已識別產(chǎn)品實例在所述圖像中的位置向所述已識別產(chǎn)品實例在所述庫存環(huán)境中的實際位置映射，其中所述提取的貨架圖進一步示出所述已識別產(chǎn)品實例的所述實際位置。5.如權(quán)利要求2或4所述的方法，進一步包括基于所述庫存環(huán)境中用來捕獲所述圖像的圖像捕獲設(shè)備的方位信息，將所述圖像位置向所述實際位置映射。6.如權(quán)利要求1所述的方法，進一步包括向所述庫存環(huán)境中的圖像捕獲設(shè)備發(fā)送針對所述圖像的請求。7.如權(quán)利要求1所述的方法，進一步包括將所述提取的貨架圖與目標貨架圖進行比較。8.如權(quán)利要求7所述的方法，其中所述目標貨架圖是基于先前圖像的先前提取的貨架圖，或者是最優(yōu)貨架圖。9.如權(quán)利要求7所述的方法，進一步包括確定與所述提取的貨架圖和所述目標貨架圖之間的差異相關(guān)聯(lián)的成本。10.一種處理器可讀介質(zhì)，具有存儲于其上的可執(zhí)行指令，當所述可執(zhí)行指令被執(zhí)行時使處理設(shè)備接收庫存環(huán)境中的至少一個產(chǎn)品的圖像；基于配置簡檔來標識至少一個候選產(chǎn)品實例；基于與所述至少一個候選產(chǎn)品實例相對應(yīng)的已存儲產(chǎn)品圖像，來對所述圖像執(zhí)行對象識別分析，以提供產(chǎn)品識別數(shù)據(jù)；以及基于所述產(chǎn)品識別數(shù)據(jù)來提供提取的貨架圖。11.如權(quán)利要求10所述的處理器可讀介質(zhì)，具有存儲于其上的可執(zhí)行指令，當所述可執(zhí)行指令被執(zhí)行時進一步使所述處理設(shè)備標識產(chǎn)品支撐設(shè)備在所述圖像中的圖像位置；以及將所述產(chǎn)品支撐設(shè)備在所述圖像中的所述位置向所述產(chǎn)品支撐設(shè)備在所述庫存環(huán)境中的實際位置映射，其中所述提取的貨架圖進一步示出所述產(chǎn)品支撐設(shè)備的所述實際位置。12.如權(quán)利要求10所述的處理器可讀介質(zhì)，具有存儲于其上的可執(zhí)行指令，當所述可執(zhí)行指令被執(zhí)行時進一步使所述處理設(shè)備將針對所述產(chǎn)品識別數(shù)據(jù)中的至少一個已識別產(chǎn)品實例中每一個的相應(yīng)圖像包括在所述提取的貨架圖中。13.如權(quán)利要求12所述的處理器可讀介質(zhì)，具有存儲于其上的可執(zhí)行指令，當所述可執(zhí)行指令被執(zhí)行時進一步使所述處理設(shè)備標識所述已識別產(chǎn)品實例在所述圖像中的圖像位置；以及將所述已識別產(chǎn)品實例在所述圖像中的位置向所述已識別產(chǎn)品實例在所述庫存環(huán)境中的實際位置映射，其中所述提取的貨架圖進一步示出所述已識別產(chǎn)品實例的所述實際位置。14.如權(quán)利要求11或13所述的處理器可讀介質(zhì)，具有存儲于其上的可執(zhí)行指令，當所述可執(zhí)行指令被執(zhí)行時進一步使所述處理設(shè)備基于所述庫存環(huán)境中用來捕獲所述圖像的圖像捕獲設(shè)備的方位信息，將所述圖像位置向所述實際位置映射。15.如權(quán)利要求10所述的處理器可讀介質(zhì)，具有存儲于其上的可執(zhí)行指令，當所述可執(zhí)行指令被執(zhí)行時進一步使所述處理設(shè)備向所述庫存環(huán)境中的圖像捕獲設(shè)備發(fā)送針對所述圖像的請求。16.如權(quán)利要求10所述的處理器可讀介質(zhì)，具有存儲于其上的可執(zhí)行指令，當所述可執(zhí)行指令被執(zhí)行時進一步使所述處理設(shè)備將所述提取的貨架圖與目標貨架圖進行比較。17.如權(quán)利要求16所述的處理器可讀介質(zhì)，其中所述目標貨架圖是基于先前圖像的先前提取的貨架圖，或者是最優(yōu)貨架圖。18.如權(quán)利要求16所述的處理器可讀介質(zhì)，具有存儲于其上的可執(zhí)行指令，當所述可執(zhí)行指令被執(zhí)行時進一步使所述處理設(shè)備確定與所述提取的貨架圖和所述目標貨架圖之間的差異相關(guān)聯(lián)的成本。19.一種系統(tǒng)，包括圖像捕獲設(shè)備，其被配置和部署為捕獲庫存環(huán)境中的至少一個產(chǎn)品的圖像；以及自動貨架圖生成器，其與所述圖像捕獲設(shè)備通信，可操作以用于基于配置簡檔來標識至少一個候選產(chǎn)品實例；基于與所述至少一個候選產(chǎn)品實例相對應(yīng)的已存儲產(chǎn)品圖像來對所述圖像執(zhí)行對象識別分析，以提供產(chǎn)品識別數(shù)據(jù)；以及基于所述產(chǎn)品識別數(shù)據(jù)來提供提取的貨架圖。全文摘要向部署在庫存環(huán)境中的一個或多個圖像捕獲設(shè)備所獲得的圖像應(yīng)用圖像分析技術(shù)，包括對象識別分析。對象識別分析基于已存儲的產(chǎn)品(訓(xùn)練)圖像來提供對象識別數(shù)據(jù)(其可以包括一個或多個已識別產(chǎn)品實例)。繼而，可以基于對象識別數(shù)據(jù)來支持各種功能。例如，可以提取貨架圖并將其與目標貨架圖進行比較，或者可以確定產(chǎn)品的至少一個產(chǎn)品展示參數(shù)并將其用于評估庫存環(huán)境中的產(chǎn)品存在，或者用于確定產(chǎn)品的展示與促銷目標的一致性。在另一實施方式中，可以在單個圖像內(nèi)或者隨時間的多個圖像之間進行比較，以檢測需要響應(yīng)的潛在狀況。以此方式，可以改進之前人工實現(xiàn)的任務(wù)的效率和效用。文檔編號G06Q10/00GK101809601SQ200880109743公開日2010年8月18日申請日期2008年8月29日優(yōu)先權(quán)日2007年8月31日發(fā)明者安德魯·法諾,弗雷德里克·利納科爾,羅伯特·伯納德(羅賓)·格朗埃維爾特,阿加塔·奧帕拉施申請人:埃森哲環(huán)球服務(wù)有限公司