專利名稱：基于云處理方式的零售終端貨架影像智能分析系統(tǒng)的制作方法
基于云處理方式的零售終端貨架影像智能分析系統(tǒng)技術領域
本發(fā)明屬于圖像模式識別領域，通過云處理方式對采集的圖像進行模式識別和分析，應用于零售終端的管理。
背景技術：
在零售終端競爭日益加劇的今天，消費品廠商越來越關注產品在各個零售終端的銷售情況，而公知的是，產品在零售終端貨架的陳列情況直接影響到消費者對產品以及品牌的關注度進而影響產品的銷量，是影響銷售至關重要的因素。然而現(xiàn)有的零售終端貨架陳列信息的收集通常是通過大量的人力到零售終端手工完成收集，這樣造成信息的準確性和時效性都很差，特別是隨著人力成本的上漲，以及競爭的更加激烈，管理上要求更精確、 更有依據(jù)、更快速反應，需要用技術手段實現(xiàn)自動化。
隨著圖像采集技術和網(wǎng)絡技術的進步，特別是智能手機攝像能力的提高，人們可以采用手機攝像機搜集必要圖像信息，為實現(xiàn)自動化地識別貨架陳列信息奠定基礎。基于此，現(xiàn)有技術中提出了一些基于數(shù)字圖像處理來獲取貨架陳列信息的技術方案。例如公布號為CN102184405A的中國發(fā)明專利申請，其提供了一種貨架圖像采集分析的方法，該方法中將標尺擺放在貨架上，通過例如手機上的攝像機來采集和識別標尺上圖像信息，然后對上述圖像進行分析和計算得到貨架陳列信息。
但該方法有較大的局限性首先其必須采用經專門處理加上標尺的貨架，不具通用性，無法實際操作應用，實際應用性很不樂觀；其次該算法在根據(jù)標尺分層后未經單體分割而直接識別單體，且沒有提及輔助手段，實際應用中，貨架商品的擺放有各種復雜情況， 包括缺貨，重疊，覆蓋等等，如果不分割直接識別，很可能造成連體(漏分割)、半體(過分割)、不能識別等不可預測的結果，造成識別率很低。
公布號為CN102523758A的中國發(fā)明專利申請則是提供了一種增強現(xiàn)實提供系統(tǒng)，具通過向服務器裝置發(fā)送包含攝影裝置的拍攝內容的圖像信息的、用于取得表示在根據(jù)圖像信息能夠確定的貨架中能夠陳列的商品的商品信息的請求，在顯示裝置中與通過攝影裝置拍攝到的圖像信息重疊地顯示對請求進行應答而從服務器裝置發(fā)送的回答中包含的商品信息。服務器裝置根據(jù)在請求中包含的圖像信息確定貨架，并確定貨架的空閑空間的大小，從關聯(lián)地存儲了多個表示商品的商品信息和表示商品的大小的尺寸信息的存儲裝置中選擇比所確定的貨架的空閑空間的大小小的商品的商品信息，向A R提供裝置發(fā)送包含所選擇的商品信息的回答。
然而該方案僅僅用于檢測貨架空閑空間，無法識別貨架的其它商品陳列信息，而僅僅識別空閑空間僅僅有利于提升貨架的使用率，而對于提升銷售并沒有太大的幫助；其次，該系統(tǒng)的商品信息是根據(jù)位置從數(shù)據(jù)庫讀取，因此沒有模式識別用的樣本庫，而實際運用中商品信息是不斷變化的，當樣本庫沒有存儲相應的信息時該方案難以實施，并且使用該方案也無法識別商品的位置；第三，該系統(tǒng)的部署空間有限，通常是在本店部署，而無法覆蓋很大地范圍。發(fā)明內容
本發(fā)明正是出于克服現(xiàn)有技術的上述不足而提出的。根據(jù)本發(fā)明的一個方面，本發(fā)明要解決的問題是提供一種能夠基于云處理獲取的貨架陳列信息的技術方案，其能夠大范圍遠程地獲取貨架陳列信息，便于集中分析和管理以提高商品擺放的合理性促進銷售。 根據(jù)本發(fā)明的另一方面，本發(fā)明要解決的另一個技術問題是提高貨架中商品擺放信息的識別能力，提供更全面、更準確的商品陳列信息。
本發(fā)明是通過如下技術手段來解決上述技術問題的
一種零售終端貨架影像智能分析系統(tǒng)，包括樣品采集單元，所述樣品采集單元用于采集樣品圖像信息并將該信息傳輸給云端智能圖像分析系統(tǒng)；零售終端目標圖像采集單元，所述零售終端目標圖像采集單元用于在零售終端采集貨架的目標圖像信息；并將該信息傳輸給云端智能圖像分析系統(tǒng)；云端智能圖像分析系統(tǒng)該云端智能圖像分析系統(tǒng)包括 特征提取部，所述特征提取單元分析樣品采集單元獲取的目標圖像，獲得樣品圖像的顏色特征數(shù)據(jù)，利用該數(shù)據(jù)建立生成樣品數(shù)據(jù)庫；此外該特征提取單元還分析零售終端圖像采集系統(tǒng)采集的圖像，提取零售終端目標圖像的顏色特征數(shù)據(jù)；圖像分割部，所述圖像分割單元對所述目標圖像采集系統(tǒng)采集的圖像進行分割，進而識別單個商品的外框架；模式識別部，所述模式識別單元利用樣品數(shù)據(jù)庫分析所述目標圖像的顏色特征數(shù)據(jù)，識別零售終端目標圖像中的商品類型；數(shù)據(jù)分析單元，對云端智能圖像分析單元中其它部分獲取的商品信息進行匯總和/或分析。通過上述系統(tǒng)，本發(fā)明能夠實現(xiàn)基于云處理獲取的貨架陳列信息的技術方案，其能夠大范圍遠程地獲取貨架陳列信息，便于集中分析和管理以提高商品擺放的合理性促進銷售。
根據(jù)本發(fā)明的另一方面，本發(fā)明提供了一種基于色彩的數(shù)字圖像特征分析系統(tǒng)， 該系統(tǒng)包括:A.顏色讀取模塊，讀取圖像中的顏色數(shù)值；B.顏色空間量化模塊，對顏色空間進行量化，將每一個顏色分量的灰度級N等分為m份；C.直方圖構建模塊，其在量化后構建顏色直方圖；D.圖像整體d維直方圖構件模塊，其再將直方圖構建模塊中構建的直方圖按照一維方式展開，展開后存在md個數(shù)據(jù)，d表示顏色空間中的顏色分量。通過該系統(tǒng)，本發(fā)明對于原始圖像進行特征提取，變換成具有更加顯著特征的顏色信息組合，以便于該圖像的內容能夠被準確識別。
優(yōu)選地，該數(shù)字圖像特征分析系統(tǒng)還包括模式識別部，所述模式識別部利用圖像整體d維直方圖構件模塊分析所述目標圖像的顏色特征數(shù)據(jù)，識別零售終端目標圖像中的商品類型。
優(yōu)選地對顏色空間進行量化的公式為
權利要求
1.一種零售終端貨架影像智能分析系統(tǒng)，包括 樣品采集單元，所述樣品采集單元用于采集樣品圖像信息并將該信息傳輸給云端智能圖像分析系統(tǒng)； 零售終端目標圖像采集單元，所述零售終端目標圖像采集單元用于在零售終端采集貨架的目標圖像信息；并將該信息傳輸給云端智能圖像分析系統(tǒng)； 云端智能圖像分析系統(tǒng)該云端智能圖像分析系統(tǒng)包括 特征提取部，所述特征提取單元分析樣品采集單元獲取的目標圖像，獲得樣品圖像的顏色特征數(shù)據(jù)，利用該數(shù)據(jù)建立生成樣品數(shù)據(jù)庫；此外該特征提取單元還分析零售終端圖像采集系統(tǒng)采集的圖像，提取零售終端目標圖像的顏色特征數(shù)據(jù)； 圖像分割部，所述圖像分割部對所述目標圖像采集系統(tǒng)采集的圖像進行分割，進而識別單個商品的外框架； 模式識別部，所述模式識別部利用樣品數(shù)據(jù)庫分析所述目標圖像的顏色特征數(shù)據(jù)，識別零售終端目標圖像中的商品類型； 數(shù)據(jù)分析單元，對云端智能圖像分析單元中其它部分獲取的商品信息進行匯總和/或分析。
2.如權利I要求所述的系統(tǒng)，其特征在于樣品采集單元通過攝影棚采樣和/或零售終端現(xiàn)場采樣；并將攝影環(huán)境模擬為超市光線環(huán)境并消除反光。
3.如權利1-2要求所述的系統(tǒng)，其特征在于樣品采集單元使用純色背景取消剪切取樣。
4.如權利1-3要求所述的系統(tǒng)，其特征在于所述樣品采集單元和/或目標圖像采集單元，通過互聯(lián)網(wǎng)絡、移動網(wǎng)絡或存儲介質將所述樣品圖像和/或所述目標圖像輸入云端智能圖像分析單元的云端樣品圖像數(shù)據(jù)庫和/或貨架目標圖像數(shù)據(jù)原始庫。
5.如權利1-4要求所述的系統(tǒng)，其特征在于對樣品數(shù)據(jù)庫圖像按照多重色彩空間中的色彩分布通過分類器進行模式訓練，建立樣品知識庫和樣品模式匹配參數(shù)庫。
6.如權利1-5要求所述的系統(tǒng)，其特征在于所述樣品采集單元、零售終端目標圖像采 集單元采用手機攝像頭來獲取圖像。
7.如權利1-6要求所述的系統(tǒng)，其特征在于的零售終端目標圖像采集單元，在采集中對零售終端整排貨架進行分段拍攝。
8.如權利1-7要求所述的系統(tǒng)，其特征在于當所述系統(tǒng)檢測樣本庫內不存在所述目標圖像對應的商品時，即進行即時取樣。
9.如權利1-8要求所述的系統(tǒng)，其特征在于采用分段拍攝的方法采集所述目標圖像，所述系統(tǒng)對采集到的目標圖像進行幾何校正并合成為完整的水平貨架圖像，導入貨架目標圖像數(shù)據(jù)庫。
10.如權利1-9要求所述的系統(tǒng)，其特征在于云端智能圖像分析單元還包括比例分析部，所述系統(tǒng)，根據(jù)不同商品在顏色分布上的差異在對應的圖像位置標記出分割線的位置，再結合利用比例分析部得到的比例尺實現(xiàn)單件商品的分割。
11.如權利1-10要求所述的系統(tǒng)，其特征在于云端智能圖像分析單元還包括比例分析部，利用所述比例分析部得到的比例尺對分割后得到的每個商品在候選樣本庫范圍內進行模式識別。
12.如權利1-11要求所述的系統(tǒng)，其特征在于云端智能圖像分析單元還包括標簽識別部，該標簽識別部通過條形碼、二維碼、商品包裝文字、價簽的識別獲取相關的商品信息。
13.如權利1-12要求所述的系統(tǒng)，其特征在于所述特征提取部包括 a.顏色空間量化模塊，對顏色空間進行量化，將每一個顏色分量的灰度級N等分為m份，采用的算法公式是 Ni — [gp gi+1] N Q ■ =2" ^ 。I 172N+ — 其中，i
, gi為圖像像素原始顏色值，當其范圍落在一定的取值區(qū)間[gi，gi+1]時，將其映射為新的量化等級Ni,這樣原始的顏色值gi (O < i < N)被量化為％ (O ^ j < m)； b.直方圖構建模塊，其在量化后構建顏色直方圖，其計算公式為 f (i) = hIX] 其中，f(i)為直方圖中灰度級Ni為對應的頻數(shù)； c.圖像整體d維直方圖構件模塊，其再將直方圖構建模塊中構建的直方圖按照一維方式展開，展開后存在md個數(shù)據(jù)，其計算公式為/(P) = H [ N,· ] [ Ay ] - [ Nk ] d個f = (f(0), f(l), . . .，f(md-l)) 其中，p = *!^1+」*!^2+···+!^ i, j, k e {0,1,..., m-l}, d表示顏色空間中的顏色分量。
14.如權利1-13要求所述的系統(tǒng)，其特征在于所述圖像分割部首先針對圖像的二值化結果構建垂直投影直方圖，選取合適的閾值T以獲取每層貨架在圖像中的位置進行切割; 然后統(tǒng)計單層貨架圖像中不同顏色空間不同顏色分量下的水平投影直方圖，對直方圖進行差分操作，以便凸顯直方圖的峰值，其公式為 Δ xHi (bx) = Hi (χ) -Hi (x-1) 其中Hi是i個顏色分量下的水平投影直方圖，水平投影直方圖中每個點的坐標為(X，Hx)，(χ e [0，W))，W為貨架的寬度； 然后，通過邏輯運算“或”操作處理上述直方圖的每一列獲得最終的直方圖，其計算公式為 H (χ) = Δ (χ) I Δ χΗ2 (χ) I · · · I Δ χΗη (χ)； 然后，對最終的直方圖數(shù)據(jù)進行歸一化處理，使得直方圖的高度限定在一定的范圍內，方便顯示與分析處理，其計算公式為H(x) = ( Hix) < IH ) / max H( i )'O < . < IV' 其中，IH表示圖像的高度，maX(^i<wH(i)表示直方圖所有列的最大值； 最后通過設定閾值，將歸一化處理后的直方圖分成多個部分，在對應的圖像位置標記出分割線的位置，實現(xiàn)單件商品的外框架分割識別。
全文摘要
本發(fā)明涉及零售終端貨架影像智能分析系統(tǒng)，包括樣品采集單元，用于采集樣品圖像信息；零售終端目標圖像采集系統(tǒng)，用于在零售終端采集貨架的圖像信息；云端智能圖像分析單元該云端智能圖像分析單元包括特征提取部，分析目標圖像并獲得樣品圖像的顏色特征數(shù)據(jù)，利用該數(shù)據(jù)建立生成樣品數(shù)據(jù)庫，以及分析目標圖像采集系統(tǒng)采集的圖像，提取零售終端目標圖像的顏色特征數(shù)據(jù)。圖像分割部，所述圖像分割單元對目標圖像進行分割，進而識別單個商品的外框架。模式識別部，識別目標圖像的商品。數(shù)據(jù)分析單元，對云端智能圖像分析系統(tǒng)中其它部分獲取的商品信息進行匯總和/或分析。通過上述系統(tǒng)，本發(fā)明能快速、可靠和低成本地提供產品陳列布置的信息。
文檔編號G06K9/46GK102982332SQ20121036997
公開日2013年3月20日 申請日期2012年9月29日 優(yōu)先權日2012年9月29日
發(fā)明者顧堅敏, 盧麗敏, 謝翼舟, 徐宏海 申請人:顧堅敏