本發(fā)明涉及家用電器控制領域，特別涉及一種食材圖像的智能化識別方法、系統(tǒng)和家用電器。

背景技術：

隨著人工智能技術的發(fā)展，尤其是深度學習方法的出現，在圖像識別開始具有實用化的價值。然而在家用電器的食材識別方面，由于食材種類的繁多，訓練速度很慢。而當模型部署好之后，出現了新的種類后，需要對模型進行更新，這個時間過長會在很大程度上影響這段時間食材識別的識別率。

技術實現要素：

本發(fā)明提供了一種食材圖像的智能化識別方法、系統(tǒng)和家用電器，解決了以上所述的技術問題。

本發(fā)明解決上述技術問題的技術方案如下：

依據本發(fā)明一個方面，提供了一種食材圖像的智能化識別方法，包括以下步驟：

步驟1，建立用于檢測食材類型和食材位置的卷積神經網絡，并采用Map/Reduce并行方式對所述卷積神經網絡進行訓練；

步驟2，獲取智能電器中的食材圖像；

步驟3，采用步驟1訓練結束的卷積神經網絡對所述食材圖像進行識別，獲取食材類型和食材在家用電器中的位置。

本發(fā)明的有益效果是：本發(fā)明的智能化識別方法采用Map/Reduce并行方式對卷積神經網絡進行訓練，極大地提高了所述卷積神經網絡的訓練速度，即使家用電器中出現了新的食材需要對卷積神經網絡進行更新也不需要花費過多時間，從而提高了家用電器中食材識別效率。

在上述技術方案的基礎上，本發(fā)明還可以做如下改進。

進一步，還包括步驟4，具體為：根據食材類型和食材在家用電器中的位置，采用對應的控制方法對家用電器進行控制。

采用上述進一步方案的有益效果是：本發(fā)明的進一步技術方案中可以根據食材類型和食材在家用電器中的位置，提供更加細致的控制方案，從而提高用戶的使用感受。

進一步，所述步驟1具體為：

S1，采集智能電器中的食材圖像樣本；

S2，構建卷積神經網絡，所述卷積神經網絡包括區(qū)域網絡和分類網絡，所述區(qū)域網絡包括至少一個卷積層、至少一個池化層和兩個全連接層；

S3，形成多個輸入文件，每個輸入文件包括食材圖像樣本、區(qū)域網絡中池化層的模型參數、全連接層的模型參數和卷積層中的至少一個卷積核；

S4，在hadoop平臺各個節(jié)點的Mapper端啟動Map任務，每個Mapper端分別獲取所述輸入文件，并輸出所述食材圖像樣本上的至少一個目標候選區(qū)域；

S5，在hadoop平臺各個節(jié)點的Reducer端啟動Reduce任務，每個Reducer端獲取至少一個所述目標候選區(qū)域，并采用至少一個所述目標候選區(qū)域和反向傳播算法對所述分類網絡進行一次訓練，以優(yōu)化所述分類網絡的參數；

S6，采用訓練后的所述分類網絡對所述區(qū)域網絡進行初始化，以使所述區(qū)域網絡與所述分類網絡共享卷積層，并調整所述區(qū)域網絡中池化層和全連接層的參數；

S7，重復步驟S3～S6，直到所述區(qū)域網絡的預設損失函數的函數值達到預設值。

進一步，所述步驟S4中，每個Mapper端輸出所述食材圖像樣本上的目標候選區(qū)域的具體步驟包括：

根據所述輸入文件采用所述區(qū)域網絡中的卷積層和池化層對所述食材圖像樣本進行處理，生成特征圖像，將所述特征圖像輸入到所述區(qū)域網絡的兩個全連接層，一個全連接層輸出至少一個候選區(qū)域，所述候選區(qū)域為所述食材圖像樣本中目標食材所處的區(qū)域；另一個全連接層輸出每個候選區(qū)域為目標候選區(qū)域的得分；

對所述得分進行排序，并按照排序結果對所述候選區(qū)域進行篩選，生成至少一個目標候選區(qū)域。

采用上述進一步方案的有益效果是：本進一步技術方案采用了Faster R-CNN卷積神經網絡，Faster R-CNN使用卷積神經網絡直接產生候選區(qū)域，將候選區(qū)域和常規(guī)卷積神經網絡分類模型融合到了一起，使用端到端的網絡進行目標檢測，無論在訓練速度上還是識別精度上都得到了很大的提高，從而進一步提高了對家用電器內食材的識別速度，提高了用戶體驗感受。同時，本進一步技術方案采用了Map/Reduce并行方式，將獲取目標候選區(qū)域和訓練分類模型交由不同機器進行處理，從而更好的利用多計算機的運算能力，進一步縮短模型訓練和更新的周期。

依據本發(fā)明的另一方面，還提供了一種食材圖像的智能化識別系統(tǒng)，包括模型訓練模塊、圖像獲取模塊和識別模塊，

所述模型訓練模塊用于建立用于檢測食材類型和食材位置的卷積神經網絡，并采用Map/Reduce并行方式對所述卷積神經網絡進行訓練；

所述圖像獲取模塊用于獲取智能電器中的食材圖像；

所述識別模塊用于采用訓練結束的卷積神經網絡對所述食材圖像進行識別，獲取食材類型和食材在家用電器中的位置。

本發(fā)明的有益效果是：本發(fā)明的智能化識別系統(tǒng)采用Map/Reduce并行方式對卷積神經網絡進行訓練，極大地提高了所述卷積神經網絡的訓練速度，即使家用電器中出現了新的食材需要對卷積神經網絡進行更新也不需要花費過多時間，從而提高了家用電器中食材識別效率。

進一步，還包括控制模塊，所述控制模塊用于根據食材類型和食材在家用電器中的位置，采用對應的控制方法對家用電器進行控制。

采用上述進一步方案的有益效果是：本進一步技術方案可以根據食材類型和食材在家用電器中的位置，提供更加細致的控制方案，從而提高用戶的使用感受。

進一步，所述模型訓練模塊包括：

采集單元，用于采集智能電器中的食材圖像樣本；

構建單元，構建卷積神經網絡，所述卷積神經網絡包括區(qū)域網絡和分類網絡，所述區(qū)域網絡包括至少一個卷積層、至少一個池化層和兩個全連接層；

切片單元，用于形成多個輸入文件，每個輸入文件包括食材圖像樣本、區(qū)域網絡中池化層的模型參數、全連接層的模型參數和卷積層中的至少一個卷積核；

Map單元，用于在hadoop平臺各個節(jié)點的Mapper端啟動Map任務，每個Mapper端分別獲取所述輸入文件，并輸出所述食材圖像樣本上的至少一個目標候選區(qū)域；

Reduce單元，用于在hadoop平臺各個節(jié)點的Reducer端啟動Reduce任務，每個Reducer端獲取至少一個所述目標候選區(qū)域，并采用至少一個所述目標候選區(qū)域和反向傳播算法對所述分類網絡進行一次訓練，以優(yōu)化所述分類網絡的參數；

參數調整單元，用于采用訓練后的所述分類網絡對所述區(qū)域網絡進行初始化，以使所述區(qū)域網絡與所述分類網絡共享卷積層，并調整所述區(qū)域網絡中池化層和全連接層的參數；

控制單元，用于驅動切片單元根據調整后的所述區(qū)域神經網絡的參數形成新的輸入文件，并依次驅動Map單元、Reduce單元和參數調整單元，直到所述區(qū)域神經網絡的預設損失函數的函數值達到預設值。

進一步，Map單元具體用于根據所述輸入文件采用所述區(qū)域網絡中的卷積層和池化層對所述食材圖像樣本進行處理，生成特征圖像，將所述特征圖像輸入到所述區(qū)域網絡的兩個全連接層，一個全連接層輸出至少一個候選區(qū)域，所述候選區(qū)域為所述食材圖像樣本中目標食材所處的區(qū)域；另一個全連接層輸出每個候選區(qū)域為目標候選區(qū)域的得分；并對所述得分進行排序，按照排序結果對所述候選區(qū)域進行篩選，生成至少一個目標候選區(qū)域。

采用上述進一步方案的有益效果是：本進一步技術方案采用了Faster R-CNN卷積神經網絡，Faster R-CNN使用卷積神經網絡直接產生候選區(qū)域，將候選區(qū)域和常規(guī)卷積神經網絡分類模型融合到了一起，使用端到端的網絡進行目標檢測，無論在訓練速度上還是識別精度上都得到了很大的提高，從而進一步提高了對家用電器內食材的識別速度，提高了用戶體驗感受。同時，該實施例采用了Map/Reduce并行方式，將獲取目標候選區(qū)域和訓練分類模型交由不同機器進行處理，從而更好的利用多計算機的運算能力，進一步縮短模型訓練和更新的周期。

為了解決本發(fā)明的技術問題，還提供了一種家用電器，包括以上所述的食材圖像的智能化識別系統(tǒng)。

進一步，所述家用電器為冰箱、微波爐或者烤箱。

本發(fā)明附加的方面的優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明實踐了解到。

附圖說明

圖1為本發(fā)明一實施例提供的一種食材圖像的智能化識別方法的流程示意圖；

圖2為本發(fā)明另一實施例提供的一種食材圖像的智能化識別方法的流程示意圖；

圖3為本發(fā)明一實施例提供的食材圖像的智能化識別方法中步驟1的流程示意圖；

圖4為本發(fā)明一實施例提供的一種食材圖像的智能化識別系統(tǒng)的結構示意圖；

圖5為本發(fā)明另一實施例提供的一種食材圖像的智能化識別系統(tǒng)的結構示意圖；

圖6為本發(fā)明一實施例提供的食材圖像的智能化識別系統(tǒng)中模型訓練模塊的結構示意圖；

圖7為本發(fā)明一實施例提供的家用電器的結構示意圖。

具體實施方式

以下結合附圖對本發(fā)明的原理和特征進行描述，所舉實例只用于解釋本發(fā)明，并非用于限定本發(fā)明的范圍。

卷積神經網絡(Convolutional Neural Network,CNN)是近年來發(fā)展起來的高效識別方法，尤其是在圖像識別和模式分類領域引起了廣泛重視。對卷積神經網絡模型進行訓練包括以下步驟：

1、采用卷積層對輸入圖片進行卷積處理。所述卷積層包括卷積核，通過選定的卷積核對圖片進行處理首先是基于局部感知野的原理。一般認為人對外界的認知是從局部到全局的，而圖像的空間聯系也是局部的像素聯系較為緊密，而距離較遠的像素相關性則較弱。因而，每個神經元其實沒有必要對全局圖像進行感知，只需要對局部進行感知，然后在更高層將局部的信息綜合起來就得到了全局的信息。其次，可以認為圖像的各個部分的統(tǒng)計特征是相同的，這也意味著在這一部分學習的特征也能用在另一部分上，所以對于這個圖像上的所有位置，我們都能使用同樣的學習特征，就可以選用同樣的卷積核進行處理，得到特征圖像。

2、對卷積后的數據進行池化處理。池化的作用是通過降采樣的方式進一步降低冗余度。這是利用靜態(tài)圖片的空間相關性，可以認為經過卷積得到的特征圖表述了圖像的某種特征，鄰近各點之間具有較強的相關性，可以利用降采樣降低冗余。

3、經過若干次卷積和池化后得到最終的特征圖。通常卷積和池化的操作會進行若干次，之后得到最終的特征圖。

4、在特征圖和輸出之間建立全連結；

5、建立全連接之后可以通過損失函數計算模型輸出和實際輸出的差，通過反向運算修正各層參數，從而使損失函數值最小，完成訓練過程。將訓練完成的卷積神經網絡模型對輸入圖像進行運算，即可得到輸入圖像的類別或者位置數據。位置數據通常采用(x，y，w，h)表示，x，y為坐標值，w為寬度，h為高度，上述位置數據在輸入圖像上的顯示結果即是一個框住輸入圖像中目標檢測物體的矩形框。

具體到本發(fā)明中，可以采用訓練好的神經網絡圖像對家用電器，比如冰箱、微波爐等的食材進行識別，獲取食材類別和食材在家用電器中所處的位置。具體的，家用電器食材識別可以認為是近似背景下，多種不同前景物體的檢測和識別。家用電器中食材的拍攝場景固定，可以認為具有相似的背景，而識別的物體種類不同，位置也隨機擺放，可以看作不同的前景。檢測的任務是檢測出每種食材的位置，通常用(x,y,w,h)表示，其中(x,y)代表食材左上角的坐標，w為其寬度，h為其高度；而識別的任務是分辨出檢測到的食材屬于那種類型。

圖1為本發(fā)明實施例提供的一種食材圖像的智能化識別方法的流程示意圖，如圖1所示，包括以下步驟：

步驟1，建立用于檢測食材類型和食材位置的卷積神經網絡，并采用Map/Reduce并行方式對所述卷積神經網絡進行訓練；

步驟2，獲取智能電器中的食材圖像；

步驟3，采用步驟1訓練結束的卷積神經網絡對所述食材圖像進行識別，獲取食材類型和食材在家用電器中的位置。

本實施例的智能化識別方法采用Map/Reduce并行方式對卷積神經網絡進行訓練，極大地提高了所述卷積神經網絡的訓練速度，即使家用電器中出現了新的食材需要對卷積神經網絡進行更新也不需要花費過多時間，從而提高了家用電器中食材識別效率。

在優(yōu)選實施例中，還包括步驟4，如圖2所示，具體為：根據食材類型和食材在家用電器中的位置，采用對應的控制方法對家用電器進行控制。比如當家用電器為冰箱時，根據食材種類可以得到該食材的最佳冷藏溫度或者冷凍溫度，再結合該食材在冰箱中的位置，可以單獨對該位置所處區(qū)域的溫度進行控制或者提醒用戶更換食材在冰箱中的位置，使每個食材都能得到最合適的冷藏溫度或者冷凍溫度。再比如家用電器為烤箱時，根據食材種類可以得到該食材的最佳烹飪溫度和烹飪時間，再結合該食材在烤箱中的位置，可以單獨對該位置所處區(qū)域的溫度進行控制，以得到最好的烹飪效果。

一個優(yōu)選的實施例中，所述步驟1具體包括以下步驟，如圖3所示，

S1，采集智能電器中的食材圖像樣本；

S2，構建卷積神經網絡，所述卷積神經網絡包括區(qū)域網絡和分類網絡，所述區(qū)域網絡包括至少一個卷積層、至少一個池化層和兩個全連接層；

S3，形成多個輸入文件，每個輸入文件包括食材圖像樣本、區(qū)域網絡中池化層的模型參數、全連接層的模型參數和卷積層中的至少一個卷積核；

S4，在hadoop平臺各個節(jié)點的Mapper端啟動Map任務，每個Mapper端分別獲取所述輸入文件，并輸出所述食材圖像樣本上的至少一個目標候選區(qū)域；

S5，在hadoop平臺各個節(jié)點的Reducer端啟動Reduce任務，每個Reducer端獲取至少一個所述目標候選區(qū)域，并采用至少一個所述目標候選區(qū)域和反向傳播算法對所述分類網絡進行一次訓練，以優(yōu)化所述分類網絡的參數；

S6，采用訓練后的所述分類網絡對所述區(qū)域網絡進行初始化，以使所述區(qū)域網絡與所述分類網絡共享卷積層，并調整所述區(qū)域網絡中池化層和全連接層的參數；

S7，重復步驟S3～S6，直到所述區(qū)域網絡的預設損失函數的函數值達到預設值。

該實施例中，所述節(jié)點數目和所述輸入文件的個數一致,每個節(jié)點的Mapper端分別獲取一個所述輸入文件，根據所述輸入文件即可對區(qū)域網絡進行訓練，并通過區(qū)域網絡在所述食材圖像樣本上生成至少一個目標候選區(qū)域。該實施例中，步驟S4中每個Mapper端輸出所述食材圖像樣本上的目標候選區(qū)域的具體步驟為：根據所述輸入文件采用所述區(qū)域網絡中的卷積層和池化層對所述食材圖像樣本進行處理，生成特征圖像，將所述特征圖像輸入到所述區(qū)域網絡的兩個全連接層，一個全連接層輸出至少一個候選區(qū)域，所述候選區(qū)域為所述食材圖像樣本中目標食材所處的區(qū)域；另一個全連接層輸出每個候選區(qū)域為目標候選區(qū)域的得分；對所述得分進行排序，并按照排序結果對所述候選區(qū)域進行篩選，生成至少一個目標候選區(qū)域。

上述優(yōu)選實施例中，采用了Faster R-CNN卷積神經網絡，Faster R-CNN使用卷積神經網絡直接產生候選區(qū)域，將候選區(qū)域和常規(guī)卷積神經網絡分類模型融合到了一起，使用端到端的網絡進行目標檢測，無論在訓練速度上還是識別精度上都得到了很大的提高，從而進一步提高了對家用電器內食材的識別速度，提高了用戶體驗感受。同時，本實施例采用了Map/Reduce并行方式，將獲取目標候選區(qū)域和訓練分類模型交由不同機器進行處理，從而更好的利用多計算機的運算能力，進一步縮短模型訓練和更新的周期。當然在其他的實施例中，還可以采用其他的并行訓練方案，比如將用于訓練的食材圖像樣本進行切片，不同機器對相應部分的食材圖像樣本進行完整訓練，最后對訓練結果進行融合，得到神經網絡模型。

圖4為本發(fā)明實施例提供的一種食材圖像的智能化識別系統(tǒng)的結構示意圖，如圖4所示，包括模型訓練模塊、圖像獲取模塊和識別模塊，

所述模型訓練模塊用于建立用于檢測食材類型和食材位置的卷積神經網絡，并采用Map/Reduce并行方式對所述卷積神經網絡進行訓練；

所述圖像獲取模塊用于獲取智能電器中的食材圖像；

所述識別模塊用于采用訓練結束的卷積神經網絡對所述食材圖像進行識別，獲取食材類型和食材在家用電器中的位置。

本實施例的智能化識別系統(tǒng)采用Map/Reduce并行方式對卷積神經網絡進行訓練，極大地提高了所述卷積神經網絡的訓練速度，即使家用電器中出現了新的食材需要對卷積神經網絡進行更新也不需要花費過多時間，從而提高了家用電器中食材識別效率。

優(yōu)選實施例中，所述食材圖像的智能化識別系統(tǒng)還包括控制模塊，如圖5所示，所述控制模塊用于根據食材類型和食材在家用電器中的位置，采用對應的控制方法對家用電器進行控制。比如當家用電器為冰箱時，控制模塊根據食材種類可以得到該食材的最佳冷藏溫度或者冷凍溫度，再結合該食材在冰箱中的位置，可以單獨對該位置所處區(qū)域的溫度進行控制或者提醒用戶更換食材在冰箱中的位置，使每個食材都能得到最合適的冷藏溫度或者冷凍溫度。再比如家用電器為烤箱時，控制模塊根據食材種類可以得到該食材的最佳烹飪溫度和烹飪時間，再結合該食材在烤箱中的位置，可以單獨對該位置所處區(qū)域的溫度進行控制，以得到最好的烹飪效果。

圖6為一個優(yōu)選實施例中所述模型訓練模塊的結構示意圖，如圖6所示，所示模型訓練模塊包括：

采集單元，用于采集智能電器中的食材圖像樣本；

構建單元，構建卷積神經網絡，所述卷積神經網絡包括區(qū)域網絡和分類網絡，所述區(qū)域網絡包括至少一個卷積層、至少一個池化層和兩個全連接層；

切片單元，用于形成多個輸入文件，每個輸入文件包括食材圖像樣本、區(qū)域網絡中池化層的模型參數、全連接層的模型參數和卷積層中的至少一個卷積核；

Map單元，用于在hadoop平臺各個節(jié)點的Mapper端啟動Map任務，每個Mapper端分別獲取所述輸入文件，并輸出所述食材圖像樣本上的至少一個目標候選區(qū)域；

Reduce單元，用于在hadoop平臺各個節(jié)點的Reducer端啟動Reduce任務，每個Reducer端獲取至少一個所述目標候選區(qū)域，并采用至少一個所述目標候選區(qū)域和反向傳播算法對所述分類網絡進行一次訓練，以優(yōu)化所述分類網絡的參數；

參數調整單元，用于采用訓練后的所述分類網絡對所述區(qū)域網絡進行初始化，以使所述區(qū)域網絡與所述分類網絡共享卷積層，并調整所述區(qū)域網絡中池化層和全連接層的參數；

控制單元，用于驅動切片單元根據調整后的所述區(qū)域神經網絡的參數形成新的輸入文件，并依次驅動Map單元、Reduce單元和參數調整單元，直到所述區(qū)域神經網絡的預設損失函數的函數值達到預設值。上述優(yōu)選實施例中，所述Map單元具體用于根據所述輸入文件采用所述區(qū)域網絡中的卷積層和池化層對所述食材圖像樣本進行處理，生成特征圖像，將所述特征圖像輸入到所述區(qū)域網絡的兩個全連接層，一個全連接層輸出至少一個候選區(qū)域，所述候選區(qū)域為所述食材圖像樣本中目標食材所處的區(qū)域；另一個全連接層輸出每個候選區(qū)域為目標候選區(qū)域的得分；并對所述得分進行排序，按照排序結果對所述候選區(qū)域進行篩選，生成至少一個目標候選區(qū)域。

上述優(yōu)選實施例中，采用了Faster R-CNN卷積神經網絡，Faster R-CNN使用卷積神經網絡直接產生候選區(qū)域，將候選區(qū)域和常規(guī)卷積神經網絡分類模型融合到了一起，使用端到端的網絡進行目標檢測，無論在訓練速度上還是識別精度上都得到了很大的提高，從而進一步提高了對家用電器內食材的識別速度，提高了用戶體驗感受。同時，該實施例采用了Map/Reduce并行方式，將獲取目標候選區(qū)域和訓練分類模型交由不同機器進行處理，從而更好的利用多計算機的運算能力，進一步縮短模型訓練和更新的周期。當然在其他的實施例中，還可以采用其他的并行訓練方案，比如將用于訓練的食材圖像樣本進行切片，不同機器對相應部分的食材圖像樣本進行完整訓練，最后對訓練結果進行融合，得到神經網絡模型。

如圖7所述，為另一實施例提供的家用電器的結構示意圖，所述家用電器包括以上所述的食材圖像的智能化識別系統(tǒng)。具體實施例中，所述家用電器為冰箱、微波爐或者烤箱。

在本發(fā)明的描述中，需要理解的是，術語“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對重要性或者隱含指明所指示的技術特征的數量。由此，限定有“第一”、“第二”的特征可以明示或者隱含地包括至少一個該特征。在本發(fā)明的描述中，“多個”的含義是至少兩個，例如兩個，三個等，除非另有明確具體的限定。

在本說明書的描述中，參考術語“一個實施例”、“一些實施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結合該實施例或示例描述的具體特征、結構、材料或者特點包含于本發(fā)明的至少一個實施例或示例中。在本說明書中，對上述術語的示意性表述不必須針對的是相同的實施例或示例。而且，描述的具體特征、結構、材料或者特點可以在任一個或多個實施例或示例中以合適的方式結合。此外，在不相互矛盾的情況下，本領域的技術人員可以將本說明書中描述的不同實施例或示例以及不同實施例或示例的特征進行結合和組合。

以上所述僅為本發(fā)明的較佳實施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內。