本發(fā)明涉及教育培訓(xùn)技術(shù)領(lǐng)域，尤其涉及一種基于動作反應(yīng)和繪畫反應(yīng)的第二母語的訓(xùn)練方法及裝置。

背景技術(shù)：

現(xiàn)有的第二語言學(xué)習(xí)方法，很難達(dá)到語言信號和動作、觸覺、情緒情感之間的條件反射的母語程度。因為母語的習(xí)得過程和常規(guī)外語學(xué)習(xí)過程完全不同

母語學(xué)習(xí)者在張口說話之前的特殊階段(通常1歲之前)，盡管不能說話，但能通過觀察父母的動作示范，理解一些詞句；而且聽到成人的指令后，盡管不會張口應(yīng)答，但能用動作做出反應(yīng)。本發(fā)明就是基于動作反應(yīng)和繪畫反應(yīng)(繪畫也是一種小肌肉動作)模擬母語的自然學(xué)習(xí)過程，把詞語與人體動作、觸感和情緒表情建立一定關(guān)系，使語言信號內(nèi)化到學(xué)習(xí)者的潛意識，達(dá)到第二母語的程度。

技術(shù)實現(xiàn)要素：

本發(fā)明提供一種基于動作反應(yīng)和繪畫反應(yīng)的第二母語的訓(xùn)練方法及裝置，用于解決現(xiàn)有技術(shù)中無法在語言教學(xué)中達(dá)到母語學(xué)習(xí)效果的問題。

第一方面，本發(fā)明提供一種基于動作反應(yīng)和繪畫反應(yīng)的第二母語的訓(xùn)練方法，包括：

獲取詞句信息；

根據(jù)影音信息和詞句信息的預(yù)設(shè)對應(yīng)關(guān)系選擇播放與所述詞句信息對應(yīng)的影音信息，所述影音信息為根據(jù)目標(biāo)語言中詞句錄入的發(fā)音、動作、繪畫過程影像；

在當(dāng)前影音信息播放后，采集用戶模仿影像動作時的當(dāng)前身體動作信息和/或用戶繪畫的當(dāng)前繪畫筆跡信息；

根據(jù)所述當(dāng)前身體動作信息和/或所述當(dāng)前繪畫筆跡信息獲得當(dāng)前身體動作特征信息和/或當(dāng)前繪畫筆跡特征信息；

根據(jù)預(yù)設(shè)的影音信息與標(biāo)準(zhǔn)特征信息的對應(yīng)關(guān)系，判斷確定所述當(dāng)前身體動作特征信息和/或當(dāng)前繪畫筆跡特征信息與標(biāo)準(zhǔn)特征信息匹配成功后，播放下一個影音信息。

優(yōu)選地，所述影音信息的播放采用固有存儲順序播放或隨機(jī)播放。

優(yōu)選地，所述在當(dāng)前影音信息播放后，采集用戶模仿影像動作時的當(dāng)前身體動作信息和/或用戶畫面的當(dāng)前繪畫筆跡信息，包括：

通過人體上設(shè)置的動作跟蹤裝置、繪畫筆跡跟蹤和筆跡識別裝置和攝像裝置采集用戶模仿時的當(dāng)前身體動作信息和/或用戶繪畫的當(dāng)前繪畫筆跡信息。

優(yōu)選地，還包括：根據(jù)預(yù)設(shè)的影音信息與標(biāo)準(zhǔn)特征信息的對應(yīng)關(guān)系，判斷確定所述當(dāng)前身體動作特征信息和/或當(dāng)前繪畫筆跡特征信息與標(biāo)準(zhǔn)特征信息匹配未成功后，繼續(xù)播放，或再次播放，或暫停播放當(dāng)前影音信息。

優(yōu)選地，所述判斷確定所述當(dāng)前身體動作特征信息和/或當(dāng)前繪畫筆跡特征信息與標(biāo)準(zhǔn)特征信息匹配成功，包括：若所述當(dāng)前身體動作特征信息和/或當(dāng)前繪畫筆跡特征信息與標(biāo)準(zhǔn)特征信息之間的匹配差值在預(yù)設(shè)閾值范圍之內(nèi)，則判斷確定當(dāng)前身體動作特征信息和/或當(dāng)前繪畫筆跡特征信息與標(biāo)準(zhǔn)特征信息匹配成功。

第二方面，本發(fā)明提供一種基于動作反應(yīng)和繪畫反應(yīng)的第二母語的訓(xùn)練裝置，包括：

獲取模塊，用于獲取詞句信息；

播放模塊，用于根據(jù)影音信息和詞句信息的預(yù)設(shè)對應(yīng)關(guān)系選擇播放與所述詞句信息對應(yīng)的影音信息，所述影音信息為根據(jù)目標(biāo)語言中詞句錄入的發(fā)音、動作、繪畫過程影像；

采集模塊，用于在當(dāng)前影音信息播放后，采集用戶模仿影像動作時的當(dāng)前身體動作信息和/或用戶繪畫的當(dāng)前繪畫筆跡信息；

特征提取模塊，用于根據(jù)所述當(dāng)前身體動作信息和/或所述當(dāng)前繪畫筆跡信息獲得當(dāng)前身體動作特征信息和/或當(dāng)前繪畫筆跡特征信息；

處理模塊，用于根據(jù)預(yù)設(shè)的影音信息與標(biāo)準(zhǔn)特征信息的對應(yīng)關(guān)系，判斷確定所述當(dāng)前身體動作特征信息和/或當(dāng)前繪畫筆跡特征信息與標(biāo)準(zhǔn)特征信息匹配成功后，播放下一個影音信息。

優(yōu)選地，所述處理模塊，還用于：

根據(jù)預(yù)設(shè)的影音信息與標(biāo)準(zhǔn)特征信息的對應(yīng)關(guān)系，判斷確定所述當(dāng)前身體動作特征信息和/或當(dāng)前繪畫筆跡特征信息與標(biāo)準(zhǔn)特征信息匹配未成功后，繼續(xù)播放，或再次播放，或暫停播放當(dāng)前影音信息。

優(yōu)選地，所述播放模塊包括顯示屏、投影儀、虛擬現(xiàn)實設(shè)備、增強(qiáng)現(xiàn)實設(shè)備、全息成像設(shè)備的一種或多種。

優(yōu)選地，所述采集模板包括語音采集模塊和影像采集模塊，所述語音采集模塊包括錄音器，所述影像采集模塊包括動作跟蹤裝置、繪畫筆跡跟蹤和筆跡識別裝置和攝像裝置。

優(yōu)選地，所述處理模塊具體用于：若所述當(dāng)前身體動作特征信息和/或當(dāng)前繪畫筆跡特征信息與標(biāo)準(zhǔn)特征信息之間的匹配差值在預(yù)設(shè)閾值范圍之內(nèi)，則判斷確定當(dāng)前身體動作特征信息和/或當(dāng)前繪畫筆跡特征信息與標(biāo)準(zhǔn)特征信息匹配成功。

由上述技術(shù)方案可知，本發(fā)明提供的一種基于動作反應(yīng)和繪畫反應(yīng)的第二母語訓(xùn)練方法及裝置，通過對語言詞句所對應(yīng)的影像信息播放，使學(xué)習(xí)者模仿身體動作或模仿繪畫動作后采集到學(xué)習(xí)者的身體動作特征信息和繪畫筆跡特征信息，并與預(yù)設(shè)的標(biāo)準(zhǔn)特征信息進(jìn)行匹配，從而達(dá)到學(xué)習(xí)者通過肌肉動作反應(yīng)、皮膚觸覺反應(yīng)、繪畫過程中的情緒情感反應(yīng)，內(nèi)化語言信號到潛意識，來模擬第二母語的學(xué)習(xí)過程。

附圖說明

圖1為本發(fā)明一實施例提供的基于動作反應(yīng)和繪畫反應(yīng)的第二母語訓(xùn)練方法的流程示意圖；

圖2為本發(fā)明一實施例提供的基于動作反應(yīng)和繪畫反應(yīng)的第二母語訓(xùn)練裝置的結(jié)構(gòu)示意圖。

具體實施方式

下面結(jié)合附圖和實施例，對本發(fā)明的具體實施方式作進(jìn)一步詳細(xì)描述。以下實施例用于說明本發(fā)明，但不用來限制本發(fā)明的范圍。

圖1示出了本發(fā)明一實施例提供一種基于動作反應(yīng)和繪畫反應(yīng)的第二母語的訓(xùn)練方法，包括：

S11、獲取詞句信息。

在本步驟中，需要說明的是，對于目標(biāo)語言的學(xué)習(xí)信息，首先目標(biāo)語言的預(yù)設(shè)詞句和與詞句相對應(yīng)的影音信息存放在數(shù)據(jù)庫中。待播放時，首先要獲取將要播放的是哪一個詞句，即獲取詞句信息。

S12、根據(jù)影音信息和詞句信息的預(yù)設(shè)對應(yīng)關(guān)系選擇播放與所述詞句信息對應(yīng)的影音信息，所述影音信息為根據(jù)目標(biāo)語言中詞句錄入的發(fā)音、動作、繪畫過程影像。

在本步驟中，需要說明的是，在學(xué)習(xí)第二語言(如英語、法語、俄語、德語等)時，首先要從各種語言的詞句來學(xué)習(xí)。針對不同的詞句，需要錄入對應(yīng)的讀音，并配置一些與詞句形象聯(lián)系在一起的動作的影像和繪畫過程的影像。

在預(yù)設(shè)數(shù)據(jù)庫中會存放多條影音信息，此時需要預(yù)設(shè)一個影音信息與詞句信息的對應(yīng)關(guān)系。

如詞句stand up”為“起立”，學(xué)習(xí)者聽到該詞句的讀音，用起立的動作做出反應(yīng)。故單詞“stand up”既有語音，又有動作影像。

另外，為了突出教學(xué)的形象化，對于數(shù)據(jù)庫中的每個詞句均配置影音信息。

播放時，可采用顯示屏、虛擬現(xiàn)實設(shè)備、投影儀、增強(qiáng)現(xiàn)實設(shè)備、全息成像設(shè)備的一種或多種進(jìn)行播放。通過根據(jù)影音信息的預(yù)設(shè)對應(yīng)關(guān)系從數(shù)據(jù)庫中選擇對應(yīng)的播放影音信息完成播放。

S13、在當(dāng)前影音信息播放后，采集用戶模仿影像動作時的當(dāng)前身體動作信息和/或用戶繪畫的當(dāng)前繪畫筆跡信息。

在本步驟中，需要說明的是，學(xué)習(xí)者在學(xué)習(xí)過程中，一般會選擇對每一個詞句條件反射般的理解，才會進(jìn)行下一個詞句的學(xué)習(xí)。因此，在當(dāng)前影音信息播放后，學(xué)習(xí)者(用戶)根據(jù)影像動作進(jìn)行動作模仿，或根據(jù)影像上的繪畫過程(如老師在畫一個房子)進(jìn)行繪畫模仿(如模仿花一個房子)，系統(tǒng)通過動作跟蹤裝置、筆跡跟蹤和識別裝置以及攝像裝置對學(xué)習(xí)者的現(xiàn)場動作進(jìn)行跟蹤捕捉，從而獲得當(dāng)前身體動作信息和當(dāng)前繪畫筆跡信息。對于動作捕捉技術(shù)和筆跡捕捉和識別技術(shù)，目前為較成熟技術(shù)，在此不詳細(xì)介紹。

另外，還需要說明的是，學(xué)習(xí)者在學(xué)習(xí)過程中，系統(tǒng)僅僅播放語音信息(如單詞和句子的發(fā)音)，學(xué)習(xí)者可根據(jù)語音信息作出一些動作反應(yīng)或繪畫反應(yīng)，這些反應(yīng)并不是根據(jù)影像動作去模仿出來的，而是根據(jù)之前的記憶動作做出來的。此時，系統(tǒng)通過事先在學(xué)習(xí)者身上設(shè)置的動作跟蹤裝置、繪畫筆跡跟蹤裝置以及攝像裝置對學(xué)習(xí)者的現(xiàn)場動作進(jìn)行捕捉，從而獲得當(dāng)前身體動作和繪畫筆跡信息。

另外，還需要說明的是，學(xué)習(xí)者在學(xué)習(xí)過程中，系統(tǒng)也會僅僅播放文字信息(可以是包括文字的圖像)，學(xué)習(xí)者可根據(jù)文字信息作出一些動作，這些動作并不是根據(jù)影像動作去模仿出來的，而是根據(jù)之前的記憶動作做出來的。此時，系統(tǒng)通過事先在學(xué)習(xí)者身上設(shè)置的動作跟蹤裝置、繪畫筆跡跟蹤裝置以及攝像裝置對學(xué)習(xí)者的現(xiàn)場動作和繪畫筆跡進(jìn)行捕捉，從而獲得當(dāng)前身體動作信息。

S14、根據(jù)所述當(dāng)前身體動作信息和/或所述當(dāng)前繪畫筆跡信息獲得當(dāng)前身體動作特征信息和/或當(dāng)前繪畫筆跡特征信息。

在本步驟中，需要說明的是，系統(tǒng)接收到當(dāng)前繪畫筆跡信息和當(dāng)前身體動作信息后，對其進(jìn)行特征信息的提取。對于動作特征提取、筆跡特征提取和三維圖像特征提取為較成熟的技術(shù)，在此不再贅述。

S15、根據(jù)預(yù)設(shè)的影音信息與標(biāo)準(zhǔn)特征信息的對應(yīng)關(guān)系，判斷確定所述當(dāng)前身體動作特征信息和/或當(dāng)前繪畫筆跡特征信息與標(biāo)準(zhǔn)特征信息匹配成功后，播放下一個影音信息。

在本步驟中，需要說明的是，在預(yù)設(shè)數(shù)據(jù)庫中需要對應(yīng)不同的影音信息配置標(biāo)準(zhǔn)特征信息，以便于后續(xù)匹配。因此，當(dāng)進(jìn)行當(dāng)前繪畫筆跡特征信息和當(dāng)前身體動作特征信息與標(biāo)準(zhǔn)特征信息的匹配過程時，根據(jù)預(yù)設(shè)的影音信息與標(biāo)準(zhǔn)特征信息的對應(yīng)關(guān)系，獲取到當(dāng)前繪畫筆跡特征信息和當(dāng)前身體動作特征信息所對應(yīng)的標(biāo)準(zhǔn)特征信息，然后進(jìn)行匹配。

將當(dāng)前繪畫筆跡特征信息與筆跡的標(biāo)準(zhǔn)特征信息匹配，以判斷學(xué)習(xí)者的是否繪畫正確。

將當(dāng)前身體動作特征信息與動作的標(biāo)準(zhǔn)特征信息匹配，以加深學(xué)習(xí)者對單詞或詞組的理解。

特征信息的匹配方式存在很多，在此不一一進(jìn)行解釋說明。對此，匹配方式可為：若所述當(dāng)前身體動作特征信息和當(dāng)前繪畫筆跡特征信息與標(biāo)準(zhǔn)特征信息之間的匹配差值在預(yù)設(shè)閾值范圍之內(nèi)，則判斷確定當(dāng)前身體動作特征信息和當(dāng)前繪畫筆跡特征信息與標(biāo)準(zhǔn)特征信息匹配成功；反之，則匹配不成功。

另外，根據(jù)預(yù)設(shè)的影音信息與標(biāo)準(zhǔn)特征信息的對應(yīng)關(guān)系，判斷確定所述當(dāng)前身體動作特征信息和當(dāng)前繪畫筆跡特征信息與標(biāo)準(zhǔn)特征信息匹配未成功后，繼續(xù)播放，再次播放，或暫停播放當(dāng)前影音信息。

母語學(xué)習(xí)者在張口說話之前的特殊階段(通常1歲之前)，盡管不能說話，但能通過觀察父母的動作示范，聽懂一些詞句；而且聽到成人的指令后，盡管不會張口應(yīng)答，但能用動作做出反應(yīng)。本發(fā)明就是基于動作反應(yīng)和繪畫反應(yīng)(繪畫也是一種小肌肉動作)模擬母語的自然學(xué)習(xí)過程，達(dá)到第二母語信號的轉(zhuǎn)化。

本發(fā)明實施例提供的一種基于動作反應(yīng)和繪畫反應(yīng)的第二母語訓(xùn)練方法及裝置，通過對語言詞句所對應(yīng)的影音信息播放，使學(xué)習(xí)者模仿身體動作或模仿繪畫動作后采集到學(xué)習(xí)者的身體動作特征信息和繪畫筆跡特征信息，并與預(yù)設(shè)的標(biāo)準(zhǔn)特征信息進(jìn)行匹配，從而達(dá)到學(xué)習(xí)者通過肌肉動作反應(yīng)、皮膚觸覺反應(yīng)、繪畫過程中的情緒情感反應(yīng)，內(nèi)化語言信號到潛意識，來模擬第二母語的學(xué)習(xí)過程。

圖2示出了本發(fā)明一實施例提供的一種基于動作反應(yīng)和繪畫反應(yīng)的第二母語的訓(xùn)練裝置，包括獲取模塊21、播放模塊22、采集模塊23、特征提取模塊24和處理模塊25，其中：

獲取模塊21，用于獲取詞句信息；

播放模塊22，用于根據(jù)影音信息和詞句信息的預(yù)設(shè)對應(yīng)關(guān)系選擇播放與所述詞句信息對應(yīng)的影音信息，所述影音信息為根據(jù)目標(biāo)語言中詞句錄入的發(fā)音和動作影像。所述播放模塊包括顯示屏、虛擬現(xiàn)實設(shè)備、投影儀、增強(qiáng)現(xiàn)實設(shè)備、全息成像設(shè)備的一種或多種。

采集模塊23，用于在當(dāng)前影音信息播放后，采集用戶模仿影像動作時的當(dāng)前身體動作信息和/或用戶繪畫的當(dāng)前繪畫筆跡信息。所述采集模板包括語音采集模塊和影像采集模塊，所述語音采集模塊包括錄音器，所述影像采集模塊包括動作跟蹤裝置、繪畫筆跡跟蹤和筆跡識別裝置和攝像裝置。

特征提取模塊24，用于根據(jù)所述當(dāng)前身體動作信息和/或所述當(dāng)前繪畫筆跡信息獲得當(dāng)前身體動作特征信息和/或當(dāng)前繪畫筆跡特征信息。

處理模塊25，用于根據(jù)預(yù)設(shè)的影音信息與標(biāo)準(zhǔn)特征信息的對應(yīng)關(guān)系，判斷確定所述當(dāng)前身體動作特征信息和/或當(dāng)前繪畫筆跡特征信息與標(biāo)準(zhǔn)特征信息匹配成功后，播放下一個影音信息；匹配未成功后，繼續(xù)播放，再次播放，或暫停播放當(dāng)前影音信息。

使用過程中，獲取模塊21獲取詞句信息，并發(fā)送給播放模塊22。播放模塊22采用顯示屏、虛擬現(xiàn)實設(shè)備、投影儀、增強(qiáng)現(xiàn)實設(shè)備或全息成像設(shè)備對數(shù)據(jù)庫中的影音信息進(jìn)行播放。學(xué)習(xí)者觀看播放后，模仿影像上的動作以及繪畫。學(xué)習(xí)者模仿動作時，事先可在學(xué)習(xí)者的身體上設(shè)置有動作跟蹤裝置。采集模塊23對學(xué)習(xí)者的模仿動作以及繪畫的筆跡進(jìn)行錄像。錄入后將筆跡信息和動作信息發(fā)送到特征提取模塊。特征提取模塊24采用對應(yīng)的特征提取技術(shù)對筆跡信息和動作信息進(jìn)行特征提取，并將提取后的繪畫筆跡特征信息和身體動作特征信息發(fā)送給處理模塊。處理模塊25接收到繪畫筆跡特征信息和身體動作特性信息并從數(shù)據(jù)庫中調(diào)取對應(yīng)的標(biāo)準(zhǔn)特征信息進(jìn)行匹配，最后根據(jù)匹配結(jié)果做出相應(yīng)操作。

由于本發(fā)明實施例所述裝置與上述實施例所述方法的原理相同，對于更加詳細(xì)的解釋內(nèi)容在此不再贅述。

需要說明的是，本發(fā)明實施例中可以通過硬件處理器(hardware processor)來實現(xiàn)相關(guān)功能模塊。

本發(fā)明實施例提供的一種基于動作反應(yīng)和繪畫反應(yīng)的第二母語訓(xùn)練方法及裝置，通過對語言詞句所對應(yīng)的影像信息播放，使學(xué)習(xí)者模仿身體動作或模仿繪畫動作后采集到學(xué)習(xí)者的身體動作特征信息和繪畫筆跡特征信息，并與預(yù)設(shè)的標(biāo)準(zhǔn)特征信息進(jìn)行匹配，從而達(dá)到學(xué)習(xí)者通過肌肉動作反應(yīng)、皮膚觸覺反應(yīng)、繪畫過程中的情緒情感反應(yīng)，內(nèi)化語言信號到潛意識，來模擬第二母語的學(xué)習(xí)過程。

此外，本領(lǐng)域的技術(shù)人員能夠理解，盡管在此所述的一些實施例包括其它實施例中所包括的某些特征而不是其它特征，但是不同實施例的特征的組合意味著處于本發(fā)明的范圍之內(nèi)并且形成不同的實施例。例如，在下面的權(quán)利要求書中，所要求保護(hù)的實施例的任意之一都可以以任意的組合方式來使用。

應(yīng)該注意的是上述實施例對本發(fā)明進(jìn)行說明而不是對本發(fā)明進(jìn)行限制，并且本領(lǐng)域技術(shù)人員在不脫離所附權(quán)利要求的范圍的情況下可設(shè)計出替換實施例。在權(quán)利要求中，不應(yīng)將位于括號之間的任何參考符號構(gòu)造成對權(quán)利要求的限制。單詞“包含”不排除存在未列在權(quán)利要求中的元件或步驟。位于元件之前的單詞“一”或“一個”不排除存在多個這樣的元件。本發(fā)明可以借助于包括有若干不同元件的硬件以及借助于適當(dāng)編程的計算機(jī)來實現(xiàn)。在列舉了若干裝置的單元權(quán)利要求中，這些裝置中的若干個可以是通過同一個硬件項來具體體現(xiàn)。單詞第一、第二、以及第三等的使用不表示任何順序。可將這些單詞解釋為名稱。

本領(lǐng)域普通技術(shù)人員可以理解：以上各實施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制；盡管參照前述各實施例對本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其依然可以對前述各實施例所記載的技術(shù)方案進(jìn)行修改，或者對其中部分或者全部技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明權(quán)利要求所限定的范圍。