本發(fā)明涉及智能機(jī)器人表演系統(tǒng)領(lǐng)域，特別涉及一種基于自主學(xué)習(xí)劇本的智能機(jī)器人提線木偶表演系統(tǒng)。

背景技術(shù)：

提線木偶是一種傳統(tǒng)舞臺(tái)上使用的設(shè)備，在藝術(shù)家的操作下，用于展示各種藝術(shù)人物、動(dòng)物、各種劇本，是我們國(guó)家傳統(tǒng)藝術(shù)的瑰寶之一，國(guó)際其他國(guó)家上也有一定類似的表現(xiàn)形式。由于每次表演時(shí)，都需要藝術(shù)家的親手操作、解說(shuō)以及背景音樂(lè)的配合，所以需要大量的人力來(lái)進(jìn)行一次次表演，這樣的需求嚴(yán)重制約著這一表演形式在當(dāng)今社會(huì)的發(fā)展。申請(qǐng)?zhí)枮閏n20120133417.7的機(jī)器人控制的木偶表演裝置，其雖然能夠利用機(jī)器人控制木偶進(jìn)行表演，但是其僅僅是一個(gè)執(zhí)行機(jī)構(gòu)，不能夠進(jìn)行自主學(xué)習(xí)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種基于自主學(xué)習(xí)劇本的智能機(jī)器人提線木偶表演系統(tǒng)，其能夠自主學(xué)習(xí)劇本，進(jìn)行無(wú)限自動(dòng)展示。

本發(fā)明的上述技術(shù)目的是通過(guò)以下技術(shù)方案得以實(shí)現(xiàn)的：一種基于自主學(xué)習(xí)劇本的智能機(jī)器人提線木偶表演方法，包括以下步驟：

步驟1：跟蹤測(cè)量老舊木偶的運(yùn)動(dòng)，錄下藝術(shù)家的講述和背景音樂(lè)，然后存儲(chǔ)為計(jì)算資源，并根據(jù)指示驅(qū)動(dòng)新的提線機(jī)器人木偶運(yùn)動(dòng)，播放講述和背景音樂(lè)以及驅(qū)動(dòng)渲染燈光；

步驟2：依據(jù)步驟1中的計(jì)算資源計(jì)算出老舊木偶的運(yùn)動(dòng)，得到一個(gè)可供人工修正的劇本模式；

步驟3：根據(jù)工作人員的操作，優(yōu)化編排所述劇本模式中的動(dòng)作、解說(shuō)、背景音樂(lè)和渲染舞臺(tái)背景，或者重新徹底編排劇本模式，以機(jī)器人提線木偶的形式重新進(jìn)行無(wú)限自動(dòng)展示。

進(jìn)一步的，其中步驟2包括以下步驟：

1)采樣：在舞臺(tái)中心以及舞臺(tái)四角貼上標(biāo)志圖案，采用相機(jī)以及麥克風(fēng)保存所需分析的藝術(shù)家的劇本的視頻信息；

2)目標(biāo)區(qū)域提?。涸诓蓸硬襟E中拍攝時(shí)，選取出單幀圖像中舞臺(tái)的四角的標(biāo)志圖案，得到圖案i(c,f,d)，其中i代表的是目前處理的圖像，其中c為相機(jī)來(lái)源，f代表的是幀數(shù)，d目前等于1，代表的是第d次處理過(guò)程，并統(tǒng)計(jì)出四個(gè)中最大的面積m(max,c)和最小的面積m(min,c)；

3)去背景：分析單幀圖像i(c,f,d)，采用直方圖統(tǒng)計(jì)法的方法，統(tǒng)計(jì)出出現(xiàn)次數(shù)最大的顏色值，刪除所有這些顏色值，得到i(c,f,d)，其中d＝2；

4)去噪：統(tǒng)計(jì)出所有整體聯(lián)通區(qū)域block(c,f,d,b)的面積大小，僅保留面積在m(max,c)和最小的面積m(min,c)之間的整體聯(lián)通區(qū)域，得到圖像i(c,f,d)，此時(shí)d＝3；

5)二值化：把圖像i(c,f,d)二值化，得到新的i(c,f,d)，其中d＝4；

6)特征提?。禾崛〕稣w聯(lián)通區(qū)域block(c,f,d,b)的一系列像素值，作為這個(gè)整體聯(lián)通區(qū)域block(c,f,d,b)的特征值ts(c,f,d,b)，ts(c,f,d,b)＝(t1,t2,…,tnn)，其中tnn為第n*n個(gè)方塊的特征值；

7)識(shí)別：選出對(duì)整體聯(lián)通區(qū)域block(c,f,d,b)的識(shí)別的結(jié)果；

8)計(jì)算位置和電機(jī)運(yùn)動(dòng)關(guān)系；

9)系統(tǒng)保護(hù)：判斷每個(gè)電機(jī)組的位置信息是否安全，從而判斷是否取消該點(diǎn)運(yùn)動(dòng)。

進(jìn)一步的，其中識(shí)別步驟包括以下步驟：

1)將每個(gè)待識(shí)別的聯(lián)通區(qū)域的特征值ts(c,f,d,b)＝(t1,t2,…,tnn)與已知的貼上的標(biāo)志圖案的特征值ttar(e)＝(t1,t2,…,tnn)一一相減，其中e代表的是已知貼上的某個(gè)標(biāo)志圖案，即1和0的對(duì)比，取絕對(duì)值之和，公式如下：

2)得到每個(gè)待識(shí)別的聯(lián)通區(qū)域與任意一個(gè)已知的貼上的標(biāo)志圖案的特征值ttar(e)之間的偏離與整體方塊數(shù)目的比例程度；

3)選出pordevi(c,f,d,b,e)最小的結(jié)果，如果其值也在偏離閾值tpordevi范圍內(nèi)，即pordevi(c,f,d,b,e)<tpordevi，那么將ttar(e)作為block(c,f,d,b)識(shí)別的結(jié)果。

一種基于自主學(xué)習(xí)劇本的智能機(jī)器人提線木偶表演系統(tǒng)，包括有：

學(xué)習(xí)模塊：其用于跟蹤測(cè)量老舊木偶的運(yùn)動(dòng)，錄下藝術(shù)家的講述和背景音樂(lè)，然后存儲(chǔ)為計(jì)算資源給計(jì)算模塊，并根據(jù)指示驅(qū)動(dòng)新的提線機(jī)器人木偶運(yùn)動(dòng)，播放講述和背景音樂(lè)以及驅(qū)動(dòng)渲染燈光；

計(jì)算模塊：依據(jù)學(xué)習(xí)模塊中的計(jì)算資源計(jì)算出老舊木偶的運(yùn)動(dòng)，得到一個(gè)可供人工修正的劇本模式；

控制模塊：根據(jù)工作人員的操作，優(yōu)化編排所述劇本模式中的動(dòng)作、解說(shuō)、背景音樂(lè)和渲染舞臺(tái)背景，或者重新徹底編排劇本模式，以機(jī)器人提線木偶的形式重新進(jìn)行無(wú)限自動(dòng)展示。

進(jìn)一步的，所述學(xué)習(xí)模塊包括有：

電機(jī)模塊：其用于帶動(dòng)木偶上的提拉點(diǎn)運(yùn)動(dòng)，包括若干個(gè)電機(jī)組，所述電機(jī)組包括一個(gè)橫向運(yùn)動(dòng)的電機(jī)和一個(gè)縱向運(yùn)動(dòng)的電機(jī)組合成一個(gè)能夠上下左右運(yùn)動(dòng)的電機(jī)組；

控制模塊：其受控于電腦控制電機(jī)驅(qū)動(dòng)模塊工作。

進(jìn)一步的，所述學(xué)習(xí)模塊還包括有：

發(fā)光模塊：其用燈光顯示學(xué)習(xí)模塊的工作狀態(tài)；

發(fā)音模塊：其用聲音顯示學(xué)習(xí)模塊的工作狀態(tài)，以及用于播放劇本的解說(shuō)和背景音樂(lè)。

進(jìn)一步的，所述控制模塊包括有：

姿勢(shì)與電機(jī)參數(shù)對(duì)應(yīng)模塊：用于計(jì)算木偶的每個(gè)姿勢(shì)中的位置與電機(jī)旋轉(zhuǎn)位置的一一對(duì)應(yīng)關(guān)系；

基本姿態(tài)修正模塊：用于在對(duì)木偶姿勢(shì)中的位置與電機(jī)旋轉(zhuǎn)位置的一一對(duì)應(yīng)關(guān)系中進(jìn)行人為的數(shù)據(jù)修正；

基礎(chǔ)動(dòng)作設(shè)定模塊：用于在靜態(tài)姿勢(shì)設(shè)定的基礎(chǔ)上，設(shè)定兩個(gè)靜態(tài)姿勢(shì)之間變換從而形成的基礎(chǔ)動(dòng)作；

連貫動(dòng)作設(shè)定模塊：用于將多個(gè)基礎(chǔ)動(dòng)作能夠聯(lián)合，連貫成為一個(gè)連貫動(dòng)作，等待調(diào)用；

動(dòng)作切片模塊：用于把捕捉表演時(shí)的藝術(shù)家對(duì)老舊木偶的所有動(dòng)作按照要求，一步步切片成一個(gè)個(gè)基礎(chǔ)動(dòng)作和一個(gè)個(gè)連貫動(dòng)作；

聲音翻譯模塊：用于把錄下的藝術(shù)家的解說(shuō)，翻譯成數(shù)字式的文字；

燈光聲音動(dòng)作同步模塊：用于設(shè)定在單元時(shí)間內(nèi)，一個(gè)或者多個(gè)木偶的連貫動(dòng)作，以及對(duì)應(yīng)渲染燈光、背景音樂(lè)；

新劇本編排模塊：用于按照劇本，把單元時(shí)間內(nèi)，一個(gè)或者多個(gè)木偶的連貫動(dòng)作，以及對(duì)應(yīng)渲染燈光、背景音樂(lè)這些內(nèi)容連貫成一個(gè)劇本；

數(shù)據(jù)保存模塊：用于保存控制軟件部分內(nèi)的所有設(shè)定內(nèi)容；

播放模塊：用于把新劇本編排模塊中的劇本的內(nèi)容調(diào)出，轉(zhuǎn)換成電機(jī)的運(yùn)動(dòng)控制信息、燈光控制信息和背景音樂(lè)播放信息，以及把的藝術(shù)家的解說(shuō)翻譯成數(shù)字式的文字以數(shù)字合成的形式進(jìn)行播放。

本發(fā)明采用以上技術(shù)方案與現(xiàn)有技術(shù)相比，具有以下技術(shù)效果：

一是可以基于人工智能、機(jī)器視覺(jué)的自主學(xué)習(xí)方式，利用學(xué)習(xí)模塊捕捉表演時(shí)的藝術(shù)家對(duì)老舊木偶的所有動(dòng)作，錄下藝術(shù)家的解說(shuō)和背景音樂(lè)，然后計(jì)算模塊利用學(xué)習(xí)模塊中獲得的計(jì)算資源來(lái)一步一步計(jì)算，最終得到一個(gè)可供人工修正的劇本模塊，然后工作人員在此劇本模式的基礎(chǔ)上，優(yōu)化編排動(dòng)作、解說(shuō)、背景音樂(lè)，以機(jī)器人提線木偶的形式重新進(jìn)行無(wú)限自動(dòng)展示；

二是可以使用控制模塊徹底編排新劇本，包括動(dòng)作模塊、解說(shuō)、背景音樂(lè)，以機(jī)器人提線木偶的形式進(jìn)行無(wú)限自動(dòng)展示一個(gè)新劇本的方式；

通過(guò)上述兩個(gè)過(guò)程可以使機(jī)器人木偶自主學(xué)習(xí)或者對(duì)機(jī)器人木偶進(jìn)行重新編排，以使機(jī)器人木偶無(wú)限自動(dòng)展示學(xué)習(xí)到的劇本，從而使得提線木偶這一國(guó)家傳統(tǒng)藝術(shù)的瑰寶很有可能具有新的生命力，重新煥發(fā)出青春。

附圖說(shuō)明

圖1為本實(shí)施例用于體現(xiàn)電機(jī)組的結(jié)構(gòu)示意圖；

圖2為本實(shí)施例用于體現(xiàn)學(xué)習(xí)模塊的示意圖；

圖3為本實(shí)施例的程序流程圖；

圖4為本實(shí)施例用于體現(xiàn)標(biāo)志圖案的示意圖。

具體實(shí)施方式

以下結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。

實(shí)施例：一種基于自主學(xué)習(xí)劇本的智能機(jī)器人提線木偶表演系統(tǒng)，如圖1和2所示，學(xué)習(xí)模塊用于跟蹤測(cè)量老舊人偶的運(yùn)動(dòng)，錄下藝術(shù)家的講述、背景音樂(lè)，然后提供計(jì)算資源給計(jì)算模塊、控制軟件模塊，根據(jù)指示驅(qū)動(dòng)新的提線機(jī)器人木偶的運(yùn)動(dòng)，播放講述和背景音樂(lè)，驅(qū)動(dòng)渲染燈光等。

學(xué)習(xí)模塊包括電源、按鈕、發(fā)光模塊、彩光渲染模塊、發(fā)音模塊、圖像捕捉裝置、錄音裝置、控制模塊、通信模塊、電機(jī)驅(qū)動(dòng)模塊、電機(jī)模塊、拉線模塊、機(jī)器木偶模塊、電腦。

其中，電源用于對(duì)整個(gè)系統(tǒng)進(jìn)行供電，本實(shí)施例中采用的是220v的交流電源轉(zhuǎn)20安培、48v的變壓器，48v供電機(jī)、電機(jī)驅(qū)動(dòng)電路使用，然后再進(jìn)行一次變壓，使用48v轉(zhuǎn)5v的模塊電源，5v給控制器、通信電路使用。按鈕為控制控制器的電源打開(kāi)和關(guān)閉時(shí)使用，本實(shí)施例中采用的是輕觸自鎖的微動(dòng)開(kāi)關(guān)。

彩光渲染模塊用于渲染舞臺(tái)的效果，本實(shí)施例采用的是帶有控制器的帕燈54顆3w全彩手拉手遙控led。

發(fā)音模塊用于顯示播放背景音樂(lè)、提示操作、播放語(yǔ)音合成軟件合成的講述，本實(shí)施例中采用的普通音箱。

圖像捕捉裝置用于錄下老藝術(shù)家按照其劇本進(jìn)行表演的視頻，從而提供自主學(xué)習(xí)的樣本，本實(shí)施例中采用的是9個(gè)索尼hxr-mc2500c專業(yè)攝影機(jī)。

錄音裝置用于錄下藝術(shù)家后期口述的講解，本實(shí)施例使用的是一個(gè)魅聲t8-2的專業(yè)麥克風(fēng)?？刂颇K用于接受電腦的操作指令后，發(fā)出對(duì)應(yīng)模式的、規(guī)定的脈寬調(diào)制方波給所有的電機(jī)驅(qū)動(dòng)電路，控制它們的帶動(dòng)電機(jī)的運(yùn)動(dòng)，本實(shí)施例中，控制器采用的是stm32f107芯片。

通信模塊用于與控制器與電腦的通信，本實(shí)施例采用的usb通信模塊。電機(jī)驅(qū)動(dòng)模塊和電機(jī)模塊用于電機(jī)帶動(dòng)拉線模塊的運(yùn)動(dòng)，本實(shí)施例采用的臺(tái)達(dá)伺服電機(jī)750wasd-b2-0721-b和專業(yè)驅(qū)動(dòng)模塊ecma-c20807rs。

拉線模塊即運(yùn)動(dòng)模塊，如圖1所示，有兩個(gè)模塊，一個(gè)是用于在電機(jī)的運(yùn)動(dòng)下帶動(dòng)提拉點(diǎn)的工作，本實(shí)施例采用的是二維度的直角坐標(biāo)機(jī)器人十字滑臺(tái)結(jié)構(gòu)，上下左右運(yùn)動(dòng)范圍為500mm，每一個(gè)兩個(gè)電機(jī)帶動(dòng)的直角坐標(biāo)機(jī)器人帶動(dòng)一個(gè)木偶提拉點(diǎn)，從而構(gòu)成一個(gè)電機(jī)組；另一個(gè)是一個(gè)運(yùn)動(dòng)轉(zhuǎn)盤，它上面放置了多個(gè)電機(jī)組，轉(zhuǎn)盤下方一個(gè)電機(jī)的旋轉(zhuǎn)，帶動(dòng)其上所有電機(jī)組的旋轉(zhuǎn)，這樣構(gòu)成一個(gè)電機(jī)組陣列，一個(gè)電機(jī)組陣列帶動(dòng)一個(gè)木偶的所有運(yùn)動(dòng)。

機(jī)器木偶模塊為根據(jù)需要設(shè)計(jì)的木偶，可以是人偶或者動(dòng)物偶，它的上面設(shè)置有多個(gè)提拉點(diǎn)，都與同一個(gè)電機(jī)組陣列的一個(gè)電機(jī)組固定連接，最后每個(gè)電機(jī)組陣列下方有個(gè)滑行軌道，可以沿舞臺(tái)進(jìn)行自主左右運(yùn)動(dòng)。

電腦用于獲得亮度計(jì)的結(jié)果，用于分析和保存信息，用于驅(qū)動(dòng)控制模塊來(lái)改變各個(gè)導(dǎo)光板、指示燈的工作，用于提供計(jì)算資源給算法使用，本實(shí)施例中采用的是戴爾t5810型圖形工作站。

控制模塊用于根據(jù)工作人員的操作，優(yōu)化編排動(dòng)作、解說(shuō)、背景音樂(lè)，渲染舞臺(tái)背景，或者重新徹底編排劇本，以機(jī)器人提線木偶的形式重新進(jìn)行無(wú)限自動(dòng)展示故事。

其結(jié)構(gòu)包括姿勢(shì)與電機(jī)參數(shù)對(duì)應(yīng)模塊、基本姿態(tài)修正模塊、基礎(chǔ)動(dòng)作設(shè)定模塊、連貫動(dòng)作設(shè)定模塊、動(dòng)作切片模塊、聲音翻譯模塊、燈光聲音動(dòng)作同步模塊、新劇本編排模塊、數(shù)據(jù)保存模塊和播放模塊。

姿勢(shì)與電機(jī)參數(shù)對(duì)應(yīng)模塊用于計(jì)算木偶的每個(gè)姿勢(shì)中的位置與電機(jī)旋轉(zhuǎn)位置的一一對(duì)應(yīng)關(guān)系，即為上述步驟8的反映射關(guān)系。

基本位置修正模塊用于在對(duì)木偶姿勢(shì)中的位置與電機(jī)旋轉(zhuǎn)位置的一一對(duì)應(yīng)關(guān)系中進(jìn)行人為的數(shù)據(jù)修正，即在moters_pos(e,c,f,h,w)中添加修正值moters_pos(e,c,f,h+hdevi,w+wdevi)，使得由于拉線、轉(zhuǎn)盤等不均勻、變形引起的位置偏差。本實(shí)施例中無(wú)偏差。

基礎(chǔ)動(dòng)作設(shè)定模塊用于在靜態(tài)姿勢(shì)設(shè)定的基礎(chǔ)上，設(shè)定兩個(gè)靜態(tài)姿勢(shì)之間變換從而形成的基礎(chǔ)動(dòng)作，其中包括有2組位置信息和運(yùn)動(dòng)時(shí)間信息，基本限定為該運(yùn)動(dòng)速度不能超過(guò)步驟9中的保護(hù)速度；

連貫動(dòng)作設(shè)定模塊用于將多個(gè)基礎(chǔ)動(dòng)作能夠聯(lián)合，連貫成為一個(gè)連貫動(dòng)作，以備調(diào)用，即把它們按照時(shí)間軸進(jìn)行連續(xù)編號(hào)，每?jī)蓚€(gè)連貫動(dòng)作的之間末點(diǎn)位置和新的起點(diǎn)位置構(gòu)成了一個(gè)平滑動(dòng)作，該平滑動(dòng)作的要求也是運(yùn)動(dòng)速度不能超過(guò)步驟9中的保護(hù)速度，如果超過(guò)，那么增加基礎(chǔ)時(shí)間幀。

動(dòng)作切片模塊用于把捕捉表演時(shí)的藝術(shù)家對(duì)老舊木偶的所有動(dòng)作按照要求，一步步切片成一個(gè)個(gè)基礎(chǔ)動(dòng)作和一個(gè)個(gè)連貫動(dòng)作，即把步驟9中的結(jié)果，按照采集時(shí)的每幀間隔的時(shí)間構(gòu)成的基礎(chǔ)時(shí)間幀，進(jìn)行切片。

聲音切片模塊用于把錄下的藝術(shù)家的解說(shuō)，翻譯成數(shù)字式的文字，本實(shí)施例采用的是現(xiàn)有的訊飛語(yǔ)音分析軟件。

燈光聲音動(dòng)作模塊同步用于設(shè)定在單元時(shí)間內(nèi)，一個(gè)或者多個(gè)木偶的連貫動(dòng)作，以及對(duì)應(yīng)渲染燈光、背景音樂(lè)；

新劇本編排模塊用于按照劇本，把單元時(shí)間內(nèi)，一個(gè)或者多個(gè)木偶的連貫動(dòng)作，以及對(duì)應(yīng)渲染燈光、背景音樂(lè)這些內(nèi)容連貫陳一個(gè)長(zhǎng)時(shí)間的故事。

數(shù)據(jù)保存模塊用于保存控制軟件部分內(nèi)的所有設(shè)定內(nèi)容，以備未來(lái)調(diào)用，本實(shí)施例中數(shù)據(jù)庫(kù)為access。

播放模塊用于在把3.8中的劇本編排的內(nèi)容調(diào)出，轉(zhuǎn)換成電機(jī)的運(yùn)動(dòng)控制信息、燈光控制信息、背景音樂(lè)播放信息，以及把的藝術(shù)家的解說(shuō)翻譯成數(shù)字式的文字以數(shù)字合成的形式進(jìn)行播放，本實(shí)施例采用的是現(xiàn)有的訊飛語(yǔ)音合成軟件。

一種基于自主學(xué)習(xí)劇本的智能機(jī)器人提線木偶表演方法，用于在以下條件下：

③藝術(shù)家的老舊木偶上、舞臺(tái)的顏色均為統(tǒng)一顏色，本實(shí)施例統(tǒng)一成綠色；

③如圖4所示，在提拉點(diǎn)貼上標(biāo)志圖案，該標(biāo)志圖案白底、外邊為統(tǒng)一長(zhǎng)度為l、、寬度為l/(n+2)的黑色正方形，的黑色正方形，正方形內(nèi)部設(shè)計(jì)為n*n個(gè)大小統(tǒng)一、顏色只有黑或白的方塊。

如圖4所示，本實(shí)施例中，標(biāo)志圖案為正方形大小為7cm*7cm，中間有效標(biāo)志方塊為5*5個(gè)，每個(gè)1cm，其特征碼由左往右、由上往下標(biāo)志，黑色為0，白色為1，圖4特征碼的即為(0、1、0、1、0；1、1、0、0、1；0、1、1、0、1；0、0、0、1、0；1、1、0、0、0)。每個(gè)木偶的對(duì)應(yīng)一個(gè)電機(jī)矩陣，木偶有四肢、身子5個(gè)提拉點(diǎn)，舞臺(tái)中有5個(gè)木偶。

③在舞臺(tái)中心、舞臺(tái)四角貼上標(biāo)志圖案的情況下；

③舞臺(tái)為長(zhǎng)ld、寬wd的長(zhǎng)方形，本實(shí)施例中長(zhǎng)度為2米*1米。

捕捉各個(gè)標(biāo)志圖案的位置，從而計(jì)算出老舊木偶的運(yùn)動(dòng)，得到一個(gè)可供人工修正的劇本模式。其中工作過(guò)程分為采樣、目標(biāo)區(qū)域提取、去背景、去噪、二值化、特征提取、識(shí)別、計(jì)算位置和電機(jī)運(yùn)動(dòng)關(guān)系、系統(tǒng)保護(hù)九個(gè)步驟。

1)采樣：采樣部分為采用相機(jī)、麥克風(fēng)保存所需分析的藝術(shù)家的劇本的視頻信息。期間相機(jī)需要一個(gè)或者多個(gè)相機(jī)環(huán)形、面對(duì)靜止面對(duì)藝術(shù)家操縱的老舊木偶的表演舞臺(tái)中心，各個(gè)相機(jī)與表演舞臺(tái)中心距離均相等；每個(gè)非最邊緣的相機(jī)ci與表演舞臺(tái)中心o1形成的連線cio1，與其相鄰一相ci+1與表演舞臺(tái)中心o1形成的連線ci+1o1，這兩條連線形成的角度θ(cio1,ci+1o1)。與這個(gè)非最邊緣的相機(jī)ci與表演舞臺(tái)中心o1形成的連線cio1，與其相鄰另一個(gè)相機(jī)ci+1與表演舞臺(tái)中心o1形成的連線ci-1o1，這兩條連線形成的角度θ(cio1,ci-1o1)，最好為等角度，即

θ(cio1,ci-1o1)＝θ(cio1,ci+1o1)

本實(shí)施例中，采用是9個(gè)索尼hxr-mc2500c專業(yè)攝影機(jī)，其中1個(gè)正對(duì)于舞臺(tái)，離舞臺(tái)中心距離為2米，其余8個(gè)以15度的角度均勻在左右散開(kāi)，離舞臺(tái)中心距離為2米。

2)目標(biāo)區(qū)域提?。涸谂臄z時(shí)，由于舞臺(tái)的四角貼了標(biāo)志圖案，所以工作人員可以方便的人工的設(shè)定四角圖案，選取出單幀圖像中舞臺(tái)的四角的標(biāo)志圖案，統(tǒng)計(jì)出四個(gè)中最大的面積m(max,c)和m(min,c)，其中c代表相機(jī)來(lái)源。由于相機(jī)是靜止的，所以每個(gè)相機(jī)的視頻只需要選取一次，每幀圖片全部一致。然后，得到一個(gè)舞臺(tái)的非矩形的四邊形rc，其中r代表的是這個(gè)非矩形的四邊形，c代表的是某一相機(jī)拍攝到的。把圖像中所有這個(gè)非矩形的四邊形以外的所有圖像全部刪除。只關(guān)心這個(gè)四邊形內(nèi)部的信息，得到圖案i(c,f,d)，其中i代表的是目前處理的圖像，其中c為相機(jī)來(lái)源，f代表的是幀數(shù)，d目前等于1，代表的是第d次處理過(guò)程。

本實(shí)施例中，拍攝的視頻每秒30幀、分辨率為854*480。

3)去背景：在分析單幀圖像i(c,f,d)內(nèi)，采用直方圖統(tǒng)計(jì)法的方法，統(tǒng)計(jì)出出現(xiàn)次數(shù)最大的顏色值，刪除所有這些顏色值，得到i(c,f,d)，其中d＝2；

4)去噪：在剩下的i(c,f,d)，其中d＝2中，選擇出所有的整體聯(lián)通區(qū)域block(c,f,d,b)，其中block代表的是目前處理的圖像，其中c為相機(jī)來(lái)源，f代表的是幀數(shù)，d目前等于2，代表的是第2次處理過(guò)程，b代表的是i(c,f,d)，其中d＝2中所有聯(lián)通區(qū)域的編號(hào)。

統(tǒng)計(jì)，所有block(c,f,d,b)的面積大小blockm(c,f,d,b)，如果blockm(c,f,d,b)≥m(max,c)或者blockm(c,f,d,b)≤m(min,c)，那么刪除這些圖案。僅留下m(min,c)<blockm(c,f,d,b)<m(max,c)的區(qū)域。

得到圖像i(c,f,d)，此時(shí)d＝3；

5)二值化：

把圖像i(c,f,d)二值化，得到新的i(c,f,d)其中d＝4。

本實(shí)施例中二值化采用的分水嶺算法。

6)特征提?。?/p>

對(duì)圖像i(c,f,d)，此時(shí)d＝4中的每一個(gè)整體聯(lián)通區(qū)域block(c,f,d,b)，統(tǒng)計(jì)其黑色邊緣的4個(gè)點(diǎn)a(c,f,d,b)、b(c,f,d,b)、c(c,f,d,b)、d(c,f,d,b)，然后得到線段ab(c,f,d,b)、bc(c,f,d,b)、cd(c,f,d,b)、ad(c,f,d,b)。

把a(bǔ)b(c,f,d,b)、bc(c,f,d,b)、cd(c,f,d,b)、ad(c,f,d,b)切割成2(n+1)個(gè)等分，n來(lái)源于上述“在提拉點(diǎn)貼上標(biāo)志圖案，該標(biāo)志圖案白底、外邊為統(tǒng)一大小的黑色正方形，正方形內(nèi)部設(shè)計(jì)為n*n個(gè)大小統(tǒng)一、顏色只有黑或白的方塊，每個(gè)標(biāo)志圖案的方塊的黑白顏色不一致的統(tǒng)計(jì)數(shù)目要大于j個(gè)”的數(shù)據(jù)。得到點(diǎn)ab(c,f,d,b,ni)、bc(c,f,d,b,ni)、cd(c,f,d,b,ni)、ad(c,f,d,b,ni)，其中ni從3到2n-3，每2n為間隔。

然后可以得到線段等n*n個(gè)線段，這些線段橫豎交叉點(diǎn)即為“正方形內(nèi)部設(shè)計(jì)為n*n個(gè)大小統(tǒng)一、顏色只有黑或白的方塊”的中心，計(jì)算出這些線段的交叉點(diǎn)的像素的值，得到一系列像素值，把這些像素值按照順序排列，那么得到這個(gè)整體聯(lián)通區(qū)域block(c,f,d,b)的特征值，即ts(c,f,d,b)＝(t1,t2,…,tnn)，其中tnn為第n*n個(gè)方塊的像素特征值，其值由于已經(jīng)二值化，所以只有可能為0或者1。

如圖4所示，本實(shí)施例中n為5，j為3。

7)識(shí)別：將每個(gè)待識(shí)別的聯(lián)通區(qū)域的特征值ts(c,f,d,b)＝(t1,t2,…,tnn)與已知的貼上的標(biāo)志圖案的特征值ttar(e)＝(t1,t2,…,tnn)一一相減，其中e代表的是已知貼上的某個(gè)標(biāo)志圖案，即1和0的對(duì)比，取絕對(duì)值之和。即

得到每個(gè)待識(shí)別的聯(lián)通區(qū)域與任意一個(gè)已知的貼上的標(biāo)志圖案的特征值ttar(e)之間的偏離與整體方塊數(shù)目的比例程度。越小那么就越相似，越大越不一致。

選出pordevi(c,f,d,b,e)最小的結(jié)果，如果其值也在偏離閾值tpordevi范圍內(nèi)，即pordevi(c,f,d,b,e)<tpordevi，那么將ttar(e)作為作為block(c,f,d,b)識(shí)別的結(jié)果。

本實(shí)施例中tpordevi為12％。

這里ttar(e)里面包括了每張貼圖圖案的正反兩面，即可以識(shí)別圖案的左右對(duì)調(diào)的情況，即可以識(shí)別出當(dāng)木偶按照藝術(shù)家要求左右旋轉(zhuǎn)的情況。

8)計(jì)算位置和電機(jī)運(yùn)動(dòng)關(guān)系：將block(c,f,d,b)與ttar(e)對(duì)應(yīng)后，那么就可以對(duì)應(yīng)到對(duì)應(yīng)的電機(jī)組moters(e)的運(yùn)動(dòng)位置，其工作條件為：

③已知舞臺(tái)為長(zhǎng)ld、寬wd的長(zhǎng)方形；

③已知電機(jī)帶動(dòng)的拉線模塊為兩種，一種是負(fù)責(zé)左右180度調(diào)轉(zhuǎn)的模塊，一種是上下、左右運(yùn)動(dòng)的模塊。

工作步驟為：

首先使用人工測(cè)量的手段，直接通過(guò)軟件手動(dòng)驅(qū)動(dòng)電機(jī)運(yùn)動(dòng)，測(cè)定上下運(yùn)動(dòng)時(shí)，在舞臺(tái)的最下方的電機(jī)組旋轉(zhuǎn)位置為moters_pos(e,c,f,hmin,w),在舞臺(tái)的最上方的電機(jī)組旋轉(zhuǎn)位置為moters_pos(e,c,f,hmax,w),其中h表示的是電機(jī)組縱向的運(yùn)動(dòng)位置，w表示的是電機(jī)組橫向的運(yùn)動(dòng)位置。然后，同樣方法，可以測(cè)定左右運(yùn)動(dòng)時(shí)，在舞臺(tái)的最左方的電機(jī)組旋轉(zhuǎn)位置為moters_pos(e,c,f,h,wmin),在舞臺(tái)的最右方的電機(jī)組旋轉(zhuǎn)位置為moters_pos(e,c,f,h,wmax),其中h表示的是電機(jī)組縱向的運(yùn)動(dòng)位置，w表示的是電機(jī)組橫向的運(yùn)動(dòng)位置。以及上下運(yùn)動(dòng)時(shí)ld對(duì)應(yīng)到的像素個(gè)數(shù)pixld，左右運(yùn)動(dòng)時(shí)wd對(duì)應(yīng)的像素個(gè)數(shù)pixwd。

然后，通過(guò)簡(jiǎn)單的比例對(duì)應(yīng)關(guān)系，那么很容易得到，當(dāng)已知圖像中block(c,f,d,b)識(shí)別的結(jié)果，可計(jì)算出其中心點(diǎn)在block_center(c,f,d,b,hh,ww)識(shí)別的結(jié)果，其中hh,ww為像素在圖像中的像素坐標(biāo)，可計(jì)算出其中心點(diǎn)在moters_pos(e,c,f,hh,ww)。

然后，把多個(gè)相機(jī)的值進(jìn)行平均，那么就可以得到最終的該電機(jī)組的位置moters_pos(e,f,hh,ww)。

最后，需要判斷是否一個(gè)木偶的所有提拉點(diǎn)均實(shí)現(xiàn)了左右對(duì)調(diào)，如果是，那么負(fù)責(zé)旋轉(zhuǎn)的電機(jī)的工作狀態(tài)就被設(shè)置，如果不是，那么不設(shè)置負(fù)責(zé)旋轉(zhuǎn)的電機(jī)的工作狀態(tài)。

9)系統(tǒng)保護(hù)：

當(dāng)每個(gè)視頻的分析過(guò)程結(jié)束后，把每個(gè)電機(jī)組的位置信息moters_pos(e,ff,hh,ww)與下1幀的位置信息moters_pos(e,ff+1,hh,ww)進(jìn)行相減，如果其運(yùn)動(dòng)的距離，超過(guò)閾值tmove，那么說(shuō)明運(yùn)動(dòng)過(guò)程超過(guò)系統(tǒng)設(shè)備安全的運(yùn)動(dòng)速度，會(huì)對(duì)系統(tǒng)產(chǎn)生傷害，那么取消該點(diǎn)運(yùn)動(dòng)，然后計(jì)算與下2幀的運(yùn)動(dòng)距離moters_pos(e,ff+2,hh,ww)是否大于2*tmove，如果也超過(guò)，那么就計(jì)算與下n幀，是否大于n*tmove，直至成功。假設(shè)第i幀與第i+m幀moters_pos(e,ff+m,hh,ww)符合條件，那么第i+1到i+m-1這些幀的位置為第i幀與第i+m幀位置的線段的m份等分點(diǎn)。

本實(shí)施例中，每幀之間的系統(tǒng)設(shè)備安全的運(yùn)動(dòng)速度tmove為15個(gè)像素。

然后，每個(gè)電機(jī)的在各個(gè)時(shí)間點(diǎn)的各個(gè)位置構(gòu)成了一個(gè)的采集完畢、待人工優(yōu)化的劇本。

本發(fā)明一是可以基于人工智能、機(jī)器視覺(jué)的自主學(xué)習(xí)方式，利用學(xué)習(xí)模塊捕捉表演時(shí)的藝術(shù)家對(duì)老舊木偶的所有動(dòng)作，錄下藝術(shù)家的解說(shuō)和背景音樂(lè)，然后計(jì)算模塊利用學(xué)習(xí)模塊中獲得的計(jì)算資源來(lái)一步一步計(jì)算，最終得到一個(gè)可供人工修正的劇本模塊，然后工作人員在此劇本模式的基礎(chǔ)上，優(yōu)化編排動(dòng)作、解說(shuō)、背景音樂(lè)，以機(jī)器人提線木偶的形式重新進(jìn)行無(wú)限自動(dòng)展示；

二是可以使用控制模塊徹底編排新劇本，包括動(dòng)作模塊、解說(shuō)、背景音樂(lè)，以機(jī)器人提線木偶的形式進(jìn)行無(wú)限自動(dòng)展示一個(gè)新劇本的方式；

通過(guò)上述兩個(gè)過(guò)程可以使機(jī)器人木偶自主學(xué)習(xí)或者對(duì)機(jī)器人木偶進(jìn)行重新編排，以使機(jī)器人木偶無(wú)限自動(dòng)展示學(xué)習(xí)到的劇本，從而使得提線木偶這一國(guó)家傳統(tǒng)藝術(shù)的瑰寶很有可能具有新的生命力，重新煥發(fā)出青春。

本具體實(shí)施例僅僅是對(duì)本發(fā)明的解釋，其并不是對(duì)本發(fā)明的限制，本領(lǐng)域技術(shù)人員在閱讀完本說(shuō)明書(shū)后可以根據(jù)需要對(duì)本實(shí)施例做出沒(méi)有創(chuàng)造性貢獻(xiàn)的修改，但只要在本發(fā)明的權(quán)利要求范圍內(nèi)都受到專利法的保護(hù)。