本發(fā)明涉及金融領(lǐng)域，尤其涉及一種基于多標(biāo)度卷積神經(jīng)網(wǎng)絡(luò)的外匯交易預(yù)測(cè)模型。

背景技術(shù)：

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNNs)是一種前饋神經(jīng)網(wǎng)絡(luò)，它的人工神經(jīng)元可以響應(yīng)一部分覆蓋范圍內(nèi)的周?chē)鷨卧瑢?duì)于大型圖像處理有出色表現(xiàn)。它包括卷積層(alternating convolutional layer)和池層(pooling layer)。

卷積神經(jīng)網(wǎng)絡(luò)主要用來(lái)識(shí)別位移、縮放及其他形式扭曲不變性的二維圖形。由于卷積神經(jīng)網(wǎng)絡(luò)的特征檢測(cè)層通過(guò)訓(xùn)練數(shù)據(jù)進(jìn)行學(xué)習(xí)，所以在使用卷積神經(jīng)網(wǎng)絡(luò)時(shí)，避免了顯性的特征抽取，而隱式地從訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí)；再者由于同一特征映射面上的神經(jīng)元權(quán)值相同，所以網(wǎng)絡(luò)可以并行學(xué)習(xí)，這也是卷積網(wǎng)絡(luò)相對(duì)于神經(jīng)元彼此相連網(wǎng)絡(luò)的一大優(yōu)勢(shì)。卷積神經(jīng)網(wǎng)絡(luò)以其局部權(quán)值共享的特殊結(jié)構(gòu)在語(yǔ)音識(shí)別和圖像處理方面有著獨(dú)特的優(yōu)越性，其布局更接近于實(shí)際的生物神經(jīng)網(wǎng)絡(luò)，權(quán)值共享降低了網(wǎng)絡(luò)的復(fù)雜性，特別是多維輸入向量的圖像可以直接輸入網(wǎng)絡(luò)這一特點(diǎn)，避免了特征提取和分類過(guò)程中數(shù)據(jù)重建的復(fù)雜度。

當(dāng)今，卷積神經(jīng)網(wǎng)絡(luò)(CNNs)為計(jì)算機(jī)視覺(jué)領(lǐng)域帶來(lái)了一場(chǎng)革命，而機(jī)器學(xué)習(xí)在各項(xiàng)應(yīng)用如外匯交易中展示了其良好的表現(xiàn)。在外匯交易中，常用的預(yù)測(cè)方法是直接按專家意見(jiàn)進(jìn)行操作。但由于專家各自年齡、經(jīng)歷、經(jīng)驗(yàn)及預(yù)測(cè)方式方法的不同，他們的操作建議往往帶有一定的局限性。此外，專家預(yù)測(cè)的通常是半小時(shí)后到一兩天內(nèi)的外匯走勢(shì)，對(duì)于一些突發(fā)事件的影響，反應(yīng)往往不夠及時(shí)，容易導(dǎo)致操作失誤，造成巨大虧損。

技術(shù)實(shí)現(xiàn)要素：

鑒于卷積神經(jīng)網(wǎng)絡(luò)(CNNs)在圖像加工上的優(yōu)勢(shì)，本申請(qǐng)?zhí)岢鲆环N方法，構(gòu)建一個(gè)新的多標(biāo)度卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)系統(tǒng)，處理外匯交易中各種各樣的圖表特征，從過(guò)去一段時(shí)間的價(jià)格波動(dòng)圖及其他特征，預(yù)測(cè)外匯價(jià)格的走向。

一種基于多標(biāo)度卷積神經(jīng)網(wǎng)絡(luò)的外匯交易預(yù)測(cè)模型，包括以下步驟：

第一步，數(shù)據(jù)處理：將外匯交易實(shí)時(shí)價(jià)格數(shù)據(jù)轉(zhuǎn)換為價(jià)格曲線圖像；

第二步，建立卷積神經(jīng)網(wǎng)絡(luò)體系：該步驟包括預(yù)處理步驟，即拍攝各時(shí)間段價(jià)格曲線圖，并將曲線圖圖像轉(zhuǎn)換成灰度圖，結(jié)合嵌入特征得到預(yù)處理特征；還包括用推拉窗和修正線性單元處理卷積神經(jīng)網(wǎng)絡(luò)，提取局部語(yǔ)境，通過(guò)內(nèi)核處理局部語(yǔ)境集合，并對(duì)其進(jìn)行連接得到局部語(yǔ)境圖；

第三步，實(shí)施并行特征學(xué)習(xí)：將價(jià)格特征計(jì)入局部語(yǔ)境圖，作為兩個(gè)共享的完全連接的隱藏層的輸入，進(jìn)行并行特征學(xué)習(xí)，產(chǎn)生外匯價(jià)格變動(dòng)預(yù)測(cè)的輸出。

為了減少損失，還可以對(duì)基于多標(biāo)度卷積神經(jīng)網(wǎng)絡(luò)的外匯交易預(yù)測(cè)模型參數(shù)進(jìn)行調(diào)整優(yōu)化。所述的調(diào)整優(yōu)化參數(shù)的調(diào)整范圍包括開(kāi)始學(xué)習(xí)率、學(xué)習(xí)率更新方案和參數(shù)、求解器類型。

一種以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，可進(jìn)行并行特征學(xué)習(xí)的外匯交易多標(biāo)度預(yù)測(cè)新系統(tǒng)。該系統(tǒng)通過(guò)訓(xùn)練學(xué)習(xí)，能有效識(shí)別各種各樣的圖形，敏銳地發(fā)現(xiàn)外匯交易中價(jià)格微小的變化，從而及時(shí)提出操作建議。它不僅能快速止損，實(shí)現(xiàn)最優(yōu)化操作，還能克服過(guò)擬合問(wèn)題，避免人為操作的局限和失誤。這意味著，系統(tǒng)的專家?guī)?池層)在面對(duì)各種規(guī)模的序列組合時(shí)，都能得心應(yīng)手。

附圖說(shuō)明

圖1基于卷積神經(jīng)網(wǎng)絡(luò)的外匯預(yù)測(cè)架構(gòu)；

圖2輸入卷積神經(jīng)網(wǎng)絡(luò)的價(jià)格曲線圖示例；

圖3用SGD計(jì)算的訓(xùn)練和驗(yàn)證損失；

圖4 EUR/USD的預(yù)測(cè)準(zhǔn)確率比較；

圖5 GBP/USD的預(yù)測(cè)準(zhǔn)確率比較；

圖6 EUR/USD的獲取利潤(rùn)(pips)比較；

圖7 GBP/USD的獲取利潤(rùn)(pips)比較。

具體實(shí)施方式

下面結(jié)合具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)的說(shuō)明。

第一步，數(shù)據(jù)處理，即將外匯交易實(shí)時(shí)價(jià)格數(shù)據(jù)轉(zhuǎn)換為圖像，即獲取到如 圖1所示的原始的RGBA圖。

本實(shí)施例我們可以從Google Finance獲取每對(duì)貨幣每分鐘的結(jié)束價(jià)、開(kāi)始價(jià)、最高價(jià)和最低價(jià),用結(jié)束價(jià)來(lái)繪制如圖2的價(jià)格曲線圖。

選擇過(guò)去多長(zhǎng)一段時(shí)間的實(shí)時(shí)數(shù)據(jù)，是建立卷積神經(jīng)網(wǎng)絡(luò)必須調(diào)整的超參數(shù)之一。本實(shí)施例默認(rèn)使用過(guò)去30分鐘值，用以預(yù)測(cè)未來(lái)某段時(shí)間的價(jià)格走勢(shì)。

在實(shí)踐中，需要預(yù)測(cè)未來(lái)某段時(shí)間的長(zhǎng)度短些，因?yàn)殡S著時(shí)間流逝，獲得的預(yù)測(cè)信號(hào)也會(huì)越來(lái)越被市場(chǎng)的無(wú)規(guī)則噪聲淹沒(méi)。與此同時(shí)，預(yù)測(cè)時(shí)間又不能設(shè)定太短，那樣的話將不能有效地根據(jù)預(yù)測(cè)信號(hào)買(mǎi)進(jìn)賣(mài)出。所以，依據(jù)實(shí)驗(yàn)，本申請(qǐng)認(rèn)為對(duì)于30分鐘的時(shí)間窗口，用窗口后5分鐘作為預(yù)測(cè)點(diǎn)，是較為合理的。

簡(jiǎn)而言之，問(wèn)題可以被描述為：假如用時(shí)間t-30到t的結(jié)束價(jià)曲線圖作輸入，想從時(shí)間t到t+5獲取的利潤(rùn)p必須大于0，這里，p是基于時(shí)間t到t+5的結(jié)束價(jià)計(jì)算的。兩種情形可以獲利：1)操作是在時(shí)間t買(mǎi)進(jìn)，而時(shí)間段t到t+5的結(jié)束價(jià)是上漲的；2)操作是在時(shí)間t賣(mài)出，而時(shí)間段t到t+5的結(jié)束價(jià)是下跌的。所有其他情形都無(wú)法獲利。

第二步，建立卷積神經(jīng)網(wǎng)絡(luò)體系。按圖1所示，在預(yù)處理階段，先拍攝600x 800的各時(shí)間段價(jià)格曲線圖圖像，再按比例縮小成50x 30的縮微圖像。然后，將圖像從四通道(RGBA)轉(zhuǎn)換為單通道(灰度級(jí))。為了防止特征標(biāo)示的不一致，本實(shí)施例采用自然語(yǔ)言處理的嵌入操作，將稀疏序列特征改變?yōu)檩^密實(shí)的標(biāo)示。輸入多標(biāo)度層的最終特征向量就是50×50。

在卷積神經(jīng)網(wǎng)絡(luò)層中，用推拉窗和修正線性單元(ReLU)來(lái)處理卷積神經(jīng)網(wǎng)絡(luò)，提取局部語(yǔ)境：

l_i＝ReLU(w·x_i：i+f-1+b) (1)

這里，x_i是特征，w是維數(shù)，f是內(nèi)核區(qū)間，b是偏置項(xiàng)，ReLU是激活函數(shù)。內(nèi)核經(jīng)過(guò)全輸入特征向量，產(chǎn)生相應(yīng)的輸出特征圖，L＝[l₁，l₂，...，l_n]，我們使用5個(gè)不同的內(nèi)核尺寸，f＝3,5,7,9,11，產(chǎn)生5個(gè)不同的特征圖L₁，L₂，L₃，L₄，L₅，將它們連接在一起，就形成局部語(yǔ)境圖L_c＝concatenate(L₁，L₂，L₃，L₄，L₅)。

第三步，實(shí)施并行特征學(xué)習(xí)。如圖1所示，將每分鐘價(jià)格特征(結(jié)束價(jià)、開(kāi)始價(jià)、最高價(jià)、最低價(jià))計(jì)入L_c，作為兩個(gè)共享的完全連接的隱藏層的輸入，進(jìn)行并行特征學(xué)習(xí)，產(chǎn)生外匯價(jià)格變動(dòng)預(yù)測(cè)的最終輸出。

由于價(jià)格特征和圖形特征之間存在相關(guān)性，進(jìn)行并行特征學(xué)習(xí)是有益的。事實(shí)上，該輸出是二元分類的結(jié)果，外匯價(jià)格變動(dòng)不是“上漲”便是“下跌”，l2范數(shù)則作為正則項(xiàng)被加入損失函數(shù)。使用l2損失函數(shù)來(lái)訓(xùn)練卷積網(wǎng)絡(luò)，這在金融領(lǐng)域的回歸問(wèn)題上是標(biāo)配。必須注意，損失函數(shù)不像輸入窗口的長(zhǎng)度，其選擇并非是可調(diào)整的超參數(shù)。這是因?yàn)椴煌膿p失函數(shù)完全是不同的問(wèn)題，而不僅僅是同一問(wèn)題的不同解答。不同的損失函數(shù)對(duì)應(yīng)于不同的對(duì)預(yù)測(cè)不快或不滿的念頭。

損失函數(shù)可以用方程表達(dá)如下：

這里，分別是外匯價(jià)格變動(dòng)預(yù)測(cè)基于圖像特征和價(jià)格特征的損失函數(shù)。Si和ai分別是對(duì)應(yīng)于真實(shí)數(shù)據(jù)標(biāo)簽和的預(yù)測(cè)概率。θ是權(quán)重向量，N是剩余個(gè)數(shù)。

第四步，調(diào)整超參數(shù)。在實(shí)施本專利時(shí)，如果想要減少損失，必須首先調(diào) 整優(yōu)化參數(shù)。調(diào)整范圍包括開(kāi)始學(xué)習(xí)率、學(xué)習(xí)率更新方案和參數(shù)、求解器類型如隨機(jī)梯度下降(SGD)等。本實(shí)施例用動(dòng)量SGD，從10,000次訓(xùn)練迭代開(kāi)始。幾番調(diào)整之后，決定設(shè)α＝0.2為起始點(diǎn)，每2,000迭代減少因子γ＝0.5。此外，動(dòng)量項(xiàng)設(shè)為0.9。訓(xùn)練結(jié)果和驗(yàn)證損失見(jiàn)圖3，可以看到，卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)果和本申請(qǐng)之前的設(shè)定幾乎是最優(yōu)的。訓(xùn)練和驗(yàn)證損失的評(píng)分用輸出層計(jì)算，該輸出層帶有softmax激活功能，并附有訓(xùn)練數(shù)據(jù)的叉熵，神經(jīng)網(wǎng)絡(luò)在那里學(xué)會(huì)將訓(xùn)練誤差減到最小。驗(yàn)證評(píng)分被定義為檢測(cè)數(shù)據(jù)的準(zhǔn)確率。顯然，在本申請(qǐng)中，準(zhǔn)確率意味著外匯價(jià)格的變動(dòng)預(yù)測(cè)是匹配實(shí)際外匯價(jià)格的變動(dòng)的。

本申請(qǐng)的實(shí)驗(yàn)使用了取自Google Finance的兩對(duì)主要貨幣EUR/USD和GBP/USD的數(shù)據(jù)，定義預(yù)測(cè)有“上漲”和“下跌”兩個(gè)結(jié)果?！吧蠞q”意味著該對(duì)貨幣的比價(jià)5分鐘后將會(huì)上升，“下跌”則意味著該對(duì)貨幣的比價(jià)5分鐘后將會(huì)降低。實(shí)驗(yàn)抽取的時(shí)間段是從2016年5月1日到2016年7月29日共3,000個(gè)30分鐘曲線圖。

由于存在著其他一些在實(shí)際交易中不考慮的因素，如系統(tǒng)超時(shí)、交易費(fèi)等，所以，如果變化小于5pips，例如，EUR/USD的價(jià)格從1.3132下跌到1.3130，本申請(qǐng)?jiān)跍?zhǔn)確率計(jì)算時(shí)將忽略這一檢測(cè)樣本，因?yàn)樵诂F(xiàn)實(shí)中它是無(wú)效的交易。Pips是外匯市場(chǎng)中貨幣比價(jià)變化的量度單位，即最小精確的小數(shù)點(diǎn)后第四位。

關(guān)于評(píng)估指標(biāo)，本實(shí)施例確定兩個(gè)指標(biāo)：預(yù)測(cè)準(zhǔn)確率和凈利潤(rùn)。預(yù)測(cè)準(zhǔn)確率的計(jì)算公式如下：準(zhǔn)確率＝NC/NC+NW，這里，NC是預(yù)測(cè)正確的次數(shù)，NW是預(yù)測(cè)錯(cuò)誤的次數(shù)。凈利潤(rùn)的計(jì)算很簡(jiǎn)單，用總收入減總支出即可。本申請(qǐng)?jiān)趯?shí)驗(yàn)中不考慮其他成本如交易費(fèi)等。此外，本發(fā)明在預(yù)測(cè)階段亦可以秒為單位來(lái)完成，在此不贅述。

由于局部語(yǔ)境的特征圖可以分別輸入兩個(gè)完全連接的隱藏層中，本實(shí)驗(yàn)使用帶價(jià)格特征的圖像特征和不帶價(jià)格特征的圖像特征來(lái)評(píng)估本發(fā)明。由于預(yù)測(cè)僅分兩類，如果隨機(jī)抽取圖像，預(yù)測(cè)準(zhǔn)確率應(yīng)該是50％。所以，本實(shí)驗(yàn)也利用一個(gè)模擬器來(lái)隨機(jī)產(chǎn)生結(jié)果，再應(yīng)用那些結(jié)果作為基線，計(jì)算預(yù)測(cè)準(zhǔn)確率和獲 取利潤(rùn)。在總共3,000個(gè)30分鐘曲線圖中，本實(shí)驗(yàn)取80/20的比例，用2,400點(diǎn)作訓(xùn)練數(shù)據(jù)，600點(diǎn)作測(cè)試數(shù)據(jù)。訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)的規(guī)模在每個(gè)月是相等的。

預(yù)測(cè)準(zhǔn)確率的比較：首先比較EUR/USD和GBP/USD的預(yù)測(cè)準(zhǔn)確率，如圖4、圖5所示，其中黑色柱狀表示結(jié)合價(jià)格特征和圖像特征的預(yù)測(cè)準(zhǔn)確率，白色表示不結(jié)合價(jià)格特征只使用圖像特征的預(yù)測(cè)準(zhǔn)確率。從圖4可見(jiàn)，無(wú)論是帶價(jià)格特征的圖像預(yù)測(cè)，還是不帶價(jià)格特征的圖像預(yù)測(cè)，其準(zhǔn)確率都遠(yuǎn)高于0.5的基準(zhǔn)線。更令人印象深刻的是，結(jié)合圖像特征和價(jià)格特征的預(yù)測(cè)方法，準(zhǔn)確率比只使用圖像特征的方法高大約10％，比基準(zhǔn)線方法高幾乎70％。即使只使用圖像特征的方法，也比基準(zhǔn)線方法至少高50％。

相似的結(jié)果也可在表示GBP/USD的圖5中見(jiàn)到。GBP/USD的預(yù)測(cè)準(zhǔn)確率比EUR/USD低些，或許是因?yàn)?月份的英國(guó)脫歐事件影響，我們發(fā)現(xiàn)，6月份的預(yù)測(cè)誤差高于5月和7月。這種大事件是非常罕見(jiàn)的，任何預(yù)測(cè)模型都難以預(yù)測(cè)，幸運(yùn)的是，結(jié)果仍然可以接受。

這個(gè)實(shí)驗(yàn)證明，即使只使用圖像特征，本申請(qǐng)的卷積神經(jīng)網(wǎng)絡(luò)體系也相當(dāng)有用，如果結(jié)合價(jià)格特征，能得到更高的預(yù)測(cè)準(zhǔn)確率。

獲取利潤(rùn)的比較在外匯交易預(yù)測(cè)中，許多人，包括著名的投資基金，都將注意力更多集中在獲取利潤(rùn)而不是預(yù)測(cè)準(zhǔn)確率上。這里比較一下圖6、圖7所示的EUR/USD和GBP/USD的獲取利潤(rùn)，其中黑色柱狀表示結(jié)合價(jià)格特征和圖像特征的獲取利潤(rùn)，白色表示不結(jié)合價(jià)格特征只使用圖像特征的獲取利潤(rùn)，灰色的代表隨機(jī)取樣。圖中的數(shù)字是pips點(diǎn)值，例如，假設(shè)EUR/USD價(jià)格從1.3558上升到1.3608，預(yù)測(cè)是“上漲”，那么，利潤(rùn)就是50pips。從兩組數(shù)字可看出，結(jié)合了圖像特征和價(jià)格特征的預(yù)測(cè)方法，在選定的時(shí)段內(nèi)，在獲取利潤(rùn)項(xiàng)上表現(xiàn)良好，3個(gè)月盈利將近700pips。

實(shí)驗(yàn)也表明，該系統(tǒng)可以成功地將風(fēng)險(xiǎn)降到最低。例如，由于英國(guó)脫歐事件的影響，隨機(jī)抽取基線法在GBP/USD交易中虧損了，但本申請(qǐng)的預(yù)測(cè)系統(tǒng)如圖7所示仍然可以盈利。結(jié)果表明，當(dāng)某種不可預(yù)測(cè)的事件發(fā)生時(shí)，本發(fā)明能像人類交易員那樣，自動(dòng)調(diào)節(jié)預(yù)測(cè)模型。

以上所述實(shí)施例僅表達(dá)了本發(fā)明的幾種實(shí)施方式，其描述較為具體和詳細(xì)， 但并不能因此而理解為對(duì)本發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是，對(duì)于本領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)，這些都屬于本發(fā)明的保護(hù)范圍。因此，本發(fā)明專利的保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。