專(zhuān)利名稱(chēng)：通過(guò)增強(qiáng)學(xué)習(xí)和傳播來(lái)優(yōu)化網(wǎng)絡(luò)協(xié)議選項(xiàng)的制作方法
技術(shù)領(lǐng)域：
—般來(lái)說(shuō)，本發(fā)明的實(shí)施例涉及網(wǎng)絡(luò)通信領(lǐng)域，更具體
來(lái)說(shuō)，涉及通過(guò)增強(qiáng)學(xué)習(xí)和傳播來(lái)優(yōu)化網(wǎng)絡(luò)協(xié)議選項(xiàng)。
背景技術(shù)：
簡(jiǎn)單文件傳輸協(xié)議(TFTP)是基于簡(jiǎn)單用戶(hù)數(shù)據(jù)報(bào)協(xié)議 (UDP)的文件傳輸程序，它經(jīng)常用于預(yù)引導(dǎo)環(huán)境。例如，TFTP廣泛用 于圖像提供，以便允許無(wú)盤(pán)主機(jī)通過(guò)網(wǎng)絡(luò)進(jìn)行引導(dǎo)。 TFTP提供廣泛選項(xiàng)，例如數(shù)據(jù)分組的塊大小和多播提 供，它們可纟皮應(yīng)用以便取得更好的性能。例如，較大值的塊大小可產(chǎn) 生更好的傳輸性能(例如，在某些100Mbps的環(huán)境中，塊大小為32KB 的會(huì)話(huà)產(chǎn)生高于塊大小為512B的會(huì)話(huà)700%提高的性能增益)。多播實(shí) 現(xiàn)對(duì)多個(gè)客戶(hù)機(jī)的同時(shí)提供。 當(dāng)TFTP服務(wù)器接收來(lái)自客戶(hù)機(jī)的請(qǐng)求時(shí)，進(jìn)行簡(jiǎn)單協(xié)商 (negotiation),其中TFTP月良務(wù)器可選擇適當(dāng)?shù)倪x項(xiàng)值作為響應(yīng)。在 協(xié)商之后，創(chuàng)建TFTP會(huì)話(huà)，并且按照會(huì)話(huà)的所選選項(xiàng)來(lái)傳輸文件。但 是，在不同網(wǎng)絡(luò)環(huán)境中為了性能增強(qiáng)而優(yōu)化和傳播這些選項(xiàng)的領(lǐng)域， TFTP選項(xiàng)選擇出現(xiàn)問(wèn)題。TFTP選項(xiàng)的有效性與特定網(wǎng)絡(luò)環(huán)境密切相 關(guān)。對(duì)性能的一些影響因素包括但不限于網(wǎng)絡(luò)拓樸結(jié)構(gòu)，交換機(jī)及 其配置，網(wǎng)絡(luò)驅(qū)動(dòng)器，以及TFTP客戶(hù)才幾的實(shí)現(xiàn)。在一些情況下，可引起某些環(huán)境中的高性能的TFTP選項(xiàng) 在其它環(huán)境中可能是有風(fēng)險(xiǎn)的，甚至可能導(dǎo)致出故障。 一個(gè)示例是 32KB塊大小的單個(gè)會(huì)話(huà)對(duì)于一種類(lèi)型的交換機(jī)可能失敗，而16KB塊 大小對(duì)于同一個(gè)交換機(jī)可能以可接受性能成功進(jìn)行。另一個(gè)示例是32KB塊大小的單個(gè)多播會(huì)話(huà)對(duì)于1Gbps環(huán)境中的某個(gè)以太網(wǎng)適配器的 舊驅(qū)動(dòng)器版本可能失敗，而減小塊大小或者替換驅(qū)動(dòng)器的更新版本將 會(huì)成功。在環(huán)境復(fù)雜時(shí)，這些問(wèn)題變得更為嚴(yán)重。 例如，復(fù)雜環(huán)境可包括基礎(chǔ)設(shè)施，其中具有帶集線(xiàn)器的 連接器、1Gbps連接和100Mbps連接的混合、不同交換機(jī)的UDP多播 的實(shí)現(xiàn)、同時(shí)進(jìn)行但在不同時(shí)間開(kāi)始和結(jié)束的多個(gè)會(huì)話(huà)、因預(yù)引導(dǎo)限 制而沒(méi)有完全實(shí)現(xiàn)的特定TFTP客戶(hù)機(jī)等。不存在統(tǒng)一地工作在這些不 同環(huán)境中的顯而易見(jiàn)的規(guī)則或指導(dǎo)方針。因此，在不同的TFTP實(shí)現(xiàn)中， 難以使TFTP服務(wù)器在選項(xiàng)協(xié)商期間進(jìn)行可取得高性能以及確保文件 傳輸?shù)某晒Φ淖罴雅卸ā?br>

通過(guò)下面提供的詳細(xì)描述以及通過(guò)本發(fā)明的各種實(shí)施例 的附圖，將會(huì)更全面地了解本發(fā)明。但是，附圖不應(yīng)當(dāng)被理解為將本 發(fā)明局限于具體實(shí)施例，而是僅用于說(shuō)明和理解。 圖1是執(zhí)行本發(fā)明的實(shí)施例的示范網(wǎng)絡(luò)系統(tǒng)的一個(gè)實(shí)施 例的框圖； 圖2是用于提供筒單文件傳輸協(xié)議(TFTP)的最佳選項(xiàng)選 擇的網(wǎng)絡(luò)環(huán)境的一個(gè)實(shí)施例的框圖；圖3是使用增強(qiáng)學(xué)習(xí)來(lái)應(yīng)用選項(xiàng)優(yōu)化的一個(gè)實(shí)施例的框
圖；圖4是示出本發(fā)明的一個(gè)實(shí)施例的方法的流程圖；以及
圖5示出執(zhí)行本發(fā)明的各種實(shí)施例的電子系統(tǒng)的一個(gè)實(shí) 施例的框圖。
具體實(shí)施例方式
公開(kāi)用于通過(guò)增強(qiáng)學(xué)習(xí)和傳播來(lái)優(yōu)化網(wǎng)絡(luò)協(xié)議選項(xiàng)的設(shè) 備和方法。說(shuō)明中提到"一個(gè)實(shí)施例"或"實(shí)施例"表示結(jié)合該實(shí)施例所述的具體特征、結(jié)構(gòu)或特性包含在本發(fā)明的至少 一個(gè)實(shí)施例中。 詞組"在一個(gè)實(shí)施例中"在本說(shuō)明的各個(gè)位置中的出現(xiàn)不一定都表示 同一個(gè)實(shí)施例。 在以下描述中，闡明了許多細(xì)節(jié)。然而，本領(lǐng)域的4支術(shù) 人員將會(huì)清楚地知道，即使沒(méi)有這些具體細(xì)節(jié)，也可以實(shí)施本發(fā)明的 實(shí)施例。在其它情況下，眾所周知的結(jié)構(gòu)和裝置以框圖形式來(lái)表示而 不是詳細(xì)表示，以免影響對(duì)本發(fā)明的理解。 本發(fā)明的實(shí)施例描述用于通過(guò)增強(qiáng)學(xué)習(xí)和傳播來(lái)優(yōu)化網(wǎng) 絡(luò)協(xié)議選項(xiàng)的方法及相應(yīng)電路。更具體來(lái)說(shuō)，本發(fā)明的實(shí)施例使用增 強(qiáng)學(xué)習(xí)和傳播來(lái)提供簡(jiǎn)單文件傳輸協(xié)議(TFTP)選項(xiàng)協(xié)商和選擇的新穎 方法。 圖1是示出執(zhí)行本發(fā)明的實(shí)施例的示范網(wǎng)絡(luò)系統(tǒng)的一個(gè) 實(shí)施例的框圖。系統(tǒng)10 0包括TFTP服務(wù)器110 、網(wǎng)絡(luò)12 0和客戶(hù)機(jī)13 0 。 TFTP服務(wù)器110可通過(guò)網(wǎng)絡(luò)120監(jiān)聽(tīng)來(lái)自客戶(hù)機(jī)130的連接請(qǐng)求?？?戶(hù)機(jī)130可進(jìn)行到TFTP服務(wù)器110的連接。 一旦連接，客戶(hù)機(jī)130和 TFTP月艮務(wù)器1100可經(jīng)由TFTP進(jìn)行通信。例如，客戶(hù)機(jī)130可進(jìn)行許 多文件處理操作，例如將文件上載到TFTP服務(wù)器llO，將文件下載到 TFTP服務(wù)器110等。在其它實(shí)施例中，本領(lǐng)域的技術(shù)人員會(huì)理解，可 使用與經(jīng)由TFTP進(jìn)行通信的TFTP服務(wù)器不同的服務(wù)器(例如FTP服務(wù) 器)。 此外，TFTP服務(wù)器110和客戶(hù)機(jī)13 0還可進(jìn)入選項(xiàng)協(xié)商。 在選項(xiàng)協(xié)商期間，增強(qiáng)和修改TFTP的功能性的選項(xiàng)可在TFTP服務(wù)器 110與客戶(hù)機(jī)130之間被選擇和起作用(enacted)。本發(fā)明的實(shí)施例 通過(guò)使用增強(qiáng)學(xué)習(xí)和傳播在選項(xiàng)協(xié)商期間提供協(xié)議選項(xiàng)的最佳選擇的 孝斤穎方法。 圖2是示出用于提供TFTP的最佳選項(xiàng)選擇的系統(tǒng)200 的一個(gè)實(shí)施例的框圖。在一個(gè)實(shí)施例中，TFTP服務(wù)器210通過(guò)提供不 同的選項(xiàng)、使用試錯(cuò)(trial-and-error )策略與環(huán)境230進(jìn)行交互作用。在一個(gè)實(shí)施例中，環(huán)境230包括TFTP服務(wù)器210的文件傳輸組件 240以及網(wǎng)絡(luò)環(huán)境235 (交換機(jī)、網(wǎng)絡(luò)驅(qū)動(dòng)等)和一個(gè)或多個(gè)TFTP客戶(hù) 機(jī)220。 TFTP服務(wù)器210的選項(xiàng)協(xié)商組件215在環(huán)境230的外部并與 環(huán)境230進(jìn)行交互作用。 在一個(gè)實(shí)施例中，TFTP服務(wù)器210接收不同選項(xiàng)的性能 反饋?zhàn)鳛榛貓?bào)(reward),并根據(jù)這些過(guò)往體驗(yàn)和所得回報(bào)來(lái)改進(jìn)它 對(duì)于選項(xiàng)協(xié)商的決策策略。在一些實(shí)施例中，TFTP服務(wù)器210可以可 選地將決策策略連同特定環(huán)境的所觀測(cè)的配置一起上栽到集中位置 (例如電子庫(kù))。然后，其它TFTP服務(wù)器210可下載資源，并將該策略 用于最相似的環(huán)境，以便開(kāi)始它們自己的試錯(cuò)學(xué)習(xí)過(guò)程。在一些實(shí)施 例中，在不確定環(huán)境中的經(jīng)由決策過(guò)程的選項(xiàng)協(xié)商通過(guò)應(yīng)用Q學(xué)習(xí)方 法來(lái)實(shí)現(xiàn)。 在一個(gè)實(shí)施例中，TFTP月良務(wù)器210的選項(xiàng)協(xié)商組件215 可用作與環(huán)境230進(jìn)行交互作用的智能代理。選項(xiàng)協(xié)商組件215提供 各種環(huán)境230的嘗試選項(xiàng)，并接收回報(bào)作為反饋。然后，選項(xiàng)協(xié)商組 件215使用增強(qiáng)學(xué)習(xí)來(lái)達(dá)到任何特定環(huán)境230的最佳選項(xiàng)選擇。 在一些實(shí)施例中，選項(xiàng)協(xié)商組件215在時(shí)間t可處于某 種狀態(tài)st。該狀態(tài)用于描述當(dāng)前系統(tǒng)的特定狀態(tài)，即未決文件傳輸請(qǐng) 求和現(xiàn)有傳輸會(huì)話(huà)連同會(huì)話(huà)的選項(xiàng)。每當(dāng)接收新請(qǐng)求、創(chuàng)建新會(huì)話(huà)或 者結(jié)束舊會(huì)話(huà)時(shí)，可發(fā)生狀態(tài)轉(zhuǎn)換。 在狀態(tài)St,選項(xiàng)協(xié)商組件215可從狀態(tài)D(St)所容許的動(dòng) 作集合中選擇動(dòng)作仏。對(duì)于不存在未決文件傳輸請(qǐng)求的大多數(shù)狀態(tài)， 僅容許空(null)動(dòng)作。對(duì)于存在新的文件傳輸請(qǐng)求的狀態(tài)，動(dòng)作集合 包括TFTP服務(wù)器210可響應(yīng)的所有合法選項(xiàng)。在每個(gè)時(shí)間步t，接收 到描述選項(xiàng)協(xié)商組件215得到的效用的回報(bào)rt。在一些實(shí)施例中，回 ^R可表示在那個(gè)時(shí)間所傳遞的數(shù)據(jù)加上所導(dǎo)致的任何處罰、例如通過(guò) 超時(shí)、會(huì)話(huà)失敗等引起的處罰。在一個(gè)實(shí)施例中，假定狀態(tài)轉(zhuǎn)換概率性地按照特定網(wǎng)絡(luò)環(huán)境的未知分布P (st+11 St， at)取決于動(dòng)作。假定回才艮概率性地按照特定 網(wǎng)絡(luò)環(huán)境的未知分布P(rt+1|st,at， Sw)取決于代理所處的狀態(tài)以及它 采取的動(dòng)作。 選項(xiàng)協(xié)調(diào)組件215的目標(biāo)是決定使文件傳輸?shù)男阅転樽?大的適當(dāng)選項(xiàng)，即，選擇適當(dāng)動(dòng)作以便使無(wú)限長(zhǎng)運(yùn)行期間的算入損失 的收益(discounted returns)為最大。這可表示為
<formula>formula see original document page 9</formula> 在一個(gè)實(shí)施例中，為了解決此問(wèn)題，可引入下列Q函數(shù)， 它是相關(guān)于策略兀、在狀態(tài)s的動(dòng)作a的預(yù)期收益
<formula>formula see original document page 9</formula>
策略兀表示在各種狀態(tài)選擇動(dòng)作的概率分布。例如S、 A等大寫(xiě)字 母用來(lái)表示隨機(jī)變量，而例如s、a等小寫(xiě)字母用來(lái)表示隨機(jī)變量的值。
最佳策略-的Q函數(shù)滿(mǎn)足下列貝爾曼最佳方程
<formula>formula see original document page 9</formula>
式中， 以及Q學(xué)習(xí)算法是增強(qiáng)學(xué)習(xí)的標(biāo)準(zhǔn)方法，它迭代計(jì)算最佳策 略的值函數(shù)。在Q-學(xué)習(xí)算法下，令^&G)表示最佳策略的估計(jì)Q函數(shù)。 然后，這些值可被存儲(chǔ)作為查找表，或者根據(jù)函數(shù)h(s，a，w)來(lái)近似計(jì) 算，其中w作為參數(shù)(例如狀態(tài)s和動(dòng)作a中隱含的特征的線(xiàn)性函數(shù)， 或者更復(fù)雜的函數(shù)近似)。在一個(gè)實(shí)施例中，Q學(xué)習(xí)算法按照以下方式進(jìn)行工作1. 初始4b^'(s，a)。
2. 0, ir—1 /人s。開(kāi)始。
3. 按照以下分布來(lái)選擇動(dòng)作仏
以及轉(zhuǎn)換到狀態(tài)Sw,并接收直接回報(bào)rw。
4. 釆用貝爾曼最佳方程的樣本備份策略來(lái)更新估計(jì)Q函數(shù)
— (A, 。, ) + + y max。' , 。,+1)-《(; ,，。,)]
5. 增加k且f+l。
6. 如果不滿(mǎn)足結(jié)束條件，則返回到步驟2。
7. 可選地獲得(retrieve)環(huán)境的配置，并且將策略(估計(jì)Q函 數(shù))上載到中央環(huán)境。圖3是在系統(tǒng)300中使用增強(qiáng)學(xué)習(xí)、如Q學(xué)習(xí)算法來(lái)應(yīng) 用選項(xiàng)優(yōu)化的一個(gè)實(shí)施例的框圖。系統(tǒng)300的組件共同交互作用，以 便利用本發(fā)明的各種實(shí)施例。系統(tǒng)300的組件包括選項(xiàng)提供器310、 文件傳輸組件320和Q函數(shù)更新組件。在一個(gè)實(shí)施例中，作為針對(duì)圖 2所述的TFTP力艮務(wù)器210的組成部分來(lái)包含這些組件。在一個(gè)實(shí)施例中，選項(xiàng)提供器310接收文件傳輸請(qǐng)求。 選項(xiàng)4是供器可將文件傳輸請(qǐng)求的環(huán)境與例如有關(guān)Q學(xué)習(xí)算法的Q值關(guān) 聯(lián)。然后，選項(xiàng)提供器310可根據(jù)Q值來(lái)選擇環(huán)境的選項(xiàng)。將這些所 選選項(xiàng)以及文件傳輸請(qǐng)求發(fā)送給文件傳輸組件320。文件傳輸組件32G又傳輸與文件傳輸請(qǐng)求關(guān)聯(lián)的數(shù)據(jù)。 文件傳輸組件320還向Q函數(shù)更新組件330發(fā)送反饋或回報(bào)。Q函數(shù) 更新組件可根據(jù)從文件傳輸組件320所接收的回報(bào)來(lái)修改它的提供給 選項(xiàng)提供器31G的Q值。 在一些實(shí)施例中，系統(tǒng)300的組件利用比如如上所述的 Q學(xué)習(xí)算法。在上述算法的初始化階段(例如步驟l),如果不存在其它 信息可用，則可將初始Q函數(shù)值隨機(jī)化。但是，如果服務(wù)器能夠從中央環(huán)境下載資源，則服務(wù)器可通過(guò)比較所觀測(cè)配置來(lái)選擇最相似環(huán)境
的策略，以便初始化Q函數(shù)。 當(dāng)估計(jì)Q函數(shù)的值采用查找表來(lái)存儲(chǔ)時(shí)，估計(jì)Q函數(shù)收 斂到以適當(dāng)方式控制參數(shù)時(shí)的最佳策略的值。當(dāng)k在一定次數(shù)的迭代 之后變得較大，則算法的步驟2中所選的動(dòng)作可以是最佳的。 圖4是示出本發(fā)明的一個(gè)實(shí)施例的方法的流程圖。過(guò)程 4 00提供一種用于采用增強(qiáng)學(xué)習(xí)和傳播來(lái)優(yōu)化網(wǎng)絡(luò)協(xié)議選項(xiàng)的方法。 過(guò)程400在處理框410開(kāi)始，其中，TFTP服務(wù)器的學(xué)習(xí)組件通過(guò)進(jìn)行 不同狀態(tài)中的各種TFTP選項(xiàng)的不同嘗試，來(lái)與客戶(hù)機(jī)以及與環(huán)境進(jìn)行 交互作用。然后，在處理框420， TFTP服務(wù)器的組件接收這些嘗試的 性能反饋?zhàn)鳛榛貓?bào)。 在處理框430， TFTP服務(wù)器的學(xué)習(xí)組件利用過(guò)往嘗試和 所得回報(bào)來(lái)改進(jìn)選項(xiàng)協(xié)商的決策策略。在一些實(shí)施例中，增強(qiáng)學(xué)習(xí)算 法用來(lái)改進(jìn)決策策略。在一個(gè)實(shí)施例中，增強(qiáng)算法可以是Q學(xué)習(xí)算法。 本領(lǐng)域的技術(shù)人員會(huì)理解，本發(fā)明的實(shí)施例可應(yīng)用于與 TFTP不同的通信協(xié)議，并且本描述不是要將各種實(shí)施例應(yīng)用只局限于 于TFTP。 在一些實(shí)施例中，TFTP服務(wù)器的組件或者其它客戶(hù)機(jī)可 利用各種電子系統(tǒng)來(lái)執(zhí)行本發(fā)明的實(shí)施例。圖5所示的電子系統(tǒng)500 旨在表示一系列電子系統(tǒng)，例如計(jì)算機(jī)系統(tǒng)、網(wǎng)絡(luò)接入裝置等。無(wú)論 是電子還是非電子的備選系統(tǒng)可包括更多、更少和/或不同的組件。 電子系統(tǒng)500包括總線(xiàn)501或者傳遞信息的其它通信 裝置；以及處理器502，與總線(xiàn)501耦合，以便處理信息。在一個(gè)實(shí) 施例中，總線(xiàn)501的一條或多條線(xiàn)是光纖，它們?cè)陔娮酉到y(tǒng)500的組件之間運(yùn)載光信號(hào)。具有光傳輸和/或光接收功能性的電子系統(tǒng)500的 組件的 一個(gè)或多個(gè)可包括如本發(fā)明的實(shí)施例中所述的光調(diào)制器和偏置 電路。 雖然電子系統(tǒng)500表示為具有單個(gè)處理器，但是，電子 系統(tǒng)500可包括多個(gè)處理器和/或協(xié)處理器。電子系統(tǒng)500還包括隨機(jī) 存取存儲(chǔ)器(RAM)或其它動(dòng)態(tài)存儲(chǔ)裝置504 (稱(chēng)作存儲(chǔ)器)，與總線(xiàn)501 耦合，以便存儲(chǔ)將由處理器502執(zhí)行的信息和指令。存儲(chǔ)器504還可 用于在處理器502執(zhí)行指令期間存儲(chǔ)臨時(shí)變量或其它中間信息。 電子系統(tǒng)500還包括只讀存儲(chǔ)器(ROM)和/或其它靜態(tài) 存儲(chǔ)裝置506,與總線(xiàn)501耦合，以便存儲(chǔ)處理器502的靜態(tài)信息和 指令。數(shù)據(jù)存儲(chǔ)裝置507與總線(xiàn)501耦合，以便存儲(chǔ)信息和指令。數(shù) 據(jù)存儲(chǔ)裝置507、如磁盤(pán)或光盤(pán)及對(duì)應(yīng)驅(qū)動(dòng)器可與電子系統(tǒng)500耦合。 電子系統(tǒng)500還可經(jīng)由總線(xiàn)501與顯示裝置521、如極 射線(xiàn)管(CRT)或液晶顯示器(LCD)耦合，以便向計(jì)算機(jī)用戶(hù)顯示信息。 包括字母數(shù)字鍵及其它按鍵的字母數(shù)字輸入裝置522通常與總線(xiàn)501 耦合，以便向處理器502傳遞信息和命令選擇。另一種類(lèi)型的用戶(hù)輸 入裝置是光標(biāo)控制器523，例如鼠標(biāo)、跟蹤球或光標(biāo)方向鍵，以便向 處理器502傳遞方向信息和命令選擇，以及控制顯示器521上的光標(biāo) 運(yùn)動(dòng)。電子系統(tǒng)500還包括網(wǎng)^4妄口 530,以便提供對(duì)網(wǎng)絡(luò)、如局域 網(wǎng)的4妄入。 從例如磁盤(pán)、只讀存儲(chǔ)器(ROM)集成電路、CD-ROM、 DVD 等存儲(chǔ)裝置經(jīng)由提供對(duì)一個(gè)或多個(gè)電子可訪(fǎng)問(wèn)介質(zhì)等的訪(fǎng)問(wèn)的有線(xiàn)或 無(wú)線(xiàn)遠(yuǎn)程連接(例如經(jīng)由網(wǎng)絡(luò)接口 530、通過(guò)網(wǎng)絡(luò))將指令提供給存儲(chǔ) 器。在備選實(shí)施例中，硬接線(xiàn)電路可替代軟件指令或者結(jié)合軟件指令 使用。因此，指令序列的執(zhí)行并不局限于硬件電路和軟件指令的任何 特定組合。 本發(fā)明的實(shí)施例提供優(yōu)于現(xiàn)有技術(shù)解決方案的許多優(yōu) 點(diǎn)，包括(1)動(dòng)態(tài)決定TFTP選項(xiàng)，以便根據(jù)環(huán)境來(lái)優(yōu)化網(wǎng)絡(luò)性負(fù)fe;(2)用于選項(xiàng)優(yōu)化的自適應(yīng)自學(xué)習(xí)方法；以及(3)不同環(huán)境中的已學(xué) 習(xí)策略的信息傳播，以便將來(lái)再使用。 另外，本發(fā)明的實(shí)施例提供無(wú)縫集成到標(biāo)準(zhǔn)TFTP中的自 學(xué)習(xí)、自適應(yīng)和自分布的系統(tǒng)，而沒(méi)有影響當(dāng)前協(xié)議選項(xiàng)和能力。本 領(lǐng)域的技術(shù)人員會(huì)理解，本發(fā)明的實(shí)施例可可能地應(yīng)用于其它網(wǎng)絡(luò)傳 輸協(xié)議、如文件傳輸協(xié)議(FTP)。 雖然在閱讀以上描述之后，本領(lǐng)域的技術(shù)人員當(dāng)然會(huì)非 常清楚本發(fā)明的許多變更和修改，但是大家要理解，作為說(shuō)明所示和 所述的任何具體實(shí)施例決不是要被理解為限制。因此，對(duì)各種實(shí)施例 的細(xì)節(jié)的參考不是要限制權(quán)利要求書(shū)的范圍，權(quán)利要求書(shū)本身僅列舉 被認(rèn)為是本發(fā)明的那些特征。
權(quán)利要求
1. 一種方法，包括由網(wǎng)絡(luò)的服務(wù)器的學(xué)習(xí)組件與一個(gè)或多個(gè)客戶(hù)機(jī)和所述網(wǎng)絡(luò)的環(huán)境進(jìn)行交互作用；由所述學(xué)習(xí)組件進(jìn)行經(jīng)由所述網(wǎng)絡(luò)的協(xié)議的網(wǎng)絡(luò)通信的不同狀態(tài)中的一個(gè)或多個(gè)選項(xiàng)的不同嘗試；由所述學(xué)習(xí)組件接收所述不同嘗試的性能反饋?zhàn)鳛榛貓?bào)；以及由所述學(xué)習(xí)組件利用所述不同嘗試及關(guān)聯(lián)的所得回報(bào)來(lái)改進(jìn)與所述服務(wù)器關(guān)聯(lián)的決策策略，用于協(xié)商所述一個(gè)或多個(gè)選項(xiàng)。
2. 如權(quán)利要求l所述的方法，還包括由所述學(xué)習(xí)組件根據(jù)所述 不同嘗試和回報(bào)以及與選項(xiàng)的最佳集合關(guān)聯(lián)的所述環(huán)境的所觀測(cè)配置 將選項(xiàng)的所述最佳集合上載到集中位置。
3. 如權(quán)利要求2所述的方法，其中， 一個(gè)或多個(gè)其它服務(wù)器從所 述集中位置下載選項(xiàng)的所述最佳集合，以便用作在所述一個(gè)或多個(gè)其 它服務(wù)器的環(huán)境中開(kāi)始新學(xué)習(xí)過(guò)程的初始點(diǎn)。
4. 如權(quán)利要求l所述的方法，其中，所述選項(xiàng)協(xié)商組件應(yīng)用增強(qiáng) 學(xué)習(xí)算法來(lái)改進(jìn)與所述服務(wù)器關(guān)聯(lián)的所述決策策略，用于協(xié)商所述一 個(gè)或多個(gè)選項(xiàng)。
5. 如權(quán)利要求4所述的方法，其中，所述增強(qiáng)算法利用Q學(xué)習(xí)方法。
6. 如權(quán)利要求5所述的方法，其中，所述Q學(xué)習(xí)算法迭代計(jì)算由 所述選項(xiàng)協(xié)商組件進(jìn)行的選項(xiàng)選擇的最佳策略的值函數(shù)。
7. 如權(quán)利要求l所述的方法，其中，所述選項(xiàng)協(xié)商組件是簡(jiǎn)單文 件傳輸協(xié)議(TFTP)服務(wù)器的組成部分。
8. —種設(shè)備，包括選項(xiàng)協(xié)商組件，選擇通信協(xié)議的一個(gè)或多個(gè)選項(xiàng)，接收回報(bào)作為 與所述一個(gè)或多個(gè)選項(xiàng)的選擇關(guān)聯(lián)的性能反饋，并根據(jù)所述回報(bào)來(lái)調(diào)整所述一個(gè)或多個(gè)選項(xiàng)的選擇；以及文件傳輸組件，根據(jù)所述回^t良和所調(diào)整選擇、利用所述選項(xiàng)協(xié)商 組件所選的所述一個(gè)或多個(gè)選項(xiàng)的最佳集合來(lái)傳輸文件。
9. 如權(quán)利要求8所述的設(shè)備，其中，所述選項(xiàng)協(xié)商組件應(yīng)用確定 待選擇的所述一個(gè)或多個(gè)選項(xiàng)、所述選擇的所述性能反饋以及所述選 擇的調(diào)整的增強(qiáng)學(xué)習(xí)算法。
10. 如權(quán)利要求9所述的設(shè)備，其中，所述增強(qiáng)算法利用Q學(xué)習(xí) 算法。
11. 如權(quán)利要求IO所述的設(shè)備，其中，所述Q學(xué)習(xí)算法迭代計(jì)算 由所述選項(xiàng)協(xié)商組件進(jìn)行的選項(xiàng)選擇的最佳策略的值函數(shù)。
12. 如權(quán)利要求8所述的設(shè)備，其中，所述選項(xiàng)協(xié)商組件和所述 文件傳輸組件是簡(jiǎn)單文件傳輸協(xié)議(TFTP)服務(wù)器的組件。
13. 如權(quán)利要求8所述的設(shè)備，其中，所述選項(xiàng)選擇組件還將選 項(xiàng)的所述最佳集合以及與選項(xiàng)的所述最佳集合關(guān)聯(lián)的環(huán)境的關(guān)聯(lián)配置 上載到集中位置。
14. 如權(quán)利要求13所述的設(shè)備，其中， 一個(gè)或多個(gè)服務(wù)器下載與 所述關(guān)聯(lián)環(huán)境相似的環(huán)境的選項(xiàng)的所述最佳集合。
15. —種系統(tǒng)，包括 網(wǎng)絡(luò)環(huán)境；以及服務(wù)器，在通信上經(jīng)由網(wǎng)絡(luò)接口與所述網(wǎng)絡(luò)環(huán)境耦合，并且包括選項(xiàng)協(xié)商組件，選擇通信協(xié)議的一個(gè)或多個(gè)選項(xiàng)，接收 回凈艮作為與所述一個(gè)或多個(gè)選項(xiàng)的選擇關(guān)聯(lián)的性能反饋，并根據(jù)所述回凈艮來(lái)調(diào)整所述一個(gè)或多個(gè)選項(xiàng)的選擇；以及文件傳輸組件，根據(jù)所述回報(bào)和所調(diào)整選擇、利用所述 選項(xiàng)協(xié)商組件所選的所述一個(gè)或多個(gè)選項(xiàng)的最佳集合來(lái)傳輸 文件。
16. 如權(quán)利要求15所述的系統(tǒng)，其中，所述選項(xiàng)協(xié)商組件應(yīng)用確 定待選擇的所述一個(gè)或多個(gè)選項(xiàng)、所述選擇的所述性能反饋以及所述選擇的調(diào)整的增強(qiáng)學(xué)習(xí)算法。
17. 如權(quán)利要求9所述的設(shè)備，其中，所述增強(qiáng)算法利用Q學(xué)習(xí) 算法。
18. 如權(quán)利要求IO所述的設(shè)備，其中，所述Q學(xué)習(xí)算法迭代計(jì)算 由所述選項(xiàng)協(xié)商組件進(jìn)行的選項(xiàng)選擇的最佳策略的值函數(shù)。
19. 如權(quán)利要求15所述的系統(tǒng)，其中，所述服務(wù)器是簡(jiǎn)單文件傳 輸協(xié)議(TFTP)服務(wù)器。
20. 如權(quán)利要求15所述的系統(tǒng)，其中，所述選項(xiàng)協(xié)商組件根據(jù)所 述不同嘗試和回報(bào)以及與選項(xiàng)的最佳集合關(guān)聯(lián)的所述環(huán)境的所觀測(cè)配 置將選項(xiàng)的所述最佳集合上栽到集中位置。
全文摘要
在一個(gè)實(shí)施例中，公開(kāi)一種用于采用增強(qiáng)學(xué)習(xí)和傳播來(lái)優(yōu)化網(wǎng)絡(luò)協(xié)議選項(xiàng)的方法。該方法包括由網(wǎng)絡(luò)的服務(wù)器的學(xué)習(xí)組件與一個(gè)或多個(gè)客戶(hù)機(jī)和網(wǎng)絡(luò)的環(huán)境進(jìn)行交互作用；由學(xué)習(xí)組件進(jìn)行經(jīng)由網(wǎng)絡(luò)的協(xié)議的網(wǎng)絡(luò)通信的不同狀態(tài)中的一個(gè)或多個(gè)選項(xiàng)的不同嘗試；由學(xué)習(xí)組件接收不同嘗試的性能反饋?zhàn)鳛榛貓?bào)；以及由學(xué)習(xí)組件利用不同嘗試和關(guān)聯(lián)的所得回報(bào)來(lái)改進(jìn)與服務(wù)器關(guān)聯(lián)的決策策略供協(xié)商一個(gè)或多個(gè)選項(xiàng)。還描述了其它實(shí)施例。
文檔編號(hào)H04L12/56GK101416466SQ200680054135
公開(kāi)日2009年4月22日 申請(qǐng)日期2006年3月29日 優(yōu)先權(quán)日2006年3月29日
發(fā)明者C·李, W·徐 申請(qǐng)人:英特爾公司