欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

Sdn控制器實(shí)現(xiàn)方法及sdn控制器的制造方法

文檔序號(hào):7805630閱讀:2244來(lái)源:國(guó)知局
Sdn控制器實(shí)現(xiàn)方法及sdn控制器的制造方法
【專(zhuān)利摘要】本發(fā)明涉及一種SDN控制器實(shí)現(xiàn)方法,所述方法包括:接收SP發(fā)送的業(yè)務(wù)流信息,其中,所述業(yè)務(wù)流信息包括業(yè)務(wù)流的流標(biāo)簽;接收SP發(fā)送的構(gòu)建VN的請(qǐng)求,根據(jù)預(yù)設(shè)的接入策略和等級(jí)標(biāo)準(zhǔn),對(duì)所述請(qǐng)求進(jìn)行選擇,確定目標(biāo)請(qǐng)求,其中,所述請(qǐng)求攜帶有節(jié)點(diǎn)資源信息和鏈路資源信息;根據(jù)所述流標(biāo)簽,對(duì)業(yè)務(wù)流進(jìn)行資源實(shí)例化,生成滿足所述目標(biāo)請(qǐng)求的VN;根據(jù)所述VN的實(shí)例化需求和VR供給狀況,生成映射方案;根據(jù)所述映射方案,向所述映射方案中的VR發(fā)送資源控制指令,以對(duì)VR進(jìn)行部署。
【專(zhuān)利說(shuō)明】SDN控制器實(shí)現(xiàn)方法及SDN控制器
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)網(wǎng)絡(luò)領(lǐng)域,尤其涉及一種SDN控制器實(shí)現(xiàn)方法及SDN控制器?!颈尘凹夹g(shù)】
[0002]隨著終端計(jì)算處理能力的提高、網(wǎng)絡(luò)傳輸能力的擴(kuò)大,網(wǎng)絡(luò)所承載的信息急劇膨脹,互聯(lián)網(wǎng)不再是單純以通信為目的的網(wǎng)絡(luò),而是更多地朝著滿足人們獲取信息需求的方向發(fā)展,成為一個(gè)信息承載和分發(fā)的平臺(tái)。由于人們對(duì)信息獲取方式(有線、移動(dòng))、信息類(lèi)型(數(shù)據(jù)、話音、視頻)、信息質(zhì)量、信息安全等呈現(xiàn)多元化的需求,所以互聯(lián)網(wǎng)為了適應(yīng)和滿足各類(lèi)需求不斷地引入大量的控制協(xié)議,形成了一個(gè)龐大的控制平面。這些控制協(xié)議從設(shè)計(jì)上依附于特定的轉(zhuǎn)發(fā)協(xié)議,而且從實(shí)現(xiàn)技術(shù)上看,控制平面與轉(zhuǎn)發(fā)平面都運(yùn)行在網(wǎng)絡(luò)設(shè)備中,給網(wǎng)絡(luò)功能的擴(kuò)展和網(wǎng)絡(luò)的管理帶來(lái)了巨大的挑戰(zhàn),傳統(tǒng)網(wǎng)絡(luò)架構(gòu)越來(lái)越不能滿足當(dāng)今企業(yè)、運(yùn)營(yíng)商以及用戶的需求。
[0003]軟件定義網(wǎng)絡(luò)(Software Defined Network, SDN)是一種新型網(wǎng)絡(luò)創(chuàng)新架構(gòu),其核心技術(shù)通過(guò)將網(wǎng)絡(luò)設(shè)備控制面與數(shù)據(jù)面分離開(kāi)來(lái),通過(guò)軟件程序靈活地配置網(wǎng)絡(luò)功能,使得網(wǎng)絡(luò)的自動(dòng)化管理和控制能力得到空前的提升,從而實(shí)現(xiàn)了網(wǎng)絡(luò)流量的靈活控制,為核心網(wǎng)絡(luò)及應(yīng)用的創(chuàng)新提供了良好的平臺(tái),能有效解決當(dāng)前網(wǎng)絡(luò)系統(tǒng)所面臨的資源規(guī)模擴(kuò)展受限、組網(wǎng)靈活性差、難以快速滿足業(yè)務(wù)需求等問(wèn)題,便于網(wǎng)絡(luò)升級(jí)和適應(yīng)各種新型業(yè)務(wù)的需求。
[0004]SDN架構(gòu)中的應(yīng)用層包括各種不同的業(yè)務(wù)和應(yīng)用,不同的應(yīng)用控制程序運(yùn)行在控制器之上,通過(guò)控制器提供的全局網(wǎng)絡(luò)視圖,控制應(yīng)用程序可以把整個(gè)網(wǎng)絡(luò)定義成為一個(gè)邏輯的交換機(jī),同時(shí)利用控制層提供的應(yīng)用編程接口,網(wǎng)絡(luò)人員能夠靈活地編寫(xiě)多種網(wǎng)絡(luò)應(yīng)用,如路由、多播、安全、接入控制、帶寬管理、流量工程、服務(wù)質(zhì)量等,從而控制設(shè)備的報(bào)文轉(zhuǎn)發(fā)功能??刂茖邮沁壿嬌霞械?、基于軟件的SDN控制器,主要負(fù)責(zé)維護(hù)全局網(wǎng)絡(luò)視圖,向上層應(yīng)用提供用于實(shí)現(xiàn)網(wǎng)絡(luò)服務(wù)的可編程接口(通常也稱(chēng)為“北向接口”),并且負(fù)責(zé)處理數(shù)據(jù)平面資源的編排,維護(hù)網(wǎng)絡(luò)拓?fù)?、狀態(tài)信息等?;A(chǔ)設(shè)施層,也稱(chēng)為數(shù)據(jù)轉(zhuǎn)發(fā)層,由轉(zhuǎn)發(fā)設(shè)備組成,負(fù)責(zé)基于流表的數(shù)據(jù)處理、轉(zhuǎn)發(fā)和狀態(tài)收集,可用Open Flow協(xié)議通信。
[0005]圖1a為現(xiàn)有技術(shù)中網(wǎng)絡(luò)設(shè)備形態(tài)示意圖,如圖1a所示,在現(xiàn)有技術(shù)中,在一個(gè)域內(nèi),多個(gè)業(yè)務(wù)特性通過(guò)操作系統(tǒng)進(jìn)行分配到專(zhuān)用硬件上,多個(gè)域內(nèi)互相組網(wǎng)。圖1b為現(xiàn)有技術(shù)中SDN設(shè)備形態(tài)示意圖,如圖1b所示,在SDN設(shè)備形態(tài)中,多個(gè)業(yè)務(wù)特性下發(fā)到網(wǎng)絡(luò)操作系統(tǒng)上,由網(wǎng)絡(luò)操作系統(tǒng)將業(yè)務(wù)特性下發(fā)到各個(gè)標(biāo)準(zhǔn)/通用硬件,各個(gè)標(biāo)準(zhǔn)/通用硬件之間互相組網(wǎng)。由圖1a和圖lb,可知,SDN控制器通過(guò)集中化方式監(jiān)測(cè)整個(gè)網(wǎng)絡(luò)的運(yùn)行,通過(guò)標(biāo)準(zhǔn)化的南向接口和北向接口進(jìn)行網(wǎng)絡(luò)控制,負(fù)責(zé)對(duì)底層轉(zhuǎn)發(fā)設(shè)備的統(tǒng)一調(diào)度和控制,以及向上層業(yè)務(wù)應(yīng)用提供網(wǎng)絡(luò)能力調(diào)用。通過(guò)北向接口為上層業(yè)務(wù)應(yīng)用和資源管理系統(tǒng)提供靈活的網(wǎng)絡(luò)資源抽象,網(wǎng)絡(luò)資源管理系統(tǒng)以軟件編程方式調(diào)用底層各種網(wǎng)絡(luò)資源能力,獲得網(wǎng)絡(luò)資源的工作狀態(tài),并對(duì)網(wǎng)絡(luò)資源進(jìn)行調(diào)度,實(shí)現(xiàn)資源統(tǒng)一交付,更好支撐云計(jì)算等新業(yè)務(wù)對(duì)網(wǎng)絡(luò)資源的需求。當(dāng)前SDN的研究進(jìn)展,在南向接口方面已經(jīng)取得了較為成熟的解決方案,包括鏈路發(fā)現(xiàn)、拓?fù)涔芾?、策略制定、表?xiàng)下發(fā)等,其中鏈路發(fā)現(xiàn)和拓?fù)涔芾碇饕强刂破淅媚舷蚪涌诘纳闲型ǖ缹?duì)底層交換設(shè)備上報(bào)信息進(jìn)行統(tǒng)一監(jiān)控和統(tǒng)計(jì);而策略制定和表項(xiàng)下發(fā)則是控制器利用南向接口的下行通道對(duì)網(wǎng)絡(luò)設(shè)備進(jìn)行統(tǒng)一控制。
[0006]然而,當(dāng)前SDN架構(gòu)中南向的通用標(biāo)準(zhǔn)OpenFlow交換機(jī)中采用基于流表項(xiàng)匹配進(jìn)行轉(zhuǎn)發(fā)的機(jī)制,并不能直接處理常規(guī)的鏈路層發(fā)現(xiàn)協(xié)議操作,因此相關(guān)的工作必須由控制器完成。因此,SDN的控制器對(duì)于把握全網(wǎng)配置資源視圖、改善網(wǎng)絡(luò)資源交付都具有非常重要的作用。當(dāng)前,支持OpenFlow協(xié)議的多種控制軟件已經(jīng)得到了開(kāi)發(fā)和推廣。NOX已經(jīng)發(fā)布了多個(gè)版本,如NOX Destiny、NOX Zach, POX等,它們對(duì)NOX進(jìn)行了性能上的優(yōu)化,并逐漸支持更多的功能,如控制臺(tái)操作、簡(jiǎn)單網(wǎng)絡(luò)管理協(xié)議(Simple Network Management Protocol,SNMP)控制等。其余的控制軟件也得到了廣泛應(yīng)用,如Maestro,Beacon,Floodlight, SNAC,Trema, RouteFlow和Onix等??偨Y(jié)當(dāng)前這些控制器設(shè)計(jì)的主要共性特點(diǎn),它們一般是采用模塊化功能實(shí)現(xiàn)基于事件和多線程操作的處理,架構(gòu)上采用集中管理的方式,集成可擴(kuò)展的策略定義語(yǔ)言,通過(guò)策略管理器調(diào)度網(wǎng)絡(luò),同時(shí)提供了豐富的API,讓開(kāi)發(fā)者輕松構(gòu)建自己的控制器平臺(tái),測(cè)試和調(diào)試自定義的功能模塊。
[0007]傳統(tǒng)控制器的設(shè)計(jì)方案存在以下問(wèn)題:
[0008]I) SDN控制器采用集中管理的方式,對(duì)其性能和安全性方面都存在著潛在的危險(xiǎn),控制能力的集中化,意味著控制器局的安全性和性能成為全網(wǎng)的瓶頸,一旦控制器在性能或安全性上得不到保障,隨之而來(lái)的是全網(wǎng)的服務(wù)能力的降級(jí)或癱瘓存在負(fù)載過(guò)大、單點(diǎn)失效等問(wèn)題。
[0009]2) SDN的北向接口直接為業(yè)務(wù)應(yīng)用服務(wù),其設(shè)計(jì)需密切聯(lián)系多樣化的業(yè)務(wù)應(yīng)用需求,然而目前的SDN控制器設(shè)計(jì)由于標(biāo)準(zhǔn)化和產(chǎn)品市場(chǎng)的局限性,缺乏考慮不同的業(yè)務(wù)需求,從而在北向接口設(shè)計(jì)的合理性和網(wǎng)絡(luò)能力開(kāi)放性上存在很大的局限,無(wú)法體現(xiàn)SDN所提倡的開(kāi)放性和可編程性,無(wú)法動(dòng)態(tài)的通過(guò)SDN應(yīng)用程序來(lái)配置、管理和優(yōu)化底層的網(wǎng)絡(luò)資源。

【發(fā)明內(nèi)容】

[0010]本發(fā)明的目的是提供一種SDN控制器實(shí)現(xiàn)方法和SDN控制器,以解決現(xiàn)有SDN控制器采用集中管理的方式時(shí)負(fù)載過(guò)大、單點(diǎn)失效的問(wèn)題以及現(xiàn)有SDN控制器在設(shè)計(jì)時(shí)由于標(biāo)準(zhǔn)化和產(chǎn)品市場(chǎng)的局限性,缺乏考慮不同的業(yè)務(wù)需求而造成的無(wú)法按需的靈活控制底層網(wǎng)絡(luò)的問(wèn)題。
[0011]第一方面,本發(fā)明實(shí)施例提供了一種SDN控制器實(shí)現(xiàn)方法,所述方法包括:
[0012]接收SP發(fā)送的業(yè)務(wù)流信息,其中,所述業(yè)務(wù)流信息包括業(yè)務(wù)流的流標(biāo)簽;
[0013]接收SP發(fā)送的構(gòu)建VN的請(qǐng)求,根據(jù)預(yù)設(shè)的接入策略和等級(jí)標(biāo)準(zhǔn),對(duì)所述請(qǐng)求進(jìn)行選擇,確定目標(biāo)請(qǐng)求,其中,所述請(qǐng)求攜帶有節(jié)點(diǎn)資源信息和鏈路資源信息;
[0014]根據(jù)所述流標(biāo)簽,對(duì)業(yè)務(wù)流進(jìn)行資源實(shí)例化,生成滿足所述目標(biāo)請(qǐng)求的VN ;
[0015]根據(jù)所述VN的實(shí)例化需求和VR供給狀況,生成映射方案;
[0016]根據(jù)所述映射方案,向所述映射方案中的VR發(fā)送資源控制指令,以對(duì)VR進(jìn)行部署。
[0017]優(yōu)選地,所述方法之后包括:監(jiān)控所述VN,根據(jù)VR供給狀況和業(yè)務(wù)流的變化,動(dòng)態(tài)調(diào)整VN。
[0018]優(yōu)選地,所述根據(jù)所述VN的實(shí)例化需求和VR供給狀況,生成映射方案之前包括:
[0019]通過(guò)獲取各分域控制器中的交換機(jī)工作狀態(tài)以及各分域控制器和其相鄰分域控制器的鏈路連接狀態(tài),獲取VR供給狀況。
[0020]第二方面,本發(fā)明實(shí)施例提供了一種SDN控制器,所述控制器包括:業(yè)務(wù)感知模塊,SLA解析模塊,VN拓?fù)涔芾砟K,虛擬資源映射模塊,資源請(qǐng)求模塊;
[0021]所述業(yè)務(wù)感知模塊,用于接收服務(wù)提供商SP發(fā)送的業(yè)務(wù)流信息,其中,所述業(yè)務(wù)流信息包括業(yè)務(wù)流的流標(biāo)簽;接收SP發(fā)送的構(gòu)建VN的請(qǐng)求,根據(jù)預(yù)設(shè)的接入策略和等級(jí)標(biāo)準(zhǔn),對(duì)所述請(qǐng)求進(jìn)行選擇,確定目標(biāo)請(qǐng)求,其中,所述請(qǐng)求攜帶有節(jié)點(diǎn)資源信息和鏈路資源信息;
[0022]所述VN拓?fù)涔芾砟K,用于根據(jù)所述流標(biāo)簽,對(duì)業(yè)務(wù)流進(jìn)行資源實(shí)例化,生成滿足所述目標(biāo)請(qǐng)求的VN ;
[0023]所述虛擬資源映射模塊,用于根據(jù)所述VN的實(shí)例化需求和VR供給狀況,生成映射方案;
[0024]所述資源請(qǐng)求模塊,用于根據(jù)所述映射方案,向所述映射方案中的VR發(fā)送資源控制指令,以對(duì)VR進(jìn)行部署。
[0025]優(yōu)選地,所述SDN控制器還包括:SLA解析模塊;所述SLA解析模塊,用于儲(chǔ)存接入策略和等級(jí)標(biāo)準(zhǔn)。
[0026]優(yōu)選地,所述SDN控制器還包括:VN監(jiān)控模塊;所述VN監(jiān)控模塊,用于監(jiān)控所述VN,根據(jù)VR供給狀況和業(yè)務(wù)流的變化,動(dòng)態(tài)調(diào)整所述VN,并將調(diào)整后的VN發(fā)送給所述VN拓?fù)涔芾砟K。
[0027]優(yōu)選地,所述SDN控制器還包括:資源監(jiān)測(cè)模塊;所述資源監(jiān)測(cè)模塊,用于通過(guò)獲取分域控制器中的交換機(jī)信息,獲取VR供給狀況,并將所述VR供給狀況發(fā)送給所述虛擬資源映射模塊,所述交換機(jī)信息包括交換機(jī)工作狀態(tài)和鏈路連接狀態(tài)。
[0028]優(yōu)選地,所述SDN控制器還包括:資源描述模塊;所述資源描述模塊,用于對(duì)從INP處獲取的資源進(jìn)行統(tǒng)一描述,以使分域控制器根據(jù)所述資源,進(jìn)行VR的統(tǒng)一調(diào)度。
[0029]本發(fā)明通過(guò)提出一種新型的SDN控制器及SDN控制器實(shí)現(xiàn)方法,解決了現(xiàn)有SDN控制器采用集中管理的方式時(shí)負(fù)載過(guò)大、單點(diǎn)失效的問(wèn)題以及現(xiàn)有SDN控制器在設(shè)計(jì)時(shí)由于標(biāo)準(zhǔn)化和產(chǎn)品市場(chǎng)的局限性,缺乏考慮不同的業(yè)務(wù)需求而造成的無(wú)法按需的靈活控制底層網(wǎng)絡(luò)的問(wèn)題,通過(guò)全局統(tǒng)籌規(guī)劃和各域分工協(xié)作使得管理架構(gòu)具有良好的全局優(yōu)化性能和底層可擴(kuò)展性,由于單個(gè)域內(nèi)網(wǎng)絡(luò)規(guī)模比較小,可以及時(shí)更新資源的動(dòng)態(tài)信息,通信開(kāi)銷(xiāo)也比較?。欢械墓芾矸绞?,又能夠很好的應(yīng)對(duì)分布式系統(tǒng)資源管理而臨的一些挑戰(zhàn)性問(wèn)題,例如區(qū)域自治性、異構(gòu)環(huán)境、移動(dòng)性管理和調(diào)度策略的擴(kuò)展性等,為資源配置和動(dòng)態(tài)調(diào)度提供了更為靈活的管理和控制模式。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0030]圖1a為現(xiàn)有技術(shù)中網(wǎng)絡(luò)設(shè)備形態(tài)示意圖;
[0031]圖1b為現(xiàn)有技術(shù)中SDN設(shè)備形態(tài)示意圖
[0032]圖2為本發(fā)明實(shí)施例提供的SDN控制器網(wǎng)絡(luò)架構(gòu)圖;[0033]圖3為本發(fā)明實(shí)施例一提供的SDN控制器實(shí)現(xiàn)方法流程圖;
[0034]圖4為本發(fā)明實(shí)施例二提供的SDN控制器結(jié)構(gòu)圖;
[0035]圖5為感知部分流程示意圖;
[0036]圖6為集中管理與分布控制實(shí)現(xiàn)不同業(yè)務(wù)流量的隔離示意圖;
[0037]圖7為單域內(nèi)實(shí)現(xiàn)虛擬子網(wǎng)路的分配流程圖。
【具體實(shí)施方式】
[0038]下面通過(guò)附圖和實(shí)施例,對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。
[0039]圖2為本發(fā)明實(shí)施例提供的SDN控制器網(wǎng)絡(luò)架構(gòu)圖。如圖2所示,在圖2中,包括:上層應(yīng)用層20,控制層21,基礎(chǔ)設(shè)施層22。
[0040]上層應(yīng)用層20用于以虛擬網(wǎng)絡(luò)(Virtual Network, VN)的形式,提供不同類(lèi)型的業(yè)務(wù)服務(wù),該業(yè)務(wù)服務(wù)由服務(wù)提供商(Service Provider, SP)來(lái)提供,其中,業(yè)務(wù)服務(wù)可以包括比如網(wǎng)絡(luò)電話(Voice over Internet Protocol, VoIP)服務(wù),WEB服務(wù),電子郵件服務(wù),網(wǎng)絡(luò)搜索服務(wù)等中的任意一種或多種;控制層21由全局調(diào)度中心和分域調(diào)度中心構(gòu)成,全局調(diào)度中心即上級(jí)SDN控制器,簡(jiǎn)稱(chēng)為上級(jí)控制器,上級(jí)控制器控制的物理實(shí)體是分域SDN控制器,分域調(diào)度中心包括若干分域SDN控制器,簡(jiǎn)稱(chēng)分域控制器,分域控制器控制終端間的通信(End to End Communication),控制的邏輯對(duì)象是與終端連接的交換機(jī)端口,控制的物理實(shí)體是虛擬或者物理的交換機(jī);基礎(chǔ)設(shè)施層22包括若干虛擬服務(wù)器,每一個(gè)虛擬服務(wù)器和一個(gè)下級(jí)服務(wù)器對(duì)應(yīng),每一個(gè)下級(jí)服務(wù)器控制一個(gè)虛擬服務(wù)器,每一個(gè)虛擬服務(wù)器包括若干虛擬網(wǎng)絡(luò),一個(gè)虛擬服務(wù)器中的若干虛擬網(wǎng)絡(luò)之間通過(guò)虛擬路由器連接,一個(gè)虛擬服務(wù)器中的虛擬路由器和另一個(gè)虛擬服務(wù)器中的虛擬路由器,通過(guò)虛擬鏈路連接,其中,虛擬鏈路上包括:通用路由封裝(Generic Routing Encapsulation, GRE)的多協(xié)議標(biāo)簽交換(Mult1-Protocol Label Switching, MPLS),用戶數(shù)據(jù)報(bào)協(xié)議(User Datagram Protocol,UDP)的 MPLS,虛擬可擴(kuò)展 LAN(VXLAN)的 MPLS。
[0041]其中,上層應(yīng)用層20和控制層21通過(guò)北向接口連接,控制層21和基礎(chǔ)設(shè)施層22通過(guò)南向接口連接。其中,北向接口是操作系統(tǒng)應(yīng)用程序OS API接口或RESTful接口,可以進(jìn)行網(wǎng)絡(luò)編程,南向接口是通過(guò)OpenFlow協(xié)議等,實(shí)現(xiàn)對(duì)轉(zhuǎn)發(fā)表的實(shí)時(shí)控制的接口。
[0042]圖3為本發(fā)明實(shí)施例一提供的SDN控制器實(shí)現(xiàn)方法流程圖。本實(shí)施例的主體是上級(jí)控制器,如圖3所示,本實(shí)施例包括以下步驟:
[0043]S310,接收服務(wù)提供商SP發(fā)送的業(yè)務(wù)流信息,其中,所述業(yè)務(wù)流信息包括業(yè)務(wù)流的流標(biāo)簽。
[0044]具體地,上級(jí)控制器通過(guò)感知功能,獲取上層服務(wù)層中,由服務(wù)提供商(ServiceProvider, SP)發(fā)送的業(yè)務(wù)流,其中,感知功能可以通過(guò)業(yè)務(wù)感知模塊來(lái)實(shí)現(xiàn),業(yè)務(wù)感知模塊可以嵌入在服務(wù)/內(nèi)容適應(yīng)器件內(nèi)部,此時(shí),業(yè)務(wù)感知模塊可以通過(guò)監(jiān)控和預(yù)過(guò)濾,獲取來(lái)自服務(wù)層的數(shù)據(jù)、服務(wù)或內(nèi)容,同時(shí),業(yè)務(wù)感知模塊也可以嵌入在命令和測(cè)量適應(yīng)器內(nèi)部,此時(shí),業(yè)務(wù)感知模塊可以監(jiān)控和預(yù)過(guò)濾獲取傳輸層的參數(shù),其中,業(yè)務(wù)感知模塊可以采用非侵入式技術(shù),比如,sniffing、probing packets方法等,進(jìn)行動(dòng)態(tài)的監(jiān)控和過(guò)濾。上述通過(guò)業(yè)務(wù)感知模塊獲取到的數(shù)據(jù)、服務(wù)或內(nèi)容等參數(shù),可以稱(chēng)為業(yè)務(wù)流,這些業(yè)務(wù)流在業(yè)務(wù)感知模塊中,形成了業(yè)務(wù)流信息表,該業(yè)務(wù)流信息表中包括業(yè)務(wù)的源IP地址、目的IP地址以及流標(biāo)簽。
[0045]S320,接收SP發(fā)送的構(gòu)建VN的請(qǐng)求,根據(jù)預(yù)設(shè)的接入策略和等級(jí)標(biāo)準(zhǔn),對(duì)所述請(qǐng)求進(jìn)行選擇,確定目標(biāo)請(qǐng)求,其中,所述請(qǐng)求攜帶有節(jié)點(diǎn)資源信息和鏈路資源信息。
[0046]具體地,上級(jí)控制器通過(guò)感知功能,獲取由SP發(fā)送的構(gòu)建VN的請(qǐng)求,該請(qǐng)求攜帶有節(jié)點(diǎn)資源信息和鏈路資源信息,其中,節(jié)點(diǎn)資源信息表示節(jié)點(diǎn)資源能力,包括:節(jié)點(diǎn)的類(lèi)型、大小、位置,網(wǎng)絡(luò)擁塞,節(jié)點(diǎn)移動(dòng)性,鏈路穩(wěn)定性等,鏈路資源信息表示鏈路能力,包括:鏈路的類(lèi)型、大小、位置,鏈路負(fù)載,鏈路失效,鏈路質(zhì)量,網(wǎng)絡(luò)拓?fù)?,誤碼率(Bit ErrorRate, BER)等信息,上級(jí)控制器將接收到的請(qǐng)求放置入VN請(qǐng)求隊(duì)列中排隊(duì)。其中,該請(qǐng)求的類(lèi)型可以是簡(jiǎn)單的虛網(wǎng)拓?fù)湔?qǐng)求,也可以是具有服務(wù)質(zhì)量(Quality of Service, QoS)需求的特定虛網(wǎng)請(qǐng)求,比如時(shí)延敏感型,還可以是復(fù)雜的虛網(wǎng)拓?fù)湔?qǐng)求等,而且,這些請(qǐng)求可以是實(shí)時(shí)的請(qǐng)求,也可以是離線的請(qǐng)求。
[0047]上級(jí)控制器根據(jù)預(yù)設(shè)的接入策略和等級(jí)標(biāo)準(zhǔn),對(duì)請(qǐng)求進(jìn)行選擇,并確定目標(biāo)請(qǐng)求,其中,接入策略和等級(jí)標(biāo)準(zhǔn),是通過(guò)預(yù)先與用戶簽署服務(wù)等級(jí)協(xié)議(service levelagreement, SLA)來(lái)設(shè)定的,接入策略和等級(jí)標(biāo)準(zhǔn)的具體含義是用于定義不同的用戶等級(jí)享受的業(yè)務(wù)類(lèi)型和服務(wù)質(zhì)量的等級(jí),接入策略和等級(jí)標(biāo)準(zhǔn)可以放置在服務(wù)等級(jí)協(xié)議解析模塊中,上級(jí)控制器中的業(yè)務(wù)感知模塊通過(guò)調(diào)用SLA解析模塊,對(duì)VN請(qǐng)求隊(duì)列中的請(qǐng)求進(jìn)行選擇,比如,可以按照服務(wù)質(zhì)量,將請(qǐng)求排序,對(duì)服務(wù)質(zhì)量高的請(qǐng)求,預(yù)先進(jìn)行調(diào)度,或者,也可以按照時(shí)間順序,對(duì)請(qǐng)求進(jìn)行排序,時(shí)間靠前的請(qǐng)求,先行調(diào)度,通過(guò)調(diào)度和選擇,確定其中的一個(gè)請(qǐng)求為目標(biāo)請(qǐng)求。
[0048]S330,根據(jù)所述流標(biāo)簽,對(duì)業(yè)務(wù)流進(jìn)行資源實(shí)例化,生成滿足所述目標(biāo)請(qǐng)求的VN。
[0049]具體地,上級(jí)控制器根據(jù)流標(biāo)簽,可以判定業(yè)務(wù)的類(lèi)型,業(yè)務(wù)類(lèi)型通常指的是互聯(lián)網(wǎng)的服務(wù)業(yè)務(wù),比如,業(yè)務(wù)類(lèi)型可以是VoIP服務(wù),web服務(wù),電子郵件服務(wù),網(wǎng)絡(luò)搜索服務(wù)等,業(yè)務(wù)感知模塊將獲取到的業(yè)務(wù)流信息發(fā)送給SLA解析模塊,由SLA解析模塊確定業(yè)務(wù)流中業(yè)務(wù)的類(lèi)型,根據(jù)判定的業(yè)務(wù)類(lèi)型,對(duì)業(yè)務(wù)流進(jìn)行資源實(shí)例化,并定制滿足目標(biāo)請(qǐng)求的VN0
[0050]S340,根據(jù)所述VN的實(shí)例化需求和VR供給狀況,生成映射方案。
[0051]具體地,上級(jí)控制器根據(jù)目標(biāo)請(qǐng)求對(duì)應(yīng)的VN的實(shí)例化需求,和虛擬資源(virtualresource,VR)供給狀況進(jìn)行統(tǒng)一規(guī)劃,得出映射方案,該映射方案即請(qǐng)求的業(yè)務(wù)資源,應(yīng)該由基礎(chǔ)設(shè)施提供商(Infrastructure Provider, I NP)的哪些物理資源來(lái)提供,更具體的來(lái)講,即針對(duì)不同業(yè)務(wù)類(lèi)型,如何分配分域控制器所對(duì)應(yīng)的VR,滿足提高底層資源的利用率和上層業(yè)務(wù)請(qǐng)求的目的。其中,VR包括虛擬路由器和虛擬鏈路,VR供給狀況是由上級(jí)控制器通過(guò)實(shí)時(shí)監(jiān)控和采集分域控制器中的底層交換機(jī)的信息而獲取到的。
[0052]可選地,上級(jí)控制器對(duì)運(yùn)行中的VN進(jìn)行業(yè)務(wù)感知,按照全局拓?fù)浜唾Y源狀況,實(shí)時(shí)調(diào)整VR分配。
[0053]S350,根據(jù)所述映射方案,向所述映射方案中的VR發(fā)送資源控制指令,以對(duì)VR進(jìn)
行部署。
[0054]具體地,根據(jù)不同的映射方案,上級(jí)控制器向VR供給狀況中涉及到的VR下發(fā)資源控制指令,并對(duì)來(lái)自不同分域控制器內(nèi)的VR進(jìn)行實(shí)施部署,當(dāng)實(shí)施部署完畢,對(duì)數(shù)據(jù)庫(kù)中相應(yīng)的資源列表項(xiàng)進(jìn)行更新。[0055]需要說(shuō)明的是,上級(jí)控制器可以利用感知技術(shù)實(shí)時(shí)監(jiān)測(cè)資源狀態(tài)和虛擬網(wǎng)絡(luò)運(yùn)行情況,當(dāng)分域控制器中的計(jì)算能力或存儲(chǔ)資源發(fā)生變動(dòng)時(shí),中央控制節(jié)點(diǎn),即上級(jí)控制器可根據(jù)全局視圖動(dòng)態(tài)調(diào)整配置和規(guī)則,調(diào)整映射算法輸入?yún)?shù)和加權(quán)系數(shù)、業(yè)務(wù)QoS優(yōu)先級(jí)等特性對(duì)各個(gè)VN的目標(biāo)函數(shù)進(jìn)行加權(quán)來(lái)化多目標(biāo)優(yōu)化為單目標(biāo)優(yōu)化,滿足SL A等級(jí),為資源配置和動(dòng)態(tài)調(diào)度提供了更為靈活的管理和控制模式。
[0056]上述流程中,上級(jí)控制器中的各個(gè)功能細(xì)化到了具體的模塊,由多個(gè)模塊負(fù)責(zé)一個(gè)具體的流程,圖4為本發(fā)明實(shí)施例二提供的SDN控制器結(jié)構(gòu)圖。如圖4所示,本實(shí)施例包括:上級(jí)控制器分為業(yè)務(wù)感知、VN管理、VR調(diào)度三大部分,其中,業(yè)務(wù)感知部分包括業(yè)務(wù)感知模塊410,SLA解析模塊420,VN管理部分包括VN監(jiān)控模塊430,VN拓?fù)涔芾砟K440,VR調(diào)度部分包括VR映射模塊450,資源請(qǐng)求模塊460,資源描述模塊470,資源監(jiān)測(cè)模塊480。
[0057]具體地,業(yè)務(wù)感知部分的功能主要是:監(jiān)控和預(yù)過(guò)濾服務(wù)層和傳輸層的參數(shù),獲取業(yè)務(wù)流信息,并與接收到的請(qǐng)求進(jìn)行特征匹配,分組解析,協(xié)議分析,其中,請(qǐng)求的內(nèi)容中包括節(jié)點(diǎn)資源信息和鏈路資源信息,節(jié)點(diǎn)資源信息和鏈路資源信息可以是服務(wù)、內(nèi)容相關(guān)的環(huán)境參數(shù)、網(wǎng)絡(luò)參數(shù)或用戶信息等,其中,環(huán)境參數(shù)可以是服務(wù)或內(nèi)容的需求和特征、支持內(nèi)容的屬性,網(wǎng)絡(luò)參數(shù)可以是當(dāng)前的底層網(wǎng)絡(luò)的可利用性、當(dāng)前隊(duì)列的長(zhǎng)度、當(dāng)前的延遲、當(dāng)前的BER、現(xiàn)在可利用的服務(wù)或內(nèi)容及相關(guān)特性,用戶參數(shù)可以是用戶信息、用戶需求、當(dāng)前用戶位置、當(dāng)前用戶的電池狀態(tài)、用戶屏幕的分辨率、當(dāng)前用戶的連接速度、從一個(gè)目的地的用戶的距離等,根據(jù)獲得的業(yè)務(wù)流和請(qǐng)求,業(yè)務(wù)感知部分可由不干涉底層網(wǎng)絡(luò)的流程,透明的實(shí)施對(duì)底層資源的調(diào)度與管理。如圖5所示,圖5為感知部分流程示意圖。具體的,業(yè)務(wù)感知部分主要通過(guò)業(yè)務(wù)感知模塊410和SLA解析模塊420來(lái)進(jìn)行的,這兩個(gè)模塊的作用如下:
[0058]業(yè)務(wù)感知模塊410,接收服務(wù)提供商SP發(fā)送的業(yè)務(wù)流信息,其中,所述業(yè)務(wù)流信息包括業(yè)務(wù)流的源IP地址、目的IP地址和流標(biāo)簽以及接收SP發(fā)送的構(gòu)建VN的請(qǐng)求,根據(jù)預(yù)設(shè)的接入策略和等級(jí)標(biāo)準(zhǔn),對(duì)所述請(qǐng)求進(jìn)行選擇,確定目標(biāo)請(qǐng)求,其中,所述請(qǐng)求攜帶有節(jié)點(diǎn)資源信息和鏈路資源信息。
[0059]SLA解析模塊420,用于向業(yè)務(wù)感知模塊410提供接入策略和等級(jí)標(biāo)準(zhǔn)。其中,SLA業(yè)務(wù)解析模塊420,通過(guò)與用戶簽署服務(wù)等級(jí)協(xié)議(Service Level Agree, SLA),用業(yè)務(wù)服務(wù)層的網(wǎng)絡(luò)測(cè)試感知用戶所得到服務(wù)的QoS,并與簽署的SLA比較,當(dāng)提供的業(yè)務(wù)質(zhì)量出現(xiàn)下降時(shí),及時(shí)調(diào)整網(wǎng)絡(luò)資源的調(diào)度配置。這樣才能使網(wǎng)絡(luò)整體朝著良性發(fā)展的方向優(yōu)化,從而讓各個(gè)虛擬網(wǎng)絡(luò)為其用戶更好地提供有質(zhì)量保證的業(yè)務(wù)。
[0060]VN管理部分,基于上級(jí)控制器所視的拓?fù)鋱D,根據(jù)業(yè)務(wù)應(yīng)用的流量需求,邏輯性地部署網(wǎng)絡(luò)資源,進(jìn)行鏈路發(fā)現(xiàn)、地址學(xué)習(xí)、路由計(jì)算等等,為每臺(tái)交換機(jī)推送下發(fā)不同的流表項(xiàng),維護(hù)網(wǎng)絡(luò)拓?fù)浜蜖顟B(tài)信息,如圖6所示,圖6為本發(fā)明實(shí)施例提供的集中管理與分布控制實(shí)現(xiàn)不同業(yè)務(wù)流量的隔離示意圖。本發(fā)明中可以采用傳統(tǒng)的OpenFlow為代表的標(biāo)準(zhǔn)協(xié)議,通過(guò)使用標(biāo)準(zhǔn)的鏈路發(fā)現(xiàn)方式,鏈路層發(fā)現(xiàn)協(xié)議(Link Layer Discovery Protocol,LLDP)作為鏈路發(fā)現(xiàn)協(xié)議,將終端設(shè)備的能力、管理地址、設(shè)備標(biāo)識(shí)、接口標(biāo)識(shí)等信息組織成不同的類(lèi)型-長(zhǎng)度-值(Type-Length-Value, TLV),并封裝在鏈路層發(fā)現(xiàn)協(xié)議數(shù)據(jù)單元(Link Layer Discovery Protocol Date Unit, LLDPDU)中,發(fā)布于自己直連的鄰居,鄰居收到這些信息后,將其以標(biāo)準(zhǔn)管理信息庫(kù)(Management Information Base, MIB)的形式保存起來(lái),以供分域控制器中的網(wǎng)絡(luò)管理系統(tǒng)查詢(xún)機(jī)判斷鏈路的通信狀況。VN管理部分的功能主要通過(guò)VN監(jiān)控模塊430和VN拓?fù)涔芾砟K440來(lái)完成,其中,這兩個(gè)模塊的具體功能如下:
[0061 ] VN監(jiān)控模塊430,用于匯總VR供給狀況,其中,VN監(jiān)控模塊通過(guò)隨時(shí)監(jiān)控和采集網(wǎng)絡(luò)中分域控制器中的底層交換機(jī)的信息,及時(shí)反饋網(wǎng)絡(luò)的設(shè)備工作狀態(tài)和鏈路鏈接狀態(tài)。對(duì)各種邏輯組網(wǎng)信息進(jìn)行記錄,同時(shí)為相應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)通路設(shè)定訪問(wèn)控制列表,QoS等,支持上層運(yùn)行虛擬網(wǎng)絡(luò)在性能、安全等方面的彼此隔離,實(shí)現(xiàn)資源的無(wú)縫切換。
[0062]VN拓?fù)涔芾砟K440,用于透明的對(duì)底層VR進(jìn)行管理和操作,根據(jù)資源狀態(tài)變化與虛擬網(wǎng)絡(luò)業(yè)務(wù)需求來(lái)動(dòng)態(tài)調(diào)整資源的分配,在監(jiān)測(cè)交換機(jī)工作狀態(tài)的同時(shí)完成網(wǎng)絡(luò)拓?fù)湟晥D的更新,保證各SP虛擬網(wǎng)絡(luò)的QoS需求,給用戶良好的QoE體驗(yàn)。
[0063]VR調(diào)度部分,分域的控制中心包括多個(gè)分域控制器,每個(gè)分域控制器根據(jù)適當(dāng)?shù)牟呗栽谟騼?nèi)部進(jìn)行高效、合理的資源調(diào)度,完成虛擬子網(wǎng)的資源分配。分配算法可以依據(jù)不同業(yè)務(wù)的資源分配優(yōu)化目標(biāo)及多種資源約束條件選擇出最優(yōu)的VR,其中,資源分配優(yōu)化目標(biāo)可以提聞?dòng)成涫找?、改善?fù)載平衡、提聞節(jié)點(diǎn)或鏈路利用率等中的任意一種或其組合,資源約束條件可以是節(jié)點(diǎn)的CPU需求、節(jié)點(diǎn)的地理位置信息、鏈路的帶寬需求中的任意一個(gè)或其組合,具體的,在單域內(nèi)實(shí)現(xiàn)虛擬子網(wǎng)的分配流程如圖7所示。在VR調(diào)度中涉及到4個(gè)模塊,下面對(duì)這4個(gè)模塊的功能進(jìn)行進(jìn)一步的描述:
[0064]VR映射模塊450,用于根據(jù)用戶的網(wǎng)絡(luò)資源請(qǐng)求,高效選取物理網(wǎng)絡(luò)上的網(wǎng)絡(luò)資源,滿足節(jié)點(diǎn)映射和鏈路映射的要求,創(chuàng)建運(yùn)行于物理網(wǎng)絡(luò)之上虛擬網(wǎng)絡(luò)。由于虛擬網(wǎng)絡(luò)映射是多目標(biāo)多約束的所謂的非確定性(non-deterministic polynomial,NP-hard)問(wèn)題,因此,在映射模塊中集成了多種虛擬網(wǎng)絡(luò)映射決策算法,進(jìn)行按需高效的網(wǎng)絡(luò)資源分配。
[0065]資源請(qǐng)求模塊460,資源請(qǐng)求模塊中包括域管理器,域管理器周期性的掃描本地域所管理的網(wǎng)絡(luò)資源(如計(jì)算、緩存、帶寬和網(wǎng)絡(luò)拓?fù)涞?,將資源的屬性和狀態(tài)收集、儲(chǔ)存起來(lái),放到虛擬資源池中,并以列表的形式招貼出來(lái),供其余的域管理器查看、調(diào)度,并提供網(wǎng)絡(luò)資源的可操作性、可測(cè)性和安全性。
[0066]資源描述模塊470,網(wǎng)絡(luò)資源被虛擬化為資源池,每個(gè)租戶都可以按照自己的實(shí)際需求獲得設(shè)備、端口、帶寬等資源,同時(shí)還可以根據(jù)自身需求對(duì)其所有的資源靈活組網(wǎng)。這些租戶網(wǎng)絡(luò)相關(guān)的資源信息都需要在拓?fù)涔芾碇杏枰员4婧驼宫F(xiàn),以反映真實(shí)的網(wǎng)絡(luò)利用情況,實(shí)現(xiàn)優(yōu)化的資源調(diào)度。
[0067]資源監(jiān)測(cè)模塊480,對(duì)異構(gòu)資源(底層物理基礎(chǔ)設(shè)施的各類(lèi)資源)的統(tǒng)一描述,屏蔽物理網(wǎng)絡(luò)中資源的差異化特性,從而可以納入到頂層對(duì)資源的統(tǒng)一管理調(diào)度中來(lái),而統(tǒng)一的資源管理控制操作指令下達(dá)到各域時(shí),由各分域控制器根據(jù)資源的具體屬性進(jìn)行操作。其中節(jié)點(diǎn)資源:用于存放所有節(jié)點(diǎn)的存在性和可用性及其描述信息,通過(guò)調(diào)用資源管理模塊的相關(guān)接口進(jìn)行操作命令的使用。具體包括:節(jié)點(diǎn)類(lèi)型、功能屬性,非功能屬性、所屬域名、是否被占用等。鏈路資源:包括所有物理鏈路信息和所有用戶分片的虛擬鏈路信息,用戶在申請(qǐng)網(wǎng)絡(luò)分片資源的時(shí)候,會(huì)根據(jù)該表的信息進(jìn)行資源的預(yù)留,并將預(yù)留的用戶資源信息也保存在下表中。如表I和表2所示,表I為節(jié)點(diǎn)資源描述,表2為鏈路資源描述。
[0068]表I
[0069]
【權(quán)利要求】
1.一種SDN控制器實(shí)現(xiàn)方法,其特征在于,所述方法包括: 接收服務(wù)提供商SP發(fā)送的業(yè)務(wù)流信息,其中,所述業(yè)務(wù)流信息包括業(yè)務(wù)流的流標(biāo)簽;接收SP發(fā)送的構(gòu)建虛擬網(wǎng)絡(luò)VN的請(qǐng)求,根據(jù)預(yù)設(shè)的接入策略和等級(jí)標(biāo)準(zhǔn),對(duì)所述請(qǐng)求進(jìn)行選擇,確定目標(biāo)請(qǐng)求,其中,所述請(qǐng)求攜帶有節(jié)點(diǎn)資源信息和鏈路資源信息; 根據(jù)所述流標(biāo)簽,對(duì)業(yè)務(wù)流進(jìn)行資源實(shí)例化,生成滿足所述目標(biāo)請(qǐng)求的VN ; 根據(jù)所述VN的實(shí)例化需求和虛擬資源VR供給狀況,生成映射方案; 根據(jù)所述映射方案,向所述映射方案中的VR發(fā)送資源控制指令,以對(duì)VR進(jìn)行部署。
2.如權(quán)利要求1所述的方法,其特征在于,所述方法之后包括: 監(jiān)控所述VN,根據(jù)VR供給狀況和業(yè)務(wù)流的變化,動(dòng)態(tài)調(diào)整VN。
3.如權(quán)利要求1所述的方法,其特征在于,所述根據(jù)所述VN的實(shí)例化需求和VR供給狀況,生成映射方案之前包括: 通過(guò)獲取各分域控制器中的交換機(jī)工作狀態(tài)以及各分域控制器和其相鄰分域控制器的鏈路連接狀態(tài),獲取VR供給狀況。
4.一種SDN控制器,其特征在于,所述控制器包括:業(yè)務(wù)感知模塊,VN拓?fù)涔芾砟K,虛擬資源映射模塊,資源請(qǐng)求模塊; 所述業(yè)務(wù)感知模塊,用于接收SP發(fā)送的業(yè)務(wù)流信息,其中,所述業(yè)務(wù)流信息包括業(yè)務(wù)流的流標(biāo)簽;接收SP發(fā)送的構(gòu)建VN的請(qǐng)求,根據(jù)預(yù)設(shè)的接入策略和等級(jí)標(biāo)準(zhǔn),對(duì)所述請(qǐng)求進(jìn)行選擇,確定目標(biāo)請(qǐng)求,其中,所述請(qǐng)求攜帶有節(jié)點(diǎn)資源信息和鏈路資源信息; 所述VN拓?fù)涔芾砟K,用于根據(jù)所述流標(biāo)簽,對(duì)業(yè)務(wù)流進(jìn)行資源實(shí)例化,生成滿足所述目標(biāo)請(qǐng)求的VN ; 所述虛擬資源映射模塊,用于根據(jù)所述VN的實(shí)例化需求和VR供給狀況,生成映射方案; 所述資源請(qǐng)求模塊,用于根據(jù)所述映射方案,向所述映射方案中的VR發(fā)送資源控制指令,以對(duì)VR進(jìn)行部署。
5.如權(quán)利要求4所述的控制器,其特征在于,所述SDN控制器還包括:服務(wù)等級(jí)協(xié)議SLA解析模塊; 所述SLA解析模塊,用于儲(chǔ)存接入策略和等級(jí)標(biāo)準(zhǔn)。
6.如權(quán)利要求4所述的控制器,其特征在于,所述SDN控制器還包括:VN監(jiān)控模塊; 所述VN監(jiān)控模塊,用于監(jiān)控所述VN,根據(jù)VR供給狀況和業(yè)務(wù)流的變化,動(dòng)態(tài)調(diào)整所述VN,并將調(diào)整后的VN發(fā)送給所述VN拓?fù)涔芾砟K。
7.如權(quán)利要求4所述的控制器,其特征在于,所述SDN控制器還包括:資源監(jiān)測(cè)模塊; 所述資源監(jiān)測(cè)模塊,用于通過(guò)獲取分域控制器中的交換機(jī)信息,獲取VR供給狀況,并將所述VR供給狀況發(fā)送給所述虛擬資源映射模塊,所述交換機(jī)信息包括交換機(jī)工作狀態(tài)和鏈路連接狀態(tài)。
8.如權(quán)利要求4所述的控制器,其特征在于,所述SDN控制器還包括:資源描述模塊; 所述資源描述模塊,用于對(duì)從基礎(chǔ)設(shè)施提供商INP處獲取的資源進(jìn)行統(tǒng)一描述,以使分域控制器根據(jù)所述資源,進(jìn)行VR的統(tǒng)一調(diào)度。
【文檔編號(hào)】H04L12/24GK104009871SQ201410251290
【公開(kāi)日】2014年8月27日 申請(qǐng)日期:2014年6月6日 優(yōu)先權(quán)日:2014年6月6日
【發(fā)明者】韓言妮, 覃毅芳, 張棪, 趙志軍, 慈松 申請(qǐng)人:中國(guó)科學(xué)院聲學(xué)研究所
網(wǎng)友詢(xún)問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
扶风县| 萝北县| 武汉市| 新田县| 鄂州市| 巫山县| 博白县| 榆社县| 大英县| 聂荣县| 海原县| 海城市| 虎林市| 昌宁县| 仙桃市| 沂水县| 汝南县| 前郭尔| 固原市| 蓝山县| 鄂托克前旗| 扬中市| 科技| 大荔县| 长岭县| 敖汉旗| 山东省| 霞浦县| 桦南县| 克山县| 鲁甸县| 正安县| 贡觉县| 汉寿县| 连云港市| 岱山县| 织金县| 区。| 常熟市| 芦溪县| 阿鲁科尔沁旗|