本發(fā)明是一種投入驅(qū)動(dòng)的面向數(shù)據(jù)圖譜、信息圖譜和知識(shí)圖譜的資源存儲(chǔ)效率優(yōu)化方法，將以數(shù)據(jù)、信息和知識(shí)等形態(tài)的資源根據(jù)存儲(chǔ)代價(jià)確定應(yīng)在哪一層圖譜存儲(chǔ)架構(gòu)上進(jìn)行存儲(chǔ)。主要用于通過(guò)數(shù)據(jù)圖譜、信息圖譜和知識(shí)圖譜對(duì)以數(shù)據(jù)、信息和知識(shí)形態(tài)出現(xiàn)的資源進(jìn)行建模和存儲(chǔ)，屬于分布式計(jì)算和軟件工程學(xué)技術(shù)交叉領(lǐng)域。
背景技術(shù)：
隨著全球信息化的快速發(fā)展，互聯(lián)網(wǎng)上資源量急劇增長(zhǎng)。對(duì)資源的不合理組織和存儲(chǔ)導(dǎo)致用戶(hù)檢索效率下降。傳統(tǒng)的搜索引擎技術(shù)根據(jù)用戶(hù)的查詢(xún)要求快速檢索和排序網(wǎng)頁(yè)資源，對(duì)于搜索引擎反饋的大量資源需要用戶(hù)進(jìn)行人工排查和篩選，難以滿(mǎn)足用戶(hù)全面掌控資源的需求?，F(xiàn)有的技術(shù)包括基于機(jī)器學(xué)習(xí)的方法和基于本體的方法為應(yīng)對(duì)這一挑戰(zhàn)做出了許多貢獻(xiàn)，然而，基于機(jī)器學(xué)習(xí)的方法缺乏有效的機(jī)制來(lái)明確地將經(jīng)驗(yàn)知識(shí)與訓(xùn)練模型結(jié)合在一起，基于本體的方法受到人類(lèi)專(zhuān)家方面沉重負(fù)擔(dān)的限制。
知識(shí)圖譜容納資源規(guī)模較大，涵蓋的知識(shí)領(lǐng)域廣泛，并且能為用戶(hù)提供智能搜索和問(wèn)答服務(wù)?；谥R(shí)圖譜的搜索側(cè)重于圖結(jié)構(gòu)的邏輯推理計(jì)算，基于語(yǔ)義網(wǎng)三元組進(jìn)行推理補(bǔ)充資源信息，實(shí)現(xiàn)web從網(wǎng)頁(yè)鏈接向概念鏈接的轉(zhuǎn)變，支持用戶(hù)按照語(yǔ)句進(jìn)行檢索，以圖形化的方式向用戶(hù)反饋結(jié)構(gòu)化知識(shí)，準(zhǔn)確定位用戶(hù)所需資源，使用戶(hù)從人工過(guò)濾網(wǎng)頁(yè)尋找答案的模式中解脫出來(lái)。
一種投入驅(qū)動(dòng)的面向數(shù)據(jù)圖譜、信息圖譜和知識(shí)圖譜的資源存儲(chǔ)效率優(yōu)化方法的關(guān)鍵技術(shù)在于對(duì)在不同層次圖譜上存儲(chǔ)資源時(shí)存儲(chǔ)代價(jià)的計(jì)算。通過(guò)衡量資源規(guī)模以及資源轉(zhuǎn)換代價(jià)計(jì)算存儲(chǔ)代價(jià)，根據(jù)用戶(hù)投入對(duì)資源進(jìn)行合理組織和存儲(chǔ)。
技術(shù)實(shí)現(xiàn)要素：
技術(shù)問(wèn)題：本發(fā)明的目的是提供一種對(duì)數(shù)據(jù)(datadik)、信息(informationdik)和知識(shí)(knowledgedik)等形態(tài)的資源的原始表述的自然語(yǔ)言的機(jī)器理解、自動(dòng)處理、自動(dòng)綜合和自動(dòng)分析方法，用于解決對(duì)不同類(lèi)型、不同規(guī)模資源的高效組織和存儲(chǔ)，以便提高在圖譜上的存儲(chǔ)效率。
技術(shù)方案：本發(fā)明是一種投入驅(qū)動(dòng)的面向數(shù)據(jù)圖譜、信息圖譜和知識(shí)圖譜的資源存儲(chǔ)效率優(yōu)化方法，從應(yīng)對(duì)自動(dòng)增量式結(jié)合經(jīng)驗(yàn)知識(shí)和減少人工專(zhuān)家交互負(fù)擔(dān)等兩個(gè)方面考慮，從資源建模、資源處理、處理優(yōu)化和資源管理等角度進(jìn)行研究，基于對(duì)現(xiàn)有知識(shí)圖譜（knowledgegraph）概念的拓展提出了一種三層可自動(dòng)抽象調(diào)整的解決架構(gòu)。這個(gè)架構(gòu)包括：數(shù)據(jù)圖譜（datagraphdik）、信息圖譜（informationgraphdik）和知識(shí)圖譜（knowledgegraphdik）等三個(gè)層面?；诓煌瑢哟蔚膱D譜架構(gòu)存儲(chǔ)不同類(lèi)型的資源，提高資源存儲(chǔ)效率。
體系結(jié)構(gòu)
圖1給出了投入驅(qū)動(dòng)的面向數(shù)據(jù)圖譜、信息圖譜和知識(shí)圖譜的資源存儲(chǔ)效率優(yōu)化方法的流程示意，獲取到用戶(hù)的資源查找需求后，計(jì)算在不同圖譜層次上存儲(chǔ)的代價(jià)，將資源存儲(chǔ)方案按存儲(chǔ)代價(jià)由高到底進(jìn)行排序，提示用戶(hù)選擇存儲(chǔ)方案，計(jì)算對(duì)應(yīng)存儲(chǔ)方案需要的用戶(hù)投入量。表1所示為對(duì)datadik、intormationdik和knowledgedik等形態(tài)的資源以及對(duì)應(yīng)圖譜層次的介紹。表2所示為分別在datagraphdik、informationgraphdik和knoweldgegraphdik上存儲(chǔ)datadik、intormationdik和knowledgedik等資源的代價(jià)。
下面我們給出datagraphdik,informationgraphdik和knowledgegraphdik的具體說(shuō)明。
我們定義datagraphdik為：datagraphdik:=collection{array,list,stack,queue,tree,graph}.datagraphdik是各種數(shù)據(jù)結(jié)構(gòu)包括數(shù)組（array）、鏈表（list）、棧（stack）、隊(duì)列（queue）、樹(shù)（tree）和圖（graph）等的集合（collection）。datagraphdik只能對(duì)圖譜上表示的datadik進(jìn)行靜態(tài)分析，無(wú)法分析和預(yù)測(cè)datadik的動(dòng)態(tài)變化。
我們定義informationgraphdik為：informationgraphdik:=combination{relateddatadik}。informationgraphdik是相互關(guān)聯(lián)的datadik（relateddatadik）的組合（combination），informationdik是通過(guò)datadik和datadik組合之后的上下文傳達(dá)的，經(jīng)過(guò)概念映射和相關(guān)關(guān)系組合之后的適合分析和解釋的信息。在informationgraphdik上進(jìn)行數(shù)據(jù)清洗，消除冗余數(shù)據(jù)，根據(jù)結(jié)點(diǎn)之間的交互度進(jìn)行初步抽象，將交互頻繁的結(jié)點(diǎn)集成到同一模塊中,從而提高模塊設(shè)計(jì)的內(nèi)聚性。
我們定義knowledgegraphdik為：knowledgegraphdik:=collection{statisticrules}。knowledgegraphdik實(shí)質(zhì)是語(yǔ)義網(wǎng)絡(luò)和由informationdik總結(jié)出的統(tǒng)計(jì)規(guī)則（statisticrules）的集合（collection）。knowledgegraphdik蘊(yùn)含豐富的語(yǔ)義關(guān)系，在knowledgegraphdik上能通過(guò)信息推理和實(shí)體鏈接提高knowledgegraphdik的邊密度和結(jié)點(diǎn)密度，knowledgegraphdik的無(wú)結(jié)構(gòu)特性使得其自身可以無(wú)縫鏈接。信息推理需要有相關(guān)關(guān)系規(guī)則的支持，這些規(guī)則可以由人手動(dòng)構(gòu)建，但往往耗時(shí)費(fèi)力，得到復(fù)雜關(guān)系中的所有推理規(guī)則更加困難。使用路徑排序算法將每個(gè)不同的關(guān)系路徑作為一維特征，通過(guò)在knowledgegraphdik中構(gòu)建大量的關(guān)系路徑來(lái)構(gòu)建關(guān)系分類(lèi)的特征向量和關(guān)系分類(lèi)器來(lái)提取關(guān)系。
表1.資源類(lèi)型的漸進(jìn)形式
表2.資源分層存儲(chǔ)效率
標(biāo)注：scale:資源規(guī)模scalea:抽象后的資源規(guī)模scaler:推理后的資源代價(jià)abstractingcost:抽象代價(jià)reasoningcost：推理代價(jià)
o(scale)表示存儲(chǔ)代價(jià)與資源規(guī)模成正比
有益效果：
本發(fā)明提出了一種投入驅(qū)動(dòng)的面向數(shù)據(jù)圖譜、信息圖譜和知識(shí)圖譜的資源存儲(chǔ)效率優(yōu)化方法，主要用于解決對(duì)于以datadik，informaitiondik和knowledgedik形態(tài)存在的資源存儲(chǔ)問(wèn)題。通過(guò)使用本發(fā)明提出的方法可以實(shí)現(xiàn)對(duì)不同類(lèi)型資源的合理組織和存儲(chǔ)，從而提高在資源存儲(chǔ)框架上對(duì)資源的查找效率。該方法具有如下優(yōu)點(diǎn)：
1）對(duì)資源類(lèi)型的劃分；
將資源劃分為datadik、informationdik和knowledgedik,便于挖掘資源之間的聯(lián)系，從datadik經(jīng)過(guò)抽象得到informationdik、knowledgedik，從knowledgedik進(jìn)行推理得到datadik、informationdik；
2）允許跨層存儲(chǔ)資源
僅僅通過(guò)資源類(lèi)型無(wú)法判斷出資源應(yīng)存儲(chǔ)在哪一類(lèi)圖譜上，本發(fā)明提出資源存儲(chǔ)代價(jià)的計(jì)算，根據(jù)存儲(chǔ)代價(jià)確定資源的存儲(chǔ)位置；
3）用戶(hù)投入和存儲(chǔ)代價(jià)驅(qū)動(dòng)
投入驅(qū)動(dòng)的面向數(shù)據(jù)圖譜、信息圖譜和知識(shí)圖譜的資源存儲(chǔ)效率優(yōu)化方法，提出通過(guò)參數(shù)化存儲(chǔ)過(guò)程計(jì)算在不同圖譜上存儲(chǔ)資源的代價(jià)，根據(jù)用戶(hù)投入，確定目標(biāo)資源存儲(chǔ)框架。
附圖說(shuō)明
圖1是一種投入驅(qū)動(dòng)的面向數(shù)據(jù)圖譜、信息圖譜和知識(shí)圖譜的資源存儲(chǔ)效率優(yōu)化方法體系結(jié)構(gòu)流程圖。
具體實(shí)施方式
一種投入驅(qū)動(dòng)的面向數(shù)據(jù)圖譜、信息圖譜和知識(shí)圖譜的資源存儲(chǔ)效率優(yōu)化方法，其特征在于對(duì)以datadik，informaitiondik和knowledgedik形態(tài)存在的資源根據(jù)存儲(chǔ)代價(jià)和用戶(hù)投入進(jìn)行合理的組織和存儲(chǔ)，僅僅通過(guò)資源類(lèi)型無(wú)法判斷資源應(yīng)存儲(chǔ)在哪一層圖譜上，具體實(shí)施方式為：
步驟1）對(duì)應(yīng)于圖1中操作001，獲取用戶(hù)待存儲(chǔ)資源，002識(shí)別資源類(lèi)型和003計(jì)算資源規(guī)模（scale(resourcedik)），其中資源類(lèi)型包括datadik、informationdik和knowledgedik，資源規(guī)模表示資源在圖譜上進(jìn)行存儲(chǔ)時(shí)的結(jié)點(diǎn)數(shù)量和邊的數(shù)量；
步驟2）對(duì)應(yīng)于圖1中操作004根據(jù)公式1和公式2計(jì)算在不同圖譜上存儲(chǔ)資源所要花費(fèi)的代價(jià)（storecost）：
其中當(dāng)λ等于0時(shí)，表示直接在資源對(duì)應(yīng)層次上進(jìn)行存儲(chǔ)時(shí)所要花費(fèi)的代價(jià)，當(dāng)λ=1時(shí)，表示資源轉(zhuǎn)換成其他類(lèi)型資源并進(jìn)行存儲(chǔ)的代價(jià)，conversingcost表示資源類(lèi)型轉(zhuǎn)換的代價(jià)，scale(resouececon)表示轉(zhuǎn)換后的資源規(guī)模，α和β分別表示資源轉(zhuǎn)換的代價(jià)和轉(zhuǎn)換后資源的規(guī)模占總存儲(chǔ)代價(jià)的權(quán)重，均可通過(guò)數(shù)據(jù)訓(xùn)練得出。當(dāng)κ=1時(shí)，conversingcost等于由datadik、informationdik和knowledgedik按升序進(jìn)行抽象的代價(jià)，當(dāng)κ=0時(shí)表示由datadik、informationdik和knowledgedik按降序進(jìn)行推理的代價(jià)；
步驟3）根據(jù)步驟2得到的存儲(chǔ)代價(jià)，對(duì)應(yīng)于圖1中操作005比較在不同圖譜上存儲(chǔ)資源所要花費(fèi)的代價(jià)；
步驟4）對(duì)應(yīng)于圖1中操作006，提示用戶(hù)選擇存儲(chǔ)方案；
步驟5）對(duì)應(yīng)于圖1中操作007，根據(jù)公式3計(jì)算用戶(hù)選擇方案的所需投入量（inve）：
其中storecostmax表示資源存儲(chǔ)最高代價(jià)，storecostgoal表示用戶(hù)選擇的資源存儲(chǔ)方案對(duì)應(yīng)的存儲(chǔ)代價(jià)，χ表示單位存儲(chǔ)代價(jià)投入系數(shù)，可通過(guò)數(shù)據(jù)訓(xùn)練得出；
步驟6）將計(jì)算得出的投入返回給用戶(hù)，對(duì)應(yīng)于圖1中操作008詢(xún)問(wèn)用戶(hù)是否同意增加投入。若用戶(hù)同意增加投入，則009按照用戶(hù)選定方案存儲(chǔ)資源，若用戶(hù)不同意，則返回步驟4提示用戶(hù)重新選擇資源存儲(chǔ)方案。