技術(shù)總結(jié)
本發(fā)明提供一種基于Spark語(yǔ)義的數(shù)據(jù)重用方法，其中，所述方法包括：語(yǔ)義信息收集步驟、收集Spark應(yīng)用運(yùn)行時(shí)的語(yǔ)義信息；語(yǔ)義維護(hù)步驟、維護(hù)來(lái)自所述語(yǔ)義信息收集步驟所收集到的語(yǔ)義信息；數(shù)據(jù)主動(dòng)緩存步驟、根據(jù)所述語(yǔ)義信息和預(yù)設(shè)的閾值模型緩存未被用戶程序顯式緩存的數(shù)據(jù)；緩存數(shù)據(jù)遷移步驟、根據(jù)所述語(yǔ)義信息和預(yù)設(shè)的閾值模型將緩存數(shù)據(jù)在動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器與固定存儲(chǔ)器之間遷移。本發(fā)明還提供一種基于Spark語(yǔ)義的數(shù)據(jù)重用系統(tǒng)。本發(fā)明提供的技術(shù)方案能減少重復(fù)數(shù)據(jù)計(jì)算，提升計(jì)算效率，有效避免了對(duì)開(kāi)發(fā)人員經(jīng)驗(yàn)的依賴。

技術(shù)研發(fā)人員：陸克中;毛一帆;黃澤成;王明儉;毛睿;廖好
受保護(hù)的技術(shù)使用者：深圳大學(xué)
文檔號(hào)碼：201610835530
技術(shù)研發(fā)日：2016.09.20
技術(shù)公布日：2017.03.08