技術編號:12176355
提示:您尚未登錄,請點 登 陸 后下載,如果您還沒有賬戶請點 注 冊 ,登陸完成后,請刷新本頁查看技術詳細信息。本發(fā)明涉及數據處理領域,尤其涉及一種基于Spark語義的數據重用方法及其系統(tǒng)。背景技術Spark是目前高效且在產業(yè)界被廣泛使用的大數據計算框架,尤其適用于多次迭代計算的應用領域,如機器學習、圖處理、數據挖掘、交互式查詢等,其原因在于spark可以將中間數據緩存在內存中。Spark比Hadoop更加通用、靈活,為用戶提供了多種算子,并且用戶可以命名、物化和控制中間結果的存儲、分區(qū)等,這給開發(fā)上層應用的用戶提供了方便。此外,目前Spark的性能瓶頸已經轉向CPU與內存,大容量的內存將有效地提升Spa...
注意:該技術已申請專利,請尊重研發(fā)人員的辛勤研發(fā)付出,在未取得專利權人授權前,僅供技術研究參考不得用于商業(yè)用途。
該專利適合技術人員進行技術研發(fā)參考以及查看自身技術是否侵權,增加技術思路,做技術知識儲備,不適合論文引用。
請注意,此類技術沒有源代碼,用于學習研究技術思路。