技術(shù)總結(jié)
本發(fā)明公開了一種由轉(zhuǎn)換原語生成Spark代碼的方法,包括步驟:步驟10:設(shè)計(jì)表示數(shù)據(jù)模型變換的轉(zhuǎn)換原語語法;步驟11:輸入一個數(shù)據(jù)模型變換的原語文件,作為代碼轉(zhuǎn)換器的輸入文件;步驟12:利用Xtext實(shí)現(xiàn)代碼生成器的文法構(gòu)造,完成轉(zhuǎn)換原語的語法解析;步驟13:利用Xtend實(shí)現(xiàn)代碼生成器的轉(zhuǎn)換規(guī)則,建立轉(zhuǎn)換原語與Spark代碼之間的映射;步驟14:將模型變換的原語文件輸入代碼生成器;步驟15:得到輸入、輸出數(shù)據(jù)類和轉(zhuǎn)換規(guī)則的Spark代碼;本發(fā)明將一組描述數(shù)據(jù)轉(zhuǎn)換的轉(zhuǎn)換原語生成具有相同轉(zhuǎn)換操作的Spark代碼,降低數(shù)據(jù)平臺開發(fā)人員使用Spark平臺的復(fù)雜性,簡化數(shù)據(jù)轉(zhuǎn)換過程,降低基于Spark平臺的大數(shù)據(jù)轉(zhuǎn)換實(shí)現(xiàn)成本。
技術(shù)研發(fā)人員:張?zhí)?潘敏學(xué);楊宇飛;劉撥杰;車開達(dá);李宣東
受保護(hù)的技術(shù)使用者:南京大學(xué)
文檔號碼:201611252903
技術(shù)研發(fā)日:2016.12.30
技術(shù)公布日:2017.06.13