技術(shù)編號：40608144
提示：您尚未登錄，請點 登 陸 后下載，如果您還沒有賬戶請點 注 冊 ，登陸完成后，請刷新本頁查看技術(shù)詳細(xì)信息。本申請涉及數(shù)據(jù)處理，尤其涉及一種預(yù)訓(xùn)練數(shù)據(jù)的去重方法、電子設(shè)備、存儲介質(zhì)及程序產(chǎn)品。背景技術(shù)、預(yù)訓(xùn)練數(shù)據(jù)是指在訓(xùn)練模型之前已經(jīng)收集好的數(shù)據(jù)，這些數(shù)據(jù)可能來自于不同的數(shù)據(jù)源，可能包含了噪聲、缺失值、異常值等問題。大規(guī)模的高質(zhì)量語料是訓(xùn)練大語言模型的關(guān)鍵“養(yǎng)料”，這些語料提供了世界性的知識體系，能夠提升語言模型的理解能力和生成質(zhì)量，同時也能夠支持多樣化的應(yīng)用場景，高質(zhì)量的文本對于大語言模型的訓(xùn)練和能力表現(xiàn)具有非常重要的影響，為了保證模型的性能和穩(wěn)定性，需要對預(yù)訓(xùn)練數(shù)據(jù)進行清洗，因此，預(yù)訓(xùn)練數(shù)據(jù)的去...
注意：該技術(shù)已申請專利，請尊重研發(fā)人員的辛勤研發(fā)付出，在未取得專利權(quán)人授權(quán)前，僅供技術(shù)研究參考不得用于商業(yè)用途。
該專利適合技術(shù)人員進行技術(shù)研發(fā)參考以及查看自身技術(shù)是否侵權(quán)，增加技術(shù)思路，做技術(shù)知識儲備，不適合論文引用。
請注意，此類技術(shù)沒有源代碼，用于學(xué)習(xí)研究技術(shù)思路。