技術(shù)編號(hào)：40584849
提示：您尚未登錄，請(qǐng)點(diǎn) 登 陸 后下載，如果您還沒有賬戶請(qǐng)點(diǎn) 注 冊(cè) ，登陸完成后，請(qǐng)刷新本頁查看技術(shù)詳細(xì)信息。本發(fā)明屬于大語言模型，尤其涉及一種基于lora改進(jìn)的大語言模型微調(diào)方法。背景技術(shù)、為了使得預(yù)訓(xùn)練的語言模型在垂直領(lǐng)域具有更好的表現(xiàn)，人們需要通過微調(diào)來更新其可訓(xùn)練的參數(shù)。然而，如果對(duì)所有參數(shù)都進(jìn)行上述操作，會(huì)對(duì)硬件設(shè)備提出巨大的要求，并且訓(xùn)練的時(shí)間往往也會(huì)非常漫長(zhǎng)。例如，哪怕是較小的大語言模型(如llama-b,yi-b等)，也具備幾十億個(gè)可訓(xùn)練的參數(shù)，對(duì)其進(jìn)行全量微調(diào)也需要上百g的顯存，這對(duì)絕大多數(shù)人來說是不可接受的。為了降低大語言模型的微調(diào)開銷，減少訓(xùn)練過程中調(diào)整的參數(shù)量，人們提出了各...
注意：該技術(shù)已申請(qǐng)專利，請(qǐng)尊重研發(fā)人員的辛勤研發(fā)付出，在未取得專利權(quán)人授權(quán)前，僅供技術(shù)研究參考不得用于商業(yè)用途。
該專利適合技術(shù)人員進(jìn)行技術(shù)研發(fā)參考以及查看自身技術(shù)是否侵權(quán)，增加技術(shù)思路，做技術(shù)知識(shí)儲(chǔ)備，不適合論文引用。
請(qǐng)注意，此類技術(shù)沒有源代碼，用于學(xué)習(xí)研究技術(shù)思路。