拿LoRA代碼來微調(diào)大模型

• 1 簡介LoRA上一期介紹了如何復(fù)用免費(fèi)的大模型源代碼，來搭配企業(yè)的專有數(shù)據(jù)而訓(xùn)練出形形色色的自用小模型。免費(fèi)代碼既省成本、可靠、省算力、又自有IP，可謂取之不盡、用之不竭的資源，豈不美哉！重頭開始訓(xùn)練自己的小模型，是一條鳥語花香之路。然而，基于別人的預(yù)訓(xùn)練(Pre-trained) 大模型，搭配自有數(shù)據(jù)而進(jìn)行微調(diào)(Fine-tuning)，常常更是一條康莊大道。隨著LLM 等大模型日益繁榮發(fā)展，基于這些大模型的遷移學(xué)習(xí)(Transfer learning)，將其預(yù)訓(xùn)練好的模型加以微調(diào)(Fine tune
• 關(guān)鍵字： 202401  LoRA代碼  大模型