• martech_jy
• Finetune , LLM
• 9 3 月, 2024
• 1102 views

進階微調 Mistral-7B 模型的方法：直接偏好優化

預訓練的大型語言模型（LLM）只能進行下一個詞預測，使得它們無法回答問題。這就是為什麼這些基礎模型之後需要通過指令和答案的配對進行精調，以充當有用的助手。然而，這個過程仍可能存在缺陷：精調後的 LLM 可能會有偏見、有毒害、有害等。這就是人類反饋中的強化學習（RLHF）發揮作用的地方。