(Ken Cen出品)Generative AI第28部 LLM 對齊革命 - PPO X DPO 策略優化
Learn KL divergence, frozen models, entropy, advantage & value functions, and Bradley-Terry models for advanced machine learning.
Course Content
(Ken Cen出品)Generative AI第28部 LLM 對齊革命 - PPO X DPO 策略優化 is an all-levels Udemy course taught by Ken Cen. It runs 5h 15m, is taught in Chinese, and includes a certificate of completion. Learners rate it 5.0 out of 5 from 1 review, with 82 students enrolled. It is a paid course, first published June 2025.
LLM 對齊革命:PPO X DPO 策略優化實戰
本課程是 (Ken Cen出品)Generative AI系列課程的 lanjutan,深入探索 LLM 對齊 的核心技術:PPO (Proximal Policy Optimization) 和 DPO (Direct Preference Optimization)。我們將以 PyTorch 實作 為基礎,剖析其背後的原理,助你訓練出更符合人類偏好、更精確的 大型語言模型 (LLM)。
為什麼學習 PPO 和 DPO?
隨著 大模型 的快速發展,一個關鍵問題浮出水面:模型的回答是否真正「對齊」人類的價值與需求? 提升 AI 模型 的使用者體驗,確保其行為符合人類偏好,已成為當前研究的重點。 PPO 和 DPO 是目前最主流的兩種 LLM 對齊技術,掌握它們將讓你:
- 訓練出更 使用者友善、更 精確 的 LLM。
- 了解 ChatGPT 等 大型 AI 公司 策略調整背後的機制。
- 跟上 AI 對齊 領域的最新技術趨勢。
PPO 對齊技術精解
本課程深入剖析 PPO 對齊技術,涵蓋以下核心內容:
- PPO 損失函數組成與剪裁 (Clipping):了解 PPO 損失函數的組成,以及剪裁技術如何避免模型劇烈更新,提升訓練 穩定性。
- Advantage Function & Value Function:掌握強化學習的核心概念,學習如何評估「採取行動比預期好多少」。
- Entropy (熵) 獎勵:深入理解如何利用熵獎勵鼓勵模型探索,避免陷入局部最優,提升模型的多樣性。
- Frozen Model & KL 懲罰:學習如何防止模型「作弊」,透過固定參考模型並限制與其差異,避免模型偏離人類偏好。
DPO 對齊革命性新方法
DPO 是一種革命性的 LLM 對齊方法,它:
- 從 獎勵模型 轉向 Bradley-Terry 偏好模型,直接從 pairwise 比較 中學習人類偏好。
- 深入理解 DPO 損失函數 的推導與數學解析解,掌握其真正原理。
- 運用 KL 散度約束 與 Lagrange 乘子技術,精準控制策略偏移與對齊速度。
PyTorch 實戰:從理論到實作
本課程提供完整的 PyTorch 實作,讓你能夠:
- 完整實現 PPO 訓練流程:包括策略梯度、值函數損失、熵項與總損失計算。
- 實現 DPO 訓練流程:直接利用偏好資料優化策略,無需建立獎勵模型。
- 掌握 SFT (Supervised Fine-Tuning) 監督微調流程。
- 計算 Log Probability、KL 散度、Entropy 等關鍵指標,深入了解模型行為。
無論你是 AI 研究者、機器學習工程師,還是對 LLM 對齊 感興趣的專業人士,本課程都能幫助你掌握最前沿的技術,提升 AI 模型 的品質與可靠性。
Want AI in your product? Hire the team behind TutorialSearch.io
LLM features, RAG, agents and automation wired into a real product — built by the devs who shipped this site.