Udemyallzh

(Ken Cen出品)Generative AI第28部 LLM 對齊革命 - PPO X DPO 策略優化

Learn KL divergence, frozen models, entropy, advantage & value functions, and Bradley-Terry models for advanced machine learning.

5.0(1)
82students
5h 15m
Certificate
Ken Cen
Ken CenAI 資深工程師,Udemy全球前10%頂級教師之一

Course Content

(Ken Cen出品)Generative AI第28部 LLM 對齊革命 - PPO X DPO 策略優化 is an all-levels Udemy course taught by Ken Cen. It runs 5h 15m, is taught in Chinese, and includes a certificate of completion. Learners rate it 5.0 out of 5 from 1 review, with 82 students enrolled. It is a paid course, first published June 2025.

LLM 對齊革命:PPO X DPO 策略優化實戰

本課程是 (Ken Cen出品)Generative AI系列課程的 lanjutan,深入探索 LLM 對齊 的核心技術:PPO (Proximal Policy Optimization) 和 DPO (Direct Preference Optimization)。我們將以 PyTorch 實作 為基礎,剖析其背後的原理,助你訓練出更符合人類偏好、更精確的 大型語言模型 (LLM)。

為什麼學習 PPO 和 DPO?

隨著 大模型 的快速發展,一個關鍵問題浮出水面:模型的回答是否真正「對齊」人類的價值與需求? 提升 AI 模型 的使用者體驗,確保其行為符合人類偏好,已成為當前研究的重點。 PPO 和 DPO 是目前最主流的兩種 LLM 對齊技術,掌握它們將讓你:

  • 訓練出更 使用者友善、更 精確 的 LLM。
  • 了解 ChatGPT 等 大型 AI 公司 策略調整背後的機制。
  • 跟上 AI 對齊 領域的最新技術趨勢。

PPO 對齊技術精解

本課程深入剖析 PPO 對齊技術,涵蓋以下核心內容:

  • PPO 損失函數組成與剪裁 (Clipping):了解 PPO 損失函數的組成,以及剪裁技術如何避免模型劇烈更新,提升訓練 穩定性。
  • Advantage Function & Value Function:掌握強化學習的核心概念,學習如何評估「採取行動比預期好多少」。
  • Entropy (熵) 獎勵:深入理解如何利用熵獎勵鼓勵模型探索,避免陷入局部最優,提升模型的多樣性。
  • Frozen Model & KL 懲罰:學習如何防止模型「作弊」,透過固定參考模型並限制與其差異,避免模型偏離人類偏好。

DPO 對齊革命性新方法

DPO 是一種革命性的 LLM 對齊方法,它:

  • 從 獎勵模型 轉向 Bradley-Terry 偏好模型,直接從 pairwise 比較 中學習人類偏好。
  • 深入理解 DPO 損失函數 的推導與數學解析解,掌握其真正原理。
  • 運用 KL 散度約束 與 Lagrange 乘子技術,精準控制策略偏移與對齊速度。

PyTorch 實戰:從理論到實作

本課程提供完整的 PyTorch 實作,讓你能夠:

  • 完整實現 PPO 訓練流程:包括策略梯度、值函數損失、熵項與總損失計算。
  • 實現 DPO 訓練流程:直接利用偏好資料優化策略,無需建立獎勵模型。
  • 掌握 SFT (Supervised Fine-Tuning) 監督微調流程。
  • 計算 Log Probability、KL 散度、Entropy 等關鍵指標,深入了解模型行為。

無論你是 AI 研究者、機器學習工程師,還是對 LLM 對齊 感興趣的專業人士,本課程都能幫助你掌握最前沿的技術,提升 AI 模型 的品質與可靠性。

$ whoami — the devs behind tutorialsearch.io

Want AI in your product? Hire the team behind TutorialSearch.io

LLM features, RAG, agents and automation wired into a real product — built by the devs who shipped this site.