MENU

Fun & Interesting

【生成式AI時代下的機器學習(2025)】第五講:大型語言模型訓練方法「預訓練–對齊」(Pretrain-Alignment) 的強大與極限

Hung-yi Lee 24,270 3 weeks ago
Video Not Working? Fix It Now

投影片連結:https://docs.google.com/presentation/d/1XeiZP-00kckqCxkgvi5QO47zyY1SAHqa/edit?usp=sharing&ouid=115046073158939078465&rtpof=true&sd=true 不熟悉大型語言模型訓練過程的同學可以先看以下影片: Pretrain: https://youtu.be/cCpErV7To2o?si=V1AmHnYmCAog5YiT SFT: https://youtu.be/Q9cNkUPXUB8?si=QuHhtTtipAs7VeHs RLHF: https://youtu.be/v12IKvF6Cj8?si=brgghIWIq5VL3UuU 56:05 上課時沒有講清楚,這裡是在固定算力的前提下,以不同數量的資料來 pretrain 模型,所以資料多時每筆資料就被看得比較少次,資料少時每筆資料就被看得比較多次。 1:15:10 這部分起用到較多分析模型的概念,不熟悉的同學可以先看以下影片 https://youtu.be/Xnil63UDW2o?si=1ILQ-NTSiJZPm4Un

Comment