機器學習理論:頻率學派 MLE 與 貝氏學派 MAP 機器學習觀點介紹、從 MAP 推導 L1, L2 regularization
這影片中我們從頻率學派、貝氏學派、丟硬幣的例子帶到 Maximum Likelihood Estimation 和 Maximum A Posteriori 的推導,並發現機器學習常用的 L1, L2 regularization 是基於 MAP 中對於參數分佈的先驗假設。
影片內容為在參考許多文章後我理解的結果,若有理解錯誤歡迎指正,請多指教!
Slides: https://docs.google.com/presentation/d/1Jv3PCnrOx_T_gZDcHTiNxv__s5DS4teJLH9psdlkrlY/edit?usp=sharing
0:00 Intro
1:22 頻率學派、貝氏學派主要觀點
3:00 丟硬幣例子
3:55 丟硬幣:頻率學派
6:09 丟硬幣:貝氏學派
10:21 兩個學派的優缺點
12:15 MLE推導
19:00 MAP推導
26:52 當MAP用不同distribution做先驗
30:14 L1 regularization時參數較稀疏之原因
32:00 Ending