下一课 Vision Transformer:https://youtu.be/BbzOZ9THriY
Transformer模型是目前机器翻译等NLP问题最好的解决办法,比RNN有大幅提高。Bidirectional Encoder Representations from Transformers (BERT) 是预训练Transformer最常用的方法,可以大幅提升Transformer的表现。
课件:https://github.com/wangshusen/DeepLearning
Transformer课程视频:
1. Attention层: https://youtu.be/aButdUV0dxI
2. Transformer网络: https://youtu.be/aJRsr39F4dI
3. BERT: https://youtu.be/UlC6AjQWao8
RNN课程视频:
1. 数据处理: https://youtu.be/NWcShtqr8kc
2. 词嵌入:https://youtu.be/6_2_2CPB97s
3. Simple RNN:https://youtu.be/Cc4ENs6BHQw
4. LSTM: https://youtu.be/vTouAvxlphc
5.RNN的改进: https://youtu.be/pzWHk_M23a0
6. 文本生成:https://youtu.be/10cjvcrU_ZU
7. 机器翻译:https://youtu.be/gxXJ58LR684
8. Attention: https://youtu.be/XhWdv7ghmQQ
9. Self-Attention: https://youtu.be/Vr4UNt7X6Gw