Разбираем статью "The Llama 3 Herd of Models" (2024) со слушателями нашей AI-школы.
Следующий поток онлайн-школы по AI: с 18 ноября 2024.
Информация здесь: https://t.me/razinkov_ai/653
Как это было и как будет:
https://youtube.com/live/v1TRbW0AizI
Таймкоды:
00:00 Приветствие
03:07 Abstract
06:50 1 Introduction
20:30 2 General Overview
32:12 3 Pre-Training
33:07 3.1 Pre-Training Data
35:33 3.1.1 Web Data Curation
49:29 3.1.2 Determining the Data Mix
54:51 3.1.3 Annealing Data
Все видео плейлиста:
1. Intro & Data mix: https://youtu.be/YoRsqImynUE
2. Model Architecture & Scaling laws: https://youtu.be/fR8flHXcvLs
3. Pre-training: https://youtu.be/1Ut-3-Ost0w
4. Reward modeling & Supervised Fine-tuning: https://youtu.be/4aUYhAgW5h4
5. DPO: https://youtu.be/2_RDSMu61YQ
6. Post-training data: https://youtu.be/RLAiyZP-Fvw
Плейлист с разбором Llama 3.1:
https://www.youtube.com/playlist?list=PL6-BrcpR2C5QXuCaev_DJ_o9lqYkAxSmo
Телеграм-канал:
https://t.me/razinkov_ai
Список моих открытых курсов по AI на YouTube:
https://t.me/razinkov_ai/622
Предварительная регистрация в следующий поток AI-школы:
https://razinkov.ai/school