[Stepik] Разработка LLM с нуля (Вячеслав Колосков)

Разработка LLM с нуля
Этот практический курс погрузит студентов в создание современных языковых моделей (LLM) на примере GPT-архитектуры. Участники с нуля реализуют все основные компоненты Трансформера: от токенизации (BPE) до механизмов Внимания и генерации текста. Для разработки будем использовать только Python и низкоуровневый PyTorch, не полагаясь на какие-либо сторонние библиотеки.
Чему вы научитесь:

• Научитесь читать схемы архитектур основанных на Трансформерах.
• Изучите принципы проектирования современных LLM.
• Понимать алгоритм токенизации текста.
• Реализовывать ключевые компоненты GPT.
• Управлять креативностью модели.
• Собирать и подготавливать данные для обучения.
• Настраивать Pre-train цикл обучения LLM.

Для кого этот курс:
Курс предназначен для разработчиков, инженеров машинного обучения и исследователей, желающих глубоко разобраться в архитектуре современных языковых моделей (LLM).
Начальные требования:
Базовые знания Python, минимальный ООП (классы, функции).
Понимание основ машинного обучения (train/test, таргет, фичи, градиент, функции потерь, метрики и т.д.).
Базовые знания по PyTorch: линейные слои, активации, нормализация, дропаут, обратное распространение ошибки.
Желателен опыт реализации простой полносвязнной сети для задачи много-классовой классификации.
Преподаватель Вячеслав Колосков:
Machine Learning Engineer (в телекоме)
В IT работаю более 15 лет. Последние 5 лет работаю Machine Learning Engineer (в телекоме). Много занимался большими табличками (Spark, Hadoop и пр.). В последнее время в основном работаю с NLP и в частности разрабатываю RAG-систему на работе.
Программа курса:
Введение

• Инструкция
• Что такое LLM?
• Архитектура LLM

Токены и эмбединги

• Byte-Pair Encoding
• Эмбединги

Transformer

• «‎Внимание»‎
• Feed-Forward Network
• Decoder

LLM

• Собираем GPT
• Сэмплирование

Обучение

• Датасет
• Train/Eval
• Применение

Другие модели

• GPT-2
• LLama
• Mistral
• Mixtral
• Gemma