[Stepik] Делаем свой AI-продукт на базе ChatGPT или других LLM моделей (Александр Миленькин, Иван Александров)

Почему разбираться в LLM важно?
Закон Мура был сформулирован в 1965 году и утверждал, что количество транзисторов на интегральной схеме будет удваиваться примерно каждые два года. Новая версия закона Мура, о которой заявил основатель Open AI, говорит о том, что количество интеллекта во Вселенной удваивается каждые 18 месяцев. Это утверждение относится к экспоненциальному росту производительности и масштабирования алгоритмов машинного обучения, в частности, к моделям LLM. Модели LLM, такие как GPT-4, тренируются на огромных объемах текстовых данных.
Экспоненциальный рост в обучении LLM возможен благодаря двум факторам:
1. Увеличение вычислительной мощности: с течением времени доступные вычислительные ресурсы продолжают расти, что позволяет обучать более сложные и мощные модели.
2. Оптимизация алгоритмов: исследователи продолжают разрабатывать более эффективные алгоритмы обучения, что улучшает производительность и точность моделей LLM.
Вместе эти факторы способствуют удвоению «количества интеллекта» во Вселенной каждые 18 месяцев, что означает, что нейросети и модели LLM становятся все более мощными и масштабируемыми, способными выполнять невероятно сложные задачи и очень быстро обучаться. Это же следует и из отчета Microsoft, хоть об этом и мало говорят: исследователи искусственного интеллекта хотят создать ИИ, который может учиться сам по себе.
Формат выдачи складчины:
Архив zip - запускается файлом html на локальном компьютере в браузере, поэтому нужно сначала скачать и распаковать.
О курсе
В курсе рассматриваются способы повысить профит от использования больших языковых моделей (LLM) в личных целях или для встраивания в бизнес процессы.
Будем двигаться от базовых концепций к более продвинутым техникам, закрепляя всё на практике.
Курс не про архитектуры языковых моделей, их различия, способы обучения, а скорее про использование готовых моделей для реализации своих идей в качестве пользователя. Поэтому курс практичный и подойдет для начинающих.
Основной язык программирования Python
Преподаватели курса стали лауреатами премии Stepik Awards 2023 в номинации «Прорыв Года».
Для кого этот курс
Курс предназначен для широкого круга лиц, интересующихся большими языковыми моделями (LLM) и их возможным применением в личных и бизнес задачах.
Чему вы научитесь

• Получать максимальный результат от использования больших языковых моделей за счёт грамотного промптинга.
• Использовать фреймворк LangChain и создавать базы знаний под свои задачи.
• Доводить свою идею до минимально рабочего прототипа на StreamLit.

Начальные требования
Знание Python на базовом уровне
Умение запускать код в Jupyter notebooks или Google colab
Общее представление или опыт взаимодействия с большими языковыми моделями (LLM). Например, с ChatGPT
Как проходит обучение
- Выдаем каждому ключи к API ChatGPT и объясняем, что с ними делать (в складчине их нет!)
- Пройдём путь от продвинутого промптинга до создания «баз знаний» для своих задач и деплоя собственного работающего сервиса.
- Рассмотрим опенсорс (бесплатные) альтернативы ChatGPT и как их развернуть и дообучить на бесплатных ресурсах.
- Выполненный в рамках курса проект можно будет положить как ПЕТ-проект в портфолио или доработать и использовать для своих целей.
Программа курса
Вступление
Как правильно входить в курс
Общий подход и точки улучшения приложений с LLM
API ключ курса или от OpenAI?
Промптинг - объясни LLM, что тебе от неё надо!
Введение в Prompt Engineering
‍Дизайн промптов в LangChain
LangChain или причем тут попугаи?
Память в LangChain
Chains - собери свою цепь
️Агенты intro
LLM и ваши данные
LangChain с вашими данными
Дообучение на своих данных
Open Source модели на замену; LLaMa, Vicuna и русские LLM
А не сделать ли тебе свой проект уже сейчас?!
fine-tuning языковых моделей на своих данных
‍‍‍Собери свою банду агентов и завали боса
Примеры кода и формат данных
Prompt Engineering - был basic, стал advansic
первый урок
Разбор реального проекта
ChatGPT и примеры использования: Чат-бот заказчик и база знаний выдач
LLM, возможности и стартапы
Сколько миллионов можно поднять на своем ChatGPT
Финиш курса
Что дальше?!