[Нетология] Python для работы с данными. 2020 (Олег Булыгин - Константин Башевой)

Задачи по работе с данными востребованы во всех областях:от банковской сферы и ИТ до тяжелой промышленности и сельского хозяйства.
Python — простой и универсальный инструмент для решения любых аналитических задач.
1. Автоматизируйте свою рутинную работу с помощью Python
2. Обрабатывайте большие объемы информации без администрирования и баз данных
3. Освойте ключевой инструмент в мире аналитики и машинного обучения
Возможности после обучения
1. Больше автономности
Перестанете зависеть от разработчиков в работе с данными и научитесь понимать программистов.
2. Автоматизация рутинных задач
С Python вы почувствуете вкус к оптимизации процессов и освободите время для новых задач.
3. Широкий доступ к данным
Умение быстро парсить сайты — бесценно. Вы начнете видеть и получать данные там, где раньше не замечали их
4. Легкий переход в data science
Python для аналитики — отличная база и возможность начать карьеру в data science.
5. Готовить данные для алгоритмов
Умение использовать готовые решения для придания смысла сырой информации.
6. Поиск новых инсайтов
Нахождение новых взаимосвязей в данных и их интерпретация для улучшения показателей бизнеса.
Навыки после обучения
Достигнутые результаты
1. Работа с реальными дата-сетами
2. Работа с логами и рекомендательными системами
3. Получение минимального портфолио для старта в профессии
Ключевые навыки
1. Работа с сырыми данными и их подготовка для анализа
2. Работа с аналитическими библиотеками numpy, scipy и pandas
3. Визуализация данных с помощью библиотек seaborn, plotly, matplotlib
4. Статистический анализ данных
5. Применение математических моделей
6. Выбор и создание фич
7. Применение основных алгоритмов для обработки данных
8. Парсинг данных с сайтов и внешних источников
9. Автоматизация процессов получения данных для отчетов
Спойлер: Программа курса :
Модуль 1 - Основы Python для работы с данными
Вы научитесь пользоваться базовыми инструментами Python. Для студентов без опыта в программировании модуль предполагает интенсивную самостоятельную работу. По ходу занятия преподаватель даст много полезных дополнительных библиотек и методов, которые ускорят работу с кодом, оставив больше времени на аналитические задачи.
1. Вводные видео-уроки по установке, синтаксису и функциям Python
2. Основы Python и Git
3. Базовые типы данных и циклы
4. Функции и классы
5. Продвинутые типы данных: массивы, множества, словари
Навыки, которые вы получите
1. Научитесь работать в Jupyter-ноутбуке
2. Освоите чтение файлов и запись данных в файлы
3. Сможете делать первичную проверку данных на корректность и обработку ошибок
4. Научитесь работать с датами с библиотекой DateTime
5. Освоите работу с JSON-форматом
6. Научитесь импортировать данные в Excel
7. Познакомитесь с библиотекой DateTime
Модуль 2 Знакомство с основными библиотеками для анализа данных
Вы научитесь работать с главными аналитическими библиотеками, а визуализации помогут быстро находить зависимости и корреляции. Одно из больших преимуществ языка Python — это большое и сильное сообщество, которое ежедневно пополняет язык простыми готовыми решениями.
1. numpy и scipy
2. pandas
3. Визуализация данных: seaborn, plotly, matplotlib
4. Получение данных с внешних сайтов и API
5. Data mining и парсинг
Навыки, которые вы получите
1. Сможете подготовить визуальные отчёты
2. Освоите эксплоративный анализ данных
3. Научитесь работать с матрицами и векторами в Python
4. Научитесь работать с pandas в таблицах
5. Освоите работу с элементами массива разных размерностей в numpy
6. Автоматизация получения данных из внешних источников
7. Автоматизация парсинга с сайтов
Модуль 3 - Статистика в Python
В этом модуле вы познакомитесь со статистикой: именно она помогает закопаться глубже в данные, чтобы найти интересные связи и эффективно генерировать гипотезы. Вас ждут не только среднее, медиана и квартили, но и одномерный и многомерный анализ, коллинеарность. Вы научитесь рассчитывать необходимую выборку и доверительный интервал для стат. значимости теста и проектировать дизайн A/B-тестов.
1. Основы описательной статистики, виды распределений в Python
2. Центральная предельная теорема и статистический анализ данных в Python
3. Основные статистические тесты и проверка гипотез
4. Кейс-стади. Статистические показатели в Python
Навыки, которые вы получите
1. Поймёте основы описательной статистики
2. Научитесь проводить основные статистические тесты (z-test, f-test, chi-2 test)
3. Освоите проектирование экспериментов
4. Научитесь проводить анализ A/B-тестов
5. Научитесь интерпретировать исходные данные для нахождения зависимостей
6. Применение математических моделей
Модуль 4 Feature engineering и предобработка данных
Вы изучите инструменты выбора и оценки фичей, научитесь оптимизировать их количество. Новые знания помогут плотнее общаться с разработкой в продукте и быстро вычленять ошибки в их логике. Также вы приобщитесь к главной библиотеке data scientists — sklearn для feature selection.
1. Проверка и очистка данных с помощью pandas и numpy
2. Проведение анализа и рекурсивного feature selection и на базе моделей
3. Методы оценки значимости и отбора признаков и их использование
4. «Проклятие размерности», основные алгоритмы и принципы их работы
5. Использование алгоритмов sklearn
Навыки, которые вы получите
1. Освоите описание основных проблем данных
2. Научитесь проверке данных на полноту, целостность, валидность, наличие шумов, ошибок и пропусков
3. Сможете очистить данные с помощью numpy и pandas
4. Разберётесь с сокращением размерности данных алгоритмами PCA, LDA, NMF с помощью sklearn
5. Научитесь выбору и оценке фич
Лабораторные работы
Кроме домашних заданий, в которых вы отрабатываете отдельные навыки, в курсе будет две проверочные точки. Они помогут вам оценить свои силы в комплексных задачах.
1. С помощью статистики изучите данные небольшого датасета на 200+ автомобилей по 26 параметрам, с помощью визуализаций выведете закономерности и протестируете несколько статистических гипотез.
2. Вместе с преподавателем подготовите датасет на 1500 строк к анализу, оцените и выберете из 80 признаков нужные и спрогнозируете стоимостную категорию дома.
Диплом
В рамках дипломного проекта вы будете работать с датасетом на медицинскую тематику. Вы не только самостоятельно подготовите данные для анализа в Python, но и напишете алгоритм, который предсказывает вероятность болезни у пациента по разным признакам.
Дипломная работа выполняется самостоятельно под руководством экспертов курса и позволяет закрепить весь спектр знаний и навыков, полученных на программе.