[Stepik] Машинное обучение: Метрики качества классификации и регрессии (Сергей Спирёв)

Машинное обучение: Метрики качества классификации и регрессии
Одним из основных требований к датасаентисту является – хорошее знание метрик качества оценки моделей машинного обучения. Обучить модель и сделать предсказания – это важный момент, но не менее важным является способность правильно оценить качество этих предсказаний, используя именно те метрики оценки, которые наиболее точно соответствуют вашим данным и целям конкретной задачи. В курсе рассмотрены метрики качества для задач классификации и регрессии с использованием библиотеки Scikit-learn.
О курсе:
Когда я только начинал свой путь в изучении машинного обучения, тема метрик качества была для меня какой-то «головоломной». Вроде бы и нет в ней какого-то совсем уж сложного математического аппарата, но когда в неё углубляешься, то в голове каша и винегрет из понятий, формул, терминов. А когда её ещё и преподносят в академической форме, то тут уж совсем тоска зелёная.
Но тема метрик качества является одной из основополагающих в машинном обучении. Это фундамент, на котором строится всё машинное обучение с точки зрения применимости и полезности моделей на практике. И хорошо разбираться в этом вопросе – это важный момент.
Как понять, ваша модель «умная» или «глупая»? Понять это можно, только посмотрев на её ошибки и оценки качества. Хорошо, посмотрели на оценки качества – результат получился супер. Отлично! Но подходит ли та метрика качества, которую вы применили к вашей модели, или она не учитывает важные особенности ваших данных?
На эти вопросы специалист по машинному обучению должен уметь отвечать.
Скажу также, что по своей натуре я не являюсь теоретиком. Я предпочитаю, когда теория соединяется с практикой. Через практику я могу понять больше, чем из сухих формул.
Этот же подход я применяю в подготовке обучающего материала. Я не теоретизирую много, стараюсь не углубляться туда, куда не нужно углубляться с точки зрения здравого смысла и практической применимости. А также пытаюсь сложные понятия перевести на простой человеческий язык.
Материала, предоставленного в курсе будет достаточно, чтобы приобрести надёжную базу, на которую впоследствии вы можете наслаивать новые знания в такой интересной области, какой является машинное обучение.
Для кого этот курс:
Курс для тех, кто уже делает первые шаги в изучении машинного обучения, но желает глубже изучить вопросы оценки качества моделей с использованием инструментов библиотеки Scikit-learn.
Преподаватель Сергей Спирёв:
Имею двадцатилетний опыт работы в банковской, страховой и лизинговой сферах, где занимался финансовым анализом, моделированием, управлением активами.
Анализирую инструменты фондового рынка с 2008 года. Имею большой профессиональный опыт работы с операциями на биржевом и внебиржевом рынках с ценными бумагами, валютами, драгоценными металлами, операциями РЕПО, своп, межбанковским кредитованием.
Программа:
Метрики классификации
1.Введение
2.accuracy_score()
3.confusion_matrix()
4.multilabel_confusion_matrix()
5.ConfusionMatrixDisplay
6.precision_score()
7.recall_score()
8.precision_recall_curve()
9.PrecisionRecallDisplay
10.roc_curve()
11.RocCurveDisplay
12.roc_auc_score(), auc()
13f1_score(), fbeta_score()
14.precision_recall_fscore_support()
15.classification_report()
16.det_curve()
17.DetCurveDisplay
18.cohen_kappa_score()
19.top_k_accuracy_score()
19.dcg_score(), ndcg_score()
Метрики для измерения потерь
1..log_loss()
2.brier_score_loss()
3.hamming_loss()
Метрики регрессии
1.mean_absolute_error()
2.mean_absolute_percentage_error()
3.mean_squared_error(), root_mean_squared_error()
4.mean_squared_log_error(), root_mean_squared_log_error()
6.median_absolute_error(), max_error()
5.r2_score()
7.explained_variance_score()
8.d2_absolute_error_score()
9.mean_pinball_loss()
10.make_scorer()
11.PredictionErrorDisplay
В курс входят:
34 урока
90 тестов
101 интерактивная задача