Метрики классификации, регрессии и ранжирования

• Чем функция потерь отличается от метрики качества и бизнес-показателя?Можно пройти

• Уровни оценки качества

• Что такое confusion matrix? Как определить TP, FP, TN и FN для выбранного положительного класса?Закрыто

Базовые доли

• Как вычисляются accuracy, precision и recall? Когда accuracy вводит в заблуждение?Закрыто
• Как цена FP и FN влияет на выбор метрики и порога классификации?Закрыто

F-мера

• Что такое F1 и F-beta? Как параметр beta меняет приоритет precision и recall?Закрыто
• Почему F1 использует среднее гармоническое? Какие ошибки модели эта метрика не учитывает?Закрыто

• Дисбаланс классов

• Чем отличаются micro-, macro- и weighted-усреднения? Что выбирать для multiclass и multilabel задач?Закрыто

• Как строится ROC-кривая? Что находится на осях и как изменение порога перемещает рабочую точку?Закрыто

ROC-AUC

• Как интерпретировать ROC-AUC через ранжирование положительных и отрицательных объектов? Как учитываются одинаковые вероятности?Закрыто
• Что может означать ROC-AUC = 0,01?Закрыто

• Как строится precision-recall кривая? Почему PR-метрики особенно полезны при редком положительном классе?Закрыто

• Кривые по порогу

• Что такое log loss?Закрыто

Вероятности

• Почему утверждение «MSE никогда не применяется в классификации» некорректно?Закрыто
• Что такое калибровка вероятностей?Закрыто

Протокол оценки

• Как выбрать порог по validation и оценить результат на test, не подгоняя решение под тестовые данные?Закрыто
• Как сравнить две модели на одной тестовой выборке: доверительные интервалы, bootstrap и парные сравнения?Закрыто
• Как оценить метрики по сегментам, во времени и при изменении распределения данных?Закрыто

• Вероятностный прогноз

• Как вычисляются MAE, MSE и RMSE? Как они реагируют на выбросы и в каких единицах измеряются?Закрыто

Относительная ошибка

• Как устроены MAPE, sMAPE и WAPE? Какие проблемы возникают при нулевых, малых и отрицательных целевых значениях?Закрыто
• Когда MAE понятнее бизнесу, а когда удобна относительная ошибка? Можно ли выбрать метрику без понимания задачи?Закрыто

• Что измеряет R²? Может ли он быть отрицательным и что происходит, если целевая переменная постоянна?Закрыто

• Масштаб целевой

• Чем оценка ранжирования отличается от классификации? Что считается запросом, кандидатом и релевантностью?Закрыто

Top-k

• Как вычисляется Precision@k? Что она показывает и почему не отражает порядок документов внутри top-k?Закрыто
• Как вычисляется Recall@k? Чем она отличается от полноты классификатора и как зависит от полноты разметки релевантных документов?Закрыто

Позиция

• Как вычисляются reciprocal rank и MRR? Почему эта метрика может быть недостаточна для запроса с несколькими важными документами?Закрыто
• Как устроены cumulative gain, DCG, IDCG и nDCG@k? Зачем нужны discount по позиции и нормализация?Закрыто

• Релевантность выдачи

• Когда nDCG полезнее Recall@k, а когда важнее MRR или Precision@k?Закрыто