Модели классического ML

• Что такое машинное обучение? Чем модель, подобранная по данным, отличается от правила, записанного вручную?Можно пройти

Задачи

• Какие задачи решает ML: классификация, регрессия, ранжирование, кластеризация, понижение размерности и обнаружение аномалий? Что является ответом модели в каждой из них?Можно пройти
• Чем отличаются обучение с учителем, без учителя, semi-supervised, self-supervised и обучение с подкреплением?Можно пройти

Объекты

• Что такое объект, признак и целевая переменная? Чем обучающая выборка отличается от данных, на которых модель потом применяют?Можно пройти
• Чем параметры модели отличаются от гиперпараметров?Можно пройти
• Что такое инференс? Почему на этом этапе параметры обычно не обновляют?Можно пройти

• Обобщение на новые объекты

• Что такое производная, частная производная и градиент? Как исследовать рост, убывание и экстремумы функции и чем локальный минимум отличается от глобального?Закрыто

• Локальная линейность

• Что такое линейная комбинация и линейная зависимость векторов или столбцов матрицы?Закрыто

• Какие этапы включает ML-проект: постановка задачи, сбор данных, baseline, обучение, оценка, внедрение и мониторинг?Закрыто

Эксперимент

• Как выбирать train, validation и test? Когда нужны стратификация, разбиение по группам или по времени?Закрыто
• Как отличить недообучение от переобучения по ошибкам и learning curves?Закрыто
• Как обеспечить воспроизводимость эксперимента: данные, split, seed, зависимости, код и параметры?Закрыто

Оптимизация

• Как работает градиентный спуск? Чем отличаются batch, stochastic и mini-batch варианты?Закрыто
• Какие свойства функции потерь важны для оптимизации? Что делать с недифференцируемыми точками?Закрыто
• От чего зависят сходимость и найденная точка: выпуклость, начальные веса, learning rate и стохастичность?Закрыто

• Обобщающая способность

• Как устроена линейная регрессия? Как вывести нормальное уравнение и записать формулу обновления весов?Закрыто

Коэффициенты

• Как интерпретировать коэффициенты линейной модели? Как масштаб признаков и мультиколлинеарность влияют на интерпретацию?Закрыто
• Как работают L1, L2 и Elastic Net? Почему L1 может обнулять коэффициенты?Закрыто

• Как устроена логистическая регрессия? Почему линейная функция преобразуется сигмоидой, а в multiclass может использоваться softmax?Закрыто

• Линейный предиктор

• Как работает kNN? Каковы затраты на хранение, построение и поиск при разных способах реализации?Закрыто

• Как на kNN влияют масштабирование, метрика расстояния, число соседей и проклятие размерности?Закрыто

• Что такое энтропия, бинарная и перекрёстная энтропия?Закрыто

• Как строится дерево решений для классификации и регрессии? Как выбираются признак, порог и критерий разбиения?Закрыто

• Как параметры глубины, минимального размера листа и pruning ограничивают переобучение дерева?Закрыто

• Как разные модели обрабатывают пропуски и категориальные признаки? Когда необходим отдельный preprocessing?Закрыто

• Что такое bagging и случайный лес? Как bootstrap и выбор подмножества признаков влияют на корреляцию деревьев?Закрыто

Бустинг

• Как устроен градиентный бустинг? На каких целевых значениях обучается очередной базовый алгоритм?Закрыто
• Почему бустинг называется градиентным? Как меняется шаг обучения для разных функций потерь?Закрыто

Настройка бустинга

• Чем XGBoost, LightGBM и CatBoost отличаются по построению деревьев, работе с категориями и регуляризации?Закрыто
• Как связаны learning rate, число деревьев, глубина, subsampling и early stopping в бустинге?Закрыто

Ошибка и поиск

• Что такое bias–variance decomposition и как шум данных ограничивает достижимое качество? Как сравнить bias и variance одного дерева, случайного леса и бустинга?Закрыто
• Как работают grid search, random search и байесовская оптимизация гиперпараметров? Как сравнивать их при ограниченном бюджете?Закрыто

• Корреляция базовых моделей

• Как работает PCA? Как связаны собственные векторы, SVD и объяснённая дисперсия?Закрыто

• Сжатие признакового пространства

• Как оценивать важность признаков через permutation importance и SHAP? Как коррелированные признаки осложняют интерпретацию?Закрыто