Библиотека собеса по Data Science | вопросы с собеседований

Есть ли уникальные особенности подбора гиперпараметров у параметрических и непараметрических моделей, кроме стандартной кросс-валидации

🔹 Параметрические модели

Обычно гиперпараметров меньше.

Чаще всего настраивают:
➡️ коэффициенты регуляризации (λ в ridge/lasso),
➡️ архитектуру сети (глубина, число нейронов),
➡️ степень полинома.

Важно учитывать взаимодействия гиперпараметров (например, глубина сети + скорость обучения + регуляризация).

🔹 Непараметрические модели

Количество гиперпараметров может быть больше и они сильно влияют на сложность модели.

Примеры:
➡️ число соседей в kNN,
➡️ bandwidth в kernel density estimation,
➡️ глубина деревьев и число признаков в случайных лесах.

Подбор может требовать grid search, random search или Bayesian optimization.

🐸 Библиотека собеса по Data Science

Please open Telegram to view this post

VIEW IN TELEGRAM

👍2

www.tgoop.com/ds_interview_lib/1170

717 viewsSep 14 at 18:37

Есть ли уникальные особенности подбора гиперпараметров у параметрических и непараметрических моделей, кроме стандартной кросс-валидации

🔹 Параметрические модели

Обычно гиперпараметров меньше.

Чаще всего настраивают:
➡️ коэффициенты регуляризации (λ в ridge/lasso),
➡️ архитектуру сети (глубина, число нейронов),
➡️ степень полинома.

Важно учитывать взаимодействия гиперпараметров (например, глубина сети + скорость обучения + регуляризация).

🔹 Непараметрические модели

Количество гиперпараметров может быть больше и они сильно влияют на сложность модели.

Примеры:
➡️ число соседей в kNN,
➡️ bandwidth в kernel density estimation,
➡️ глубина деревьев и число признаков в случайных лесах.

Подбор может требовать grid search, random search или Bayesian optimization.

🐸 Библиотека собеса по Data Science