Библиотека собеса по Data Science | вопросы с собеседований

📈 Как вы будете оценивать качество модели, если у вас нет доступных «истинных» меток в продакшене

Это реальная проблема во многих продуктах — например, в рекомендательных системах, предсказаниях отмен заказов, финансовом скоринге и т.п.

Возможные подходы:

▶️ Делayed feedback: использовать метки, которые появляются с задержкой. Всё равно сохраняем предсказания и «догоняем» оценку позже.

▶️ Прокси-метрики: если нет ground truth, можно использовать поведенческие сигналы — например, клик или отказ (proxy for relevance).

▶️ Shadow-модель: запускать модель параллельно с текущей системой и сравнивать предсказания, без воздействия на пользователя.

▶️ A/B-тестирование: запускать часть трафика на новую модель и измерять бизнес-метрики (конверсии, выручку и т.д.).

▶️ Сравнение распределений: можно следить за prediction drift — если распределение выходов резко отличается от обучающего, это может быть сигналом о деградации.

▶️ Модель доверия: обучить вторую модель, которая предсказывает вероятность ошибки основной — своего рода safety layer.

Библиотека собеса по Data Science

Please open Telegram to view this post

VIEW IN TELEGRAM

❤2👍2

www.tgoop.com/ds_interview_lib/1100

751 viewsedited  Aug 1 at 18:03

📈 Как вы будете оценивать качество модели, если у вас нет доступных «истинных» меток в продакшене

Это реальная проблема во многих продуктах — например, в рекомендательных системах, предсказаниях отмен заказов, финансовом скоринге и т.п.

Возможные подходы:

▶️ Делayed feedback: использовать метки, которые появляются с задержкой. Всё равно сохраняем предсказания и «догоняем» оценку позже.

▶️ Прокси-метрики: если нет ground truth, можно использовать поведенческие сигналы — например, клик или отказ (proxy for relevance).

▶️ Shadow-модель: запускать модель параллельно с текущей системой и сравнивать предсказания, без воздействия на пользователя.

▶️ A/B-тестирование: запускать часть трафика на новую модель и измерять бизнес-метрики (конверсии, выручку и т.д.).

▶️ Сравнение распределений: можно следить за prediction drift — если распределение выходов резко отличается от обучающего, это может быть сигналом о деградации.

▶️ Модель доверия: обучить вторую модель, которая предсказывает вероятность ошибки основной — своего рода safety layer.

Библиотека собеса по Data Science