tgoop.com/karpovdmitry/76
Last Update:
Метрики моделей ML на примере огорода и связь с бизнесом 🍎
Я уже рассказывал ранее про задачи, которые решают нейронки. Сегодня разберёмся на простых примерах (давайте на примере огорода) какие есть метрики моделей и как они связаны с бизнесом.
Регрессия и Прогнозирование Урожая.
Вспоминаем, задачка регрессии — это когда мы просим машину предсказать нам число. Какой объём помидоров будет выращен на следующей неделе. Или сколько покупателей придёт к нам в огород за картошкой в следующем месяце. Какие метрики оценки качества для такого рода задачи есть:
Представим, вы хотите угадать, сколько помидоров вырастет на вашем огороде. Ваши прогнозы и реальные данные таковы.
Предсказание: 100, 200, 300 помидоров на трех грядках.
Реальность: 90, 190, 310 помидоров.
MSE (Средняя квадратичная ошибка) самая распространённая метрика. Используется когда у нас значения не сильно отличаются друг от друга и мало выбросов. Как рассчитать?
Находим разницу между предсказанием и реальностью, затем возводим в квадрат:
Грядка 1: (100 - 90)^2 = 100
Грядка 2: (200 - 190)^2 = 100
Грядка 3: (300 - 310)^2 = 100
Суммируем все полученные значения и делим на количество грядок (в нашем случае, 3):
Сумма: 100 + 100 + 100 = 300
MSE = 300 / 3 = 100
MSE равное 100 говорит, что в среднем наши предсказания отклоняются от реальных данных на квадратный корень из 100, то есть на 10 помидоров.
Как рассчитать MAE (Средняя абсолютная ошибка). Используется часто когда есть выбросы. Например , в выходные все идут на огород более активно и затариваются в 10 раз больше овощей. Абсолютная разница:
|100 - 90| = 10
|200 - 190| = 10
|300 - 310| = 10
MAE = (10 + 10 + 10) / 3 = 10
MAE в 10 показывает, что в среднем мы ошибаемся на 10 помидоров с каждой грядки.
Как рассчитать MAPE (Средняя абсолютная процентная ошибка). Здесь мы просто показываем на сколько % ваша модель точна или нет. Абсолютная процентная ошибка:
|(100 - 90) / 90| = 11.11%
|(200 - 190) / 190| = 5.26%
|(300 - 310) / 310| = 3.23%
MAPE = (11.11 + 5.26 + 3.23) / 3 ≈ 6.53%
MAPE около 6.53% говорит, что наши предсказания в среднем отличаются от реального урожая на 6.53%.
Зачем нам точность и почему трекать ошибку так важно? Чем точнее прогноз, тем лучше мы можем планировать закупки, производство и маркетинг. Например, если мы знаем, что вырастет много помидоров, мы можем заранее найти покупателей или расширить каналы сбыта, чтобы не остаться с нераспроданным товаром. На больших оборотах это могут быть десятки и сотни миллионов рублей.
Классификация и Управление Запасами
Метрика accuracy в контексте огорода помогает нам правильно сортировать урожай. В бизнесе это как точное управление запасами и качеством продукции. Если мы точно знаем, что и где у нас лежит, мы можем эффективно управлять нашими запасами, минимизировать потери и предложить клиентам именно то, что им нужно, увеличивая их удовлетворенность и лояльность. Например вам надо проверить сколько коробок с помидорами и огурцами вы правильно промаркировали. Если из 100 коробок 90 помечены правильно, ваша точность — 90%.
Ранжирование и Приоритизация Продукции
Precision@K помогают определить, какие овощи стоит выставить на передовые позиции. Т.е это Доля релевантных объектов среди первых K штук в ранжировании. В бизнесе это как определение приоритетов в линейке продуктов или услуг. Понимая, какие продукты наиболее востребованы или прибыльны, мы можем акцентировать на них внимание в рекламе и продвижении, оптимизируя наш маркетинговый бюджет и усилия. Когда вы регаетесь на маркетплейсе в перый раз, и маркет не имеет о вас даты, он просто вам покажет ТОП самых продаваемых товаров, чтобы вы с большей вероятностью пошли дальше по воронке и кликнули на товар.
Вывод:
Другие задачи встречаются реже. Но ключевое, что нужно запомнить при оценке качества моделей - это доля ошибок. Чем меньше ошибка, тем больший импакт на бизнес модель способна оказывать. Продакт тут должен уметь в целеполагание и связывать метрики качества модели с бизнесовыми метриками. В остальном задача инженеров и аналитиков 🔥
BY Дмитрий Карпов | философия продакта
Share with your friend now:
tgoop.com/karpovdmitry/76