❓Как учитывать стоимость ошибок в классификации, если мы опираемся на AUC и ROC-кривые
ROC-кривые и AUC оценивают, насколько хорошо модель ранжирует положительные объекты выше отрицательных, но не учитывают, что цена ложноположительных и ложноотрицательных ошибок может сильно отличаться.
В задачах с высокими ставками — от поиска мошенничества до медицинской диагностики — важно адаптировать подход: 🔎Использовать матрицу стоимости или кастомную функцию потерь, чтобы сильнее наказывать определённые ошибки. 🔎Выбирать порог не для максимизации TPR/FPR, а для минимизации ожидаемой стоимости ошибок. 🔎Считать дополнительные метрики, например, cost-weighted accuracy или Weighted Error Rate, которые учитывают специфику домена.
Главная ошибка — слепо ориентироваться на AUC: модель с лучшим AUC может оказаться хуже на реальном пороге, где критична стоимость ошибок.
❓Как учитывать стоимость ошибок в классификации, если мы опираемся на AUC и ROC-кривые
ROC-кривые и AUC оценивают, насколько хорошо модель ранжирует положительные объекты выше отрицательных, но не учитывают, что цена ложноположительных и ложноотрицательных ошибок может сильно отличаться.
В задачах с высокими ставками — от поиска мошенничества до медицинской диагностики — важно адаптировать подход: 🔎Использовать матрицу стоимости или кастомную функцию потерь, чтобы сильнее наказывать определённые ошибки. 🔎Выбирать порог не для максимизации TPR/FPR, а для минимизации ожидаемой стоимости ошибок. 🔎Считать дополнительные метрики, например, cost-weighted accuracy или Weighted Error Rate, которые учитывают специфику домена.
Главная ошибка — слепо ориентироваться на AUC: модель с лучшим AUC может оказаться хуже на реальном пороге, где критична стоимость ошибок.
The court said the defendant had also incited people to commit public nuisance, with messages calling on them to take part in rallies and demonstrations including at Hong Kong International Airport, to block roads and to paralyse the public transportation system. Various forms of protest promoted on the messaging platform included general strikes, lunchtime protests and silent sit-ins. In 2018, Telegram’s audience reached 200 million people, with 500,000 new users joining the messenger every day. It was launched for iOS on 14 August 2013 and Android on 20 October 2013. Over 33,000 people sent out over 1,000 doxxing messages in the group. Although the administrators tried to delete all of the messages, the posting speed was far too much for them to keep up. With Bitcoin down 30% in the past week, some crypto traders have taken to Telegram to “voice” their feelings. The group also hosted discussions on committing arson, Judge Hui said, including setting roadblocks on fire, hurling petrol bombs at police stations and teaching people to make such weapons. The conversation linked to arson went on for two to three months, Hui said.
from us
