DS_INTERVIEW_LIB Telegram 1159
⚙️ Почему не стоит использовать Mean Squared Error (MSE) для многоклассовой классификации

Формально MSE можно применять, сравнивая логиты или вероятности с one-hot разметкой. Но на практике есть серьёзные минусы:
🚩 Слабый градиент: MSE даёт менее прямой сигнал для увеличения вероятности правильного класса и подавления остальных.
🚩 Медленная сходимость: обучение идёт дольше, так как градиенты «размазаны».
🚩 Нет явной вероятностной интерпретации: MSE не напрямую связано с максимизацией правдоподобия.

Кросс-энтропия (Cross-Entropy), напротив:
🚩 Напрямую соответствует задаче максимизации лог-правдоподобия.
🚩 Даёт более информативные градиенты.
🚩 На практике почти всегда сходится быстрее и стабильнее.

🐸 Библиотека собеса по Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1



tgoop.com/ds_interview_lib/1159
Create:
Last Update:

⚙️ Почему не стоит использовать Mean Squared Error (MSE) для многоклассовой классификации

Формально MSE можно применять, сравнивая логиты или вероятности с one-hot разметкой. Но на практике есть серьёзные минусы:
🚩 Слабый градиент: MSE даёт менее прямой сигнал для увеличения вероятности правильного класса и подавления остальных.
🚩 Медленная сходимость: обучение идёт дольше, так как градиенты «размазаны».
🚩 Нет явной вероятностной интерпретации: MSE не напрямую связано с максимизацией правдоподобия.

Кросс-энтропия (Cross-Entropy), напротив:
🚩 Напрямую соответствует задаче максимизации лог-правдоподобия.
🚩 Даёт более информативные градиенты.
🚩 На практике почти всегда сходится быстрее и стабильнее.

🐸 Библиотека собеса по Data Science

BY Библиотека собеса по Data Science | вопросы с собеседований


Share with your friend now:
tgoop.com/ds_interview_lib/1159

View MORE
Open in Telegram


Telegram News

Date: |

Add up to 50 administrators Telegram desktop app: In the upper left corner, click the Menu icon (the one with three lines). Select “New Channel” from the drop-down menu. So far, more than a dozen different members have contributed to the group, posting voice notes of themselves screaming, yelling, groaning, and wailing in various pitches and rhythms. Healing through screaming therapy A few years ago, you had to use a special bot to run a poll on Telegram. Now you can easily do that yourself in two clicks. Hit the Menu icon and select “Create Poll.” Write your question and add up to 10 options. Running polls is a powerful strategy for getting feedback from your audience. If you’re considering the possibility of modifying your channel in any way, be sure to ask your subscribers’ opinions first.
from us


Telegram Библиотека собеса по Data Science | вопросы с собеседований
FROM American