Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение

🧠 Шпаргалка по функциям активации нейронных сетей

Функции активации определяют, как нейрон реагирует на вход. Быстрая справка:
🟠Sigmoid: σ(x) = 1 / (1 + exp(-x)) — [0,1], часто для вероятностей.
🟠Tanh: tanh(x) — [-1,1], центрированная версия сигмоиды.
🟠ReLU: max(0, x) — простая и быстрая, популярна в скрытых слоях.
🟠Leaky ReLU: x if x>0 else αx — решает проблему «мертвых нейронов».
🟠ELU: экспоненциальная ReLU, сглаживает негативные значения.
🟠Softmax: exp(x_i)/Σexp(x_j) — для классификации, даёт распределение вероятностей.
🟠Swish / Mish: современные гладкие функции, улучшают обучение глубоких сетей.

💡 Использование правильной функции активации критично для скорости сходимости и качества модели.

🐸 Библиотека дата-сайентиста

#буст

Please open Telegram to view this post

VIEW IN TELEGRAM

❤6👍3

www.tgoop.com/dsproglib/6878

1.66K viewsSep 23 at 18:06

🧠 Шпаргалка по функциям активации нейронных сетей

Функции активации определяют, как нейрон реагирует на вход. Быстрая справка:
🟠Sigmoid: σ(x) = 1 / (1 + exp(-x)) — [0,1], часто для вероятностей.
🟠Tanh: tanh(x) — [-1,1], центрированная версия сигмоиды.
🟠ReLU: max(0, x) — простая и быстрая, популярна в скрытых слоях.
🟠Leaky ReLU: x if x>0 else αx — решает проблему «мертвых нейронов».
🟠ELU: экспоненциальная ReLU, сглаживает негативные значения.
🟠Softmax: exp(x_i)/Σexp(x_j) — для классификации, даёт распределение вероятностей.
🟠Swish / Mish: современные гладкие функции, улучшают обучение глубоких сетей.

💡 Использование правильной функции активации критично для скорости сходимости и качества модели.

🐸 Библиотека дата-сайентиста

#буст