о фундаментальном

Спасибо @che_shr_cat за обзор отличной статьи.

Печально, что мы все еще рассматриваем softmax просто как «удобный инструмент для нормализации».

Softmax имеет гораздо более глубокое значение. Это обобщение логистической функции.
Когда мы используем softmax, мы невольно оказываемся среди этих фундаментальных концепций:

1. Мы рассматриваем данные как происходящие из мультиномиального распределения.

2. Мы ваяем и шлифуем нейронную сеть так, чтобы во время обучения она действовала как система дифференциальных уравнений, более конкретно как система уравнений в репликаторной динамике (см. replicator equation), а также как:

3. ... как модель распределения Гиббса-Больцмана из статистической физики (где температура так естественна, правда?)

И, наконец, печально, что мы все еще связываем себя по ногам, когда залипаем в уже ставшем привычным «обучить, а затем предоставить модель только для инференса». Мы все еще далеки от open-endedness. Залипая на этом подходе мы деплоим в продакшен "сети-старички", которые не хотят и не умеют уже обучаться

Gonzo ML

Make softmax great again

softmax is not enough (for sharp out-of-distribution)

www.tgoop.com/o_fundamentalnom/85

460 viewsedited  Nov 7, 2024 at 09:58

Спасибо @che_shr_cat за обзор отличной статьи.

Печально, что мы все еще рассматриваем softmax просто как «удобный инструмент для нормализации».

Softmax имеет гораздо более глубокое значение. Это обобщение логистической функции.
Когда мы используем softmax, мы невольно оказываемся среди этих фундаментальных концепций:

1. Мы рассматриваем данные как происходящие из мультиномиального распределения.

2. Мы ваяем и шлифуем нейронную сеть так, чтобы во время обучения она действовала как система дифференциальных уравнений, более конкретно как система уравнений в репликаторной динамике (см. replicator equation), а также как:

3. ... как модель распределения Гиббса-Больцмана из статистической физики (где температура так естественна, правда?)

И, наконец, печально, что мы все еще связываем себя по ногам, когда залипаем в уже ставшем привычным «обучить, а затем предоставить модель только для инференса». Мы все еще далеки от open-endedness. Залипая на этом подходе мы деплоим в продакшен "сети-старички", которые не хотят и не умеют уже обучаться

BY о фундаментальном