Нейроночки теряют пластичность при continual learning (постепенном дообучении на новых данных, когда старые данные уже недоступны).

Потеря пластичности - потеря способности учиться на новых данных. А мы же хотим делать всяких автономных агентов, которые будут и новые вещи встречать (а значит и на них научиться надо). Не нужно путать с забыванием (forgetting), когда моделька забывает старые данные, которые видела на предыдущих этапах обучения.

Воспроизвели феномен для супервайзд лернинга на CIFAR-100 и ImageNet, задаче учить новые классы для классификации (задачку модифицировали под continual learning). В случае с CIFAR-100 Сначала учили на 5 классах, постепенно добавляя новые. После 40 увидели что способносить учить новые классы деградирует. После постепенного дообучения на 100 классах акураси была на 5% меньше, чем у сети изначально натренированной на этих же 100 классах .

Эта же проблема проявляется в обучении с подкреплением. На самом деле для РЛя потеря пластичности еще критичнее чем для супервайзд лернинга (в супервайзде мы можем много данных сразу сложить и на них обучиться). В РЛе агент со временем и по мере прогресса видит новые состояния, и часто доходя до определенного реварда нейронка начинает деградировать.

Решить ситуацию предлагают через свой continual backpropagation метод обучения при котором часть "малополезных весов" (в статье определяют свою меру полезности) повторно инициализируется на каждом шаге, так же как они инициализировались в начале обучения. Вообще потеря пластичности возникает судя по всему из-за того что некоторые веса со временем "стабилизируются" (перестают активно меняться при обучении). Потому предлагают некоторые регионы сетей иногда шевелить, чтобы оно хотело учиться..

В задачах с рлем где был PPO помимо continual backpropagation добавили еще L2 регуляризацию и PPO полегчало (на 2 скрине).

Еще нашли, что использование оптимизатора Adam, добавление Dropout и нормализации усиливают потерю пластичности. А вот добавление L2 регуляризации потерю уменьшают.

Так понял. Статейку читать, там все есть.

Loss of plasticity in deep continual learning
https://www.nature.com/articles/s41586-024-07711-7

коды
https://github.com/shibhansh/loss-of-plasticity