tgoop.com/soldatov_in_telegram/704
Last Update:
Подсознательное обучение
Чем больше мы изучаем ИИ, тем больше находим сходств с "естественным интеллектом", далее буду писать ЕИ. В статье про креативность я сравнивал собственные подходы к созданию "нового" с тем, как работает LLM, и на каком-то уровне абстракции не нашел принципиальных отличий.
Но вот и новое исследование (статья, код) показывает, что Модель-ученик, обучаемая на выводе другой Модели-учителя, перенимает черты учителя, причем даже если обучающий материал не связан с этими чертами учителя. Любопытно, что пока подтверждена такая неявная передача особенностей учителя ученику только если и у учителя и у ученика используются схожие базовые модели. Исследование идет немного далее и утверждает, что выявленное "подсознательное обучение" является общим свойством нейросетей.
Приведенные результаты имеют большое значение для разработки ИИ, так как простое отсеивание некорректного поведения из данных может оказаться недостаточным для предотвращения формирования у модели нежелательных свойств, которые, безусловно, отразятся на ее выдаче. Очередная капля в важность вопроса доверенности ИИ
#ml
BY Солдатов в Телеграм

Share with your friend now:
tgoop.com/soldatov_in_telegram/704