tgoop.com/extended_surreality/361
Last Update:
В честь дня знаний: несколько любопытных материалов про «внутренний мир» LLM:
Во-первых, 3blue1brown продолжают радовать наглядными роликами, объясняющими работу GPT. Теперь можно узнать, как в языковых моделях работает механизм внимания и как они запоминают факты. Видео на этом канале всегда очень понятные и доступные + есть русские субтитры. Так что если вы до этого не смотрели их эксплейнеры, то сейчас самое время это сделать.
И парочка статей:
▪️Machine Psychology - очередная попытка проложить путь к "машинной психологии", нацеленной на понимание процессов поведения и познания у ИИ. Авторы фокусируются на вычислительных инструментах, которые помогают обнаруживать новые эмерджентные способности у LLM и отслеживать поведенческие паттерны моделей. В статье дается обзор существующих практик машинной психологии, а также выделяются лучшие методы и наиболее перспективные направления для будущих исследований.
▪️What is it like to be a bot? The world according to GPT-4 (Dan Lloyd) - статья, опубликованная в Frontiers of Psychology, посвященная, опять же, эмерджетным свойствам языковых моделей. Автор предлагает методы реконструкции субъективного мира модели (s-world) в целях последующего сравнения когнитивных способностей различных LLM. Пользуясь инструментами философской феноменологии и когнитивной этологии, Дэн Ллойд выделяет ряд характерных поведенческих закономерностей и ошибок, обыкновенно допускаемых GPT-4, и предполагает, что их происхождение связано с отсутствием у LLM способности к субъективному восприятию времени. Этот недостаток свидетельствует о том, что GPT-4 в конечном счете не способен создавать стабильную модель окружающего мира (но это не точно).
#papers
BY EXTENDED (SUR)REALITY
Share with your friend now:
tgoop.com/extended_surreality/361