EXTENDED (SUR)REALITY

Несколько хороших статей про LLM, которые мне недавно подкинул GoAtStack.AI

▪️Dissociating language and thought in large language models

Любопытная статья в духе «AI and the Limits of Language», где постулируется различие между формальной лингвистической компетентностью (знанием лингвистических правил и паттернов) и функциональной лингвистической компетентностью (использованием языка для достижения целей в окружающем мире). Как обычно, поднимается вопрос о возможных навыках, которые необходимы LLM, чтобы те были способны оперировать языком на уровне человека: тут исследователи упоминают формальное рассуждение, знание мира, моделирование ситуаций, социальное понимание и прочие важные, но пока малопроясненные компетенции.

▪️A Philosophical Introduction to Language Models (part 1)

Неплохая обзорная статья, где сначала говорится о том, что из себя представляют современные трансформерные LLM, а потом кратко анализируется актуальность классических компьютеционалистских проблем (разумеется, упоминается проблема семантики и «понимания», проблема «моделей мира» и др.). Это первая часть статьи, а во второй нам обещают рассмотреть новые экспериментальные методы, нацеленные на более конкретное изучение работы существующих LLM.

▪️Beyond Human Norms: Unveiling Unique Values of Large Language Models through Interdisciplinary Approaches

Статья, затрагивающая проблему alignment’а: исследователи из Microsoft Research Asia задались вопросом, могут ли LLM обладать уникальными ценностями, отличными от человеческих, и предлагают новую концепцию ValueLex, позволяющую воссоздать систему ценностей LLM с нуля. На основе структуры «Компетентность-Характер-Целостность» ими разрабатываются тесты для оценки и анализа ценностных ориентаций LLM в зависимости от размера моделей, методов их обучения и источников данных.
(честно признаюсь, что я поняла в статье далеко не всё, но, в любом случае, работа занятная, советую)

#papers

www.tgoop.com/extended_surreality/289

1.5K viewsApr 29, 2024 at 07:05

Несколько хороших статей про LLM, которые мне недавно подкинул GoAtStack.AI

▪️Dissociating language and thought in large language models

Любопытная статья в духе «AI and the Limits of Language», где постулируется различие между формальной лингвистической компетентностью (знанием лингвистических правил и паттернов) и функциональной лингвистической компетентностью (использованием языка для достижения целей в окружающем мире). Как обычно, поднимается вопрос о возможных навыках, которые необходимы LLM, чтобы те были способны оперировать языком на уровне человека: тут исследователи упоминают формальное рассуждение, знание мира, моделирование ситуаций, социальное понимание и прочие важные, но пока малопроясненные компетенции.

▪️A Philosophical Introduction to Language Models (part 1)

Неплохая обзорная статья, где сначала говорится о том, что из себя представляют современные трансформерные LLM, а потом кратко анализируется актуальность классических компьютеционалистских проблем (разумеется, упоминается проблема семантики и «понимания», проблема «моделей мира» и др.). Это первая часть статьи, а во второй нам обещают рассмотреть новые экспериментальные методы, нацеленные на более конкретное изучение работы существующих LLM.

▪️Beyond Human Norms: Unveiling Unique Values of Large Language Models through Interdisciplinary Approaches

Статья, затрагивающая проблему alignment’а: исследователи из Microsoft Research Asia задались вопросом, могут ли LLM обладать уникальными ценностями, отличными от человеческих, и предлагают новую концепцию ValueLex, позволяющую воссоздать систему ценностей LLM с нуля. На основе структуры «Компетентность-Характер-Целостность» ими разрабатываются тесты для оценки и анализа ценностных ориентаций LLM в зависимости от размера моделей, методов их обучения и источников данных.
(честно признаюсь, что я поняла в статье далеко не всё, но, в любом случае, работа занятная, советую)

#papers

BY EXTENDED (SUR)REALITY