Новости психофизиологии

Ключевой вопрос, который волнует сейчас всех – насколько большие языковые модели способны к эффективным человекоподобным рассуждениям, и, в целом, к мышлению?

Новое исследование вскрыло когнитивную микроархитектуру процесса арифметических рассуждений большой языковой модели на уровне отдельных нейронов. Оказалось, что в процессе мышления в виде арифметических рассуждений большие языковые модели ни "просто вспоминают" запомненную из обучающей выборки информацию, ни формируют надёжные обобщённые алгоритмы, а генерируют набор простых эвристик, каждая из которых идентифицирует определённый цифровой паттерн на входе и соотносит его с соответствующим выходом.

https://arxiv.org/abs/2410.21272

arXiv.org

Arithmetic Without Algorithms: Language Models Solve Math With a...

Do large language models (LLMs) solve reasoning tasks by learning robust generalizable algorithms, or do they memorize training data? To investigate this question, we use arithmetic reasoning as a...

www.tgoop.com/andrey_kiselnikov/1126

1.8K viewsNov 24, 2024 at 15:12

Ключевой вопрос, который волнует сейчас всех – насколько большие языковые модели способны к эффективным человекоподобным рассуждениям, и, в целом, к мышлению?

Новое исследование вскрыло когнитивную микроархитектуру процесса арифметических рассуждений большой языковой модели на уровне отдельных нейронов. Оказалось, что в процессе мышления в виде арифметических рассуждений большие языковые модели ни "просто вспоминают" запомненную из обучающей выборки информацию, ни формируют надёжные обобщённые алгоритмы, а генерируют набор простых эвристик, каждая из которых идентифицирует определённый цифровой паттерн на входе и соотносит его с соответствующим выходом.

https://arxiv.org/abs/2410.21272

BY Новости психофизиологии