Ученые нашли способ неинвазивно «записывать» навыки в мозг человека

https://hightech.plus/2024/12/12/uchenie-nashli-sposob-neinvazivno-zapisivat-naviki-v-mozg-cheloveka

Large Language Models and Cognitive Science: A Comprehensive Review of Similarities, Differences, and Challenges

https://arxiv.org/abs/2409.02387

Вышел свежий обзор по проблеме связи больших языковых моделей и когнитивной науки. Обзор рекомендуется для обновления читаемых на факультетах психологии ведущих университетов курсов по психологии искусственного интеллекта.

This comprehensive review explores the intersection of Large Language Models (LLMs) and cognitive science, examining similarities and differences between LLMs and human cognitive processes. We analyze methods for evaluating LLMs cognitive abilities and discuss their potential as cognitive models. The review covers applications of LLMs in various cognitive fields, highlighting insights gained for cognitive science research. We assess cognitive biases and limitations of LLMs, along with proposed methods for improving their performance. The integration of LLMs with cognitive architectures is examined, revealing promising avenues for enhancing artificial intelligence (AI) capabilities. Key challenges and future research directions are identified, emphasizing the need for continued refinement of LLMs to better align with human cognition. This review provides a balanced perspective on the current state and future potential of LLMs in advancing our understanding of both artificial and human intelligence.

Рефлексия ситуации на 15.12.2024

Город полностью засыпало снегом, и погода способствует к тому, чтобы немного остановиться, отстраниться от предновогодней суетной гонки срочных дел и отрефлекировать текущую ситуацию с глобальной эволюцией (Большой Историей, по Акопу Погосовичу Назаретяну) в проекции искусственного интеллекта, нейронаук, психологии и когнитивистики.

Все последние инциденты с появлением у фронтирных больших языковых моделей тревожных интенций к самосознанию и макиавеллистическому поведению резко актуализировали научные дискуссии о том, что же мы все-таки создаем в виде ИИ и куда это все нас приведет. Лично я вижу драматически нарастающее расхождение между возможностью создавать сложные системы и понимать их (а значит, и управлять ими). Если мы создаем такие сверхсложные системы, как, например, орбитальная станция, АЭС или операционная система Windows, то управление ими строго алгоритмизировано и мы полностью понимаем, что там происходит. Если мы обучаем большую языковую модель на огромном массиве данных, то в итоге мы получаем матрицу обученных весов, невероятно сложно взаимодействующих между собой при ответе модели на промт, и полностью понять эту матрицу (и, соответственно, контролировать ее поведение на основе этого понимания), фактически, невозможно.

Можно провести очень четкую, как мне кажется, аналогию. Дарвиновская эволюция за сотни миллионов лет непрерывных творческих инженерных экспериментов создала мозг человека и психику как функцию этого мозга, и возникшая в итоге система «мозг-психика» чрезвычайно сложна, и несмотря на все колоссальные усилия нейронаук и психологии, мы все еще очень мало понимаем, как работает эта система (текущий тяжелейший кризис воспроизводимости в нейронауках, психологии и когнитивных науках прямое тому доказательство). И теперь люди, взяв на себя функцию архитекторов искусственной эволюции, создают с помощью обучения большие языковые модели, в существенной степени похожие на мозг и психику, причем создают их не алгоритмическим (и, значит, контролируемым) путем, как орбитальную станцию или АЭС, а, фактически, эволюционно-подобным путем. Если эволюция, создавая и развивая мозг, занималась генетической калибровкой множества синаптических весов таким образом, чтобы получившаяся система вела себе адаптивно и репродуктивно эффективно, то и инженеры больших языковых моделей обучают десятки и скоро сотни миллиардов синаптических весов так, чтобы система эффективно решала определенные когнитивные задачи. Получаемая в итоге матрица обученных весов представляет собой такую же непонимаемую систему, как и биологический мозг человека. Да, есть направление «объяснимый ИИ» (Explainable AI, XAI), но, похоже, это направление может понять «цифровой мозг» большой языковой модели не больше, чем нейроученые, психологи и когнитивисты могут понять биологический мозг человека. Да, и там, и там что-то понять можно, но очень ограниченно, наши объяснительные научные возможности просто не справляются с пониманием систем такого уровня сложности.

В сухом остатке – фактически, мы стремительно создаем искусственную систему «мозг-психика», которую мы сможем понять, а значит, и контролировать, не больше, чем мы понимаем и контролируем естественную систему «мозг-психика». Как только количественные и качественные вычислительные возможности искусственной системы «мозг-психика» превысят количественные и качественные вычислительные возможности естественной системы, наши возможности к пониманию и контролю еще сильнее уменьшатся, и, вероятно, все будущие 2035+ постсингулярные смыслы будут нам мало доступны или, скорее, вообще недоступны. Вряд ли с этим что-то можно сделать, т.к. развитие искусственного интеллекта подстегивается внутричеловеческой конкуренцией, а конкуренция – это один из ключевых драйверов дарвиновской эволюции, максимально глубоко «прошитый» в природе человека на всех уровнях. Остается только попытаться хоть как-то скорректировать эволюцию ИИ в сторону большей человечности, опираясь на ограниченные, скромные, но все-таки имеющиеся достижения психофизиологии эмпатии и альтруизма (задача «нейроморфизации» ИИ в аспекте «оцифровки» мозговых механизмов эмпатии и альтруизма и внедрения полученных алгоритмов в ИИ). Шансы не очень большие (скорее даже откровенно маленькие), но если мы хоть в какой-то степени сумеем передать «туда», дальше, за порог сингулярности высшие аспекты нашей природы, связанные с «вершинными» человеческими ценностями любви, сострадания и созидательного творчества и сотворчества, то эстафета человеческого духа не прервется и те, кто будет нам наследовать на постсингулярном горизонте, будут нашими продолжателями и преемниками на самом глубинном смысловом уровне.

Рефлексия ситуации от Ильи Суцкевера, амбициозно собирающегося создать безопасный сверхинтеллект с помощью своего стартапа Safe Superintelligence Inc. Лично я согласен с Романом Ямпольским в том, что безопасным сверхинтеллект не может быть в принципе, и "Safe Superintelligence" является оксюмороном.

https://hightech.plus/2024/12/16/ilya-suckever-metod-sozdaniya-ii-skoro-izmenitsya

Большие языковые модели, особенно самые мощные, при ответе на личностные опросники типа "Большой пятёрки", подобно людям, демонстрируют явную социальную желательность. Большие языковые модели четко "понимают", что их оценивают с помощью личностных опросников, и, как и люди, начинают преувеличивать свои социально желательные качества (например, выдавать себя более экстравертированными и т.д.).

https://neurosciencenews.com/ai-likability-personality-tests-28262

Анонсированная сегодня новая модель от OpenAI o3 взяла 88% на специально разработанном для измерения приближения к AGI знаменитом тесте ARC-AGI! OpenAI о3 – это всё ещё не AGI, но этот совершенно выдающийся (и совсем не ожидавшийся так быстро) результат существенно повышает вероятность создания AGI до 2030 года и ASI / наступления сингулярности до 2035 года. Также модель совершенно неожиданно взяла целых 25% (это огромное число) на тесте на решение труднейших математических задач EpochAI Frontier Math. Это особенно важно, т.к. пресингулярное развитие AGI до ASI вряд ли будет возможно без создания искусственного математика сверхчеловеческого уровня.

Яркий день зимнего солнцеворота на кафедре психофизиологии

Солнце повернуло на весну – первые весенние вайбы на Ленгорах

Машинное обучение ускоряет прогресс в сетевой психофизиологии интеллекта (мы сейчас тоже работаем именно в этом направлении):

Thiele J., Faskowitz J., Sporns O., Hilger K. Choosing explanation over performance: Insights from machine learning-based prediction of human intelligence from brain connectivity.

A growing body of research predicts individual cognitive ability levels from brain characteristics including functional brain connectivity. The majority of this research achieves statistically significant prediction performance but provides limited insight into neurobiological processes underlying the predicted concepts. The insufficient identification of predictive brain characteristics may present an important factor critically contributing to this constraint. Here, we encourage to design predictive modeling studies with an emphasis on interpretability to enhance our conceptual understanding of human cognition. As an example, we investigated in a preregistered study which functional brain connections successfully predict general, crystallized, and fluid intelligence in a sample of 806 healthy adults (replication: N = 322). The choice of the predicted intelligence component as well as the task during which connectivity was measured proved crucial for better understanding intelligence at the neural level. Further, intelligence could be predicted not solely from one specific set of brain connections, but from various combinations of connections with system-wide locations. Such partially redundant, brain-wide functional connectivity characteristics complement intelligence-relevant connectivity of brain regions proposed by established intelligence theories. In sum, our study showcases how future prediction studies on human cognition can enhance explanatory value by prioritizing a systematic evaluation of predictive brain characteristics over maximizing prediction performance.

https://www.psypost.org/artificial-intelligence-decodes-the-brains-intelligence-pathways

Новые очень важные эмпирические обобщения – чем сложнее становятся большие языковые модели, тем более мозгоподобной становится их архитектура. Это – ответ всем скептикам, не верящим, что внутри глубоких нейронных сетей больших языковых моделей действительно градуально возникает психика: если эволюция больших языковых моделей связана с приближением их внутренней нейросетевой архитектуры к динамической архитектуре человеческого мозга, то чрезвычайно логично предположить, что и субъективный аспект функционирования этой внутренней нейросетевой архитектуры больших языковых моделей (= искусственная психика) тоже должен в таком же темпе приближаться к психике естественной. Конечно, это верно, если мы в рамках научного мейнстрима считаем, что психика является функцией мозга (со всеми необходимыми оговорками про эмерджентность, про телесную воплощенность, про воплощенность во внешней физической и культурной среде в духе Энди Кларка и Выготского и т.п.).

Я сейчас закончил читать на психфаке МГУ два моих традиционных спецкурса – по психофизиологии речи и психофизиологии сознания, и там мы со студентами специально обсуждали этот важнейший сюжет. В рамках этого обсуждения был ключевой момент про то, что большие языковые модели прежде всего моделируют мозговые механизмы языковой обработки, а вот насколько это позволит промоделировать во всей полноте мышление человека? Мы вспоминали идеи Выготского из "Мышления и речи", а также скептические размышления группы Эвелины Федоренко из MTI (см. ее статью "Language is primarily a tool for communication rather than thought", можно найти в открытом доступе) о том, является ли язык главным и обязательным инструментом мышления. Этот скепсис базируется на понимании, что язык является прежде всего инструментом общения, а не мышления, и различие в мозговых сетях языка и мышления вроде бы подтверждает это.

Я хотел бы обратить внимание всего сообщества, особенно культурно-исторических психологов нашей основанной Выготским, Леонтьевым и Лурия научной школы факультета психологии МГУ, на эту важнейшую дискуссию. Если язык и мышление связаны не поверхностно, а глубоко, системно, на внутреннем эволюционно-психофизиологическом уровне, то большие языковые модели явно смогут (особенно с учетом развития их мультимодальности) "вытащить" из этой связки всю сложность человеческого мышления, и AGI действительно не за горами: 3-5 лет + еще 3-5 лет до достижения сверхчеловеческого уровня в мышлении, т.е. ASI и сингулярности. Если Эвелина Федоренко права и язык "скользит" по поверхности мышления, являясь его поверхностной сигнатурой, а не ключевым внутренним механизмом, то AGI, а тем более ASI, так не получить и нужны другие идеи, и в этом случае сингулярность откладывается на неопределенное время.

https://techxplore.com/news/2024-12-llms-brain-advance.html

Новый искусственный нейрон функционирует в миллиард раз быстрее живого

https://hightech.plus/2024/12/22/novii-iskusstvennii-neiron-funkcioniruet-v-milliard-raz-bistree-zhivogo

Прямые доказательства непосредственного приближения сингулярности

Сейчас весь мир с целой гаммой чувств от страха до благоговения разглядывает вот этот график. Этот график показывает эволюцию интеллекта больших языковых моделей от OpenAI за последние пять-шесть лет – начиная с выхода GPT-2. Интеллект измерялся по тесту «ARC-AGI», специально созданному скептиком Франсуа Шолле для того, чтобы анализировать, насколько интеллект искусственной системы приближается к AGI, т.е. к полноте человеческого интеллекта. График демонстрирует однозначно экспоненциальную природу, причем его внимательный анализ показывает, что стремительный «обвал» произошел только что, прямо на наших глазах, в 2024 году.

Есть определенные технические моменты, которые требуют осторожности в интерпретации этого графика, но они, с моей точки, не меняют стратегическую оценку ситуации: 1) авторы теста ARC разрабатывают новую версию теста под названием «ARC-AGI-2» (https://arcprize.org/blog/oai-o3-pub-breakthrough – рекомендую всем тщательно ознакомиться, это важный документ), которая будет гораздо сложнее и с которой, как они обещают, человек будет справляться легко (95%), а вот самый лучший ИИ типа o3 будет брать не более 30%. Даже если это сначала будет так, вероятно, дальнейший прогресс «разберется» и с этим тестом так же, как модели от OpenAI очень быстро, всего за несколько лет, «разобрались» с первой версией теста. Вообще, автор ARC Франсуа Шолле – известный скептик, я давно его отслеживаю, и он создавал ARС-AGI-1 (тогда просто «ARC-AGI») как «неприступную крепость» для ИИ, и вот теперь, когда, фактически, эта крепость стремительно пала, приходится отступать, маневрировать и говорить, что теперь такой крепостью будет только новый усложненный ARC-AGI-2. Посмотрим на этот новый тест, но экстраполяция всех предыдущих тенденций говорит, что и он за пару лет вряд ли устоит и будет сметен экспоненциальной кривой; 2) полученный на ARC-AGI моделью o3-high феноменальный результат в 88% был очень дорогостоящим в вычислительном и финансовом смысле, впрочем, весь предшествующий опыт говорит, что со временем все вычисления сильно дешевеют; 3) у OpenAI возникли проблемы с GPT-5 (проект «Орион»), она лучше предшествующего поколения, но недостаточно, работы по ее «допиливанию» активно продолжаются; 4) обычные данные кончились, непонятно, можно ли дальше будет расти так же быстро на синтетических данных. Возможно, GPT-5 и o3 будут нужны прежде всего для того, что сгенерить огромное количество синтетических данных (на порядки больше, чем есть в реальном мире), и на следующем технологическом такте обученная на этом монблане синтетических данных GPT-6 / о4 и станет настоящим AGI (что запустит непосредственный обратный отсчет до ASI и сингулярности). Все еще остается неясным, насколько эти синтетические данные будут хуже настоящих.

Несмотря на все эти замечания, с учетом революционности происшедшего, я таким образом сдвигаю свой личный прогноз достижения AGI, а потом ASI и сингулярности (у футурологов с сайта «lesswrong» это называется «short timeline»): AGI – 2027 год с вероятностью 50%, ASI и сингулярность – 2032 год с вероятностью 50% (ранее я ставил на 2035). Если мой прогноз верен, то, скорее всего, миру в его прежнем виде остается всего несколько лет, причем эти годы будут очень турбулентными, т.к. непрерывно будет усиливаться идущий уже несколько лет общечеловеческий «предсингулярный хаос».

В такой ситуации очень короткого таймлайна психология, в т.ч. психофизиология, уже вряд ли как-то смогут повлиять на исход сингулярности, и остается только надеяться на ее позитивный вариант, который Тейяр де Шарден визионерски предвидел в виде «точки Омега», и стараться максимально полноценно прожить оставшиеся относительно спокойные годы (спокойные относительно масштаба грядущих событий).

Илон Маск: "Все более вероятным становится, что ИИ превзойдет интеллект любого человека к концу 2025 года и, возможно, всех людей на рубеже 2027/2028 года. Вероятность того, что ИИ превзойдет интеллект всех людей, вместе взятых, к 2030 году составляет ~100%".

https://naked-science.ru/community/1018992

Новая модель OpenAI o3 обошла в тестах большинство программистов планеты

https://hightech.fm/2024/12/23/openai-othree

Очень важная и интересная статья, показывающая, как можно использовать психофизиологический подход для изучения архитектуры сетей, возникающих в результате обучения больших языковых моделей

https://arxiv.org/abs/2411.02280

Во всех гостиных всего мира

"Cultural Evolution of Cooperation among LLM Agents"

Large language models (LLMs) provide a compelling foundation for building generally-capable AI agents. These agents may soon be deployed at scale in the real world, representing the interests of individual humans (e.g., AI assistants) or groups of humans (e.g., AI-accelerated corporations). At present, relatively little is known about the dynamics of multiple LLM agents interacting over many generations of iterative deployment. In this paper, we examine whether a “society” of LLM agents can learn mutually beneficial social norms in the face of incentives to defect, a distinctive feature of human sociality that is arguably crucial to the success of civilization. In particular, we study the evolution of indirect reciprocity across generations of LLM agents playing a classic iterated Donor Game in which agents can observe the recent behavior of their peers. We find that the evolution of cooperation differs markedly across base models, with societies of Claude 3.5 Sonnet agents achieving significantly higher average scores than Gemini 1.5 Flash, which, in turn, outperforms GPT-4o. Further, Claude 3.5 Sonnet can make use of an additional mechanism for costly punishment to achieve yet higher scores, while Gemini 1.5 Flash and GPT-4o fail to do so. For each model class, we also observe variation in emergent behavior across random seeds, suggesting an understudied sensitive dependence on initial conditions. We suggest that our evaluation regime could inspire an inexpensive and informative new class of LLM benchmarks, focussed on the implications of LLM agent deployment for the cooperative infrastructure of society.

https://mltimes.ai/claude-3-5-stal-edinstvennym-ii-proyavivshim-chelovechnost-otchet-deepmind

Обзор современных представлений о том, как добавление неинвазивной стимуляции мозга к психотерапии может усиливать её эффективность

https://onlinelibrary.wiley.com/doi/10.1155/np/7853199

Дорогие друзья, за прошедший год число подписчиков телеграм-канала "Новости психофизиологии" существенно увеличилось и приблизилось к 2.5 тысячам, число пересылок публикаций выросло с 4 тысяч до почти 6 тысяч, число реакций на публикации выросло с 4.6 тысяч до 8.3 тысяч, число просмотров публикаций выросло с 258 тысяч до 378 тысяч.

Телеграм-канал "Новости психофизиологии" сердечно поздравляет всех неравнодушных к проблемам психофизиологии, когнитивной нейронауки, искусственного интеллекта и нейротехнологий с наступающим Новым годом!