Интересный talk про использование нейросетевых моделей для интерпретации данных и открытия физических законов. В этой парадигме данные сначала обучают нейронку (происходит сжатие), а затем обученная нейронка дистиллируется в теорию (через символьную регрессию, например https://github.com/MilesCranmer/PySR этого же автора).

Вторая часть рассказа про важность foundation models и про проект Polymathic AI (https://polymathic-ai.org/) нацеленный на обучение foundation models для физики. Из прикольного, рандомная инициализация — очень плохой prior. Даже предобучение на видео котиков даёт сильно лучший результат.

В целом я тоже до сих пор восхищаюсь, как задача "всего лишь" предсказания следующего токена даёт нам такие офигительные модели.

https://www.simonsfoundation.org/event/the-next-great-scientific-theory-is-hiding-inside-a-neural-network/

Поступил комментарий от Jan Leike
https://x.com/janleike/status/1791498174659715494

И вот вам ещё тематический лонгрид, спасибо Мише Самину за наводку

https://www.vox.com/future-perfect/2024/5/17/24158403/openai-resignations-ai-safety-ilya-sutskever-jan-leike-artificial-intelligence

Ну и в продолжение темы, ещё вам свежего ))

How Far Are We From AGI
Tao Feng, Chuanyang Jin, Jingyu Liu, Kunlun Zhu, Haoqin Tu, Zirui Cheng, Guanyu Lin, Jiaxuan You
Статья: https://arxiv.org/abs/2405.10313
Репа (со ссылками на мастриды, а не с AGI): https://github.com/ulab-uiuc/AGI-survey

Тут группа людей с китайскими фамилиями из университета Иллинойса по результатам свежего одноимённого воркшопа ICLR 2024 “How far are we from AGI” (https://agiworkshop.github.io/) опубликовала работу на 120 страниц (из них 45 страниц ссылок) на тему “далеко ли до Таллинна AGI”. Судя по бросающимся в глаза “delve”, GPT тоже участвовал 🙂

Если честно, я пока не осилил, только по диагонали проглядел. Но выглядит полезно. Работа в первую очередь призывает к рефлексии на тему. Разбирают, какие у AGI ожидаются внутренности (Perception, Reasoning, Memory, Metacognition), как он будет работать с внешним миром (отдельно разбираются цифровой мир, физический и другие умные сущности, мясные и не очень), различные аспекты устройства и работы AGI систем (архитектуры, обучение/инференс, косты и эффективность, вычислительные платформы), AGI Alignment, потенциальный родмэп к AGI с уровнями AGI по Кардашёву, задача evaluation всего этого дела, что нужно для переходов на следующие уровни.

Есть синтез мнений с воркшопа. Процитированы Oriol Vinyals, Yejin Choi, Andrew Gordon Wilson, Song Han, Yoshua Bengio. Отвечая на вопрос “когда?”, больше 80% за горизонт 5+, из них самая большая доля в 37% за 20+.

Есть большой раздел с case studies про применения в науке, Generative Visual Intelligence, интересный раздел про World Models for AGI, Decentralized AI, AI для кодирования, AI for Robotics, Human-AI Collaboration.

Выглядит интересно, почитать точно есть что. И как сборник релевантных материалов, кажется, тоже очень ничего.

Напишите, что вам оттуда больше всего понравилось. Или что совсем неправильно на ваш взгляд. Или что важное упущено.