🍏Иллюзия мышления: понимание сильных и слабых сторон моделей рассуждения через призму сложности задач

Apple внезапно опубликовала исследование, которое разоблачает популярные LLM с "цепочкой размышлений" (Chain-of-Thought) — такие как Gemini 2.5 Pro, OpenAI o3 и DeepSeek R1.

📌 Что тестировали?
Логические задачи:
• башни Ханоя (100+ шагов!)
• загадка про волка, козу и капусту
• головоломки с правилами и условиями

И всё это — с усложнением.

💥 Результаты:

— 🔁 Модели не думают, а вспоминают
Они не решают задачу шаг за шагом, а ищут похожие примеры в своей базе знаний. Это имитация мышления, а не само мышление.

— 🤯 "Переосмысление" вредит
Если задача простая, модель находит верный ответ — и… продолжает «думать» дальше, усложняя всё и случайно портя решение.

— 🧠 Больше размышлений ≠ лучше результат
Дать больше токенов и времени на размышления не помогает. На сложных задачах модели просто сдаются быстрее. Даже "бесконечный" бюджет не спасает.

— 🧪 Few-shot примеры не работают
Даже если расписать пошаговое решение и дать примеры — модель всё равно ломается, если задача ей незнакома.

— 🏗 Модели обожают Ханой, но ненавидят загадки
Башни Ханоя решаются идеально даже на 100+ шагов.
А вот в простой задаче с козой и капустой — модели сдаются на 4-м шаге. Почему? Ханой — в датасетах, загадки про реку — нет.

🍏 Интересно, что Apple выпустила это исследование за день до WWDC 2025.
Подколка конкурентам? А завтра, может, и своё покажут. 🤔

📎 Исследование: https://ml-site.cdn-apple.com/papers/the-illusion-of-thinking.pdf

@data_analysis_ml

#AI #LLM #AGI #Apple #WWDC2025 #PromptEngineering #NeuralNetworks

🌟 ether0: специализированная модель с ризонингом для химии.

Ether0 - специализированная модель с 24 млрд. параметров, разработанная FutureHouse для проектирования соединений и решения сложных задач в химии.

В отличие от традиционных моделей, она не просто пересказывает теорию, а решает практические задачи: считает атомы, проверяет химическую стабильность и генерирует структуры, подходящие для синтеза, используя естественный язык для рассуждений и вывода структур в формате SMILES.

SMILES (Simplified Molecular Input Line Entry System) — это линейная текстовая нотация для описания структуры химических соединений с использованием коротких ASCII-строк. Он позволяет кодировать молекулярные графы, включая информацию о связях, атомах и хиральности, что делает его удобным для обмена данными в химинформатике.

Пайплайн инференса выглядит так: пользователь вводит текстовый запрос (например, «создай ингибитор киназы с 30 атомами»), модель запускает цепочку рассуждений. Они работают параллельно, предлагая варианты, а потом выбирается лучший результат. Это позволяет комбинировать экспертизу: одна часть системы фокусируется на структуре кольца, другая — на функциональных группах, третья — на токсичности.

Основой ether0 стала Mistral-Small-24B-Instruct-2501, которую адаптировали в несколько итераций.

Сначала исходная модель Mistral прошла стадию SFT на примерах цепочек рассуждений, сгенерированных другими моделями.

Затем ее усилили обучением на группах связанных задач предсказания растворимости и синтеза. После этого, знания объединили в общий пул через дистилляцию, а затем улучшили его с помощью общего RL.

В завершении - GRPO, который сравнивает несколько вариантов ответов на один вопрос, выбирая наиболее точные. Финальный штрих - алайнмент. Модель обучили избегать генерации опасных соединений через дополнительные данные и RL.

В тестах ether0 сравнивали с общими LLM (Claude, o1), специализированными химическими моделями (ChemDFM, TxGemma) и традиционными подходами (Molecular Transformer).

На тестовых задачах с множественным выбором (MCQ), она показала 50,1% точности в режиме zero-shot, что близко к результату o1-2024-12-17 (52,2%).

В задачах проектирования молекул (предсказание реакций) ether0 достигла 70% точности после 46 000 примеров, а MT, обученный на полном наборе данных USPTO (480 000 реакций), показал лишь 64,1%.

ether0 превзошла людей-экспертов и специализированные модели в OA, а тесты на безопасность показали, что модель отказывается от 80% опасных запросов, не теряя точности .


📌 Лицензирование: Apache 2.0 License.


🟡Статья
🟡Модель
🟡Техотчет
🟡Demo
🖥 GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Ether0 #Chemistry #FutureHouse

🌟 True Tech Day 2025: крупнейшая ИТ-конференция от MTS Web Services

MTS Web Services (MWS) провела масштабное мероприятие True Tech Day — свыше 800 000 участников онлайн и 5 000 офлайн. Ключевой фокус — искусственный интеллект и ML.

Формат: 4 трека, 50+ спикеров, интерактив с флагманскими продуктами MWS.

Технологии: генеративный ИИ, цифровые двойники, робототехника, AutoML, системная инженерия будущего.

На главной сцене:
🟡 Пабло дель Веккио (NTT DATA) — цифровые двойники и предиктивные модели
🟡 Дмитрий Ливанов (МФТИ) — open talk об ИИ против разума
🟡 Радослав Нейчев (Яндекс) — синтетические данные и обучение моделей
🟡 Кэсси Козырков (экс-Google) — human-in-the-loop в эпоху AI
🟡 Денис Филиппов (MWS AI) — реальные кейсы генеративного ИИ
🟡 Антон Скогорев (Т-Банк) — архитектура AI-ориентированных систем

Треки конференции:
🟡 MAIN — LLM-агенты, робототехника, цифровые двойники
🟡 SCIENCE — нейрофизиология, нейроимпланты, генная инженерия, частный космос
🟡 ENGINEERING — backend-архитектура, AI-ассистенты, облачные стеки
🟡 AI/ML — RAG, AutoML, временные ряды, оптимизация inference

True Tech Day 2025 стал не просто конференцией, а местом встречи ИТ-сообщества, где ИИ не только обсуждали — с ним взаимодействовали на практике.

@ai_machinelearning_big_data

#AI #ML #TrueTech #MWS

📌Небенчмарковый анализ математических рассуждений o3-mini.

Epoch AI провели исследование, чтобы копнуть способность o3-mini в математическом ризонинге глубже, чем это происходит в популярных тестах и бенчмарках.

Они дали 14 математикам разобрать, как именно o3-mini-high решает сложные задачи из FrontierMath. Цель - понять ее сильные и слабые стороны в реальном математическом мышлении, а не просто фиксировать правильные ответы.

Так как внутренняя структура самой модели OpenAI не раскрывает, авторы сосредоточились на анализе ее рассуждений.

По 29-и "траекториям рассуждений" стало видно: модель не просто перебирает формулы, она действует как "индуктивный решатель на ощущениях" (по выражению одного математика).

Модель проявляет любопытство: пробует разные подходы, ставит "бюджетные эксперименты", чтобы прощупать задачу. Иногда даже пишет код для расчетов, избегая излишней абстракции.

Но стиль ее рассуждений часто неформальный, "черновой". Рассуждения излагаются приблизительно, без строгой формулировки, с пропусками сложных моментов – совсем не как это принято в математической среде.

Почему так? Возможно, строгие доказательства просто реже встречались в ее обучающих данных.

Главные проблемы модели – это обратная сторона ее же достоинств. Да, она эрудирована как никто (знает кучу теорем из разных областей – в 66% случаев она адресно применяла нужные знания, даже если подход был замаскирован).

Но ей не хватает строгости и глубины. Она часто "читерит": делает верную догадку интуитивно и тут же применяет ее для решения, даже не пытаясь ее подтвердить доказательствами.

Порой ей не хватает буквально одного шага до верного ответа. Но главное – математики критикуют ее за слабую креативность. Как заметил один эксперт, модель похожа на аспиранта, который может блеснуть начитанностью, назвать кучу теорем и авторов, но не способен глубоко переосмыслить материал или придумать что-то новое.

Набор идей модели ограничен, и если они не срабатывают – прогресса нет. Плюс ко всему, в 75% рассуждений нашли галлюцинации: модель путает термины, формулы, и зачастую выдумывает несуществующие URL для поиска недостающей информации.

Модель, по заверением OpenAI, обучали на огромном массиве данных математической литературы. Это объясняет ее феноменальную эрудицию. Но смогут ли такие модели, как o3-mini-high, преодолеть свои слабости в будущем?

Или же системы, обученные на синтетических данных (AlphaProof), пойдут другим путем, предлагая в инфернесе рассуждения, мало похожие на человеческое математическое мышление?

А пока что вывод: o3-mini-high – это мощный, но своеобразный инструмент. Знаток с интуицией, но без дисциплины профессора.

🔜 Читать статью полностью

@ai_machinelearning_big_data

#AI #ML #EpochAI