В продолжение разговора о Test-Time Training (TTT), давайте разберем технические детали этого подхода.

🔍 Архитектура TTT состоит из трех ключевых компонентов:

1. Генерация данных для обучения:
- Создает "leave-one-out" задачи из тренировочных примеров
- Применяет набор обратимых трансформаций (поворот, отражение, транспонирование)
- Формирует расширенный набор данных для каждой конкретной задачи

2. Процесс адаптации:
- Использует LoRA-адаптеры для эффективного файнтюнинга
- Rank = 128 обеспечивает баланс между гибкостью и эффективностью
- Применяется к query, value проекциям в self-attention, MLP и выходным слоям
- Обучение происходит за 2 эпохи с batch size = 2

3. Система голосования:
- Генерирует множество предсказаний через различные трансформации
- Использует двухуровневое голосование:
* Сначала внутри каждой трансформации
* Затем между лучшими кандидатами от разных трансформаций

📊 Процесс обучения реализован в два этапа:

1. Предварительный файнтюнинг базовой модели:
- Обучение на синтетических данных ARC
- Использование существующих генераторов задач
- Применение геометрических трансформаций для аугментации

2. Test-Time адаптация:
- Создание уникальной LoRA для каждой задачи
- Оптимизация на примерах конкретной задачи
- Использование AdamW оптимизатора с learning rate 5e-5

🔬 Технические результаты:

- На модели 8B параметров достигает 53% точности
- Улучшает базовую точность в 6 раз для 1B модели
- В ансамбле с program synthesis достигает 61.9%

⚙️ Ключевые технические особенности:
- Не требует доступа к тестовым ответам
- Временные адаптеры удаляются после использования
- Эффективное использование памяти благодаря LoRA
- Работает с существующими языковыми моделями

🤓 Интересные технические находки:
- Иерархическое голосование работает лучше плоского
- Геометрические трансформации критически важны для успеха
- LoRA per task эффективнее общего адаптера
- QLoRA показывает сравнимые результаты при меньшем потреблении памяти

Этот подход открывает новые возможности для адаптивного AI, способного настраиваться на конкретные задачи в реальном времени, сохраняя при этом вычислительную эффективность.

🎮 Gemini Научили Играть в Настольные Игры!

Новое исследование от DeepMind показывает, как языковые модели могут освоить сложные настольные игры, используя методы планирования, похожие на человеческие! 🧠

🎯 Главное открытие:
Исследователи разработали два подхода к планированию ходов:
- Внешний поиск: модель запускает симуляции Monte Carlo
- Внутренний поиск: модель создает дерево возможных вариантов "в уме"

🏆 Впечатляющие результаты:
- Достигнут уровень гроссмейстера в шахматах
- При этом ИИ анализирует примерно столько же ходов, сколько человек-гроссмейстер!
- Успешно играет в другие игры: шахматы Фишера, "Четыре в ряд" и Hex

🔍 Особенности подхода:
- Минимум "галлюцинаций" - модель точно понимает правила
- Предварительное обучение на специальных данных
- Точное понимание корректных ходов и прогнозирование позиций

🌟 Почему это важно:
- ИИ учится мыслить более "по-человечески"
- Методы применимы не только к играм
- Открывает путь к более эффективному обучению языковых моделей

🔮 Перспективы:
Разработанные методы можно применять для улучшения языковых моделей в более широком спектре задач, где требуется планирование и рассуждение.

📄 Блог-пост
♟️ Поиграть в шахматы

В продолжение нашего разговора о языковых моделях для игр, давайте рассмотрим что именно было сделано.

Фундаментом системы является MAV (Multi-Action-Value) специализированная языковая модель, обученная на десятилетиях игровых данных. MAV может одновременно выполнять несколько важных функций:
- отслеживать состояние игры
- оценивать позиции и
- генерировать возможные ходы.

При этом модель демонстрирует крайне низкий уровень галлюцинаций - практически 100% точность в определении корректных ходов и предсказании следующих позиций.

На базе этой модели были реализованы два подхода к планированию:

1. Внешний поиск (external search) использует MAV для управления Monte Carlo Tree Search (MCTS) без обращения к внешним игровым движкам. Модель направляет процесс построения дерева поиска и оценки позиций, опираясь на свои внутренние знания об игре. При использовании всего 100-1000 симуляций (у традиционных движков десятки тысяч) система достигает уровня гроссмейстера.

2. Внутренний поиск (internal search) позволяет модели генерировать и анализировать дерево вариантов прямо в контексте запроса. MAV напрямую строит линеаризованное дерево возможных продолжений и выбирает оптимальный ход. Чем больше токенов выделяется на поиск, тем сильнее играет система.

Результаты впечатляют: система превосходит современные движки в 97.2% тестовых позиций. Особенно важно, что эти подходы не ограничены шахматами - те же принципы можно применять для улучшения рассуждений языковых моделей в других областях, где требуется анализ вариантов и планирование.

Это исследование открывает новую главу в применении языковых моделей, демонстрируя, как объединение современных методов машинного обучения с классическими алгоритмами поиска может привести к качественному скачку в решении сложных задач планирования и рассуждения.​​​​​​​​​​​​​​​​

Статья

🌟 Открыт набор задач для Международной олимпиады школьников по искусственному интеллекту (IOAI 2025)!

Если вы:
- Работаете в сфере ML/AI
- Имеете интересные идеи для олимпиадных задач
- Хотите внести вклад в развитие будущих AI-исследователей

То у вас есть уникальная возможность стать частью этого масштабного образовательного проекта!

🎯 Авторы лучших задач получат приглашение посетить олимпиаду в Китае летом 2025 года.

⏰ Дедлайн подачи задач: 31 января 2025 года

Ваши задачи помогут вдохновить и подготовить новое поколение AI-исследователей. Это шанс войти в историю развития AI-образования!

Подробная информация и помощь по всем вопросам доступны по ссылке. Присоединяйтесь! 🚀

🎵 On the third day of Christmas, Sam Altman gave to me:
Generations with Sora,
O(1) fine-tuning,
And two hundred bucks for ChatGPT! 🎶

Сделал свое первое видео с Sora

Генерация 2х вариаций 5 секундного ролика заняла 4 минуты (полагаю что из-за очереди, но в явном видео это нигде не указано).

Мой запрос (я просил Сэма Алтмана поющего рождественские хоралы) был отредактирован в соответствии с политикой контента OpenAI.

Ролики прикладываю в комментарии.

Очевидно что это сора это навык, и еще более очевидно, что за следующий месяц мы насмотримся абсолютно безумных, невероятных и крайне неожиданных результатов.

Количество видео регулируется некими кредитами, которые видимо будут обнуляться каждый месяц.

2 вариации 5s 420p - 50 кредитов

Кстати, работает все это через Stripe =)

Тем временем, на секундочку, вернемся к настоящим видосам.

Оптимус вышел на прогулку рядом с офисом Tesla в Пало Альто.

Deep Research

Google выкатил интересное обновление Gemini, про которое напишу вообще все, а я же хочу сосредоточиться на том, что теперь ассистент умеет сам проводить исследования в интернете.

Выглядит это так:

Вы просите его разобраться в какой-то теме, например "как сейчас развивается рынок беспилотных автомобилей". Gemini составляет план поиска, показывает его вам на проверку, а потом начинает самостоятельно искать информацию в сети.

Он не просто собирает первые попавшиеся ссылки, а действует как настоящий исследователь - находит что-то интересное, копает глубже на основе найденного, проверяет разные источники. В итоге выдает структурированный отчет со всеми ссылками, который можно сразу выгрузить в Google Docs.

Представьте: вместо того чтобы часами сидеть с десятком открытых вкладок, делая пометки и пытаясь не утонуть в информации, вы получаете готовый обзор за несколько минут. При этом можете его обсудить с ассистентом и попросить что-то уточнить или переделать.

Пока Deep Research (так называется эта функция) доступен только в платной версии Gemini Advanced и работает на десктопе. В мобильное приложение обещают добавить в начале 2025 года.

А еще Google выпустил экспериментальную версию новой модели - Gemini 2.0 Flash. Она работает быстрее и умнее, но пока находится в режиме тестирования. Попробовать можно уже сейчас - просто выберите ее в выпадающем меню моделей.

И вот, мы стали еще на шажок ближе к тому моменту, когда ИИ-ассистенты действительно начнут освобождать нас от рутинной работы, а не просто отвечать на вопросы 😊

Блог-пост

Зацените номера!

BETA AI

Вот это я понимаю человек живет 🤖

📍 Oyster Point, South San Francisco

Антропик показали, как ИИ может анализировать сам себя 🔍🤖

Друзья, сегодня расскажу про крутейшее исследование от компании Anthropic - они создали систему Clio, которая позволяет безопасно анализировать миллионы разговоров с ИИ-ассистентом Claude.

В чём суть? 🎯
- Clio использует сам ИИ для анализа паттернов использования ИИ-ассистентов
- Система сохраняет приватность пользователей, работая только с обобщёнными данными
- Позволяет увидеть реальные сценарии применения ИИ в повседневной жизни

Что интересного обнаружили? 📊
- Самые популярные задачи: программирование, создание контента и исследования
- Пользователи из разных стран используют ИИ по-разному (например, в Японии больше обсуждают проблемы старения населения)
- Выявили новые способы злоупотребления системой, что помогло усилить защиту

Почему это важно? 💡
1. Впервые получили реальную картину использования ИИ в масштабе миллионов разговоров
2. Нашли баланс между аналитикой и приватностью
3. Создали основу для более безопасного развития ИИ-ассистентов

Технология работает как Google Trends, но для разговоров с ИИ - показывает тренды, паттерны и аномалии, не раскрывая личных данных пользователей.

Это прорыв в понимании того, как люди реально взаимодействуют с ИИ. И что особенно круто - система использует ИИ для анализа ИИ, что открывает новые горизонты в развитии безопасных и этичных технологий.

Судя по результатам анализа, мы в пузыре? В тоже время, Клодом пользуются в основном айтишники, так что может не так все и плохо 🤔

Блог-пост
Статья

В продолжение разговора о метаанализе ИИ-систем, давайте разберемся в Clio подробнее.

Фундаментом системы является многоуровневый пайплайн обработки данных с несколькими ключевыми компонентами:

Извлечение характеристик

- Система использует специализированные языковые модели для анализа каждого диалога
- Извлекает множество параметров: язык общения, тему, намерения пользователя
- Работает как с прямыми метриками (длина диалога), так и с семантическим анализом

Умная кластеризация

- Применяет embedding-based clustering для группировки похожих диалогов
- Использует k-means с динамическим определением оптимального числа кластеров
- Строит иерархическую структуру паттернов использования


Защита приватности

- Многоуровневая фильтрация персональных данных
- Агрегация информации только при достаточном количестве похожих случаев
- Автоматическая проверка на отсутствие идентифицирующей информации

Результаты

- Система выявила основные сценарии использования ИИ (программирование, создание контента, исследования)
- Обнаружила культурные различия в применении ИИ
- Помогла выявить и предотвратить попытки злоупотребления системой

Особенно важно, что Clio демонстрирует новый подход к анализу ИИ-систем, где сам искусственный интеллект используется для понимания паттернов своего применения.

Исследование знаменует важный шаг в развитии прозрачных и этичных методов анализа ИИ-систем, объединяя передовые технологии машинного обучения с принципами защиты приватности.

Статья

У Грока определено есть вкус

Открытая реализация масштабирования времени обдумывания (inference time): от O1 к открытым моделям

Команда Hugging Face успешно воспроизвела и адаптировала для открытых моделей подход, который OpenAI впервые продемонстрировала в своей модели O1. Теперь эта техника доступна всем! 🚀

В 2024 году OpenAI первыми показалили, как увеличение времени "обдумывания" может значительно улучшить производительность модели на сложных задачах. В частности, их модель O1 демонстрировала постоянное улучшение результатов на математических задачах при увеличении вычислительного бюджета на этапе вывода.

Что удалось воспроизвести? 🔍

Команда Hugging Face адаптировала этот подход для открытых моделей и показала, что:
- Маленькая модель Llama 1B может достичь производительности Llama 8B
- Модель Llama 3B может конкурировать с Llama 70B
- Всё это возможно без доступа к закрытым моделям или огромным вычислительным ресурсам

Как это работает? 🤔

Основная идея та же, что и у OpenAI - дать модели больше времени на "размышление". Команда реализовала и сравнила три подхода:

1. Best-of-N (Базовый подход)
- Генерируем несколько решений
- Выбираем лучшее с помощью верификатора
- Простой, но эффективный метод

2. Beam Search (Продвинутый метод)
- Систематический поиск решений
- В 4 раза эффективнее Best-of-N
- Оптимален для сложных задач

3. DVTS (Новый метод от HF)
- Улучшение beam search
- Фокус на разнообразии решений
- Лучшая производительность при большом бюджете

Необходимые компоненты:
- Открытая базовая модель (например, Llama-3.2-1B-Instruct)
- Модель-верификатор (например, RLHFlow/Llama3.1-8B-PRM)
- Реализация стратегии поиска

Значение для сообщества 🌟

Эта работа особенно важна, потому что:
- Делает продвинутые техники доступными для всех
- Показывает, что маленькие открытые модели могут быть очень эффективными
- Предоставляет практическую реализацию для экспериментов

Что дальше? 🚀

Открытая реализация этих методов открывает новые возможности:
- Применение подхода к другим задачам
- Улучшение верификаторов
- Разработка новых стратегий поиска

Это отличный пример того, как открытые модели и исследования двигают область вперёд.

Блог-пост

Прогнозирование будущего с помощью языковых моделей 🤖📈

Друзья, сегодня поговорим о прогнозировании будущего с помощью больших языковых моделей (LLM). Исследователи показали как можно скомбинировать силу чисел и контекста!

🔍 Ключевой прорыв
До недавнего времени системы прогнозирования работали только с числами - представьте себе графики продаж или температуры. Но в реальном мире мы принимаем решения, учитывая множество факторов! Новый подход позволяет моделям понимать контекст так же, как это делаем мы с вами.

🛠️ Как это работает?

- Модель анализирует не только числовые данные, но и важную текстовую информацию
- Учитывает исторические события и будущие планы
- Понимает причинно-следственные связи
- Адаптируется к различным сценариям

📊 Практические примеры

- Прогноз загруженности дорог с учетом предстоящих мероприятий
- Предсказание потребления энергии с учетом погодных условий
- Анализ продаж с учетом маркетинговых кампаний

🎯 Интересные результаты

- GPT-4 и Gemini показали впечатляющие результаты в понимании временных рядов
- Модели успешно интегрируют текстовую информацию в прогнозы
- Точность прогнозов значительно улучшается при добавлении контекста

🔮 Будущее прогнозирования

Представьте себе системы, которые смогут:

- Анализировать множество источников данных одновременно
- Учитывать глобальные тренды и локальные особенности
- Давать объяснения своим прогнозам на человеческом языке

Это захватывающее время для искусственного интеллекта и анализа данных! Мы становимся свидетелями того, как машины учатся понимать временные ряды почти так же целостно, как люди.

Что думаете об этом прорыве? Делитесь своими мыслями в комментариях! 💭

Статья

В продолжение нашего разговора о прогнозировании временных рядов, давайте глубже рассмотрим ключевые компоненты современных систем прогнозирования на основе больших языковых моделей, опираясь на последние исследования.

Архитектурные инновации
- Разработка WaveToken - интересный подход к токенизации временных рядов через вейвлет-преобразования
- Chronos - минималистичный подход к адаптации языковых моделей
- TimeMixer++ продемонстрировали эффективность гибридных архитектур

Обработка контекстной информации
- TimeGPT-1 показали возможность работы с разнородными данными из множества доменов
- LLMForecaster представил инновационный подход к интеграции текстового контекста
- TimeFM достиг впечатляющих результатов при существенно меньшем размере модели

Особенно интересно отметить результаты последних бенчмарков, показывающих, что закрытые модели (GPT-4, Gemini) значительно превосходят открытые решения в понимании временных рядов. При этом исследования показывают три ключевых направления развития: LLM как усилитель существующих моделей, как предиктор и как агент.

Исследования в этой области, особенно работы по Resolution-Aware Retrieval и Context is Key benchmark, открывают путь к созданию более совершенных систем прогнозирования, способных учитывать широкий спектр факторов и предоставлять обоснованные предсказания в различных областях применения.

Закончились 12 дней Open AI, по этому поводу сделал вам песню про все что показали.