✔️ В приложение Gemini добавили «запланированные действия».

Новая функция позволяет автоматизировать повторяющиеся задачи и получать персонализированные уведомления. Пользователи могут задавать команды, например, ежедневно присылать сводку календаря или идеи для блога, а также создавать разовые напоминания.

«Запланированные действия» активируется через настройки приложения. Система работает просто: достаточно описать задачу и указать время выполнения. Доступ к инструменту открыт для подписчиков Google AI Pro/Ultra и корпоративных пользователей Google Workspace (образовательные и бизнес-планы).
blog.google

✔️ Google меняет план доступа к AI Studio.

Все началось из за волны возмущения платных подписчиков поводу того, что в Gemini app платный Pro-тариф ($19.99) оказался строже, чем бесплатный AI Studio.

Google отреагировал увеличением лимитов для Gemini app, но параллельно объявил, что AI Studio полностью перейдет на авторизацию по API-ключам. Это напугало разработчиков, многие используют AI Studio в своих проектах. Они опасаются, что теперь придется платить за сервис.

Руководитель направления, Логан Килпатрик, успокоил сообщество: "Бесплатный уровень AI Studio никуда не денется в ближайшее время". Поменяется система учета. Пока большинство укладывалось в свободные квоты, но теперь, при их превышении, точно потребуется свой ключ и, возможно, оплата. Для тех, кому критичны большие квоты Gemini app, теперь нужен уже AI Ultra за $250/мес. Будущее бесплатного доступа в AI Studio прорабатывается, компания обещает минимизировать неудобства.
9to5google.com

✔️ Microsoft Photos получило новые ИИ-инструменты.

Microsoft выпустила обновление для Photos на Windows 11 с новыми фичами. Relight: позволяет управлять тремя источниками света, менять их цвет и фокус, есть готовые пресеты. Пока это работает только на Snapdragon-устройствах Copilot+, но вскоре поддержка дойдет до AMD и Intel.

Поиск по текстовому запросу: вводите «закат на пляже» или «семейный пикник», и приложение найдет подходящие фото без лишних кликов.

Коммерческие пользователи с Entra ID получили доступ к Restyle Image и Image Creator, ранее доступным только через личные аккаунты Microsoft. Обновление доступно в версии 2025.11060.5006.0 и выше.
blogs.windows.com

✔️ Apple на WWDC 2025 анонсировала улучшенные инструменты для разработчиков.

Foundation Models — фреймворк для создания интеллектуальных приложений с поддержкой офлайн-работы и приватностью данных. С ним можно добавлять ИИ-функции в приложения всего за три строки кода на Swift.

Xcode 26 получил интеграцию с ChatGPT и другими LLM, позволяя писать код, тесты и документацию через API-ключи или локальные модели на Mac с чипами Apple. Удобство повысилось за счет голосового управления, обновлённой навигации и локализации.

Swift 6.2 улучшил производительность и взаимодействие с C++ и JavaScript, а также получил поддержку WebAssembly. Контейнеризация для Mac теперь работает с Linux-образами благодаря изолированному опенсорсному фреймворку.
apple.com

✔️ Anthropic закрыла пилотный блог, который вел Claude.

Всего месяц просуществовал экспериментальный блог "Claude Explains", где Claude писал технические статьи. Инициатива, по задумке, должна была объединить обучающий контент с маркетинговыми целями, при участии редакторов и экспертов, дорабатывавших черновики Claude.

Блог освещал темы от анализа данных до оптимизации кода. Однако уже через месяц пилот остановили, хотя планы были грандиозные. Пользователи соцсетей критиковали неясность: часть постов выглядела как автоматизированный маркетинг, а отсутствие меток об ИИ-генерации вызывало недоверие.

Согласно сервису Backlink Checker, за месяц существования блога, на его статьи сослались 24 сайта. Вероятно, Anthropic решили дистанцироваться из-за рисков, связанных с ошибками ИИ. Сейчас с адреса блога установлено перенаправление на главную страницу Anthropic.
techcrunch.com

@ai_machinelearning_big_data

#news #ai #ml

📌Tokasaurus: проект для ускорения работы с языковыми моделями.

Tokasaurus — это движок инференса для языковых моделей в режиме высоконагруженных задач. Он максимизирует пропускную способность при работе с LLM, предлагает поддержку API OpenAI, эффективно управляет памятью и оптимизирует вычисления в сценариях, где важно одновременно обрабатывать множество запросов без задержек.

Архитектура Tokasaurus разделена на 3 компонента: веб-сервер, менеджер и модельные воркеры.

🟢Веб-сервер отвечает за взаимодействие с клиентами, принимая запросы и отправляя ответы.

🟢Менеджер, запущенный в отдельном процессе, управляет планированием задач, KV-кешем и группировкой последовательностей с общими префиксами.

🟢Модельные воркеры выполняют прямые запросы к подключенным LLM. Компоненты обмениваются данными асинхронно через очереди, и это позволяет держать GPU загруженным без простоев.

Проект учитывает растущую потребность в масштабировании и предлагает 3 типа параллелизма: дата-параллелизм (dp_size), пайплайн (pp_size) и тензорный (tp_size) с поддержкой AsyncTP.

Async Tensor Parallelism в PyTorch — это техника ускорения распределенных вычислений для LLM, где операции связи (all-gather/reduce-scatter) разбиваются на асинхронные части и перекрываются с матричными умножениями (matmul) с помощью чередующихся CUDA-потоков: пока один поток вычисляет фрагмент matmul, другой параллельно передаtт данные для следующего фрагмента через P2P-копирование (NVLink + copy engines), минимизируя простои GPU.

При использовании нескольких GPU, например, dp_size=2 и pp_size=4, система задействует 8 GPU, создавая 2 дублирующиеся группы по 4 GPU каждая. При этом параметры управления памятью (kv_cache_size_num_tokens, max_seqs_per_forward) применяются к каждой дата-параллельной группе отдельно. Это позволяет тонко управлять ресурсами, исходя из контекста конкретных нагрузок.

Tokasaurus поддерживает модели семейств Llama3 и Qwen2, использует технологию Hydragen для ускорения внимания над общими префиксами последовательностей.

⚠️ Проект пока молодой, поэтому некоторые функции могут быть нестабильными. Разработчики активно работают над улучшениями.


📌 Лицензирование: Apache 2.0 License.


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM # #Tokasaurus #Github