Ждем-не дождемся, но пока все вокруг только обещают…

У Anthropic снова крутое обновление: на этот раз в Claude добавили возможность выбора кастомных пользовательских стилей

Стиль ответа бота можно выбирать из предустановленных (краткий, развернутый или формальный) или создать свой собственный. Для этого нужно загрузить текст, стиля которого модель должна придерживаться: Claude проанализирует его и будет в будущем предлагать в качестве опции.

То, чего всем нам не хватало

Кому такую шапку?

Группа «Т-Технологии», в которую входит Т-Банк, начинает строить свои дата-центры

В совете по развитию цифровой экономики подчеркивают, что в условиях текущих ограничений этот шаг позволит больше контролировать безопасность данных клиентов, ведь в любой момент внешние сервисы могут попасть под санкции.

"Растущий спрос на создание ЦОД в том числе продиктован ускорившейся гонкой за создание суперинтеллекта, в которой невозможно участвовать без развитой технологичной инфраструктуры", – сообщила заведующая кафедрой мировых финансовых рынков и финтеха РЭУ им. Г. В. Плеханова Светлана Фрумина.

К 2027 в Т-Банке намерены запустить уже два центра обработки данных. В каждом из построенных ЦОД будут установлены свыше 100 тыс. серверов, а также Т-Банк станет первым банком в мире, использующим в дата-центрах технологию Direct Free Air Cooling. Проектный показатель эффективности использования электроэнергии (Power Usage Effectiveness, PUE) составит 1.15, это значительно ниже среднемирового уровня — 1.6.

Сейчас, когда ходит все больше и больше слухов о том, что модели ИИ якобы перестали масштабироваться, многие вспоминают и возвращаются к легендарной статье Scaling Laws for Neural Language Models от OpenAI. Она была написана в 2020 году. Многие уверены, что в этой работе впервые исследуются законы скейлинга моделей, и потому она считается основополагающей. Но знали ли вы, что на самом деле scaling laws изобрели намного раньше?

Еще в 2017 году, в год выхода гугловской статьи про трансформер, вышла папира исследователей из Baidu Research, в которой они описали точно такие же зависимости и влияние количества параметров в модели и токенов в трейне на лосс. Правда, вместо трансформера ученые использовали LSTM, и не называли свои выводы "законами". Но зато они уже тогда проверили заключения и на обработке изображений, и на задаче распознавания речи, так что получился вполне себе мультимодальный подход.

Вот главный вывод из статьи OpenAI (цитата):

Лосс масштабируется как степенной закон с ростом размера модели, размером набора данных и объемом вычислений, используемых для обучения. Другие архитектурные детали, такие как ширина или глубина сети, оказывают минимальное влияние. Эти соотношения позволяют нам определить оптимальное распределение фиксированного бюджета вычислений.

А вот – из статьи Baidu Research (тоже цитата):

Наши эмпирические результаты показывают масштабирование лосса по степенному закону с ростом таких факторов как размер датасета и объем вычислений. При этом тюнинг самой модели только смещает лосс, но, по-видимому, не влияет на показатель степенного закона. Мы также показываем, что размер модели масштабируется сублинейно с ростом объема данных. Эти соотношения масштабирования имеют существенное значение, так как могут служить руководством при проектировании вычислительных систем.

Все новое – хорошо забытое старое?

Миниатюра: заказчик и ML-команда

Нас ждут ИИ-видеоигры от Илона Маска

В Твиттере он прокомментировал пост о том, что индустрия игр загибается и объяснил это тем, что слишком много студий геймдева принадлежит корпорациям.

«В xAI мы собираемся открыть студию разработки игр с ИИ, чтобы снова сделать игры великолепными!»

LM Arena опять радует прогрессом: разработчики добавили RepoChat Arena, в котором можно проверить модели на умение работать с кодовой базой

Видимо, решение вдохновлено высокой популярностью Cursor, Copilot и других разработчиков из коробки. На арене теперь можно отправить моделям ссылку на репозиторий и попросить их исправить баги / добавить фичи / задать вопросы по коду и тд, а затем проголосовать за ту модель, которая справилась лучше.

Теперь ждем лидерборд с первыми результатами

Для аналитиков тоже нашли порцию новогоднего настроения