🦆xAI обвиняет OpenAI в 💣диверсии и 📖краже исходного кода

В самом сердце Кремниевой долины разворачивается драма, достойная шпионского романа. Компания 😎Илона Маска xAI обвиняет своего главного конкурента, OpenAI, не просто в переманивании сотрудников, а в организации целенаправленной стратегической кампании по хищению коммерческих тайн.

xAI заявляет о краже двух главных активов: 🖥всего исходного кода и уникальной стратегии развертывания дата-центров, которую назвали 📄 "секретным соусом".

Как утверждает xAI в иске, в этой истории замешаны 🥷❗️три ключевые фигуры. Один из инженеров (Сюэчэнь Ли) признался в хищении всей кодовой базы xAI, второй (Джимми Фрейтюр) использовал технологию AirDrop для копирования исходного кода на личные устройства, а один из финансовых руководителей передал OpenAI конфиденциальные данные об операционной эффективности компании. OpenAI наняла его с целью получения конфиденциальных данных об операционной эффективности компании.

👍В иске представлены конкретные даты, имена, технологии и цифровые артефакты. У xAI есть вырисовывается весьма серьезная обвинительная доказательная база, вероятно, полученная в результате внутреннего 🕵️форензик-расследования.

Cогласно материалам дела, охота велась целенаправленно, ведь, вербовкой обоих инженеров, находящихся по разные стороны Атлантики, занимался один и тот же рекрутер из OpenAI по имени Тифа Чен, а это указывает на скоординированный характер действий.

👆Представитель OpenAI называет иск xAI "попыткой преследования со стороны господина Маска", пытаясь свести технический и юридический спор к личной неприязни.

✋ @Russian_OSINT

🤔Экспериментальная модель 🖥Extract-0 за $196 превзошла 👩‍💻 GPT-4 и 👩‍💻 o3 в извлечении данных?

Исследователь Энрике Годой из 🇧🇷Бразилии представил ИИ-модель Extract-0, специализированную LLM с 7 миллиардами параметров, которая демонстрирует новый уровень эффективности в извлечении структурированной информации из документов. Согласно исследованию, данная языковая модель превосходит по производительности популярные универсальные модели, включая GPT-4.1, o3 и GPT-4.1-2025. Ресёрчер ставит под сомнение устоявшуюся парадигму, где доминирующим фактором эффективности считается исключительно масштаб модели.

Ключ к успеху Extract-0 кроется в новаторской трехэтапной методологии обучения, которая позволила достичь высокой точности при минимальных затратах. Процесс включает генерацию 280 128 синтетических примеров данных с сохранением контекстной памяти, параметроэффективную тонкую настройку (LoRA), затрагивающую всего 0.53% весов модели, и обучение с подкреплением (GRPO) с использованием семантической функции вознаграждения. Такой подход позволяет ИИ-агенту понимать смысловую эквивалентность данных, а не простое текстуальное совпадение.

В ходе тестирования на эталонном наборе из 1000 задач по извлечению информации Extract-0 достиг среднего показателя вознаграждения 0.573, значительно опередив GPT-4.1 (0.457) и o3 (0.464).

◀️Для адаптации ❗️ DeepSeek-R1-Distill-Qwen-7B применялся метод Low-Rank Adaptation (LoRA), который изменил всего 0.53% от общего числа параметров модели (40.4 млн из 7.66 млрд).

◀️Изначально базовая модель без дообучения имела средний результат 0.232 и валидность JSON на уровне 42.7%.

◀️После этапа контролируемой тонкой настройки (Supervised Fine-Tuning) производительность модели выросла до 0.507, а валидность JSON достигла 79.9%.

◀️Финальный этап обучения с подкреплением (GRPO) позволил достичь итогового результата в 0.573 со средней валидностью JSON в 89.0%, что представляет собой кумулятивное улучшение на 147.0% по сравнению с базовой моделью.

🖥 Примечательно, что общая стоимость всего цикла обучения модели на одном графическом процессоре NVIDIA H100 составила всего $196.

Цифры наглядно демонстрируют экономическую и техническую состоятельность целенаправленной оптимизации под конкретную задачу. Исследование убедительно пытается доказать, что узкоспециализированные ИИ-решения могут быть не только конкурентоспособными, но и более эффективными по сравнению с масштабируемыми моделями общего назначения.

👆Ограничение исследования коренится в его валидационной парадигме, которая оценивает производительность модели исключительно на in-distribution данных. Обучающий и тестовый наборы сэмплированы из одного и того же синтетического распределения, поэтому продемонстрованная высокая производительность не позволяет сделать надежных выводов о способности модели работать также эффективно в реальных условиях на практических задачах. Таким образом, полученные метрики обладают высокой внутренней валидностью (в рамках созданного синтетического мира), но их внешняя валидность (применимость к реальным задачам) остается под вопросом.

👀 В любом случае ознакомиться с исследованием не помешает.

✋ @Russian_OSINT

💡 RND1 - новая экспериментальная модель с 30 миллиардами параметров, построенная по архитектуре Sparse Mixture-of-Experts, где активно 3 миллиарда параметров.

Она была преобразована из предварительно обученной авторегрессионной модели (Qwen3-30B-A3B) и затем дополнительно обучена на 500 миллиардах токенов, чтобы полностью поменять поведениие диффузионной модели.

Обычные модели (AR, автогрессионные) пишут текст слово за словом, а RND1 создаёт всё предложение сразу и потом пошагово уточняет его, как будто “проявляет” текст из шума.

Это - Diffusion Language Model (DLM), аналог диффузионных моделей, которые рисуют картинки, только здесь она “рисует” слова.

🔄 Как её сделали

Команда Radical Numerics придумала, как превратить готовую модель в диффузионную без обучения с нуля.

Они просто поменяли тип внимания и дообучили модель на новой задаче.

Этот метод называется AR-to-Diffusion Conversion (A2D) - то есть конверсия из автогрессионной модели в диффузионную.

Как это происходит:
1. Берут сильную GPT-подобную модель.
2. Меняют механизм внимания — теперь модель видит весь контекст сразу.
3. Продолжают обучение по диффузионной задаче.
4. Используют разные скорости обучения для разных частей сети, чтобы модель не забыла старое, но научилась новому способу мышления.

⚙️ Что под капотом

▪ Mixture-of-Experts (MoE) - у модели 30 млрд параметров, но реально работают только 3 млрд за раз. Это делает её мощной, но экономной.

▪ Непрерывное дообучение - старые знания не стираются, а “встраиваются” в новый режим.

▪ Огромные батчи - модель учится на больших партиях данных, чтобы стабилизировать обучение, ведь она не обрабатывает все токены сразу.

✔️ Почему это интересно

- Параллельная генерация - текст создаётся быстрее, без пошаговой задержки.
- Меньше затрат - активных параметров всего 3 млрд, при этом качество как у больших GPT.
- Новая архитектура - открывает дорогу гибридным моделям, сочетающим плюсы AR и DLM.
- Полностью открытый код и веса - можно исследовать, изменять, запускать самому.
- Первый серьёзный шаг к самосовершенствующемуся ИИ- модель может не только обучаться, но и помогать в проектировании следующей версии.

Это реально интересный метод, RND1 показывает, что ИИ можно не просто обучать, а перестраивать - менять его саму логику мышления без начала “с нуля”.

Похоже, это может стать фундаментом для систем Recursive Self-Improvement (RSI), когда ИИ способен создавать и улучшать самого себя.

🟠Blog: https://radicalnumerics.ai/blog/rnd1

🟠Code: https://github.com/RadicalNumerics/RND1

🟠Report: https://radicalnumerics.ai/assets/rnd1_report.pdf

🟠Веса: https://huggingface.co/radicalnumerics/RND1-Base-0910

@ai_machinelearning_big_data


#RND1 #RadicalNumerics #AI #DLM #DiffusionModel #MoE #OpenSource

Мы решили задачу омографов и ударений в русском языке

Мы опубликовали библиотеку silero-stress для расстановки ударений в обычных словах и омографах:

1️⃣ Расставляет ударения, решает омографы, ставит букву ё;

2️⃣ "Знает" порядка 4М русских слов и словоформ и порядка 2K омографов;

3️⃣ Простановка ударения в обычном 1 слове занимает где-то 0.5 ms, а в предложении на 400 символов с 2 омографами - порядка 30 ms;

4️⃣ Общий размер библиотеки составляет порядка 50 мегабайт (архив весит порядка 30 мегабайт), что является сжатием словарей и всех датасетов примерно в 400 раз;

5️⃣ Опубликована под популярной и простой лицензией (MIT);

6️⃣ Не содержит раздутого кода, лишних библиотек, гигабайтов академических артефактов;

7️⃣ Зависит только от стандартной библиотеки питона и работает на всех последних версиях PyTorch.

Ставим ⬆️ habr.com/ru/articles/955130/
Ставим ⭐️ https://github.com/snakers4/silero-stress

🖥 Гайд по PostgreSQL для продвинутых разработчиков

PostgreSQL – одна из самых мощных СУБД с открытым исходным кодом. Этот гайд подробно охватывает ключевые аспекты PostgreSQL: от внутренней архитектуры до приёмов оптимизации. Мы рассмотрим администрирование, производительность, расширения, инструменты, а также сравним популярные ORM для Python и Go. В конце приведён список продвинутых вопросов, часто встречающихся на собеседованиях.

🟠Гайд

@sqlhub