Подборка движков для обучения роботов, беспилотников и стройтехники по методу Sim2Real

Sim2Real — это метод обучения в виртуальной среде от моделирования к реальности. Например, если нужно обучить беспилотный грузовик ездить по пересеченной местности, то в симуляции его тестируют на огромном датасете всех возможных преград и только потом выпускают на дороги. В каждой симуляции свои физические параметры — перепады высоты, вид покрытия, трение, погода и т.д.

В основе сред обучения физика реального мира — если посадить там Ньютона под яблоню, то яблоко упадет ему на макушку, и он снова откроет закон всемирного тяготения — поэтому такие движки называются физическими. Движки разрабатывают производители машин и ИИ и вполне себе логично — производители игр. Потому что они уже натренированы, и есть инфраструктура. Игровые движки, как правило, отличаются очень реалистичной картинкой. Картинка неигровых порой выглядит как первый Симс, но зато там прокачена физика.

Из движков выделяют:
⚫️Игровой от Unity, интегрированный с инструментом для прототипирования роботов ROS (Robotic Operation System).

⚫️Игровой от Unreal Engine с реалистичной картинкой — его используют для обучения беспилотных машин.

⚫️PyBullet — open-source со слабой картинкой, но хорошо проработанной физикой мира.

⚫️Mujoco — проект с открытым кодом, настолько хороший, что его купил Google для своего DeepMind, а также используют OpenAI, Nvidia, Boston Dynamics, Dyson.

⚫️NVIDIA Flex, где можно тестировать деформирующиеся объекты и жидкости.

⚫️Симуляторы CarCraft, Simulation City и Waymax от Waymo. По ним машины концерна проехали 5 млрд миль — так обкатываются все релизы перед выпуском в свет.

⚫️Infinity Simulator и Ghost Gym от Wavve. Первый сразу создали на игровом движке, для второго собирали реальный датасет — фото, видео реальных улиц, размечали, создали цифровой двойник.

Как происходит обучение
Создают нейросеть под определенную задачу. Например, как controller на видео. Потом ее обучили в симуляторе Isaac по методу подкрепления и выпустили робота в свет — ходить по улицам, как вот этот из видео.

«Миссией генеративного ИИ будет не восхищать, пугать или давать надежду, а зарабатывать»

Евгений Черешнев, вице-президент по стратегии и инновациям МТС, в колонке на Форбс рассказал о трендах развития мирового и отечественного ИИ в 2025 году.

🔺 Эффективный ИИ. Все успокоятся по хайпу, будут смотреть на результаты и более осмотрительно вкладываться, внимательно оценивая потенциальную эффективность инноваций. Это касается и венчурных инвесторов, и руководителей бизнеса, и самих разработчиков.

🔺 Энергичный ИИ. Из-за того, что ИИ увеличивает нагрузку на вычислительную инфраструктуру, компании начнут искать возможности подготовиться к дефициту ЦОДов. Первый вариант — развивать собственную инфраструктуру, строить ЦОДы и прочее — это доступно только крупным игрокам. Например, для Гугла строят несколько ядерных реакторов. Второй вариант — использовать платформу распределенных вычислений.

🔺 Узконаправленный ИИ. Чтобы ИИ-продукты начали работать, их начнут делать более узкоспециализированными, для решения конкретной задачи. Например, ИИ-ассистенты врачей, обученные на профильной информации. Также повысится запрос на ИИ-агентов.

🔺 Распределенный ИИ. Одно из решений от пауз в работе для интернета вещей с большим количеством подключенных к одной сети устройств — развернуть малые и средние ИИ-модели непосредственно на устройствах. Сейчас говорят о телефонах с ИИ на борту: моделька там совсем крошечная, но для телефона ее достаточно. Также этот рынок в 2025-м будет развиваться из-за роста рынка человекоподобных роботов, которым «в голове» такие распределенные модели пригодятся.

Каждый четвертый опрошенный уже учит или обучился пользоваться ИИ — Bosch

Компания Bosch опросила 11 тысяч человек из 7 стран с преимущественно сильными ИИ-продуктами и узнала, как меняется отношение респондентов к ИИ. Главное ниже

📎 Навыки в области ИИ становятся всё более востребованными
71% считают ИИ ключом для достижения успеха в будущем. Особенно много согласных с этим в странах, где много айтишников и инженеров, — в Китае (91%) и Индии (89%).

📎 Навыки ИИ для работы важны
Так считают 56% респондентов по всему миру. И снова Китай и Индия в лидерах согласных (83% и 76%).

📎 Самые важные навыки важны в век ИИ
Уметь применять ИИ (59%), критическое мышление (44%) и осведомлённость о кибербезопасности (44%).

📎 49% чувствуют, что ИИ несет риски для их работы.

Полный отчет прикрепили выше👆

В Новосибирском государственном техническом университете создали нейросеть, которая выявляет трещины в бетоне с точностью до 95%

Система с помощью компьютерного зрения обучена находить деформации в бетоне. В ходе тестовых испытаний обнаружили 15 трещин, из которых 10 были пропущены при ручном контроле.

«В рамках проекта был собран большой набор данных, создана базовая нейронная сеть. Я обучил ее детектировать трещины в бетоне на основе изображений, обработанных и сегментированных с помощью метода контура (контур делается на специальном приложении, его выделяют для того, чтобы нейронная сеть могла распознавать эти трещины). Система анализирует видеопотоки с камер, далее идет обработка данных: ИИ выявляет трещины на основе обученной модели», — рассказал Николай Обидин, создатель проекта.

🟢 В планах: масштабировать модель, сделать удобный интерфейс, внедрить модель в беспилотники для мониторинга железобетонных конструкций с воздуха и под водой.

Робот-гуманоид Matrix1 от компании Shanghai Matrix Robotics совсем как человек

📎Его корпус покрыт кожей, что делает его похожим на людей.
📎Рост — 180 см, а вес — 67 кг. Максимальная скорость — 7,6 км в час.
📎Внутри ИИ, благодаря чему он видит и анализирует окружение.

Без галлюцинаций: ТОП-5 самых точных больших языковых моделей от аналитиков Vectara

Уровень галлюцинаций — частота, с которой ИИ выдаёт неподтверждённую или ложную информацию. Ниже 5 самых точных LLM, по исследованию от Vectara (остальные на скрине).

1️⃣Zhipu AI GLM-4-9B-Chat — 1.3%
2️⃣Google Gemini-2.0-Flash-Exp — 1.3%
3️⃣OpenAI-o1-mini — 1.4%
4️⃣GPT-4o — 1.5%
5️⃣GPT-4o-mini — 1.7%

Главный вывод аналитиков — небольшие и специализированные модели показывают самые точные результаты.

Справочно: ИТ-компания Vectara разрабатывает платформу генеративного искусственного интеллекта и специализируется на дополненной генерации для различных областей бизнеса.

🔊 «Люди... лю-ди...», — когда даже для роботов главное — люди

Вот таким необычным образом тюменский застройщик «Люди» преподносит полный ребрендинг. Девелопер без предупреждения отправил в агентства города робособак от Unitree. Интересно, псы потом будут трудиться на стройках?

Выглядит прикольно😁 А вам как?

👷‍♂️ Компании Dura Vermeer и Recreate применяют для стройки шлем смешанной реальности EBMR

EBMR (Engineering Building Mixed Reality) — это обычная строительная каска с гарнитурой Microsoft HoloLens.

Как устроено:
Спутниковый приемник GNSS для определения геолокации расположен в верхней части шлема, а датчик Xsens для отслеживания ориентации и направления движения — сзади. Благодаря шлему строители могли визуализировать план/факт по 3D-модели и понимать, как лучше разместить элементы (детали, кабели, материалы и пр.) на месте.

🇳🇱 Шлем впервые опробовали при строительстве моста в Нидерландах, а теперь это одна из самых распространенных технологий на стройках страны.

ТОП-5 строительных роботов для площадки

1️⃣SAM — полуавтоматический каменщик от Construction Robotics, укладывает до 3000 кирпичей в день, что в 6 раз быстрее, чем человек.

2️⃣Hadrian X — австралийский робот-каменщик от Fastbrick Robotics укладывает более 1000 кирпичей в день с помощью телескопической штанги и удаленного управления.

3️⃣TyBOT — робот для связывания арматуры от Advanced Construction Robotics, выполняющий более 1200 стяжек в час.

4️⃣RPD 35 — автономная система забивки свай от Built Robotics, с ее помощью можно устанавливать до 300 свай в день с точностью до 1 см.

5️⃣ Swarm Construction — группа роботов для подземного 3D-строительства от Hyper Tunnel прокладывает туннели в 10 раз быстрее традиционных методов.

📎 Почитать на выходные: про большие языковые модели (LLM), загрузку GPU, кибербезопасность — подборка исследований

Одно прикрепили выше, остальные — по ссылкам

Неравномерная загрузка GPU в пайплайне обучения ML-модели
По исследованию Shanghai AI Laboratory, задачи по предварительному обучению LLM занимают лишь 3% от общего объема задач, но потребляют до 94% вычислительных ресурсов. А оценка качества моделей потребляет 0,8% ресурсов, но занимает 90% объема задач. Системы мониторинга позволяют своевременно получать информацию о качестве работы модели и оптимизировать распределение задач, а также эффективно использовать инфраструктуру.

Сбои в работе
Частые аппаратные сбои происходят из-за нарушений сетевого соединения и ошибок несоответствия типа данных. Инженеры из исследования разработали эвристические правила и инструменты для автоматического перезапуска обучения LLM, что помогло сократить количество сбоев.

Рост энергопотребления
Оно растет с увеличением мощности инфраструктуры. Один запрос к ChatGPT потребляет почти в 10 раз больше энергии, чем запрос к традиционным поисковым системам. Ученые нашли способ сократить потребление — на 32% при сочетании LLM с алгоритмами принятия решений.

Оптимизация LLM под мобильные устройства — перспективное направление, и уже есть несколько решений. Например:
⚫️ Фреймворк EdgeShard позволяет разделить работу с LLM на несколько устройств.
⚫️ Архитектура Processing-in-Memory увеличивает производительность в 4,5 раза и сокращает энергопотребление на 71%.

LLM поможет с кибербезопасностью
Большие языковые модели могут помочь в защите сетей от киберугроз и анализе потенциальных атак. Такие инструменты, как ShieldGPT и SecureBERT, созданы специально, чтобы находить подобные угрозы.

Поделитесь со своими разработчиками📎

Модель π0 — первая языковая модель (GPT) для роботов


Модель разработала компания Physical Intelligence, которую создали выходцы из Гугла.

π0 — универсальная базовая модель, которая дает управлять различными типами роботов с помощью текстовых инструкций и давать команды с частотой до 50 раз в секунду. Она понимает команды и просто голосом, и текстовыми командами через бота. Также она различает картинки и видео с камер.

⚫️Не полностью открытая, но использует открытые наборы данных для обучения. В частности, 91% данных, используемых для обучения, поступает из открытых источников, таких как OXE, Bridge v2 и DROID.

⚫️Использует подход MoE, который включает два элемента: один для обработки визуальных и текстовых данных, другой — для выполнения действий в робототехнике.

⚫️Общая архитектура модели включает 3.3 млрд параметров, что позволяет ей управлять роботами с частотой до 50 Гц, что достаточно для выполнения сложных задач.

⚫️Роботы на π0 уже умеют выполнять сложные многоэтапные задачи — например, складывать картонные коробки или уборка со стола с сортировкой предметов

Модель — прорывная технология, на которой можно обучать сервисных роботов.