😎💡Коротко о главном: CatBoost: преимущества и недостатки
CatBoost — это библиотека для машинного обучения, разработанная компанией Yandex, предназначенная для решения задач классификации, регрессии и других видов предсказаний. Она основана на алгоритме градиентного бустинга и предназначена для работы с большими данными, включая данные с категориальными признаками.
⚠️Преимущества CatBoost:
✅Высокая производительность: CatBoost часто демонстрирует отличные результаты по сравнению с другими алгоритмами машинного обучения, такими как XGBoost и LightGBM. Он эффективно справляется с большими и сложными данными.
✅Работа с категориальными признаками: CatBoost автоматически обрабатывает категориальные данные без необходимости их явного кодирования (например, one-hot encoding). Это существенно упрощает предобработку данных.
✅Отсутствие необходимости в нормализации данных: CatBoost хорошо работает без необходимости нормализации или стандартизации признаков, что упрощает подготовку данных.
✅Регуляризация: CatBoost использует несколько методов регуляризации, что помогает избежать переобучения и повышает обобщающую способность модели.
⚠️Недостатки CatBoost:
✅Большие требования к памяти: Несмотря на высокую производительность, CatBoost может потреблять значительные ресурсы памяти, особенно на больших наборах данных.
✅Быстродействие на малых выборках: На малых данных или при использовании простых моделей CatBoost может работать медленнее, чем более простые алгоритмы.
✅Проблемы с обработкой очень редких категорий: В некоторых случаях CatBoost может не оптимально обрабатывать редкие категории, что требует дополнительных настроек или предобработки.
✅Неоптимальность для задач с очень высокой размерностью: В задачах с большим количеством признаков (особенно с большим числом категориальных признаков) CatBoost может работать медленно, если не применяются эффективные методы предобработки.
Таким образом, CatBoost является мощным инструментом, особенно для задач с категориальными данными, но в некоторых случаях может потребовать оптимизации и более сложных вычислительных ресурсов.
CatBoost — это библиотека для машинного обучения, разработанная компанией Yandex, предназначенная для решения задач классификации, регрессии и других видов предсказаний. Она основана на алгоритме градиентного бустинга и предназначена для работы с большими данными, включая данные с категориальными признаками.
⚠️Преимущества CatBoost:
✅Высокая производительность: CatBoost часто демонстрирует отличные результаты по сравнению с другими алгоритмами машинного обучения, такими как XGBoost и LightGBM. Он эффективно справляется с большими и сложными данными.
✅Работа с категориальными признаками: CatBoost автоматически обрабатывает категориальные данные без необходимости их явного кодирования (например, one-hot encoding). Это существенно упрощает предобработку данных.
✅Отсутствие необходимости в нормализации данных: CatBoost хорошо работает без необходимости нормализации или стандартизации признаков, что упрощает подготовку данных.
✅Регуляризация: CatBoost использует несколько методов регуляризации, что помогает избежать переобучения и повышает обобщающую способность модели.
⚠️Недостатки CatBoost:
✅Большие требования к памяти: Несмотря на высокую производительность, CatBoost может потреблять значительные ресурсы памяти, особенно на больших наборах данных.
✅Быстродействие на малых выборках: На малых данных или при использовании простых моделей CatBoost может работать медленнее, чем более простые алгоритмы.
✅Проблемы с обработкой очень редких категорий: В некоторых случаях CatBoost может не оптимально обрабатывать редкие категории, что требует дополнительных настроек или предобработки.
✅Неоптимальность для задач с очень высокой размерностью: В задачах с большим количеством признаков (особенно с большим числом категориальных признаков) CatBoost может работать медленно, если не применяются эффективные методы предобработки.
Таким образом, CatBoost является мощным инструментом, особенно для задач с категориальными данными, но в некоторых случаях может потребовать оптимизации и более сложных вычислительных ресурсов.
catboost.ai
CatBoost - state-of-the-art open-source gradient boosting library with categorical features support
#CatBoost - state-of-the-art open-source gradient boosting library with categorical features support,
💡Amphion — это новый фреймворк от OpenMMLab, созданный для решения задач восприятия и генерации текста в многозадачных сценариях. Он поддерживает модульные задачи для различных модальностей, такие как классификация и генерация, а также может объединять их в более сложные мультизадачные рабочие процессы. Фреймворк рассчитан на создание мощных и гибких приложений, в которых задействованы текстовые данные, и позволяет эффективно управлять разнообразными задачами, требующими понимания и генерации текста в одной системе.
😎Amphion объединяет ключевые библиотеки OpenMMLab, такие как MMDetection и MMDetection3D, для решения задач, связанных с детекцией объектов, обработкой текстов и многомерными данными. Он оптимизирован для работы с мультизадачными моделями, такими как MMWizard, что позволяет обрабатывать несколько типов задач и модальностей одновременно.
😎Amphion объединяет ключевые библиотеки OpenMMLab, такие как MMDetection и MMDetection3D, для решения задач, связанных с детекцией объектов, обработкой текстов и многомерными данными. Он оптимизирован для работы с мультизадачными моделями, такими как MMWizard, что позволяет обрабатывать несколько типов задач и модальностей одновременно.
Media is too big
VIEW IN TELEGRAM
😱Будущее общепита подъехало
В США инженеры разработали робота YORI, который может приготовить практически любое блюдо. Этот робоповар умеет готовить стейки с картофелем, жареную курицу, пасту и многое другое. В его арсенале — манипуляторные руки и сменные инструменты, помогающие ему справляться с кулинарными задачами.
В США инженеры разработали робота YORI, который может приготовить практически любое блюдо. Этот робоповар умеет готовить стейки с картофелем, жареную курицу, пасту и многое другое. В его арсенале — манипуляторные руки и сменные инструменты, помогающие ему справляться с кулинарными задачами.
В процессе обучения модели вы обнаружили проблему взрывающих градиентов. Какое из решений может помочь?
Anonymous Poll
21%
Увеличение learning rate
24%
Использование активации ReLU вместо Sigmoid
52%
Применение Gradient Clipping
3%
Удаление batch normalization
This media is not supported in your browser
VIEW IN TELEGRAM
😎Был представлен прототип робота-стоматолога
Роботизация и ИИ в стоматологии уже активно развиваются, и демонстрация робота на IDS — очередной шаг в этом направлении.
Сегодня такие технологии способны:
✅Анализировать снимки и данные: например, снимать рентген, анализировать КТ и определять патологии.
✅Выполнять простые процедуры: например, шлифовку зубов, сверление под коронки или подготовку к имплантации.
✅Создавать точные 3D-модели: для протезов или реставраций.
🤔Что мешает внедрению?
⚠️Этические и юридические аспекты: ответственность за ошибки робота.
⚠️Непредсказуемость человеческих реакций: движение, боль, кровотечения.
⚠️Высокая стоимость технологий: для стоматологических кабинетов нужно снизить барьеры для покупки.
Роботизация и ИИ в стоматологии уже активно развиваются, и демонстрация робота на IDS — очередной шаг в этом направлении.
Сегодня такие технологии способны:
✅Анализировать снимки и данные: например, снимать рентген, анализировать КТ и определять патологии.
✅Выполнять простые процедуры: например, шлифовку зубов, сверление под коронки или подготовку к имплантации.
✅Создавать точные 3D-модели: для протезов или реставраций.
🤔Что мешает внедрению?
⚠️Этические и юридические аспекты: ответственность за ошибки робота.
⚠️Непредсказуемость человеческих реакций: движение, боль, кровотечения.
⚠️Высокая стоимость технологий: для стоматологических кабинетов нужно снизить барьеры для покупки.
🔥 Intel представила ИИ-ускоритель Gaudi3 для конкуренции с AMD и NVIDIA
На мероприятии AI Everywhere Intel анонсировала ускоритель Gaudi3, который выйдет в 2024 году и станет более доступной альтернативой решениям NVIDIA и AMD.
Gaudi3 сейчас проходит тестирование в лабораториях. По словам главы Intel, новая модель будет значительно мощнее Gaudi2, сохранив энергопотребление на уровне ~600 Вт или немного выше.
На мероприятии AI Everywhere Intel анонсировала ускоритель Gaudi3, который выйдет в 2024 году и станет более доступной альтернативой решениям NVIDIA и AMD.
Gaudi3 сейчас проходит тестирование в лабораториях. По словам главы Intel, новая модель будет значительно мощнее Gaudi2, сохранив энергопотребление на уровне ~600 Вт или немного выше.
😔2 больших факапа в мировом масштабе
Недавно нашел статейку интересных факапов большого масштаба. Вот некоторые из них:
Vine — это социальная платформа для размещения коротких видеороликов, основанная в 2012 году. В процессе работы платформы использовались различные DL алгоритмы для рекомендаций контента и оптимизации работы с пользователями. Vine позволяла пользователям загружать зацикленные видео длительностью 6 секунд, сделав их аналогом «твитов» для видеоконтента.
Vine потерпела неудачу из-за проблем с монетизацией, конкуренцией, неэффективной стратегией и управлением. Платформа не предлагала встроенной рекламы или спонсорства, что лишило её дохода и мотивации для крупных создателей контента оставаться. Усиленная конкуренция со стороны Instagram, Facebook, Snapchat и YouTube, которые быстро адаптировались и предлагали лучшие условия, привела к снижению вовлеченности пользователей. Эти факторы, вместе с отсутствием ясной стратегии, привели к закрытию Vine.
🤔Уроки из неудачи Vine:
✅Адаптируемость: Успех зависит от умения быстро реагировать на изменения рынка и предпочтений пользователей.
✅Монетизация: Стратегия заработка должна быть ясной с самого начала, иначе проект окажется уязвимым.
✅Вовлеченность пользователей: Платформы должны стимулировать интерес и удержание аудитории.
Quibi — это платформа короткометражного стриминга, основанная Джеффри Катценбергом. Название расшифровывается как "quick bites" ("быстрые кусочки") и отражает фокус на коротком контенте: серии шоу длились до 10 минут. ИИ здесь использовали для персонализации контента. Технология "Turnstyle" позволяла пользователям переключать видео между вертикальной и горизонтальной ориентацией, а ИИ помогал адаптировать формат контента в реальном времени для разных экранов
Quibi потерпел неудачу из-за сочетания факторов: пандемия COVID-19 ограничила целевую аудиторию, лишив её мобильности, низкое качество контента отпугивало зрителей, а неудачный маркетинг и отсутствие необходимых функций делали платформу менее привлекательной. Хотя пандемия оказала влияние, основная причина кроется в ошибочной стратегии и реализации продукта. Дополнительно неудачные маркетинговые стратегии, акцентирующие внимание на концепции "быстрых кусочков", а не на контенте, привели к путанице. Многие думали, что Quibi был сервисом доставки еды, что снижало интерес аудитории к платформе.
🤔Уроки из провала Quibi:
✅Контент важнее количества: Высокое качество и вовлеченность критичны для удержания аудитории.
✅Маркетинговая ясность: Реклама должна четко объяснять ценность продукта.
✅Понимание аудитории: Изучите и подтвердите потребности целевой группы до запуска.
✅Гибкость к внешним условиям: Стратегии должны адаптироваться к неожиданным факторам.
✅Социальные функции: Интеграция для повышения видимости через пользовательский обмен.
✅Связь лидеров с аудиторией: Лидеры должны понимать свою отрасль и аудиторию.
Недавно нашел статейку интересных факапов большого масштаба. Вот некоторые из них:
Vine — это социальная платформа для размещения коротких видеороликов, основанная в 2012 году. В процессе работы платформы использовались различные DL алгоритмы для рекомендаций контента и оптимизации работы с пользователями. Vine позволяла пользователям загружать зацикленные видео длительностью 6 секунд, сделав их аналогом «твитов» для видеоконтента.
Vine потерпела неудачу из-за проблем с монетизацией, конкуренцией, неэффективной стратегией и управлением. Платформа не предлагала встроенной рекламы или спонсорства, что лишило её дохода и мотивации для крупных создателей контента оставаться. Усиленная конкуренция со стороны Instagram, Facebook, Snapchat и YouTube, которые быстро адаптировались и предлагали лучшие условия, привела к снижению вовлеченности пользователей. Эти факторы, вместе с отсутствием ясной стратегии, привели к закрытию Vine.
🤔Уроки из неудачи Vine:
✅Адаптируемость: Успех зависит от умения быстро реагировать на изменения рынка и предпочтений пользователей.
✅Монетизация: Стратегия заработка должна быть ясной с самого начала, иначе проект окажется уязвимым.
✅Вовлеченность пользователей: Платформы должны стимулировать интерес и удержание аудитории.
Quibi — это платформа короткометражного стриминга, основанная Джеффри Катценбергом. Название расшифровывается как "quick bites" ("быстрые кусочки") и отражает фокус на коротком контенте: серии шоу длились до 10 минут. ИИ здесь использовали для персонализации контента. Технология "Turnstyle" позволяла пользователям переключать видео между вертикальной и горизонтальной ориентацией, а ИИ помогал адаптировать формат контента в реальном времени для разных экранов
Quibi потерпел неудачу из-за сочетания факторов: пандемия COVID-19 ограничила целевую аудиторию, лишив её мобильности, низкое качество контента отпугивало зрителей, а неудачный маркетинг и отсутствие необходимых функций делали платформу менее привлекательной. Хотя пандемия оказала влияние, основная причина кроется в ошибочной стратегии и реализации продукта. Дополнительно неудачные маркетинговые стратегии, акцентирующие внимание на концепции "быстрых кусочков", а не на контенте, привели к путанице. Многие думали, что Quibi был сервисом доставки еды, что снижало интерес аудитории к платформе.
🤔Уроки из провала Quibi:
✅Контент важнее количества: Высокое качество и вовлеченность критичны для удержания аудитории.
✅Маркетинговая ясность: Реклама должна четко объяснять ценность продукта.
✅Понимание аудитории: Изучите и подтвердите потребности целевой группы до запуска.
✅Гибкость к внешним условиям: Стратегии должны адаптироваться к неожиданным факторам.
✅Социальные функции: Интеграция для повышения видимости через пользовательский обмен.
✅Связь лидеров с аудиторией: Лидеры должны понимать свою отрасль и аудиторию.
Fuckupnights
3 Startup Failures & What We Can Learn From Them
By examining failed startups like Vine, Quibi and Glitch, we can learn from the mistakes of others and understand how to avoid common pitfalls
This media is not supported in your browser
VIEW IN TELEGRAM
😎Роботы, не устающие от домашних дел
В Калифорнии создали роботов для складывания полотенец.
Стартап Watney Robotics продемонстрировал автоматизированных роботов, способных работать 24/7 без перерывов.
🤖Достижение:
✅Роботы складывают полотенца непрерывно в течение суток.
✅Способны выполнять рутинные задачи круглый год без вмешательства человека.
В целом можно сказать, что такая технология открывает перспективы для автоматизации труда в различных отраслях.
В Калифорнии создали роботов для складывания полотенец.
Стартап Watney Robotics продемонстрировал автоматизированных роботов, способных работать 24/7 без перерывов.
🤖Достижение:
✅Роботы складывают полотенца непрерывно в течение суток.
✅Способны выполнять рутинные задачи круглый год без вмешательства человека.
В целом можно сказать, что такая технология открывает перспективы для автоматизации труда в различных отраслях.
Вы обучаете модель сегментации изображений и видите, что мелкие детали на предсказанных масках теряются. Что бы вы изменили в архитектуре?
Anonymous Poll
23%
Увеличить размер свёрточных фильтров
41%
Использовать Atrous Convolutions (dilated convolutions)
23%
Добавить больше уровней MaxPooling
14%
Снизить глубину сети
🔥Горячий дайджест интересных статей по ML в медицине
✅SOAR: бенчмарк для оценки LLM в задачах аннотации типов клеток. Оценивает, насколько хорошо модели способны анализировать и интерпретировать сложные клеточные данные.
✅Система анализа рентгенограмм: метод повышения точности диагностики рентгеновских снимков грудной клетки. Использует 2 нейросети для анализа заболеваний и прогнозирования зон внимания врачей на изображении.
✅EchoONE: унифицированная модель для сегментации эхокардиографических изображений. Обеспечивает точный анализ снимков сердца, выполненных под разными углами, облегчая диагностику для врачей
✅MedChain: LLM-агент и бенчмарк для принятия клинических решений. Система моделирует клиническую практику, где каждый случай включает информацию о пациенте и требует активного сбора данных и принятия решений на каждом этапе.
✅QG-Summ: метод для автореферирования медицинских записей. Помогает создавать краткие и точные отчёты в электронных медкартах, ориентируясь на запросы, связанные с пациентом.
✅CLINICSUM: фреймворк для генерации медицинских заключений. Автоматически создает отчеты на основе диалогов врача и пациента, используя специализированную архитектуру.
✅SOAR: бенчмарк для оценки LLM в задачах аннотации типов клеток. Оценивает, насколько хорошо модели способны анализировать и интерпретировать сложные клеточные данные.
✅Система анализа рентгенограмм: метод повышения точности диагностики рентгеновских снимков грудной клетки. Использует 2 нейросети для анализа заболеваний и прогнозирования зон внимания врачей на изображении.
✅EchoONE: унифицированная модель для сегментации эхокардиографических изображений. Обеспечивает точный анализ снимков сердца, выполненных под разными углами, облегчая диагностику для врачей
✅MedChain: LLM-агент и бенчмарк для принятия клинических решений. Система моделирует клиническую практику, где каждый случай включает информацию о пациенте и требует активного сбора данных и принятия решений на каждом этапе.
✅QG-Summ: метод для автореферирования медицинских записей. Помогает создавать краткие и точные отчёты в электронных медкартах, ориентируясь на запросы, связанные с пациентом.
✅CLINICSUM: фреймворк для генерации медицинских заключений. Автоматически создает отчеты на основе диалогов врача и пациента, используя специализированную архитектуру.
📚Монография "Reinforcement Learning: An Overview" — фундаментальный труд по RL
Автор монографии, Кевин Мерфи, главный научный сотрудник Google DeepMind, представил исчерпывающий обзор обучения с подкреплением (Reinforcement Learning, RL).
🔎В книге исследуются:
✅Модели среды и задачи оптимизации.
✅Компромисс между теорией и практикой RL.
✅Смежные темы: распределённое RL, иерархическое RL, обучение вне политики, визуально-ориентированное RL (VLM).
🔥Обзор алгоритмов:
✅ SARSA
✅ Q-learning
✅ REINFORCE
✅ A2C
✅ TRPO/PPO
✅ DDPG
✅ Soft Actor-Critic
✅ MBRL (Model-Based RL)
Кевин Мерфи и его команда из 28 инженеров и исследователей Google DeepMind работают над передовыми направлениями: RL, генеративные модели, робототехника и байесовский вывод.
Ранее Кевин опубликовал более 140 статей и три учебника по машинному обучению. Его книга 2012 года получила премию ДеГроота за вклад в статистическую науку.
➡️Монография опубликована в открытом доступе 9 декабря 2024
Автор монографии, Кевин Мерфи, главный научный сотрудник Google DeepMind, представил исчерпывающий обзор обучения с подкреплением (Reinforcement Learning, RL).
🔎В книге исследуются:
✅Модели среды и задачи оптимизации.
✅Компромисс между теорией и практикой RL.
✅Смежные темы: распределённое RL, иерархическое RL, обучение вне политики, визуально-ориентированное RL (VLM).
🔥Обзор алгоритмов:
✅ SARSA
✅ Q-learning
✅ REINFORCE
✅ A2C
✅ TRPO/PPO
✅ DDPG
✅ Soft Actor-Critic
✅ MBRL (Model-Based RL)
Кевин Мерфи и его команда из 28 инженеров и исследователей Google DeepMind работают над передовыми направлениями: RL, генеративные модели, робототехника и байесовский вывод.
Ранее Кевин опубликовал более 140 статей и три учебника по машинному обучению. Его книга 2012 года получила премию ДеГроота за вклад в статистическую науку.
➡️Монография опубликована в открытом доступе 9 декабря 2024
🥸🤖Почему важно преподавать этику ИИ в школах?
В статье Why Aren't We Teaching AI Ethics in Schools? автор рассказывает о проблемах, которые связаны с отсутствием этики использования ИИ. Он утверждает, что это ведёт к серьёзным проблемам, таким как плагиат, предвзятость алгоритмов, утечка данных и злоупотребления технологиями, включая дипфейки. Обучение этике ИИ поможет учащимся осознанно использовать эти технологии, минимизируя их негативное влияние на общество.
В статье предлагаются такие подходы к решению, как:
✅Интеграция этики ИИ в уроки: введение темы в существующий учебный процесс. Например, на уроках литературы можно объяснять, как использовать ИИ для улучшения работы, не нарушая авторских прав.
✅Дебаты и дискуссии: обсуждение сложных вопросов, таких как защита персональных данных, борьба с предвзятостью и ответственность за использование ИИ. Это помогает развивать критическое мышление.
✅Примеры ответственного использования: учителя могут показывать примеры, как ИИ улучшает работу, не нанося вред обществу. Также можно приглашать специалистов для рассказа о реальном применении этики ИИ.
✅Моделирование поведения: учителя, показывающие на личном примере правильное использование ИИ, могут формировать культуру ответственного отношения к технологиям.
🧐Автор считает, что чем раньше дети научатся использовать ИИ осознанно, тем больше шансов, что технологии будут использоваться во благо. Кроме того, это подготовит их к будущей профессии и укрепит понимание социальных последствий их решений.
В статье Why Aren't We Teaching AI Ethics in Schools? автор рассказывает о проблемах, которые связаны с отсутствием этики использования ИИ. Он утверждает, что это ведёт к серьёзным проблемам, таким как плагиат, предвзятость алгоритмов, утечка данных и злоупотребления технологиями, включая дипфейки. Обучение этике ИИ поможет учащимся осознанно использовать эти технологии, минимизируя их негативное влияние на общество.
В статье предлагаются такие подходы к решению, как:
✅Интеграция этики ИИ в уроки: введение темы в существующий учебный процесс. Например, на уроках литературы можно объяснять, как использовать ИИ для улучшения работы, не нарушая авторских прав.
✅Дебаты и дискуссии: обсуждение сложных вопросов, таких как защита персональных данных, борьба с предвзятостью и ответственность за использование ИИ. Это помогает развивать критическое мышление.
✅Примеры ответственного использования: учителя могут показывать примеры, как ИИ улучшает работу, не нанося вред обществу. Также можно приглашать специалистов для рассказа о реальном применении этики ИИ.
✅Моделирование поведения: учителя, показывающие на личном примере правильное использование ИИ, могут формировать культуру ответственного отношения к технологиям.
🧐Автор считает, что чем раньше дети научатся использовать ИИ осознанно, тем больше шансов, что технологии будут использоваться во благо. Кроме того, это подготовит их к будущей профессии и укрепит понимание социальных последствий их решений.
Hackernoon
Why Aren't We Teaching AI Ethics in Schools?
AI is becoming crucial to modern society, yet schools are slow in implementing AI ethics education. Here's how AI ethics should fit into the curriculum.
В задаче детектирования объектов вы используете YOLOv5 и замечаете, что модель плохо распознает объекты маленького размера. Какой из следующих методов вы бы использовали, чтобы улучшить результаты?
Anonymous Poll
9%
Увеличить размер входного изображения
55%
Добавить больше якорных коробок (anchor boxes) для маленьких объектов
18%
Увеличить размер батча (batch size)
18%
Использовать функцию активации tanh в последнем слое
😎🤖Топ ИИ-проектов за 2024 год
BAML (Boundary Adaptive Markup Language) — предметно-ориентированный язык, разработанный для создания многократно используемых функций LLM. Он преобразует текстовые промпты в функции с типизированными переменными и гарантирует получение конкретного типа выходных данных. BAML превосходит другие подходы к структурированию данных от LLM и уже поддерживается редакторами VS Code и Cursor.
LitServe от LightningAI — мощный инструмент для развертывания моделей и сложных AI-конвейеров. Основан на FastAPI, поддерживает PyTorch, TensorFlow, JAX, а также работает с GenAI, CV, ASR и эмбедингами. Инструмент оснащен функцией KV-кэширования для LLM, что делает его подходящим как для легких приложений, так и для масштабных корпоративных задач.
Mirascope — Python-инструмент, созданный для удобного извлечения структурированных данных из LLM. Он использует интерфейс на основе декораторов и декларативных схем, поддерживая OpenAI, Anthropic и Cohere. Включает встроенного поискового агента WebSearchAgent, который автономно собирает информацию из интернета.
Surya — OCR-инструмент, поддерживающий 90 языков. Он извлекает текст из изображений, PDF и других визуальных форматов с точностью, сопоставимой с Google Cloud Vision. Помимо базового OCR, Surya выполняет расширенный анализ документа, включая определение заголовков, таблиц, изображений и порядка чтения, что делает его отличным выбором для оцифровки книг, форм и научных материалов.
DataChain — это платформа для управления версиями мультимодальных наборов данных, включая изображения, видео, текст и PDF. Она преобразует разрозненные файлы в централизованные датасеты, которые можно легко обрабатывать и запрашивать через Python без необходимости использовать Spark или SQL. DataChain поддерживает PyTorch, TensorFlow, автоматическую генерацию метаданных для AI, сериализацию инференса LLM и выполнение пакетных процедур.
Narwhals — легковесный инструмент, который объединяет популярные библиотеки DataFrame в Python, такие как pandas, Polars, PyArrow, Modin и cuDF. Он позволяет писать код, не зависящий от конкретного бэкенда, используя подмножество API Polars в качестве интерфейса. Инструмент поддерживает стили выполнения eager и lazy, включая Dask, не имеет зависимостей и обеспечивает статическую типизацию для удобной работы в IDE.
PydanticAI — это фреймворк для создания агентов, которые управляют взаимодействием с LLM и проверкой их инференса. Он оснащён системой внедрения зависимостей, позволяющей агентам динамически получать контекстные данные. Фреймворк также поддерживает вызов пользовательских Python-функций для доступа к информации и выполнения вычислений, что делает его универсальным инструментом для создания сложных AI-приложений.
BAML (Boundary Adaptive Markup Language) — предметно-ориентированный язык, разработанный для создания многократно используемых функций LLM. Он преобразует текстовые промпты в функции с типизированными переменными и гарантирует получение конкретного типа выходных данных. BAML превосходит другие подходы к структурированию данных от LLM и уже поддерживается редакторами VS Code и Cursor.
LitServe от LightningAI — мощный инструмент для развертывания моделей и сложных AI-конвейеров. Основан на FastAPI, поддерживает PyTorch, TensorFlow, JAX, а также работает с GenAI, CV, ASR и эмбедингами. Инструмент оснащен функцией KV-кэширования для LLM, что делает его подходящим как для легких приложений, так и для масштабных корпоративных задач.
Mirascope — Python-инструмент, созданный для удобного извлечения структурированных данных из LLM. Он использует интерфейс на основе декораторов и декларативных схем, поддерживая OpenAI, Anthropic и Cohere. Включает встроенного поискового агента WebSearchAgent, который автономно собирает информацию из интернета.
Surya — OCR-инструмент, поддерживающий 90 языков. Он извлекает текст из изображений, PDF и других визуальных форматов с точностью, сопоставимой с Google Cloud Vision. Помимо базового OCR, Surya выполняет расширенный анализ документа, включая определение заголовков, таблиц, изображений и порядка чтения, что делает его отличным выбором для оцифровки книг, форм и научных материалов.
DataChain — это платформа для управления версиями мультимодальных наборов данных, включая изображения, видео, текст и PDF. Она преобразует разрозненные файлы в централизованные датасеты, которые можно легко обрабатывать и запрашивать через Python без необходимости использовать Spark или SQL. DataChain поддерживает PyTorch, TensorFlow, автоматическую генерацию метаданных для AI, сериализацию инференса LLM и выполнение пакетных процедур.
Narwhals — легковесный инструмент, который объединяет популярные библиотеки DataFrame в Python, такие как pandas, Polars, PyArrow, Modin и cuDF. Он позволяет писать код, не зависящий от конкретного бэкенда, используя подмножество API Polars в качестве интерфейса. Инструмент поддерживает стили выполнения eager и lazy, включая Dask, не имеет зависимостей и обеспечивает статическую типизацию для удобной работы в IDE.
PydanticAI — это фреймворк для создания агентов, которые управляют взаимодействием с LLM и проверкой их инференса. Он оснащён системой внедрения зависимостей, позволяющей агентам динамически получать контекстные данные. Фреймворк также поддерживает вызов пользовательских Python-функций для доступа к информации и выполнения вычислений, что делает его универсальным инструментом для создания сложных AI-приложений.
GitHub
GitHub - BoundaryML/baml: BAML is a language that helps you get structured data from LLMs, with the best DX possible. Works with…
BAML is a language that helps you get structured data from LLMs, with the best DX possible. Works with all languages. Check out the promptfiddle.com playground - BoundaryML/baml
😎Небольшая подборка ИИ-инструментов для дизайнеров
ControlNet — это инструмент, который преобразует схематичные эскизы в качественные изображения. Он улучшает начальные наброски, добавляя детализацию и реализм, что делает его идеальным для дизайнеров, художников и разработчиков визуального контента.
ArkDesign.ai — это инструмент для автоматической разработки детализированных планов помещений. Он учитывает строительные нормы, энергоэффективность и другие параметры, обеспечивая оптимизацию пространства
Archicad AI Visualizer — инструмент для генерации 3D-визуализаций на ранних стадиях проектирования. Он позволяет быстро преобразовать идеи в наглядные модели, упрощая процесс планирования и презентации архитектурных проектов
ArkoAI — расширение для создания рендеров 3D-моделей, включающее функции генерации референсов для креативного проектирования.
DBF Engine — платформа для быстрого создания городских прототипов. Она помогает проектировать городские пространства с учетом параметров застройки и экологии
ControlNet — это инструмент, который преобразует схематичные эскизы в качественные изображения. Он улучшает начальные наброски, добавляя детализацию и реализм, что делает его идеальным для дизайнеров, художников и разработчиков визуального контента.
ArkDesign.ai — это инструмент для автоматической разработки детализированных планов помещений. Он учитывает строительные нормы, энергоэффективность и другие параметры, обеспечивая оптимизацию пространства
Archicad AI Visualizer — инструмент для генерации 3D-визуализаций на ранних стадиях проектирования. Он позволяет быстро преобразовать идеи в наглядные модели, упрощая процесс планирования и презентации архитектурных проектов
ArkoAI — расширение для создания рендеров 3D-моделей, включающее функции генерации референсов для креативного проектирования.
DBF Engine — платформа для быстрого создания городских прототипов. Она помогает проектировать городские пространства с учетом параметров застройки и экологии
😱ИИ от Apple формирует fake news
Apple Intelligence, предназначенный для создания кратких новостных сводок, оказался ненадежным. В некоторых случаях система искажает информацию или выдумывает заголовки.
✅Случай с BBC News: ИИ уведомил пользователей о якобы суициде Луиджи Манджони, обвиняемого в громком убийстве в США, сославшись на BBC. Однако подобного сообщения на сайте BBC не было.
✅Ошибки с The New York Times: В ноябре система объединила три текста в один заголовок и заявила об аресте премьер-министра Израиля Биньямина Нетаньяху, что оказалось ложным.
🤔Apple воздерживается от комментариев по данным инцидентам.
Apple Intelligence, предназначенный для создания кратких новостных сводок, оказался ненадежным. В некоторых случаях система искажает информацию или выдумывает заголовки.
✅Случай с BBC News: ИИ уведомил пользователей о якобы суициде Луиджи Манджони, обвиняемого в громком убийстве в США, сославшись на BBC. Однако подобного сообщения на сайте BBC не было.
✅Ошибки с The New York Times: В ноябре система объединила три текста в один заголовок и заявила об аресте премьер-министра Израиля Биньямина Нетаньяху, что оказалось ложным.
🤔Apple воздерживается от комментариев по данным инцидентам.
🎄💡Пока все едят оливье, Nvidia планирует переход на робототехнику на фоне конкуренции на рынке ИИ-чипов
Nvidia анонсировала планы по выпуску в первой половине 2025 года компактных компьютеров Jetson Thor, предназначенных для человекоподобных роботов. Компания видит большой потенциал роста в сегменте робототехники и стремится укрепить свои позиции в этой области.
Эти изменения связаны с усилением конкуренции со стороны AMD, Google и Amazon на рынке ИИ-чипов. Хотя на данный момент робототехника приносит Nvidia сравнительно небольшой доход, большая часть прибыли компании (88%) по-прежнему поступает от центров обработки данных, которые принесли 35,1 миллиарда долларов в третьем квартале 2024 года.
🔎Подробнее можно узнать в этом источнике
Nvidia анонсировала планы по выпуску в первой половине 2025 года компактных компьютеров Jetson Thor, предназначенных для человекоподобных роботов. Компания видит большой потенциал роста в сегменте робототехники и стремится укрепить свои позиции в этой области.
Эти изменения связаны с усилением конкуренции со стороны AMD, Google и Amazon на рынке ИИ-чипов. Хотя на данный момент робототехника приносит Nvidia сравнительно небольшой доход, большая часть прибыли компании (88%) по-прежнему поступает от центров обработки данных, которые принесли 35,1 миллиарда долларов в третьем квартале 2024 года.
🔎Подробнее можно узнать в этом источнике
🚀Meta представила Large Concept Models (LCM) — конец эпохи LLM?
В своей статье Meta Large Concept Models (LCM): End of LLMs? автор подробно разбирает новую концепцию Meta под названием Large Concept Models (LCM), которая является развитием традиционных больших языковых моделей (LLM).
С 2022 года большие языковые модели (LLM) стали основой современной генеративной ИИ-эры. Однако Meta предлагает нечто принципиально новое — Large Concept Models (LCM).
🌟 Что такое LCM?
Это модели, которые работают не на уровне отдельных слов, а на уровне концепций — целых идей или предложений.
💡 Почему это важно?
✅Языковая независимость: Модели понимают смысл, а не слова.
✅Мультимодальность: Работа с текстом, речью и изображениями.
✅Эффективность: Лучше обрабатывают длинные тексты и планируют идеи.
📈 Чем лучше LCM?
✅Генерируют текст идея за идеей, а не слово за словом.
✅Поддерживают более 200 языков и легко работают с новыми форматами без дообучения.
✅Применимы для сложных задач: написание эссе, суммаризация, мультимодальный анализ.
Таким образом, Meta делает большой шаг вперёд, превращая взаимодействие с ИИ в более интуитивный и человекоподобный процесс.
В своей статье Meta Large Concept Models (LCM): End of LLMs? автор подробно разбирает новую концепцию Meta под названием Large Concept Models (LCM), которая является развитием традиционных больших языковых моделей (LLM).
С 2022 года большие языковые модели (LLM) стали основой современной генеративной ИИ-эры. Однако Meta предлагает нечто принципиально новое — Large Concept Models (LCM).
🌟 Что такое LCM?
Это модели, которые работают не на уровне отдельных слов, а на уровне концепций — целых идей или предложений.
💡 Почему это важно?
✅Языковая независимость: Модели понимают смысл, а не слова.
✅Мультимодальность: Работа с текстом, речью и изображениями.
✅Эффективность: Лучше обрабатывают длинные тексты и планируют идеи.
📈 Чем лучше LCM?
✅Генерируют текст идея за идеей, а не слово за словом.
✅Поддерживают более 200 языков и легко работают с новыми форматами без дообучения.
✅Применимы для сложных задач: написание эссе, суммаризация, мультимодальный анализ.
Таким образом, Meta делает большой шаг вперёд, превращая взаимодействие с ИИ в более интуитивный и человекоподобный процесс.
Medium
Meta Large Concept Models (LCM): End of LLMs?
What are LCMs and how is LCM different from LLMs
💡Небольшая подборка open-source инструментов для работы с ИИ
ONNX Runtime — инструмент для ускорения инференса и обучения моделей машинного обучения на различных платформах, таких как NVIDIA GPU, CPU и ARM. Он легко интегрируется в существующие скрипты PyTorch или TensorFlow, добавляя всего одну строку кода. Поддерживает оптимизации, включая смешанную точность и графовые улучшения, что делает его эффективным как для прототипов, так и для продакшена.
Weights & Biases (W&B) — платформа для отслеживания и визуализации всех этапов работы с машинным обучением, начиная от подготовки данных и заканчивая внедрением моделей. Она позволяет фиксировать параметры, метрики и результаты экспериментов, а также создавать графики и диаграммы для анализа производительности моделей. W&B упрощает совместную работу, предоставляя общий доступ к данным и визуализациям в реальном времени
LLMWare — фреймворк для разработки безопасных и мощных Retrieval-Augmented Generation (RAG) систем, предназначенных для корпоративного использования. Он позволяет эффективно интегрировать специализированные модели, которые можно развернуть в защищенной локальной среде, обеспечивая конфиденциальность данных и надежность работы.
Gognita — фреймворк для упрощенной разработки и развертывания RAG-систем. Он поддерживает разнообразные методы поиска документов и векторные представления, обеспечивая гибкость и масштабируемость. Управление фреймворком полностью осуществляется через API, что делает его интеграцию с другими системами быстрой и удобной.
NVIDIA LogitsProcessor — библиотека, предназначенная для управления процессом генерации текста. Она позволяет модифицировать вероятностное распределение токенов, предоставляя больше контроля над выходными данными, что особенно полезно для задач с особыми требованиями к содержанию текста
LangChain — мощный фреймворк для разработки и развертывания приложений на основе LLM. Он предоставляет инструменты для создания сложных многокомпонентных систем, где каждый этап обработки данных представляется в виде узлов и связей графа с помощью модуля LangGraph. Это упрощает настройку и управление приложениями, обеспечивая их масштабируемость и гибкость.
ONNX Runtime — инструмент для ускорения инференса и обучения моделей машинного обучения на различных платформах, таких как NVIDIA GPU, CPU и ARM. Он легко интегрируется в существующие скрипты PyTorch или TensorFlow, добавляя всего одну строку кода. Поддерживает оптимизации, включая смешанную точность и графовые улучшения, что делает его эффективным как для прототипов, так и для продакшена.
Weights & Biases (W&B) — платформа для отслеживания и визуализации всех этапов работы с машинным обучением, начиная от подготовки данных и заканчивая внедрением моделей. Она позволяет фиксировать параметры, метрики и результаты экспериментов, а также создавать графики и диаграммы для анализа производительности моделей. W&B упрощает совместную работу, предоставляя общий доступ к данным и визуализациям в реальном времени
LLMWare — фреймворк для разработки безопасных и мощных Retrieval-Augmented Generation (RAG) систем, предназначенных для корпоративного использования. Он позволяет эффективно интегрировать специализированные модели, которые можно развернуть в защищенной локальной среде, обеспечивая конфиденциальность данных и надежность работы.
Gognita — фреймворк для упрощенной разработки и развертывания RAG-систем. Он поддерживает разнообразные методы поиска документов и векторные представления, обеспечивая гибкость и масштабируемость. Управление фреймворком полностью осуществляется через API, что делает его интеграцию с другими системами быстрой и удобной.
NVIDIA LogitsProcessor — библиотека, предназначенная для управления процессом генерации текста. Она позволяет модифицировать вероятностное распределение токенов, предоставляя больше контроля над выходными данными, что особенно полезно для задач с особыми требованиями к содержанию текста
LangChain — мощный фреймворк для разработки и развертывания приложений на основе LLM. Он предоставляет инструменты для создания сложных многокомпонентных систем, где каждый этап обработки данных представляется в виде узлов и связей графа с помощью модуля LangGraph. Это упрощает настройку и управление приложениями, обеспечивая их масштабируемость и гибкость.
GitHub
GitHub - microsoft/onnxruntime: ONNX Runtime: cross-platform, high performance ML inferencing and training accelerator
ONNX Runtime: cross-platform, high performance ML inferencing and training accelerator - microsoft/onnxruntime
🥸Meta проиграла суд по делу о нарушении авторских прав при обучении ИИ
Meta признана виновной в нарушении авторских прав из-за использования защищенных произведений для обучения своих ИИ-моделей. Иск был подан в 2023 году писателями Ричардом Кадри и Кристофером Голденом, а также комиком Сарой Сильверман.
В суде выяснилось, что Meta использовала пиратскую библиотеку LibGen для сбора данных, несмотря на заявления о работе с датасетом Books3, включавшим 196 000 книг. Этот случай стал важным прецедентом, который акцентирует внимание на проблемах незаконного использования защищенных материалов в разработке ИИ.
🔎Ссылка на источник
Meta признана виновной в нарушении авторских прав из-за использования защищенных произведений для обучения своих ИИ-моделей. Иск был подан в 2023 году писателями Ричардом Кадри и Кристофером Голденом, а также комиком Сарой Сильверман.
В суде выяснилось, что Meta использовала пиратскую библиотеку LibGen для сбора данных, несмотря на заявления о работе с датасетом Books3, включавшим 196 000 книг. Этот случай стал важным прецедентом, который акцентирует внимание на проблемах незаконного использования защищенных материалов в разработке ИИ.
🔎Ссылка на источник