🥸🤖Почему важно преподавать этику ИИ в школах?
В статье Why Aren't We Teaching AI Ethics in Schools? автор рассказывает о проблемах, которые связаны с отсутствием этики использования ИИ. Он утверждает, что это ведёт к серьёзным проблемам, таким как плагиат, предвзятость алгоритмов, утечка данных и злоупотребления технологиями, включая дипфейки. Обучение этике ИИ поможет учащимся осознанно использовать эти технологии, минимизируя их негативное влияние на общество.
В статье предлагаются такие подходы к решению, как:
✅Интеграция этики ИИ в уроки: введение темы в существующий учебный процесс. Например, на уроках литературы можно объяснять, как использовать ИИ для улучшения работы, не нарушая авторских прав.
✅Дебаты и дискуссии: обсуждение сложных вопросов, таких как защита персональных данных, борьба с предвзятостью и ответственность за использование ИИ. Это помогает развивать критическое мышление.
✅Примеры ответственного использования: учителя могут показывать примеры, как ИИ улучшает работу, не нанося вред обществу. Также можно приглашать специалистов для рассказа о реальном применении этики ИИ.
✅Моделирование поведения: учителя, показывающие на личном примере правильное использование ИИ, могут формировать культуру ответственного отношения к технологиям.
🧐Автор считает, что чем раньше дети научатся использовать ИИ осознанно, тем больше шансов, что технологии будут использоваться во благо. Кроме того, это подготовит их к будущей профессии и укрепит понимание социальных последствий их решений.
В статье Why Aren't We Teaching AI Ethics in Schools? автор рассказывает о проблемах, которые связаны с отсутствием этики использования ИИ. Он утверждает, что это ведёт к серьёзным проблемам, таким как плагиат, предвзятость алгоритмов, утечка данных и злоупотребления технологиями, включая дипфейки. Обучение этике ИИ поможет учащимся осознанно использовать эти технологии, минимизируя их негативное влияние на общество.
В статье предлагаются такие подходы к решению, как:
✅Интеграция этики ИИ в уроки: введение темы в существующий учебный процесс. Например, на уроках литературы можно объяснять, как использовать ИИ для улучшения работы, не нарушая авторских прав.
✅Дебаты и дискуссии: обсуждение сложных вопросов, таких как защита персональных данных, борьба с предвзятостью и ответственность за использование ИИ. Это помогает развивать критическое мышление.
✅Примеры ответственного использования: учителя могут показывать примеры, как ИИ улучшает работу, не нанося вред обществу. Также можно приглашать специалистов для рассказа о реальном применении этики ИИ.
✅Моделирование поведения: учителя, показывающие на личном примере правильное использование ИИ, могут формировать культуру ответственного отношения к технологиям.
🧐Автор считает, что чем раньше дети научатся использовать ИИ осознанно, тем больше шансов, что технологии будут использоваться во благо. Кроме того, это подготовит их к будущей профессии и укрепит понимание социальных последствий их решений.
Hackernoon
Why Aren't We Teaching AI Ethics in Schools?
AI is becoming crucial to modern society, yet schools are slow in implementing AI ethics education. Here's how AI ethics should fit into the curriculum.
В задаче детектирования объектов вы используете YOLOv5 и замечаете, что модель плохо распознает объекты маленького размера. Какой из следующих методов вы бы использовали, чтобы улучшить результаты?
Anonymous Poll
9%
Увеличить размер входного изображения
55%
Добавить больше якорных коробок (anchor boxes) для маленьких объектов
18%
Увеличить размер батча (batch size)
18%
Использовать функцию активации tanh в последнем слое
😎🤖Топ ИИ-проектов за 2024 год
BAML (Boundary Adaptive Markup Language) — предметно-ориентированный язык, разработанный для создания многократно используемых функций LLM. Он преобразует текстовые промпты в функции с типизированными переменными и гарантирует получение конкретного типа выходных данных. BAML превосходит другие подходы к структурированию данных от LLM и уже поддерживается редакторами VS Code и Cursor.
LitServe от LightningAI — мощный инструмент для развертывания моделей и сложных AI-конвейеров. Основан на FastAPI, поддерживает PyTorch, TensorFlow, JAX, а также работает с GenAI, CV, ASR и эмбедингами. Инструмент оснащен функцией KV-кэширования для LLM, что делает его подходящим как для легких приложений, так и для масштабных корпоративных задач.
Mirascope — Python-инструмент, созданный для удобного извлечения структурированных данных из LLM. Он использует интерфейс на основе декораторов и декларативных схем, поддерживая OpenAI, Anthropic и Cohere. Включает встроенного поискового агента WebSearchAgent, который автономно собирает информацию из интернета.
Surya — OCR-инструмент, поддерживающий 90 языков. Он извлекает текст из изображений, PDF и других визуальных форматов с точностью, сопоставимой с Google Cloud Vision. Помимо базового OCR, Surya выполняет расширенный анализ документа, включая определение заголовков, таблиц, изображений и порядка чтения, что делает его отличным выбором для оцифровки книг, форм и научных материалов.
DataChain — это платформа для управления версиями мультимодальных наборов данных, включая изображения, видео, текст и PDF. Она преобразует разрозненные файлы в централизованные датасеты, которые можно легко обрабатывать и запрашивать через Python без необходимости использовать Spark или SQL. DataChain поддерживает PyTorch, TensorFlow, автоматическую генерацию метаданных для AI, сериализацию инференса LLM и выполнение пакетных процедур.
Narwhals — легковесный инструмент, который объединяет популярные библиотеки DataFrame в Python, такие как pandas, Polars, PyArrow, Modin и cuDF. Он позволяет писать код, не зависящий от конкретного бэкенда, используя подмножество API Polars в качестве интерфейса. Инструмент поддерживает стили выполнения eager и lazy, включая Dask, не имеет зависимостей и обеспечивает статическую типизацию для удобной работы в IDE.
PydanticAI — это фреймворк для создания агентов, которые управляют взаимодействием с LLM и проверкой их инференса. Он оснащён системой внедрения зависимостей, позволяющей агентам динамически получать контекстные данные. Фреймворк также поддерживает вызов пользовательских Python-функций для доступа к информации и выполнения вычислений, что делает его универсальным инструментом для создания сложных AI-приложений.
BAML (Boundary Adaptive Markup Language) — предметно-ориентированный язык, разработанный для создания многократно используемых функций LLM. Он преобразует текстовые промпты в функции с типизированными переменными и гарантирует получение конкретного типа выходных данных. BAML превосходит другие подходы к структурированию данных от LLM и уже поддерживается редакторами VS Code и Cursor.
LitServe от LightningAI — мощный инструмент для развертывания моделей и сложных AI-конвейеров. Основан на FastAPI, поддерживает PyTorch, TensorFlow, JAX, а также работает с GenAI, CV, ASR и эмбедингами. Инструмент оснащен функцией KV-кэширования для LLM, что делает его подходящим как для легких приложений, так и для масштабных корпоративных задач.
Mirascope — Python-инструмент, созданный для удобного извлечения структурированных данных из LLM. Он использует интерфейс на основе декораторов и декларативных схем, поддерживая OpenAI, Anthropic и Cohere. Включает встроенного поискового агента WebSearchAgent, который автономно собирает информацию из интернета.
Surya — OCR-инструмент, поддерживающий 90 языков. Он извлекает текст из изображений, PDF и других визуальных форматов с точностью, сопоставимой с Google Cloud Vision. Помимо базового OCR, Surya выполняет расширенный анализ документа, включая определение заголовков, таблиц, изображений и порядка чтения, что делает его отличным выбором для оцифровки книг, форм и научных материалов.
DataChain — это платформа для управления версиями мультимодальных наборов данных, включая изображения, видео, текст и PDF. Она преобразует разрозненные файлы в централизованные датасеты, которые можно легко обрабатывать и запрашивать через Python без необходимости использовать Spark или SQL. DataChain поддерживает PyTorch, TensorFlow, автоматическую генерацию метаданных для AI, сериализацию инференса LLM и выполнение пакетных процедур.
Narwhals — легковесный инструмент, который объединяет популярные библиотеки DataFrame в Python, такие как pandas, Polars, PyArrow, Modin и cuDF. Он позволяет писать код, не зависящий от конкретного бэкенда, используя подмножество API Polars в качестве интерфейса. Инструмент поддерживает стили выполнения eager и lazy, включая Dask, не имеет зависимостей и обеспечивает статическую типизацию для удобной работы в IDE.
PydanticAI — это фреймворк для создания агентов, которые управляют взаимодействием с LLM и проверкой их инференса. Он оснащён системой внедрения зависимостей, позволяющей агентам динамически получать контекстные данные. Фреймворк также поддерживает вызов пользовательских Python-функций для доступа к информации и выполнения вычислений, что делает его универсальным инструментом для создания сложных AI-приложений.
GitHub
GitHub - BoundaryML/baml: The AI framework that adds the engineering to prompt engineering (Python/TS/Ruby/Java/C#/Rust/Go compatible)
The AI framework that adds the engineering to prompt engineering (Python/TS/Ruby/Java/C#/Rust/Go compatible) - BoundaryML/baml
😎Небольшая подборка ИИ-инструментов для дизайнеров
ControlNet — это инструмент, который преобразует схематичные эскизы в качественные изображения. Он улучшает начальные наброски, добавляя детализацию и реализм, что делает его идеальным для дизайнеров, художников и разработчиков визуального контента.
ArkDesign.ai — это инструмент для автоматической разработки детализированных планов помещений. Он учитывает строительные нормы, энергоэффективность и другие параметры, обеспечивая оптимизацию пространства
Archicad AI Visualizer — инструмент для генерации 3D-визуализаций на ранних стадиях проектирования. Он позволяет быстро преобразовать идеи в наглядные модели, упрощая процесс планирования и презентации архитектурных проектов
ArkoAI — расширение для создания рендеров 3D-моделей, включающее функции генерации референсов для креативного проектирования.
DBF Engine — платформа для быстрого создания городских прототипов. Она помогает проектировать городские пространства с учетом параметров застройки и экологии
ControlNet — это инструмент, который преобразует схематичные эскизы в качественные изображения. Он улучшает начальные наброски, добавляя детализацию и реализм, что делает его идеальным для дизайнеров, художников и разработчиков визуального контента.
ArkDesign.ai — это инструмент для автоматической разработки детализированных планов помещений. Он учитывает строительные нормы, энергоэффективность и другие параметры, обеспечивая оптимизацию пространства
Archicad AI Visualizer — инструмент для генерации 3D-визуализаций на ранних стадиях проектирования. Он позволяет быстро преобразовать идеи в наглядные модели, упрощая процесс планирования и презентации архитектурных проектов
ArkoAI — расширение для создания рендеров 3D-моделей, включающее функции генерации референсов для креативного проектирования.
DBF Engine — платформа для быстрого создания городских прототипов. Она помогает проектировать городские пространства с учетом параметров застройки и экологии
😱ИИ от Apple формирует fake news
Apple Intelligence, предназначенный для создания кратких новостных сводок, оказался ненадежным. В некоторых случаях система искажает информацию или выдумывает заголовки.
✅Случай с BBC News: ИИ уведомил пользователей о якобы суициде Луиджи Манджони, обвиняемого в громком убийстве в США, сославшись на BBC. Однако подобного сообщения на сайте BBC не было.
✅Ошибки с The New York Times: В ноябре система объединила три текста в один заголовок и заявила об аресте премьер-министра Израиля Биньямина Нетаньяху, что оказалось ложным.
🤔Apple воздерживается от комментариев по данным инцидентам.
Apple Intelligence, предназначенный для создания кратких новостных сводок, оказался ненадежным. В некоторых случаях система искажает информацию или выдумывает заголовки.
✅Случай с BBC News: ИИ уведомил пользователей о якобы суициде Луиджи Манджони, обвиняемого в громком убийстве в США, сославшись на BBC. Однако подобного сообщения на сайте BBC не было.
✅Ошибки с The New York Times: В ноябре система объединила три текста в один заголовок и заявила об аресте премьер-министра Израиля Биньямина Нетаньяху, что оказалось ложным.
🤔Apple воздерживается от комментариев по данным инцидентам.
🎄💡Пока все едят оливье, Nvidia планирует переход на робототехнику на фоне конкуренции на рынке ИИ-чипов
Nvidia анонсировала планы по выпуску в первой половине 2025 года компактных компьютеров Jetson Thor, предназначенных для человекоподобных роботов. Компания видит большой потенциал роста в сегменте робототехники и стремится укрепить свои позиции в этой области.
Эти изменения связаны с усилением конкуренции со стороны AMD, Google и Amazon на рынке ИИ-чипов. Хотя на данный момент робототехника приносит Nvidia сравнительно небольшой доход, большая часть прибыли компании (88%) по-прежнему поступает от центров обработки данных, которые принесли 35,1 миллиарда долларов в третьем квартале 2024 года.
🔎Подробнее можно узнать в этом источнике
Nvidia анонсировала планы по выпуску в первой половине 2025 года компактных компьютеров Jetson Thor, предназначенных для человекоподобных роботов. Компания видит большой потенциал роста в сегменте робототехники и стремится укрепить свои позиции в этой области.
Эти изменения связаны с усилением конкуренции со стороны AMD, Google и Amazon на рынке ИИ-чипов. Хотя на данный момент робототехника приносит Nvidia сравнительно небольшой доход, большая часть прибыли компании (88%) по-прежнему поступает от центров обработки данных, которые принесли 35,1 миллиарда долларов в третьем квартале 2024 года.
🔎Подробнее можно узнать в этом источнике
🚀Meta представила Large Concept Models (LCM) — конец эпохи LLM?
В своей статье Meta Large Concept Models (LCM): End of LLMs? автор подробно разбирает новую концепцию Meta под названием Large Concept Models (LCM), которая является развитием традиционных больших языковых моделей (LLM).
С 2022 года большие языковые модели (LLM) стали основой современной генеративной ИИ-эры. Однако Meta предлагает нечто принципиально новое — Large Concept Models (LCM).
🌟 Что такое LCM?
Это модели, которые работают не на уровне отдельных слов, а на уровне концепций — целых идей или предложений.
💡 Почему это важно?
✅Языковая независимость: Модели понимают смысл, а не слова.
✅Мультимодальность: Работа с текстом, речью и изображениями.
✅Эффективность: Лучше обрабатывают длинные тексты и планируют идеи.
📈 Чем лучше LCM?
✅Генерируют текст идея за идеей, а не слово за словом.
✅Поддерживают более 200 языков и легко работают с новыми форматами без дообучения.
✅Применимы для сложных задач: написание эссе, суммаризация, мультимодальный анализ.
Таким образом, Meta делает большой шаг вперёд, превращая взаимодействие с ИИ в более интуитивный и человекоподобный процесс.
В своей статье Meta Large Concept Models (LCM): End of LLMs? автор подробно разбирает новую концепцию Meta под названием Large Concept Models (LCM), которая является развитием традиционных больших языковых моделей (LLM).
С 2022 года большие языковые модели (LLM) стали основой современной генеративной ИИ-эры. Однако Meta предлагает нечто принципиально новое — Large Concept Models (LCM).
🌟 Что такое LCM?
Это модели, которые работают не на уровне отдельных слов, а на уровне концепций — целых идей или предложений.
💡 Почему это важно?
✅Языковая независимость: Модели понимают смысл, а не слова.
✅Мультимодальность: Работа с текстом, речью и изображениями.
✅Эффективность: Лучше обрабатывают длинные тексты и планируют идеи.
📈 Чем лучше LCM?
✅Генерируют текст идея за идеей, а не слово за словом.
✅Поддерживают более 200 языков и легко работают с новыми форматами без дообучения.
✅Применимы для сложных задач: написание эссе, суммаризация, мультимодальный анализ.
Таким образом, Meta делает большой шаг вперёд, превращая взаимодействие с ИИ в более интуитивный и человекоподобный процесс.
Medium
Meta Large Concept Models (LCM): End of LLMs?
What are LCMs and how is LCM different from LLMs
💡Небольшая подборка open-source инструментов для работы с ИИ
ONNX Runtime — инструмент для ускорения инференса и обучения моделей машинного обучения на различных платформах, таких как NVIDIA GPU, CPU и ARM. Он легко интегрируется в существующие скрипты PyTorch или TensorFlow, добавляя всего одну строку кода. Поддерживает оптимизации, включая смешанную точность и графовые улучшения, что делает его эффективным как для прототипов, так и для продакшена.
Weights & Biases (W&B) — платформа для отслеживания и визуализации всех этапов работы с машинным обучением, начиная от подготовки данных и заканчивая внедрением моделей. Она позволяет фиксировать параметры, метрики и результаты экспериментов, а также создавать графики и диаграммы для анализа производительности моделей. W&B упрощает совместную работу, предоставляя общий доступ к данным и визуализациям в реальном времени
LLMWare — фреймворк для разработки безопасных и мощных Retrieval-Augmented Generation (RAG) систем, предназначенных для корпоративного использования. Он позволяет эффективно интегрировать специализированные модели, которые можно развернуть в защищенной локальной среде, обеспечивая конфиденциальность данных и надежность работы.
Gognita — фреймворк для упрощенной разработки и развертывания RAG-систем. Он поддерживает разнообразные методы поиска документов и векторные представления, обеспечивая гибкость и масштабируемость. Управление фреймворком полностью осуществляется через API, что делает его интеграцию с другими системами быстрой и удобной.
NVIDIA LogitsProcessor — библиотека, предназначенная для управления процессом генерации текста. Она позволяет модифицировать вероятностное распределение токенов, предоставляя больше контроля над выходными данными, что особенно полезно для задач с особыми требованиями к содержанию текста
LangChain — мощный фреймворк для разработки и развертывания приложений на основе LLM. Он предоставляет инструменты для создания сложных многокомпонентных систем, где каждый этап обработки данных представляется в виде узлов и связей графа с помощью модуля LangGraph. Это упрощает настройку и управление приложениями, обеспечивая их масштабируемость и гибкость.
ONNX Runtime — инструмент для ускорения инференса и обучения моделей машинного обучения на различных платформах, таких как NVIDIA GPU, CPU и ARM. Он легко интегрируется в существующие скрипты PyTorch или TensorFlow, добавляя всего одну строку кода. Поддерживает оптимизации, включая смешанную точность и графовые улучшения, что делает его эффективным как для прототипов, так и для продакшена.
Weights & Biases (W&B) — платформа для отслеживания и визуализации всех этапов работы с машинным обучением, начиная от подготовки данных и заканчивая внедрением моделей. Она позволяет фиксировать параметры, метрики и результаты экспериментов, а также создавать графики и диаграммы для анализа производительности моделей. W&B упрощает совместную работу, предоставляя общий доступ к данным и визуализациям в реальном времени
LLMWare — фреймворк для разработки безопасных и мощных Retrieval-Augmented Generation (RAG) систем, предназначенных для корпоративного использования. Он позволяет эффективно интегрировать специализированные модели, которые можно развернуть в защищенной локальной среде, обеспечивая конфиденциальность данных и надежность работы.
Gognita — фреймворк для упрощенной разработки и развертывания RAG-систем. Он поддерживает разнообразные методы поиска документов и векторные представления, обеспечивая гибкость и масштабируемость. Управление фреймворком полностью осуществляется через API, что делает его интеграцию с другими системами быстрой и удобной.
NVIDIA LogitsProcessor — библиотека, предназначенная для управления процессом генерации текста. Она позволяет модифицировать вероятностное распределение токенов, предоставляя больше контроля над выходными данными, что особенно полезно для задач с особыми требованиями к содержанию текста
LangChain — мощный фреймворк для разработки и развертывания приложений на основе LLM. Он предоставляет инструменты для создания сложных многокомпонентных систем, где каждый этап обработки данных представляется в виде узлов и связей графа с помощью модуля LangGraph. Это упрощает настройку и управление приложениями, обеспечивая их масштабируемость и гибкость.
GitHub
GitHub - microsoft/onnxruntime: ONNX Runtime: cross-platform, high performance ML inferencing and training accelerator
ONNX Runtime: cross-platform, high performance ML inferencing and training accelerator - microsoft/onnxruntime
🥸Meta проиграла суд по делу о нарушении авторских прав при обучении ИИ
Meta признана виновной в нарушении авторских прав из-за использования защищенных произведений для обучения своих ИИ-моделей. Иск был подан в 2023 году писателями Ричардом Кадри и Кристофером Голденом, а также комиком Сарой Сильверман.
В суде выяснилось, что Meta использовала пиратскую библиотеку LibGen для сбора данных, несмотря на заявления о работе с датасетом Books3, включавшим 196 000 книг. Этот случай стал важным прецедентом, который акцентирует внимание на проблемах незаконного использования защищенных материалов в разработке ИИ.
🔎Ссылка на источник
Meta признана виновной в нарушении авторских прав из-за использования защищенных произведений для обучения своих ИИ-моделей. Иск был подан в 2023 году писателями Ричардом Кадри и Кристофером Голденом, а также комиком Сарой Сильверман.
В суде выяснилось, что Meta использовала пиратскую библиотеку LibGen для сбора данных, несмотря на заявления о работе с датасетом Books3, включавшим 196 000 книг. Этот случай стал важным прецедентом, который акцентирует внимание на проблемах незаконного использования защищенных материалов в разработке ИИ.
🔎Ссылка на источник
У вас есть задача с несбалансированными данными: 95% класса А и 5% класса B. Какой подход вы бы предпочли?
Anonymous Poll
48%
Увеличить количество данных для класса B
32%
Изменить функцию потерь на Weighted Cross-Entropy
8%
Использовать Downsampling для класса A
12%
Использовать F1-Score для настройки гиперпараметров модели
😱OpenAI готовится представить ИИ-агента уровня кандидата наук
30 января OpenAI проведет закрытый брифинг в Вашингтоне для официальных лиц правительства США. На мероприятии выступит Сэм Альтман, чтобы представить последние достижения компании, включая разработку суперагентов уровня PhD.
Эксперты в области искусственного интеллекта считают, что данный анонс может стать ключевым шагом в создании передовых интеллектуальных систем, способных решать сложнейшие научные и прикладные задачи.
Журналисты отмечают, что сотрудники OpenAI испытывают одновременно восхищение и беспокойство по поводу стремительного прогресса технологий, который приближает нас к новым рубежам возможностей ИИ.
🔎Подробнее тут
30 января OpenAI проведет закрытый брифинг в Вашингтоне для официальных лиц правительства США. На мероприятии выступит Сэм Альтман, чтобы представить последние достижения компании, включая разработку суперагентов уровня PhD.
Эксперты в области искусственного интеллекта считают, что данный анонс может стать ключевым шагом в создании передовых интеллектуальных систем, способных решать сложнейшие научные и прикладные задачи.
Журналисты отмечают, что сотрудники OpenAI испытывают одновременно восхищение и беспокойство по поводу стремительного прогресса технологий, который приближает нас к новым рубежам возможностей ИИ.
🔎Подробнее тут
🌎Экологические последствия генеративного ИИ
Генеративный искусственный интеллект (ИИ) стремительно развивается, принося пользу в различных областях — от повышения продуктивности до научных открытий.
В своей статье Explained: Generative AI’s environmental impact автор объясняет последствия генеративного ИИ в экологии. Вот некоторые ключевые проблемы, которые выделяются автором:
⚡️Электроэнергия: обучение моделей, таких как GPT-4, требует огромных вычислительных ресурсов, что ведет к увеличению выбросов CO₂. Например, обучение GPT-3 потребовало 1287 МВт⋅ч энергии — достаточно, чтобы обеспечить электричеством 120 домов в США на год
💧Вода: для охлаждения оборудования центры обработки данных потребляют большое количество воды. На каждый киловатт-час энергии уходит около 2 литров воды. Это угрожает местным экосистемам и водоснабжению
🖥Аппаратное обеспечение: производство графических процессоров (GPU) требует сложных и энергоемких технологий, а также добычи редкоземельных металлов. В 2023 году было отгружено 3,85 млн GPU для центров данных — на 44% больше, чем в 2022 году
⏳Краткосрочная "жизнь" моделей: постоянное обновление моделей делает их быстро устаревающими, увеличивая объем "потраченной впустую" энергии
🤔Что можно с этим сделать?
Исследователи MIT предлагают оценивать не только преимущества ИИ, но и учитывать все экологические издержки. Это включает разработку более эффективных моделей, оптимизацию инфраструктуры центров данных и переход на возобновляемые источники энергии.
Генеративный искусственный интеллект (ИИ) стремительно развивается, принося пользу в различных областях — от повышения продуктивности до научных открытий.
В своей статье Explained: Generative AI’s environmental impact автор объясняет последствия генеративного ИИ в экологии. Вот некоторые ключевые проблемы, которые выделяются автором:
⚡️Электроэнергия: обучение моделей, таких как GPT-4, требует огромных вычислительных ресурсов, что ведет к увеличению выбросов CO₂. Например, обучение GPT-3 потребовало 1287 МВт⋅ч энергии — достаточно, чтобы обеспечить электричеством 120 домов в США на год
💧Вода: для охлаждения оборудования центры обработки данных потребляют большое количество воды. На каждый киловатт-час энергии уходит около 2 литров воды. Это угрожает местным экосистемам и водоснабжению
🖥Аппаратное обеспечение: производство графических процессоров (GPU) требует сложных и энергоемких технологий, а также добычи редкоземельных металлов. В 2023 году было отгружено 3,85 млн GPU для центров данных — на 44% больше, чем в 2022 году
⏳Краткосрочная "жизнь" моделей: постоянное обновление моделей делает их быстро устаревающими, увеличивая объем "потраченной впустую" энергии
🤔Что можно с этим сделать?
Исследователи MIT предлагают оценивать не только преимущества ИИ, но и учитывать все экологические издержки. Это включает разработку более эффективных моделей, оптимизацию инфраструктуры центров данных и переход на возобновляемые источники энергии.
MIT News
Explained: Generative AI’s environmental impact
MIT News explores the environmental and sustainability implications of generative AI technologies and applications.
📚Think Stats: бесплатная книга по статистике для Python-программистов и дата-сайентистов
Think Stats — это уникальный ресурс для изучения теории вероятностей и статистики с акцентом на практическое применение. Книга идеально подходит для программистов, работающих с Python, и специалистов в области анализа данных, которые хотят углубить свои знания в области статистики.
🤔Что делает Think Stats особенной?
✅Практическое обучение через Jupyter Notebook: каждая глава книги представлена в виде интерактивного Jupyter Notebook, где пользователи могут запускать примеры кода, изучать статистические концепции и сразу применять их на практике. Это делает процесс обучения интуитивным и увлекательным.
✅Фокус на реальных данных: книга учит работать с реальными наборами данных, что помогает читателю освоить практическое применение теоретических знаний.
✅Объяснение сложных концепций простым языком: автор уделяет внимание тому, чтобы статистические идеи были легко понятны даже тем, кто не имеет глубокого математического образования.
✅Упражнения для закрепления материала: в книге представлены задания, которые помогут проверить и улучшить понимание материала.
🔎Темы, которые охватываются в книге:
✅Основы теории вероятностей.
✅Распределения вероятностей.
✅Гипотезы и их тестирование.
✅Оценка параметров.
✅Регрессия и анализ данных.
✅Визуализация данных с использованием Python.
💡Лицензия Creative Commons
Think Stats распространяется под лицензией Creative Commons, что позволяет:
1️⃣Свободно читать, копировать и делиться материалами.
2️⃣Использовать их в образовательных и личных целях (некоммерческое использование).
3️⃣Распространять материалы с указанием источника.
Think Stats — это уникальный ресурс для изучения теории вероятностей и статистики с акцентом на практическое применение. Книга идеально подходит для программистов, работающих с Python, и специалистов в области анализа данных, которые хотят углубить свои знания в области статистики.
🤔Что делает Think Stats особенной?
✅Практическое обучение через Jupyter Notebook: каждая глава книги представлена в виде интерактивного Jupyter Notebook, где пользователи могут запускать примеры кода, изучать статистические концепции и сразу применять их на практике. Это делает процесс обучения интуитивным и увлекательным.
✅Фокус на реальных данных: книга учит работать с реальными наборами данных, что помогает читателю освоить практическое применение теоретических знаний.
✅Объяснение сложных концепций простым языком: автор уделяет внимание тому, чтобы статистические идеи были легко понятны даже тем, кто не имеет глубокого математического образования.
✅Упражнения для закрепления материала: в книге представлены задания, которые помогут проверить и улучшить понимание материала.
🔎Темы, которые охватываются в книге:
✅Основы теории вероятностей.
✅Распределения вероятностей.
✅Гипотезы и их тестирование.
✅Оценка параметров.
✅Регрессия и анализ данных.
✅Визуализация данных с использованием Python.
💡Лицензия Creative Commons
Think Stats распространяется под лицензией Creative Commons, что позволяет:
1️⃣Свободно читать, копировать и делиться материалами.
2️⃣Использовать их в образовательных и личных целях (некоммерческое использование).
3️⃣Распространять материалы с указанием источника.
GitHub
GitHub - AllenDowney/ThinkStats: Notebooks for the third edition of Think Stats
Notebooks for the third edition of Think Stats. Contribute to AllenDowney/ThinkStats development by creating an account on GitHub.
Open R1 — полный цикл разработки ИИ от Hugging Face
Команда Hugging Face представила Open R1 — открытый проект, повторяющий весь цикл разработки DeepSeek, от сбора данных до обучения модели. Цель проекта — сделать процесс создания LLM прозрачным и доступным, чтобы каждый мог воспроизвести его или использовать в своем проекте.
🔍 Что включает Open R1?
Проект включает скрипты для всех этапов разработки модели, доступные в репозитории:
📌 Обучение и оценка моделей:
grpo.py — обучение модели с использованием GRPO.
sft.py — обучение с подкреплением (SFT).
evaluate.py — оценка модели на основе тестов R1.
📌 Генерация данных:
generate.py — создание синтетических данных с помощью Distilabel.
📌 Автоматизация процесса:
Makefile — набор команд для каждого этапа разработки.
🔗 Исходный код: GitHub Open R1
Проект Open R1 открывает доступ к процессу обучения LLM, позволяя сообществу исследователей и разработчиков изучать, улучшать и адаптировать современные методы создания ИИ.
Команда Hugging Face представила Open R1 — открытый проект, повторяющий весь цикл разработки DeepSeek, от сбора данных до обучения модели. Цель проекта — сделать процесс создания LLM прозрачным и доступным, чтобы каждый мог воспроизвести его или использовать в своем проекте.
🔍 Что включает Open R1?
Проект включает скрипты для всех этапов разработки модели, доступные в репозитории:
📌 Обучение и оценка моделей:
grpo.py — обучение модели с использованием GRPO.
sft.py — обучение с подкреплением (SFT).
evaluate.py — оценка модели на основе тестов R1.
📌 Генерация данных:
generate.py — создание синтетических данных с помощью Distilabel.
📌 Автоматизация процесса:
Makefile — набор команд для каждого этапа разработки.
🔗 Исходный код: GitHub Open R1
Проект Open R1 открывает доступ к процессу обучения LLM, позволяя сообществу исследователей и разработчиков изучать, улучшать и адаптировать современные методы создания ИИ.
Что вы бы выбрали для уменьшения переобучения CNN?
Anonymous Poll
0%
Увеличение числа нейронов в скрытых слоях
81%
Применение аугментации данных и регуляризации L2
0%
Замена ReLU на сигмоиду
19%
Использование Adam вместо SGD
💡🤖Gated DeltaNet: гибридная архитектура нейросетей с управлением памятью
NVIDIA представила Gated DeltaNet — экспериментальную архитектуру для улучшенного управления памятью в линейных трансформерах. Она решает проблему забывания в моделях, работающих с длинными последовательностями данных, комбинируя дельта-правило обновления информации и гейтинг для удаления ненужных данных.
Gated DeltaNet оптимизирована для GPU с использованием представления WY и тензорных ядер, что позволяет параллелить вычисления. В тестах по языковому моделированию, ризонингу и контекстному извлечению она превзошла Mamba2 и DeltaNet, показав лучшую точность на задачах S-NIAH-2 и S-NIAH-3.
Гибридные модели, сочетающие Gated DeltaNet со слоями внимания скользящего окна или Mamba2, улучшили эффективность обучения. Тестовые версии GatedDeltaNet-H1 и H2 достигли наивысших результатов в экстраполяции на длинные последовательности до 20 тыс. токенов.
✅Реализация на PyTorch доступна в GitHub-репозитории
✅Некоммерческое использование возможно по лицензии Nvidia Source Code License-NC, а коммерческое — по запросу через NVIDIA Research Licensing.
NVIDIA представила Gated DeltaNet — экспериментальную архитектуру для улучшенного управления памятью в линейных трансформерах. Она решает проблему забывания в моделях, работающих с длинными последовательностями данных, комбинируя дельта-правило обновления информации и гейтинг для удаления ненужных данных.
Gated DeltaNet оптимизирована для GPU с использованием представления WY и тензорных ядер, что позволяет параллелить вычисления. В тестах по языковому моделированию, ризонингу и контекстному извлечению она превзошла Mamba2 и DeltaNet, показав лучшую точность на задачах S-NIAH-2 и S-NIAH-3.
Гибридные модели, сочетающие Gated DeltaNet со слоями внимания скользящего окна или Mamba2, улучшили эффективность обучения. Тестовые версии GatedDeltaNet-H1 и H2 достигли наивысших результатов в экстраполяции на длинные последовательности до 20 тыс. токенов.
✅Реализация на PyTorch доступна в GitHub-репозитории
✅Некоммерческое использование возможно по лицензии Nvidia Source Code License-NC, а коммерческое — по запросу через NVIDIA Research Licensing.
GitHub
GitHub - NVlabs/GatedDeltaNet: [ICLR 2025] Official PyTorch Implementation of Gated Delta Networks: Improving Mamba2 with Delta…
[ICLR 2025] Official PyTorch Implementation of Gated Delta Networks: Improving Mamba2 with Delta Rule - NVlabs/GatedDeltaNet
This media is not supported in your browser
VIEW IN TELEGRAM
🌍 В Риме успешно провели удалённую роботизированную операцию пациенту в Пекине
Хирург в Риме успешно выполнил операцию на пациенте, который находился в 8000 км от него, в Пекине. Используя передовые роботизированные хирургические системы и технологии 5G, команда врачей смогла провести вмешательство с высокой точностью и контролем в режиме реального времени, несмотря на огромное расстояние. Этот прорыв демонстрирует потенциал дистанционной хирургии и может значительно расширить доступ к высококвалифицированной медицинской помощи по всему миру.
Хирург в Риме успешно выполнил операцию на пациенте, который находился в 8000 км от него, в Пекине. Используя передовые роботизированные хирургические системы и технологии 5G, команда врачей смогла провести вмешательство с высокой точностью и контролем в режиме реального времени, несмотря на огромное расстояние. Этот прорыв демонстрирует потенциал дистанционной хирургии и может значительно расширить доступ к высококвалифицированной медицинской помощи по всему миру.
Что бы вы предпочли использовать для повышения обобщающей способности нейросети?
Anonymous Poll
24%
Dropout
6%
Batch Normalization
18%
Data Augmentation
53%
Увеличение обучающей выборки
😎💡Интересные, а, главное, полезные и бесплатные руководства по дистилляции моделей
📌 Руководство по дистилляции от OpenAI
OpenAI представила подробное руководство по дистилляции моделей, в котором описывается процесс передачи знаний от крупной модели к компактной, сохраняя при этом высокую производительность.
В документе рассматриваются ключевые аспекты:
🔹 Сохранение выходных данных крупной модели – создание обучающего набора, содержащего предсказания более мощной модели, которые используются для обучения компактной версии.
🔹 Оценка производительности моделей – анализ точности и эффективности как исходной модели, так и ее уменьшенной версии на основе различных метрик.
🔹 Создание обучающих данных для компактной модели – генерация качественного набора данных, основанного на ответах крупной модели, для улучшения обучения.
🔹 Оценка дообученной компактной модели – тестирование производительности уменьшенной модели после дистилляции, чтобы убедиться в ее соответствии требованиям.
Этот подход позволяет значительно снизить вычислительные затраты, сохраняя высокий уровень качества работы модели.
📌 Учебник по дистилляции знаний от PyTorch
PyTorch предлагает практическое введение в технику передачи знаний, предназначенное для развёртывания моделей на устройствах с ограниченными вычислительными ресурсами.
В учебнике рассматриваются ключевые аспекты:
🔹 Извлечение скрытых представлений – получение промежуточных данных из обученной модели для их последующего использования в процессе дистилляции.
🔹 Модификация циклов обучения в PyTorch – интеграция дополнительных функций в стандартные тренировочные процессы для более эффективного переноса знаний.
🔹 Пример дистилляции модели – демонстрация обучения компактной модели с использованием предсказаний более сложной модели в качестве ориентира.
Руководство содержит пошаговые инструкции и примеры кода, что делает его ценным ресурсом для оптимизации моделей под среду с ограниченными вычислительными мощностями.
📌Jetson Introduction to Knowledge Distillation от Nvidia
Руководство от Nvidia рассматривает процесс дистилляции знаний на примере передачи информации от OpenCLIP (vision-language model) к ResNet18 для классификации изображений на датасете STL10.
Основные темы руководства:
🔹 Влияние выбора данных, методов дистилляции и архитектуры модели на итоговую точность.
🔹 Оптимизация моделей для их эффективного развертывания на NVIDIA Jetson Orin Nano.
🔹 Методы профилирования и анализа производительности для компактных нейросетей.
Учебник ориентирован на разработчиков, работающих с встраиваемыми системами и оптимизацией моделей для edge-устройств.
📌Руководство по дистилляции от Hugging Face
В этом учебнике Hugging Face демонстрирует пошаговый процесс дистилляции знаний на конкретном примере.
Основные темы:
🔹 Выбор модели-учителя и модели-ученика — использование крупных предобученных моделей для обучения более компактных.
🔹 Создание обучающего набора на основе предсказаний модели-учителя.
🔹 Настройка процесса дистилляции в Transformers и Trainer для эффективного переноса знаний.
🔹 Оценка и сравнение производительности с оригинальной моделью.
Руководство содержит кодовые примеры и практические советы, что делает его полезным для разработчиков, работающих с NLP и оптимизацией трансформеров.
📌 Руководство по дистилляции от OpenAI
OpenAI представила подробное руководство по дистилляции моделей, в котором описывается процесс передачи знаний от крупной модели к компактной, сохраняя при этом высокую производительность.
В документе рассматриваются ключевые аспекты:
🔹 Сохранение выходных данных крупной модели – создание обучающего набора, содержащего предсказания более мощной модели, которые используются для обучения компактной версии.
🔹 Оценка производительности моделей – анализ точности и эффективности как исходной модели, так и ее уменьшенной версии на основе различных метрик.
🔹 Создание обучающих данных для компактной модели – генерация качественного набора данных, основанного на ответах крупной модели, для улучшения обучения.
🔹 Оценка дообученной компактной модели – тестирование производительности уменьшенной модели после дистилляции, чтобы убедиться в ее соответствии требованиям.
Этот подход позволяет значительно снизить вычислительные затраты, сохраняя высокий уровень качества работы модели.
📌 Учебник по дистилляции знаний от PyTorch
PyTorch предлагает практическое введение в технику передачи знаний, предназначенное для развёртывания моделей на устройствах с ограниченными вычислительными ресурсами.
В учебнике рассматриваются ключевые аспекты:
🔹 Извлечение скрытых представлений – получение промежуточных данных из обученной модели для их последующего использования в процессе дистилляции.
🔹 Модификация циклов обучения в PyTorch – интеграция дополнительных функций в стандартные тренировочные процессы для более эффективного переноса знаний.
🔹 Пример дистилляции модели – демонстрация обучения компактной модели с использованием предсказаний более сложной модели в качестве ориентира.
Руководство содержит пошаговые инструкции и примеры кода, что делает его ценным ресурсом для оптимизации моделей под среду с ограниченными вычислительными мощностями.
📌Jetson Introduction to Knowledge Distillation от Nvidia
Руководство от Nvidia рассматривает процесс дистилляции знаний на примере передачи информации от OpenCLIP (vision-language model) к ResNet18 для классификации изображений на датасете STL10.
Основные темы руководства:
🔹 Влияние выбора данных, методов дистилляции и архитектуры модели на итоговую точность.
🔹 Оптимизация моделей для их эффективного развертывания на NVIDIA Jetson Orin Nano.
🔹 Методы профилирования и анализа производительности для компактных нейросетей.
Учебник ориентирован на разработчиков, работающих с встраиваемыми системами и оптимизацией моделей для edge-устройств.
📌Руководство по дистилляции от Hugging Face
В этом учебнике Hugging Face демонстрирует пошаговый процесс дистилляции знаний на конкретном примере.
Основные темы:
🔹 Выбор модели-учителя и модели-ученика — использование крупных предобученных моделей для обучения более компактных.
🔹 Создание обучающего набора на основе предсказаний модели-учителя.
🔹 Настройка процесса дистилляции в Transformers и Trainer для эффективного переноса знаний.
🔹 Оценка и сравнение производительности с оригинальной моделью.
Руководство содержит кодовые примеры и практические советы, что делает его полезным для разработчиков, работающих с NLP и оптимизацией трансформеров.
Openai
OpenAI Platform
Explore developer resources, tutorials, API docs, and dynamic examples to get the most out of OpenAI's platform.
🤔AI и экономика: конец эпохи монополий?
Развитие искусственного интеллекта уже изменяет мир, но кому достанутся главные дивиденды? Как считает автор статьи A New AI World, AI может не повторить путь Big Tech, где корпорации монополизируют технологии и накапливают триллионы. Вместо этого он станет общественным благом, как интернет, GPS или вакцины, а его ценность будет распределена среди пользователей, а не только среди акционеров.
Яркий пример — китайский DeepSeek. Разработанный всего за $5 млн, он почти не уступает ChatGPT, обучение которого обошлось OpenAI в сотни миллионов. Это событие обрушило акции Nvidia на 17% и заставило инвесторов пересмотреть стратегию.
Сегодня AI-компании оцениваются в астрономические суммы: SoftBank готов вложить $40 млрд в OpenAI, но останется ли такая модель устойчивой? Автор статьи считает, что AI может повторить судьбу персональных компьютеров и коммерческой авиации — стать крайне полезной, но не сверхприбыльной индустрией. Если AI действительно перерастёт в общественное благо, мы увидим не рост цен на акции, а революцию в доступности технологий.
Развитие искусственного интеллекта уже изменяет мир, но кому достанутся главные дивиденды? Как считает автор статьи A New AI World, AI может не повторить путь Big Tech, где корпорации монополизируют технологии и накапливают триллионы. Вместо этого он станет общественным благом, как интернет, GPS или вакцины, а его ценность будет распределена среди пользователей, а не только среди акционеров.
Яркий пример — китайский DeepSeek. Разработанный всего за $5 млн, он почти не уступает ChatGPT, обучение которого обошлось OpenAI в сотни миллионов. Это событие обрушило акции Nvidia на 17% и заставило инвесторов пересмотреть стратегию.
Сегодня AI-компании оцениваются в астрономические суммы: SoftBank готов вложить $40 млрд в OpenAI, но останется ли такая модель устойчивой? Автор статьи считает, что AI может повторить судьбу персональных компьютеров и коммерческой авиации — стать крайне полезной, но не сверхприбыльной индустрией. Если AI действительно перерастёт в общественное благо, мы увидим не рост цен на акции, а революцию в доступности технологий.
Medium
A New AI World
Feels weird, but recently I find myself rooting for Canada, Denmark, and the lizard.