tgoop.com »
United States »
Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение » Telegram Web
💻 Что больше всего отнимает время у специалистов по данным
На Reddit обсуждают, какие задачи или процессы становятся главными «поглотителями» времени для дата-сайентистов.
Ожидаемо, на вершине списка — бесконечные встречи и созвоны. А что ещё? Ответы можно найти в обсуждении: https://clc.to/-KkraQ
Это отличный способ и посмеяться, и понять, что вы не одиноки.
😀 А что занимает больше всего времени у вас?
На Reddit обсуждают, какие задачи или процессы становятся главными «поглотителями» времени для дата-сайентистов.
Ожидаемо, на вершине списка — бесконечные встречи и созвоны. А что ещё? Ответы можно найти в обсуждении: https://clc.to/-KkraQ
Это отличный способ и посмеяться, и понять, что вы не одиноки.
😀 А что занимает больше всего времени у вас?
Forwarded from Proglib.academy | IT-курсы
🤖 📈 Data Science в 2025 году: 7 главных трендов
Разработчики JetBrains и Python Software Foundation рассказали, как изменится Data Science в ближайшие годы.
➡️ В статье:
▪️ Почему доля Python в анализе данных снижается
▪️ Какие библиотеки набирают популярность вместо pandas
▪️ Что происходит с AutoML, MLOps и визуализацией данных
▪️ И почему Rust и Julia наступают Python на пятки
Подробный разбор, новые инструменты и прогнозы на будущее — всё это читай в нашей статье.
🔵 Тренды меняются, но основы остаются — укрепи базу с нашим курсом «Математика для Data Science»
Разработчики JetBrains и Python Software Foundation рассказали, как изменится Data Science в ближайшие годы.
▪️ Почему доля Python в анализе данных снижается
▪️ Какие библиотеки набирают популярность вместо pandas
▪️ Что происходит с AutoML, MLOps и визуализацией данных
▪️ И почему Rust и Julia наступают Python на пятки
Подробный разбор, новые инструменты и прогнозы на будущее — всё это читай в нашей статье.
Please open Telegram to view this post
VIEW IN TELEGRAM
🎯 Почему нужно повторно обучать модели
Повторное обучение модели помогает улучшать ее производительность с учетом новых данных
Почему это важно
📉 Концептуальные изменения: распределение данных в реальном мире часто меняется, что приводит к ухудшению производительности модели.
📊 Новые закономерности: появление новых признаков в данных, которые модель должна учитывать.
⚙️ Оптимизация производительности: когда становится доступно больше размеченных данных, повторное обучение помогает повысить точность и уменьшить переобучение.
Типы повторного обучения
🔁 Запланированное обучение: периодическое повторное обучение модели (например, ежемесячно).
⏱️ Обучение по триггеру: инициация повторного обучения при определенных условиях, например, при снижении точности модели или значительном изменении распределения данных.
♻️ Непрерывное обучение: постоянное обновление модели по мере появления новых данных (инкрементальное обучение).
👀 Подробнее о том, когда пора обновлять ML-модели читайте в статье
Повторное обучение модели помогает улучшать ее производительность с учетом новых данных
Почему это важно
📉 Концептуальные изменения: распределение данных в реальном мире часто меняется, что приводит к ухудшению производительности модели.
📊 Новые закономерности: появление новых признаков в данных, которые модель должна учитывать.
⚙️ Оптимизация производительности: когда становится доступно больше размеченных данных, повторное обучение помогает повысить точность и уменьшить переобучение.
Типы повторного обучения
🔁 Запланированное обучение: периодическое повторное обучение модели (например, ежемесячно).
⏱️ Обучение по триггеру: инициация повторного обучения при определенных условиях, например, при снижении точности модели или значительном изменении распределения данных.
♻️ Непрерывное обучение: постоянное обновление модели по мере появления новых данных (инкрементальное обучение).
👀 Подробнее о том, когда пора обновлять ML-модели читайте в статье
🚀 Zasper: IDE для дата-сайентистов
Zasper — это IDE, разработанная с нуля для работы с высокой степенью параллелизма. Она обеспечивает минимальное потребление памяти, исключительную скорость и возможность обрабатывать множество одновременных подключений.
👍 Идеально подходит для запуска приложений в формате REPL, таких как Jupyter Notebook.
Github
Zasper — это IDE, разработанная с нуля для работы с высокой степенью параллелизма. Она обеспечивает минимальное потребление памяти, исключительную скорость и возможность обрабатывать множество одновременных подключений.
👍 Идеально подходит для запуска приложений в формате REPL, таких как Jupyter Notebook.
Github
Что такое DataDreamer
DataDreamer — это библиотека с открытым исходным кодом на Python для создания промптов, синтетических данных и рабочих процессов обучения.
✅ Простота: минимальный код для создания мощных рабочих процессов ИИ.
✅ Эффективность: библиотека оптимизирована для производительности с поддержкой нескольких графических процессоров.
✅ Исследовательский уровень: передовые методы генерации данных и обучения моделей.
Страница проекта
Github
DataDreamer — это библиотека с открытым исходным кодом на Python для создания промптов, синтетических данных и рабочих процессов обучения.
✅ Простота: минимальный код для создания мощных рабочих процессов ИИ.
✅ Эффективность: библиотека оптимизирована для производительности с поддержкой нескольких графических процессоров.
✅ Исследовательский уровень: передовые методы генерации данных и обучения моделей.
Страница проекта
Github
📊 Федеративное обучение
🔒 Конфиденциальность данных — одна из главных проблем внедрения ИИ в здравоохранение и банковскую сферу. Больницы и финансовые организации неохотно предоставляют данные для обучения моделей из-за строгих регуляций, а риски часто перевешивают возможные выгоды.
🚀 Федеративное обучение решает эту проблему. Вместо того чтобы передавать данные модели, модель отправляется к данным.
Как это работает
1️⃣ Модель предварительно обучается на сервере и отправляется на устройства пользователей.
2️⃣ Пользователи взаимодействуют с локальными моделями, которые дообучаются на месте.
3️⃣ Обновления локальных моделей отправляются обратно на сервер и усредняются.
4️⃣ Центральная модель синхронизируется с локальными версиями.
Google о федеративном обучении (классный комикс)
Блог TensorFlow
🔒 Конфиденциальность данных — одна из главных проблем внедрения ИИ в здравоохранение и банковскую сферу. Больницы и финансовые организации неохотно предоставляют данные для обучения моделей из-за строгих регуляций, а риски часто перевешивают возможные выгоды.
🚀 Федеративное обучение решает эту проблему. Вместо того чтобы передавать данные модели, модель отправляется к данным.
Как это работает
1️⃣ Модель предварительно обучается на сервере и отправляется на устройства пользователей.
2️⃣ Пользователи взаимодействуют с локальными моделями, которые дообучаются на месте.
3️⃣ Обновления локальных моделей отправляются обратно на сервер и усредняются.
4️⃣ Центральная модель синхронизируется с локальными версиями.
Google о федеративном обучении (классный комикс)
Блог TensorFlow
⚡️ Успехи Китая и DeepSeek-R1 в гонке за лидерство в ИИ
Релиз R1 и новости об инвестициях в отрасль вызвали падение акций американских ИТ-гигантов. NVIDIA за сутки потеряла 14%, что составило $465 млрд — антирекорд.
🔥 Сегодня появилась новость о том, что Китай выделяет 1 триллион юаней на развитие ИИ.
А вот и все новости за последние дни:
👉 DeepSeek вытесняет ChatGPT с поста топового приложения App Store
👉DeepSeek вызвал истерику у Американских ИИ корпораций
👉DeepSeek — очередной квантовый скачок в развитии AI
👉Как установить и использовать ИИ модель DeepSeek R-1 на вашем компьютере
👉 The Illustrated DeepSeek-R1 (отличный иллюстрированный DeepSeek-R1)
👉 Nvidia, OpenAI и Трамп прокомментировали DeepSeek
👀 Правда ли, что модель лучше и дешевле? Подробный обзор — завтра! Интересно? Пишите в комментариях «+».
Релиз R1 и новости об инвестициях в отрасль вызвали падение акций американских ИТ-гигантов. NVIDIA за сутки потеряла 14%, что составило $465 млрд — антирекорд.
🔥 Сегодня появилась новость о том, что Китай выделяет 1 триллион юаней на развитие ИИ.
А вот и все новости за последние дни:
👉 DeepSeek вытесняет ChatGPT с поста топового приложения App Store
👉DeepSeek вызвал истерику у Американских ИИ корпораций
👉DeepSeek — очередной квантовый скачок в развитии AI
👉Как установить и использовать ИИ модель DeepSeek R-1 на вашем компьютере
👉 The Illustrated DeepSeek-R1 (отличный иллюстрированный DeepSeek-R1)
👉 Nvidia, OpenAI и Трамп прокомментировали DeepSeek
👀 Правда ли, что модель лучше и дешевле? Подробный обзор — завтра! Интересно? Пишите в комментариях «+».
Forwarded from Библиотека задач по Data Science | тесты, код, задания
Что выведет код?
Anonymous Quiz
84%
[('a', 3), ('b', 3)]
10%
[('a', 2), ('b', 2)]
3%
[('a', 3), ('b', 2)]
3%
[('c', 3), ('a', 2)]
🧑💻 Статьи для IT: как объяснять и распространять значимые идеи
Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.
Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.
Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.
👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.
Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.
Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.
Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.
👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.
🤔 Что такое Data Valuation
В обучении моделей машинного обучения не все данные одинаково полезны. Например, шумные данные или данные с неправильным label могут снижать качество обучения. Процесс оценки значимости каждого элемента данных называется Data Valuation.
LossVal — это метод оценки Data Valuation, основанный на анализе функции потерь (loss function) модели машинного обучения.
Статья
Github
В обучении моделей машинного обучения не все данные одинаково полезны. Например, шумные данные или данные с неправильным label могут снижать качество обучения. Процесс оценки значимости каждого элемента данных называется Data Valuation.
LossVal — это метод оценки Data Valuation, основанный на анализе функции потерь (loss function) модели машинного обучения.
Статья
Github
👀 Построение масштабируемого геокодера на разные страны: опыт применения deep learning
Геокодирование — процесс преобразования текстовых адресов в точные координаты — долгое время опиралось на бустинг и линейные модели. Однако переход на deep learning открыл новые возможности: быструю адаптацию к разным странам, работу с опечатками и народными названиями. Команда API Яндекс Карт показала, как применила этот подход и сократила время запуска в новой стране до пары недель.
Статья
Геокодирование — процесс преобразования текстовых адресов в точные координаты — долгое время опиралось на бустинг и линейные модели. Однако переход на deep learning открыл новые возможности: быструю адаптацию к разным странам, работу с опечатками и народными названиями. Команда API Яндекс Карт показала, как применила этот подход и сократила время запуска в новой стране до пары недель.
Статья
Recognition and Localization — ключевые задачи компьютерного зрения
Segment Anything Model (SAM) отлично справляется с локализацией, но уступает в распознавании. В то же время Recognize Anything Model (RAM) демонстрирует выдающиеся способности в распознавании изображений как по точности, так и по охвату.
Преимущества RAM:
✅ Мощный и универсальный — превосходит другие модели в zero-shot разметке.
✅ Доступный и воспроизводимый — открытый код и отсутствие затрат на аннотации.
✅ Гибкий и многофункциональный — подходит для разных сценариев.
🚀 RAM распознаёт больше полезных тегов, чем другие модели, превосходя CLIP, BLIP и даже полностью обученные подходы (ML-Decoder), а также конкурируя с Google Tagging API!
Страница проекта
Публикация
Segment Anything Model (SAM) отлично справляется с локализацией, но уступает в распознавании. В то же время Recognize Anything Model (RAM) демонстрирует выдающиеся способности в распознавании изображений как по точности, так и по охвату.
Преимущества RAM:
✅ Мощный и универсальный — превосходит другие модели в zero-shot разметке.
✅ Доступный и воспроизводимый — открытый код и отсутствие затрат на аннотации.
✅ Гибкий и многофункциональный — подходит для разных сценариев.
🚀 RAM распознаёт больше полезных тегов, чем другие модели, превосходя CLIP, BLIP и даже полностью обученные подходы (ML-Decoder), а также конкурируя с Google Tagging API!
Страница проекта
Публикация