tgoop.com »
United States »
Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение » Telegram Web
🔥 Нужно добавить перчинку в работу с данными
Шкала Сковилла используется для измерения остроты перца чили и других острых продуктов.
#memes
#memes
😁11
Ну что, как первый рабочий день в 2025 году?
Anonymous Poll
31%
Я почти умер 💀
31%
Да нормально 👍
10%
Я очень его ждал! 🤓
28%
Это НЕ первый мой рабочий день в 2025 году...
🤖 Напоминаем, что у нас есть еженедельная email-рассылка, посвященная последним новостям и тенденциям в мире искусственного интеллекта.
В ней:
● Новости о прорывных исследованиях в области машинного обучения и нейросетей
● Материалы о применении ИИ в разных сферах
● Статьи об этических аспектах развития технологий
● Подборки лучших онлайн-курсов и лекций по машинному обучению
● Обзоры инструментов и библиотек для разработки нейронных сетей
● Ссылки на репозитории с открытым исходным кодом ИИ-проектов
● Фильмы, сериалы и книги
👉Подписаться👈
В ней:
● Новости о прорывных исследованиях в области машинного обучения и нейросетей
● Материалы о применении ИИ в разных сферах
● Статьи об этических аспектах развития технологий
● Подборки лучших онлайн-курсов и лекций по машинному обучению
● Обзоры инструментов и библиотек для разработки нейронных сетей
● Ссылки на репозитории с открытым исходным кодом ИИ-проектов
● Фильмы, сериалы и книги
👉Подписаться👈
🎉1
Forwarded from Библиотека программиста | программирование, кодинг, разработка
📈 Apache Superset — платформа визуализации и исследования данных
Она может заменить или дополнить инструменты бизнес-аналитики для многих команд, интегрируясь с различными источниками данных.
📦 Под капотом:
• No-code интерфейс для быстрого построения диаграмм.
• Мощный веб-редактор SQL для расширенных запросов.
• Легковесный семантический слой для быстрого определения кастомных измерений и показателей.
• Встроенная поддержка практически любой базы данных SQL или движка данных.
• Широкий спектр визуализаций для демонстрации данных: от простых столбчатых диаграмм до геопространственных визуализаций.
• Легковесный, настраиваемый уровень кэширования, помогающий снизить нагрузку на базу данных.
• Расширяемые роли безопасности и параметры аутентификации.
• API для программной настройки.
• Cloud-native архитектура.
👉 GitHub
#инструменты
Она может заменить или дополнить инструменты бизнес-аналитики для многих команд, интегрируясь с различными источниками данных.
📦 Под капотом:
• No-code интерфейс для быстрого построения диаграмм.
• Мощный веб-редактор SQL для расширенных запросов.
• Легковесный семантический слой для быстрого определения кастомных измерений и показателей.
• Встроенная поддержка практически любой базы данных SQL или движка данных.
• Широкий спектр визуализаций для демонстрации данных: от простых столбчатых диаграмм до геопространственных визуализаций.
• Легковесный, настраиваемый уровень кэширования, помогающий снизить нагрузку на базу данных.
• Расширяемые роли безопасности и параметры аутентификации.
• API для программной настройки.
• Cloud-native архитектура.
👉 GitHub
#инструменты
🔥5😁1🌚1
🍊 Подборка лучших статей «Библиотеки программиста» за декабрь: сохраняй в заметки, чтобы не пропустить #самыйсок
🤖🔧 ТОП-10 опенсорсных инструментов для работы с ИИ в 2025 году
🐍📈 Python в 2024 году: что происходит с самым популярным языком
🤖🎓 SmartClass: как научить AI проверять домашки программистов
🐍🛣️ Как изучать Python в 2025 году: дорожная карта
📊 Построение DWH и разработка дашбордов в Power BI: 5 проблем и их решение
💻📈 Итоги года Proglib: 2024 год в цифрах и достижениях
✍️Тесты:
👑🧟 Король спама: насколько сильно ты бесишь коллег в рабочих чатах
🦑👨💻 Программист в «Игре в кальмара»: каковы твои шансы выжить?
🤖🔧 ТОП-10 опенсорсных инструментов для работы с ИИ в 2025 году
🐍📈 Python в 2024 году: что происходит с самым популярным языком
🤖🎓 SmartClass: как научить AI проверять домашки программистов
🐍🛣️ Как изучать Python в 2025 году: дорожная карта
📊 Построение DWH и разработка дашбордов в Power BI: 5 проблем и их решение
💻📈 Итоги года Proglib: 2024 год в цифрах и достижениях
✍️Тесты:
👑🧟 Король спама: насколько сильно ты бесишь коллег в рабочих чатах
🦑👨💻 Программист в «Игре в кальмара»: каковы твои шансы выжить?
👍4🥰2
Forwarded from Proglib.academy | IT-курсы
Читайте в нашей статье детальное описание основных принципов, понятий и разновидностей машинного обучения.
Забирайте курс по машинному обучению и прокачивайтесь:
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4
🦑 Игра в кальмара... для дата-сайентиста
Итак, представьте: вы только что были наняты в качестве дата-сайентиста загадочной организацией Squid Game. Вам пообещали полностью удалённую работу, на которой вы сможете достичь синергии с генеративным ИИ. Однако оказалось, что на самом деле вам нужно быть, скорее, продуктовым аналитиком (а формат работы гибридный — 5 дней в офисе, 2 опционально удалённо).
🔫 Пока вы не успели начать жаловаться, к вашей голове приставили пушку и заставляют писать SQL-запросы. Именно в этом и заключается суть образовательной игры SQL Squid Game — решайте задачки и проходите испытания.
👉 Ссылка на игру
Итак, представьте: вы только что были наняты в качестве дата-сайентиста загадочной организацией Squid Game. Вам пообещали полностью удалённую работу, на которой вы сможете достичь синергии с генеративным ИИ. Однако оказалось, что на самом деле вам нужно быть, скорее, продуктовым аналитиком (а формат работы гибридный — 5 дней в офисе, 2 опционально удалённо).
🔫 Пока вы не успели начать жаловаться, к вашей голове приставили пушку и заставляют писать SQL-запросы. Именно в этом и заключается суть образовательной игры SQL Squid Game — решайте задачки и проходите испытания.
👉 Ссылка на игру
❤5😁4👏1
Самые полезные каналы для программистов в одной подборке!
Сохраняйте себе, чтобы не потерять 💾
🔥Для всех
Библиотека программиста — новости, статьи, досуг, фундаментальные темы
Книги для программистов
IT-мемы
Proglib Academy — тут мы рассказываем про обучение и курсы
Азбука айтишника — здесь мы познаем азы из мира программирования
🤖Про нейросети
Библиотека робототехники и беспилотников | Роботы, ИИ, интернет вещей
Библиотека нейрозвука | Транскрибация, синтез речи, ИИ-музыка
Библиотека нейротекста | ChatGPT, Gemini, Bing
Библиотека нейровидео | Sora AI, Runway ML, дипфейки
Библиотека нейрокартинок | Midjourney, DALL-E, Stable Diffusion
#️⃣C#
Книги для шарпистов | C#, .NET, F#
Библиотека шарписта — полезные статьи, новости и обучающие материалы по C#
Библиотека задач по C# — код, квизы и тесты
Библиотека собеса по C# — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Вакансии по C#, .NET, Unity Вакансии по PHP, Symfony, Laravel
☁️DevOps
Библиотека devops’а — полезные статьи, новости и обучающие материалы по DevOps
Вакансии по DevOps & SRE
Библиотека задач по DevOps — код, квизы и тесты
Библиотека собеса по DevOps — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
🐘PHP
Библиотека пхпшника — полезные статьи, новости и обучающие материалы по PHP
Вакансии по PHP, Symfony, Laravel
Библиотека PHP для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по PHP — код, квизы и тесты
🐍Python
Библиотека питониста — полезные статьи, новости и обучающие материалы по Python
Вакансии по питону, Django, Flask
Библиотека Python для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Python — код, квизы и тесты
☕Java
Книги для джавистов | Java
Библиотека джависта — полезные статьи по Java, новости и обучающие материалы
Библиотека Java для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Java — код, квизы и тесты
Вакансии для java-разработчиков
👾Data Science
Книги для дата сайентистов | Data Science
Библиотека Data Science — полезные статьи, новости и обучающие материалы по Data Science
Библиотека Data Science для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Data Science — код, квизы и тесты
Вакансии по Data Science, анализу данных, аналитике, искусственному интеллекту
🦫Go
Книги для Go разработчиков
Библиотека Go разработчика — полезные статьи, новости и обучающие материалы по Go
Библиотека Go для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Go — код, квизы и тесты
Вакансии по Go
🧠C++
Книги для C/C++ разработчиков
Библиотека C/C++ разработчика — полезные статьи, новости и обучающие материалы по C++
Библиотека C++ для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по C++ — код, квизы и тесты
Вакансии по C++
💻Другие каналы
Библиотека фронтендера
Библиотека мобильного разработчика
Библиотека хакера
Библиотека тестировщика
Вакансии по фронтенду, джаваскрипт, React, Angular, Vue
Вакансии для мобильных разработчиков
Вакансии по QA тестированию
InfoSec Jobs — вакансии по информационной безопасности
Библиотека разработчика игр | Gamedev, Unity, Unreal Engine
📁Чтобы добавить папку с нашими каналами, нажмите 👉сюда👈
Также у нас есть боты:
Бот с IT-вакансиями
Бот с мероприятиями в сфере IT
Мы в других соцсетях:
🔸VK
🔸YouTube
🔸Дзен
🔸Facebook *
🔸Instagram *
* Организация Meta запрещена на территории РФ
Сохраняйте себе, чтобы не потерять 💾
🔥Для всех
Библиотека программиста — новости, статьи, досуг, фундаментальные темы
Книги для программистов
IT-мемы
Proglib Academy — тут мы рассказываем про обучение и курсы
Азбука айтишника — здесь мы познаем азы из мира программирования
🤖Про нейросети
Библиотека робототехники и беспилотников | Роботы, ИИ, интернет вещей
Библиотека нейрозвука | Транскрибация, синтез речи, ИИ-музыка
Библиотека нейротекста | ChatGPT, Gemini, Bing
Библиотека нейровидео | Sora AI, Runway ML, дипфейки
Библиотека нейрокартинок | Midjourney, DALL-E, Stable Diffusion
#️⃣C#
Книги для шарпистов | C#, .NET, F#
Библиотека шарписта — полезные статьи, новости и обучающие материалы по C#
Библиотека задач по C# — код, квизы и тесты
Библиотека собеса по C# — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Вакансии по C#, .NET, Unity Вакансии по PHP, Symfony, Laravel
☁️DevOps
Библиотека devops’а — полезные статьи, новости и обучающие материалы по DevOps
Вакансии по DevOps & SRE
Библиотека задач по DevOps — код, квизы и тесты
Библиотека собеса по DevOps — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
🐘PHP
Библиотека пхпшника — полезные статьи, новости и обучающие материалы по PHP
Вакансии по PHP, Symfony, Laravel
Библиотека PHP для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по PHP — код, квизы и тесты
🐍Python
Библиотека питониста — полезные статьи, новости и обучающие материалы по Python
Вакансии по питону, Django, Flask
Библиотека Python для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Python — код, квизы и тесты
☕Java
Книги для джавистов | Java
Библиотека джависта — полезные статьи по Java, новости и обучающие материалы
Библиотека Java для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Java — код, квизы и тесты
Вакансии для java-разработчиков
👾Data Science
Книги для дата сайентистов | Data Science
Библиотека Data Science — полезные статьи, новости и обучающие материалы по Data Science
Библиотека Data Science для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Data Science — код, квизы и тесты
Вакансии по Data Science, анализу данных, аналитике, искусственному интеллекту
🦫Go
Книги для Go разработчиков
Библиотека Go разработчика — полезные статьи, новости и обучающие материалы по Go
Библиотека Go для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Go — код, квизы и тесты
Вакансии по Go
🧠C++
Книги для C/C++ разработчиков
Библиотека C/C++ разработчика — полезные статьи, новости и обучающие материалы по C++
Библиотека C++ для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по C++ — код, квизы и тесты
Вакансии по C++
💻Другие каналы
Библиотека фронтендера
Библиотека мобильного разработчика
Библиотека хакера
Библиотека тестировщика
Вакансии по фронтенду, джаваскрипт, React, Angular, Vue
Вакансии для мобильных разработчиков
Вакансии по QA тестированию
InfoSec Jobs — вакансии по информационной безопасности
Библиотека разработчика игр | Gamedev, Unity, Unreal Engine
📁Чтобы добавить папку с нашими каналами, нажмите 👉сюда👈
Также у нас есть боты:
Бот с IT-вакансиями
Бот с мероприятиями в сфере IT
Мы в других соцсетях:
🔸VK
🔸YouTube
🔸Дзен
🔸Facebook *
🔸Instagram *
* Организация Meta запрещена на территории РФ
🔥2👍1
🚗 Moral Machine — делаем нравственный выбор для беспилотного автомобиля
Этика искусственного интеллекта — широкая область, пытающаяся задать рамки поведения «умных» систем, в том числе машин с автопилотом. Moral Machine — это исследование, построенное на известной этической дилемме — проблеме вагонетки.
👀 Вам показывают ситуацию и два варианта действий для беспилотного авто. Необходимо выбрать тот вариант, который кажется вам более верным с этической точки зрения. В конце вы можете сравнить свои выборы с чужими.
👉 Пройти тест
Этика искусственного интеллекта — широкая область, пытающаяся задать рамки поведения «умных» систем, в том числе машин с автопилотом. Moral Machine — это исследование, построенное на известной этической дилемме — проблеме вагонетки.
👀 Вам показывают ситуацию и два варианта действий для беспилотного авто. Необходимо выбрать тот вариант, который кажется вам более верным с этической точки зрения. В конце вы можете сравнить свои выборы с чужими.
👉 Пройти тест
🔥4
🧠 Что такое дистилляция знаний?
Дистилляция знаний — это метод передачи знаний от модели-учителя к модели-ученику. В первую очередь, это касается нейросетей.
❓Зачем это нужно?
Представьте, что вы можете улучшить производительность модели, при этом не расходуя огромные ресурсы на сложное обучение. Так, с помощью дистилляции знаний удалось добиться хорошего качества предсказания на ImageNet от ViT без использования дополнительных данных.
✍️ Как это делается?
Один из конкретных способов — Хинтоновская дистилляция знаний. Её суть заключается в следующем: большая заранее обученная модель-учитель выдаёт предсказания, которые служат в качестве новой разметки, а компактная модель-ученик пытается воспроизвести эти предсказания. Таким образом, ученик перенимает не только итоговые ответы, но и более глубокие представления структуры данных.
Примером применения Хинтоновской дистилляции является модель DistilBERT, которая сохраняет 97% качества модели BERT, используя при этом на 40% меньше параметров.
Дистилляция знаний — это метод передачи знаний от модели-учителя к модели-ученику. В первую очередь, это касается нейросетей.
❓Зачем это нужно?
Представьте, что вы можете улучшить производительность модели, при этом не расходуя огромные ресурсы на сложное обучение. Так, с помощью дистилляции знаний удалось добиться хорошего качества предсказания на ImageNet от ViT без использования дополнительных данных.
✍️ Как это делается?
Один из конкретных способов — Хинтоновская дистилляция знаний. Её суть заключается в следующем: большая заранее обученная модель-учитель выдаёт предсказания, которые служат в качестве новой разметки, а компактная модель-ученик пытается воспроизвести эти предсказания. Таким образом, ученик перенимает не только итоговые ответы, но и более глубокие представления структуры данных.
Примером применения Хинтоновской дистилляции является модель DistilBERT, которая сохраняет 97% качества модели BERT, используя при этом на 40% меньше параметров.
👍11
This media is not supported in your browser
VIEW IN TELEGRAM
💡 Data Drift и как его «поймать»
🧠 Что такое KL divergence
KL divergence измеряет, насколько одно распределение данных отличается от другого.
🤔 Как применяется в мониторинге
После развертывания модели KL divergence помогает измерить разницу между распределением данных на тренировке (референс) и в продакшене. Если значение превышает установленный порог, это сигнализирует о возможной деградации модели.
🔹Преимущество
Чувствителен к небольшим изменениям в данных, что позволяет быстро обнаружить даже слабые признаки дрейфа.
🔸Ограничение
Может выдавать ложные срабатывания, реагируя на шум или выбросы.
Используете KL divergence или знаете другие подходы для отслеживания дрейфа? Пишите в комментариях 👇
#datadrift #KLDivergence #monitoring #machinelearning
🧠 Что такое KL divergence
KL divergence измеряет, насколько одно распределение данных отличается от другого.
🤔 Как применяется в мониторинге
После развертывания модели KL divergence помогает измерить разницу между распределением данных на тренировке (референс) и в продакшене. Если значение превышает установленный порог, это сигнализирует о возможной деградации модели.
🔹Преимущество
Чувствителен к небольшим изменениям в данных, что позволяет быстро обнаружить даже слабые признаки дрейфа.
🔸Ограничение
Может выдавать ложные срабатывания, реагируя на шум или выбросы.
Используете KL divergence или знаете другие подходы для отслеживания дрейфа? Пишите в комментариях 👇
#datadrift #KLDivergence #monitoring #machinelearning
👍9❤1
This media is not supported in your browser
VIEW IN TELEGRAM
📊 Нужны ли дополнительные данные для модели
Если производительность модели почти не улучшается, несмотря на feature engineering и смену моделей, возможно, данных недостаточно.
Но сбор новых данных — это трудоёмко. Вот как проверить, помогут ли они:
1. Разделите обучающую выборку на k равных частей (7–12 обычно достаточно).
2. Поочерёдно обучайте модель: на 1 части, затем на 2, затем на 3, и так далее.
3. Оцените каждую модель на валидационной выборке.
4. Постройте график, который покажет зависимость производительности от объема данных.
📈 Линия растёт? Добавление данных улучшит модель.
📉 Линия стабильна? Собранные данные исчерпали потенциал.
Простой способ избежать лишней работы!
#данные #modeloptimization
Если производительность модели почти не улучшается, несмотря на feature engineering и смену моделей, возможно, данных недостаточно.
Но сбор новых данных — это трудоёмко. Вот как проверить, помогут ли они:
1. Разделите обучающую выборку на k равных частей (7–12 обычно достаточно).
2. Поочерёдно обучайте модель: на 1 части, затем на 2, затем на 3, и так далее.
3. Оцените каждую модель на валидационной выборке.
4. Постройте график, который покажет зависимость производительности от объема данных.
📈 Линия растёт? Добавление данных улучшит модель.
📉 Линия стабильна? Собранные данные исчерпали потенциал.
Простой способ избежать лишней работы!
#данные #modeloptimization
🔥13👍6❤1
🚀 Cosmograph для Python — GPU-ускоренный инструмент для интерактивной визуализации графов
Cosmograph — это мощное веб-приложение для анализа больших графов и векторных представлений (эмбеддингов) машинного обучения.
Возможности
⛓️ Панорамирование, масштабирование, подсветка и выбор узлов.
⚙️ API для изменения макета, цвета, размера и других параметров.
📦 Простая установка через
Проект
#визуализация #графы #Jupyter
Cosmograph — это мощное веб-приложение для анализа больших графов и векторных представлений (эмбеддингов) машинного обучения.
Возможности
⛓️ Панорамирование, масштабирование, подсветка и выбор узлов.
⚙️ API для изменения макета, цвета, размера и других параметров.
📦 Простая установка через
pip install cosmograph
.Проект
#визуализация #графы #Jupyter
👍8❤4😁1
🌍 Отчет «Будущее рабочих мест» от Всемирного экономического форума
Рынок труда меняется быстрее, чем мы могли себе представить, благодаря технологическим достижениям, таким как ИИ и Большие данные.
Основные выводы
📊 86% компаний ожидают, что технологии ИИ и обработки информации преобразят их бизнес к 2030 году.
📈 Самые востребованные профессии к 2030 году:
1. Специалисты по Большим данным
2. Финтех-инженеры
3. Эксперты по ИИ и машинному обучению
4. Разработчики ПО и приложений
5. Специалисты по кибербезопасности
📉 Профессии, которые теряют актуальность:
1. Клерки и кассиры
2. Административные помощники
3. Работники печатной отрасли
4. Бухгалтеры
Ваше мнение?
Рынок труда меняется быстрее, чем мы могли себе представить, благодаря технологическим достижениям, таким как ИИ и Большие данные.
Основные выводы
📊 86% компаний ожидают, что технологии ИИ и обработки информации преобразят их бизнес к 2030 году.
📈 Самые востребованные профессии к 2030 году:
1. Специалисты по Большим данным
2. Финтех-инженеры
3. Эксперты по ИИ и машинному обучению
4. Разработчики ПО и приложений
5. Специалисты по кибербезопасности
📉 Профессии, которые теряют актуальность:
1. Клерки и кассиры
2. Административные помощники
3. Работники печатной отрасли
4. Бухгалтеры
Ваше мнение?
👍7😁6🤔2
Forwarded from Библиотека задач по Data Science | тесты, код, задания