tgoop.com »
United States »
Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение » Telegram Web
Forwarded from Библиотека программиста | программирование, кодинг, разработка
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
⚒️ Cache-optimized matrix multiplication
Серия коротких видео, демонстрирующих методы повышения эффективности умножения матриц за счет оптимального использования кэш-памяти процессора.
Такие техники важны в высокопроизводительных вычислениях и приложениях, где операции с матрицами являются ключевыми.
👉 Источник
Серия коротких видео, демонстрирующих методы повышения эффективности умножения матриц за счет оптимального использования кэш-памяти процессора.
Такие техники важны в высокопроизводительных вычислениях и приложениях, где операции с матрицами являются ключевыми.
👉 Источник
❤6🤔3👍1🥰1
✍️ Как определить выбросы с помощью критерия Граббса?
Главное предположение критерия Граббса состоит в том, что выборка имеет нормальное распределение.
🔧 Алгоритм определения выбросов:
1️⃣ Возьмите данные и найдите самое удалённое значение.
2️⃣ Рассчитайте метрику отклонения.
Для этого нужно определить, насколько далеко это значение находится от среднего уровня остальных данных, учитывая их вариативность.
3️⃣ Сравните с критическим значением.
Критическое значение берётся из таблицы критерия Граббса (оно зависит от количества данных и уровня значимости). Если метрика превышает этот порог, значение считается выбросом.
#вопросы_с_собеседований
#вопросы_с_собеседований
👍7
Forwarded from Proglib.academy | IT-курсы
Всё о Power BI:
▪️ Visualizing your first dataset
▪️ Data Visualizations in Power BI
▪️ Power Query Editor in Power BI
▪️ DAX Expressions
🔗 Шпаргалка
Please open Telegram to view this post
VIEW IN TELEGRAM
❤🔥4
🔥 Нужно добавить перчинку в работу с данными
Шкала Сковилла используется для измерения остроты перца чили и других острых продуктов.
#memes
#memes
😁11
Ну что, как первый рабочий день в 2025 году?
Anonymous Poll
31%
Я почти умер 💀
31%
Да нормально 👍
10%
Я очень его ждал! 🤓
28%
Это НЕ первый мой рабочий день в 2025 году...
🤖 Напоминаем, что у нас есть еженедельная email-рассылка, посвященная последним новостям и тенденциям в мире искусственного интеллекта.
В ней:
● Новости о прорывных исследованиях в области машинного обучения и нейросетей
● Материалы о применении ИИ в разных сферах
● Статьи об этических аспектах развития технологий
● Подборки лучших онлайн-курсов и лекций по машинному обучению
● Обзоры инструментов и библиотек для разработки нейронных сетей
● Ссылки на репозитории с открытым исходным кодом ИИ-проектов
● Фильмы, сериалы и книги
👉Подписаться👈
В ней:
● Новости о прорывных исследованиях в области машинного обучения и нейросетей
● Материалы о применении ИИ в разных сферах
● Статьи об этических аспектах развития технологий
● Подборки лучших онлайн-курсов и лекций по машинному обучению
● Обзоры инструментов и библиотек для разработки нейронных сетей
● Ссылки на репозитории с открытым исходным кодом ИИ-проектов
● Фильмы, сериалы и книги
👉Подписаться👈
🎉1
Forwarded from Библиотека программиста | программирование, кодинг, разработка
📈 Apache Superset — платформа визуализации и исследования данных
Она может заменить или дополнить инструменты бизнес-аналитики для многих команд, интегрируясь с различными источниками данных.
📦 Под капотом:
• No-code интерфейс для быстрого построения диаграмм.
• Мощный веб-редактор SQL для расширенных запросов.
• Легковесный семантический слой для быстрого определения кастомных измерений и показателей.
• Встроенная поддержка практически любой базы данных SQL или движка данных.
• Широкий спектр визуализаций для демонстрации данных: от простых столбчатых диаграмм до геопространственных визуализаций.
• Легковесный, настраиваемый уровень кэширования, помогающий снизить нагрузку на базу данных.
• Расширяемые роли безопасности и параметры аутентификации.
• API для программной настройки.
• Cloud-native архитектура.
👉 GitHub
#инструменты
Она может заменить или дополнить инструменты бизнес-аналитики для многих команд, интегрируясь с различными источниками данных.
📦 Под капотом:
• No-code интерфейс для быстрого построения диаграмм.
• Мощный веб-редактор SQL для расширенных запросов.
• Легковесный семантический слой для быстрого определения кастомных измерений и показателей.
• Встроенная поддержка практически любой базы данных SQL или движка данных.
• Широкий спектр визуализаций для демонстрации данных: от простых столбчатых диаграмм до геопространственных визуализаций.
• Легковесный, настраиваемый уровень кэширования, помогающий снизить нагрузку на базу данных.
• Расширяемые роли безопасности и параметры аутентификации.
• API для программной настройки.
• Cloud-native архитектура.
👉 GitHub
#инструменты
🔥5😁1🌚1
🍊 Подборка лучших статей «Библиотеки программиста» за декабрь: сохраняй в заметки, чтобы не пропустить #самыйсок
🤖🔧 ТОП-10 опенсорсных инструментов для работы с ИИ в 2025 году
🐍📈 Python в 2024 году: что происходит с самым популярным языком
🤖🎓 SmartClass: как научить AI проверять домашки программистов
🐍🛣️ Как изучать Python в 2025 году: дорожная карта
📊 Построение DWH и разработка дашбордов в Power BI: 5 проблем и их решение
💻📈 Итоги года Proglib: 2024 год в цифрах и достижениях
✍️Тесты:
👑🧟 Король спама: насколько сильно ты бесишь коллег в рабочих чатах
🦑👨💻 Программист в «Игре в кальмара»: каковы твои шансы выжить?
🤖🔧 ТОП-10 опенсорсных инструментов для работы с ИИ в 2025 году
🐍📈 Python в 2024 году: что происходит с самым популярным языком
🤖🎓 SmartClass: как научить AI проверять домашки программистов
🐍🛣️ Как изучать Python в 2025 году: дорожная карта
📊 Построение DWH и разработка дашбордов в Power BI: 5 проблем и их решение
💻📈 Итоги года Proglib: 2024 год в цифрах и достижениях
✍️Тесты:
👑🧟 Король спама: насколько сильно ты бесишь коллег в рабочих чатах
🦑👨💻 Программист в «Игре в кальмара»: каковы твои шансы выжить?
👍4🥰2
Forwarded from Proglib.academy | IT-курсы
Читайте в нашей статье детальное описание основных принципов, понятий и разновидностей машинного обучения.
Забирайте курс по машинному обучению и прокачивайтесь:
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4
🦑 Игра в кальмара... для дата-сайентиста
Итак, представьте: вы только что были наняты в качестве дата-сайентиста загадочной организацией Squid Game. Вам пообещали полностью удалённую работу, на которой вы сможете достичь синергии с генеративным ИИ. Однако оказалось, что на самом деле вам нужно быть, скорее, продуктовым аналитиком (а формат работы гибридный — 5 дней в офисе, 2 опционально удалённо).
🔫 Пока вы не успели начать жаловаться, к вашей голове приставили пушку и заставляют писать SQL-запросы. Именно в этом и заключается суть образовательной игры SQL Squid Game — решайте задачки и проходите испытания.
👉 Ссылка на игру
Итак, представьте: вы только что были наняты в качестве дата-сайентиста загадочной организацией Squid Game. Вам пообещали полностью удалённую работу, на которой вы сможете достичь синергии с генеративным ИИ. Однако оказалось, что на самом деле вам нужно быть, скорее, продуктовым аналитиком (а формат работы гибридный — 5 дней в офисе, 2 опционально удалённо).
🔫 Пока вы не успели начать жаловаться, к вашей голове приставили пушку и заставляют писать SQL-запросы. Именно в этом и заключается суть образовательной игры SQL Squid Game — решайте задачки и проходите испытания.
👉 Ссылка на игру
❤5😁4👏1
Самые полезные каналы для программистов в одной подборке!
Сохраняйте себе, чтобы не потерять 💾
🔥Для всех
Библиотека программиста — новости, статьи, досуг, фундаментальные темы
Книги для программистов
IT-мемы
Proglib Academy — тут мы рассказываем про обучение и курсы
Азбука айтишника — здесь мы познаем азы из мира программирования
🤖Про нейросети
Библиотека робототехники и беспилотников | Роботы, ИИ, интернет вещей
Библиотека нейрозвука | Транскрибация, синтез речи, ИИ-музыка
Библиотека нейротекста | ChatGPT, Gemini, Bing
Библиотека нейровидео | Sora AI, Runway ML, дипфейки
Библиотека нейрокартинок | Midjourney, DALL-E, Stable Diffusion
#️⃣C#
Книги для шарпистов | C#, .NET, F#
Библиотека шарписта — полезные статьи, новости и обучающие материалы по C#
Библиотека задач по C# — код, квизы и тесты
Библиотека собеса по C# — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Вакансии по C#, .NET, Unity Вакансии по PHP, Symfony, Laravel
☁️DevOps
Библиотека devops’а — полезные статьи, новости и обучающие материалы по DevOps
Вакансии по DevOps & SRE
Библиотека задач по DevOps — код, квизы и тесты
Библиотека собеса по DevOps — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
🐘PHP
Библиотека пхпшника — полезные статьи, новости и обучающие материалы по PHP
Вакансии по PHP, Symfony, Laravel
Библиотека PHP для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по PHP — код, квизы и тесты
🐍Python
Библиотека питониста — полезные статьи, новости и обучающие материалы по Python
Вакансии по питону, Django, Flask
Библиотека Python для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Python — код, квизы и тесты
☕Java
Книги для джавистов | Java
Библиотека джависта — полезные статьи по Java, новости и обучающие материалы
Библиотека Java для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Java — код, квизы и тесты
Вакансии для java-разработчиков
👾Data Science
Книги для дата сайентистов | Data Science
Библиотека Data Science — полезные статьи, новости и обучающие материалы по Data Science
Библиотека Data Science для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Data Science — код, квизы и тесты
Вакансии по Data Science, анализу данных, аналитике, искусственному интеллекту
🦫Go
Книги для Go разработчиков
Библиотека Go разработчика — полезные статьи, новости и обучающие материалы по Go
Библиотека Go для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Go — код, квизы и тесты
Вакансии по Go
🧠C++
Книги для C/C++ разработчиков
Библиотека C/C++ разработчика — полезные статьи, новости и обучающие материалы по C++
Библиотека C++ для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по C++ — код, квизы и тесты
Вакансии по C++
💻Другие каналы
Библиотека фронтендера
Библиотека мобильного разработчика
Библиотека хакера
Библиотека тестировщика
Вакансии по фронтенду, джаваскрипт, React, Angular, Vue
Вакансии для мобильных разработчиков
Вакансии по QA тестированию
InfoSec Jobs — вакансии по информационной безопасности
Библиотека разработчика игр | Gamedev, Unity, Unreal Engine
📁Чтобы добавить папку с нашими каналами, нажмите 👉сюда👈
Также у нас есть боты:
Бот с IT-вакансиями
Бот с мероприятиями в сфере IT
Мы в других соцсетях:
🔸VK
🔸YouTube
🔸Дзен
🔸Facebook *
🔸Instagram *
* Организация Meta запрещена на территории РФ
Сохраняйте себе, чтобы не потерять 💾
🔥Для всех
Библиотека программиста — новости, статьи, досуг, фундаментальные темы
Книги для программистов
IT-мемы
Proglib Academy — тут мы рассказываем про обучение и курсы
Азбука айтишника — здесь мы познаем азы из мира программирования
🤖Про нейросети
Библиотека робототехники и беспилотников | Роботы, ИИ, интернет вещей
Библиотека нейрозвука | Транскрибация, синтез речи, ИИ-музыка
Библиотека нейротекста | ChatGPT, Gemini, Bing
Библиотека нейровидео | Sora AI, Runway ML, дипфейки
Библиотека нейрокартинок | Midjourney, DALL-E, Stable Diffusion
#️⃣C#
Книги для шарпистов | C#, .NET, F#
Библиотека шарписта — полезные статьи, новости и обучающие материалы по C#
Библиотека задач по C# — код, квизы и тесты
Библиотека собеса по C# — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Вакансии по C#, .NET, Unity Вакансии по PHP, Symfony, Laravel
☁️DevOps
Библиотека devops’а — полезные статьи, новости и обучающие материалы по DevOps
Вакансии по DevOps & SRE
Библиотека задач по DevOps — код, квизы и тесты
Библиотека собеса по DevOps — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
🐘PHP
Библиотека пхпшника — полезные статьи, новости и обучающие материалы по PHP
Вакансии по PHP, Symfony, Laravel
Библиотека PHP для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по PHP — код, квизы и тесты
🐍Python
Библиотека питониста — полезные статьи, новости и обучающие материалы по Python
Вакансии по питону, Django, Flask
Библиотека Python для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Python — код, квизы и тесты
☕Java
Книги для джавистов | Java
Библиотека джависта — полезные статьи по Java, новости и обучающие материалы
Библиотека Java для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Java — код, квизы и тесты
Вакансии для java-разработчиков
👾Data Science
Книги для дата сайентистов | Data Science
Библиотека Data Science — полезные статьи, новости и обучающие материалы по Data Science
Библиотека Data Science для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Data Science — код, квизы и тесты
Вакансии по Data Science, анализу данных, аналитике, искусственному интеллекту
🦫Go
Книги для Go разработчиков
Библиотека Go разработчика — полезные статьи, новости и обучающие материалы по Go
Библиотека Go для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Go — код, квизы и тесты
Вакансии по Go
🧠C++
Книги для C/C++ разработчиков
Библиотека C/C++ разработчика — полезные статьи, новости и обучающие материалы по C++
Библиотека C++ для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по C++ — код, квизы и тесты
Вакансии по C++
💻Другие каналы
Библиотека фронтендера
Библиотека мобильного разработчика
Библиотека хакера
Библиотека тестировщика
Вакансии по фронтенду, джаваскрипт, React, Angular, Vue
Вакансии для мобильных разработчиков
Вакансии по QA тестированию
InfoSec Jobs — вакансии по информационной безопасности
Библиотека разработчика игр | Gamedev, Unity, Unreal Engine
📁Чтобы добавить папку с нашими каналами, нажмите 👉сюда👈
Также у нас есть боты:
Бот с IT-вакансиями
Бот с мероприятиями в сфере IT
Мы в других соцсетях:
🔸VK
🔸YouTube
🔸Дзен
🔸Facebook *
🔸Instagram *
* Организация Meta запрещена на территории РФ
🔥2👍1
🚗 Moral Machine — делаем нравственный выбор для беспилотного автомобиля
Этика искусственного интеллекта — широкая область, пытающаяся задать рамки поведения «умных» систем, в том числе машин с автопилотом. Moral Machine — это исследование, построенное на известной этической дилемме — проблеме вагонетки.
👀 Вам показывают ситуацию и два варианта действий для беспилотного авто. Необходимо выбрать тот вариант, который кажется вам более верным с этической точки зрения. В конце вы можете сравнить свои выборы с чужими.
👉 Пройти тест
Этика искусственного интеллекта — широкая область, пытающаяся задать рамки поведения «умных» систем, в том числе машин с автопилотом. Moral Machine — это исследование, построенное на известной этической дилемме — проблеме вагонетки.
👀 Вам показывают ситуацию и два варианта действий для беспилотного авто. Необходимо выбрать тот вариант, который кажется вам более верным с этической точки зрения. В конце вы можете сравнить свои выборы с чужими.
👉 Пройти тест
🔥4
🧠 Что такое дистилляция знаний?
Дистилляция знаний — это метод передачи знаний от модели-учителя к модели-ученику. В первую очередь, это касается нейросетей.
❓Зачем это нужно?
Представьте, что вы можете улучшить производительность модели, при этом не расходуя огромные ресурсы на сложное обучение. Так, с помощью дистилляции знаний удалось добиться хорошего качества предсказания на ImageNet от ViT без использования дополнительных данных.
✍️ Как это делается?
Один из конкретных способов — Хинтоновская дистилляция знаний. Её суть заключается в следующем: большая заранее обученная модель-учитель выдаёт предсказания, которые служат в качестве новой разметки, а компактная модель-ученик пытается воспроизвести эти предсказания. Таким образом, ученик перенимает не только итоговые ответы, но и более глубокие представления структуры данных.
Примером применения Хинтоновской дистилляции является модель DistilBERT, которая сохраняет 97% качества модели BERT, используя при этом на 40% меньше параметров.
Дистилляция знаний — это метод передачи знаний от модели-учителя к модели-ученику. В первую очередь, это касается нейросетей.
❓Зачем это нужно?
Представьте, что вы можете улучшить производительность модели, при этом не расходуя огромные ресурсы на сложное обучение. Так, с помощью дистилляции знаний удалось добиться хорошего качества предсказания на ImageNet от ViT без использования дополнительных данных.
✍️ Как это делается?
Один из конкретных способов — Хинтоновская дистилляция знаний. Её суть заключается в следующем: большая заранее обученная модель-учитель выдаёт предсказания, которые служат в качестве новой разметки, а компактная модель-ученик пытается воспроизвести эти предсказания. Таким образом, ученик перенимает не только итоговые ответы, но и более глубокие представления структуры данных.
Примером применения Хинтоновской дистилляции является модель DistilBERT, которая сохраняет 97% качества модели BERT, используя при этом на 40% меньше параметров.
👍11
This media is not supported in your browser
VIEW IN TELEGRAM
💡 Data Drift и как его «поймать»
🧠 Что такое KL divergence
KL divergence измеряет, насколько одно распределение данных отличается от другого.
🤔 Как применяется в мониторинге
После развертывания модели KL divergence помогает измерить разницу между распределением данных на тренировке (референс) и в продакшене. Если значение превышает установленный порог, это сигнализирует о возможной деградации модели.
🔹Преимущество
Чувствителен к небольшим изменениям в данных, что позволяет быстро обнаружить даже слабые признаки дрейфа.
🔸Ограничение
Может выдавать ложные срабатывания, реагируя на шум или выбросы.
Используете KL divergence или знаете другие подходы для отслеживания дрейфа? Пишите в комментариях 👇
#datadrift #KLDivergence #monitoring #machinelearning
🧠 Что такое KL divergence
KL divergence измеряет, насколько одно распределение данных отличается от другого.
🤔 Как применяется в мониторинге
После развертывания модели KL divergence помогает измерить разницу между распределением данных на тренировке (референс) и в продакшене. Если значение превышает установленный порог, это сигнализирует о возможной деградации модели.
🔹Преимущество
Чувствителен к небольшим изменениям в данных, что позволяет быстро обнаружить даже слабые признаки дрейфа.
🔸Ограничение
Может выдавать ложные срабатывания, реагируя на шум или выбросы.
Используете KL divergence или знаете другие подходы для отслеживания дрейфа? Пишите в комментариях 👇
#datadrift #KLDivergence #monitoring #machinelearning
👍9❤1
This media is not supported in your browser
VIEW IN TELEGRAM
📊 Нужны ли дополнительные данные для модели
Если производительность модели почти не улучшается, несмотря на feature engineering и смену моделей, возможно, данных недостаточно.
Но сбор новых данных — это трудоёмко. Вот как проверить, помогут ли они:
1. Разделите обучающую выборку на k равных частей (7–12 обычно достаточно).
2. Поочерёдно обучайте модель: на 1 части, затем на 2, затем на 3, и так далее.
3. Оцените каждую модель на валидационной выборке.
4. Постройте график, который покажет зависимость производительности от объема данных.
📈 Линия растёт? Добавление данных улучшит модель.
📉 Линия стабильна? Собранные данные исчерпали потенциал.
Простой способ избежать лишней работы!
#данные #modeloptimization
Если производительность модели почти не улучшается, несмотря на feature engineering и смену моделей, возможно, данных недостаточно.
Но сбор новых данных — это трудоёмко. Вот как проверить, помогут ли они:
1. Разделите обучающую выборку на k равных частей (7–12 обычно достаточно).
2. Поочерёдно обучайте модель: на 1 части, затем на 2, затем на 3, и так далее.
3. Оцените каждую модель на валидационной выборке.
4. Постройте график, который покажет зависимость производительности от объема данных.
📈 Линия растёт? Добавление данных улучшит модель.
📉 Линия стабильна? Собранные данные исчерпали потенциал.
Простой способ избежать лишней работы!
#данные #modeloptimization
🔥13👍6❤1