tgoop.com »
United States »
Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение » Telegram Web
😴 Скучно на выходных?
Что, если построить свою библиотеку машинного обучения с чистого листа — только с Python, NumPy и математическими формулами?
ML by Hand — библиотека, которая помогает понять, как работают нейросети изнутри. С её помощью можно обучить модели от CNN и LSTM до GPT без готовых фреймворков.
✅ Проект вдохновлён Micrograd Андрея Карпатого и идеально подойдёт тем, кто хочет разобраться в глубинной математике ИИ.
🔗 Код и подробности: https://clc.to/M2buLg
Что, если построить свою библиотеку машинного обучения с чистого листа — только с Python, NumPy и математическими формулами?
ML by Hand — библиотека, которая помогает понять, как работают нейросети изнутри. С её помощью можно обучить модели от CNN и LSTM до GPT без готовых фреймворков.
✅ Проект вдохновлён Micrograd Андрея Карпатого и идеально подойдёт тем, кто хочет разобраться в глубинной математике ИИ.
🔗 Код и подробности: https://clc.to/M2buLg
👍4😁3
🔥 4 стратегии обучения на нескольких GPU
При обучении нейросетей важно эффективно распределять нагрузку между видеокартами. Разберем четыре ключевых подхода к параллелизации:
Model Parallelism — разделение слоев модели между GPU. Каждый GPU обрабатывает свою часть сети (например, слой 1 на первом GPU, слой 2 — на втором).
✅ Подходит для очень больших моделей
❌ Сложно синхронизировать вычисления
Tensor Parallelism — разделение нейронов внутри слоя. Один и тот же слой делится между несколькими GPU.
✅ Используется в современных LLM (GPT, LLaMA)
❌ Требует сложных алгоритмов коммуникации
Data Parallelism — разбиение данных. Одна и та же модель копируется на каждый GPU, но обучается на разных мини-батчах.
✅ Простой в реализации
❌ Ограничен размером батча
Pipeline Parallelism — послойная обработка данных. Данные передаются через несколько GPU по конвейеру.
✅ Подходит для глубоких моделей
❌ Может быть простой (idle time) между шагами
При обучении нейросетей важно эффективно распределять нагрузку между видеокартами. Разберем четыре ключевых подхода к параллелизации:
Model Parallelism — разделение слоев модели между GPU. Каждый GPU обрабатывает свою часть сети (например, слой 1 на первом GPU, слой 2 — на втором).
✅ Подходит для очень больших моделей
❌ Сложно синхронизировать вычисления
Tensor Parallelism — разделение нейронов внутри слоя. Один и тот же слой делится между несколькими GPU.
✅ Используется в современных LLM (GPT, LLaMA)
❌ Требует сложных алгоритмов коммуникации
Data Parallelism — разбиение данных. Одна и та же модель копируется на каждый GPU, но обучается на разных мини-батчах.
✅ Простой в реализации
❌ Ограничен размером батча
Pipeline Parallelism — послойная обработка данных. Данные передаются через несколько GPU по конвейеру.
✅ Подходит для глубоких моделей
❌ Может быть простой (idle time) между шагами
❤5👍2
Shuffle Feature Importance: простая методика оценки важности признаков
Shuffle Feature Importance — интуитивно понятный метод оценки значимости признаков в модели машинного обучения. Он основан на анализе того, насколько ухудшается качество модели после случайного перемешивания значений конкретного признака.
Как это работает:
▪️ Обучение модели и оценка её качества (P₁) на исходных данных.
▪️ Перемешивание одного признака (shuffle) и повторная оценка качества модели (P₂).
▪️ Расчёт важности признака: разница между исходным и новым качеством модели (P₁ — P₂).
▪️ Повторение процедуры для всех признаков, чтобы получить сравнительную значимость.
📊 Чем сильнее падает качество после перемешивания, тем важнее признак для модели!
Shuffle Feature Importance — интуитивно понятный метод оценки значимости признаков в модели машинного обучения. Он основан на анализе того, насколько ухудшается качество модели после случайного перемешивания значений конкретного признака.
Как это работает:
▪️ Обучение модели и оценка её качества (P₁) на исходных данных.
▪️ Перемешивание одного признака (shuffle) и повторная оценка качества модели (P₂).
▪️ Расчёт важности признака: разница между исходным и новым качеством модели (P₁ — P₂).
▪️ Повторение процедуры для всех признаков, чтобы получить сравнительную значимость.
📊 Чем сильнее падает качество после перемешивания, тем важнее признак для модели!
👍8❤2🎉1
✨ smolmodels — машинное обучение на естественном языке
Библиотека для создания моделей машинного обучения с минимальным кодом. Просто опишите задачу словами — smolmodels выполнит всё остальное: от генерации данных до обучения и упаковки модели.
Основные возможности:
✔️ Автоматическая генерация данных
✔️ Feature engineering без ручного вмешательства
✔️ Обучение модели на основе текстового описания
✔️ Упаковка готовой модели для использования
Ссылка: https://clc.to/_tBBWg
Библиотека для создания моделей машинного обучения с минимальным кодом. Просто опишите задачу словами — smolmodels выполнит всё остальное: от генерации данных до обучения и упаковки модели.
Основные возможности:
✔️ Автоматическая генерация данных
✔️ Feature engineering без ручного вмешательства
✔️ Обучение модели на основе текстового описания
✔️ Упаковка готовой модели для использования
Ссылка: https://clc.to/_tBBWg
👍3👏2❤1
❗Вакансии «Библиотеки программиста» — ждем вас в команде!
Мы постоянно растем и развиваемся, поэтому создали отдельную страницу, на которой будут размещены наши актуальные вакансии. Сейчас мы ищем:
👉контент-менеджеров для ведения телеграм-каналов
👉Переводчик и автор оригинальных статей
Подробности тут
Мы предлагаем частичную занятость и полностью удаленный формат работы — можно совмещать с основной и находиться в любом месте🌴
Ждем ваших откликов 👾
Мы постоянно растем и развиваемся, поэтому создали отдельную страницу, на которой будут размещены наши актуальные вакансии. Сейчас мы ищем:
👉контент-менеджеров для ведения телеграм-каналов
👉Переводчик и автор оригинальных статей
Подробности тут
Мы предлагаем частичную занятость и полностью удаленный формат работы — можно совмещать с основной и находиться в любом месте🌴
Ждем ваших откликов 👾
job.proglib.io
Вакансии в медиа «Библиотека программиста»
Количество проектов в редакции постоянно растет, так что нам всегда нужны специалисты
R²: высокое значение ≠ хорошие прогнозы
R² (коэффициент детерминации) показывает, какая доля изменчивости зависимой переменной объясняется моделью.
✅ R² = 0 → Модель не объясняет данные → Плохая предсказательная способность.
✅ R² = 1 → Полное соответствие данным → Возможен оверфит.
⚠️ Главное заблуждение: высокий R² не гарантирует точных прогнозов, а лишь оценивает, насколько модель подогнана под данные.
Формула:
R² = 1 — (RSS / TSS),
где TSS — общая изменчивость, RSS — ошибка модели.
R² (коэффициент детерминации) показывает, какая доля изменчивости зависимой переменной объясняется моделью.
✅ R² = 0 → Модель не объясняет данные → Плохая предсказательная способность.
✅ R² = 1 → Полное соответствие данным → Возможен оверфит.
⚠️ Главное заблуждение: высокий R² не гарантирует точных прогнозов, а лишь оценивает, насколько модель подогнана под данные.
Формула:
R² = 1 — (RSS / TSS),
где TSS — общая изменчивость, RSS — ошибка модели.
👍7❤1
Forwarded from Библиотека задач по Data Science | тесты, код, задания
❤1
👍 Автомодерация изображений: как исправлять нарушения, сохраняя количество и качество контента
Раньше объявления, нарушающие правила, просто блокировались. Теперь с помощью ML-системы их можно исправлять — это сохраняет контент, снижает затраты на модерацию и улучшает пользовательский опыт.
В статье подробно разбираются все этапы внедрения этой ML-механики: от идеи и исследования подходов до оптимизации нейросетей и вывода в продакшен.
🔗 Читайте подробнее: https://clc.to/bB7QNw
Раньше объявления, нарушающие правила, просто блокировались. Теперь с помощью ML-системы их можно исправлять — это сохраняет контент, снижает затраты на модерацию и улучшает пользовательский опыт.
В статье подробно разбираются все этапы внедрения этой ML-механики: от идеи и исследования подходов до оптимизации нейросетей и вывода в продакшен.
🔗 Читайте подробнее: https://clc.to/bB7QNw
❤3👍2😁1🤩1
This media is not supported in your browser
VIEW IN TELEGRAM
📌 Логистическая регрессия vs. Многослойный персептрон
На изображении сравниваются два метода классификации данных: логистическая регрессия (слева) и многослойный персептрон (MLP, справа) после 25 эпох обучения.
✅ Результаты показывают, что MLP лучше справляется с нелинейно разделимыми данными, в отличие от логистической регрессии, которая проводит лишь простую линейную границу.
На изображении сравниваются два метода классификации данных: логистическая регрессия (слева) и многослойный персептрон (MLP, справа) после 25 эпох обучения.
✅ Результаты показывают, что MLP лучше справляется с нелинейно разделимыми данными, в отличие от логистической регрессии, которая проводит лишь простую линейную границу.
❤3👍2🔥1
Forwarded from Data jobs — вакансии по data science, анализу данных, аналитике, искусственному интеллекту
📝 Почему твое резюме собирает мало просмотров: 6 главных ошибок и как их исправить
Гайд о том, как в несколько раз увеличить количество просмотров вашего резюме с помощью проверенных техник оптимизации профиля.
В этой статье мы разберем 6 ошибок, которые мешают вашему резюме появляться в поиске рекрутеров, и дадим рекомендации по их исправлению. Следуя этим советам, вы повысите видимость своего профиля и чаще будете попадать в поле зрения работодателей.
👉 Читать статью
Гайд о том, как в несколько раз увеличить количество просмотров вашего резюме с помощью проверенных техник оптимизации профиля.
В этой статье мы разберем 6 ошибок, которые мешают вашему резюме появляться в поиске рекрутеров, и дадим рекомендации по их исправлению. Следуя этим советам, вы повысите видимость своего профиля и чаще будете попадать в поле зрения работодателей.
👉 Читать статью
❤1
🔍 DeepFace — инструмент для распознавания лиц в Python
DeepFace — это лёгкий фреймворк для анализа лиц и их характеристик (возраст, пол, эмоции, раса). Он объединяет передовые модели, такие как VGG-Face, FaceNet, OpenFace, DeepID, ArcFace и другие.
Ссылка: https://clc.to/QiY9Dg
DeepFace — это лёгкий фреймворк для анализа лиц и их характеристик (возраст, пол, эмоции, раса). Он объединяет передовые модели, такие как VGG-Face, FaceNet, OpenFace, DeepID, ArcFace и другие.
Ссылка: https://clc.to/QiY9Dg
❤4👍2👏1
This media is not supported in your browser
VIEW IN TELEGRAM
📌 Как строится процесс разработки ML-решений?
Построение ML-решений — это командный процесс, требующий участия разных специалистов. От идеи до внедрения проходит несколько этапов:
👍 Визуализация отлично показывает, как все роли взаимодействуют друг с другом.
Построение ML-решений — это командный процесс, требующий участия разных специалистов. От идеи до внедрения проходит несколько этапов:
👍 Визуализация отлично показывает, как все роли взаимодействуют друг с другом.
👍2❤1
🔍 Заполнение пропущенных значений в данных
Реальные датасеты часто содержат пропуски, что мешает обучению моделей.
В этом туториале разберём различные стратегии заполнения пропусков с помощью
Реальные датасеты часто содержат пропуски, что мешает обучению моделей.
В этом туториале разберём различные стратегии заполнения пропусков с помощью
scikit-learn
и научимся подготавливать данные для машинного обучения.👍4❤1🔥1😁1