⭐️ Интерактивный гайд по 4 ключевым задачам с Transformers

Мы нашли мощный материал, который объясняет, как использовать модели ViT, DETR, BLIP и ViLT для самых базовых, но фундаментальных задач Computer Vision:
— Image Classification — классификация изображений с помощью Vision Transformer (ViT).
— Image Segmentation — точное выделение объектов на изображении с DETR и Mask2Former.
— Image Captioning — генерация описаний изображений с BLIP.
— Visual Question Answering (VQA) — ответы на вопросы по изображению с ViLT и BLIP.

ℹ️ Гайд показывает, как трансформеры постепенно вытесняют CNN и становятся универсальным решением — от анализа пикселей до генерации текстов и ответов.

➡️ Полный разбор и демо-приложение

💡 Хочешь разбираться в таких архитектурах глубже — с математикой, алгоритмами и практикой?
Сейчас в Proglib действует акция –40% на курс Математика для Data Science

🐸 Библиотека дата-сайентиста

#буст

🐸 Библиотека дата-сайентиста

#развлекалово

🆕 Свежие новости для дата‑сайентистов

🖥 Модели и инфраструктура
— Andrej Karpathy запускает nanochat — новый лёгкий фреймворк для сборки маленьких ChatGPT-подобных моделей.
— Внутри vLLM — подробный разбор архитектуры и оптимизаций движка vLLM.

📘 Обучение и теория
— The Ultimate Guide to Fine-Tuning LLMs — бесплатная 115-страничная книга, охватывающая всю теорию Fine-Tuning моделей.
— Stanford: разнообразие без переобучения — исследователи из Стэнфорда представили Verbalized Sampling — метод промптинга, который восстанавливает вариативность базовых моделей и повышает качество без дообучения.

🧩 Практика и примеры
— Как построить RAG-систему за вечер — практическое руководство по сборке Retrieval-Augmented Generation.
— Как оценить качество машинного перевода — метрики BLEU, METEOR, TER и современные ML-подходы к оценке качества перевода.

📊 Исследования и размышления
— Почему линейная регрессия всё ещё обыгрывает трансформеры — разбор причин, по которым классические методы остаются лучшими для временных рядов.
— Andrej Karpathy: AGI ещё не скоро — всвежем интервью Карпати рассуждает о будущем AGI, провале RL.

🐸 Библиотека дата-сайентиста

#свежак

🐸 Библиотека задач по Data Science

🤯 Наконец-то понятен self-attention

Одна из самых сложных частей понимания LLM — это self-attention. Формула выглядит простой — её можно быстро выучить.

Но что на самом деле означают Q, K и V и как они взаимодействуют — совсем другая история.

✅ Эта визуализация делает всё очень наглядным и понятным — видно, как queries обращаются к keys и получают нужные values.

🤨 Чтобы лучше понимать, как работают модели на математическом уровне, советуем курс Математика для Data Science.

🐸 Библиотека дата-сайентиста

#буст

🐸 Библиотека дата-сайентиста

#развлекалово

🧭 Встречайте новый браузер от OpenAI — ChatGPT Atlas

OpenAI официально выходит на арену браузеров с ChatGPT Atlas — браузером, в котором искусственный интеллект встроен прямо в процесс серфинга по сети.

Atlas создан на движке Chromium и включает всё привычное: вкладки, закладки, автозаполнение паролей, инкогнито-режим.
Но его ключевая особенность — режим агента, который позволяет ChatGPT выполнять действия прямо внутри браузера.

Например:
— можно выделить текст в почте и попросить ChatGPT улучшить письмо;
— нажать кнопку “Ask ChatGPT” в углу, чтобы получить анализ кода, резюме статьи или краткий пересказ рецензии на фильм — прямо на текущей странице.

🔍 В адресной строке теперь можно искать не через Google, а напрямую через ChatGPT: результаты структурированы по категориям — текст, изображения, видео, новости.

Если включить память браузера, ChatGPT сможет помнить просмотренные страницы, чтобы давать более точные ответы и полезные подсказки.
Например, создать список дел из последних действий или продолжить подбор подарков, которые вы недавно искали.

📱 Браузер пока выходит только на macOS, но Windows-версия ожидается в скором времени.

🐸 Библиотека дата-сайентиста

#свежак

💻 Что под капотом у дата-сайентиста?

Говорят, ноутбук дата-сайентиста живёт в двух состояниях:
— «всё летает»
— «свопнулся насмерть при fit()»

Давайте проверим, кто на чём считает градиенты.
Расскажите в комментариях:
👉 модель ноутбука
👉 чип / GPU
👉 сколько ОЗУ спасает вас от крашей при обучении модели

🐸 Библиотека дата-сайентиста

#междусобойчик

📉 Распределение Коши — самое «упрямое» в статистике

У него настолько тяжёлые хвосты, что среднее и дисперсия не определены вовсе.

😅 Да-да, никакого среднего значения у него нет — математика просто отказывается сходиться.

Почему это интересно:
— В машинном обучении его используют для моделирования шума и выбросов — там, где обычная гауссовская модель ломается.
— В реальной жизни встречается в физике (резонансные явления) и финансах — когда нужно описать экстремальные события.

🔛 Распределение Коши — напоминание, что не всё поддаётся усреднению. Иногда хаос — это и есть закон.

🐸 Библиотека дата-сайентиста

#буст

🍊 Orange Data Mining — визуальная аналитика без кода

Orange — это интерактивный инструмент для анализа и визуализации данных, который одинаково удобен и для новичков, и для экспертов.
Главная идея — демократизировать data science: никаких формул, кода и сложных алгоритмов — всё работает через наглядные блок-схемы (workflow).

Что можно делать:
— Загружать и исследовать данные
— Визуализировать зависимости
— Применять машинное обучение
— Строить интерактивные отчёты

🧩 Orange отлично подходит для обучения, быстрой проверки гипотез и прототипирования ML-моделей.

Установка (несколько способов)

Через Conda (рекомендуется):

conda config --add channels conda-forge
conda config --set channel_priority strict
conda create python=3.12 --yes --name orange3
conda activate orange3
conda install orange3

Через pip:

pip install orange3

После установки:

orange-canvas

или

python3 -m Orange.canvas

📱 GitHub

🐸 Библиотека дата-сайентиста

#буст

⬇️ Почему MissForest ломается в задачах предсказания

Алгоритм MissForest отлично восстанавливает пропущенные данные, но в предиктивных моделях он даёт сбой — и дело не в коде, а в логике.

⚠️ Проблема: MissForest не сохраняет обученные модели после импутации. Из-за этого тестовые данные влияют на обучение, что приводит к утечке данных (data leakage) и искажённым метрикам.

Две типичные ошибки:
1️⃣ Объединять train и test перед импутацией — утечка данных
2️⃣ Импутировать отдельно — падает точность

Решение — MissForestPredict:
➡️ Он сохраняет обученные модели для каждой переменной
➡️ Можно обучить на train и честно применить к test — без утечки и переобучения.

🐸 Библиотека дата-сайентиста

#буст

🐳 Docker за 2 минуты для Data Scientists

Даже если вы используете Docker каждый день, мало кто понимает, что происходит «под капотом».

Вот главное, что нужно знать:

1️⃣ Docker Client
— Вы вводите команды (docker run, docker build)
— Клиент общается с Docker Daemon через API

2️⃣ Docker Host
— Здесь работает Daemon
— Он строит образы, запускает контейнеры и управляет ресурсами

3️⃣ Docker Registry
— Хранит Docker-образы
— Docker Hub — публичный, компании часто используют приватные registry

⚡️ Что происходит, когда вы запускаете docker run:
1. Docker проверяет локальный кэш, если образа нет — скачивает из registry
2. Создаёт контейнер из образа
3. Выделяет read-write файловую систему для контейнера
4. Настраивает сетевой интерфейс
5. Запускает контейнер

Зачем это важно для DS:
✔️ Контейнеризация упрощает воспроизводимость экспериментов
✔️ Легче отлаживать ML-пайплайны и Jupyter-окружения
✔️ Docker позволяет масштабировать проекты и запускать модели на разных машинах

😉 Теперь вы знаете, где «смотреть», если что-то ломается в контейнере.

🐸 Библиотека дата-сайентиста

#буст

🎥 Paper2Video — автоматическая генерация видео из научных статей

Paper2Video — это инструмент, который превращает научные статьи в видео автоматически.

Он анализирует текст, таблицы и изображения из PDF и создаёт короткий ролик, объясняющий содержание статьи.

🌍 Доступен на английском и китайском.

📱 Github

🐸 Библиотека дата-сайентиста

#буст