🎯 Команда дня: строгая типизация NumPy массивов

Обычно мы пишем так:

def f(x: np.ndarray): ...

🙅‍♂️ Но это не защищает от ошибок — форма и тип данных не проверяются.

✔️ Вместо этого — используем обобщённые типы:

from numpy import ndarray, dtype, uint8, bool_, float64

def process(
    x: ndarray[tuple[int], dtype[bool_]],
    y: ndarray[tuple[int, int, int], dtype[uint8]],
) -> ndarray[tuple[int], dtype[float64]]:
    ...

Теперь mypy и pyright ловят ошибки до запуска:
🙅‍♂️ неверная размерность,
🙅‍♂️ неподходящий dtype.

👉 Хотите проверку ещё и в рантайме?

✔️ Используйте static_frame:

import static_frame as sf

@sf.CallGuard.check
def f(x: ndarray[tuple[int], dtype[np.number]]): ...

При передаче неверного массива — будет чёткое сообщение об ошибке.

Полезно для:
— ML / data science
— научных расчётов
— оптимизации с NumPy и Numba

Примеры:
— ndarray[tuple[int], dtype[bool_]] — 1D массив булей
— ndarray[tuple[int, int], dtype[np.str_]] — 2D массив строк
— ndarray[tuple[int], dtype[np.number]] — массив любых чисел

Библиотека дата-сайентиста #буст

⭐️ Чек-лист: как правильно работать с pandas

Работаете с табличными данными?

Эти простые советы сэкономят вам время, память и нервы:

✔️ Используйте векторизацию вместо apply

Быстрее, короче, читаемее:

# Вместо apply
df["log"] = np.log(df["x"])

✔️ Считайте в столбцах, а не в цикле по строкам

Избавьтесь от .iterrows() — векторные операции эффективнее:

df["sum"] = df["a"] + df["b"]

✔️ Используйте `category` для колонок с повторяющимися строками

Существенно уменьшает потребление памяти:

df["country"] = df["country"].astype("category")

✔️ Загружайте только нужные данные

Не тратьте ресурсы на лишние строки и столбцы:

pd.read_csv("big.csv", usecols=["col1", "col2"], nrows=100_000)

✔️ Сохраняйте данные одним вызовом, а не в цикле

Сначала собираем — потом записываем:

df.to_csv("result.csv", index=False)

✔️ Контролируйте использование памяти

Проверяйте «тяжёлые» столбцы

df.memory_usage(deep=True)

Библиотека дата-сайентиста #буст

✍️ Вопрос подписчика: как вы обычно чистите текст перед обработкой?

Сегодня делимся вопросом от подписчика — он работает с NLP и решил уточнить у сообщества.

💬 Вот что он пишет:

Если использую базовые векторизации вроде Bag-of-Words или TF-IDF — стараюсь максимально «очистить» текст:
удаляю пунктуацию, стоп-слова, лемматизирую, нормализую регистр и т.п.

Но если работаю с моделями вроде spaCy или gensim, где контекст важен — то минимальная предобработка: стараюсь сохранить структуру.

А как подходите к этому вы?

А как делаете вы?
➡️ Минимализм или агрессивная очистка?
➡️ Меняется ли подход в зависимости от модели?

👇 Поделитесь своими практиками в комментариях!

Библиотека дата-сайентиста #междусобойчик

💬 Холивар: MLflow vs Weights & Biases — что выбрать и зачем?

Если вы хоть раз строили ML-пайплайн всерьёз — вы сталкивались с вопросом:

Чем трекать эксперименты, метрики, параметры и артефакты?

Кто-то клянётся в верности MLflow, кто-то уже не представляет жизни без Weights & Biases (W\&B).
Так кто прав?

⭐ Сторонники MLflow говорят

✔️ Open-source, без ограничений:
Можно поднять свой сервер, всё под контролем.

✔️ Просто, понятно и стабильно:
Всё нужное — логгинг, артефакты, модели, REST API — уже есть.

✔️ Интеграция с кучей фреймворков:
Поддерживает sklearn, PyTorch, TensorFlow, Spark и даже Java/R.

✔️ Безопасность и приватность:
Ничего не утекает в облако — всё у тебя на машине или в корпоративном кластерe.

⭐ Сторонники W\&B отвечают

✔️ Удобство и интерфейс:
Визуализации, дашборды, сравнение экспериментов — всё за 5 минут.

✔️ Сильная экосистема:
Кроме логгинга — есть hyperparameter sweeps, модели, dataviz, CI, репорты.

✔️ Отличная поддержка и документация:
Работает «из коробки», даже джуны могут сразу в бой.

✔️ Сотрудничество и коллаборации:
Проект можно удобно шерить в команде, вести историю, оставлять заметки.


⭐ Что вызывает споры:
— MLflow кажется «голым» без UI, но легко кастомизируется.
— W\&B — мощный, но требует подключения к внешнему сервису (и может быть платным).
— Один ориентирован на независимость и продакшн, другой — на удобство и скорость R\&D.
— MLflow можно встроить в CI/CD и жить без браузера. W\&B — это скорее облачная платформа с хорошим UX.

👉 А вы что используете в продакшене или pet-проектах?
MLflow, W\&B, а может вообще свой YAML + Excel?

Библиотека дата-сайентиста #междусобойчик

✈️ Свежие новости из мира AI и Data Science

👍 Технологии, модели и тренды:
— Google Gemini 2.5 Pro — новая превью-версия самой мощной модели Google, уже вырвалась в лидеры LMArena и WebDev Arena. Меньше месяца после последнего релиза — и снова прорыв.
— ElevenLabs v3 — самая выразительная AI TTS-модель, поддержка множества языков, включая арабский, африкаанс и мандарин. Новый стандарт для голосовых приложений.
— OpenAI и ChatGPT-5 — разбираем слухи, утечки и возможные фичи следующей версии ChatGPT. Что нового и чего ждать?

🧠 Исследования, статьи и практики:
— AI лучше человека в тестах на эмоциональный интеллект — исследование Женевского и Бернского университетов: ChatGPT и другие ИИ превосходят людей в распознавании и интерпретации эмоций.
— Сколько действительно запоминают LLM-модели? — методика оценки «запоминания» vs. «обобщения» в языковых моделях.
— Themis AI от MIT — стартап, обучающий ИИ понимать, чего он не знает. Подход к контролю неопределённости.
— ICLR 2025 и доверие к ИИ — новые подходы к обучению на субъективных данных, оценке качества моделей и внедрению человеческих суждений.

🎙 AI в обществе и индустрии:
— Demis Hassabis (DeepMind): «AI изменит рынок труда за 5 лет» — CEO Google DeepMind выступил на Google I/O и подкасте Hard Fork, обозначив AGI как ключевую технологию будущего.
— MCP-серверы: что это и зачем они нужны? — скоро на слуху у всех, особенно в проектах с тяжёлыми ML-нагрузками.

📘 Обучение, процессы и инструменты:
— Лучшие нейросети для суммаризации текста — подборка инструментов для пересказа, анализа и работы с текстами.
— Как наладить работу в кросс-функциональной команде Data Science + Dev — опыт Lamoda в совмещении ML и инженерии.

Библиотека дата-сайентиста #свежак