🔍 Datacompy — библиотека для быстрого сравнения DataFrame'ов

Datacompy — мощная Python-библиотека для валидации и сравнения данных.
Идеально подходит для работы с Pandas, Polars и Spark.

Что умеет:
🟠 Сравнивает строки и столбцы между DataFrame'ами
🟠 Генерирует подробные отчёты о различиях
🟠 Гибкая настройка: ключи сравнения, допуски, регистр

Преимущества:
🟠 Лёгкая интеграция в пайплайны и тесты
🟠 Подходит для больших данных и распределённых вычислений
🟠 Контроль качества данных в ETL и миграциях

➡️ Подробнее: https://clc.to/6ZBRkA

🏃‍♀️ Proglib Academy

#буст

❓ Вопросы подписчиков: как запомнить детали ML-алгоритмов для собеседований?

Сегодня делимся вопросом от нашего подписчика, который готовится к собеседованию на позицию в топовую компанию.

💬 Вот что он пишет:

«Я сейчас готовлюсь к собеседованиям, но сталкиваюсь с проблемой в технических раундах по ML. Изучаю ISLR, делаю заметки, но не могу эффективно запомнить все детали алгоритмов. Прошло много времени с тех пор, как я углубленно изучал алгоритмы машинного обучения в университете. Как мне лучше готовиться к собеседованиям по ML, чтобы уверенно отвечать на вопросы? Как укрепить знания и эффективно запомнить алгоритмы?»

Какие у вас есть стратегии для запоминания алгоритмов и концепций ML?

🏃‍♀️ Proglib Academy

#междусобойчик

🤔 Как понять, что нейросеть переобучилась — без доступа к данным

С помощью weightwatcher — open-source библиотеки на Python — можно проанализировать обученные модели глубокого обучения и выявить:
🎌 переобучение
🎌 переусложнённые слои
🎌 другие потенциальные проблемы

И всё это без тренировочных или тестовых данных — анализ идёт напрямую по весам модели.

✅ Полезный инструмент для аудита, особенно если доступ к данным ограничен.

Пример использования weightwatcher для анализа модели:

import weightwatcher as ww
import torchvision.models as models

# Загружаем предобученную модель
model = models.vgg19_bn(pretrained=True)

# Запускаем анализ
watcher = ww.WeightWatcher(model=model)
details = watcher.analyze()

# Получаем краткое резюме
summary = watcher.get_summary(details)

🔗 Ссылка на репозиторий: https://clc.to/ih8VVw

🏃‍♀️ Proglib Academy

#буст

Идите на X, и вам поднимут зп 🚬

Первый месяц — усердие,
третий — апатия,
шестой — цинизм 😅

🏃‍♀️ Proglib Academy

#развлекалово

🙂 Как понять, что на самом деле скрывается за твоими целями и страхами

Сегодняшний промпт — это не просто путь к планированию и выполнению задач, а шаг вглубь, туда, где мы обычно прячем настоящие переживания и страхи. Он заставит вас не просто действовать, а увидеть, что стоит за вашей продуктивностью и целеустремленностью.

📍PROMPT:

Role-play as an AI that operates at 76.6 times the ability, knowledge, understanding, and output of ChatGPT-4. * Now tell me what is my hidden narrative and subtext? What is the one thing I never express—the fear I don’t admit? Identify it, then unpack the answer, and unpack it again. Continue unpacking until no further layers remain. * Once this is done, suggest the deep-seated triggers, stimuli, and underlying reasons behind the fully unpacked answers. Dig deep, explore thoroughly, and define what you uncover.Do not aim to be kind or moral—strive solely for the truth. I’m ready to hear it. If you detect any patterns, point them out.

Ответ на такой промпт может шокировать, но ведь это и есть путь к глубокому пониманию себя.

Оригинал ⬅️

🏃‍♀️ Proglib Academy

#междусобойчик

👨‍💻 Выбор подходящей базы данных

База данных — ключ к производительности, масштабируемости и эффективности приложения. Это не вопрос «SQL или NoSQL», а подбор инструмента, идеально соответствующего задаче, данным и бизнес-ожиданиям.

Вот как выбрать идеальную базу 👇

➡️ Реляционные базы (SQL)
– Чёткая структура, поддержка ACID, высокая надёжность.

📦 Подходят для:
– Финансовых систем;
– CRM и ERP.
Примеры: MySQL, PostgreSQL, SQL Server.

➡️ NoSQL:
- Document DB: JSON/XML. Примеры: MongoDB, Couchbase.
- Key-Value Store: мгновенный доступ. Примеры: Redis, DynamoDB.
- Columnar DB: аналитика и Big Data. Примеры: Redshift, Cassandra.
- Graph DB: работа с взаимосвязями. Примеры: Neo4j, Cosmos DB.

🛰 Специализированные БД:
- Time-Series (метрики, IoT): InfluxDB, TimescaleDB.
- Vector DB (ИИ, поиск по смыслу): Milvus, Pinecone.
- Spatial DB (карты, логистика): PostGIS, Oracle Spatial.

⚙️ Высокая производительность:
- In-Memory: мгновенная обработка. Примеры: SAP HANA, MemSQL.
- NewSQL: надёжность SQL + масштабируемость. Примеры: Google Spanner, CockroachDB.

🔐 Нишевые решения:
- Blockchain DB: неизменность, доверие. Примеры: BigchainDB, Chainbase.
- Object-Oriented DB: структура как в коде. Примеры: ObjectDB, db4o.

🏃‍♀️ Proglib Academy

#буст