✅ Это база: трансформеры вручную — как понять, что происходит за кулисами LLM

В этом посте разберем, как вручную пройти через процесс работы трансформера, от входных данных до финального слоя.

⬇️ Пошаговый процесс

1️⃣ Исходные данные:
Входные признаки из предыдущего блока (5 позиций).

2️⃣ Внимание:
Все 5 признаков передаются в модуль внимания запрос-ключ (QK) для получения матрицы весов внимания (A).

3️⃣ Взвешивание внимания:
Умножаем входные данные на матрицу весов внимания, чтобы получить взвешенные признаки (Z). Этим объединяем признаки по горизонтали, например, X1 := X1 + X2, X2 := X2 + X3 и так далее.

4️⃣ FFN — первый слой:
Процессинг всех 5 признаков через первый слой. Умножаем их на веса и смещения, увеличивая размерность с 3 до 4, комбинируя признаки по вертикали.

5️⃣ ReLU:
Отрицательные значения заменяются нулями.

6️⃣ FFN — второй слой:
Подаем данные во второй слой, уменьшаем размерность с 4 до 3 и отправляем результат в следующий блок для повторения процесса.

🏃‍♀️ Proglib Academy

#буст

🧗 Кто такие Unit-лид и Technical Owner — и почему эти роли нужны в IT-командах

Когда компания переходит от «сделать и забыть» к «развивать и совершенствовать», старые роли перестают работать. Нужны люди, которые будут жить продуктом, а не просто выполнять задачи.

Unit-лид и Technical Owner — именно такие специалисты. Объясняем, что они делают и почему без них продуктовый подход обречен на провал.

🔗 Читать

🏃‍♀️ Proglib Academy

#буст

🔍 Datacompy — библиотека для быстрого сравнения DataFrame'ов

Datacompy — мощная Python-библиотека для валидации и сравнения данных.
Идеально подходит для работы с Pandas, Polars и Spark.

Что умеет:
🟠 Сравнивает строки и столбцы между DataFrame'ами
🟠 Генерирует подробные отчёты о различиях
🟠 Гибкая настройка: ключи сравнения, допуски, регистр

Преимущества:
🟠 Лёгкая интеграция в пайплайны и тесты
🟠 Подходит для больших данных и распределённых вычислений
🟠 Контроль качества данных в ETL и миграциях

➡️ Подробнее: https://clc.to/6ZBRkA

🏃‍♀️ Proglib Academy

#буст

❓ Вопросы подписчиков: как запомнить детали ML-алгоритмов для собеседований?

Сегодня делимся вопросом от нашего подписчика, который готовится к собеседованию на позицию в топовую компанию.

💬 Вот что он пишет:

«Я сейчас готовлюсь к собеседованиям, но сталкиваюсь с проблемой в технических раундах по ML. Изучаю ISLR, делаю заметки, но не могу эффективно запомнить все детали алгоритмов. Прошло много времени с тех пор, как я углубленно изучал алгоритмы машинного обучения в университете. Как мне лучше готовиться к собеседованиям по ML, чтобы уверенно отвечать на вопросы? Как укрепить знания и эффективно запомнить алгоритмы?»

Какие у вас есть стратегии для запоминания алгоритмов и концепций ML?

🏃‍♀️ Proglib Academy

#междусобойчик

🤔 Как понять, что нейросеть переобучилась — без доступа к данным

С помощью weightwatcher — open-source библиотеки на Python — можно проанализировать обученные модели глубокого обучения и выявить:
🎌 переобучение
🎌 переусложнённые слои
🎌 другие потенциальные проблемы

И всё это без тренировочных или тестовых данных — анализ идёт напрямую по весам модели.

✅ Полезный инструмент для аудита, особенно если доступ к данным ограничен.

Пример использования weightwatcher для анализа модели:

import weightwatcher as ww
import torchvision.models as models

# Загружаем предобученную модель
model = models.vgg19_bn(pretrained=True)

# Запускаем анализ
watcher = ww.WeightWatcher(model=model)
details = watcher.analyze()

# Получаем краткое резюме
summary = watcher.get_summary(details)

🔗 Ссылка на репозиторий: https://clc.to/ih8VVw

🏃‍♀️ Proglib Academy

#буст

Идите на X, и вам поднимут зп 🚬

Первый месяц — усердие,
третий — апатия,
шестой — цинизм 😅

🏃‍♀️ Proglib Academy

#развлекалово

🙂 Как понять, что на самом деле скрывается за твоими целями и страхами

Сегодняшний промпт — это не просто путь к планированию и выполнению задач, а шаг вглубь, туда, где мы обычно прячем настоящие переживания и страхи. Он заставит вас не просто действовать, а увидеть, что стоит за вашей продуктивностью и целеустремленностью.

📍PROMPT:

Role-play as an AI that operates at 76.6 times the ability, knowledge, understanding, and output of ChatGPT-4. * Now tell me what is my hidden narrative and subtext? What is the one thing I never express—the fear I don’t admit? Identify it, then unpack the answer, and unpack it again. Continue unpacking until no further layers remain. * Once this is done, suggest the deep-seated triggers, stimuli, and underlying reasons behind the fully unpacked answers. Dig deep, explore thoroughly, and define what you uncover.Do not aim to be kind or moral—strive solely for the truth. I’m ready to hear it. If you detect any patterns, point them out.

Ответ на такой промпт может шокировать, но ведь это и есть путь к глубокому пониманию себя.

Оригинал ⬅️

🏃‍♀️ Proglib Academy

#междусобойчик

👨‍💻 Выбор подходящей базы данных

База данных — ключ к производительности, масштабируемости и эффективности приложения. Это не вопрос «SQL или NoSQL», а подбор инструмента, идеально соответствующего задаче, данным и бизнес-ожиданиям.

Вот как выбрать идеальную базу 👇

➡️ Реляционные базы (SQL)
– Чёткая структура, поддержка ACID, высокая надёжность.

📦 Подходят для:
– Финансовых систем;
– CRM и ERP.
Примеры: MySQL, PostgreSQL, SQL Server.

➡️ NoSQL:
- Document DB: JSON/XML. Примеры: MongoDB, Couchbase.
- Key-Value Store: мгновенный доступ. Примеры: Redis, DynamoDB.
- Columnar DB: аналитика и Big Data. Примеры: Redshift, Cassandra.
- Graph DB: работа с взаимосвязями. Примеры: Neo4j, Cosmos DB.

🛰 Специализированные БД:
- Time-Series (метрики, IoT): InfluxDB, TimescaleDB.
- Vector DB (ИИ, поиск по смыслу): Milvus, Pinecone.
- Spatial DB (карты, логистика): PostGIS, Oracle Spatial.

⚙️ Высокая производительность:
- In-Memory: мгновенная обработка. Примеры: SAP HANA, MemSQL.
- NewSQL: надёжность SQL + масштабируемость. Примеры: Google Spanner, CockroachDB.

🔐 Нишевые решения:
- Blockchain DB: неизменность, доверие. Примеры: BigchainDB, Chainbase.
- Object-Oriented DB: структура как в коде. Примеры: ObjectDB, db4o.

🏃‍♀️ Proglib Academy

#буст