Telegram Web
🤔 Насколько эффективны разные алгоритмы машинного обучения?

Этот график показывает временную сложность (Big-O) 10 самых популярных методов.
👉 Как вы думаете, какая сложность инференса у KMeans?
👍63🔥1🤩1
🤯 Впечатляющая оптимизация скорости

Большие DataFrame в Pandas могут потреблять огромное количество памяти.

Обработка данных небольшими частями помогает избежать переполнения памяти и ускоряет доступ к данным!
👏5🔥21👍1
📊 Big Data и Data Science в некоммерческом секторе.

Big Data и Data Science применяются не только в IT-гигантах, но и в некоммерческом секторе, где технологии анализа данных помогают оптимизировать работу организаций, собирать средства и оказывать помощь эффективнее.

➡️ Что внутри статьи:

▪️ Как некоммерческие организации используют Data Science.

▪️ Оптимизация фондов и финансирования с помощью аналитики.

▪️ Роль прогнозных моделей в благотворительности.

▪️ Кейсы Amnesty International, Khan Academy и DataKind.

🔵 Вливайся в мир Big Data вместе с нашим курсом «Базовые модели ML и приложения»

📎 Статья Proglib
Please open Telegram to view this post
VIEW IN TELEGRAM
1
📌 Паноптическая сегментация: когда важно всё

Семантическая сегментация определяет классы пикселей, инстанс-сегментация различает объекты одного типа, но что, если нужно и то, и другое?

🔍 Паноптическая сегментация объединяет оба подхода: каждому пикселю присваивается класс и уникальный ID объекта. Это крайне важно в компьютерном зрении, но и разметка данных здесь — одна из самых сложных задач.

💡 Как добиться высокой точности? Какие ошибки критичны? Разбираем в статье: https://clc.to/k-faZg
2👍2
💣Поздравляем элитный отряд Data Science:

▪️ cross-validation — снайпер точности. Проверяет модель под всеми углами, чтобы не попасть впросак на проде.

▪️ feature selection — спецназовец по зачистке. Безжалостно отсеивает бесполезные признаки из датасета.

▪️ regularization — офицер сдерживания. Борется с переобучением и держит веса модели в ежовых рукавицах.

А какой боец помогает вам выживать в AI/ML-джунглях ? Пишите в комментариях 👇
😁9👍1
👉 Интенсив «Архитектуры и шаблоны проектирования» для middle и senior-разработчиков

Проверьте свои знания, ответив на 8 вопросов – https://proglib.io/w/f6fdbb03

🧐 Кому подойдет?
Разработчикам, которые знают любой объектно-ориентированный язык программирования и хотят углубиться в архитектурные паттерны.

🎮 Как проходит обучение?
В течение всего интенсива вы будете создавать игру «Звездные войны» и применять ключевые архитектурные паттерны. В процессе изучите:
– Как строить гибкую архитектуру, которая не замедляет разработку
– Как применять IoC-контейнеры и писать модульные тесты
– Как использовать SOLID за пределами ООП
– Как внедрять CI/CD и снижать технический долг

👉 Подробная программа обучения

А по промокоду MIDDLE до 28 февраля вы получите дополнительную скидку на обучение
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
👍 Замените describe на Skimpy

Если вы до сих пор используете метод describe в Pandas, есть отличная альтернатива, о которой стоит узнать! Skimpy — open-source инструмент, который дает гораздо более полное представление о ваших данных.

Skimpy не просто выводит статистику, но и показывает:
форму данных;
типы данных в колонках;
распределение данных в графическом виде.
👍152🔥1🤩1
📌 20 статистических методов, которые должен знать каждый дата-сайентист

Дата-сайенс — это не только про машинное обучение. Статистические методы играют ключевую роль в анализе данных и принятии решений.

Полезная статья с реализациями и примерами на Python
👍31
This media is not supported in your browser
VIEW IN TELEGRAM
✖️ Умножение матриц

Без умножения матриц ИИ просто не смог бы существовать.

🤖 Нейронные сети: Фото, текст, звук — всё представляется в виде матриц. Их умножение позволяет ИИ понимать и распознавать образы.

👀 Компьютерное зрение: Фильтры сканируют изображения, выделяя контуры, формы, объекты — так ИИ "видит" мир.

📝 NLP (Обработка текста): В ChatGPT внимание распределяется с помощью матриц, определяя, какие слова важнее.

🎬 Рекомендации: Netflix анализирует, какие фильмы вы смотрите, умножая матрицы предпочтений. Именно так он предсказывает ваш следующий любимый сериал!

Обучение с подкреплением: Как ИИ обыгрывает чемпионов по шахматам? Он умножает матрицы состояний и действий, просчитывая лучший ход.
2🔥1
💡 Vaex — быстрая альтернатива Pandas для работы с большими данными

Vaex — это библиотека DataFrame, специально созданная для работы с огромными наборами данных (миллионы или даже миллиарды строк) без перегрузки памяти и падения производительности.

Импорт:
import vaex

df = vaex.open("big_data.csv")
print(df.shape)


Фильтрация данных:
filtered_df = df[df.age > 30]


Вычисление среднего значения:
mean_salary = df.salary.mean()
print(mean_salary)


Группировка данных:
df.groupby("job_title", agg=vaex.agg.mean("salary"))



Ссылка на библиотеку: https://clc.to/f2i7yg
🔥63👍2🥱2
📌 YandexGPT 5: новое поколение языковых моделей от Яндекса

Компания внедрила методы обучения с подкреплением (DPO и PPO), а также собственную модификацию LogDPO, которая помогает избежать эффекта «разучивания» — ситуации, когда модель забывает уже выученные знания.

🔍 Разработчикам удалось на 25% снизить потребность в вычислительных ресурсах за счет библиотеки YaFSDP, которую Яндекс выложил в опенсорс в 2024 году. А в этом релизе компания впервые с 2022 года выложила в открытый доступ LLM — pretrain-версию YandexGPT 5 Lite. Она доступна без финального этапа обучения, этических фильтров и алаймента.

💡 Для обучения Pro-версии компания впервые применила метод гибридного обучения, добавив в стандартный цикл обучения базовые настройки открытой модели Qwen. Совмещение полного цикла обучения, который состоит из Pretrain, SFT, RL и весов из общедоступной модели позволило сократить затраты на обучение и увеличить его скорость до 20 раз.

🔗Читать статью
👍7
🚀 Ускоряем t-SNE с помощью GPU

Одна из главных проблем t-SNE — его время выполнения квадратично зависит от числа точек данных.

➡️ Если у вас 20k+ точек, стандартная реализация sklearn становится очень медленной.

➡️ tSNE-CUDA — оптимизированная версия t-SNE на GPU, которая в разы ускоряет вычисления.
👍72
This media is not supported in your browser
VIEW IN TELEGRAM
👍 Transformer vs. Mixture of Experts в LLM: понятное объяснение (с визуальными примерами)
1🔥1
Совет на 2025-й — будьте осторожнее с выбором работы.

IT-рынок штормит: массовые сокращения, заморозка найма, снижение зарплат. В такое время особенно важно отличать стоящие офферы от проходных.

Знакомо? Открываешь вакансию, а там: «Ищем middle-разработчика с опытом 10 лет, знанием 15 языков и готовностью работать за печеньки. Офис в Челябинске, релокация за ваш счет» 🤦‍♂️

Чтобы не тратить время на сотни сомнительных предложений, подпишитесь на IT Job Hub. Там мы отфильтровываем весь мусор и публикуем только избранные вакансии в стабильных компаниях:

— Зарплаты на уровне рынка, а не на уровне голодного студента
— Никаких «мы молодая и дружная семья» — только адекватные условия
— Проверенные работодатели, а не стартапы из сомнительных сфер

Вакансии удобно разбиты по тегам: #python #java #go #data #devops и по другим направлениям. Без воды и лишнего спама — только проверенные вакансии в знакомых компаниях.

Подписывайтесь, если не хотите упустить работу мечты → @proglib_jobs
😁1
2025/07/10 02:39:36
Back to Top
HTML Embed Code: