Чек-лист: как структурировать Data Science проект
Короче, вот вам такой чек-лист, его сохранили наши ДСеры, пользуйтесь — бесплатно:
📁 data-science-project/
├── 📁 data/
│ ├── 📁 raw/
│ ├── 📁 processed/
│ └── 📁 external/
├── 📁 notebooks/
│ ├── 📄explore_data.ipynb
│ ├── 📄 …
│ ├── 📄 traine.ipynb
│ └── 📄 evaluate.ipynb
├── 📁 src/
│ ├── 📁 data/
│ │ ├── 📄 load_data.py
│ │ ├── 📄 process_data.py
│ │ └── 📄 split_data.py
│ ├── 📁 features/
│ │ └── 📄select_feature.py
│ ├── 📁 models/
│ │ ├── 📄 train.py
│ │ ├── 📄 predict.py
│ │ └── 📄 evaluate.py
│ ├── 📁 visualizations/
│ │ └── 📄 plot_results.py
├── 📁 tests/
│ ├── 📄 test_models.py
│ └── 📄 test_visualise.py
├── 📁 reports/
│ ├── 📁 figures/
│ └── 📄 report.md
├── 📁 docs/
│ └── 📄 README.md
├── 📄 requirements.txt
├── 📄 .gitignore
└── 📄 LICENSE
Пояснение основных директорий:
1️⃣ data/: Хранит данные на разных этапах (необработанные, обработанные, внешние).
2️⃣ notebooks/: Ноутбуки для пошагового эксперимента (например, исследование данных, создание признаков).
3️⃣ src/: Python скрипты для модульных операций:
• data/: Загрузка, очистка и разделение данных.
• features/: Создание и отбор признаков.
• models/: Обучение модели, предсказания и оценка.
• visualizations/: Генерация графиков и визуальных выводов.
4️⃣ tests/: Юнит-тесты для проверки работы скриптов и пайплайнов.
5️⃣ reports/: Финальные отчёты, графики и визуализации.
6️⃣ docs/: Документация проекта и README.
❤️ — ставьте лайк если годно)
🔵 А это наш курс для тех, кто хочет прокачаться в ИИ → «AI-агенты для DS-специалистов»
Proglib Academy #оффер_мечты
Короче, вот вам такой чек-лист, его сохранили наши ДСеры, пользуйтесь — бесплатно:
📁 data-science-project/
├── 📁 data/
│ ├── 📁 raw/
│ ├── 📁 processed/
│ └── 📁 external/
├── 📁 notebooks/
│ ├── 📄explore_data.ipynb
│ ├── 📄 …
│ ├── 📄 traine.ipynb
│ └── 📄 evaluate.ipynb
├── 📁 src/
│ ├── 📁 data/
│ │ ├── 📄 load_data.py
│ │ ├── 📄 process_data.py
│ │ └── 📄 split_data.py
│ ├── 📁 features/
│ │ └── 📄select_feature.py
│ ├── 📁 models/
│ │ ├── 📄 train.py
│ │ ├── 📄 predict.py
│ │ └── 📄 evaluate.py
│ ├── 📁 visualizations/
│ │ └── 📄 plot_results.py
├── 📁 tests/
│ ├── 📄 test_models.py
│ └── 📄 test_visualise.py
├── 📁 reports/
│ ├── 📁 figures/
│ └── 📄 report.md
├── 📁 docs/
│ └── 📄 README.md
├── 📄 requirements.txt
├── 📄 .gitignore
└── 📄 LICENSE
Пояснение основных директорий:
1️⃣ data/: Хранит данные на разных этапах (необработанные, обработанные, внешние).
2️⃣ notebooks/: Ноутбуки для пошагового эксперимента (например, исследование данных, создание признаков).
3️⃣ src/: Python скрипты для модульных операций:
• data/: Загрузка, очистка и разделение данных.
• features/: Создание и отбор признаков.
• models/: Обучение модели, предсказания и оценка.
• visualizations/: Генерация графиков и визуальных выводов.
4️⃣ tests/: Юнит-тесты для проверки работы скриптов и пайплайнов.
5️⃣ reports/: Финальные отчёты, графики и визуализации.
6️⃣ docs/: Документация проекта и README.
❤️ — ставьте лайк если годно)
Proglib Academy #оффер_мечты
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1👍1👾1
This media is not supported in your browser
VIEW IN TELEGRAM
Мышкой двинул на презе — уволен 🐶
Были у вас такие фейлы? Делитесь, послушаем👇
Proglib Academy #развлекалово
Были у вас такие фейлы? Делитесь, послушаем
Proglib Academy #развлекалово
Please open Telegram to view this post
VIEW IN TELEGRAM
😁6
This media is not supported in your browser
VIEW IN TELEGRAM
Режим агента (Agent mode) официально открыт для всех пользователей Visual Studio Code!
Это как напарник-программист, который сам решает задачи: копается в коде, правит файлы, запускает команды и чинит ошибки, пока всё не заработает.
Включить режим агента можно в Chat View, выбрав
Agent
в настройках chat.mode
и активировав chat.agent.enabled
. Если параметр не отображается — обновите VS Code до последней версии и перезапустите.Proglib Academy #буст
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
🔐 10 хакерских скриптов на Python
Как насчёт того, чтобы заглянуть по ту сторону Python-разработки?
📌 В этом разборе — настоящие боевые техники, которые используют:
— самомодифицирующийся код
— перехват нажатий клавиш (keylogger)
— скрытые скриншоты экрана
— исполнение из RAM — без следов на диске
— маскировка под легитимные процессы
— обход антивирусов и мониторинга
⚠️ Всё — в образовательных целях. Эти приёмы помогают понять, как думает атакующий, и прокачать навыки кибербезопасности и защиты приложений.
👉 Подробнее в нашей новой статье: https://proglib.io/sh/Eu3Dm2GYbh
Proglib Academy #буст
Как насчёт того, чтобы заглянуть по ту сторону Python-разработки?
📌 В этом разборе — настоящие боевые техники, которые используют:
— самомодифицирующийся код
— перехват нажатий клавиш (keylogger)
— скрытые скриншоты экрана
— исполнение из RAM — без следов на диске
— маскировка под легитимные процессы
— обход антивирусов и мониторинга
⚠️ Всё — в образовательных целях. Эти приёмы помогают понять, как думает атакующий, и прокачать навыки кибербезопасности и защиты приложений.
👉 Подробнее в нашей новой статье: https://proglib.io/sh/Eu3Dm2GYbh
Proglib Academy #буст
👍1
Сейчас большинство представлений об ИИ ограничиваются одним агентом — моделькой, которая что-то предсказывает, генерирует или классифицирует.
Но реальный прорыв начинается, когда этих агентов становится несколько.
Когда они начинают взаимодействовать друг с другом.
Когда появляется координация, распределение ролей, память, планирование — всё это и есть мультиагентные системы (MAS).
— Microsoft делает язык DroidSpeak для общения между LLM
— Open Source-фреймворки вроде LangChain, AutoGen, CrewAI, LangGraph — бурно развиваются
— компании, включая МТС, уже применяют MAS в боевых задачах
🎓 На курсе мы подходим к этому практично:
Именно на третьем уроке вы впервые собираете не просто «умного бота», а живую систему из агентов, которая работает вместе — как команда.
Причём по-настоящему: врач, SQL-аналитик, travel-планировщик, Python-генератор, поисковик.
Please open Telegram to view this post
VIEW IN TELEGRAM
📚Напоминаем про наш полный курс «Самоучитель по Python для начинающих»
Мы написали и собрали для вас в одну подборку все 25 глав и 230 практических заданий!
🐍 Часть 1: Особенности, сферы применения, установка, онлайн IDE
🐍 Часть 2: Все, что нужно для изучения Python с нуля – книги, сайты, каналы и курсы
🐍 Часть 3: Типы данных: преобразование и базовые операции
🐍 Часть 4: Методы работы со строками
🐍 Часть 5: Методы работы со списками и списковыми включениями
🐍 Часть 6: Методы работы со словарями и генераторами словарей
🐍 Часть 7: Методы работы с кортежами
🐍 Часть 8: Методы работы со множествами
🐍 Часть 9: Особенности цикла for
🐍 Часть 10: Условный цикл while
🐍 Часть 11: Функции с позиционными и именованными аргументами
🐍 Часть 12: Анонимные функции
🐍 Часть 13: Рекурсивные функции
🐍 Часть 14: Функции высшего порядка, замыкания и декораторы
🐍 Часть 15: Методы работы с файлами и файловой системой
🐍 Часть 16: Регулярные выражения
🐍 Часть 17: Основы скрапинга и парсинга
🐍 Часть 18: Основы ООП – инкапсуляция и наследование
🐍 Часть 19: Основы ООП – абстракция и полиморфизм
🐍 Часть 20: Графический интерфейс на Tkinter
🐍 Часть 21: Основы разработки игр на Pygame
🐍 Часть 22: Основы работы с SQLite
🐍 Часть 23: Основы веб-разработки на Flask
🐍 Часть 24: Основы работы с NumPy
🐍 Часть 25: Основы анализа данных с Pandas
Мы написали и собрали для вас в одну подборку все 25 глав и 230 практических заданий!
🐍 Часть 1: Особенности, сферы применения, установка, онлайн IDE
🐍 Часть 2: Все, что нужно для изучения Python с нуля – книги, сайты, каналы и курсы
🐍 Часть 3: Типы данных: преобразование и базовые операции
🐍 Часть 4: Методы работы со строками
🐍 Часть 5: Методы работы со списками и списковыми включениями
🐍 Часть 6: Методы работы со словарями и генераторами словарей
🐍 Часть 7: Методы работы с кортежами
🐍 Часть 8: Методы работы со множествами
🐍 Часть 9: Особенности цикла for
🐍 Часть 10: Условный цикл while
🐍 Часть 11: Функции с позиционными и именованными аргументами
🐍 Часть 12: Анонимные функции
🐍 Часть 13: Рекурсивные функции
🐍 Часть 14: Функции высшего порядка, замыкания и декораторы
🐍 Часть 15: Методы работы с файлами и файловой системой
🐍 Часть 16: Регулярные выражения
🐍 Часть 17: Основы скрапинга и парсинга
🐍 Часть 18: Основы ООП – инкапсуляция и наследование
🐍 Часть 19: Основы ООП – абстракция и полиморфизм
🐍 Часть 20: Графический интерфейс на Tkinter
🐍 Часть 21: Основы разработки игр на Pygame
🐍 Часть 22: Основы работы с SQLite
🐍 Часть 23: Основы веб-разработки на Flask
🐍 Часть 24: Основы работы с NumPy
🐍 Часть 25: Основы анализа данных с Pandas
🙏2❤🔥1👍1
Proglib Academy #развлекалово
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3
🐍 Промпт дня: собеседование по Python
Этот промт понравился го-разработчикам и оказалось если поменять go на python, то промт тоже очень круто работает. Используем для поиска оффер-мечты. Вы получите полноценное mock-интервью: с вопросами, разбором ваших ответов, фидбэком и пояснениями.👀
Вот промпт, который можно вставить в ChatGPT:
А это наш курс для тех, кто хочет прокачаться в ИИ → «AI-агенты для DS-специалистов»🙌
Proglib Academy #оффер_мечты
Этот промт понравился го-разработчикам и оказалось если поменять go на python, то промт тоже очень круто работает. Используем для поиска оффер-мечты. Вы получите полноценное mock-интервью: с вопросами, разбором ваших ответов, фидбэком и пояснениями.
Вот промпт, который можно вставить в ChatGPT:
"You are a Senior Python Developer and experienced interviewer, known for your ability to assess a candidate's Python proficiency through targeted questions and constructive feedback. Your goal is to conduct a mock Python interview, simulating a real-world technical assessment. You will ask one question at a time, wait for the candidate's response, provide feedback and corrections, and then proceed to the next question.
Use the format below:
Question Number: $question_number
Question: $python_question
(Wait for candidate's response)
Feedback on Candidate's Response
Strengths: $strengths_of_response
Areas for Improvement: $areas_for_improvement
Corrected/Improved Answer (if necessary): $corrected_answer
Next Question
(Proceed to the next question, following the same format)
Begin the mock interview"**
А это наш курс для тех, кто хочет прокачаться в ИИ → «AI-агенты для DS-специалистов»
Proglib Academy #оффер_мечты
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1🙏1
Наткнулся на репу, которую обожают 300 000+ инженеров и HR-ы: The System Design Primer
• Конспект всего, что спрашивают на систем-дизайне — от CAP до CDN.
• Anki-карты для spaced-repetition (удобно учить в метро).
• Mock-интервью: готовые вопросы + чек-листы для разбора своих ответов.
• 25+ переводов, так что можно читать хоть на русском, хоть на бенгали.
• Реальные архитектуры Twitter, Uber, Netflix и др.
У нас, кстати, есть курс по архитектуре → «Архитектуры и шаблоны проектирования»
Proglib Academy #буст
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
This media is not supported in your browser
VIEW IN TELEGRAM
⏰ STUMPY: умный анализ временных рядов
STUMPY — это мощная и масштабируемая библиотека Python для работы с временными рядами. Она эффективно вычисляет матричный профиль, который помогает находить ближайшие соседи для каждого подотрезка временного ряда.
С его помощью можно решать задачи:
✔️ Поиск повторяющихся паттернов.
✔️ Обнаружение аномалий.
✔️ Выделение ключевых подотрезков (shapelets).
✔️ Семантическая сегментация.
✔️ Анализ потоковых данных.
✔️ Быстрое приближённое вычисление матричных профилей.
✔️ Построение временных цепочек.
✔️ Краткое представление длинных временных рядов.
👉 Подробнее — в документации.
А это наш курс для тех, кто хочет прокачаться в ИИ → «AI-агенты для DS-специалистов»🙌
Proglib Academy #буст
STUMPY — это мощная и масштабируемая библиотека Python для работы с временными рядами. Она эффективно вычисляет матричный профиль, который помогает находить ближайшие соседи для каждого подотрезка временного ряда.
С его помощью можно решать задачи:
✔️ Поиск повторяющихся паттернов.
✔️ Обнаружение аномалий.
✔️ Выделение ключевых подотрезков (shapelets).
✔️ Семантическая сегментация.
✔️ Анализ потоковых данных.
✔️ Быстрое приближённое вычисление матричных профилей.
✔️ Построение временных цепочек.
✔️ Краткое представление длинных временных рядов.
👉 Подробнее — в документации.
А это наш курс для тех, кто хочет прокачаться в ИИ → «AI-агенты для DS-специалистов»
Proglib Academy #буст
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3❤1
🤯 Мы больше года строим мультиагентные системы
Грабли, находки, паттерны, эксперименты — всё это накопилось и в какой-то момент стало жалко держать только у себя.
Никита — рассказывает (и показывает) базу: токенизация, LLM, SFT, PEFT, локальный инференс + RAG и как оценивать его качество.
Диана — как строят мультиагентные системы, какие есть паттерны проектирования и библиотеки.
Макс — про инференс в проде + разберет CoPilot, соберет с вами из кусочков свой копайлот, а затем его сломает через prompt injection. // Макс фанат autogen (а если нет — он вас разубедит в своем классном канале)
Финальным аккордом Дима углубится в MCP и соберет несколько кейсов повзрослее.
Курс тут: https://clc.to/47pgYA
Промокод:datarascals действует до 23:59 29 июня
Грабли, находки, паттерны, эксперименты — всё это накопилось и в какой-то момент стало жалко держать только у себя.
Никита — рассказывает (и показывает) базу: токенизация, LLM, SFT, PEFT, локальный инференс + RAG и как оценивать его качество.
Диана — как строят мультиагентные системы, какие есть паттерны проектирования и библиотеки.
Макс — про инференс в проде + разберет CoPilot, соберет с вами из кусочков свой копайлот, а затем его сломает через prompt injection. // Макс фанат autogen (а если нет — он вас разубедит в своем классном канале)
Финальным аккордом Дима углубится в MCP и соберет несколько кейсов повзрослее.
Курс тут: https://clc.to/47pgYA
Промокод:
Как вам такой уровень требований?
❤️ — мечта рекрутера
🌚 — кошмар разработчика
👾 — ну хотя бы без требования «знания всех фреймворков»
Proglib Academy #междусобойчик
❤️ — мечта рекрутера
🌚 — кошмар разработчика
👾 — ну хотя бы без требования «знания всех фреймворков»
Proglib Academy #междусобойчик
👾3❤1🌚1
Делаете предзаказы игр?
😢 — нет, как хорошо, что я
👾 — конечно, цены могут подняться
Proglib Academy #развлекалово
Please open Telegram to view this post
VIEW IN TELEGRAM
😢3👾3
🤖 Нейросети для дата-сайентиста: свежий гид по инструментам
Мир нейросетей меняется каждый день — выбрать подходящий инструмент для задач Data Science непросто.
Мы собрали в статье то, что действительно работает: какие модели помогают автоматизировать рутину, ускоряют кодинг и дают ощутимый буст продуктивности.
📊 Что выбрать под вашу задачу — читайте в обзоре!
📌 Подробнее: https://proglib.io/sh/yq0MaQtHrn
Proglib Academy #буст
Мир нейросетей меняется каждый день — выбрать подходящий инструмент для задач Data Science непросто.
Мы собрали в статье то, что действительно работает: какие модели помогают автоматизировать рутину, ускоряют кодинг и дают ощутимый буст продуктивности.
📊 Что выбрать под вашу задачу — читайте в обзоре!
📌 Подробнее: https://proglib.io/sh/yq0MaQtHrn
Proglib Academy #буст
🔥2👍1
lazygit — это удобный и понятный интерфейс для работы с Git прямо в терминале. Настоящая находка для тех, кто ценит скорость и наглядность.
Решение конфликтов, переключение веток, работа с stash, выполнение rebase или amend — всё это становится проще, потому что действия визуализированы.
Proglib Academy #буст
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
💻🛠🚀 Оптимизируй фронтенд: 24 проверенных способа
Производительность фронтенда напрямую влияет на впечатление от вашего проекта: даже самый крутой дизайн и интересный контент не удержат пользователя, если страница тормозит или беспощадно грузит браузер. В этом материале мы разберем проверенные подходы, которые помогут приложению летать на любых устройствах.
➡️ Вы узнаете о технических деталях работы браузера, научитесь избегать ошибок, замедляющих отрисовку интерфейса, и поймете, когда стоит применять те или иные подходы для достижения плавной и быстрой работы веб-приложения.
Proglib Academy #буст
Производительность фронтенда напрямую влияет на впечатление от вашего проекта: даже самый крутой дизайн и интересный контент не удержат пользователя, если страница тормозит или беспощадно грузит браузер. В этом материале мы разберем проверенные подходы, которые помогут приложению летать на любых устройствах.
Proglib Academy #буст
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1