🌐 Crawlee для Python — библиотека для веб-скрапинга и автоматизации браузера

Crawlee v1.0 — открытый инструмент для веб-скрапинга и автоматизации, который позволяет разработчикам собирать данные с сайтов и управлять браузером без лишних сложностей.

Что умеет Crawlee:
➡️ Эффективное и масштабируемое сканирование сайтов
➡️ Скрейпинг данных и сохранение в удобные для машин форматы
➡️ Работа через HTTP и браузер (использует BeautifulSoup4 и Playwright под капотом)
➡️ «Человечоподобные» запросы, которые обходят защиту от ботов
➡️ Адаптивный браузерный краулер для динамических JavaScript-сайтов
➡️ Поддержка Sitemap и Robots Exclusion для этичного и быстрого сканирования
➡️ Fingerprinting: каждый запуск выглядит как реальный пользователь
➡️ Интеграция с OpenTelemetry для мониторинга и анализа производительности

📱 GitHub

🐸 Библиотека питониста

#буст

🚀 Telelog — библиотека структурированного логирования с визуализацией компонентов

Telelog — это библиотека с Rust-подложкой, которая объединяет структурированное логирование, профилирование производительности и визуализацию архитектуры.

Основные возможности:
👉 Профилирование производительности — автоматическое измерение времени выполнения с помощью RAII-guard и менеджеров контекста
👉 Отслеживание компонентов — мониторинг архитектурных компонентов и их взаимосвязей
👉 Визуализация — генерация Mermaid-диаграмм, таймлайнов и диаграмм Ганта
👉 Контекст логов — добавление постоянного контекста ко всем сообщениям
👉 Красивый вывод в консоль — чистый, цветной и информативный
👉 Python bindings — использовать с Python с производительностью Rust
👉 Минимальные накладные расходы — эффективное логирование с возможностью мониторинга системы

📱 GitHub

🐸 Библиотека питониста

#буст

🎉 django.tasks официально появился

Начиная с Django 6.0 (релиз запланирован на конец 2025 года), в ядро фреймворка добавлена поддержка фоновых задач через django.tasks. Это одна из самых крупных и важных обновлений Django после внедрения ASGI в 3.0.

Теперь больше не нужно использовать специфичные для бэкенда API или переписывать задачи при масштабировании. Пример использования:

from django.core.mail import send_mail
from django.tasks import task

@task(priority=2, queue_name="emails", enqueue_on_commit=True)
def email_users(emails, subject, message):
    return send_mail(
        subject=subject, message=message, from_email=None, recipient_list=emails
    )

result = email_users.enqueue(
    emails=["[email protected]"],
    subject="You have a message",
    message="Hello there!",
)

Особенности релиза:
— Основные интерфейсы и бэкенды «Immediate» и «Dummy» уже включены.
— Сложные бэкенды (например, база данных или RQ) будут добавлены позже.
— django.tasks совместим с django-tasks, который пока остаётся отдельным пакетом для пользователей старых версий и тестирования новых функций.

📎 Подробнее: https://clc.to/v57CXQ

🐸 Библиотека питониста

#буст

🐸 Библиотека питониста

#развлекалово

📱 Python новости за последние 7 дней

🧩 Практика и обучение
— Создаём Сапёр на Python с нуля — пошаговый гайд по созданию классической игры.
— Изучаем модуль random в Python — простое введение в генерацию случайных чисел + домашнее задание для закрепления.
— Pytest для тех, кто впервые слышит — мини-гайд по самому популярному фреймворку для тестирования в Python.

⚙️ Инструменты и продвинутая практика
— Создание пользовательских обработчиков логов — как писать свои логгеры и правильно структурировать логи для крупных проектов.
— Python и Go — идеальный дуэт — почему Python и Go отлично сочетаются в продакшене и как использовать их вместе.

🧠 Новости и размышления
— Устаревшие версии Python обходятся компаниям в миллионы — почему медленный переход на новые релизы приводит к высоким затратам.
— Трюк, который раньше ускорял Python, теперь лишь мешает — о старых оптимизациях, которые потеряли смысл в новых версиях языка.

🐸 Библиотека питониста

#свежак

🐸 Библиотека задач по Data Science

⚡️ Использование Cursor AI для миграции тестов с Bash на Python

Миграция большого кода с одного языка на другой может быть утомительной. ИИ-инструменты способны взять на себя «тяжёлую работу».

В статье описывается, как команда перенесла тестовый набор для контейнеров container-common-scripts с Bash на новую Python-базированную CI-систему container-ci-suite с помощью редактора кода Cursor AI.

▫️ Это демонстрирует, насколько просто можно переносить проекты между языками с помощью ИИ.

🔍 Подробнее: https://clc.to/o44hrA

🐸 Библиотека питониста

#буст

💨 Air — новый фреймворк, который вдохнёт свежий воздух в Python-разработку

Air — это современный веб-фреймворк, построенный на основе FastAPI, Starlette и Pydantic, который объединяет скорость, простоту и выразительность. Он позволяет разрабатывать API и веб-приложения в одном стиле и с минимальным количеством шаблонного кода.

Основные возможности:
➡️ Работает на FastAPI — API и HTML-страницы из одного приложения
➡️ Air Tags — декларативное создание HTML прямо на Python
➡️ Поддержка Jinja — можно использовать Jinja-шаблоны или Air Tags, или даже комбинировать их
➡️ Интеграция с HTMX — создание динамичных интерфейсов без JavaScript
➡️ Валидация форм через Pydantic — строгая типизация и проверка данных прямо из HTML
➡️ Минимализм и расширяемость — фреймворк задуман как лёгкое ядро, расширяемое через пакеты

💡 Air сейчас находится в alpha-версии, поэтому возможны изменения в API.

Пример:

import air

app = air.Air()

@app.get("/")
async def index():
    return air.Html(air.H1("Hello, world!", style="color: blue;"))

Устанавливается одной командой:

pip install -U air

📘 Документация
📱 Репозиторий

🐸 Библиотека питониста

#буст

👉 Коротко и по делу: этот cheatsheet собрал самые часто используемые команды uv, которых достаточно, чтобы уверенно начать работать с инструментом.

🐸 Библиотека питониста

#буст

🧠 Новые Python type checker’ы: насколько хорошо они соответствуют стандартам

В 2025 году экосистема Python-инструментов для статической типизации переживает всплеск инноваций.

Сразу три новых инструмента — Ty (от Astral), Pyrefly (от Meta) и Zuban (от David Halter) — были написаны на Rust и привнесли новую скорость, стабильность и интеграцию в экосистему Python.

🚩 Ty (Astral)
Создан командой Astral, разработчиками ruff. Основан на принципах постепенного внедрения и высокой отзывчивости. Использует Rust-библиотеку salsa для инкрементальных вычислений, что делает проверку мгновенной в IDE.

🚩 Pyrefly (Meta*)
Новый инструмент от Meta, преемник pyre. Улучшен в плане автоматического вывода типов и глубокой аналитики. Разрабатывается с упором на производительность и масштабируемость, подходящую для крупных компаний.

🚩 Zuban (David Halter)
Проект автора jedi, с упором на совместимость с mypy. Недавно стал open source (AGPL). Отличается плавным переходом с других проверяющих систем и ориентацией на корпоративное использование.

🧭 Как выбрать инструмент

— Для новых проектов: любой из трёх подойдёт — все обеспечивают современный уровень типизации.
— Для больших кодовых баз: Zuban и Pyrefly обеспечивают лучшую совместимость и глубину анализа.
— Для ежедневной разработки: Ty предлагает идеальный баланс скорости, UX и интеграции с линтером ruff.

👉 Подробная статья с разбором

🐸 Библиотека питониста

#буст
* признана экстремистской организацией в России

👍 Python 3.14 — первый стабильный релиз

👇 Свежая версия Python уже доступна, и в ней много интересного:
— Template string literals — более мощная и безопасная работа со строками.
— Отложенная оценка аннотаций — улучшает производительность и совместимость.
— Subinterpreters в стандартной библиотеке — шаг к эффективному использованию многопоточности в Python.
— Free-threaded сборка теперь официально поддерживается: можно запускать Python без GIL.

👇 Обновления стандартной библиотеки:
— Новый модуль compression.zstd для поддержки Zstandard.
— Улучшенная introspection в asyncio.
— Подсветка синтаксиса прямо в REPL.
— Множество доработок, улучшений юзабилити и удалённых устаревших функций.

💡 С релизом Python 3.14 официально завершается поддержка Python 3.9 — теперь можно спокойно использовать возможности, начиная с 3.10 (включая pattern matching и оператор | в аннотациях типов).

Установить Python 3.14 можно с помощью uv:

uv self update
uv python upgrade 3.14
uvx [email protected]
# или версия без GIL:
uvx [email protected]

🔗 Подробности в релизе

🐸 Библиотека питониста

#свежак

⚙️ Компиляция Python, которая запускается везде

Python любим за простоту. Но его слабое место известно всем — производительность.
Что, если можно было бы оставить язык таким, как он есть, и при этом запускать его код так же быстро, как C++, на любой платформе — без интерпретатора и без контейнеров?

Новый экспериментальный компилятор превращает обычный Python-код в самодостаточные бинарные файлы — программы, которые работают где угодно:
✅ на сервере, в мобильном приложении, на десктопе и даже в браузере.
✅ Без JIT.
✅ Без переписывания.
✅ Без Python под капотом.

История началась с банальной боли:

Как удобно распространять и запускать AI-модели?
Контейнеры казались очевидным решением — но оказались тупиком.
Они громоздкие, медленные и тянут за собой целую мини-ОС.

И тогда родилась идея:

«А что если не упаковывать систему в контейнер, а собрать исполняемый файл, который сам запускает модель — без ничего лишнего?»

Так появился подход, при котором Python-код компилируется полностью ahead-of-time, превращаясь в нативные программы без зависимостей и без интерпретатора.

🔍 Подробнее: https://clc.to/CBk8YA

🐸 Библиотека питониста

#буст

🛠 Тестируем Python-проекты с разными версиями с помощью `uv` и `uv-test`

Удобная комманда для запуска тестов проекта против нескольких версий Python. Ключевой приём:

uv run --with-editable .[test]

Например, для проекта с [test] extras:

cd /tmp
git clone https://github.com/simonw/datasette
cd datasette
uv run --python 3.14 --isolated --with-editable '.[test]' pytest -n auto

▶️ --isolated — чтобы окружение было чистым.
▶️ --with-editable '.[test]' — ставит проект в editable mode, чтобы изменения сразу отражались.
▶️ -n auto — pytest-xdist использует все CPU автоматически.

uv-test: скрипт для упрощения

Чтобы не вводить длинную команду каждый раз, можно использовать простой helper-скрипт:

uv-test -p 3.14 -k permissions -vv

▶️ По умолчанию использует Python 3.14.
▶️ Можно указать версию через -p.
▶️ Все дополнительные аргументы передаются в pytest.

Скрипт проверяет наличие uv и pyproject.toml/setup.py, чтобы не запускать тесты не из корня проекта.

💡 Результат: быстрое тестирование проекта на любых версиях Python без лишнего геморроя с окружениями и контейнерами.

🐸 Библиотека питониста

#буст

тонко 👌

🐸 Библиотека питониста

#развлекалово