🔗 DataChain — фреймворк для управления данными

Ключевые особенности фреймворка:

📂 Мультимодальная версионность данных
🔘Версионирование неструктурированных данных без перемещения или копирования, с поддержкой ссылок на хранилища S3, GCP, Azure и локальные файловые системы.
🔘Поддержка мультимодальных данных: изображения, видео, текст, PDF, JSON, CSV, Parquet и др.
🔘Объединение файлов и метаданных в постоянные, версионные наборы данных.

🐍 Python-friendly
🔘Работа с объектами Python и их полями: числовые значения, строки, матрицы, ответы LLM.
🔘Обработка больших наборов данных (до терабайтов) с встроенной параллелизацией и экономным использованием памяти — без необходимости SQL или Spark.

🧠 Обработка данных
🔘Генерация метаданных с использованием локальных AI-моделей и LLM API.
🔘Фильтрация, объединение и группировка наборов данных по метаданным. Поиск по векторным эмбеддингам.
🔘Высокопроизводительные векторизированные операции на Python-объектах: суммирование, подсчёт, вычисление среднего и др.
🔘Передача наборов данных в Pytorch и Tensorflow или экспорт обратно в хранилище.

🤖 Обзор новостей и сервисов в мире ИИ

👇Это небольшая выдержка из нашей еженедельной рассылки.

📰 Новости

🔘Исследователи MIT представили полностью опенсорсную модель Boltz-1, предназначенную для предсказания биомолекулярных структур.

🔘NVIDIA выпустила новую версию ИИ-компьютера Jetson Orin Nano Super за 249 $ (это примерно в два раза дешевле предыдущей версии).

🪚 Инструменты

🔘Choosy Chat – позволяет сравнить ответы самых популярных ИИ-моделей (GPT-4o, Gemini 1.5 Pro и Claude 3.5 Sonnet).

🔘Tempo – визуальный ИИ-редактор для React-разработчиков.

🔘Descript – продвинутый ИИ-редактор видео- и аудиоконтента. Может удалить ненужные фрагменты, убрать шум, нежелательные слова или паузы, добавляет субтитры, переходы и музыку.

Больше интересного — в рассылке. Подписаться на неё можно по этой ссылке 👈

⏱ До Нового года мало времени, а до успеха в IT — всего один сертификат

Курсы от Proglib Academy — это крутой подарок для тех, кто интересуется IT, хочет освоить новую профессию и жить в шоколаде.

Почему сертификат на наши курсы — хороший презент:

🔵Подходит для новичков и профессионалов: можно выбрать обучение под любой уровень знаний.
🔵Помогает развивать востребованные навыки, которые пригодятся в IT.
🔵Позволяет выбрать удобный формат обучения: можно учиться в своем темпе, когда удобно.

Сертификат оформляется за пару минут, и даже не нужно ломать голову над упаковкой.

🚀 Подарите возможность начать год с полезных знаний и карьерного роста → подробнее о сертификатах

🚀 SQLite стала быстрее в 10 раз для аналитических запросов

Изначально SQLite идеально подходит для транзакционных операций (OLTP). Но аналитические запросы (OLAP), включающие сложные джойны, были её слабым местом. SQLite использует Nested Loop Join — простой, но неэффективный метод, где каждое совпадение требует "дорогих" операций в B-дереве.

➡️ Как решили проблему?

Исследователи из Университета Висконсин-Мэдисон предложили использовать Bloom-фильтры — лёгкие и эффективные структуры данных, которые заранее отсекают ненужные строки для джойнов.

🔗 Читайте подробнее в статье