Telegram Web
⚡️ Ludwig — Python-фреймворк для создания пользовательских LLM и нейронных сетей

pip install ludwig[full]

Особенности:

🟡позволяет легко создавать пользовательские модели: декларативный YAML-конфиг — все, что вам нужно, чтобы обучить современную LLM на ваших данных. Поддержка многозадачного и мультимодального обучения. Комплексная проверка конфигурации позволяет обнаружить недопустимые комбинации параметров и предотвратить сбои во время выполнения.

🟡Ludwig оптимизирован для масштабирования и эффективности: автоматический выбор размера партии, распределенное обучение (DDP, DeepSpeed), эффективная тонкая настройка параметров (PEFT), 4-битное квантование (QLoRA), страничные и 8-битные оптимизаторы, наборы данных больше, чем память.

🟡даёт полный контроль над своими моделями вплоть до функций активации. Поддержка оптимизации гиперпараметров, интерпретируемость и богатые возможности визуализации.

🟡модульность и расширяемость: экспериментируйте с различными архитектурами моделей, задачами, функциями и модальностями, изменяя всего несколько параметров в конфигурации.

🟡разработано для продакшена: готовые Docker-контейнеры, встроенная поддержка запуска с Ray на Kubernetes, экспорт моделей в Torchscript и Triton, загрузка в HuggingFace одной командой.

https://github.com/ludwig-ai/ludwig
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍113🔥2
🔝 Команда разработки AllSee выложили статью на Habr о том, как внедрять YandexGPT API в свои проекты

Показали, как решать проблемы интеграции YandexGPT. А именно — отсутствие официального SDK. Авторы создали свой и пошагово расписали, как его интегрировать.

https://habr.com/ru/articles/812979/

@bigdatai
5👍3🔥3
⚡️ QServe: Квантование W4A8KV4 для эффективного обслуживания LLM

Увеличивает максимально достижимую производительность Qwen1.5-72B в 2,4 раза при 100-дюймовой скорости и в 3,5 раза при L40S по сравнению с TensorRT-LLM.

Github

@bigdatai
👍32🔥1
🔥 В понедельник OpenAI анонсирует ИИ-поисковик — за день до старта Google I/O

На днях стало известно, что компания OpenAI планирует анонсировать продукт на базе искусственного интеллекта в сфере интернет-поиска. Теперь же сообщается, что ждать анонса долго не придётся — поисковик от OpenAI представят уже в будущий понедельник, а сам продукт будет позиционироваться как потенциальный конкурент поисковику Google и ИИ-поисковику стартапа Perplexity.

Любопытно, что анонс нового продукта OpenAI в сфере интернет-поиска должен состояться за день до начала ежегодной конференции Google I/O, которая стартует во вторник. Ожидается, что в рамках этого мероприятия Google анонсирует большое количество программных продуктов, связанных с искусственным интеллектом.

📎 Подробнее

@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍83🔥3
Вышла новая, улучшенная версия GPT-4 Omni, которая уже бьет все рекорды

https://habr.com/ru/news/814037/

@bigdatai1
4👍2👎2🔥1
👉 Интерактивные инструменты для машинного обучения

Это один из лучших и наиболее рекомендуемых репо на github для использования инструментов, которые помогут вам разобраться в различных темах машинного обучения.

🔗 https://github.com/Machine-Learning-Tokyo/Interactive_Tools

@bigdatai
4👍4
⚡️ Chameleon: Mixed-Modal Early-Fusion Foundation Models

Chameleon, новые мультимодальные модели, которые могут генерировать и понимать текст и изображения в любой последовательности.

Это модель авторегрессии с параметрами 34B, обученная на ~ 10T токенах чередующихся смешанных модальных данных.

Она превосходит такие модели, как Flamingo, IDEFICS, Llava-1.5, и в то же время не уступает Mixtral-8 x 7 Band Gemini Pro в выполнении задач, связанных только с текстом.

Модель даже превосходит GPT-4V в оценке человеком.

abs: https://arxiv.org/abs/2405.09818

@bigdatai
3👍2
🔥Подборка лучших обучающих каналов для программистов.

➡️ Делитесь с коллегами и сохраняйте себе, чтобы не потерять

Машинное обучение

Machine Learning - запускаем лучшие ИИ модели, пишем код, погружаемся в нейросети
Ml Собеседование - подготовка к собесу по мл, алгоритмам, коду
Ml ru - актуальные статьи, новости, код и обучающие материалы
Ml Jobs - вакансии ML
ML Книги - актуальные бесплатные книги МО
ML чат

🏆 Golang
Golang
Golang собеседование - разбор задач и вопросов с собесов
Golang вакансии -работа для Go разработчика
Golang книги библиотека книг
Golang задачи и тесты
Golang чат
Golang news - новости из мира go
Golang дайджест

💥 Linux /Этичный хакинг
Linux Academy - гайды, секреты и лучшие материалы по Linux
Kali linux - погрузись в мир этичного хакинга и кибербезопасности
linux_kal - kali чат
Информационная безопасность

🚀 Data Science

Анализ данных - полезные фишки, код, гайды и советы, маст-хэв датасаентиста
Data Jobs - ds вакансии
Аналитик данных
Data Science книги - актуальные бесплатные книги
Big data

🛢Базы данных
Sql базы данных - научим работе с базами данных профессионально
Библиотека баз данных
SQL чат
Вакансии Sql аналитик данных

#️⃣C#

С# академия - лучший канал по c#
С# заметки — код, лучшие практики, заметки программиста c#
С# задачи и тесты
С# библиотека - актуальные бесплатные книги
C# вакансии - работа

🐍 Python

Python/django - самый крупный обучающий канал по Python
Python Собеседование - подготовка к собеседовению python и разбор алгоритмов
Pro python - статьи, новости, код и обучающие материалы
Python Jobs - вакансии Python
Python чат
Python книги

Java

Java академия - java от Senior разработчика
Java вакансии
Java чат
Java вопросы с собеседований
Java книги

💻 C++

C++ академия
С++ книги
C++ задачи - подготовка к собеседовению мл, алгоритмам
C++ вакансии

⚡️ Frontend
Javascript академия - крупнейший js канал
React - лучшие гайды и советы по работе с react
Frontend - тутрориалы, уроки, гайды, код
PHP
Книги frontend
Задачи frontend

🦀 Rust
Rust программирование
Rust чат
Rust книги для программистов

📲 Мобильная разработка
Android разработка
Мобильный разработчик гайды и уроки

🇬🇧 Английский для программистов

🧠 Искусственный интеллект
ИИ и технологии
Neural - нейросети для работы и жизни
Книги ИИ
Artificial Intelligence

🔥 DevOPs
Devops для программистов
Книги Devops

🌟 Docker/Kubernets
Docker
Kubernets

📓 Книги
Библиотеки Книг для программситов

💼 Папка с вакансиями:
Папка Go разработчика:
Папка Python разработчика:
Папка Data Science
Папка Java разработчика
Папка C#
Папка Frontend

💥 Бесплатный Chatgpt бот
👍32
This media is not supported in your browser
VIEW IN TELEGRAM
Panoptic Scene Graph Generation

Мы живем в трехмерном пространстве, в то время как движемся вперед через четвертое измерение - время.

Новая модель 4D Panoptic Scene Graph (PSG-4D), для всестороннего понимание 4D-окружения, которое объединяет необработанные визуальные данные, воспринимаемые в динамичном 4D-мире, и визуальное понимание высокого уровня

PSG-4D интерпретирует различные сенсорные данные в формате 4D в узлы, которые представляют объекты с точным местоположением и информацией о статусе объекта, и ребра, которые фиксируют временные отношения.

Чтобы облегчить исследования в этой новой области, разработки выпустили аннотированный набор данных PSG-4D, состоящий из 3K RGB-D видеороликов общим объемом 1 млн кадров, каждый из которых помечен 4D-масками для сегментации, а также детализированными динамическими графиками сцен.

Для решения задачи PSG-4D представлена PSG4DFormer - модель на основе трансформеров, которая может предсказывать маски сегментации, отслеживать маски вдоль оси времени и генерировать соответствующие графики сцен с помощью компонента отношений.

Обширные тесты с новым набором данных показывают, что метод может послужить надежной основой для будущих исследований PSG-4D.

Github
Paper

@ai_machinelearning_big_data
3👍2
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ Google выпустил Model Explorer — самый передовой инструмент для визуализации архитектуры моделей большого языка (LLM). Он позволяет пользователям глубоко погружаться в внутреннее устройство, слои и операции выбранной LLM.

Model Explorer представляет LLM как четкую иерархическую структуру, помогая пользователям понять их работу и диагностировать возможные проблемы. Для специалистов, работающих с ИИ, этот инструмент является незаменимым помощником.

Перейдите по ссылке, чтобы использовать Model Explorer: ссылка на Model Explorer

https://ai.google.dev/edge/model-explorer

@bigdatai
🔥93👍2
💻 Kafka БАЗА по Теории и Практике.

https://www.youtube.com/watch?v=W7ZCXcxQxV8

@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2
⚡️ RLAIF-V-Dataset - это большой мультимодальный датасет отзывов, содержащий изображения + вопросы, а также выбранные и отклоненные ответы.

Доступно на сайте hugging.

Hub: https://huggingface.co/datasets/HaoyeZhang/RLAIF-V-Dataset

@bigdatai
👍21
⚡️ Если бы вам разрешили выбрать только один ресурс для подготовки к собеседованию, какой бы вы выбрали?

Безусловным лидером среди таких ресурсов является репозиторий Tech Interview Handbook.

Этот обширный справочник, созданный усилиями большого сообщества, помог сотням тысяч разработчиков успешно подготовиться к собеседованиям.

В репозитории вы найдете:

* Практические советы по подготовке к различным этапам собеседования
* Подробные обзоры тем
* Шпаргалки и другие полезные материалы

Главное преимущество репа Tech Interview Handbook перед аналогичными ресурсами заключается в том, что он содержит всю необходимую и полезную информацию непосредственно в самом репозитории, без необходимости переходить по внешним ссылкам. Кроме того, в нем рассматривается более широкий спектр тем, включая не только алгоритмы и паттерны, но и другие важные аспекты собеседований.

#репозиторий #собеседование #советы #en

Github

@bigdatai
4👍3🔥1🥰1
⭐️ Awesome Detection Engineering

Коллекция технических ресурсов по детекции объектов:

* Концепции и фреймворки
* Контент и сигнатуры для обнаружения,
* Ведение журнала, мониторинг и источники данных
* Общие ресурсы.

https://github.com/infosecB/awesome-detection-engineering

@bigdatai
👍5🔥21
2025/07/13 06:05:02
Back to Top
HTML Embed Code: