Telegram Web
📖 Эта статья исследует задачу упрощения текста на уровне документов с использованием LLM!

💡 Авторы отмечают, что большая часть существующих исследований фокусируется на лексических или предложенческих упрощениях, тогда как долгосрочное упрощение документа (Document Simplification, DS) остаётся недостаточно изученным. Проблема усложняется тем, что модели часто путают упрощение с резюмированием, теряя детали и контекст.

🌟 В работе предложен метод ProgDS (Progressive Document Simplification), который разделяет процесс упрощения на три уровня: дискурсный, тематический и лексический. Метод включает пошаговую обработку текста, симулируя человеческий подход к упрощению. Результаты экспериментов показывают, что ProgDS превосходит существующие модели и подходы, обеспечивая как согласованность, так и умеренное упрощение текста. Этот метод открывает новые возможности для работы с длинными документами в задачах генерации текста.

🔗 Читать: *клик*

@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
⭐️ Podcastfy — это open-source инструмент, который преобразует текстовый контент в аудио подкасты с использованием синтеза речи.

Он позволяет легко создавать аудиоверсии статей или блогов, упрощая процесс создания подкастов для контент-мейкеров, блогеров или в целях обучения.

🌟 Поддерживает интеграцию с ElevenLabs, OpenAI и Edge TTS, для преобразования текста в речь.

💡 Примеры можно посмотреть здесь.

💨 Поддерживает продвинутые настройки для работы с голосами, стилем речи и другими параметрами. с генеративным контентом.

Установка:
$ pip install podcastfy

Podcastfy — удобный и простой в использовании инструмент для быстрого прототипирования решений по автоматическому созданию аудиоконтента и интеграции в более крупные ML-проекты.

🔐 Лицензия: Apache-2.0

Github
Paper
Colab


@ai_machinelearning_big_data


#podcast #gemini #openai #elevenlabs #genai #notebooklm
Please open Telegram to view this post
VIEW IN TELEGRAM
👍31
🔥 pydantic-ai-agents-tutorial — пошаговое руководство по созданию ИИ-агентов с использованием библиотеки Pydantic AI!

🌟 В проекте рассматривается процесс настройки и реализации агентов, которые могут работать с инструментами, обрабатывать файлы и использовать модели для анализа изображений. Примеры охватывают работу с локальными моделями и OpenAI или Ollama, показывая, как создавать динамические подсказки и управлять сложными задачами.

🔐 Лицензия: Apache-2.0

🖥 Github

@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥51👍1
Forwarded from Machinelearning
✔️ Исследование: ChatGPT проходит тест Тьюринга по психотерапии.

Исследование группы университетов США ставит под сомнение границы между человеческим и ИИ в психотерапии. Оказывается, обычному человеку все сложнее отличить ответы, сгенерированные ChatGPT, от профессиональных советов психологов.

В эксперименте с участием 830 человек, ответы ChatGPT не только оказались неотличимы от экспертных, но и были оценены выше по ключевым аспектам психотерапии. Языковой анализ показал, что ChatGPT использует более позитивный тон и предоставляет более развернутые ответы, что способствовало более высоким оценкам в фокусной группе.
journals.plos.org

✔️ Apple и Amazon сталкиваются с трудностями при обновлении голосовых помощников Alexa и Siri.

ИТ-гиганты столкнулись с неожиданными препятствиями в разработке и запуске обновленных версий своих голосовых помощников, Siri и Alexa, на базе генеративного ИИ. Тестирование выявило регулярные проблемы с надежностью и точностью ответов.

По данным Bloomberg, Apple может отложить выпуск улучшенной Siri до мая 2025 года или позже из-за многочисленных программных ошибок и "технических проблем". Аналогичная ситуация наблюдается и в Amazon, где выпуск LLM-версии Alexa также отложен из-за неверных ответов, выявленных в ходе тестирования. Несмотря на планы анонсировать обновление Alexa 26 февраля, публичный доступ будет открыт не ранее 31 марта, то есть через 18 месяцев после первоначального анонса в 2024 году.
bloomberg.com

✔️ Южнокорейские власти приостановили работу приложения DeepSeek.

Южнокорейское правительство запретило загрузку мобильного приложения DeepSeek из-за опасений по поводу безопасности данных. Ограничение, вступившее в силу в субботу, не затронуло пользователей, у которых приложение уже установлено, и доступ к сервису DeepSeek через веб-версию остается открытым.

Корейская комиссия по защите персональной информации (PIPC) заявила, что DeepSeek "частично пренебрегла" своими обязательствами в соответствии с законами Южной Кореи о защите данных. По словам директора отдела расследований PIPC Нам Сока, DeepSeek "недостаточно прозрачна в вопросах передачи данных третьим лицам и потенциально собирает избыточную личную информацию".

Представитель DeepSeek прибыл в Южную Корею для решения возникших проблем. Сроки снятия ограничений на скачивание приложения пока не определены.
nytimes.com

✔️ Ученые обучают ИИ интерпретировать эмоции животных.

Ресерчеры разрабатывают системы ИИ, способные распознавать эмоции животных, чтобы открыть новые возможности для улучшения их благополучия.

Например, система Intellipig, разработанная в Великобритании, анализирует фотографии свиней и предупреждает фермеров о признаках боли, болезни или эмоционального стресса. В Университете Хайфы разрабатывают ИИ, способный распознавать признаки дискомфорта у собак, что может помочь людям лучше понимать своих питомцев.

Система, разработанная в Университете Сан-Паулу, обучилась распознавать признаки боли у лошадей, анализируя фотографии их морд до и после операций, а также до и после приема обезболивающих средств. ИИ смог самостоятельно выявить признаки, указывающие на боль, с точностью 88%, демонстрируя потенциал таких систем для автоматизации мониторинга состояния животных.
science.org

✔️ ИИ теперь помещается в кармане: портативные LLM на USB-накопителях.

Энтузиасты в области ИИ создают портативные версии LLM, которые помещаются на обычный USB-накопитель. Эти модели, хотя и менее мощные, чем их "большие братья", открывают новые возможности для использования ИИ в мобильных и эмбедед-устройствах.

Один из таких проектов, Binh, позволяет запускать LLM на Raspberry Pi Zero W, помещенном в корпус USB-накопителя. Пользователю достаточно создать пустой текстовый файл с именем, и LLM автоматически заполнит его сгенерированным текстом. Хотя скорость работы оставляет желать лучшего, автор проекта считает его первым plug-and-play LLM на USB-носителе.
hackaday.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥32🥰1
🔥 FlashVideo — это проект, направленный на создание высококачественного видео с использованием эффективных методов генерации! Проект включает две стадии: первая отвечает за генерацию видео с разрешением 270p, вторая — за улучшение качества до 1080p.

🔐 Лицензия: Apache-2.0

🖥 Github

@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
3👍1🔥1
⚡️ R1 1776 – обновлённая версию модели DeepSeek-R1 от perplexity_ai, которая прошла пост-обучение для устранения цензуры Коммунистической партии Китая.

Главное:

- Модель создана для предоставления непредвзятой, точной и фактической информации без излишней цензуры.
Высокие рассуждательные способности:

- Несмотря на отказ от цензуры, R1 1776 сохраняет выдающиеся аналитические и логические возможности.

- Многоязычная проверка: Для оценки модели был сформирован разнообразный набор из более чем 1000 примеров, охватывающих широкий спектр чувствительных тем, с участием как человеческих экспертов, так и специализированных LLM-судей.

https://huggingface.co/perplexity-ai/r1-1776

@bigdatai
🔥62👍1
This media is not supported in your browser
VIEW IN TELEGRAM
🔥 Quickwit — облачно-нативный поисковый движок, предназначенный для анализа и наблюдаемости данных, таких как логи и трассировки!

🌟 Это альтернатива инструментам вроде Elasticsearch, Datadog, Loki и Tempo, оптимизированная для высокой скорости работы на облачных хранилищах, таких как Amazon S3, Azure Blob Storage и Google Cloud Storage.

💡 Quickwit поддерживает полнотекстовый поиск, агрегационные запросы, API, совместимые с Elasticsearch, и интеграции с OpenTelemetry (OTEL) и Jaeger. Движок обладает схемно-независимой архитектурой, разделением вычислительных и хранилищных операций, что позволяет масштабировать его под большие объёмы данных.

🔐 Лицензия: AGPL-3.0

🖥 Github

@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍2🔥1🥰1
Forwarded from Machinelearning
🌟 ReasonFlux: математические рассуждения для LLM.

ReasonFlux - методика, которая используется как для обучения, так и для инференса, чтобы повысить способность LLM к сложному логическому мышлению. Применение метода позволяет превосходить OpenAI o1-preview и DeepSeek V3 в задачах математического рассуждения.

При использовании в обучении ReasonFlux использует иерархическую структуру с подкреплением на последовательности высокоуровневых шаблонов мышления. Это позволяет базовой LLM научиться планировать оптимальную траекторию шаблонов для решения сложных задач. В процессе обучения ReasonFlux анализирует и обобщает информацию о решении задач, выявляя общие закономерности, и на основе этого создает шаблоны мышления.

Во время инференса ReasonFlux автоматически извлекает релевантные шаблоны мышления и масштабирует их для достижения превосходной производительности в сложных задачах рассуждения. Он динамически выбирает наиболее подходящий шаблон высокого уровня для каждой подзадачи, упрощая поиск путей рассуждений. ReasonFlux использует новую систему масштабирования во время вывода, которая адаптирует шаблоны мышления.

В экспериментальных тестах ReasonFlux-32B достиг 91,2% точности на MATH benchmark, опередив o1-preview на 6,7%. На AIME benchmark модель решила в среднем 56,7% задач, превзойдя o1-preview и DeepSeek-V3 на 27% и 45% соответственно.

Практическая реализация метода доступна в репозитории проекта, в нем cодержится необходимый код и описание для файнтюна LLM на примере SFT-датасета решений GaoKao Bench.

⚠️ Для трейна моделей на SFT-сете проект использует фреймворк LLaMA-Factory.

▶️ Локальная установка и запуск:

# Clone the repository
git clone https://github.com/ReasonFlux
cd ReasonFlux

# Create a Conda venv
conda create -n ReasonFlux python==3.9
conda activate ReasonFlux

# Install dependencies
pip install -r requirements.txt

# When you complete your first-stage training, you can try to use simple inference
from reasonflux import ReasonFlux

reasonflux = ReasonFlux(navigator_path='path-to-navigator',
template_matcher_path='jinaai/jina-embeddings-v3',
inference_path='path-to-infernece-model',
template_path='template_library.json')
problem = """Given a sequence {aₙ} satisfying a₁=3, and aₙ₊₁=2aₙ+5 (n≥1), find the general term formula aₙ"""


📌Лицензирование: Apache 2.0 License.


🟡Arxiv
🟡SFT Датасет (на китайском)
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #ReasonFlux
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍53🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
🔥 Magic 1-For-1 — это модель генерации видео, разработанная для оптимизации использования памяти и снижения задержек при выводе!

🌟 Она разделяет задачу генерации видео из текста на два этапа: генерацию изображения из текста и преобразование изображения в видео, что способствует более эффективному обучению и дистилляции.

🖥 Github

@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍43🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
🔥 Open Computer Use — платформа для безопасного использования компьютеров с помощью ИИ, управляемого через E2B Desktop Sandbox!

🌟 Это решение позволяет удалённо управлять компьютером с помощью команд, моделируя действия клавиатуры, мыши и терминала. Интерфейс поддерживает интеграцию с различными моделями LLM (Large Language Models), включая Llama, Hugging Face и другие.

💡 Ключевые функции: живая трансляция дисплея из песочницы, возможность приостановить выполнение агентом задач для внесения обратной связи, поддержка любых операционных систем и платформ, а также гибкость настройки моделей.

🔐 Лицензия: Apache-2.0

🖥 Github

@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
📝 E2M (Everything to Markdown) — библиотека на Python для преобразования различных типов файлов в формат Markdown!

🌟 Он поддерживает широкий спектр форматов, включая doc, docx, epub, html, url, pdf, ppt, mp3, и m4a. Библиотека использует архитектуру «парсер-конвертер»: сначала данные извлекаются из файлов с помощью парсеров, а затем преобразуются в Markdown через конвертеры.

🌟 E2M разработан для упрощения работы с данными, особенно для задач Retrieval-Augmented Generation (RAG), обучения моделей и их дообучения. Поддерживаются инструменты обработки текста, изображений и звука, такие как OpenAI Whisper API для преобразования аудио в текст.

🔐 Лицензия: Apache-2.0

🖥 Github

@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥31👍1
🔥 openpilot — это открытое программное обеспечение, которое служит операционной системой для робототехники для улучшения системы помощи водителю в автомобилях!

🌟 openpilot расширяет возможности существующих систем помощи водителю (ADAS) и может быть установлен на более чем 275 поддерживаемых моделях автомобилей. Он добавляет функции, такие как удержание полосы, адаптивный круиз-контроль и автоматическое экстренное торможение.

🔐 Лицензия: MIT

🖥 Github

@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5👍2😱2
Forwarded from Machinelearning
⚡️ Magma-8B – это экспериментальная модель от Microsoft, которая объединяет обработку текста и изображений в одном агентском решении.

Чем полезен инструмент:

- Мультимодальность: Возможность работать с изображениями, видео и текстом позволяет строить комплексные системы – от навигации по пользовательским интерфейсам до управления робототехникой.
Агентские возможности: Модель не просто описывает содержимое картинки, а умеет генерировать план действий, что особенно ценно для интерактивных приложений.
- ИспользованиеSet-of-Mark и Trace-of-Mark, помогает связать визуальные элементы с текстовыми командами, обеспечивая более точное понимание и планирование.

Magma-8B специально разработан для сценариев работы с агентами – акцент не только на генерации текста, но и на взаимодействии с реальными объектами (например, интерфейсами).

Модель обучалась на разнообразных источниках, включая неразмеченные видео, в результате этого удалось добиться понимания динамики и пространственных отношений в видео.


Современные технические решения и масштабируемость, что позволяет адаптировать модель под разные задачи.

Минусы:

- На данном этапе модель ориентирована на исследовательские проекты, поэтому может требовать доработки перед использованием в боевых условиях.
- Ограничения по языкам: основной фокус сделан на английском, что может усложнить работу с другими языками.

Возможны нестабильные результаты - в некоторых сценариях, особенно если задача выходит за рамки обучающих данных, что требует осторожности при внедрении в реальные приложения.

В целом, Magma-8B – это интересный экспериментальный инструмент, который может стать отправной точкой для создания новых, более «умных» агентных систем, объединяющих восприятие и действие в одном флаконе.

pip install torchvision Pillow open_clip_torch

https://huggingface.co/microsoft/Magma-8B

#microsoft #magma #multimodal
🔥 OpenObserve — это облачное решение для мониторинга и анализа данных с открытым исходным кодом!

🌟 Оно позволяет собирать, индексировать и визуализировать различные метрики и логи в реальном времени.

🔐 Лицензия: Apache-2.0

🖥 Github

@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
3👍2🔥1
🔥 Cofounder — это генеративная платформа для создания полноценных веб-приложений с бэкендом и UI!

🌟 Он использует ИИ для генерации приложений, включая проектирование интерфейсов и создание структур на основе описаний. На данный момент это ранняя альфа-версия, нестабильная, которая требует больших вычислительных ресурсов. В будущем проект планирует улучшения и добавление новых функций, таких как интеграция с мобильными фреймворками и расширенная настройка приложений.

🔐 Лицензия: MIT

🖥 Github

@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍1
2025/07/09 12:20:44
Back to Top
HTML Embed Code: