🔥 agent.exe — бесплатное приложение с открытым исходным кодом для Mac/Windows/Linux, позволяющее использовать Claude 3.5 Sonnet для управления компьютером!

🔐 Лицензия: MIT

🖥 Github

@machinelearning_ru

✔️ GitHub представил Spark: создание веб-приложений с помощью естественного языка.

Spark, продукт лаборатории GitHub Next, позволяет создавать прототипы приложений с помощью чат-подобного интерфейса. В основе Spark лежат репозиторий GitHub, GitHub Actions и база данных Microsoft Azure CosmosDB.

Spark может использовать любые веб-API, а пользователи могут выбирать между моделями Anthropic’s Claude Sonnet и OpenAI’s GPT. Также заявлена функция шэринга Spark-проектов с настраиваемыми правами доступа.

Открыта запись в waitlist. Подать заявку можно по ссылке.
githubnext.com

@machinelearning_ru

📖 Эта статья излагает методы улучшения Retrieval Augmented Generation (RAG) в промышленных приложениях с использованием мультимодальных данных

🌟 Исследования показывают, что добавление изображений вместе с текстом может улучшить точность RAG в специфичных для индустрии задачах. Статья также рассматривает два подхода обработки изображений и их интеграцию с крупными языковыми моделями, такими как GPT-4 Vision и LLaVA, выявляя сложности и преимущества мультимодального подхода в сравнении с текстовым

📖 Читать: *клик*

@machinelearning_ru

🖥 Whispo — это инструмент для диктовки с поддержкой ИИ, который преобразует речь в текст с помощью Whisper от OpenAI или Groq

🌟 Пользователь должен удерживать клавишу Ctrl для записи, а затем расшифровка автоматически вставляется в другое используемое им приложение, поддерживающее текстовый ввод. Проект использует фреймворки Electron и Vite для создания кроссплатформенного приложения, а также Tailwind CSS для оформления интерфейса

🔐 Лицензия: AGPL-3.0

🖥 Github

@machinelearning_ru

🔥 MoGe от Microsoft — модель для точного восстановления 3D-геометрии из одиночных изображений!

💡 MoGe использует ViT-энкодер и сверточный декодер для получения геометрических карт, масок и карт глубины, которые подходят для изображений различных форматов. Инструмент полезен для 3D-визуализации и моделирования. Он поддерживает как локальное, так и веб-использование, предоставляя как предобученные модели, так и исходный код для дальнейших экспериментов и доработок.

🔐 Лицензия: MIT

🖥 Github

@machinelearning_ru

🔥 Docling — это инструмент для конвертации и анализа документов, разработанный для подготовки документов к использованию в генеративных ИИ-приложениях.

💡 Docling поддерживает различные форматы (PDF, DOCX, PPTX, HTML и другие), может извлекать метаданные, читать структуры страниц и таблиц, а также интегрироваться с LlamaIndex и LangChain. В репозитории также реализована поддержка OCR для обработки отсканированных документов, что делает его мощным инструментом для работы с документами в различных ИИ-сценариях.

🖥 Github
🔗 Сайт проекта

@vistehno

🔥 Экспресс курс NotebookLM!

💡 В сегодняшнюю стремительно развивающуюся цифровую эпоху способность быстро и эффективно получать доступ к информации и анализировать ее становится важнее, чем когда-либо. Появляется Notebook LM, мощный помощник по исследованиям на базе Gemini 1.5 Pro от Google. Если вы глубоко погружены в исследования ИИ или просто хотите оптимизировать свой рабочий процесс, Notebook LM является крайне полезным инструментом!

🕞 Продолжительность: 1:13:02

🔗 Ссылка: *клик*

@machinelearning_ru

🌟 Cosmos Tokenizer: эффективная токенизация изображений и видео от NVIDIA.

Cosmos Tokenizer - набор токенизаторов для изображений и видео с высокой степенью сжатия при сохранении качества реконструкции, представленный на конференции Conference for Robot Learning 2024, которая проходит до 9 ноября в Мюнхене.

Cosmos Tokenizer предлагает непрерывную (C) и дискретную (D) токенизацию для изображений (I) и видео (V), что формирует 4 типа токенизаторов: CI, DI, CV и DV.

Cosmos Tokenizer имеет внушительные показатели сжатия: 8x или 16x для пространственного сжатия изображений и 4x или 8x для временного сжатия видео, при этом работает до 12 раз быстрее, чем другие современные токенизаторы, сохраняя при этом высокое качество изображения.

Такая эффективность обусловлена легкой временно-причинной архитектурой, использующей причинную временную свертку и слои внимания. Этот дизайн архитектуры гарантирует, что обработка каждого кадра зависит только от текущих и прошлых кадров, сохраняя временную согласованность видео.

Для оценки Cosmos Tokenizer использовались стандартные наборы данных и новый набор данных TokenBench, созданный NVIDIA. Cosmos Tokenizer сравнивался с современными токенизаторами с использованием метрик PSNR, SSIM, rFID и rFVD.

Результаты тестирования показали превосходство Cosmos Tokenizer над существующими методами как по качеству реконструкции, так и по скорости работы.

▶️ В репозитории на Github опубликован код для установки, сборки docker Cosmos Tokenizer, примеры запуска для в непрерывном латенте, кодирования в дискретные токены, запуск токенизаторов на примерах изображений и видео из тестового набора и запуск с Pytorch.


📌Лицензирование: NVIDIA Open Model License


🟡Страница проекта
🟡Набор на HF
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #NVIDIA #Tokenizer #Cosmos

✉️ inbox-zero — приложение для управления электронной почтой, предназначенное для быстрого прочтения и фильтрации писем с помощью AI!

🌟 Функционал включает автоматическое удаление рассылок, блокировку холодных писем, отслеживание статистики активности, обнаружение новых спам-отправителей и крупных писем. Реализовано на базе Next.js, Tailwind CSS и Prisma, с поддержкой Google OAuth, AI от OpenAI и аналитики через Tinybird.

🔐 Лицензия: AGPL-3.0

🖥 Github
🔗 Демо-видео: *клик*

@machinelearning_ru

📝 Amphion — это фреймворк для многозадачного восприятия и генерации текстов на основе языка. Его основная цель — поддерживать как модульные задачи (например, классификация или генерация) для отдельных модальностей, так и мультизадачные сценарии

🌟 Фреймворк объединяет несколько библиотек OpenMMLab, таких как MMDetection и MMDetection3D, и оптимизирован для работы с мультизадачными моделями, такими как MMWizard

🔐 Лицензия: MIT

🖥 Github

@machinelearning_ru

📝 Эта статья представляет метод для различения типов "галлюцинаций" (неверных ответов) в больших языковых моделях (LLM): либо это незнание ответа, либо ошибка при наличии знания.

🌟 Авторы предлагают подход для выявления случаев, когда модель ошибается, несмотря на наличие информации, и вводят способ для создания специализированных наборов данных, что улучшает выявление галлюцинаций. Это помогает лучше понять и смягчить ошибки LLM, минимизируя риски ложных данных.

📖 Читать: *клик*

@machinelearning_ru

📝 Эта статья исследует использование "цепочек рассуждений" (Chain-of-Thought, CoT) для улучшения логических способностей языковых моделей. CoT помогает моделям разбивать сложные задачи на простые шаги, что позволяет лучше выявлять ошибки на каждом этапе рассуждения и корректировать их, вместо того чтобы переходить сразу к финальному ответу

🌟 Авторы предлагают обучать модели с демонстрацией как корректных, так и ошибочных решений, что способствует более глубокому пониманию логики рассуждений и улучшает устойчивость модели к ошибкам

📖 Читать: *клик*

@machinelearning_ru

✔️ FrontierMath: набор тестов по математике, который ставит в тупик модели ИИ и кандидатов наук.

Epoch AI представила FrontierMath, математический тест, который содержит сотни задач экспертного уровня. Claude 3.5 Sonnet, GPT-4o, o1-preview и Gemini 1.5 Pro показали крайне низкие результаты - менее 2%, а для решения задач теста математикам-специалистам обычно требуются часы или дни.

Набор задач в FrontierMath остается закрытым и неопубликованным, чтобы предотвратить загрязнение данных. Задачи охватывают несколько математических дисциплин, от вычислительной теории чисел до абстрактной алгебраической геометрии.
Epoch AI планирует проводить регулярную оценку моделей ИИ с помощью теста, одновременно расширяя набор задач.
epoch.ai

✔️ Лаборатория искусственного интеллекта на защите людей искусства от генеративного ИИ.

Ученые из SAND Lab Чикагского университета разработали два инструмента, Glaze и Nightshade, которые защищают цифровое искусство от несанкционированного использования в обучении моделей.

Glaze изменяет изображения таким образом, чтобы алгоритмы ИИ не могли распознать стиль художника, а Nightshade добавляет в изображения «яд», нарушающий работу моделей ИИ. Оба инструмента были загружены миллионы раз и используются художниками для защиты своих работ от копирования и использования без их согласия.

Nightshade может нанести серьезный ущерб моделям ИИ, заставив их интерпретировать изображения неправильно, например, принимать собак за кошек. Разработчики инструментов надеются, что они заставят компании, занимающиеся ИИ, вести переговоры с художниками о лицензировании и справедливой компенсации.
technologyreview.com

✔️ OpenAI представит план развития инфраструктуры ИИ в США для конкуренции с Китаем.

OpenAI разработала план развития инфраструктуры ИИ в США, который включает создание специальных экономических зон для ИИ, использование опыта ВМС США в области ядерной энергетики и финансирование государственных проектов частными инвесторами. План также предусматривает создание североамериканского альянса по ИИ для конкуренции с китайскими инициативами.

Компания считает, что инвестиции в ИИ в США приведут к созданию десятков тысяч рабочих мест, росту ВВП, модернизации энергосистемы, появлению новых заводов по производству чипов и привлечению миллиардов долларов инвестиций из глобальных фондов.

В плане также прогнозируется принятие закона о национальной транспортной магистрали, который позволит расширить строительство линий электропередач, волоконно-оптических сетей и газопроводов.
cnbc.com

✔️ YouTube тестирует функцию ремиксов песен с помощью ИИ.

YouTube тестирует новую функцию в наборе инструментов Dream Track, которая позволяет авторам ремиксовать треки с помощью опции «Restyle a track» и описать текстом, как они хотят изменить стиль песни. Restyle a track сгенерирует 30-секундный фрагмент, который авторы смогут использовать в Shorts.

Ремикшированные фрагменты будут содержать информацию об оригинальной песне на странице Shorts audio pivot. Ремиксы также будут иметь соответствующую метку, указывающую на то, что трек был изменен с помощью ИИ.
techcrunch.com

✔️ Сверхчеловеческое зрение для роботов благодаря ИИ и радиоволнам.

Исследователи из Университета Пенсильвании разработали систему PanoRadar, которая использует радиоволны и ИИ, чтобы обеспечить роботов трехмерным зрением, подобным LiDAR, но по более низкой цене.

PanoRadar работает как маяк, вращаясь и излучая радиоволны, отражения которых обрабатываются ИИ для создания точного 3D-изображения окружающей среды. Эта технология позволяет роботам видеть сквозь препятствия, дым и туман. PanoRadar использует алгоритмы машинного обучения для интерпретации сложных сигналов радиоволн и достижения высокого разрешения, сравнимого с LiDAR.
interestingengineering.com

@ai_machinelearning_big_data

#news #ai #ml

🖥 Voice Pro — это проект, созданный для управления голосовым взаимодействием с поддержкой ИИ, оптимизированный для среды Python!

💡 Репозиторий включает инструменты для запуска приложений голосового взаимодействия и поддерживает функционал, такой как проверка среды и установка необходимых компонентов. Проект также предоставляет возможность обновления интерфейсов через командную строку и настройки некоторых элементов среды выполнения для запуска сторонних библиотек, включая llama-cpp для взаимодействия с CUDA (если доступно) в ML-проектах.

🔐 Лицензия: MIT

🖥 GitHub

@machinelearning_ru