Ragas — это платформа, котороая помогает вам оценить ваш пайплайн с RAG.
https://github.com/explodinggradients/ragas
https://github.com/explodinggradients/ragas
GitHub
GitHub - explodinggradients/ragas: Supercharge Your LLM Application Evaluations 🚀
Supercharge Your LLM Application Evaluations 🚀. Contribute to explodinggradients/ragas development by creating an account on GitHub.
Forwarded from Трендоскоп Lab (Александр)
MemGPT — дорога LLM к операционным системам
На днях вышла работа MemGPT — метод расширения контекстных окон LLM. Он учит языковые модели «виртуальной памяти», подобно тому как ОС управляют своей оперативной памятью.
Способ позволяет создавать вечных чат-ботов и Q&A для больших документов. А в потенциале открывает дорогу к AI OS. Можно запустить и локально, подробные инструкции есть на Гитхабе.
На днях вышла работа MemGPT — метод расширения контекстных окон LLM. Он учит языковые модели «виртуальной памяти», подобно тому как ОС управляют своей оперативной памятью.
Способ позволяет создавать вечных чат-ботов и Q&A для больших документов. А в потенциале открывает дорогу к AI OS. Можно запустить и локально, подробные инструкции есть на Гитхабе.
X (formerly Twitter)
Charles Packer (@charlespacker) on X
Introducing MemGPT 📚🦙 a method for extending LLM context windows. Inspired by OS mem management, it provides an infinite virtualized context for fixed-context LLMs. Enables perpetual chatbots & large doc QA. 🧵1/n
Paper: https://t.co/KeLpcVDGhe
GitHub: h…
Paper: https://t.co/KeLpcVDGhe
GitHub: h…
🔥4
AutoGen.
LLM-модели, такие как GPT-3 и GPT-4, становятся ключевыми строительными блоками для разработки мощных агентов, способных мыслить, использовать инструменты и адаптироваться. Учитывая расширяющиеся возможности LLM и увеличивающуюся сложность задач, использование нескольких сотрудничающих агентов является естественным подходом для расширения возможностей агентов. Предыдущие исследования также указывают на то, что мультиагентные системы могут способствовать разнонаправленному мышлению, улучшать рассуждения и обеспечивать валидацию.
https://github.com/microsoft/autogen
https://arxiv.org/abs/2308.08155
LLM-модели, такие как GPT-3 и GPT-4, становятся ключевыми строительными блоками для разработки мощных агентов, способных мыслить, использовать инструменты и адаптироваться. Учитывая расширяющиеся возможности LLM и увеличивающуюся сложность задач, использование нескольких сотрудничающих агентов является естественным подходом для расширения возможностей агентов. Предыдущие исследования также указывают на то, что мультиагентные системы могут способствовать разнонаправленному мышлению, улучшать рассуждения и обеспечивать валидацию.
https://github.com/microsoft/autogen
https://arxiv.org/abs/2308.08155
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
Нвидия выпускает TensorRT-LLM для Windows - опенсорсную библиотеку, которая ускоряет выполнение(инференс) для всех популярных LLM, таких как Llama 2 и Code Llama. В четыре(!) раза.
Более того, уже есть расширение для Автоматик1111, которое призвано ускорить генерацию картинок на Windows. В два раза(!).
На фоне новостей про то, что OpenAI будет делать свои чипы, Нвидии нужно предпринимать какие-то действия, чтобы сильнее привязывать пользователей к своим железкам, и что важно, программным решениям.
А на фронте LLM ее ждем конкуренция с llama.cpp, которая творит чудеса на маках.
Конкуренция в действии, и это прекрасно.
Тут подробности:
https://blogs.nvidia.com/blog/2023/10/17/tensorrt-llm-windows-stable-diffusion-rtx/
Тут расширение для автоматика:
https://github.com/NVIDIA/Stable-Diffusion-WebUI-TensorRT
Supports Stable Diffusion 1.5 and 2.1. Native SDXL support coming in a future release.
И только квадратные разрешения.
Более того, уже есть расширение для Автоматик1111, которое призвано ускорить генерацию картинок на Windows. В два раза(!).
На фоне новостей про то, что OpenAI будет делать свои чипы, Нвидии нужно предпринимать какие-то действия, чтобы сильнее привязывать пользователей к своим железкам, и что важно, программным решениям.
А на фронте LLM ее ждем конкуренция с llama.cpp, которая творит чудеса на маках.
Конкуренция в действии, и это прекрасно.
Тут подробности:
https://blogs.nvidia.com/blog/2023/10/17/tensorrt-llm-windows-stable-diffusion-rtx/
Тут расширение для автоматика:
https://github.com/NVIDIA/Stable-Diffusion-WebUI-TensorRT
Supports Stable Diffusion 1.5 and 2.1. Native SDXL support coming in a future release.
И только квадратные разрешения.
❤4🔥2👏2
Forwarded from Агенты ИИ | AGI_and_RL
Концепция LLM OS, чтобы эффективно управлять контекстным окном и обрабатывать внешние события.
Структурой операционных систем (ОС) вдохновились исследователи из Бёркли и представили MemGPT фреймворк.
Ввели:
- main context (фактическое контекстное окно, аналог RAM в компьютере) который ещё делится на system instructions (описывает функции доступные LLM), conversational context (содержит переписку между агентом и пользователем), и working context (куда пишет агент).
- external context (откуда можно доставать новую информацию, аналог дисковой памяти), с которым LLM взаимодествует вызовом системных функций, для загрузки данных в main context.
- events (события, которые могут происходить и без вмешательства пользователя, которые обрабатывает LLM).
А сама LLM в данном случае работает как процессор.
Авторы отмечают, что этот подход работает только с GPT-4 (на текущий момент).
MemGPT: Towards LLMs as Operating Systems
https://arxiv.org/abs/2310.08560
https://memgpt.ai/
https://github.com/cpacker/MemGPT
Структурой операционных систем (ОС) вдохновились исследователи из Бёркли и представили MemGPT фреймворк.
Ввели:
- main context (фактическое контекстное окно, аналог RAM в компьютере) который ещё делится на system instructions (описывает функции доступные LLM), conversational context (содержит переписку между агентом и пользователем), и working context (куда пишет агент).
- external context (откуда можно доставать новую информацию, аналог дисковой памяти), с которым LLM взаимодествует вызовом системных функций, для загрузки данных в main context.
- events (события, которые могут происходить и без вмешательства пользователя, которые обрабатывает LLM).
А сама LLM в данном случае работает как процессор.
Авторы отмечают, что этот подход работает только с GPT-4 (на текущий момент).
MemGPT: Towards LLMs as Operating Systems
https://arxiv.org/abs/2310.08560
https://memgpt.ai/
https://github.com/cpacker/MemGPT
👍4
Forwarded from Dealer.AI
Любители мишек ликуют? Вышел Pandas 2.0 с pyarrow обёрткой.
С pyarrow говорят быстрее, чем без.
А что предпочитаешь ты для EDA и DataProcessing?
Голосуем:
🐼 - пандас
🤖- vaex/polaris
🙈- чистый python
Пишем в комментариях)
Немного подробностей.
https://telegra.ph/Pandas-200--gejmchejndzher-v-rabote-data-sajentistov-10-19
З. Ы. У меня в целом 🤖🙊🐼 в зависимости от ситуации
С pyarrow говорят быстрее, чем без.
А что предпочитаешь ты для EDA и DataProcessing?
Голосуем:
🐼 - пандас
🤖- vaex/polaris
🙈- чистый python
Пишем в комментариях)
Немного подробностей.
https://telegra.ph/Pandas-200--gejmchejndzher-v-rabote-data-sajentistov-10-19
З. Ы. У меня в целом 🤖🙊🐼 в зависимости от ситуации
Telegraph
Pandas 2.0.0 — геймчейнджер в работе дата-сайентистов?
Многофункциональная и универсальная библиотека pandas заняла достойное место в сердце каждого дата-сайентиста. Практически невозможно представить себе работу с данными — начиная с их ввода/вывода до очистки и преобразования — без import pandas as pd. И теперь…
🥰3
https://github.com/SuperDuperDB/superduperdb
Easily implement AI without the need to copy and move your data to complex MLOps pipelines and specialized vector databases. Integrate, train, and manage your AI models and APIs directly with your chosen database, using a simple Python interface.
Easily implement AI without the need to copy and move your data to complex MLOps pipelines and specialized vector databases. Integrate, train, and manage your AI models and APIs directly with your chosen database, using a simple Python interface.
Dealer.AI
Любители мишек ликуют? Вышел Pandas 2.0 с pyarrow обёрткой. С pyarrow говорят быстрее, чем без. А что предпочитаешь ты для EDA и DataProcessing? Голосуем: 🐼 - пандас 🤖- vaex/polaris 🙈- чистый python Пишем в комментариях) Немного подробностей. …
Pandas-Ai
PandaAGI - Agentic AI API
Build AI Agents in 3 Lines of Code
Forwarded from Machinelearning
📚 Large (Language) Models and Foundation Models (LLM, LM, FM) for Time Series and Spatio-Temporal Data
Профессионально курируемый список больших языковых моделей и базовых моделей (
В Проекте собрана информацию о докладах, учебниках и обзорах по ИИ для временных рядов (AI4TS)с ведущих конференций и в журналов по ИИ.
🖥 Github: https://github.com/qingsongedu/awesome-timeseries-spatiotemporal-lm-llm
📝 AI4TS: https://github.com/qingsongedu/awesome-AI-for-time-series-papers
📕 Paper: https://arxiv.org/abs/2310.10196v1
ai_machinelearning_big_data
Профессионально курируемый список больших языковых моделей и базовых моделей (
LLM, LM, FM) для темпоральных данных (временных рядов, пространственно-временных и событийных данных) с полезными ресурсами (статьи, код, датасеты и т.д.), целью которого является всестороннее обобщение последних достижений в этой области. В Проекте собрана информацию о докладах, учебниках и обзорах по ИИ для временных рядов (AI4TS)с ведущих конференций и в журналов по ИИ.
📝 AI4TS: https://github.com/qingsongedu/awesome-AI-for-time-series-papers
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4🔥1
Forwarded from Machinelearning
📑 DocXChain: A Powerful Open-Source Toolchain for Document Parsing and Beyond
DocXChain - мощный инструментарий с открытым исходным кодом для синтаксического анализа документов, предназначенный для автоматического преобразования разнородной информации, содержащейся в неструктурированных документах, таких как текст, таблицы и диаграммы, схемы в структурированные представления, доступные для машинного чтения и манипулирования.
🖥 Github: https://github.com/alibabaresearch/advancedliteratemachinery
📕 Paper: https://arxiv.org/abs/2310.12430v1
🚀 Damo: https://damo.alibaba.com/labs/language-technology
ai_machinelearning_big_data
DocXChain - мощный инструментарий с открытым исходным кодом для синтаксического анализа документов, предназначенный для автоматического преобразования разнородной информации, содержащейся в неструктурированных документах, таких как текст, таблицы и диаграммы, схемы в структурированные представления, доступные для машинного чтения и манипулирования.
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3
MiniGPT-v2: Large Language Model as a Unified Interface for Vision-Language Multi-task Learning
https://github.com/Vision-CAIR/MiniGPT-4
https://github.com/Vision-CAIR/MiniGPT-4
GitHub
GitHub - Vision-CAIR/MiniGPT-4: Open-sourced codes for MiniGPT-4 and MiniGPT-v2 (https://minigpt-4.github.io, https://minigpt-v2.github.io/)
Open-sourced codes for MiniGPT-4 and MiniGPT-v2 (https://minigpt-4.github.io, https://minigpt-v2.github.io/) - Vision-CAIR/MiniGPT-4
🔥3
Learning Video Representations from Large Language Models
https://facebookresearch.github.io/LaViLa/
https://openaccess.thecvf.com/content/CVPR2023/papers/Zhao_Learning_Video_Representations_From_Large_Language_Models_CVPR_2023_paper.pdf
https://facebookresearch.github.io/LaViLa/
https://openaccess.thecvf.com/content/CVPR2023/papers/Zhao_Learning_Video_Representations_From_Large_Language_Models_CVPR_2023_paper.pdf
🔥4⚡1
Forwarded from Just links
LLM Augmented Hierarchical Agents https://openreview.net/forum?id=K5MfysX15Q
OpenReview
LLM Augmented Hierarchical Agents
Solving long-horizon, temporally-extended tasks using Reinforcement Learning (RL) is challenging, compounded by the common practice of learning without prior knowledge (or tabula rasa learning)....
Forwarded from Love. Death. Transformers.
#чтивонаночь - LLAVA 1.5
Вероятно лучшая открытая мультимодалка этой осени, которая по каким то причинам никому не интересна, а зря!
teletype
paper
github
Вероятно лучшая открытая мультимодалка этой осени, которая по каким то причинам никому не интересна, а зря!
teletype
paper
github
🔥3
https://blog.langchain.dev/langserve-hub/
https://github.com/langchain-ai/langchain/tree/master/templates
https://github.com/langchain-ai/langchain/tree/master/templates
LangChain Blog
LangChain Templates
Today we're excited to announce the release of LangChain Templates. LangChain Templates offers a collection of easily deployable reference architectures that anyone can use. We've worked with some of our partners to create a set of easy-to-use templates to…
Forwarded from AI для Всех (Artemii)
RedPajama - новый датасет на 30 триллионов токенов!
Компания Together Computer представила обновлённую версию открытого набора текстовых данных RedPajama. Теперь он содержит 30 триллионов токенов - в 30 раз больше, чем было в первой версии!
Это колоссальный объём информации, отфильтрованной из сотен миллиардов веб-страниц. Такие данные послужат фундаментом для обучения по-настоящему масштабных открытых языковых моделей.
Преимущества нового датасета не заканчиваются на внушительных размерах. В набор добавлены десятки готовых аннотаций качества текста. Они позволят исследователям гибко фильтровать и взвешивать данные под конкретные задачи.
Все это существенно упростит и ускорит разработку открытых моделей ИИ. Каждый сможет с лёгкостью создать свою собственную уникальную выборку на основе RedPajama. А значит, ждём новую волну экспериментов и прорывных результатов!
В общем, RedPajama 2 - это мощный импульс для всего сообщества ИИ. Крупные данные, гибкость, доступность - так рождается прогресс!
🦙 Блог-пост
🦙 Датасет
🐙 Git
Компания Together Computer представила обновлённую версию открытого набора текстовых данных RedPajama. Теперь он содержит 30 триллионов токенов - в 30 раз больше, чем было в первой версии!
Это колоссальный объём информации, отфильтрованной из сотен миллиардов веб-страниц. Такие данные послужат фундаментом для обучения по-настоящему масштабных открытых языковых моделей.
Преимущества нового датасета не заканчиваются на внушительных размерах. В набор добавлены десятки готовых аннотаций качества текста. Они позволят исследователям гибко фильтровать и взвешивать данные под конкретные задачи.
Все это существенно упростит и ускорит разработку открытых моделей ИИ. Каждый сможет с лёгкостью создать свою собственную уникальную выборку на основе RedPajama. А значит, ждём новую волну экспериментов и прорывных результатов!
В общем, RedPajama 2 - это мощный импульс для всего сообщества ИИ. Крупные данные, гибкость, доступность - так рождается прогресс!
🦙 Датасет
🐙 Git
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7👎1
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
Instructed by AI pioneer Andrew Ng, Generative AI for Everyone offers his unique perspective on empowering you and your work with generative AI.
Узнайте, как работает генеративный искусственный интеллект в новом бесплатном курсе от легендарного Эндрю Ына. Как использовать ИИ в профессиональной или личной жизни и как он повлияет на работу, бизнес и общество.
Вы познакомитесь с реальными примерами работы ии, изучите типичные кейсы использования, получите возможность практической работы с инструментами генеративного ИИ, чтобы применить полученные знания на практике и получить представление о влиянии ИИ на бизнес и общество.
Этот курс доступен для всех и не предполагает наличия опыта кодинга или работы с искусственным интеллектом.
https://www.deeplearning.ai/courses/generative-ai-for-everyone/
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8👍1🥰1