Теперь у нас есть две хорошие модели с мультиязычностью и function calling (писал про эту комбинацию тут https://www.tgoop.com/gonzo_ML/2821), Mistral NeMo и Llama 3.1. Ожидаю интересных развитий и решений!

Прикольный формат саммари от unsloth

"Пробка в Лиссабоне, вызванная остановившимся трамваем", 2015.

Как давно это было... 9 лет назад появился deepdream, наверное, первый большой шаг к нейросетевому GenAI. Вскоре через месяц-другой будет style transfer Леона Гатиса, затем быстрое развитие уже существующих GAN, ... и вот мы в мире трансформеров и диффузионок.

DeepMind продолжают в математику

https://deepmind.google/discover/blog/ai-solves-imo-problems-at-silver-medal-level/

AlphaProof доказывает математические утверждения на языке Lean (https://lean-lang.org/). Зафайнтюненная Gemini переводит описание с человеческого языка на Lean, а дальше RL механизм на базе AlphaZero ищет шаги доказательства.

AlphaGeometry 2 обучена на гораздо большем объеме задач, чем её предшественница и имеет на два порядка более быстрый символьный движок.

Сообща эти две системы решили 4 из 6 задач математический олимпиады этого года, получив результат на уровне серебряного медалиста.

Вот и поисковик от OpenAI пожаловал :)

https://openai.com/index/searchgpt-prototype/

Надо сказать, я ждал его дольше, чем хотелось :) (https://www.tgoop.com/gonzo_ML/1140)

Какой прикольный проект — gpu.cpp!

https://github.com/AnswerDotAI/gpu.cpp
https://gpucpp.answer.ai/
https://x.com/austinvhuang/status/1816141044540739642

Можно использовать GPU, не заморачиваясь написанием отдельного кода под CUDA, AMD, Mac, Intel GPUs. Спасибо WebGPU, который не только про веб (https://www.youtube.com/watch?v=qHrx41aOTUQ).

Тем временем на lmsys arena новый лидер, гугловая экспериментальная Gemini 1.5 Pro Experimental 0801 в статусе превью.

Ещё из свежих новостей — это новая Gemma 2 2B. Похоже, что на редкость неплохая

https://developers.googleblog.com/en/smaller-safer-more-transparent-advancing-responsible-ai-with-gemma/

Интересный кейс про отказ от LLM/агентского фреймворка (здесь LangChain), когда абстракции фреймворка не помогают, а скорее тормозят:
https://www.octomind.dev/blog/why-we-no-longer-use-langchain-for-building-our-ai-agents

Обсуждение на Hacker News:
https://news.ycombinator.com/item?id=40739982

У меня от LangChain изначально примерно такие же ощущения были, что для прототипов это ок быстро нафигачить, а для прода проще самим написать на более низкоуровневых абстракциях, чем в недра фреймворка по любому чиху лезть. А там для прода обычно много чего надо от правильного логгирования и мониторинга до навешивания на какую-нибудь очередь типа кафки. LangChain вроде туда как-то пошёл со своим LangSmith, но как-то невнятно для меня до сих пор.

Сейчас у меня скорее в более положительную сторону ощущение поменялось, но всё равно основная ценность LangChain для меня лично сосредоточена больше в районе каких-то базовых вещей типа интеграций с LLM и шаблонизации запросов. Остальное проще самому контролировать.

Есть LangGraph ещё, из когорты мультиагентных фреймворков. Он мне в целом понравился среди того, что я пробовал (а это ещё CrewAI и AutoGen). LangGraph вроде как достаточно низкоуровневый с базовыми примитивами для сборки графа воркфлоу.

CrewAI для меня оказался аналогично LangChain из статьи выше — слишком высокие абстракции, чтобы применить к куче задач, где я хотел бы его попробовать. Например, я сходу не нашёл, как его эффективно использовать для задач с открытой постановкой, где цель изначально не задана чётко, а определяется из общения с пользователем. Могу ошибаться, но, кажется, годится в основном для кейсов с чётко определённой целью, которую агенты потенциально могут выполнить автономно. Ну и всё равно не уверен, что это подходит для прода, потому что опять же куча всего спрятана внутри и не факт, что это можно стабильно использовать за пределами прототипов.

AutoGen кажется наиболее близок к разумному срединному пути между LangGraph и CrewAI. Есть концепция группового чата, где можно собирать довольно открытые диалоги с пользователем. Можно автономных агентов и воркфлоу с переходами между состояниями делать. Мне лично не хватает коллбэков в разных местах, но можно дописать, наверное.

Но вообще в интересное время живём. Прямо сейчас определяются контуры будущего и пока ещё непонятно куда конкретно всё вырулит с этими агентами и мультиагентами.

А вы какими фреймворками пользуетесь (или не пользуетесь) и почему?

Вдогонку к посту про агентные и мультиагентные фреймворки, немного ссылок для тех, кто хочет их изучить.

#1. Спасибо Andrew Ng, на DeepLearning.ai есть открытые и бесплатные мини-курсы по всем основным фреймворкам:

LangChain:

LangChain for LLM Application Development
https://www.deeplearning.ai/short-courses/langchain-for-llm-application-development/

LangChain: Chat with Your Data
https://www.deeplearning.ai/short-courses/langchain-chat-with-your-data/

Functions, Tools and Agents with LangChain
https://www.deeplearning.ai/short-courses/functions-tools-agents-langchain/

Build LLM Apps with LangChain.js
https://www.deeplearning.ai/short-courses/build-llm-apps-with-langchain-js/


Semantic Kernel (альтернатива LangChain от MS -- мне, кстати, понравился, https://learn.microsoft.com/en-us/semantic-kernel/overview/):

How Business Thinkers Can Start Building AI Plugins With Semantic Kernel
https://www.deeplearning.ai/short-courses/microsoft-semantic-kernel/


LangGraph:

AI Agents in LangGraph
https://www.deeplearning.ai/short-courses/ai-agents-in-langgraph/


AutoGen:

AI Agentic Design Patterns with AutoGen
https://www.deeplearning.ai/short-courses/ai-agentic-design-patterns-with-autogen/


CrewAI:

Multi AI Agent Systems with CrewAI
https://www.deeplearning.ai/short-courses/multi-ai-agent-systems-with-crewai/


Есть там и много всего другого про LLM, промпт-инжиниринг, RAG, LlamaIndex и прочее.


#2. Книги

Я уже их упоминал, у Manning в стадии написания (и доступные для чтения по ходу процесса) есть две тематические книги:

AI Agents in Action
https://www.manning.com/books/ai-agents-in-action

Multi-Agent Systems with AutoGen
https://www.manning.com/books/multi-agent-systems-with-autogen


#3. YouTube, документация, блоги и прочее

Тут ничего писать не буду, много всего, а блог Виктора Дибиа я уже советовал (https://www.tgoop.com/gonzo_ML/2859)


Порог на вход сейчас низок как никогда.

Извинити, пока не до статей...

Что-то происходит...

https://techcrunch.com/2024/08/05/openai-co-founder-leaves-for-anthropic/

An interesting opinion on hype/no hype.

"I don't think that "AI" models [a] (by which I mean: large language models) are over-hyped.

Yes, it's true that any new technology will attract the grifters. And it is definitely true that many companies like to say they're "Using AI" in the same way they previously said they were powered by "The Blockchain". (As we've seen again, and again, and again, and again.) It's also the case we may be in a bubble. The internet was a bubble that burst in 2000, but the Internet applications we now have are what was previously the stuff of literal science fiction.

But the reason I think that the recent advances we've made aren't just hype is that, over the past year, I have spent at least a few hours every week interacting with various large language models, and have been consistently impressed by their ability to solve increasingly difficult tasks I give them. And as a result of this, I would say I'm at least 50% faster at writing code for both my research projects and my side projects as a result of these models.

Most of the people online I find who talk about LLM utility are either wildly optimistic, and claim all jobs will be automated within three years, or wildly pessimistic, and say they have contributed nothing and never will.

So in this post, I just want to try and ground the conversation. I'm not going to make any arguments about what the future holds. I just want to provide a list of 50 conversations that I (a programmer and research scientist studying machine learning) have had with different large language models to meaningfully improve my ability to perform research and help me work on random coding side projects."

https://nicholas.carlini.com/writing/2024/how-i-use-ai.html

We're excited to introduce The AI Scientist, the first comprehensive system for fully automatic scientific discovery, enabling Foundation Models such as Large Language Models (LLMs) to perform research independently.

https://github.com/SakanaAI/AI-Scientist

Blog: https://sakana.ai/ai-scientist/
Paper: https://arxiv.org/abs/2408.06292