tgoop.com/inside_ai_tech/61
Last Update:
Из чего состоит Langfuse?
Langfuse — платформа для отслеживания и оценки работы LLM-агентов. В основе — пять компонентов:
Traces & Observations
Трейс — лог одного запроса. Внутри: шаги агента, вызовы инструментов, ответы модели. Помогает понять, как агент «думает» и где ломается цепочка.
Sessions
Объединяют трейсы в одно взаимодействие — например, целый диалог. Удобно смотреть не отдельные шаги, а поведение агента в целом.
Scores
Оценки — это различные метрики: точность ответа, успешность, тип ошибки. На них строятся сравнение версий и автооценка.
Datasets & Dataset Runs
Датасеты — входы с эталонными ответами. Dataset Run — их запуск через агента с сохранением логов. Помогает тестировать изменения и сравнивать качество.
Prompts
Централизованное хранилище промптов: версии, параметры, история. Можно тестировать варианты, быстро откатываться и отслеживать изменения.
Как выглядит цикл разработки агента с Langfuse
1. Собираем датасет из типовых запросов и эталонов.
2. Запускаем Dataset Run, фиксируем трейсы.
3. Анализируем шаги агента (Traces & Observations).
4. Ставим оценки — автоматически (LLM) и вручную.
5. Меняем промпт или логику, запускаем снова.
Такой подход заменяет хаотичное «подкручивание промптов» системной работой с метриками, тестами и контролем качества.
#александр_опрышко
BY Внутри AI | Кейсы ИИ Агентов в бизнесе
Share with your friend now:
tgoop.com/inside_ai_tech/61