AI для Всех
Началась следующая сессия, я буду делать заметки, и под конец сессии опубликую пост целиком
Структурированные Выводы для Надежных Приложений на базе ИИ
Авторы: Элети Атти и Мишель Покрасс
---
В мире искусственного интеллекта (ИИ) важно обеспечить надежность и структурированность выводов больших языковых моделей (LLM) для их интеграции с внешними системами. Однако, стандартные выводы LLM часто бывают непредсказуемыми и неструктурированными.
Проблема и Решения
В июне 2023 года OpenAI представила функцию function calling, но она не полностью решила проблему надежности. На Developer Day был анонсирован JSON mode, который позволял выводить данные в формате JSON, однако сложности с вложенными структурами остались.
В августе 2024 года OpenAI внедрила Structured Outputs в API, позволяя разработчикам задавать схему ожидаемого вывода. Это значительно повысило точность и соответствие формата данных без необходимости сложного проектирования запросов.
Как Это Работает
1.Структурированные Выводы: с помощью маскировки токенов ограничивается словарь, доступный модели, что предотвращает генерацию нежелательных токенов.
2. Поддержка Грамматик:
- Регулярные выражения подходят для простых схем.
- Контекстно-свободные грамматики (CFG) позволяют обрабатывать более сложные и вложенные структуры JSON.
3. Кэширование Индексов: Для ускорения обработки индексов используются кэшированные значения.
4. Дизайн API:
- Предпочтение отдается явным схемам вместо неявных предположений.
- Строгие Свойства: Дополнительные свойства по умолчанию запрещены, все основные свойства обязательны.
Исследования и Улучшения
Для повышения качества выводов модели обучались на вложенных схемах JSON, что улучшило семантическое понимание и снизило появление лишних символов, таких как
Внедрение Structured Outputs значительно повысило надежность и точность выводов LLM, облегчая интеграцию ИИ с различными приложениями и системами. Это укрепляет доверие к ИИ-решениям и открывает новые возможности для их использования в будущем.
Авторы: Элети Атти и Мишель Покрасс
---
В мире искусственного интеллекта (ИИ) важно обеспечить надежность и структурированность выводов больших языковых моделей (LLM) для их интеграции с внешними системами. Однако, стандартные выводы LLM часто бывают непредсказуемыми и неструктурированными.
Проблема и Решения
В июне 2023 года OpenAI представила функцию function calling, но она не полностью решила проблему надежности. На Developer Day был анонсирован JSON mode, который позволял выводить данные в формате JSON, однако сложности с вложенными структурами остались.
В августе 2024 года OpenAI внедрила Structured Outputs в API, позволяя разработчикам задавать схему ожидаемого вывода. Это значительно повысило точность и соответствие формата данных без необходимости сложного проектирования запросов.
Как Это Работает
1.Структурированные Выводы: с помощью маскировки токенов ограничивается словарь, доступный модели, что предотвращает генерацию нежелательных токенов.
2. Поддержка Грамматик:
- Регулярные выражения подходят для простых схем.
- Контекстно-свободные грамматики (CFG) позволяют обрабатывать более сложные и вложенные структуры JSON.
3. Кэширование Индексов: Для ускорения обработки индексов используются кэшированные значения.
4. Дизайн API:
- Предпочтение отдается явным схемам вместо неявных предположений.
- Строгие Свойства: Дополнительные свойства по умолчанию запрещены, все основные свойства обязательны.
Исследования и Улучшения
Для повышения качества выводов модели обучались на вложенных схемах JSON, что улучшило семантическое понимание и снизило появление лишних символов, таких как
\n.Внедрение Structured Outputs значительно повысило надежность и точность выводов LLM, облегчая интеграцию ИИ с различными приложениями и системами. Это укрепляет доверие к ИИ-решениям и открывает новые возможности для их использования в будущем.
👍18❤2