Оптимизация точности, задержки и стоимости в приложениях на базе LLM
Разработка приложений с использованием крупных языковых моделей (LLM) всегда связана с поиском баланса между точностью, задержкой и стоимостью. В этом докладе рассказывали, как эффективно оптимизировать каждую из этих составляющих.
Точность: как установить правильную цель
Первый шаг на пути к высокой точности — создание наборов оценок (evals), которые помогают протестировать производительность модели на различных этапах.
Один из способов установить целевую точность — разработать модель затрат. Сравните стоимость ошибок и успехов модели: сколько стоит исправление ошибки и сколько экономит правильное решение? Так вы сможете определить, какая точность будет для вас приемлемой. Стоит отметить, что пользователи часто ожидают от LLM более высокой точности, чем от людей.
Задержка: как её уменьшить
Задержка — это время, которое проходит от момента запроса до получения ответа. Она складывается из нескольких составляющих:
- Сетевая задержка (примерно 200 мс из-за роутинга OpenAI).
- Время до первого токена (TTFT) — задержка перед началом генерации ответа.
- Время между токенами (TBT) — задержка между выводом каждого токена.
- Количество выводимых токенов — больше токенов требует больше времени.
Как снизить задержку:
- Используйте короткие запросы и меньшие модели.
- Внедрите кэширование запросов, чтобы избегать повторной генерации.
- Сократите количество выводимых токенов — 100 токенов генерируются в 10 раз быстрее, чем 1000.
Стоимость: как сделать приложение экономичнее
Многие способы сокращения задержки также помогают снизить затраты. Например:
- Кэширование позволяет сэкономить на повторной генерации одного и того же ответа.
- Пакетные запросы (Batch Requests) снижают накладные расходы за счёт обработки нескольких запросов одновременно.
Чем меньше токенов — тем дешевле и быстрее будет работа модели.
Используйте специально сгенерированные промпты из плэйграунда
Заключение: сбалансированный подход
Оптимизация LLM-приложений требует внимательного подхода к каждому аспекту: точности, задержке и стоимости.
Установите целевые показатели, проанализируйте источники задержек и найдите способы сокращения затрат. Такой подход поможет вам создать более быстрое, точное и экономичное решение.
Разработка приложений с использованием крупных языковых моделей (LLM) всегда связана с поиском баланса между точностью, задержкой и стоимостью. В этом докладе рассказывали, как эффективно оптимизировать каждую из этих составляющих.
Точность: как установить правильную цель
Первый шаг на пути к высокой точности — создание наборов оценок (evals), которые помогают протестировать производительность модели на различных этапах.
Один из способов установить целевую точность — разработать модель затрат. Сравните стоимость ошибок и успехов модели: сколько стоит исправление ошибки и сколько экономит правильное решение? Так вы сможете определить, какая точность будет для вас приемлемой. Стоит отметить, что пользователи часто ожидают от LLM более высокой точности, чем от людей.
Задержка: как её уменьшить
Задержка — это время, которое проходит от момента запроса до получения ответа. Она складывается из нескольких составляющих:
- Сетевая задержка (примерно 200 мс из-за роутинга OpenAI).
- Время до первого токена (TTFT) — задержка перед началом генерации ответа.
- Время между токенами (TBT) — задержка между выводом каждого токена.
- Количество выводимых токенов — больше токенов требует больше времени.
Как снизить задержку:
- Используйте короткие запросы и меньшие модели.
- Внедрите кэширование запросов, чтобы избегать повторной генерации.
- Сократите количество выводимых токенов — 100 токенов генерируются в 10 раз быстрее, чем 1000.
Стоимость: как сделать приложение экономичнее
Многие способы сокращения задержки также помогают снизить затраты. Например:
- Кэширование позволяет сэкономить на повторной генерации одного и того же ответа.
- Пакетные запросы (Batch Requests) снижают накладные расходы за счёт обработки нескольких запросов одновременно.
Чем меньше токенов — тем дешевле и быстрее будет работа модели.
Используйте специально сгенерированные промпты из плэйграунда
Заключение: сбалансированный подход
Оптимизация LLM-приложений требует внимательного подхода к каждому аспекту: точности, задержке и стоимости.
Установите целевые показатели, проанализируйте источники задержек и найдите способы сокращения затрат. Такой подход поможет вам создать более быстрое, точное и экономичное решение.
👍6🔥3❤1😐1
Сессия вопросов и ответов с Сэмом Алтменом об искусственном интеллекте и OpenAI
Q: Насколько мы близки к созданию AGI (Artificial General Intelligence)?
A: Раньше было легко определить, почему тот или иной продукт не является AGI, но сейчас это становится все сложнее. Модель O1 явно соответствует второму уровню, хотя в некоторых важных аспектах она еще не ощущается как AGI (имеются ввиду уровни автономности AGI). Мы активно работаем над развитием агентных возможностей, и если сравнить O1 с GPT-4 прошлого года, разница поразительна. Ожидайте стремительного прогресса как минимум в ближайшие два года. Мы находимся в размытой зоне — это AGI или нет? В скором времени это перестанет иметь значение. Мы продолжаем двигаться по плавной экспоненциальной кривой развития.
Q: Сохраняет ли OpenAI прежнюю приверженность исследованиям, как и раньше?
A: Да, и даже больше, чем когда-либо. Наша миссия — создать безопасный AGI. Если решение заключается в увеличении количества GPU, мы это сделаем, но сейчас все сосредоточено на исследованиях. Каждые несколько месяцев появляются новые возможности, которые меняют направление наших разработок. OpenAI гибко реагирует на то, что работает или нет, и быстро адаптируется. Хотя правительство хочет получать уведомления за 60 дней о новых возможностях, мы часто движемся быстрее.
Q: Правда ли, что OpenAI теперь лишь формально уделяет внимание проблеме выравнивания (alignment)?
A: Наш подход изменился, но мы по-прежнему стремимся создавать более мощные модели, которые работают безопасно. Новые модели приносят новые вызовы. Важно понять, куда движутся возможности, и затем обеспечить их безопасное развертывание. Безопасные системы поддерживаются набором инструментов. Модели должны быть в целом безопасными и надежными для применения в реальном мире. Когда мы создавали GPT-3, мы даже не задумывались о вещах, которые важны сегодня, потому что тогда они не существовали! Мы придерживаемся итеративного подхода, постоянно улучшаясь.
Забота о возможных научно-фантастических сценариях важна, но мы не ограничиваемся только этим. Мы хотим подходить к проблемам с разных сторон. Главное — итеративное развертывание.
Q: Как вы видите роль агентов в реальном мире?
A: O1 и его возможности рассуждения сделают агентов реальностью. Чат-интерфейсы отличны и важны, но когда вы можете попросить модель выполнить многошаговые взаимодействия с миром быстрее и дешевле, чем это могут люди, это существенно изменит то, как функционирует мир в очень короткие сроки. Люди быстро привыкают — спустя всего лишь 20 минут в автономном автомобиле вы уже не впечатлены и пялитесь в телефон.
Когда возможности улучшаются, ожидания растут: если компьютер выполняет задачу за час, вы хотите, чтобы это заняло минуту. Одна из самых увлекательных вещей в OpenAI — наблюдать за невероятно быстрым развитием идей и проектов со стороны разработчиков. Мы планируем быть небольшой частью агентов в мире; основную роль будут играть разработчики.
Q: Какие препятствия существуют для того, чтобы агенты управляли компьютерами?
A: Основные вызовы — безопасность и выравнивание. Люди готовы уступить контроль, но стандарты безопасности высоки. Важно разработать рамки безопасности и доверия.
Q: Может ли безопасность выступать ограничивающим фактором для технологий? Это приведет к более эгалитарному миру?
A: Да, это вероятно. Мы начинаем с консервативного подхода. Если вы хотите, чтобы O1 вас оскорбил, он, вероятно, должен следовать вашим инструкциям. Но мы будем консервативны, потому что система станет гораздо более мощной в короткие сроки, и мы всегда можем ослабить ограничения.
Q: Насколько мы близки к созданию AGI (Artificial General Intelligence)?
A: Раньше было легко определить, почему тот или иной продукт не является AGI, но сейчас это становится все сложнее. Модель O1 явно соответствует второму уровню, хотя в некоторых важных аспектах она еще не ощущается как AGI (имеются ввиду уровни автономности AGI). Мы активно работаем над развитием агентных возможностей, и если сравнить O1 с GPT-4 прошлого года, разница поразительна. Ожидайте стремительного прогресса как минимум в ближайшие два года. Мы находимся в размытой зоне — это AGI или нет? В скором времени это перестанет иметь значение. Мы продолжаем двигаться по плавной экспоненциальной кривой развития.
Q: Сохраняет ли OpenAI прежнюю приверженность исследованиям, как и раньше?
A: Да, и даже больше, чем когда-либо. Наша миссия — создать безопасный AGI. Если решение заключается в увеличении количества GPU, мы это сделаем, но сейчас все сосредоточено на исследованиях. Каждые несколько месяцев появляются новые возможности, которые меняют направление наших разработок. OpenAI гибко реагирует на то, что работает или нет, и быстро адаптируется. Хотя правительство хочет получать уведомления за 60 дней о новых возможностях, мы часто движемся быстрее.
Q: Правда ли, что OpenAI теперь лишь формально уделяет внимание проблеме выравнивания (alignment)?
A: Наш подход изменился, но мы по-прежнему стремимся создавать более мощные модели, которые работают безопасно. Новые модели приносят новые вызовы. Важно понять, куда движутся возможности, и затем обеспечить их безопасное развертывание. Безопасные системы поддерживаются набором инструментов. Модели должны быть в целом безопасными и надежными для применения в реальном мире. Когда мы создавали GPT-3, мы даже не задумывались о вещах, которые важны сегодня, потому что тогда они не существовали! Мы придерживаемся итеративного подхода, постоянно улучшаясь.
Забота о возможных научно-фантастических сценариях важна, но мы не ограничиваемся только этим. Мы хотим подходить к проблемам с разных сторон. Главное — итеративное развертывание.
Q: Как вы видите роль агентов в реальном мире?
A: O1 и его возможности рассуждения сделают агентов реальностью. Чат-интерфейсы отличны и важны, но когда вы можете попросить модель выполнить многошаговые взаимодействия с миром быстрее и дешевле, чем это могут люди, это существенно изменит то, как функционирует мир в очень короткие сроки. Люди быстро привыкают — спустя всего лишь 20 минут в автономном автомобиле вы уже не впечатлены и пялитесь в телефон.
Когда возможности улучшаются, ожидания растут: если компьютер выполняет задачу за час, вы хотите, чтобы это заняло минуту. Одна из самых увлекательных вещей в OpenAI — наблюдать за невероятно быстрым развитием идей и проектов со стороны разработчиков. Мы планируем быть небольшой частью агентов в мире; основную роль будут играть разработчики.
Q: Какие препятствия существуют для того, чтобы агенты управляли компьютерами?
A: Основные вызовы — безопасность и выравнивание. Люди готовы уступить контроль, но стандарты безопасности высоки. Важно разработать рамки безопасности и доверия.
Q: Может ли безопасность выступать ограничивающим фактором для технологий? Это приведет к более эгалитарному миру?
A: Да, это вероятно. Мы начинаем с консервативного подхода. Если вы хотите, чтобы O1 вас оскорбил, он, вероятно, должен следовать вашим инструкциям. Но мы будем консервативны, потому что система станет гораздо более мощной в короткие сроки, и мы всегда можем ослабить ограничения.
👍31🔥2❤1
Q: Что должны создавать стартапы с использованием API OpenAI?
A: Стартапам следует создавать то, что модели ИИ пока едва не могут делать — то, что почти не работает сейчас, но будет работать со следующим обновлением, и вы будете первыми. Технология почти никогда не является причиной для создания стартапа. Вам нужно создавать накопленные преимущества (accumulated advantage) со временем. Крутой сервис не освобождает вас от необходимости иметь хороший бизнес. Люди склонны забывать об этом.
Q: Голосовой режим взаимодействует с человеческой природой. Как вы предотвращаете злоупотребления?
A: В голосовом режиме трудно не использовать вежливые фразы. Даже я говорю "пожалуйста" ChatGPT. По мере того как эти системы становятся все более способными, они будут затрагивать те части нашего мозга, которые развивались для взаимодействия с другими людьми. Голосовой режим должен преодолеть эффект "зловещей долины". Я рекомендую говорить "пожалуйста" и "спасибо" ChatGPT — это, вероятно, хорошая привычка, никогда не знаешь.
Q: Когда появятся вызовы функций в O1?
A: Вероятно, до конца года. Модель будет становиться лучше очень быстро. Мы знаем, как масштабироваться от GPT-2 до GPT-4, и сделаем это для O1.
Q: Какие возможности конкурентов вы заценили?
A: Google NotebookLM действительно впечатляет. Это новая и хорошо сделанная вещь. Сам формат довольно интересен, а голосовые возможности очень приятны.
Q: Как вы балансируете между тем, что пользователям может понадобиться, и тем, что им на самом деле нужно?
A: Вы должны решать насущные потребности сегодняшнего дня. Это реальный вызов — научить людей использовать ChatGPT и его новые возможности. Многие люди до сих пор не осознают всю магию и преимущества.
В основном мы верим, что по мере того, как мы продолжаем повышать интеллект системы, люди сами найдут способы строить новые продукты на ее основе, и именно это будет действительно важно. Я стремлюсь интегрировать передовые разработки в продукты.
Q: Планируете ли вы разрабатывать Вопрос: модели специально для агентных случаев использования?
A: Агентные модели являются приоритетом на ближайшие несколько месяцев, но не в специфическом смысле — мы стремимся к тому, чтобы все модели были агентными и были лучшими в мире.
Q: Используется ли внутри OpenAI собственные разработки? (Dog fooding)
A: Да, мы используем промежуточные контрольные точки для внутреннего использования.
Q: когда уже О1 работники в OpenAI
A: Пока еще не O1, но скоро будет. Уже сейчас 20% команды поддержки клиентов — это ИИ. Многие процессы безопасности автоматизированы. Внутри компании есть множество примеров.
Речь идет о использовании цепочки моделей, которые действительно хороши в том, что делали люди.
Q: Есть ли планы поделиться моделями для офлайн-использования?
A: Мы открыты к этому, но это не является высоким приоритетом, у нас пока недостаточно ресурсов. Это не то, что произойдет в этом году.
Q: Многие государственные учреждения могли бы получить пользу от моделей, которые еще не развернуты. Что вы об этом думаете?
A: Учреждениям не стоит ждать появления AGI, чтобы начать участвовать. Мы хотим помочь правительствам получить пользу от технологий. Сейчас есть огромный потенциал для добра — присоединяйтесь.
Q: Каковы ваши мысли об открытом исходном коде?
A: Открытый исходный код — это замечательно, и если бы у нас было больше ресурсов, мы бы открыли больше наших разработок. Уже существуют хорошие модели с открытым исходным кодом. Для нас это вопрос того, что если мы этого не сделаем, мир этого не получит.
Q: Почему мы не можем разрешить пение для advanced voice mode?
A: Я сам задавал этот вопрос 4 раза. Проблема в авторских правах на песни. Сейчас это сложный и тонкий вопрос. Мы хотим, чтобы модели могли петь, но пока это невозможно.
Q: Каково будущее длины контекстного окна? Как балансировать между длиной окна и извлечением из памяти (RAG)?
A: Контекст длиной в млн токенов используются меньше, чем я ожидал. Когда мы перейдем от 10 миллионов к 10 триллионам (бесконечный контекст)? Для OpenAI увеличение длины контекста до миллионов токенов — вопрос месяцев.
A: Стартапам следует создавать то, что модели ИИ пока едва не могут делать — то, что почти не работает сейчас, но будет работать со следующим обновлением, и вы будете первыми. Технология почти никогда не является причиной для создания стартапа. Вам нужно создавать накопленные преимущества (accumulated advantage) со временем. Крутой сервис не освобождает вас от необходимости иметь хороший бизнес. Люди склонны забывать об этом.
Q: Голосовой режим взаимодействует с человеческой природой. Как вы предотвращаете злоупотребления?
A: В голосовом режиме трудно не использовать вежливые фразы. Даже я говорю "пожалуйста" ChatGPT. По мере того как эти системы становятся все более способными, они будут затрагивать те части нашего мозга, которые развивались для взаимодействия с другими людьми. Голосовой режим должен преодолеть эффект "зловещей долины". Я рекомендую говорить "пожалуйста" и "спасибо" ChatGPT — это, вероятно, хорошая привычка, никогда не знаешь.
Q: Когда появятся вызовы функций в O1?
A: Вероятно, до конца года. Модель будет становиться лучше очень быстро. Мы знаем, как масштабироваться от GPT-2 до GPT-4, и сделаем это для O1.
Q: Какие возможности конкурентов вы заценили?
A: Google NotebookLM действительно впечатляет. Это новая и хорошо сделанная вещь. Сам формат довольно интересен, а голосовые возможности очень приятны.
Q: Как вы балансируете между тем, что пользователям может понадобиться, и тем, что им на самом деле нужно?
A: Вы должны решать насущные потребности сегодняшнего дня. Это реальный вызов — научить людей использовать ChatGPT и его новые возможности. Многие люди до сих пор не осознают всю магию и преимущества.
В основном мы верим, что по мере того, как мы продолжаем повышать интеллект системы, люди сами найдут способы строить новые продукты на ее основе, и именно это будет действительно важно. Я стремлюсь интегрировать передовые разработки в продукты.
Q: Планируете ли вы разрабатывать Вопрос: модели специально для агентных случаев использования?
A: Агентные модели являются приоритетом на ближайшие несколько месяцев, но не в специфическом смысле — мы стремимся к тому, чтобы все модели были агентными и были лучшими в мире.
Q: Используется ли внутри OpenAI собственные разработки? (Dog fooding)
A: Да, мы используем промежуточные контрольные точки для внутреннего использования.
Q: когда уже О1 работники в OpenAI
A: Пока еще не O1, но скоро будет. Уже сейчас 20% команды поддержки клиентов — это ИИ. Многие процессы безопасности автоматизированы. Внутри компании есть множество примеров.
Речь идет о использовании цепочки моделей, которые действительно хороши в том, что делали люди.
Q: Есть ли планы поделиться моделями для офлайн-использования?
A: Мы открыты к этому, но это не является высоким приоритетом, у нас пока недостаточно ресурсов. Это не то, что произойдет в этом году.
Q: Многие государственные учреждения могли бы получить пользу от моделей, которые еще не развернуты. Что вы об этом думаете?
A: Учреждениям не стоит ждать появления AGI, чтобы начать участвовать. Мы хотим помочь правительствам получить пользу от технологий. Сейчас есть огромный потенциал для добра — присоединяйтесь.
Q: Каковы ваши мысли об открытом исходном коде?
A: Открытый исходный код — это замечательно, и если бы у нас было больше ресурсов, мы бы открыли больше наших разработок. Уже существуют хорошие модели с открытым исходным кодом. Для нас это вопрос того, что если мы этого не сделаем, мир этого не получит.
Q: Почему мы не можем разрешить пение для advanced voice mode?
A: Я сам задавал этот вопрос 4 раза. Проблема в авторских правах на песни. Сейчас это сложный и тонкий вопрос. Мы хотим, чтобы модели могли петь, но пока это невозможно.
Q: Каково будущее длины контекстного окна? Как балансировать между длиной окна и извлечением из памяти (RAG)?
A: Контекст длиной в млн токенов используются меньше, чем я ожидал. Когда мы перейдем от 10 миллионов к 10 триллионам (бесконечный контекст)? Для OpenAI увеличение длины контекста до миллионов токенов — вопрос месяцев.
2🔥33👍10❤4
Forwarded from proVenture (проВенчур)
🤖 The agent economy.
Ребята из Felicis Ventures сделали прикольную карту, где представлены лидеры в определенных сегментах и их конкуренты, которые работают в формате AI copilots или autopilots.
1/ Что там есть любопытного?
Три группы:
▪️Горизонтальные решения (не зависят от отрасли)
▪️Вертикальные решения (отраслевые);
▪️Consumer решения.
Примеры компаний и их конкуренты AI copilots:
▫️Salesforce => 11x, Artisan;
▫️Calendly => Blockit AI, Mindy;
▫️Adobe => Jasper
▫️Tableau => Delphina;
▫️Google Translate => DeepL;
▫️Unity => Astrocade;
▫️Zillow => reAlpha;
▫️Expedia => Mindtrip.
В целом список очень залипательный. Категорийные лидеры знакомы, прям так и представляется то, как должны работать заменители.
2/ Что любопытно, так это то, что Felicis указали количество сотрудников в компаниях как прокси их размера. Может быть, они имели ввиду, что конкуренты тоже могут вырасти в большие бизнесы, но выглядит это как то, что copilots выбросят всех этих людей на улицы – немного зловеще.
👉 Ссылка на статью в блоге Felicis: https://www.felicis.com/insight/the-agent-economy
@proVenture
#ai #trends
Ребята из Felicis Ventures сделали прикольную карту, где представлены лидеры в определенных сегментах и их конкуренты, которые работают в формате AI copilots или autopilots.
1/ Что там есть любопытного?
Три группы:
▪️Горизонтальные решения (не зависят от отрасли)
▪️Вертикальные решения (отраслевые);
▪️Consumer решения.
Примеры компаний и их конкуренты AI copilots:
▫️Salesforce => 11x, Artisan;
▫️Calendly => Blockit AI, Mindy;
▫️Adobe => Jasper
▫️Tableau => Delphina;
▫️Google Translate => DeepL;
▫️Unity => Astrocade;
▫️Zillow => reAlpha;
▫️Expedia => Mindtrip.
В целом список очень залипательный. Категорийные лидеры знакомы, прям так и представляется то, как должны работать заменители.
2/ Что любопытно, так это то, что Felicis указали количество сотрудников в компаниях как прокси их размера. Может быть, они имели ввиду, что конкуренты тоже могут вырасти в большие бизнесы, но выглядит это как то, что copilots выбросят всех этих людей на улицы – немного зловеще.
👉 Ссылка на статью в блоге Felicis: https://www.felicis.com/insight/the-agent-economy
@proVenture
#ai #trends
1👍10🔥7
Media is too big
VIEW IN TELEGRAM
📢 Новый инструмент от OpenAI — Canvas
Сегодня рассказываю о новом инструменте от OpenAI — Canvas. Это дополнение к ChatGPT, которое помогает работать над текстом и кодом вместе с искусственным интеллектом. Canvas делает процесс редактирования и поиска решений более удобным и эффективным.
🔍 Что такое Canvas?
Canvas — это отдельное окно, в котором ChatGPT помогает вам в работе над проектом. Если вы пишете текст или работаете с кодом, Canvas лучше понимает контекст и предлагает конкретные правки. Например, он подскажет, как улучшить предложение или исправить ошибку в коде. Это как работа с напарником, который помогает улучшить ваш проект.
Canvas работает на основе модели GPT-4o и уже доступен пользователям ChatGPT Plus и Team, а вскоре станет доступен и для остальных.
🤝 Удобное сотрудничество с ChatGPT
Многие используют ChatGPT для написания текстов и работы с кодом, но стандартный чат не всегда удобен для постоянных правок. Canvas решает эту проблему с помощью:
- Инлайн-редактирования: Выделяете текст или код, и ChatGPT предлагает изменения.
- Полного контроля: Вы управляете проектом, используя удобные кнопки для изменения текста, исправления кода, настройки уровня сложности и финальной доработки.
- Прямого взаимодействия: Можно редактировать текст самостоятельно, а ChatGPT подскажет, что улучшить. Если нужно, можно отменить изменения с помощью кнопки "Назад".
Canvas автоматически открывается, когда это необходимо, например, при написании статьи, кодировании, мозговом штурме или редактировании документа. Также можно запросить его, написав "use canvas".
✍️ Инструменты для работы с текстом
Canvas предлагает полезные функции для работы с текстом:
- Предложение правок: Улучшение текста для более плавного и понятного изложения.
- Изменение длины: Укорачивание или удлинение текста.
- Настройка уровня чтения: Подгонка текста под нужный уровень сложности.
- Финальная доработка: Проверка грамматики, ясности и согласованности.
- Добавление эмодзи: Добавление эмодзи для более живого оформления текста.
💻 Удобная работа с кодом
Canvas также упрощает работу с кодом благодаря таким инструментам:
- Обзор кода: Предложения по улучшению кода.
- Добавление логов: Вставка print-выражений для отладки.
- Добавление комментариев: Автоматическое добавление комментариев для лучшего понимания кода.
- Исправление ошибок: Поиск и исправление ошибок в коде.
- Портирование в другой язык: Перевод кода на JavaScript, Python или C++.
🧠 Обучение GPT-4o работе с Canvas
Модель GPT-4o была обучена так, чтобы Canvas стал естественным продолжением ChatGPT. Модель понимает, когда нужно использовать Canvas, и выбирает между конкретными правками или полным переписыванием.
Качество комментариев, которые дает модель, также было улучшено. После тестирования и анализа модель с Canvas показала улучшение на 30% в точности и на 16% в качестве комментариев. Точность означает, насколько хорошо модель находит места, где нужны комментарии, а качество — насколько полезны эти комментарии.
🚀 Что дальше?
Canvas — это первое крупное обновление визуального интерфейса ChatGPT с момента его запуска. В планах дальнейшее улучшение, добавляя такие функции, как контроль версий, настраиваемые шаблоны и инструменты для более удобного сотрудничества.
Если вы уже пользуетесь Plus или Team версией, попробуйте Canvas и расскажите, как он меняет ваш рабочий процесс!
Подробнее про Canvas
Сегодня рассказываю о новом инструменте от OpenAI — Canvas. Это дополнение к ChatGPT, которое помогает работать над текстом и кодом вместе с искусственным интеллектом. Canvas делает процесс редактирования и поиска решений более удобным и эффективным.
🔍 Что такое Canvas?
Canvas — это отдельное окно, в котором ChatGPT помогает вам в работе над проектом. Если вы пишете текст или работаете с кодом, Canvas лучше понимает контекст и предлагает конкретные правки. Например, он подскажет, как улучшить предложение или исправить ошибку в коде. Это как работа с напарником, который помогает улучшить ваш проект.
Canvas работает на основе модели GPT-4o и уже доступен пользователям ChatGPT Plus и Team, а вскоре станет доступен и для остальных.
🤝 Удобное сотрудничество с ChatGPT
Многие используют ChatGPT для написания текстов и работы с кодом, но стандартный чат не всегда удобен для постоянных правок. Canvas решает эту проблему с помощью:
- Инлайн-редактирования: Выделяете текст или код, и ChatGPT предлагает изменения.
- Полного контроля: Вы управляете проектом, используя удобные кнопки для изменения текста, исправления кода, настройки уровня сложности и финальной доработки.
- Прямого взаимодействия: Можно редактировать текст самостоятельно, а ChatGPT подскажет, что улучшить. Если нужно, можно отменить изменения с помощью кнопки "Назад".
Canvas автоматически открывается, когда это необходимо, например, при написании статьи, кодировании, мозговом штурме или редактировании документа. Также можно запросить его, написав "use canvas".
✍️ Инструменты для работы с текстом
Canvas предлагает полезные функции для работы с текстом:
- Предложение правок: Улучшение текста для более плавного и понятного изложения.
- Изменение длины: Укорачивание или удлинение текста.
- Настройка уровня чтения: Подгонка текста под нужный уровень сложности.
- Финальная доработка: Проверка грамматики, ясности и согласованности.
- Добавление эмодзи: Добавление эмодзи для более живого оформления текста.
💻 Удобная работа с кодом
Canvas также упрощает работу с кодом благодаря таким инструментам:
- Обзор кода: Предложения по улучшению кода.
- Добавление логов: Вставка print-выражений для отладки.
- Добавление комментариев: Автоматическое добавление комментариев для лучшего понимания кода.
- Исправление ошибок: Поиск и исправление ошибок в коде.
- Портирование в другой язык: Перевод кода на JavaScript, Python или C++.
🧠 Обучение GPT-4o работе с Canvas
Модель GPT-4o была обучена так, чтобы Canvas стал естественным продолжением ChatGPT. Модель понимает, когда нужно использовать Canvas, и выбирает между конкретными правками или полным переписыванием.
Качество комментариев, которые дает модель, также было улучшено. После тестирования и анализа модель с Canvas показала улучшение на 30% в точности и на 16% в качестве комментариев. Точность означает, насколько хорошо модель находит места, где нужны комментарии, а качество — насколько полезны эти комментарии.
🚀 Что дальше?
Canvas — это первое крупное обновление визуального интерфейса ChatGPT с момента его запуска. В планах дальнейшее улучшение, добавляя такие функции, как контроль версий, настраиваемые шаблоны и инструменты для более удобного сотрудничества.
Если вы уже пользуетесь Plus или Team версией, попробуйте Canvas и расскажите, как он меняет ваш рабочий процесс!
Подробнее про Canvas
👍22❤1
Хотите узнать, как отечественные компании экспериментируют с генеративным ИИ?
Какие модели используют, в какие кейсы внедряют, как определяют показатели эффективности? Тогда смотрите новый выпуск подкаста Conversations with...⚡️
В новом сезоне ребята приглашают к себе в гости экспертов топовых российских компаний, которые честно делятся внутрянкой AI-экспериментов: о работе с опенсорсными моделями, финансовых ожиданиях, об удачных (и не очень) кейсах применения нейросетей😎
Гостями этого выпуска, например, стали специалисты по ИИ из Ozon, Samokat.Tech и Х5🔥
Ссылки на площадки:
📱 YouTube
📺 Rutube
#реклама
Какие модели используют, в какие кейсы внедряют, как определяют показатели эффективности? Тогда смотрите новый выпуск подкаста Conversations with...
В новом сезоне ребята приглашают к себе в гости экспертов топовых российских компаний, которые честно делятся внутрянкой AI-экспериментов: о работе с опенсорсными моделями, финансовых ожиданиях, об удачных (и не очень) кейсах применения нейросетей
Гостями этого выпуска, например, стали специалисты по ИИ из Ozon, Samokat.Tech и Х5
Ссылки на площадки:
📺 Rutube
#реклама
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
AI c профитом: как нейросети меняют ритейл. Кейсы Ozon, Samokat.tech и X5
Продолжаем сезон подкаста «Conversations with...» про генеративный AI! 💫 В этот раз мы поговорили о том, как российский ритейл и e-commerce развивает GenAI. Герои выпуска — Ozon, Ecom.tech (ex. Samokat.tech) и X5 — честно делятся внутрянкой AI-экспериментов:…
😐18😁5😢5👍2🔥1😱1