Forwarded from proVenture (проВенчур)
🤖 The agent economy.
Ребята из Felicis Ventures сделали прикольную карту, где представлены лидеры в определенных сегментах и их конкуренты, которые работают в формате AI copilots или autopilots.
1/ Что там есть любопытного?
Три группы:
▪️Горизонтальные решения (не зависят от отрасли)
▪️Вертикальные решения (отраслевые);
▪️Consumer решения.
Примеры компаний и их конкуренты AI copilots:
▫️Salesforce => 11x, Artisan;
▫️Calendly => Blockit AI, Mindy;
▫️Adobe => Jasper
▫️Tableau => Delphina;
▫️Google Translate => DeepL;
▫️Unity => Astrocade;
▫️Zillow => reAlpha;
▫️Expedia => Mindtrip.
В целом список очень залипательный. Категорийные лидеры знакомы, прям так и представляется то, как должны работать заменители.
2/ Что любопытно, так это то, что Felicis указали количество сотрудников в компаниях как прокси их размера. Может быть, они имели ввиду, что конкуренты тоже могут вырасти в большие бизнесы, но выглядит это как то, что copilots выбросят всех этих людей на улицы – немного зловеще.
👉 Ссылка на статью в блоге Felicis: https://www.felicis.com/insight/the-agent-economy
@proVenture
#ai #trends
Ребята из Felicis Ventures сделали прикольную карту, где представлены лидеры в определенных сегментах и их конкуренты, которые работают в формате AI copilots или autopilots.
1/ Что там есть любопытного?
Три группы:
▪️Горизонтальные решения (не зависят от отрасли)
▪️Вертикальные решения (отраслевые);
▪️Consumer решения.
Примеры компаний и их конкуренты AI copilots:
▫️Salesforce => 11x, Artisan;
▫️Calendly => Blockit AI, Mindy;
▫️Adobe => Jasper
▫️Tableau => Delphina;
▫️Google Translate => DeepL;
▫️Unity => Astrocade;
▫️Zillow => reAlpha;
▫️Expedia => Mindtrip.
В целом список очень залипательный. Категорийные лидеры знакомы, прям так и представляется то, как должны работать заменители.
2/ Что любопытно, так это то, что Felicis указали количество сотрудников в компаниях как прокси их размера. Может быть, они имели ввиду, что конкуренты тоже могут вырасти в большие бизнесы, но выглядит это как то, что copilots выбросят всех этих людей на улицы – немного зловеще.
👉 Ссылка на статью в блоге Felicis: https://www.felicis.com/insight/the-agent-economy
@proVenture
#ai #trends
1👍10🔥7
Media is too big
VIEW IN TELEGRAM
📢 Новый инструмент от OpenAI — Canvas
Сегодня рассказываю о новом инструменте от OpenAI — Canvas. Это дополнение к ChatGPT, которое помогает работать над текстом и кодом вместе с искусственным интеллектом. Canvas делает процесс редактирования и поиска решений более удобным и эффективным.
🔍 Что такое Canvas?
Canvas — это отдельное окно, в котором ChatGPT помогает вам в работе над проектом. Если вы пишете текст или работаете с кодом, Canvas лучше понимает контекст и предлагает конкретные правки. Например, он подскажет, как улучшить предложение или исправить ошибку в коде. Это как работа с напарником, который помогает улучшить ваш проект.
Canvas работает на основе модели GPT-4o и уже доступен пользователям ChatGPT Plus и Team, а вскоре станет доступен и для остальных.
🤝 Удобное сотрудничество с ChatGPT
Многие используют ChatGPT для написания текстов и работы с кодом, но стандартный чат не всегда удобен для постоянных правок. Canvas решает эту проблему с помощью:
- Инлайн-редактирования: Выделяете текст или код, и ChatGPT предлагает изменения.
- Полного контроля: Вы управляете проектом, используя удобные кнопки для изменения текста, исправления кода, настройки уровня сложности и финальной доработки.
- Прямого взаимодействия: Можно редактировать текст самостоятельно, а ChatGPT подскажет, что улучшить. Если нужно, можно отменить изменения с помощью кнопки "Назад".
Canvas автоматически открывается, когда это необходимо, например, при написании статьи, кодировании, мозговом штурме или редактировании документа. Также можно запросить его, написав "use canvas".
✍️ Инструменты для работы с текстом
Canvas предлагает полезные функции для работы с текстом:
- Предложение правок: Улучшение текста для более плавного и понятного изложения.
- Изменение длины: Укорачивание или удлинение текста.
- Настройка уровня чтения: Подгонка текста под нужный уровень сложности.
- Финальная доработка: Проверка грамматики, ясности и согласованности.
- Добавление эмодзи: Добавление эмодзи для более живого оформления текста.
💻 Удобная работа с кодом
Canvas также упрощает работу с кодом благодаря таким инструментам:
- Обзор кода: Предложения по улучшению кода.
- Добавление логов: Вставка print-выражений для отладки.
- Добавление комментариев: Автоматическое добавление комментариев для лучшего понимания кода.
- Исправление ошибок: Поиск и исправление ошибок в коде.
- Портирование в другой язык: Перевод кода на JavaScript, Python или C++.
🧠 Обучение GPT-4o работе с Canvas
Модель GPT-4o была обучена так, чтобы Canvas стал естественным продолжением ChatGPT. Модель понимает, когда нужно использовать Canvas, и выбирает между конкретными правками или полным переписыванием.
Качество комментариев, которые дает модель, также было улучшено. После тестирования и анализа модель с Canvas показала улучшение на 30% в точности и на 16% в качестве комментариев. Точность означает, насколько хорошо модель находит места, где нужны комментарии, а качество — насколько полезны эти комментарии.
🚀 Что дальше?
Canvas — это первое крупное обновление визуального интерфейса ChatGPT с момента его запуска. В планах дальнейшее улучшение, добавляя такие функции, как контроль версий, настраиваемые шаблоны и инструменты для более удобного сотрудничества.
Если вы уже пользуетесь Plus или Team версией, попробуйте Canvas и расскажите, как он меняет ваш рабочий процесс!
Подробнее про Canvas
Сегодня рассказываю о новом инструменте от OpenAI — Canvas. Это дополнение к ChatGPT, которое помогает работать над текстом и кодом вместе с искусственным интеллектом. Canvas делает процесс редактирования и поиска решений более удобным и эффективным.
🔍 Что такое Canvas?
Canvas — это отдельное окно, в котором ChatGPT помогает вам в работе над проектом. Если вы пишете текст или работаете с кодом, Canvas лучше понимает контекст и предлагает конкретные правки. Например, он подскажет, как улучшить предложение или исправить ошибку в коде. Это как работа с напарником, который помогает улучшить ваш проект.
Canvas работает на основе модели GPT-4o и уже доступен пользователям ChatGPT Plus и Team, а вскоре станет доступен и для остальных.
🤝 Удобное сотрудничество с ChatGPT
Многие используют ChatGPT для написания текстов и работы с кодом, но стандартный чат не всегда удобен для постоянных правок. Canvas решает эту проблему с помощью:
- Инлайн-редактирования: Выделяете текст или код, и ChatGPT предлагает изменения.
- Полного контроля: Вы управляете проектом, используя удобные кнопки для изменения текста, исправления кода, настройки уровня сложности и финальной доработки.
- Прямого взаимодействия: Можно редактировать текст самостоятельно, а ChatGPT подскажет, что улучшить. Если нужно, можно отменить изменения с помощью кнопки "Назад".
Canvas автоматически открывается, когда это необходимо, например, при написании статьи, кодировании, мозговом штурме или редактировании документа. Также можно запросить его, написав "use canvas".
✍️ Инструменты для работы с текстом
Canvas предлагает полезные функции для работы с текстом:
- Предложение правок: Улучшение текста для более плавного и понятного изложения.
- Изменение длины: Укорачивание или удлинение текста.
- Настройка уровня чтения: Подгонка текста под нужный уровень сложности.
- Финальная доработка: Проверка грамматики, ясности и согласованности.
- Добавление эмодзи: Добавление эмодзи для более живого оформления текста.
💻 Удобная работа с кодом
Canvas также упрощает работу с кодом благодаря таким инструментам:
- Обзор кода: Предложения по улучшению кода.
- Добавление логов: Вставка print-выражений для отладки.
- Добавление комментариев: Автоматическое добавление комментариев для лучшего понимания кода.
- Исправление ошибок: Поиск и исправление ошибок в коде.
- Портирование в другой язык: Перевод кода на JavaScript, Python или C++.
🧠 Обучение GPT-4o работе с Canvas
Модель GPT-4o была обучена так, чтобы Canvas стал естественным продолжением ChatGPT. Модель понимает, когда нужно использовать Canvas, и выбирает между конкретными правками или полным переписыванием.
Качество комментариев, которые дает модель, также было улучшено. После тестирования и анализа модель с Canvas показала улучшение на 30% в точности и на 16% в качестве комментариев. Точность означает, насколько хорошо модель находит места, где нужны комментарии, а качество — насколько полезны эти комментарии.
🚀 Что дальше?
Canvas — это первое крупное обновление визуального интерфейса ChatGPT с момента его запуска. В планах дальнейшее улучшение, добавляя такие функции, как контроль версий, настраиваемые шаблоны и инструменты для более удобного сотрудничества.
Если вы уже пользуетесь Plus или Team версией, попробуйте Canvas и расскажите, как он меняет ваш рабочий процесс!
Подробнее про Canvas
👍22❤1
Хотите узнать, как отечественные компании экспериментируют с генеративным ИИ?
Какие модели используют, в какие кейсы внедряют, как определяют показатели эффективности? Тогда смотрите новый выпуск подкаста Conversations with...⚡️
В новом сезоне ребята приглашают к себе в гости экспертов топовых российских компаний, которые честно делятся внутрянкой AI-экспериментов: о работе с опенсорсными моделями, финансовых ожиданиях, об удачных (и не очень) кейсах применения нейросетей😎
Гостями этого выпуска, например, стали специалисты по ИИ из Ozon, Samokat.Tech и Х5🔥
Ссылки на площадки:
📱 YouTube
📺 Rutube
#реклама
Какие модели используют, в какие кейсы внедряют, как определяют показатели эффективности? Тогда смотрите новый выпуск подкаста Conversations with...
В новом сезоне ребята приглашают к себе в гости экспертов топовых российских компаний, которые честно делятся внутрянкой AI-экспериментов: о работе с опенсорсными моделями, финансовых ожиданиях, об удачных (и не очень) кейсах применения нейросетей
Гостями этого выпуска, например, стали специалисты по ИИ из Ozon, Samokat.Tech и Х5
Ссылки на площадки:
📺 Rutube
#реклама
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
AI c профитом: как нейросети меняют ритейл. Кейсы Ozon, Samokat.tech и X5
Продолжаем сезон подкаста «Conversations with...» про генеративный AI! 💫 В этот раз мы поговорили о том, как российский ритейл и e-commerce развивает GenAI. Герои выпуска — Ozon, Ecom.tech (ex. Samokat.tech) и X5 — честно делятся внутрянкой AI-экспериментов:…
😐18😁5😢5👍2🔥1😱1
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
Мы наконец выкатили нашу 30B модель для генерации видео! И я очень рад, что являюсь одним из контрибьютеров в этот грандиозный проект.
Bye-bye SORA. Movie Gen – это новая SOTA в генерации видео по тексту!
Модель генерит 16-секундные видео в 1080p, 16FPS.
Общая длина контекста - 73к видео токенов (256 кадров).
Выкатываем ещё:
- 13B модель для генерации видео одновременно со звуком в 48kHz.
- И ещё тюны для редактирования видео и генерации персонализированных видосов с вашим лицом по заданному фото.
В статье мы описываем много новых штук по части архитектуры, рецептов тренировки больших видео-моделей, параллелизации, увеличения скорости инференса, оценки качества, курирования данных и других трюков. В статье очень много деталей!
Сайт
Блогпост
Подробная статья (92 стр)
Скоро ждите ещё дополнительный пост с разбором.
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
🤩19🔥5❤3
🤖 Новый визуальный гид по Mixture of Experts (MoE)!
Маартен Гроотендорст выпустил замечательное визуальное руководство по MoE — методу, который помогает улучшить качество и эффективность больших языковых моделей. В этом руководстве представлено более 50 иллюстраций, которые наглядно объясняют, как работает MoE и почему это важно для современных технологий искусственного интеллекта.
Что такое MoE?
MoE — это метод, использующий несколько компонентов, называемых "экспертами". Каждый эксперт обрабатывает различные виды информации, а специальный "роутер" решает, каких экспертов использовать для каждой части текста. Это помогает модели работать быстрее и использовать меньше ресурсов, так как активируется только нужная часть экспертов.
Эксперты не специализируются на конкретных областях, таких как "Психология" или "Биология". Вместо этого они анализируют определенные языковые шаблоны. Роутер выбирает подходящего эксперта для каждого кусочка текста, называемого "токеном". Токен — это, например, слово или его часть.
Если хотите узнать больше про MoE, обязательно посмотрите визуальное руководство Маартена Гроотендорста!
Визуальное руководство по Mixture of Experts (MoE)
Маартен Гроотендорст выпустил замечательное визуальное руководство по MoE — методу, который помогает улучшить качество и эффективность больших языковых моделей. В этом руководстве представлено более 50 иллюстраций, которые наглядно объясняют, как работает MoE и почему это важно для современных технологий искусственного интеллекта.
Что такое MoE?
MoE — это метод, использующий несколько компонентов, называемых "экспертами". Каждый эксперт обрабатывает различные виды информации, а специальный "роутер" решает, каких экспертов использовать для каждой части текста. Это помогает модели работать быстрее и использовать меньше ресурсов, так как активируется только нужная часть экспертов.
Эксперты не специализируются на конкретных областях, таких как "Психология" или "Биология". Вместо этого они анализируют определенные языковые шаблоны. Роутер выбирает подходящего эксперта для каждого кусочка текста, называемого "токеном". Токен — это, например, слово или его часть.
Если хотите узнать больше про MoE, обязательно посмотрите визуальное руководство Маартена Гроотендорста!
Визуальное руководство по Mixture of Experts (MoE)
1👍19🔥1
🤖 Нобелевская премия по физике за фундаментальные исследования нейросетей
Нобелевский комитет объявил лауреатов премии по физике 2024 года. В этом году награду получили Джон Хопфилд и Джеффри Хинтон за их фундаментальные открытия и изобретения, которые легли в основу машинного обучения с помощью искусственных нейронных сетей.
Оба ученых занимались статистической физикой, и их работа стала основой для создания современных нейросетей, которые широко используются в машинном зрении и других областях искусственного интеллекта. В 2018 году Джеффри Хинтон, вместе с Йошуа Бенжио и Яном Лекуном, получил премию Тьюринга — самую престижную награду в информатике. Им присудили премию за концептуальные и инженерные прорывы, благодаря которым глубинные нейросети стали ключевым компонентом современной вычислительной техники.
Первыми лауреатами Нобелевских премий в 2024 году стали Виктор Эмброс и Гэри Равкун, которые получили награду в области медицины и физиологии за открытие микроРНК.
Нобелевская неделя продолжится 9 октября объявлением лауреатов премии по химии, 10 октября — по литературе, а 11 октября в Осло будет объявлен лауреат премии мира. 14 октября станет известно, кто получит премию по экономике памяти Альфреда Нобеля, учрежденную Банком Швеции в 1968 году.
Денежная часть премии составляет 11 миллионов шведских крон, что примерно эквивалентно 1 миллиону долларов США.
🔗 Ссылка
Нобелевский комитет объявил лауреатов премии по физике 2024 года. В этом году награду получили Джон Хопфилд и Джеффри Хинтон за их фундаментальные открытия и изобретения, которые легли в основу машинного обучения с помощью искусственных нейронных сетей.
Оба ученых занимались статистической физикой, и их работа стала основой для создания современных нейросетей, которые широко используются в машинном зрении и других областях искусственного интеллекта. В 2018 году Джеффри Хинтон, вместе с Йошуа Бенжио и Яном Лекуном, получил премию Тьюринга — самую престижную награду в информатике. Им присудили премию за концептуальные и инженерные прорывы, благодаря которым глубинные нейросети стали ключевым компонентом современной вычислительной техники.
Первыми лауреатами Нобелевских премий в 2024 году стали Виктор Эмброс и Гэри Равкун, которые получили награду в области медицины и физиологии за открытие микроРНК.
Нобелевская неделя продолжится 9 октября объявлением лауреатов премии по химии, 10 октября — по литературе, а 11 октября в Осло будет объявлен лауреат премии мира. 14 октября станет известно, кто получит премию по экономике памяти Альфреда Нобеля, учрежденную Банком Швеции в 1968 году.
Денежная часть премии составляет 11 миллионов шведских крон, что примерно эквивалентно 1 миллиону долларов США.
🔗 Ссылка
👍21😐10❤4😱2😢2🔥1
🤖 Anthropic Batch API
Компания Anthropic представила новый Message Batches API — решение для асинхронной обработки большого количества запросов. Этот API позволяет отправлять до 10,000 запросов в одном пакете, обрабатывая их менее чем за 24 часа (скорость в обмен на скидку в 50%). Теперь у Антропика тоже есть удобное API для таких задач, как анализ данных и классификация.
Anthropic Batch API может обрабатывать до 10,000 запросов в батче (у openAI - 50,000 в батче)
По деньгам получается следующее - например, для модели Claude 3 Haiku стоимость входных токенов с Batch API составляет $0.125 за 1 млн токенов, а выходных — $0.625 за 1 млн токенов.
OpenAI Batch API также предоставляет скидку на 50%. Например, для модели GPT-4o-mini стоимость входных токенов составляет $0.075 за 1 млн токенов, а выходных — $0.300 за 1 млн токенов при использовании Batch API, что значительно дешевле по сравнению с моделями Anthropic.
Anthropic Batch API обещают обработка в течение 24 часов или быстрее. Пользователи могут отслеживать статус через Console или API.
Поддерживаемые модели: Claude 3.5 Sonnet, Claude 3 Haiku и Claude 3 Opus.
Разнообразие запросов: Поддержка Vision, Tool use, системных сообщений и диалогов в одном пакете.
Период доступности результатов: Результаты доступны для загрузки в течение 29 дней после создания пакета.
Ссылка
Компания Anthropic представила новый Message Batches API — решение для асинхронной обработки большого количества запросов. Этот API позволяет отправлять до 10,000 запросов в одном пакете, обрабатывая их менее чем за 24 часа (скорость в обмен на скидку в 50%). Теперь у Антропика тоже есть удобное API для таких задач, как анализ данных и классификация.
Anthropic Batch API может обрабатывать до 10,000 запросов в батче (у openAI - 50,000 в батче)
По деньгам получается следующее - например, для модели Claude 3 Haiku стоимость входных токенов с Batch API составляет $0.125 за 1 млн токенов, а выходных — $0.625 за 1 млн токенов.
OpenAI Batch API также предоставляет скидку на 50%. Например, для модели GPT-4o-mini стоимость входных токенов составляет $0.075 за 1 млн токенов, а выходных — $0.300 за 1 млн токенов при использовании Batch API, что значительно дешевле по сравнению с моделями Anthropic.
Anthropic Batch API обещают обработка в течение 24 часов или быстрее. Пользователи могут отслеживать статус через Console или API.
Поддерживаемые модели: Claude 3.5 Sonnet, Claude 3 Haiku и Claude 3 Opus.
Разнообразие запросов: Поддержка Vision, Tool use, системных сообщений и диалогов в одном пакете.
Период доступности результатов: Результаты доступны для загрузки в течение 29 дней после создания пакета.
Ссылка
🔥11❤4👍3
This media is not supported in your browser
VIEW IN TELEGRAM
Все ли осознают, что говорящие портреты из "Гарри Поттера" теперь стали реальностью? Это больше не вымысел. Мы живем в удивительное время.
🔗 Ссылка
🔗 Ссылка
👍39😐7😁2
🔥Объявлены лауреаты Нобелевской премии по химии 2024!
Королевская шведская академия наук присудила Нобелевскую премию по химии 2024 трем выдающимся ученым, и снова за искусственный интеллект
🎉 Дэвид Бейкер – Компьютерный дизайн белков
• Инновация: Создал программное обеспечение Rosetta, позволяющее разрабатывать новые белки с нуля.
• Влияние: Революционизирует разработку лекарств, инжиниринг ферментов и синтетическую биологию, создавая белки с заданными функциями для целевых терапий и устойчивых решений.
🤖 Демис Хассабис и Джон М. Джампер – Предсказание структуры белков
• Инновация: Разработали AlphaFold, систему искусственного интеллекта, которая предсказывает структуры белков с беспрецедентной точностью.
• Влияние: Ускоряют исследования в области разработки лекарств и персонализированной медицины, предоставляя глубокое понимание функций и взаимодействий белков, объединяя вычислительные прогнозы и экспериментальную биологию.
Искусственный интеллект стал ключевым элементом этих прорывов, позволяя достигать быстрых результатов благодаря таким моделям, как AlphaFold, которые значительно сокращают время и ресурсы, необходимые для исследований белков. Алгоритмы машинного обучения повышают точность дизайна белков и предсказания их структуры, что ведет к созданию более эффективных и персонализированных медицинских препаратов. Кроме того, сочетание ИИ с биологией и химией способствует междисциплинарному сотрудничеству, создавая инновационные решения для сложных научных задач.
🔗 Ссылка
Королевская шведская академия наук присудила Нобелевскую премию по химии 2024 трем выдающимся ученым, и снова за искусственный интеллект
🎉 Дэвид Бейкер – Компьютерный дизайн белков
• Инновация: Создал программное обеспечение Rosetta, позволяющее разрабатывать новые белки с нуля.
• Влияние: Революционизирует разработку лекарств, инжиниринг ферментов и синтетическую биологию, создавая белки с заданными функциями для целевых терапий и устойчивых решений.
🤖 Демис Хассабис и Джон М. Джампер – Предсказание структуры белков
• Инновация: Разработали AlphaFold, систему искусственного интеллекта, которая предсказывает структуры белков с беспрецедентной точностью.
• Влияние: Ускоряют исследования в области разработки лекарств и персонализированной медицины, предоставляя глубокое понимание функций и взаимодействий белков, объединяя вычислительные прогнозы и экспериментальную биологию.
Искусственный интеллект стал ключевым элементом этих прорывов, позволяя достигать быстрых результатов благодаря таким моделям, как AlphaFold, которые значительно сокращают время и ресурсы, необходимые для исследований белков. Алгоритмы машинного обучения повышают точность дизайна белков и предсказания их структуры, что ведет к созданию более эффективных и персонализированных медицинских препаратов. Кроме того, сочетание ИИ с биологией и химией способствует междисциплинарному сотрудничеству, создавая инновационные решения для сложных научных задач.
🔗 Ссылка
❤23🔥12😐2👍1
Что делает Rotary Positional Encodings (RoPE) такими полезными в трансформерах?
(По мотивам статьи Round and Round we Go)
Позиционные кодировки — одна из ключевых составляющих моделей типа Transformer, ведь они позволяют им понимать порядок токенов в последовательности. Одним из самых продвинутых подходов являются Rotary Positional Encodings (RoPE), которые активно используются в современных языковых моделях. В этом посте мы разберём, как работает RoPE, почему он так полезен и что нового обнаружили учёные в его механике.
1. Основы: Трансформеры и механизм self-attention
Трансформеры — это мощные модели глубокого обучения, предназначенные для обработки последовательных данных, таких как текст. В основе их работы лежит механизм self-attention (самовнимание), который позволяет модели определять, какие части последовательности наиболее важны при обработке каждого токена.
Как это работает математически:
Для каждого токена трансформер создаёт три вектора:
• Query (Запрос, Q): что текущий токен “ищет” в других токенах.
• Key (Ключ, K): что представляет каждый токен.
• Value (Значение, V): информация, которую несёт каждый токен.
Оценка внимания (attention score) между двумя токенами вычисляется как скалярное произведение их векторов Query и Key.
Произведение используется для взвешивания информации токенов (Value) и формирования конечного результата.
2. Зачем нужны позиционные кодировки
Поскольку трансформеры обрабатывают все токены одновременно, им необходимо явно указывать позиционную информацию. Без этого модель не сможет отличить, например, “собака кусает человека” от “человек кусает собаку”. Позиционные кодировки (Positional Encodings, PE) вводят эту информацию, помогая модели понимать порядок слов.
3. Rotary Positional Encodings (RoPE)
RoPE — это продвинутый метод кодирования позиционной информации, который вместо простого добавления вектора позиции к каждому токену вращает векторы Query и Key в зависимости от их позиций в последовательности.
Как работает RoPE:
• Векторы Query и Key разбиваются на двумерные блоки.
• Каждый блок поворачивается на угол, зависящий от позиции токена в последовательности.
Это позволяет учитывать как саму суть токена, так и его положение относительно других токенов.
4. Высокие и низкие частоты в RoPE
В RoPE разные частоты вращения блоков Query и Key определяют, как быстро эти векторы поворачиваются:
• Высокие частоты вызывают быстрое вращение, что делает модель чувствительной к небольшим изменениям позиций токенов.
• Низкие частоты вращаются медленно, и их использование делает модель более стабильной на больших расстояниях между токенами.
Пример:
Предположим, у нас есть два токена: один на позиции 2, другой на позиции 4. RoPE поворачивает их векторы на углы 2*O и 4*O соответственно. При вычислении скалярного произведения модель учитывает не только содержание токенов, но и их относительное положение в последовательности.
5. Разоблачение мифа о затухании внимания с расстоянием
Ранее считалось, что RoPE помогает моделям за счёт того, что оценка внимания (attention score) уменьшается по мере увеличения расстояния между токенами. Однако авторы статьи показали, что это не всегда так. RoPE не обязательно вызывает затухание внимания, но, что более важно, он помогает модели формировать устойчивые паттерны позиционного внимания.
6. Использование низких и высоких частот RoPE
Исследования показали, что модели чаще всего используют низкие частоты RoPE для работы с семантическими отношениями между токенами. В то же время, высокие частоты применяются для создания позиционных attention heads, которые сосредотачиваются на точных позициях, таких как предыдущий или следующий токен.
7. Модификация RoPE: p-RoPE
Авторы статьи предложили улучшенную версию RoPE под названием p-RoPE. Она заключается в удалении самых низких частот, чтобы сделать модель более устойчивой на больших контекстах.
(По мотивам статьи Round and Round we Go)
Позиционные кодировки — одна из ключевых составляющих моделей типа Transformer, ведь они позволяют им понимать порядок токенов в последовательности. Одним из самых продвинутых подходов являются Rotary Positional Encodings (RoPE), которые активно используются в современных языковых моделях. В этом посте мы разберём, как работает RoPE, почему он так полезен и что нового обнаружили учёные в его механике.
1. Основы: Трансформеры и механизм self-attention
Трансформеры — это мощные модели глубокого обучения, предназначенные для обработки последовательных данных, таких как текст. В основе их работы лежит механизм self-attention (самовнимание), который позволяет модели определять, какие части последовательности наиболее важны при обработке каждого токена.
Как это работает математически:
Для каждого токена трансформер создаёт три вектора:
• Query (Запрос, Q): что текущий токен “ищет” в других токенах.
• Key (Ключ, K): что представляет каждый токен.
• Value (Значение, V): информация, которую несёт каждый токен.
Оценка внимания (attention score) между двумя токенами вычисляется как скалярное произведение их векторов Query и Key.
Произведение используется для взвешивания информации токенов (Value) и формирования конечного результата.
2. Зачем нужны позиционные кодировки
Поскольку трансформеры обрабатывают все токены одновременно, им необходимо явно указывать позиционную информацию. Без этого модель не сможет отличить, например, “собака кусает человека” от “человек кусает собаку”. Позиционные кодировки (Positional Encodings, PE) вводят эту информацию, помогая модели понимать порядок слов.
3. Rotary Positional Encodings (RoPE)
RoPE — это продвинутый метод кодирования позиционной информации, который вместо простого добавления вектора позиции к каждому токену вращает векторы Query и Key в зависимости от их позиций в последовательности.
Как работает RoPE:
• Векторы Query и Key разбиваются на двумерные блоки.
• Каждый блок поворачивается на угол, зависящий от позиции токена в последовательности.
Это позволяет учитывать как саму суть токена, так и его положение относительно других токенов.
4. Высокие и низкие частоты в RoPE
В RoPE разные частоты вращения блоков Query и Key определяют, как быстро эти векторы поворачиваются:
• Высокие частоты вызывают быстрое вращение, что делает модель чувствительной к небольшим изменениям позиций токенов.
• Низкие частоты вращаются медленно, и их использование делает модель более стабильной на больших расстояниях между токенами.
Пример:
Предположим, у нас есть два токена: один на позиции 2, другой на позиции 4. RoPE поворачивает их векторы на углы 2*O и 4*O соответственно. При вычислении скалярного произведения модель учитывает не только содержание токенов, но и их относительное положение в последовательности.
5. Разоблачение мифа о затухании внимания с расстоянием
Ранее считалось, что RoPE помогает моделям за счёт того, что оценка внимания (attention score) уменьшается по мере увеличения расстояния между токенами. Однако авторы статьи показали, что это не всегда так. RoPE не обязательно вызывает затухание внимания, но, что более важно, он помогает модели формировать устойчивые паттерны позиционного внимания.
6. Использование низких и высоких частот RoPE
Исследования показали, что модели чаще всего используют низкие частоты RoPE для работы с семантическими отношениями между токенами. В то же время, высокие частоты применяются для создания позиционных attention heads, которые сосредотачиваются на точных позициях, таких как предыдущий или следующий токен.
7. Модификация RoPE: p-RoPE
Авторы статьи предложили улучшенную версию RoPE под названием p-RoPE. Она заключается в удалении самых низких частот, чтобы сделать модель более устойчивой на больших контекстах.
arXiv.org
Round and Round We Go! What makes Rotary Positional Encodings useful?
Positional Encodings (PEs) are a critical component of Transformer-based Large Language Models (LLMs), providing the attention mechanism with important sequence-position information. One of the...
👍19❤11
Эта модификация позволила улучшить производительность моделей, таких как Gemma 2B, особенно при работе с длинными последовательностями.
Вывод: Важность RoPE заключается не в простом затухании внимания по мере увеличения расстояния между токенами. Настоящее преимущество RoPE заключается в его способности создавать позиционные паттерны внимания, что крайне важно для таких задач, как языковое моделирование.
Вывод: Важность RoPE заключается не в простом затухании внимания по мере увеличения расстояния между токенами. Настоящее преимущество RoPE заключается в его способности создавать позиционные паттерны внимания, что крайне важно для таких задач, как языковое моделирование.
🔥12👍5❤2
Media is too big
VIEW IN TELEGRAM
The future should feel like the future. Elon Musk
На специальном мероприятии в Лос Анджелесе, Тесла анонсировала новые модели автомобилей - Cybercab - роботакси без руля и педалей, и Robovan - абсолютно безумного вида беспилотный автобус.
Обещают к 27ому году, ну а пока вот вам Оптимус в роли бармена
На специальном мероприятии в Лос Анджелесе, Тесла анонсировала новые модели автомобилей - Cybercab - роботакси без руля и педалей, и Robovan - абсолютно безумного вида беспилотный автобус.
Обещают к 27ому году, ну а пока вот вам Оптимус в роли бармена
🔥16👍4😁2😐2
Жарим курицу с Артемом
Сегодня был на отличном барбекю с Артемом, автором канала Эй Ай Ньюз! Вдохновляющий вечер в дружеской атмосфере, где обсудили самые актуальные темы из мира AI. Артем всегда знает, как освещать новости с культурной и профессиональной точкой зрения. Не пропустите его канал, если хотите быть в курсе последних событий в мире искусственного интеллекта! 🔥
@ai_newz
Сегодня был на отличном барбекю с Артемом, автором канала Эй Ай Ньюз! Вдохновляющий вечер в дружеской атмосфере, где обсудили самые актуальные темы из мира AI. Артем всегда знает, как освещать новости с культурной и профессиональной точкой зрения. Не пропустите его канал, если хотите быть в курсе последних событий в мире искусственного интеллекта! 🔥
@ai_newz
🎉28😐11❤7🔥5
OpenAI Swarm: фреймворк для мультиагентных систем
Ребята из OpenAI без лишнего шума выложили в открытый доступ свой новый проект — Swarm. Это такой экспериментальный фреймворк для тех, кто хочет поковыряться в мультиагентных системах. Короче, штука для тех, кому интересно, как AI-агенты могут работать в команде и решать сложные задачки.
Основные концепции Swarm — Агенты и Передачи задач. Агенты делают свою работу и могут перекидывать дела другим, типа "эй, бро, возьми это на себя". Идеально подходит, чтобы посмотреть, как эти виртуальные ребята могут сотрудничать.
Swarm вписывается в третий уровень той самой пятиступенчатой модели развития ИИ от OpenAI. Помните, там от простых болтливых ботов до суперсистем, способных рулить целыми компаниями? Вот Swarm как раз на середине этой лестницы:
Болтуны — просто общаются с людьми на обычном языке.
Решалы — автоматизируют поиск инфы и решают задачки.
Агенты — самостоятельные помощники, которые сами принимают решения.
---------Swarm как раз тут---------
Иноваторы — генерят новые идеи и двигают науку.
Боссы — ИИ, способный управлять целой конторой без людей.
Пока что Swarm — это не для серьезных проектов, а так, поиграться. Можно смоделировать, как агенты общаются, протестить простые сценарии и посмотреть, как они координируются в контролируемой среде.
Swarm работает почти полностью на клиенте, что упрощает контроль и тестирование.
В репозитории уже есть с десяток примеров, которые демонстрируют различные сценарии, включая обслуживание клиентов и персонального шопинг-ассистента.
Пример использования Swarm
Основной элемент Swarm — Агент. Вот пример настройки агентов:
Агент A передаёт разговор Агенту B, который отвечает в виде хайку.
На первый взгляд, Swarm — это интересный образовательный эксперимент, но представьте, как в будущем из такого фреймворка может вырасти полноценный AI as a Service!
Да и вообще забавно, раньше Альтман помогал создавать SaaS компании в Y Combinator, а теперь, по всей видимости у него свой AI Combinator.
Я думаю, что уже в ближайшем будущем мы можем увидеть мультиагентные системы, и Swarm — это отличный способ начать понимать, как они работают.
Возможно, ваш следующий менеджер будет не кожаным мешком, а сотней AI-агентов, которые координируются и вешают на вас задачи быстрее, чем когда-либо прежде.
🖥 GitRepo
👨🍳 OpenAI Cookbook
Ребята из OpenAI без лишнего шума выложили в открытый доступ свой новый проект — Swarm. Это такой экспериментальный фреймворк для тех, кто хочет поковыряться в мультиагентных системах. Короче, штука для тех, кому интересно, как AI-агенты могут работать в команде и решать сложные задачки.
Основные концепции Swarm — Агенты и Передачи задач. Агенты делают свою работу и могут перекидывать дела другим, типа "эй, бро, возьми это на себя". Идеально подходит, чтобы посмотреть, как эти виртуальные ребята могут сотрудничать.
Swarm вписывается в третий уровень той самой пятиступенчатой модели развития ИИ от OpenAI. Помните, там от простых болтливых ботов до суперсистем, способных рулить целыми компаниями? Вот Swarm как раз на середине этой лестницы:
Болтуны — просто общаются с людьми на обычном языке.
Решалы — автоматизируют поиск инфы и решают задачки.
Агенты — самостоятельные помощники, которые сами принимают решения.
---------Swarm как раз тут---------
Иноваторы — генерят новые идеи и двигают науку.
Боссы — ИИ, способный управлять целой конторой без людей.
Пока что Swarm — это не для серьезных проектов, а так, поиграться. Можно смоделировать, как агенты общаются, протестить простые сценарии и посмотреть, как они координируются в контролируемой среде.
Swarm работает почти полностью на клиенте, что упрощает контроль и тестирование.
В репозитории уже есть с десяток примеров, которые демонстрируют различные сценарии, включая обслуживание клиентов и персонального шопинг-ассистента.
Пример использования Swarm
Основной элемент Swarm — Агент. Вот пример настройки агентов:
from swarm import Swarm, Agent
client = Swarm()
def transfer_to_agent_b():
return agent_b
agent_a = Agent(
name="Agent A",
instructions="Вы — полезный агент.",
functions=[transfer_to_agent_b],
)
agent_b = Agent(
name="Agent B",
instructions="Говорите только хайку.",
)
response = client.run(
agent=agent_a,
messages=[{"role": "user", "content": "Я хочу поговорить с агентом B."}],
)
print(response.messages[-1]["content"])
Агент A передаёт разговор Агенту B, который отвечает в виде хайку.
На первый взгляд, Swarm — это интересный образовательный эксперимент, но представьте, как в будущем из такого фреймворка может вырасти полноценный AI as a Service!
Да и вообще забавно, раньше Альтман помогал создавать SaaS компании в Y Combinator, а теперь, по всей видимости у него свой AI Combinator.
Я думаю, что уже в ближайшем будущем мы можем увидеть мультиагентные системы, и Swarm — это отличный способ начать понимать, как они работают.
Возможно, ваш следующий менеджер будет не кожаным мешком, а сотней AI-агентов, которые координируются и вешают на вас задачи быстрее, чем когда-либо прежде.
👨🍳 OpenAI Cookbook
Please open Telegram to view this post
VIEW IN TELEGRAM
❤23👍6😢5🎉2😁1
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
This media is not supported in your browser
VIEW IN TELEGRAM
Адобченко показывает, как надо встраивать ИИ в продукты.
Я потом приподвзвизжу отдельным постом про AdobeMax, который идет прямо сейчас.
А сейчас поглядите, какой UI\UX должен быть у всех этих видеогенераторов.
Не сгенерить, а потом копировать, импортировать, резать, переделывать, копировать, импортировать..
А генерить прямо в пайплайне. По месту, так сказать.
Ну и многие не поняли - это генерация вместе СО ЗВУКОМ
@cgevent
Я потом приподвзвизжу отдельным постом про AdobeMax, который идет прямо сейчас.
А сейчас поглядите, какой UI\UX должен быть у всех этих видеогенераторов.
Не сгенерить, а потом копировать, импортировать, резать, переделывать, копировать, импортировать..
А генерить прямо в пайплайне. По месту, так сказать.
Ну и многие не поняли - это генерация вместе СО ЗВУКОМ
@cgevent
🔥41
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ Как создавать персонажей с помощью LoRA? Это оказалось легче, чем казалось! ✨
Всегда думал, что обучение LoRA — это долго и сложно, но оказалось, я был не прав. Это всего несколько шагов — легко и быстро!
🎨 Запрашиваем Claude создать промт для картинки с сеткой 4x4 и каким-нибудь персонажем.
🖼️ Генерируем картинку с помощью Flux 1.1[Pro].
🎨 Скидываем картинку обратно в Claude, поясняем что нам не нравится и просим переписать промпт, что бы стало лучше.
🖼️ Генерируем картинку по улучшенному промпту
🌄 Масштабируем картинку в 4 раза с Aura-SR
🛠️ Режем картинку на отдельные изображения и упаковываем их в архив (я сделал в просмотре).
🔧 Обучаем LoRA на полученных изображениях.
И вуаля! 🎫 У вас есть персонаж, с которым можно делать всё, что сможет придумать ваше воображение (для этого используем слово-триггер)!
🎣 Отправьте его на рыбалку, приготовьте яичницу или заснимите видео с ним — все ограничено только вашей фантазией!
Музыку сделал в Udio. Сжатие видео - с помощью ffmpeg, команду для которого написал Cursor. Пост отредактировал с помощью ChatGPT 4o with Canvas.
Как говорит один популярный ютубер - What a time to be alive!
Всегда думал, что обучение LoRA — это долго и сложно, но оказалось, я был не прав. Это всего несколько шагов — легко и быстро!
🎨 Запрашиваем Claude создать промт для картинки с сеткой 4x4 и каким-нибудь персонажем.
🖼️ Генерируем картинку с помощью Flux 1.1[Pro].
🎨 Скидываем картинку обратно в Claude, поясняем что нам не нравится и просим переписать промпт, что бы стало лучше.
🖼️ Генерируем картинку по улучшенному промпту
🌄 Масштабируем картинку в 4 раза с Aura-SR
🛠️ Режем картинку на отдельные изображения и упаковываем их в архив (я сделал в просмотре).
🔧 Обучаем LoRA на полученных изображениях.
И вуаля! 🎫 У вас есть персонаж, с которым можно делать всё, что сможет придумать ваше воображение (для этого используем слово-триггер)!
🎣 Отправьте его на рыбалку, приготовьте яичницу или заснимите видео с ним — все ограничено только вашей фантазией!
Музыку сделал в Udio. Сжатие видео - с помощью ffmpeg, команду для которого написал Cursor. Пост отредактировал с помощью ChatGPT 4o with Canvas.
Как говорит один популярный ютубер - What a time to be alive!
🔥44👍12❤4😐2
🔥Новый пушка-промпт для ChatGPT:
Based on all our interactions, what's a career path I might enjoy that I might not realize l'd like?😐14😁7❤4🤩4👍1