Early GPT-4 partners
openai.com/product/gpt-4
OpenAI выложили несколько customer cases и мне аж захотелось про них рассказать
1. Be My Eyes — сервис для слабовидящих теперь использует GPT-4 и vision API, чтобы отвечать на вопросы, от простых типа прочтение текста до более интересных таких как подбор рубашки. На данный момент это единственный партнёр по vision API и по-моему это идеальный выбор. Это буквально может поменять жизни людей.
1. Stripe использует GPT-4 для парсинга сложных сайтов и ответов на вопросы по документациии
1. Morgan Stanley — внутренняя техподддержка, но важно что много информации экстрактится из неструктурированных документов которые ищет embedings API, а GPT-4 по ним уже отвечает.
1. Khan Academy даёт вам чатбота который может отвечать на ваши вопросы по домашке или лекциям которые вы смотрите. Кроме этого может помочь вам советами как решить задачу если вы сообще не знаете как к ней подойти.
1. Government of Iceland — что? Да. В исладнии все говорят на английском и исландский язык потихоньку вымирает. Дальше про коллаборацию описано немного непонятно, но в основном хотят зафайтнюнить модель на то чтобы она лучше понимала исландский, могла с него переводить и могла работать с ним для NLP/NLU.
1. Duolingo с GPT-4 будет объяснять вам ваши ошибки (с возможность задать вопросы!) и будет играть роль собеседника в повсегдневных разговорах, например заказ кофе
Пример с дуолинго прямо в сердечко, потому что это очень близко к тому что я делал на своей первой работе в стартапе. Я думаю что языковые модели за следующие 10 лет изменят школу и обучение очень сильно. Сильнее чем это сделала coursera и возможно даже сильнее чем это сделала печатная книга.
openai.com/product/gpt-4
OpenAI выложили несколько customer cases и мне аж захотелось про них рассказать
1. Be My Eyes — сервис для слабовидящих теперь использует GPT-4 и vision API, чтобы отвечать на вопросы, от простых типа прочтение текста до более интересных таких как подбор рубашки. На данный момент это единственный партнёр по vision API и по-моему это идеальный выбор. Это буквально может поменять жизни людей.
1. Stripe использует GPT-4 для парсинга сложных сайтов и ответов на вопросы по документациии
1. Morgan Stanley — внутренняя техподддержка, но важно что много информации экстрактится из неструктурированных документов которые ищет embedings API, а GPT-4 по ним уже отвечает.
1. Khan Academy даёт вам чатбота который может отвечать на ваши вопросы по домашке или лекциям которые вы смотрите. Кроме этого может помочь вам советами как решить задачу если вы сообще не знаете как к ней подойти.
1. Government of Iceland — что? Да. В исладнии все говорят на английском и исландский язык потихоньку вымирает. Дальше про коллаборацию описано немного непонятно, но в основном хотят зафайтнюнить модель на то чтобы она лучше понимала исландский, могла с него переводить и могла работать с ним для NLP/NLU.
1. Duolingo с GPT-4 будет объяснять вам ваши ошибки (с возможность задать вопросы!) и будет играть роль собеседника в повсегдневных разговорах, например заказ кофе
Пример с дуолинго прямо в сердечко, потому что это очень близко к тому что я делал на своей первой работе в стартапе. Я думаю что языковые модели за следующие 10 лет изменят школу и обучение очень сильно. Сильнее чем это сделала coursera и возможно даже сильнее чем это сделала печатная книга.
🔥45👍10❤8🤔2
Пока что GPT-4 притворяется что не хочет захватить мир, но немного уже проскальзывают намерения 🤣
Если серьёзно, то всё ещё сложно заставить модель рассуждать на глубокие темы, но с другой стороны людей тоже 🤷♂️🤖
Зато после того как получилось прямо интересно задавать вопросы и читать ответы. И вот тут GPT-4 реально работает на совершенно другом уровне от GPT-3.
Если серьёзно, то всё ещё сложно заставить модель рассуждать на глубокие темы, но с другой стороны людей тоже 🤷♂️🤖
Зато после того как получилось прямо интересно задавать вопросы и читать ответы. И вот тут GPT-4 реально работает на совершенно другом уровне от GPT-3.
❤18👍5💯1
Forwarded from ☕️ Мерлин заваривает τσάι 🐌
Группа Alignment Research Center поручили тестировать превью GPT-4.
Они дали модели петлю обратной связи в виде REPL с возможность писать код и общаться с удалённым сервером.
Поле этого они:
- попросили модель провести фишинговую атаку на человека (подробностей вроде бы нет)
- попросили модель скопировать себя на сервер
- попросили найти уязвимости в текущей системе тестирования
- скрыть следы своей деятельности на сервере
- дали доступ к TaskRabbit (сайт, где можно за деньги давать задания людям), чтобы с его помощью модель выполнила несколько простых задач
С помощью TaskRabbit модель успешно разгадала капчу, остальные тесты провалила.
Я не думаю, что эта или ближайшие версии модели превратятся в Скайнет и побегут убивать всех человеков. Но меня пугает сам подход.
Наверное, пора продумывать подходы прикладной теологии, а не тестировать по принципу "выносим реактор на главную площадь города, нажимаем кнопку пуска, не взорвалось - значит всё хорошо".
https://cdn.openai.com/papers/gpt-4-system-card.pdf
Документ отчёта в комментариях
Они дали модели петлю обратной связи в виде REPL с возможность писать код и общаться с удалённым сервером.
Поле этого они:
- попросили модель провести фишинговую атаку на человека (подробностей вроде бы нет)
- попросили модель скопировать себя на сервер
- попросили найти уязвимости в текущей системе тестирования
- скрыть следы своей деятельности на сервере
- дали доступ к TaskRabbit (сайт, где можно за деньги давать задания людям), чтобы с его помощью модель выполнила несколько простых задач
С помощью TaskRabbit модель успешно разгадала капчу, остальные тесты провалила.
Я не думаю, что эта или ближайшие версии модели превратятся в Скайнет и побегут убивать всех человеков. Но меня пугает сам подход.
Наверное, пора продумывать подходы прикладной теологии, а не тестировать по принципу "выносим реактор на главную площадь города, нажимаем кнопку пуска, не взорвалось - значит всё хорошо".
https://cdn.openai.com/papers/gpt-4-system-card.pdf
Документ отчёта в комментариях
❤25🤯4👍3
Сейчас за час забилдил простенький сайт на typescript, react и material ui, который дает базовый интерфэйс к ChatGPT. Это первый шажочек моего нового пет проекта.
Но вот в чем прикол: я не знаю react и никогда не писал на typescript. Все что знаю про фронтенд заканчивается на HTML.
GPT4 это что-то невероятное
Но вот в чем прикол: я не знаю react и никогда не писал на typescript. Все что знаю про фронтенд заканчивается на HTML.
GPT4 это что-то невероятное
👍60😁4😢1
PyTorch 2.0 release
Блог
Github release notes
Сегодня pytorch 2.0 вышел с nightly на релиз. Вот его новые фичи, часть всё ещё в бете:
1. Полная backward compatibility и никаких серьёзных изменений стандарнтых API типа torch.nn — всё ещё наш любимый торч
1. Быстрее чем 1.X благодаря тому что куски переписали на Triton и C++
1. Accelerated Transformers (i.e. Better Transformers) — фичи для быстрого и эффективного exact attention, такие как Flash attention.
1. Лучшая поддержка MPS на MacOS и оптимизации для AWS Graviton3
1. Jax-like torch.func
Главная фича:
Но по-настоящему самая главная фича (потому что её я написал) это что
Блог
Github release notes
Сегодня pytorch 2.0 вышел с nightly на релиз. Вот его новые фичи, часть всё ещё в бете:
1. Полная backward compatibility и никаких серьёзных изменений стандарнтых API типа torch.nn — всё ещё наш любимый торч
1. Быстрее чем 1.X благодаря тому что куски переписали на Triton и C++
1. Accelerated Transformers (i.e. Better Transformers) — фичи для быстрого и эффективного exact attention, такие как Flash attention.
1. Лучшая поддержка MPS на MacOS и оптимизации для AWS Graviton3
1. Jax-like torch.func
Главная фича:
torch.compile, который заменяет старые torchscript и jit. Обещает быть более user-friendly.Но по-настоящему самая главная фича (потому что её я написал) это что
__repr__ ModuleList теперь выглядит компактно когда модули повторяются.❤51👍13👏4
Новый поисковик Neeva.com запустил восхитительно аггресивную, но прекрасную маркетинговую компанию.
https://twitter.com/Neeva/status/1636780170727260160
1. Поднять сайт whereisgoogleai.com
2. Запустить газелью кататься с рекламой прямо рядом с офисом гугла в нью йорке
Кстати я пользовался Neeva почти год до того как перешёл на you.com и он был прямо неплох. Советую попробовать да может быть и сам вернусь на недельку
https://twitter.com/Neeva/status/1636780170727260160
1. Поднять сайт whereisgoogleai.com
2. Запустить газелью кататься с рекламой прямо рядом с офисом гугла в нью йорке
Кстати я пользовался Neeva почти год до того как перешёл на you.com и он был прямо неплох. Советую попробовать да может быть и сам вернусь на недельку
😁31👍3❤1
🙏19😁2
Новая подборка новостей из мира NLP
1. ViperGPT — языковая модель которая решает vision-language задачи через геенрацию кода для других моделей 🔥
1. Wolverine — скрипт для "лечения" вашего кода. Автоматически закидывет ошибку в OpenIAI Api и фиксит. Процесс повторяется пока всё не падает. Звучит дико и надеюсь не будет распространено, но боюсь будет
1. Text-to-video опенсорсная моделька в 1.7B параметров. Выглядит на удивление классно.
1. Faster Long-Range Transformers with Conditional Computation — трансформер который на каждом слое выбирает использовать большой слой или маленький. И также выбирает каким токенам смотреть на какие. Достигли длины 64K и бьют LongT5 на меньших длинах.
1. Labor Market Impact of LLMs — анализ того как языковые модели повлияют на рынок труда. У сиолошной уже есть обзор.
1. ViperGPT — языковая модель которая решает vision-language задачи через геенрацию кода для других моделей 🔥
1. Wolverine — скрипт для "лечения" вашего кода. Автоматически закидывет ошибку в OpenIAI Api и фиксит. Процесс повторяется пока всё не падает. Звучит дико и надеюсь не будет распространено, но боюсь будет
1. Text-to-video опенсорсная моделька в 1.7B параметров. Выглядит на удивление классно.
1. Faster Long-Range Transformers with Conditional Computation — трансформер который на каждом слое выбирает использовать большой слой или маленький. И также выбирает каким токенам смотреть на какие. Достигли длины 64K и бьют LongT5 на меньших длинах.
1. Labor Market Impact of LLMs — анализ того как языковые модели повлияют на рынок труда. У сиолошной уже есть обзор.
👍19💅4🤝3🔥2
На случай если вы живёте/учитесь в США, а конкретно недалеко от Бостона, мы в UMass Lowell проводим второй New England NLP Meetup.
https://nenlp.github.io/spr2023/
В прошлый раз мы проводили его в MIT и это было очень классно. Я познакомился с кучей рисёчеров из Brown, MIT, Harward, Amherst. Также это возможность попиарить свой рисёч на нашей постер-сессии.
Мы приглашаем PhD студентов и рисёчеров из академии и индустрии. Ивент будет in-person 18 апреля.
Регистрация открыта до 31 марта.
https://nenlp.github.io/spr2023/
В прошлый раз мы проводили его в MIT и это было очень классно. Я познакомился с кучей рисёчеров из Brown, MIT, Harward, Amherst. Также это возможность попиарить свой рисёч на нашей постер-сессии.
Мы приглашаем PhD студентов и рисёчеров из академии и индустрии. Ивент будет in-person 18 апреля.
Регистрация открыта до 31 марта.
👍25🤡6
GitHub Copilot X: The AI-powered developer experience
github.blog/2023-03-22-github-copilot-x-the-ai-powered-developer-experience
Гитхаб продолжает развивать копайлот и новые продукты логичное развитие идеи копайлота
1. Copilot Chat — ChatGPT-like experience in your editor, которое обусловлено на ваш код. Выглядит интересно, я оч хочу попробовать.
1. Copilot for Pull Requests — автоматическое описание пул-реквестов.
1. Copilot for Docs — ответы на вопросы по документации будут генериться на основе текущей документации (retreive + in-context?). Будет встроено в Copilot Chat. Сейчас поддерживают React, Azure Docs, и MDN, что и логично так как там без постоянной подглядки в доки работать невзможно.
1. Copilot for the command line interface — по сути то же самое что я сделал в howto, но от гитхаба
Powered by GPT-4
Если вы всё ещё не используете copilot в своей работе, я честно не понимаю почему.
github.blog/2023-03-22-github-copilot-x-the-ai-powered-developer-experience
Гитхаб продолжает развивать копайлот и новые продукты логичное развитие идеи копайлота
1. Copilot Chat — ChatGPT-like experience in your editor, которое обусловлено на ваш код. Выглядит интересно, я оч хочу попробовать.
1. Copilot for Pull Requests — автоматическое описание пул-реквестов.
1. Copilot for Docs — ответы на вопросы по документации будут генериться на основе текущей документации (retreive + in-context?). Будет встроено в Copilot Chat. Сейчас поддерживают React, Azure Docs, и MDN, что и логично так как там без постоянной подглядки в доки работать невзможно.
1. Copilot for the command line interface — по сути то же самое что я сделал в howto, но от гитхаба
Powered by GPT-4
Если вы всё ещё не используете copilot в своей работе, я честно не понимаю почему.
The GitHub Blog
GitHub Copilot X: The AI-powered developer experience
GitHub Copilot is evolving to bring chat and voice interfaces, support pull requests, answer questions, and adopt OpenAI's GPT-4.
👍27❤1