Forwarded from HN Best Comments
Re: GitHub Copilot X: The AI-powered developer experie...
There are 5 different sign-up waiting lists. Each one needs to be signed-up for separately.
[1] Copilot X: https://github.com/github-copilot/chat_waitlist_signup/
[2] Copilot Voice: https://githubnext.com/projects/copilot-voice/
[3] Copilot Docs: https://githubnext.com/projects/copilot-for-docs/
[4] Copilot for PRs: https://githubnext.com/projects/copilot-for-pull-requests/
[5] Copilot CLI: https://githubnext.com/projects/copilot-cli/
gzer0, 3 hours ago
There are 5 different sign-up waiting lists. Each one needs to be signed-up for separately.
[1] Copilot X: https://github.com/github-copilot/chat_waitlist_signup/
[2] Copilot Voice: https://githubnext.com/projects/copilot-voice/
[3] Copilot Docs: https://githubnext.com/projects/copilot-for-docs/
[4] Copilot for PRs: https://githubnext.com/projects/copilot-for-pull-requests/
[5] Copilot CLI: https://githubnext.com/projects/copilot-cli/
gzer0, 3 hours ago
👍7❤1
Тут Microsoft Research говорит что GPT4 - это AGI
arxiv.org/abs/2303.12712
Коротко: модель умеет генерировать картинки, музыку, 3D (через генерацию кода который их создает), решать уравнения, доказывать теоремы, делать ферми-вычисления (для этого очень полезен world knowledge), юзать тулзы, понимать как работает 2D-навигация, показывает высокий уровень theory of mind и понимания эмоций.
Пока что плохо с critical reasoning и признанием своих ошибок если на них явно не указать.
Звучит очень круто и кажется scale is all you need с нами надолго, пойду закажу футболку.
arxiv.org/abs/2303.12712
Коротко: модель умеет генерировать картинки, музыку, 3D (через генерацию кода который их создает), решать уравнения, доказывать теоремы, делать ферми-вычисления (для этого очень полезен world knowledge), юзать тулзы, понимать как работает 2D-навигация, показывает высокий уровень theory of mind и понимания эмоций.
Пока что плохо с critical reasoning и признанием своих ошибок если на них явно не указать.
Звучит очень круто и кажется scale is all you need с нами надолго, пойду закажу футболку.
🤔32👍7😱7🤡5❤4🔥4❤🔥1
Внезапно поделюсь статьёй на VC от знакомой (да, я сам удивлен). Статья на наболевшую тему составления резюме.
Четыре года назад когда я переехал на учебу в штаты именно Анна помогла мне полностью переделать CV, после чего я попал на стажировку в гугл.
В статье есть полезные советы о том что добавлять в описание опыта работы, например перечислить скилы которые вы получили там, а что не надо. Также есть ссылки на хорошие шаблоны CV в Overleaf.
Четыре года назад когда я переехал на учебу в штаты именно Анна помогла мне полностью переделать CV, после чего я попал на стажировку в гугл.
В статье есть полезные советы о том что добавлять в описание опыта работы, например перечислить скилы которые вы получили там, а что не надо. Также есть ссылки на хорошие шаблоны CV в Overleaf.
vc.ru
Краткий гайд - составление Resume/CV для Data Scientist — Карьера на vc.ru
Резюме/ CV / аккаунт LinkedIN - инструменты, с создания или обновления которых, чаще всего начинается поиск работы. Обновление резюме чаще всего необходимо, когда Вы просто ищете работу, и тем более требуется, если ищете работу Remote, с переездом в другую…
👍24🔥10🤮4❤3
Forwarded from Сиолошная
This is huge....
OpenAI подсуетились и добавили плагины к ChatGPT (документация тут). Причём набор очень солидный - есть !ВНИМАНИЕ! веб-браузер и ретривер, код для которого открыт и лежит на GitHub. Ретривер - это то, что позволяет искать нужный контекст среди большой коллекции документов. Например, вы пишете бота, который должен отвечать на вопросы по истории - просто загрузите в него википедию! Тогда по запросу про Древний Рим будет находиться пара нужных страниц, они будут подставлены в контекст, а ChatGPT их "прочитает" и даст ответ!
А ещё есть интерпретатор кода. В общем, по сути почти любую идею теперь можно накликать прямо в браузере, и собрать на коленке огненный прототип, который и в интернет сбегает, и калькулятор вызовет для арифметики, и ещё и сообщение в слак-канал вам отправит.
Го накликивать свои юникорн-стартапы⌨️
OpenAI подсуетились и добавили плагины к ChatGPT (документация тут). Причём набор очень солидный - есть !ВНИМАНИЕ! веб-браузер и ретривер, код для которого открыт и лежит на GitHub. Ретривер - это то, что позволяет искать нужный контекст среди большой коллекции документов. Например, вы пишете бота, который должен отвечать на вопросы по истории - просто загрузите в него википедию! Тогда по запросу про Древний Рим будет находиться пара нужных страниц, они будут подставлены в контекст, а ChatGPT их "прочитает" и даст ответ!
А ещё есть интерпретатор кода. В общем, по сути почти любую идею теперь можно накликать прямо в браузере, и собрать на коленке огненный прототип, который и в интернет сбегает, и калькулятор вызовет для арифметики, и ещё и сообщение в слак-канал вам отправит.
Го накликивать свои юникорн-стартапы
Please open Telegram to view this post
VIEW IN TELEGRAM
❤34🤯8👍6🔥2
Я почитал подробнее про ChatGPT Plugins и это даже больше бомба чем я думал.
Идея плагинов в том, что со временем любой вебсайт сможет добавить описание доступного GPT API в специальный файл:
Не хочется ванговать, но если это будет распространено, вот нам и Web 3.0, но не такой каким его ожидали криптобро. Вместо этого различные языковые модели от OpenAI, Anthropic, Google, Adept, ... будут ходить на сайты вместо вас и может быть даже общаться друг с другом 😅
Ах вот как оно начинается...
Идея плагинов в том, что со временем любой вебсайт сможет добавить описание доступного GPT API в специальный файл:
yourdomain.com/.well-known/ai-plugin.json. В нём вы описываете как ауфентицироваться и как работают API на естественном языке.Не хочется ванговать, но если это будет распространено, вот нам и Web 3.0, но не такой каким его ожидали криптобро. Вместо этого различные языковые модели от OpenAI, Anthropic, Google, Adept, ... будут ходить на сайты вместо вас и может быть даже общаться друг с другом 😅
Ах вот как оно начинается...
👍67🔥31❤3
Forwarded from Kali Novskaya (Tatiana Shavrina)
#nlp #про_nlp #gpt4
🌸Ресурсы для prompt engineering🌸
Набор библиотек и инструментов, которые помогут быстрее подобрать лучшие затравки для языковых моделей и запустить новое приложение.
🟣 Платформы:
Dust.tt
Dust.tt — платформа, которая помогает создавать приложения с большими языковыми моделями на базе запросов к API. Есть простой в использовании веб-интерфейс для создания цепочек подсказок и бизнес-логики, а также набор стандартных блоков и настраиваемый язык программирования для анализа и контроля выходных данных языковой модели. Есть также интерактивный помощник в форме Chrome extension и поддержка разных API
Human Loop
Human Loop — платформа с демо GPT-4 и другими LLM, похожая на демо OpenAI, но с некоторыми дополнительными функциями. Можно получать метрики качества работы моделей от людей-разметчиков.
Promptify
Библиотека и маркетплейс затравок и готовых приложений на них. Под капотом — уже отточенные методы подбора затравок и промпт-тюнинга.
🟣 Python-библиотеки:
LangChain
LangChain — библиотека с поддержкой различных LLM, методов контроля результатов, шаблонов для создания затравок под самые разные приложения, включая чат-боты, суммаризацию, внешние базы знаний.
BetterPrompt
BetterPrompt — библиотека для тестирования затравок для LLM перед отправкой в PROD
PromptSource
PromptSourceбиблиотека для контроля версий затравок, и подбора готовых затравок для различных задач и датасетов. Можно оценивать свою языковую модель ровно в тех же условиях, что и все остальные на таких бенчмарках, как SuperGLUE, есть интеграция с HuggingFace.
OpenPrompt
OpenPrompt — библиотека для промт-тюнинга и подбора оптимальных затравок под задачу. Есть интеграция с моделями HuggingFace
TextBox
TextBox 2.0 — фреймворк для работы с LLM и их оценкой. Поддерживаются 47 разных языковых моделей и различные методы подбора затравок, few-shot, zero-shot, автоматические метрики оценки качества
🟣 Другие инструменты:
ThoughtSource
ThoughtSource открытая библиотека для сбора самых разных методов работы с chain-of-thought reasoning у LLM. Поддерживает множество моделей, датасетов, метрик и стилей формулировок для ризонинга.
GPT Index / LlamaIndex 🦙
GPT Index библиотека с инструментами для оптимальной работы с внешними данными, базами знаний в различных форматах и их интеграции с LLM.
Interactive Composition Explorer
ICE — библиотека для дебага chain-of-thougths, есть визуализация цепочек затравок для дебага LLM.
🌸Ресурсы для prompt engineering🌸
Набор библиотек и инструментов, которые помогут быстрее подобрать лучшие затравки для языковых моделей и запустить новое приложение.
Dust.tt
Dust.tt — платформа, которая помогает создавать приложения с большими языковыми моделями на базе запросов к API. Есть простой в использовании веб-интерфейс для создания цепочек подсказок и бизнес-логики, а также набор стандартных блоков и настраиваемый язык программирования для анализа и контроля выходных данных языковой модели. Есть также интерактивный помощник в форме Chrome extension и поддержка разных API
Human Loop
Human Loop — платформа с демо GPT-4 и другими LLM, похожая на демо OpenAI, но с некоторыми дополнительными функциями. Можно получать метрики качества работы моделей от людей-разметчиков.
Promptify
Библиотека и маркетплейс затравок и готовых приложений на них. Под капотом — уже отточенные методы подбора затравок и промпт-тюнинга.
LangChain
LangChain — библиотека с поддержкой различных LLM, методов контроля результатов, шаблонов для создания затравок под самые разные приложения, включая чат-боты, суммаризацию, внешние базы знаний.
BetterPrompt
BetterPrompt — библиотека для тестирования затравок для LLM перед отправкой в PROD
PromptSource
PromptSourceбиблиотека для контроля версий затравок, и подбора готовых затравок для различных задач и датасетов. Можно оценивать свою языковую модель ровно в тех же условиях, что и все остальные на таких бенчмарках, как SuperGLUE, есть интеграция с HuggingFace.
OpenPrompt
OpenPrompt — библиотека для промт-тюнинга и подбора оптимальных затравок под задачу. Есть интеграция с моделями HuggingFace
TextBox
TextBox 2.0 — фреймворк для работы с LLM и их оценкой. Поддерживаются 47 разных языковых моделей и различные методы подбора затравок, few-shot, zero-shot, автоматические метрики оценки качества
ThoughtSource
ThoughtSource открытая библиотека для сбора самых разных методов работы с chain-of-thought reasoning у LLM. Поддерживает множество моделей, датасетов, метрик и стилей формулировок для ризонинга.
GPT Index / LlamaIndex 🦙
GPT Index библиотека с инструментами для оптимальной работы с внешними данными, базами знаний в различных форматах и их интеграции с LLM.
Interactive Composition Explorer
ICE — библиотека для дебага chain-of-thougths, есть визуализация цепочек затравок для дебага LLM.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤32👍4
Тут Юра Кашницкий, которого вы можете знать по mlcourse.ai рассказал у себя в канале про работу в корпорации зла Elsevier. А конкретнее о том что в текущем мире где зачастую гранты обязывают вас публиковать в Open Access и Elsevier приходится переосмысливать себя и становиться добрее к людям. То, о чём рассказывает Юра — борьба с плагиатом и мельницами "paper mills". Другими словами, с журналами которые пишут вам на [@]edu-имеил со словами "мы super duper international machine learning journal (SDIML) и мы опубликуем вашу статью, просто заплатите нам за это денег".
Советую к чтению, меня Юра в личных разговорах почти убедил что вектор в нужном направлении есть и может быть со временем мы попадём в мир где реально все научные статьи будут доступны всем без пейволлов.
Советую к чтению, меня Юра в личных разговорах почти убедил что вектор в нужном направлении есть и может быть со временем мы попадём в мир где реально все научные статьи будут доступны всем без пейволлов.
Telegram
New Yorko Times
Про Elsevier и антифрод в науке
#science #career #research_integrity
Набрался смелости поговорить про Elsevier - компанию, в которой я работаю уже почти 3 года. Смелость тут нужна потому, что репутация у компании неоднозначная в академических кругах, многое…
#science #career #research_integrity
Набрался смелости поговорить про Elsevier - компанию, в которой я работаю уже почти 3 года. Смелость тут нужна потому, что репутация у компании неоднозначная в академических кругах, многое…
👍14❤4🔥3🤔2
Forwarded from AbstractDL
Memorizing Transformers: как добавить в GPT долговременную память (by Google)
Вы думали, что 260 000 токенов это что-то невозможное для этэншна? А вот и нет, оказывается, если приделать approximate KNN внутрь механизма внимания и складировать Keys и Values в отдельном буфере, то можно засунуть в GPT целые книги!
Авторы показывают, что такое внимание помогает модели вспоминать сложные теоремы и леммы, которые были описаны десятки страниц назад! А самое крутое — это можно приделать к любому предобученному трансформеру, нужно лишь немного потюнить его на длинных текстах, что не очень сложно, так как градиенты через память не идут.
Статья
Вы думали, что 260 000 токенов это что-то невозможное для этэншна? А вот и нет, оказывается, если приделать approximate KNN внутрь механизма внимания и складировать Keys и Values в отдельном буфере, то можно засунуть в GPT целые книги!
Авторы показывают, что такое внимание помогает модели вспоминать сложные теоремы и леммы, которые были описаны десятки страниц назад! А самое крутое — это можно приделать к любому предобученному трансформеру, нужно лишь немного потюнить его на длинных текстах, что не очень сложно, так как градиенты через память не идут.
Статья
🔥54🤯13👍8❤2🍌2
^^^очередной пример того как простые методы "в лоб" работают лучше, чем все хитрые методы основанные на человеческих аналогиях или сложной математике
👍24❤3🔥1🤩1
Forwarded from Just links
ChatGPT Outperforms Crowd-Workers for Text-Annotation Tasks https://arxiv.org/abs/2303.15056
😱30😁1💩1