Кстати, в тему AlphaFold, белков, медиаторов и биологии в целом очень рекомендую курс «Химия мозга» от Вячеслава Дубынина. Если хотите лучше понимать подкасты Andrew Huberman, да и в целом, как и что работает в мозге, то самое то. Первые три лекции про общие принципы работы нейронов, белков, потенциалов действия, выработки медиаторов, а дальше идет уже разбор конкретных веществ (дофамин, серотонин и тд)

Есть также лекции на ютубе

Хочется рассказать про один способ использования трансформеров в проде, который, как мне показалось, не все знают.

Недавно обсуждали со знакомым, как ребята в поиске/ранжировании пытались докатить онлайн трансформер до прода и застряли там на довольно длительное время: начали с ONNX на цпу, поняли, что слишком медленно, затем подняли отдельный инстанс с гпу (со всеми организационными моментами), попробовали triton inference server и прочие методы. Где-то выходило дорого, где-то муторно, а релизить уже нужно было скоро. Что же в итоге заработало?

1. Посмотрели по трафику на топ Х запросов за последнее время и для них в оффлайне рассчитали выдачу тяжелым трансформером, который показывал лучшие метрики.
2. В сервис затащили маппинг из запроса в уже готовую выдачу. Маппинг при этом можно регулярно обновлять.
3. Для входящего запроса проверяем его наличие в маппинге. Если нет, то делаем fallback на модель попроще или какую-то эвристику.

В итоге команда запустила A/B тест и быстро получила хорошие лифты. Fallback при этом происходил довольно редко. Сам же инференс (если его можно так назвать) работает супер быстро и требует только небольшого количества памяти для хранения отображения запрос-выдача.

Наверняка вы слышали про mojo 🔥 — появляющийся язык, который в огромное количество раз быстрее питона, использует некоторые концепции из раста и так далее. Так вот, уже появился инференс llama2.mojo, где по замерам скорость быстрее, даже чем llama2.c с флагом runfast, но без OMP (265 tok/s vs 230 tok/s). Можно детальнее почитать репо и даже поднять свою демку с помощью gradio.

Решил сделать небольшой обзор работ, посвященных снижению квадратичной сложности attention в трансформерах (здесь имеется в виду квадратичная зависимость именно от длины последовательности). Это ограничение является довольно серьезным при работе с длинными контекстами, так что работ накопилось довольно много. Где-то авторы снижают сложность по времени, где-то по памяти, а где-то и там, и там.

Linformer:

На секунду вспомним, из-за чего появляется квадратичная сложность — из-за умножения Q на K^T. В таком случае давайте проектировать матрицы K и V в некоторое меньшее пространство с константной размерностью. Тогда умножение будет происходить на матрицу, которая не зависит от длины контекста → уходим от квадрата в сложности. Линейная зависимость по времени и по памяти.

AFT (Attention Free Transformer):

Здесь авторы вообще ушли от классического понятия attention, когда мы считаем скоры между Q и K. Сделали они это следующим образом: вместо Q в attention учим матрицу w размера TxT (T — максимальный размер контекста), элементы которой будем прибавлять к K. Как пишут авторы, w — is the learned pair-wise position biases, то есть, грубо говоря, элемент в матрице на позиции (1,3) — вес, с которым позиция 1 должна обратить внимание на позицию 3. Идея такого представления заключается в том, что оно служит некоторым gating mechanism, указывая на какие позиции обратить больше внимания. Здесь линейная зависимость по памяти (не нужно хранить большую матрицу attention scores), но квадратичная по времени. Однако, есть модификации, чтобы добиться линии и по времени (например, AFT-local).

Продолжение

Reformer:

В этой работе используется очень известный алгоритм LSH хэширования. Сделаем Q=K и будем с помощью LSH находить кластеры похожих эмбеддингов. В таком случае attention скоры нам нужно будет посчитать только внутри этих кластеров. С одной стороны, сложность уменьшается до логлинейной (n * logn), но на практике внутри О большого сидит константа 128^2. Кстати, похожий метод используется в одном из алгоритмов ANN.

Performer:

Авторы доказывают, что результат attention (softmax(Q x K^T) можно аппроксимировать произведением двух матриц. И собственно эту аппроксимацию модель и выучивает. Доказательство не самое простое, но идея заключается в использовании kernel methods. Если такая аппроксимация у нас есть (softmax(Q x K^T) ~ Q1 x K1^T), то мы можем сначала умножить K и V, а потом их результат умножить на Q (сложность из-за порядка таких умножений изменится, посмотрите картинку или выпишите размерности на листочке). Здесь линейная зависимость по времени и по памяти.

Не стоит забывать, что сложность attention зависит не только от длины контекста, но и от размера эмбеддинга. Здесь мы говорили только про первое. Метрики не привожу, их можно поглядеть в самих статьях, если интересно. Я написал далеко не про все работы, посвященные этим темам, — есть еще MEGA, Sparse Transformers, Longformer, MQA, GQA и другие. О них — возможно в следующих постах.

В продолжение предыдущего поста: если интересна тема промптов в целом, советую посмотреть Prompt Engineering Guide. Там разбираются сначала базовые вещи для генерации моделей и составления промптов, а дальше идет обзор существующих методов (CoT, Self-Consistency, ToT, ReAct, RAG и много чего еще), которые можно брать на вооружение. Причем это уже не только про промпты, а вообще про подходы к решению различных задач (RAG, например, активно используется для построения всяких Retrieval систем). Здорово, что авторы периодически обновляют материалы, в прошлый раз, когда смотрел, там не было Tree of Thoughts. В конце для особо интересующихся есть классная секция Risk & Misuses про различные атаки на модель (Prompt Injection, Prompt Leaking, Waluigi Effect и так далее)

Вчера Meta презентовали Meta Quest 3 — VR девайс последнего поколения, который поступит в продажу с 10 октября. Сегодня утром увидел ролик о колабе Meta и Kurzgesagt — команда собирается сделать образовательную игру, в которой игроки переносятся между пятью уровнями масштаба нашего мира (молекулярный, клеточный и т.д.), взаимодействуют с формами жизни и свойствами каждого измерения. Для тех, кто не знает, Kurzgesagt — канал на ютубе, уже 10 лет выпускающий классные ролики на тему медицины, космоса, философии и много чего еще. Очень неожиданный проект, на мой взгляд, но надеюсь, игра получится интересной, задумка крутая.

Небольшой обзор Mistral-7B.

Моделька сейчас на слуху, поэтому вот вам краткое саммари. Ребята из французского стартапа выкатили модель (лицензия Apache 2.0), которая побила LLaMa-2 7/13B на многих бенчмарках. Интересные особенности:

— Grouped-Query Attention (GQA). Прием, использующий 1 матрицу K и V на группу матриц Q. Это некоторое среднее между Multi-Head Attention и Multi-Query Attention.
— Sliding Window Attention (SWA). Модификация attention, при которой мы смотрим только на window_size (W) токенов назад. Важно, что токены за пределами окна тоже влияют на генерацию следующего, здесь можно провести аналогию с receptive field классических сверток.
— Rolling buffer cache. Изменение классического KV-cache для работы с SWA. Теперь кэш размера W и (key, value) для позиции i кладется на i % W позицию в кэше.
— Pre-fill and chunking. Оптимизация с предзаполнением кэша для токенов из промпта, который известен с самого начала.

Все эти трюки — про скорость инференса/экономию памяти.

Есть также Instruct версия, дообученная на открытых датасетах с инструкциями. И совсем недавно вышла fine-tuned версия в стиле Orca, который бьет уже практически все 13B.

Что такое Orca? Это подход (и модель, полученная в результате такого подхода) к обучению на синтетических данных. Заключается он в следующем:

1. Берем большой датасет с различными заданиями (user query): суммаризация текста, ответы на сложные вопросы, решение математических задач и т.д.
2. Для каждого задания в начало помещаем специальный system prompt, чтобы LFM (Large Foundation Model) генерировала ответ в определенном формате. Таким образом мы можем контролировать длину генерации, стиль, рассуждения и так далее.
3. Используем LFM (например, ChatGPT, GPT-4) для выполнения составленных заданий.

В итоге собранный датасет представляет тексты вида <system prompt, user query, gpt answer>. Цель — собрать не просто датасет от сильной модели, но сделать его разнообразным и детальным с точки зрения рассуждений и вариантов ответов. Получившиеся примеры в датасете можно посмотреть тут.

Emerging architectures for LLM applications

Посмотрел недавний доклад, посвященный ограничениям LLM и способам борьбы с ними. Подготовил небольшую выжимку по основным тезисам авторов:

1. Hallucinations. Известно, что модели часто могут выдавать неправильную информацию, когда в них нет какого-то знания. Чтобы бороться с этим, придумали много методов, например, Retrieval Augmented Generation. RAG заключается в том, что из базы с документами извлекаются релевантные куски текста и помещаются в контекст модели, чтобы у нее была ценная информация для генерации финального ответа. Авторы рассказывают про модифицированный метод FLARE: Forward-Looking Active REtrieval augmented generation: a method which iteratively uses a prediction of the upcoming sentence to anticipate future content, which is then utilized as a query to retrieve relevant documents to regenerate the sentence if it contains low-confidence tokens.

2. Orchestration. Размер контекста в LLM — ограниченная величина. В GPT-4 есть вариация с 32к токенов (примерно 50 страниц текста), а в Claude 2 — 100к токенов, но:
a. Зачастую качество генерации на таких длинных контекстах будет проседать.
b. В open-source моделях стандартом является 4к токенов в контексте.

Если нужно действительно обрабатывать огромные контексты, то можно использовать следующее: разбиваем текст на кусочки поменьше и параллельно прогоняем через несколько инстансов модели. Далее накладываем Merging алгоритм (может быть опять LLM), который выдаст уже результат. Своего рода Map-Reduce в мире LLM.

3. Monitoring. В классическом ML мы отслеживаем распределение данных, чтобы вовремя детектировать distribution shift и переобучить модель. С LLM это сложнее, но можно смотреть на распределение промптов, их типы и классы, схожести извлеченных документов и через это пытаться уловить изменение данных. Переобучать или даже файнтюнить языковую модель не всегда есть возможность, поэтому на помощь приходит изменение промптов (+ их версионирование) или процесса ретривала.

Наглядная иллюстрация FLARE: если какие-то токены имеют низкую вероятность согласно модели, то мы формриуем новый запрос в базу для уточнения.

Продолжаем серию постов про архитектуры и методы, позволяющие бороться с квадратичной сложностью attention в трансформерах. В прошлый раз мы говорили про Linformer, Reformer, Performer и AFT, сегодня — про Sparse Transformers, Longformer, MEGA. Не стоит забывать про всякие hardware оптимизации (например, FlashAttention), но это находится за пределами этого поста.

Sparse Transformers:

Sparse Transformers предлагает метод подсчета attention между подмножеством токенов: Factorized Self-Attention. Основной идеей является использование p голов с разными паттернами, за счет которых каждый i-ый токен может “посмотреть” на j-ый не более чем за p+1 шагов. Для p=2 мы можем использовать следующую комбинацию (fixed pattern): первая голова смотрит на все предыдущие k токенов, вторая — на токены с фиксированных позиций, обеспечивая протекание информации из прошлого. Такой паттерн позволяет снизить сложность до n корень из n. Метод используется в GPT-3, и возможно какая-то его модификация — GPT-3.5/4. SWA из Mistral напоминает этот же принцип.

Longformer:

Идея похожа на Sparse Transformers. Разница в следующем: Longformer создавался для задач с длинными последовательностями, поэтому авторы добавили global attention pattern, когда мы смотрим на токены важные для конкретной задачи: в классификации — CLS токен, в задачах QA — токены из вопроса. В итоге имеем комбинацию локального и глобального вниманий. Ну и дополнительно используются всякие трюки, которые подобрали эмпирически: разный размер окна в зависимости от слоя, dilated окна для глубоких слоев и тд. Тут получаем даже линейную сложность, потому что глобальное внимание привносит только константное число доп. токенов.

MEGA:

Довольно тяжело объяснить идею в нескольких предложениях, поэтому посмотрите сначала на картинку. Основных идей здесь 3:

1. Используем экспоненциальное сглаживание эмбеддингов для дальнейшего получения матриц Q и K. EMA позволяет агрегировать локальный контекст с настраиваемыми весами.
2. Добавляем два gating mechanisms: первый для протекания изначального эмбеддинга X, второй — для протекания EMA эмбеддинга X’.
3. Gated Attention имеет всего одну голову, но показывается, что за счет гейтингов и EMA он эквивалентен Multi-Head Attention.

Данные модификации не меняют сложность, они больше про inductive bias. Но есть вариация MEGA chunked, которая снижает сложность до линейной.

Говорят ли вам о чем-то слова GGML, GGUF, GPTQ, AWQ? За последнее время появился целый ряд форматов для того, чтобы инференсить LLM с ограниченными ресурсами, будь то CPU или GPU. Наткнулся на обзор, где совсем верхнеуровнево проходят по определениям и рассказывают про юзкейсы, для ознакомления думаю подойдет. А если интересно чуть подробнее посмотреть на методы квантизации (RTN, AWQ, GPTQ), то есть еще одно видео от того же автора.

GPTQ Paper
AWQ Paper