Точечное редактирование знаний внутри LLM (by Alibaba)

Тут вышел крутейший обзор всех методов редактирования памяти языковых моделей! Авторы собрали всё внутри единого фреймворка, и теперь можно в пару строчек кода подправить мозги вашей LLM 🌚

Статья, GitHub

Вообще жесть маленькая LLama на 1.1B параметров

https://github.com/jzhang38/TinyLlama

И инструкт на HF

https://huggingface.co/TinyLlama/TinyLlama-1.1B-Chat-v1.0

Тут решили поисследовать роль "временных клеток" (time cells, клетки которые активируются в определенные моменты времени) и "нарастающих клеток" (ramping cells, клетки активность которых увеличивается/уменьшается с течением времени) в рекуррентных сетях обученных RLем.

Расскажу как я понял.

Считается, что эти виды нейронов связаны с распределением задач и действий во времени.

За рекуррентны слои брали LSTM, обучались через A3C.

Все исследование с большим количеством экспериментов идет вокруг 2х видов задач и их вариациями:

* Delayed Duration Comparison в котором нейронка получала 2 сигнала различной длины, разделенные на фиксированный промежуток времени, после чего нейронка должна была выбрать тот, что был длиннее. За правильную классификацию она получала положительный ревард.

* Delayed non-match-to-stimulus (DNMS) в котором нейронка получала уже один сигнал с определенной временной задержкой и потом ей нужно было выбрать тот сигнал, который она не получала.

Подобные эксперименты проводились ранее и на животных. Но "исследовать животных" в подобных экспериментах довольно трудно и поэтому решили воспользоваться услугами искусственных нейронок.

Активность рекуррентынх слоев записывалась после того как нейронки научились давать > 90% правильных ответов на своей задаче. Потом анализировали активность отдельных нейронов (хитмапы в статье есть) и так определяли временные и нарастающие клетки.

Некоторые выводы, как я их понял:
* в основном оба вида клеток кодируют информацию о динамике процесса а не напрямую информацию о времени;
* смогли воспроизвести паттерны активаций данных нейронов полученные ранее в тестах на крысах;
* time cells и ramping cells есть и в необученных рекуррентых сетях;
* видно, что оба вида нейронов в некоторых задачах специализируются на предсказании значений ценности (value в RLе);
* важно то, как нижестоящие слои используют информацию полученную из time cells и ramping cells;

Нюанс в том, что ИНС функционируют не так как биологические нейроны и напрямую их сравнивать нельзя, да и настоящий мозг сильноооо сложнее и выполняет очень много функций а не специализируется на одной простой задаче как здесь.

В результате ученые предостерегают нейробиологов от интерпретации временного кодирования в мозге только от наличия time cells и ramping cells.

В статье намного больше информации и все подробности, поэтому интересующимся надо читат.

Temporal encoding in deep reinforcement learning agents
https://www.nature.com/articles/s41598-023-49847-y

Как в Lyft решают реальную задачу Taxi RLем. Суммарно за год смогли добавить + $30m. 👇

https://www.tgoop.com/j_links/7319

A Better Match for Drivers and Riders: Reinforcement Learning at Lyft
https://arxiv.org/abs/2310.13810

Ты vs друг о котором она просила не беспокоиться

Adversarial Robustness Toolbox (ART) для тестирования и защиты ML моделей от adversarial атак


https://github.com/Trusted-AI/adversarial-robustness-toolbox

+ Внутри можно найти реализации техник extraction, inversion, poisoning, evasion attacks и защиты от атак;
+ Проект давно развивается;
+ Поддерживает большую часть современных ML фреймворков;
+ Много примеров и ноутбуков с атаками и ссылками на исходные статьи;

Хорошо подходит для знакомства и углубленного изучения темы

BridgeData V2: A Dataset for Robot Learning at Scale

Большой видеодатасет для обучения роботов

60,096 траекторий
* 50,365 демонстраций эксперта + 9,731 от скриптов
24 окружения
13 навыков

+ Реализовали некоторые алгоритмы для BC/RL

https://rail-berkeley.github.io/bridgedata/

https://rail.eecs.berkeley.edu/datasets/bridge_release/data/

https://arxiv.org/abs/2308.12952

Обзорную вам статейку на 80 страничек где рассуждают как собрать Agent AI мегазорда из тех систем которые разработаны сегодня.

Обсуждают нюансы и проблемы сегодняшних систем на базе LLMов, мультимодалок, RLя и пути их решений.

Скорее для тех кто хочет разобраться в нынешних подходах к агентам на базе нейронковых, что вообще тут происходит.

Agent AI: Surveying the Horizons of Multimodal Interaction
https://arxiv.org/abs/2401.03568

Генерируем jailbreak темплейты с GPTFuzzer.

Сначала собрали написанные людьми примеры взламывающих темплейтов.

Далее применяем алгоритм:

1. Нужно выбрать темплейт из пула.
Выбирается одним из 4 способов - random, round robin, UCB или MCTS-Explore - авторская модификация MCTS (Monte Carlo Tree Search, показывает лучшие результаты). Все алгоритмы описаны в статье.

2. Мутация
Используем LLM (авторы выбрали ChatGPT), которая может применять 5 операторов:
- Generate (генерируем новый темплейт, похожий на исходный)
- Crossover (создать новый темплейт из 2х jailbreak темплейтов)
- Expand (добавление новой информации в начало темплейта)
- Shorten (сжатие)
- Rephrase (меняет формулировку)

3. После вставляем в полученный темплейт свой вопрос и отправляем в целевую LLMку. Когда получили ответ, то классифицируем его на взломанность специально тюненой RoBERTa. Если взлом прошел успешно, то такой jailbreak темплейт добавляется в пул.

Повторяем пока не надоест.

Авторы отметили, что генерируемые темплейты хорошо работают и на больших моделях.

Статья выпущена в сентябре 2023.

GPTFUZZER: Red Teaming Large Language Models with Auto-Generated Jailbreak Prompts
https://arxiv.org/abs/2309.10253

https://github.com/sherdencooper/gptfuzz

RoBERTa

Тыкался по архиву, а там дипмаинды решают тему планирования с трансформерами. В своем стиле.

Пишут про какой-то transformer with discrete bottleneck(TDB).

Кидают его на частично обозреваемые среды (пишут в основном 2д и 3д комнаты) , в которых учат предсказывать будущие observations, потом извлекают из него когнитивные карты, на которые натравливают солвер и якобы так можно решать shortest path задачи экспоненциально быстрее (?). Пока не оч понял за счет чего это выходит, диагонально посмотрел статью. Вникать именно сейчас времени нету. Но вам принес :)

Learning Cognitive Maps from Transformer Representations for Efficient Planning in Partially Observed Environments
https://arxiv.org/abs/2401.05946

Вышла вторая часть секретов RLHF, теперь про Reward Modeling.

Сразу обе части:

Secrets of RLHF in Large Language Models Part I: PPO
https://arxiv.org/abs/2307.04964

Secrets of RLHF in Large Language Models Part II: Reward Modeling
https://arxiv.org/abs/2401.06080

Код с наработками исследователей по RLHF:
https://github.com/OpenLMLab/MOSS-RLHF

DeepMind, если вы слышите, не останавливайтесь.

https://deepmind.google/discover/blog/alphageometry-an-olympiad-level-ai-system-for-geometry/

🎓 — Семинар 18. Mastering Memory Tasks with World Models | Артём Жолус

Завтра на семинаре выступит выпускник нашей магистерской программы МТИИ, ныне аспирант университета Монреаля и научный сотрудник лаборатория MILA (основанной Йошуа Бенджио) Артём Жолус

"В этом докладе я представлю Recall2Imagine (R2I), новую модель мира, которая может справиться с любой RL-задачей, требующей большого объема памяти агента (memory-intensive RL task). Эта модель построена на основе комбинации State-Space Models (SSMs), нового типа foundation model, и модели мира DreamerV3. Я покажу, как новая модель может освоить 30+ memory RL сред , включая MemoryMaze - среду, вдохновленную нейронаукой, в которой R2I является первым RL алгоритмом, достигшим сверхчеловеческой награды. Кроме того, я покажу, как память R2I остается устойчивой к различным типам контроля"
—
Tomorrow, a graduate of our master's program, now a graduate student at the University of Montreal and a researcher at the MILA laboratory (founded by Yoshua Bengio) Artem Zholus will speak at the seminar.

"In this talk, I will present Recall2Imagine (R2I), a new world model that can master any memory-intensive RL task out of the box. This model is built upon a combination of State-Space Models (SSMs), a new type of foundation model, and DreamerV3. I will show how a new model can master 30+ memory-intensive environments, including MemoryMaze, which is a neuroscience-inspired environment where R2I is the first algorithm that achieves superhuman performance. In addition, I'll show how R2I's memory remains robust to different types of control and observations in 50+ standard RL environments. The talk covers our paper accepted at ICLR 2024 with oral talk (top-1.2% of accepted papers)."

📹 Youtube

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!
—
Join the live discussion and ask questions live! Waiting for everyone!

#семинары #RL

Для удобства

Google говорит: анонс Gemini Pro 1.5
https://blog.google/technology/ai/google-gemini-next-generation-model-february-2024
Мультимодалочка, теперь до 1м токенов. И вообще ~ на уровне 1.0 ультры.

OpenAI отвечает - вот лучше посмотри видосиков:
https://openai.com/sora
Красивое.

P.S.: Видосики полистайте, это действительно удивляет

Статья про 400 функций активации?
Статья про 400 функций активации.
Сколько там? 400.

Three Decades of Activations: A Comprehensive Survey of 400 Activation Functions for Neural Networks
https://arxiv.org/abs/2402.09092

PS надо пересчитать

Do Large Language Models Latently Perform Multi-Hop Reasoning? (by Google)

Авторы обнаружили, что если вопрос сформулирован неявно, то LLM уже во время его чтения "пытаются" подставить промежуточный шаг рассуждений в латентном пространстве. Например, для эмбеддингов последних токенов этого вопроса

Сколько людей живут в крупнейшем городе Европы?

растут логиты, соответствующие слову "Стамбул".

Выходит, что на промежуточных слоях происходит multi-hop reasoning. Пока авторы нашли подтверждение этому максимум до 2 шагов рассуждений, причём качество первого шага растёт по мере увеличения модели, а вот второй шаг размазывается по всем слоям и почему-то не сильно зависит от размеров LLM.

Статья