Сергей Марков дописал свою большую двухтомную книгу про ИИ «Охота на электроовец: большая книга искусственного интеллекта»! Поздравляем!
Я читал ранние версии и знаю, что Сергей проделал огромную работу по сбору исторического материала. Абсолютно разумно и без хайпа, с технически достоверными обзорами архитектур. Рекомендую.
Полные электронные версии книги (epub, docx, pdf) можно скачать с сайта бесплатно:
https://markoff.science
Я читал ранние версии и знаю, что Сергей проделал огромную работу по сбору исторического материала. Абсолютно разумно и без хайпа, с технически достоверными обзорами архитектур. Рекомендую.
Полные электронные версии книги (epub, docx, pdf) можно скачать с сайта бесплатно:
https://markoff.science
👍92❤23🤮10💩2🖕2🔥1
Ну и чтобы продолжить с книгами и ростом количества страниц, вот ещё прекрасное
Algebra, Topology, Differential Calculus, and Optimization Theory For Computer Science and Machine Learning
https://www.cis.upenn.edu/~jean/math-deep.pdf
На 2196 страниц.
Приятных выходных!
Algebra, Topology, Differential Calculus, and Optimization Theory For Computer Science and Machine Learning
https://www.cis.upenn.edu/~jean/math-deep.pdf
На 2196 страниц.
Приятных выходных!
😁53❤13🔥6👍4🤡1
Open-Endedness is Essential for Artificial Superhuman Intelligence
Edward Hughes, Michael Dennis, Jack Parker-Holder, Feryal Behbahani, Aditi Mavalankar, Yuge Shi, Tom Schaul, Tim Rocktaschel
Статья: https://arxiv.org/abs/2406.04268
Серьёзное заявление: “In this position paper, we argue that the ingredients are now in place to achieve openendedness in AI systems with respect to a human observer. Furthermore, we claim that such open-endedness is an essential property of any artificial superhuman intelligence (ASI).”
Авторы заходят со стороны того, что важно квантифицировать и формализовать open-endedness. Для этого они вводят понятие наблюдателя и говорят, что с его перспективы система может считаться таковой, если и только если последовательность производимых ей артефактов является новой (novelty) и выучиваемой (learnability). Оригинальная формулировка определения такова: "From the perspective of an observer, a system is open-ended if and only if the sequence of artifacts it produces is both novel and learnable".
Более формально, система S производит последовательность артефактов X_t, где t — это время. Наблюдатель O является статистической моделью и оценивает предсказуемость артефакта X_T по истории предыдущих артефактов X_{1:t}. Качество предсказания оценивается неким лоссом ℓ(t, T).
Novelty определяется как последовательно увеличивающаяся непредсказуемость артефактов моделью наблюдателя в любое фиксированное время t. То есть матожидание лосса для более поздних артефактов выше.
Learnability присутствует в системе, когда лосс для артефактов при предоставлении наблюдателю более длинной истории становится меньше.
Соответственно для наблюдателя система является open-ended, если она генерирует последовательность novel и learnable артефактов. Это можно описать как “we’ll be surprised but we’ll be surprised in a way that makes sense in retrospect”.
В классическом примере с телевизором, постоянно показывающим случайный шум, на котором потенциально могут зависать многие типа агентов, этот телевизор будет learnable (в том смысле, что агент выучит конкретное распределение), но со временем потеряется novelty. Epistemic uncertainty уйдёт, останется так называемая aleatoric uncertainty (https://docs.aws.amazon.com/prescriptive-guidance/latest/ml-quantifying-uncertainty/decompose-uncertainty.htm) про неустранимую случайность в данных, но и та сколлапсирует благодаря матожиданию.
В примере с таким же телевизором, но где ещё и извне переключают программы на канал с другим шумом с иным распределением (с Первого на Второй, и нужен конечно ещё канал с Полковником) в каждый момент переключения канала наблюдатель будет иметь novelty, но поскольку история наблюдений теперь не очень помогает (лосс не будет уменьшаться, новые каналы генерят иной шум), теряется learnability.
Interestingness явно в описании не фигурирует, но она задаётся через выбор функции потерь. Интересные части артефактов — это те фичи, которые наблюдатель выбрал как полезные для выучивания.
Есть и другие определения open-endedness (среди свежих, например, “A Definition of Open-Ended Learning Problems for Goal-Conditioned Agents” https://arxiv.org/abs/2311.00344, в котором тоже фигурирует наблюдатель) а также куча других связанных идей (им посвящено приложение C).
Наблюдатель — это отдельная большая и важная тема. Традиционно у нас есть большой класс наблюдателей под названием “человеки”. Но текущее определение позволяет быть и иным наблюдателям, например, чтобы покрыть и неантропоцентричные open-ended системы (типа биологической эволюции). Это позволяет и рассуждать об open-ended системах, превосходящих человека (ASI). Ещё это позволяет определить, является ли система open-ended по отношению к любому наблюдателю.
Edward Hughes, Michael Dennis, Jack Parker-Holder, Feryal Behbahani, Aditi Mavalankar, Yuge Shi, Tom Schaul, Tim Rocktaschel
Статья: https://arxiv.org/abs/2406.04268
Серьёзное заявление: “In this position paper, we argue that the ingredients are now in place to achieve openendedness in AI systems with respect to a human observer. Furthermore, we claim that such open-endedness is an essential property of any artificial superhuman intelligence (ASI).”
Авторы заходят со стороны того, что важно квантифицировать и формализовать open-endedness. Для этого они вводят понятие наблюдателя и говорят, что с его перспективы система может считаться таковой, если и только если последовательность производимых ей артефактов является новой (novelty) и выучиваемой (learnability). Оригинальная формулировка определения такова: "From the perspective of an observer, a system is open-ended if and only if the sequence of artifacts it produces is both novel and learnable".
Более формально, система S производит последовательность артефактов X_t, где t — это время. Наблюдатель O является статистической моделью и оценивает предсказуемость артефакта X_T по истории предыдущих артефактов X_{1:t}. Качество предсказания оценивается неким лоссом ℓ(t, T).
Novelty определяется как последовательно увеличивающаяся непредсказуемость артефактов моделью наблюдателя в любое фиксированное время t. То есть матожидание лосса для более поздних артефактов выше.
Learnability присутствует в системе, когда лосс для артефактов при предоставлении наблюдателю более длинной истории становится меньше.
Соответственно для наблюдателя система является open-ended, если она генерирует последовательность novel и learnable артефактов. Это можно описать как “we’ll be surprised but we’ll be surprised in a way that makes sense in retrospect”.
В классическом примере с телевизором, постоянно показывающим случайный шум, на котором потенциально могут зависать многие типа агентов, этот телевизор будет learnable (в том смысле, что агент выучит конкретное распределение), но со временем потеряется novelty. Epistemic uncertainty уйдёт, останется так называемая aleatoric uncertainty (https://docs.aws.amazon.com/prescriptive-guidance/latest/ml-quantifying-uncertainty/decompose-uncertainty.htm) про неустранимую случайность в данных, но и та сколлапсирует благодаря матожиданию.
В примере с таким же телевизором, но где ещё и извне переключают программы на канал с другим шумом с иным распределением (с Первого на Второй, и нужен конечно ещё канал с Полковником) в каждый момент переключения канала наблюдатель будет иметь novelty, но поскольку история наблюдений теперь не очень помогает (лосс не будет уменьшаться, новые каналы генерят иной шум), теряется learnability.
Interestingness явно в описании не фигурирует, но она задаётся через выбор функции потерь. Интересные части артефактов — это те фичи, которые наблюдатель выбрал как полезные для выучивания.
Есть и другие определения open-endedness (среди свежих, например, “A Definition of Open-Ended Learning Problems for Goal-Conditioned Agents” https://arxiv.org/abs/2311.00344, в котором тоже фигурирует наблюдатель) а также куча других связанных идей (им посвящено приложение C).
Наблюдатель — это отдельная большая и важная тема. Традиционно у нас есть большой класс наблюдателей под названием “человеки”. Но текущее определение позволяет быть и иным наблюдателям, например, чтобы покрыть и неантропоцентричные open-ended системы (типа биологической эволюции). Это позволяет и рассуждать об open-ended системах, превосходящих человека (ASI). Ещё это позволяет определить, является ли система open-ended по отношению к любому наблюдателю.
🔥26👍8❤2
Поскольку у наблюдателя есть некий временной горизонт τ, ограничивающий его наблюдения системы, разные системы могут быть open-ended на разных временных масштабах. Если система остаётся open-ended на любом временном горизонте (τ → ∞), то мы называем её infinitely open-ended. В противном случае она finitely open-ended со временным горизонтом τ по отношению к наблюдателю O. Например, Adaptive Agent (AdA из “Human-Timescale Adaptation in an Open-Ended Task Space” https://arxiv.org/abs/2301.07608) — finitely open-ended с горизонтом примерно 1 месяц (для него novelty выходило на плато после этого времени обучения в силу ограниченности богатства задач и размера сети агента).
Когнитивные способности наблюдателя тоже влияют, у него банально может не хватить памяти и он начнёт забывать старые наблюдения (хорошо уметь качественно сжимать!), так что с его точки зрения система перестанет быть open-ended. С этим легче совладать в более узких доменах (в нашем, по ощущению, всё сложнее).
В работе с точки зрения человеческого наблюдателя разбираются несколько примеров известных агентов.
Первых архетипический пример — AlphaGo, которая novel (находит новые неожиданные ходы) и learnable (человек может у неё научиться новым полиси и улучшить свой лосс). Она open-ended (спасибо self-play?) и также является примером narrow superhuman intelligence (по классификации из “Levels of AGI for Operationalizing Progress on the Path to AGI” https://arxiv.org/abs/2311.02462).
Другой пример — упоминавшийся выше AdA, решавший задачи в 3D-средах XLand2 и постоянно демонстрировавший новые способности (zero-shot/few-shot способности на средах, где он не обучался). За ним стоят алгоритмы unsupervised environment design (UED) с automatic curriculum и подбором сред в зоне ближайшего развития по Выготскому. Но в обучении AdA был замечен выход на плато, так что вероятно если вбухать на порядок больше compute, то AdA перестанет быть open-ended. Чтобы это пофиксить понадобятся более богатые среды и более сложный агент для поддержки коэволюции среды и агента в UED.
Третий пример — POET (“Paired Open-Ended Trailblazer (POET): Endlessly Generating Increasingly Complex and Diverse Learning Environments and Their Solutions” https://arxiv.org/abs/1901.01753). Там обучается популяция агентов, каждый из которых связан с эволюционирующей по ходу дела средой, периодически агенты переносятся в новые среды. Эти артефакты в лице пар агент-среда являются open-ended по отношению к человеческому наблюдателю, который моделирует возникающие фичи среды и способности агента. Тут есть и novelty (за счёт мутаций в алгоритме Quality Diversity, генерящем новые неожиданные среды) и learnability (потому что мутации небольшие и история прошлых сред даёт ориентиры к свойствам текущей). Как и в AdA главное ограничение на open-endedness это параметризация сред — агент выходит на плато, когда все ландшафты решены.
Финальный пример — современные foundation models. Он негативный, потому что они обучаются на фиксированных датасетах и наблюдатель рано или поздно выучит всю epistemic uncertainty. Они могут выглядеть для человека open-ended на достаточно обширном домене в силу ограниченной памяти человека, но если начать сужать фокус, то проблемы становятся заметны.
НО! По мнению авторов, дополнение foundation models open-endedness открывает путь к ASI, а то, что модели обусловливаются контекстом, ломает логику невозможности быть open-ended — контекст, в принципе, позволяет рекомбинировать концепты open-ended способом.
Когнитивные способности наблюдателя тоже влияют, у него банально может не хватить памяти и он начнёт забывать старые наблюдения (хорошо уметь качественно сжимать!), так что с его точки зрения система перестанет быть open-ended. С этим легче совладать в более узких доменах (в нашем, по ощущению, всё сложнее).
В работе с точки зрения человеческого наблюдателя разбираются несколько примеров известных агентов.
Первых архетипический пример — AlphaGo, которая novel (находит новые неожиданные ходы) и learnable (человек может у неё научиться новым полиси и улучшить свой лосс). Она open-ended (спасибо self-play?) и также является примером narrow superhuman intelligence (по классификации из “Levels of AGI for Operationalizing Progress on the Path to AGI” https://arxiv.org/abs/2311.02462).
Другой пример — упоминавшийся выше AdA, решавший задачи в 3D-средах XLand2 и постоянно демонстрировавший новые способности (zero-shot/few-shot способности на средах, где он не обучался). За ним стоят алгоритмы unsupervised environment design (UED) с automatic curriculum и подбором сред в зоне ближайшего развития по Выготскому. Но в обучении AdA был замечен выход на плато, так что вероятно если вбухать на порядок больше compute, то AdA перестанет быть open-ended. Чтобы это пофиксить понадобятся более богатые среды и более сложный агент для поддержки коэволюции среды и агента в UED.
Третий пример — POET (“Paired Open-Ended Trailblazer (POET): Endlessly Generating Increasingly Complex and Diverse Learning Environments and Their Solutions” https://arxiv.org/abs/1901.01753). Там обучается популяция агентов, каждый из которых связан с эволюционирующей по ходу дела средой, периодически агенты переносятся в новые среды. Эти артефакты в лице пар агент-среда являются open-ended по отношению к человеческому наблюдателю, который моделирует возникающие фичи среды и способности агента. Тут есть и novelty (за счёт мутаций в алгоритме Quality Diversity, генерящем новые неожиданные среды) и learnability (потому что мутации небольшие и история прошлых сред даёт ориентиры к свойствам текущей). Как и в AdA главное ограничение на open-endedness это параметризация сред — агент выходит на плато, когда все ландшафты решены.
Финальный пример — современные foundation models. Он негативный, потому что они обучаются на фиксированных датасетах и наблюдатель рано или поздно выучит всю epistemic uncertainty. Они могут выглядеть для человека open-ended на достаточно обширном домене в силу ограниченной памяти человека, но если начать сужать фокус, то проблемы становятся заметны.
НО! По мнению авторов, дополнение foundation models open-endedness открывает путь к ASI, а то, что модели обусловливаются контекстом, ломает логику невозможности быть open-ended — контекст, в принципе, позволяет рекомбинировать концепты open-ended способом.
👍3❤2😱1
По мнению авторов, тренд улучшения foundation models за счёт скейлинга и обучения на пассивных данных скоро выйдет на плато и сам по себе недостаточен для достижения ASI (но недостаточен не в смысле невозможно, а в смысле unlikely, потому что open-endedness по своей сути — experiential process). Чтобы достичь open-endedness в foundation models осталось всего несколько шагов, а самый быстрый путь к ASI будет вдохновлён научным методом (с его гипотезами, фальсификациями через эксперименты и кодификацией результата в новое знание) и компиляцией датасета онлайн через комбинацию foundation models и open-ended алгоритмов.
Среди перспективных направлений выделяют следующие (а также ссылаются на другие пути других авторов, среди таких путей замечена Assembly theory, см. https://www.quantamagazine.org/a-new-theory-for-the-assembly-of-life-in-the-universe-20230504/):
1. Reinforcement Learning. Один из интересных свежих примеров как можно завернуть RL-подобный self-improvement поверх LLM — это “Voyager: An Open-Ended Embodied Agent with Large Language Models” (https://arxiv.org/abs/2305.16291). Другие примеры показывают, как LLM могут направлять агентов, предоставляя reward или собирая куррикулум задач.
2. Self-Improvement чтобы активно вовлекаться в задачи, расширяющие границы знаний и способностей агента, например, через использование тулов (https://www.tgoop.com/gonzo_ML/1305) или коммуникацию с другими агентами. Есть куча примеров, когда модели могут использоваться для фидбека вместо людей (например, Constitutional AI https://www.tgoop.com/gonzo_ML/1285), что наводит на мысли об использовании моделей для генерации своих собственных сэмплов и обновления в режиме open-ended.
3. Task Generation aka “The Problem Problem” (“Autocurricula and the Emergence of Innovation from Social Interaction: A Manifesto for Multi-Agent Intelligence Research” https://arxiv.org/abs/1903.00742) про то, как сгенерить кучу интересных сред, полезных для обучения агента. Как альтернатива, это учить world models, в которых можно симулировать результаты действий. Их можно комбинировать с мультимодальными reward models и генерировать open-ended curriculum.
4. Evolutionary Algorithms. LLM могут исполнять роль операторов отбора и мутации, начиная с дизайна промптов (там уже работает лучше человека). Отдельная интересная тема — эволюция в пространстве кодов (см. Eureka или FunSearch). Открытый вопрос, как перейти от кода для специальных доменов к более общим.
Во всех этих разделах, да и вообще во всей работе огромное количество ссылок по теме, заслуживает пристального изучения само по себе. Также в работе много интересных мыслей по ходу дела, я не пытался перенести в обзор все.
Отдельная глава про риски и responsibility в контексте ASI.
Open-ended системы by design могут и будут вести к новым возможностям, в том числе двойного назначения. Особенно это опасно, если система сама может совершать действия в среде. Exploration может быть очень агрессивным и здесь есть все проблемы AI agency включая goal misgeneralization (https://www.tgoop.com/gonzo_ML/1160) и specification gaming.
Производимые системой артефакты могут стать непонятны для человека и в этом смысле система перестанет быть для человека open-ended по текущему определению, потому что перестанет быть learnable. Чтобы оставаться полезными для человека они должны быть понимаемы. Здесь большое поле для работ по интерпретируемости и объяснимости.
Отдельный вопрос, смогут ли человеки направлять open-ended системы, ибо такие системы могут не иметь хорошо определённых objectives и быть непредсказуемыми. Возможны какие-то варианты human-in-the-loop или openendedness from human feedback. Кроме направляемости система должна обращать внимание человека на неожиданные и потенциально важные артефакты. Но это всё большой вопрос, как скрестить направляемость и open-endedness.
Большой нетехнический вопрос — как общество адаптируется к open-ended моделям. Надо предусмотреть механизмы избегания различных tipping points, чтобы не было как с The Flash Crash (https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2721922).
Среди перспективных направлений выделяют следующие (а также ссылаются на другие пути других авторов, среди таких путей замечена Assembly theory, см. https://www.quantamagazine.org/a-new-theory-for-the-assembly-of-life-in-the-universe-20230504/):
1. Reinforcement Learning. Один из интересных свежих примеров как можно завернуть RL-подобный self-improvement поверх LLM — это “Voyager: An Open-Ended Embodied Agent with Large Language Models” (https://arxiv.org/abs/2305.16291). Другие примеры показывают, как LLM могут направлять агентов, предоставляя reward или собирая куррикулум задач.
2. Self-Improvement чтобы активно вовлекаться в задачи, расширяющие границы знаний и способностей агента, например, через использование тулов (https://www.tgoop.com/gonzo_ML/1305) или коммуникацию с другими агентами. Есть куча примеров, когда модели могут использоваться для фидбека вместо людей (например, Constitutional AI https://www.tgoop.com/gonzo_ML/1285), что наводит на мысли об использовании моделей для генерации своих собственных сэмплов и обновления в режиме open-ended.
3. Task Generation aka “The Problem Problem” (“Autocurricula and the Emergence of Innovation from Social Interaction: A Manifesto for Multi-Agent Intelligence Research” https://arxiv.org/abs/1903.00742) про то, как сгенерить кучу интересных сред, полезных для обучения агента. Как альтернатива, это учить world models, в которых можно симулировать результаты действий. Их можно комбинировать с мультимодальными reward models и генерировать open-ended curriculum.
4. Evolutionary Algorithms. LLM могут исполнять роль операторов отбора и мутации, начиная с дизайна промптов (там уже работает лучше человека). Отдельная интересная тема — эволюция в пространстве кодов (см. Eureka или FunSearch). Открытый вопрос, как перейти от кода для специальных доменов к более общим.
Во всех этих разделах, да и вообще во всей работе огромное количество ссылок по теме, заслуживает пристального изучения само по себе. Также в работе много интересных мыслей по ходу дела, я не пытался перенести в обзор все.
Отдельная глава про риски и responsibility в контексте ASI.
Open-ended системы by design могут и будут вести к новым возможностям, в том числе двойного назначения. Особенно это опасно, если система сама может совершать действия в среде. Exploration может быть очень агрессивным и здесь есть все проблемы AI agency включая goal misgeneralization (https://www.tgoop.com/gonzo_ML/1160) и specification gaming.
Производимые системой артефакты могут стать непонятны для человека и в этом смысле система перестанет быть для человека open-ended по текущему определению, потому что перестанет быть learnable. Чтобы оставаться полезными для человека они должны быть понимаемы. Здесь большое поле для работ по интерпретируемости и объяснимости.
Отдельный вопрос, смогут ли человеки направлять open-ended системы, ибо такие системы могут не иметь хорошо определённых objectives и быть непредсказуемыми. Возможны какие-то варианты human-in-the-loop или openendedness from human feedback. Кроме направляемости система должна обращать внимание человека на неожиданные и потенциально важные артефакты. Но это всё большой вопрос, как скрестить направляемость и open-endedness.
Большой нетехнический вопрос — как общество адаптируется к open-ended моделям. Надо предусмотреть механизмы избегания различных tipping points, чтобы не было как с The Flash Crash (https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2721922).
👍10🔥5❤4🤔2🥱1
Кроме того даже если отдельные компоненты human-AI open-ended системы безопасны, целая система может приводить к непредвиденным проблемам.
В общем вопросов много, но и будущее может быть весьма интересным. Возможно, мы не очень от него далеко.
В общем вопросов много, но и будущее может быть весьма интересным. Возможно, мы не очень от него далеко.
arXiv.org
Open-Endedness is Essential for Artificial Superhuman Intelligence
In recent years there has been a tremendous surge in the general capabilities of AI systems, mainly fuelled by training foundation models on internetscale data. Nevertheless, the creation of...
🔥5👍3🤔3
Библия промпт-инженера подоспела :)
The Prompt Report: A Systematic Survey of Prompting Techniques
https://arxiv.org/abs/2406.06608
The Prompt Report: A Systematic Survey of Prompting Techniques
https://arxiv.org/abs/2406.06608
arXiv.org
The Prompt Report: A Systematic Survey of Prompt Engineering Techniques
Generative Artificial Intelligence (GenAI) systems are increasingly being deployed across diverse industries and research domains. Developers and end-users interact with these systems through the...
🔥36😁11👍1
Обновление в стане Gemma -- новая большая RecurrentGemma (https://www.tgoop.com/gonzo_ML/2513) теперь 9B. Построена на архитектуре Griffin (
https://www.tgoop.com/gonzo_ML/2500).
https://www.kaggle.com/models/google/recurrentgemma
Главное достоинство -- Throughput.
https://www.tgoop.com/gonzo_ML/2500).
https://www.kaggle.com/models/google/recurrentgemma
Главное достоинство -- Throughput.
Telegram
gonzo-обзоры ML статей
RecurrentGemma: Moving Past Transformers for Efficient Open Language Models
DeepMind: Griffin, RLHF, Gemma Teams
Статья: https://arxiv.org/abs/2404.07839
Модель: https://ai.google.dev/gemma/docs/recurrentgemma
Репа: https://github.com/google-deepmind/recurrentgemma…
DeepMind: Griffin, RLHF, Gemma Teams
Статья: https://arxiv.org/abs/2404.07839
Модель: https://ai.google.dev/gemma/docs/recurrentgemma
Репа: https://github.com/google-deepmind/recurrentgemma…
⚡4
Из другого интересного, Anthropic рассказал про red teaming моделей
https://www.anthropic.com/news/challenges-in-red-teaming-ai-systems
Red teaming methods this post covers:
Domain-specific, expert red teaming
* Trust & Safety: Policy Vulnerability Testing
* National security: Frontier threats red teaming
* Region-specific: Multilingual and multicultural red teaming
Using language models to red team
* Automated red teaming
Red teaming in new modalities
* Multimodal red teaming
Open-ended, general red teaming
* Crowdsourced red teaming for general harms
* Community-based red teaming for general risks and system limitations
https://www.anthropic.com/news/challenges-in-red-teaming-ai-systems
Red teaming methods this post covers:
Domain-specific, expert red teaming
* Trust & Safety: Policy Vulnerability Testing
* National security: Frontier threats red teaming
* Region-specific: Multilingual and multicultural red teaming
Using language models to red team
* Automated red teaming
Red teaming in new modalities
* Multimodal red teaming
Open-ended, general red teaming
* Crowdsourced red teaming for general harms
* Community-based red teaming for general risks and system limitations
Anthropic
Challenges in Red Teaming AI Systems
In this post we detail insights from a sample of red teaming approaches that we’ve used to test our AI systems. Through this practice, we’ve begun to gather empirical data about the appropriate tool to reach for in a given situation, and the associated benefits…
🔥11👍6❤1
Новости гибридной силы!
Нвидиа и ко выпустили статью про сравнение свежих Мамб с трансформерами и нашли места, где мамба недотягивает. Но тут же предложили гибрид с трансформером, который всех превосходит.
An Empirical Study of Mamba-based Language Models
https://arxiv.org/abs/2406.07887
Игорь уже подробно разобрал статью, вэлкам сюда:
https://www.tgoop.com/seeallochnaya/1528
Интересно, конечно, когда же уже кто-нибудь (Нвидиа уж могла бы!) обучит большую SSM, параметром на 100B+. Интересно как там всё скейлится и что неожиданного появляется.
Нвидиа и ко выпустили статью про сравнение свежих Мамб с трансформерами и нашли места, где мамба недотягивает. Но тут же предложили гибрид с трансформером, который всех превосходит.
An Empirical Study of Mamba-based Language Models
https://arxiv.org/abs/2406.07887
Игорь уже подробно разобрал статью, вэлкам сюда:
https://www.tgoop.com/seeallochnaya/1528
Интересно, конечно, когда же уже кто-нибудь (Нвидиа уж могла бы!) обучит большую SSM, параметром на 100B+. Интересно как там всё скейлится и что неожиданного появляется.
arXiv.org
An Empirical Study of Mamba-based Language Models
Selective state-space models (SSMs) like Mamba overcome some of the shortcomings of Transformers, such as quadratic computational complexity with sequence length and large inference-time memory...
👍17❤3🔥1
(Perhaps) Beyond Human Translation: Harnessing Multi-Agent Collaboration for Translating Ultra-Long Literary Texts
Minghao Wu, Yulin Yuan, Gholamreza Haffari, Longyue Wang
Статья: https://arxiv.org/abs/2405.11804
Репа: https://github.com/minghao-wu/transagents
За последний год-два практики работы с LLM сильно эволюционировали. Начиналось всё чисто с LLM, промптов и разных стратегий вокруг (CoT и т.п., https://www.tgoop.com/gonzo_ML/1885). Потом появились LLM Programs (https://www.tgoop.com/gonzo_ML/1584), развились фреймворки типа LangChain/Semantic Kernel/Prompt Flow, а дальше и всякие мультиагентные истории типа LangGraph, CrewAI и прочего. SOM (https://www.tgoop.com/gonzo_ML/2008) тоже где-то рядом. И в каждой ветке развитие продолжается.
Сегодня про мультиагентную работу на примере перевода. Кстати, на днях Andrew Ng тоже отметился на этом поле, выпустил Translation Agent: Agentic translation using reflection workflow (https://github.com/andrewyng/translation-agent), где агент сначала делает перевод, потом рефлексирует над ним, затем делает с учётом этого улучшенный перевод. Можно сказать, это лайтовый вариант того, что сегодня разберём.
В работе авторы собрали виртуальную (пока) мультиагентную компанию под названием TransAgents, специализирующуюся на литературном переводе. Работа невоспроизводима, важные артефакты — код и промпты отсутствуют. Но это не отменяет её интересности.
Роли в компании: CEO, Senior Editor, Junior Editor, Translator, Localization Specialist, Proofreader. Для каждой роли через GPT-4 Turbo сгенерили 30 разнообразных профилей. В профиле есть как относящиеся к переводу атрибуты (знание языков, опыт, образование, цена за слово), так и не напрямую относящиеся (хобби, персона, возраст, пол, национальность). Интересно было бы проанализировать, как это влияет на результат.
В работе используются две стратегии коллаборации: Addition-by-Subtraction Collaboration и Trilateral Collaboration.
Addition-by-Subtraction Collaboration в отличие от типовых стратегий дебатов, когда разные агенты предлагают свои решения, а отдельный агент её завершает, имеет только два участника. Первый агент (addition) стремится извлечь всю релевантную информацию и добавить её, а второй агент (subtraction) делает ревью, обнаруживает избыточность и даёт фидбек первому. Интеракция продолжается, пока требуются ревизии.
В Trilateral Collaboration три действующих ветви: действие (Action), критика (Critique) и суждение (Judgment), в каждую назначается по агенту. Актор производит результат, критик его критикует и добавляет в историю общения, которую на следующей итерации актор может учесть в генерации обновлённого ответа. Судья в конце каждой (после первой) итерации смотрит на ответ и решает продолжать дискуссию или можно её завершить.
Процесс в компании двухступенчатый, состоит из фаз preparation и execution, работает это так.
1) В фазе preparation человек-заказчик приходит с запросом на литературный перевод текста. В этот момент назначенный CEO агент под запросы конкретного клиента выбирает (используя self-reflection) главного редактора (Senior Editor) с учётом его квалификации.
Для перевода надо подготовить translation guideline из пяти компонент, включающий глоссарий, саммари, тон, стиль и целевую аудиторию.
Ключевые термины для глоссария собираются в режиме Addition-by-Subtraction, где роль Addition agent выполняет Junior Editor (добавляет всё важное), а Subtraction agent — Senior Editor (убирает общеупотребимые слова). Затем Senior Editor переводит их с учётом контекста. Аналогичным образом собираются саммари глав, затем главред собирает из них саммари книги. Также главред определяет тон, стиль и целевую аудиторию на примере рандомной главы.
Весь собранный гайдлайн используется как важная часть промптов для всех ролей, участвующих в дальнейшем переводе, поддерживая консистентность и согласованность всей работы.
Minghao Wu, Yulin Yuan, Gholamreza Haffari, Longyue Wang
Статья: https://arxiv.org/abs/2405.11804
Репа: https://github.com/minghao-wu/transagents
За последний год-два практики работы с LLM сильно эволюционировали. Начиналось всё чисто с LLM, промптов и разных стратегий вокруг (CoT и т.п., https://www.tgoop.com/gonzo_ML/1885). Потом появились LLM Programs (https://www.tgoop.com/gonzo_ML/1584), развились фреймворки типа LangChain/Semantic Kernel/Prompt Flow, а дальше и всякие мультиагентные истории типа LangGraph, CrewAI и прочего. SOM (https://www.tgoop.com/gonzo_ML/2008) тоже где-то рядом. И в каждой ветке развитие продолжается.
Сегодня про мультиагентную работу на примере перевода. Кстати, на днях Andrew Ng тоже отметился на этом поле, выпустил Translation Agent: Agentic translation using reflection workflow (https://github.com/andrewyng/translation-agent), где агент сначала делает перевод, потом рефлексирует над ним, затем делает с учётом этого улучшенный перевод. Можно сказать, это лайтовый вариант того, что сегодня разберём.
В работе авторы собрали виртуальную (пока) мультиагентную компанию под названием TransAgents, специализирующуюся на литературном переводе. Работа невоспроизводима, важные артефакты — код и промпты отсутствуют. Но это не отменяет её интересности.
Роли в компании: CEO, Senior Editor, Junior Editor, Translator, Localization Specialist, Proofreader. Для каждой роли через GPT-4 Turbo сгенерили 30 разнообразных профилей. В профиле есть как относящиеся к переводу атрибуты (знание языков, опыт, образование, цена за слово), так и не напрямую относящиеся (хобби, персона, возраст, пол, национальность). Интересно было бы проанализировать, как это влияет на результат.
В работе используются две стратегии коллаборации: Addition-by-Subtraction Collaboration и Trilateral Collaboration.
Addition-by-Subtraction Collaboration в отличие от типовых стратегий дебатов, когда разные агенты предлагают свои решения, а отдельный агент её завершает, имеет только два участника. Первый агент (addition) стремится извлечь всю релевантную информацию и добавить её, а второй агент (subtraction) делает ревью, обнаруживает избыточность и даёт фидбек первому. Интеракция продолжается, пока требуются ревизии.
В Trilateral Collaboration три действующих ветви: действие (Action), критика (Critique) и суждение (Judgment), в каждую назначается по агенту. Актор производит результат, критик его критикует и добавляет в историю общения, которую на следующей итерации актор может учесть в генерации обновлённого ответа. Судья в конце каждой (после первой) итерации смотрит на ответ и решает продолжать дискуссию или можно её завершить.
Процесс в компании двухступенчатый, состоит из фаз preparation и execution, работает это так.
1) В фазе preparation человек-заказчик приходит с запросом на литературный перевод текста. В этот момент назначенный CEO агент под запросы конкретного клиента выбирает (используя self-reflection) главного редактора (Senior Editor) с учётом его квалификации.
Для перевода надо подготовить translation guideline из пяти компонент, включающий глоссарий, саммари, тон, стиль и целевую аудиторию.
Ключевые термины для глоссария собираются в режиме Addition-by-Subtraction, где роль Addition agent выполняет Junior Editor (добавляет всё важное), а Subtraction agent — Senior Editor (убирает общеупотребимые слова). Затем Senior Editor переводит их с учётом контекста. Аналогичным образом собираются саммари глав, затем главред собирает из них саммари книги. Также главред определяет тон, стиль и целевую аудиторию на примере рандомной главы.
Весь собранный гайдлайн используется как важная часть промптов для всех ролей, участвующих в дальнейшем переводе, поддерживая консистентность и согласованность всей работы.
🔥22❤1👍1
2) Фаза execution разделяется на четыре подэтапа: translation, cultural adaptation, proofreading, final review. Первые три работают в режиме Trilateral Collaboration, Action агентом выступают Translator, Localization Specialist, и Proofreader соответственно, а Critique и Judgment агентами выступают Junior Editor и Senior Editor. В эти фазы контент переводится (по главам), адаптируется под культуру и вычитывается на предмет ошибок.
Заключающим этапом выступает финальное ревью, здесь Senior Editor оценивает качество каждой главы, а также смотрит как одна глава перетекает в другую.
Judgement агент считается важным для сохранения качества перевода, потому что модели недостаточно хорошо работают с длинным контекстом и смысл переводов начинает отклоняться от оригинала через несколько итераций ревью. Судья не пользуется всей историей ревью и позволяет поддерживать итоговое качество.
В основе всех агентов лежит GPT-4 Turbo (gpt-4-1106-preview).
Эксперимент основан на задаче discourse-level literary translation (DLLT) из WMT2023 (https://www2.statmt.org/wmt23/literary-translation-task.html).
Бейзлайны -- Llama-MT (файнтюн ламы на литературный перевод), GPT-4 (с переводом по отдельным главам), Google Translate (с переводом по предложениям), DUT (из WMT23 Discourse-Level Literary Translation https://aclanthology.org/2023.wmt-1.31/), HW-TSC (https://aclanthology.org/2023.wmt-1.32/ оттуда же).
Тестсет тоже взят с WMT2023, он собран из 12 (в работе написано 20, но это видимо опечатка, оригинальный финальный тестсет содержит 12) web novels, в каждой по 20 глав, что дало 240 глав (в соревновании 239, https://aclanthology.org/2023.wmt-1.3/).
Оценка стандартная (как для обычного MT, здесь через document-level BLEU aka d-BLEU), а также Preference Evaluation.
Интересно, что по d-BLEU TransAgents оказался заметно хуже всех (25 против 43-52). Но BLEU в принципе далека от идеала даже для обычных переводов, что уж там про литературные говорить, когда всё то же самое можно сказать вообще другими словами и одного универсального перевода может и не быть. Да и к референсам, относительно которых она считается, тоже бывает много вопросов. В общем низкое значение этой метрики здесь само по себе мало что говорит.
Поэтому использовались два других метода оценки. Авторы предложили две стратегии под названием Monolingual Human Preference (MHP) и Bilingual LLM Preference (BLP). Обе сравнивают два варианта перевода и выбирают лучший. Каждый метод выдаёт на выходе winning rate в процентах, говорящий как часто выход текущей системы предпочитался другому.
Monolingual Human Preference (MHP) основан на человеческой оценке (через SurveyMonkey) и человеку не показывают текст оригинала на исходном языке. Здесь каждая глава нарезалась вручную на кусочки примерно по 150 слов и эти кусочки давались на оценку. Каждый оценщик последовательно оценивал все сегменты конкретной главы, чтобы учитывался полный контекст и потому что они могут зависеть друг от друга.
Bilingual LLM Preference (BLP) использует LLM (gpt-4-0125-preview, другая модель чтобы было меньше bias’а) вместо человека. Ей в промпте даётся исходный текст и два перевода, между которыми надо выбрать лучший. Работает по сегментам, а не по полным главам. Каждая пара (сегмент и его перевод) оценивалась и в прямом, и в обратном направлении (правда, я не понял, в обратном направлении откуда два варианта перевода взять). Деталей промпта оценки нету (только его начало), непонятно, они сразу просили выбрать что лучше, или какая-то разбивка по типам проблем как в MQM (https://www.taus.net/data-solutions/dqf-mqm-error-annotation) была.
Обе оценки делали по первым двум главам каждой из 12 новелл. По MHP сравнивали только с gpt-4-1106-preview и с человеческой оценкой Reference 1 из датасета (там ещё есть Reference 2), ибо человеческая оценка дорогая.
Переводы TransAgents чуть более предпочтительны по обеим оценкам, чем референс или gpt-4. BLP особенно предпочитает TransAgents референсу 1 (примерно 66% против 30%).
Заключающим этапом выступает финальное ревью, здесь Senior Editor оценивает качество каждой главы, а также смотрит как одна глава перетекает в другую.
Judgement агент считается важным для сохранения качества перевода, потому что модели недостаточно хорошо работают с длинным контекстом и смысл переводов начинает отклоняться от оригинала через несколько итераций ревью. Судья не пользуется всей историей ревью и позволяет поддерживать итоговое качество.
В основе всех агентов лежит GPT-4 Turbo (gpt-4-1106-preview).
Эксперимент основан на задаче discourse-level literary translation (DLLT) из WMT2023 (https://www2.statmt.org/wmt23/literary-translation-task.html).
Бейзлайны -- Llama-MT (файнтюн ламы на литературный перевод), GPT-4 (с переводом по отдельным главам), Google Translate (с переводом по предложениям), DUT (из WMT23 Discourse-Level Literary Translation https://aclanthology.org/2023.wmt-1.31/), HW-TSC (https://aclanthology.org/2023.wmt-1.32/ оттуда же).
Тестсет тоже взят с WMT2023, он собран из 12 (в работе написано 20, но это видимо опечатка, оригинальный финальный тестсет содержит 12) web novels, в каждой по 20 глав, что дало 240 глав (в соревновании 239, https://aclanthology.org/2023.wmt-1.3/).
Оценка стандартная (как для обычного MT, здесь через document-level BLEU aka d-BLEU), а также Preference Evaluation.
Интересно, что по d-BLEU TransAgents оказался заметно хуже всех (25 против 43-52). Но BLEU в принципе далека от идеала даже для обычных переводов, что уж там про литературные говорить, когда всё то же самое можно сказать вообще другими словами и одного универсального перевода может и не быть. Да и к референсам, относительно которых она считается, тоже бывает много вопросов. В общем низкое значение этой метрики здесь само по себе мало что говорит.
Поэтому использовались два других метода оценки. Авторы предложили две стратегии под названием Monolingual Human Preference (MHP) и Bilingual LLM Preference (BLP). Обе сравнивают два варианта перевода и выбирают лучший. Каждый метод выдаёт на выходе winning rate в процентах, говорящий как часто выход текущей системы предпочитался другому.
Monolingual Human Preference (MHP) основан на человеческой оценке (через SurveyMonkey) и человеку не показывают текст оригинала на исходном языке. Здесь каждая глава нарезалась вручную на кусочки примерно по 150 слов и эти кусочки давались на оценку. Каждый оценщик последовательно оценивал все сегменты конкретной главы, чтобы учитывался полный контекст и потому что они могут зависеть друг от друга.
Bilingual LLM Preference (BLP) использует LLM (gpt-4-0125-preview, другая модель чтобы было меньше bias’а) вместо человека. Ей в промпте даётся исходный текст и два перевода, между которыми надо выбрать лучший. Работает по сегментам, а не по полным главам. Каждая пара (сегмент и его перевод) оценивалась и в прямом, и в обратном направлении (правда, я не понял, в обратном направлении откуда два варианта перевода взять). Деталей промпта оценки нету (только его начало), непонятно, они сразу просили выбрать что лучше, или какая-то разбивка по типам проблем как в MQM (https://www.taus.net/data-solutions/dqf-mqm-error-annotation) была.
Обе оценки делали по первым двум главам каждой из 12 новелл. По MHP сравнивали только с gpt-4-1106-preview и с человеческой оценкой Reference 1 из датасета (там ещё есть Reference 2), ибо человеческая оценка дорогая.
Переводы TransAgents чуть более предпочтительны по обеим оценкам, чем референс или gpt-4. BLP особенно предпочитает TransAgents референсу 1 (примерно 66% против 30%).
👍11❤2🔥1
Авторы копнули чуть глубже в стандартную оценку с d-BLEU и оценили переводы на разных шагах процесса. Перевод сразу через gpt-4-1106-preview (которую используют и агенты) даёт высокую оценку 47.8, перевод агентами — 28.8 и затем оценка ещё уменьшается на этапах локализации и пруфридинга. Авторы считают, что на изначально низкие скоры перевода сильно влияет гайдлайн.
Оригинальные тексты распределены по разным жанрам и более детальный анализ показал, что TransAgents даёт лучший результат в областях, где требуются обширные доменные знания типа исторического контекста или культурных нюансов (что также заметный челлендж для переводчиков). Хуже система работает на Contemporary Romance (CR), Science Fiction (SF) и Horror & Thriller, где таких знаний вроде не требуется.
Также оценили Linguistic Diversity по метрикам Moving-Average Type-Token Ratio (MATTR) и Measure of Textual Lexical Diversity (MTLD). Оценки системы лучше, чем у бейзлайнов.
Оценка цены для TransAgents составляет $500 за весь тестсет или примерно $2.08 за одну главу. Оценка работы человека сделана как $168.48 за главу.
В работе есть кейс стади с разбором конкретных свойств, проблем и особенностей TransAgents. Система лучше чем ванильная gpt-4-1106-preview (а также лучше типа человеческого референса, но надо ещё смотреть откуда он такой взялся) сделала культурную адаптацию на примере перевода имён и должностей. Также TransAgents (как и референс) лучше чем чистая gpt в консистентности перевода названий глав. При этом и gpt и TransAgents делают пропуски (omissions).
При слепой оценке одной главы двумя профессиональными переводчиками среди TransAgents, Reference 1, gpt-4-1106-preview те охарактеризовали переводы TransAgents как имеющие романный выразительный стиль, использующий богатый язык, но иногда теряющий части оригинального текста. Они оценили его как самый выразительный и захватывающий, а Reference 1 и gpt-4-1106-preview как самые традиционные.
Авторы подсвечивают проблемы подхода, на их взгляд в основном они в части оценки. Большие тексты оценивать сложно (и дорого), а использовавшаяся нарезка на фрагменты (не факт, что лучшая) как-то влияет. Масштаб исследования был мал, и нет гарантий, что целевая аудитория была отобрана верно. К происхождению референсов тоже есть вопросы. Всё это остаётся на будущее.
В любом случае работа интересная. Представить работоспособную систему подобного рода даже пару лет назад было проблематично, а сейчас мультиагентные системы доросли до вполне сносной работоспособности. Всё что мы видим — пока лишь первые ласточки. Другой ласточкой для меня были Generative Agents (https://www.tgoop.com/gonzo_ML/1481), но работ такого плана теперь уже много — тут и свежий госпиталь (https://arxiv.org/abs/2405.02957), и Automated Social Science (https://arxiv.org/abs/2404.11794), и помощь в разработке софта (https://arxiv.org/abs/2307.07924), и дофига всего ещё (https://github.com/AGI-Edgerunners/LLM-Agents-Papers). На горизонте года-двух мы увидим сильно больше рабочих кейсов, оформится богатая практика работы с такими системами, устоятся работающие паттерны, да и улучшенные модели тоже добавят качества. Кто учился на промпт-инженера, должен будет переучиваться на агент-хоровода.
А также интересно, когда появится первое чисто виртуальное агентство (на таких вот агентах) чего-нибудь со сходящейся экономикой. В идеале чтобы человек вообще был не нужен, так, может раз в полгода сервер перезапускать :) Я думаю, мы уже в этой точке, можно делать.
Оригинальные тексты распределены по разным жанрам и более детальный анализ показал, что TransAgents даёт лучший результат в областях, где требуются обширные доменные знания типа исторического контекста или культурных нюансов (что также заметный челлендж для переводчиков). Хуже система работает на Contemporary Romance (CR), Science Fiction (SF) и Horror & Thriller, где таких знаний вроде не требуется.
Также оценили Linguistic Diversity по метрикам Moving-Average Type-Token Ratio (MATTR) и Measure of Textual Lexical Diversity (MTLD). Оценки системы лучше, чем у бейзлайнов.
Оценка цены для TransAgents составляет $500 за весь тестсет или примерно $2.08 за одну главу. Оценка работы человека сделана как $168.48 за главу.
В работе есть кейс стади с разбором конкретных свойств, проблем и особенностей TransAgents. Система лучше чем ванильная gpt-4-1106-preview (а также лучше типа человеческого референса, но надо ещё смотреть откуда он такой взялся) сделала культурную адаптацию на примере перевода имён и должностей. Также TransAgents (как и референс) лучше чем чистая gpt в консистентности перевода названий глав. При этом и gpt и TransAgents делают пропуски (omissions).
При слепой оценке одной главы двумя профессиональными переводчиками среди TransAgents, Reference 1, gpt-4-1106-preview те охарактеризовали переводы TransAgents как имеющие романный выразительный стиль, использующий богатый язык, но иногда теряющий части оригинального текста. Они оценили его как самый выразительный и захватывающий, а Reference 1 и gpt-4-1106-preview как самые традиционные.
Авторы подсвечивают проблемы подхода, на их взгляд в основном они в части оценки. Большие тексты оценивать сложно (и дорого), а использовавшаяся нарезка на фрагменты (не факт, что лучшая) как-то влияет. Масштаб исследования был мал, и нет гарантий, что целевая аудитория была отобрана верно. К происхождению референсов тоже есть вопросы. Всё это остаётся на будущее.
В любом случае работа интересная. Представить работоспособную систему подобного рода даже пару лет назад было проблематично, а сейчас мультиагентные системы доросли до вполне сносной работоспособности. Всё что мы видим — пока лишь первые ласточки. Другой ласточкой для меня были Generative Agents (https://www.tgoop.com/gonzo_ML/1481), но работ такого плана теперь уже много — тут и свежий госпиталь (https://arxiv.org/abs/2405.02957), и Automated Social Science (https://arxiv.org/abs/2404.11794), и помощь в разработке софта (https://arxiv.org/abs/2307.07924), и дофига всего ещё (https://github.com/AGI-Edgerunners/LLM-Agents-Papers). На горизонте года-двух мы увидим сильно больше рабочих кейсов, оформится богатая практика работы с такими системами, устоятся работающие паттерны, да и улучшенные модели тоже добавят качества. Кто учился на промпт-инженера, должен будет переучиваться на агент-хоровода.
А также интересно, когда появится первое чисто виртуальное агентство (на таких вот агентах) чего-нибудь со сходящейся экономикой. В идеале чтобы человек вообще был не нужен, так, может раз в полгода сервер перезапускать :) Я думаю, мы уже в этой точке, можно делать.
arXiv.org
(Perhaps) Beyond Human Translation: Harnessing Multi-Agent...
Literary translation remains one of the most challenging frontiers in machine translation due to the complexity of capturing figurative language, cultural nuances, and unique stylistic elements....
🔥23👍10