В середине июля в Лондоне прошла летняя школа, для аспирантов и пост-доков - LOGML (London Geometry and Machine Learning). Тематика школы - применение методов геометрии и топологии в глубинном обучении, организатор Imperial College London. В 2021 и 2022 годах она была онлайн, в этом году все сделали очно. Направление школы идеально совпадает с темой моей диссертации, я участвовал в школе во все прошлые итерации, и в этот раз решил провести незабываемую неделю в Лондоне, работая над релевантным мне проектом. Структура школы включает лекции приглашенных спикеров, командные работы над проектами под руководством менторов (профессора, постдоки) и презентации результатов, всё мероприятие проходило в самом Imperial College. Из интересных, запомнившихся проектов были следующие:
Stability or Collapse: Topological Properties of Deep Autoencoders (2021) - применения ТДА для исследования внутренних представлений автоэнкодеров
Pretraining GNN with ELECTRA (2021) - предварительное обучение GNN для задач хим-информатики, но с применением техники предобучения ELECTRA, используемой в NLP
Platonic CNNs (2021) - применение CNN для сигналов со сложной геометрической структурой, например климатические особенности на поверхности Земли (сфере, которую предлагается приблизить икосаэдром - получается архитектура Icosahedral CNNs). Platonic - потому что икосаэдр платоново тело.
Characterizing generalization and adversarial robustness for set networks (2022) - по мотивам этой статьи, ментором был проф Толга Бирдал; проект по улучшению его подхода для предсказания обобщающей способности CNN на основе геометрии траектории пространства весов в процессе обучения. В этом году среди постерной сессии на школе была работа, которая критиковала статью Толги.
Geometric tools for investigating loss landscapes of deep neural networks (2022) - анализ геометрических свойства ландшафта функции потерь
On the Geometry of Relative Representations (2024) - улучшение подхода к вычислению без дополнительного дообучения новых внутренних представлений нейросеток для более эффективного их последующего использования.
Powerful Graph Neural Networks for Relational Databases (2024) - применение GNN для реляционных графов (k-partite graph), построенных по реляционным базам данных.
Self-supervised learning for Topological Neural Networks (2024) - разработка Self-supervised learning режима обучения для топологических GNN (более подробно про них в этом посте). Отдельное подробное описание этого проекта будет у Паши на канале.
Это далеко не полный список проектов. Как правило, по завершению проектов на школе команды пишут статьи. Впечатлений и новых знакомств море, все подавайтесь на след год тоже. Прикладываю фото со школы
Stability or Collapse: Topological Properties of Deep Autoencoders (2021) - применения ТДА для исследования внутренних представлений автоэнкодеров
Pretraining GNN with ELECTRA (2021) - предварительное обучение GNN для задач хим-информатики, но с применением техники предобучения ELECTRA, используемой в NLP
Platonic CNNs (2021) - применение CNN для сигналов со сложной геометрической структурой, например климатические особенности на поверхности Земли (сфере, которую предлагается приблизить икосаэдром - получается архитектура Icosahedral CNNs). Platonic - потому что икосаэдр платоново тело.
Characterizing generalization and adversarial robustness for set networks (2022) - по мотивам этой статьи, ментором был проф Толга Бирдал; проект по улучшению его подхода для предсказания обобщающей способности CNN на основе геометрии траектории пространства весов в процессе обучения. В этом году среди постерной сессии на школе была работа, которая критиковала статью Толги.
Geometric tools for investigating loss landscapes of deep neural networks (2022) - анализ геометрических свойства ландшафта функции потерь
On the Geometry of Relative Representations (2024) - улучшение подхода к вычислению без дополнительного дообучения новых внутренних представлений нейросеток для более эффективного их последующего использования.
Powerful Graph Neural Networks for Relational Databases (2024) - применение GNN для реляционных графов (k-partite graph), построенных по реляционным базам данных.
Self-supervised learning for Topological Neural Networks (2024) - разработка Self-supervised learning режима обучения для топологических GNN (более подробно про них в этом посте). Отдельное подробное описание этого проекта будет у Паши на канале.
Это далеко не полный список проектов. Как правило, по завершению проектов на школе команды пишут статьи. Впечатлений и новых знакомств море, все подавайтесь на след год тоже. Прикладываю фото со школы
Я на ICML 2024. Если вы тоже на конференции и хотите пообщаться, маякуйте. Скоро будут посты о конфе, интересных тут работах и впечатлениях.
ICML 2024. Конференция проходит с 21-го по 27-е июля в Вене. Первые пару дней были разгоночными, народ подтягивался, проводили туториалы, странные workshopы типа "{Dis}Ability and Queer in AI" и особо содержательных докладов на мой взгляд не было. Но дальше начались постерные и пленарны доклады, а поток релевантной информации стал очень плотным.
Параллельно докладам все дни проходит стендовая сессия, где представители разных компаний от DeepMind до Mistral AI щедро раздают мерч (+2 кг футболок и прочего), общаются с участниками и активно хантят. Если говорить об основной сессии с докладами, я особенно могу выделить следующие:
Position: LLMs Can’t Plan, But Can Help Planning in LLM-Modulo Frameworks - добродушный дедушка индус из США представил критицизм LLM с точки зрения их (не)способности к планированию и мб даже ризонингу. Что сильно идет в разрез с мейнстримом. Предлагается смотреть на LLM как на универсальные источники знаний смиксированных из разных доменов, и использовать их как модули (Cognitive Orthotics) для помощи в планировании людям или другим алгоритмам, но важно, чтобы был какой-то надежный внешний не LLM-мный критик. Этот подход удивительно точно совпадает с тем, над чем я в последнее время работал.
Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews - определение доли рецензий, сгенерированных ИИ, с ведущих конференций последних лет. Мы имеем Q - кол-во рецензий, написанных человеком, P - сгенерированных, всего рецензий = (1 − α)P + αQ, нужно найти α методом MLE. Стандартный сеттинг детекции ИИ-сгенерированного контента в центр ставит задачу обучить робастный к смене домена и генератора классификатор, но данная работа фокусируется на определении доли сгенерированных текстов во всем корпусе текстов. Основные выводы: Наблюдается значительное увеличение ИИ-рецензий после выхода ChatGPT (2023г). ИИ-рецензия с большей вероятностью появится перед дедлайном, будет иметь меньше ссылок на другие работы, а сам рецензент будет менее отзывчив к ребатлу.
Также на 3 и 4й день конференции было множество интересных постерных докладов:
1. Position: Topological Deep Learning is the New Frontier for Relational Learning - очень высокоуровнево определяются текущие тенденции, подходы и задачи в топологическом глубинном обучении. Постер представлял Бастиан Рик - большой человек в ТДА и не только.
2. Position: Categorical Deep Learning is an Algebraic Theory of All Architectures - статья от эзотеричной компании Symbolica AI. Авторы предлагают переговорить существующие архитектуры нейросеток (например RNN) в терминах теории категорий. Интересно и полезно, ибо может дать инструменты работы с логикой в DL и учитывать типизацию данных.
3. The Platonic Representation Hypothesis - основной посыл статьи в том, что представления данных в разных модальностях и в разных задачах/моделях сходятся к каким-то универсальным "объективным" представлениям, если говорить поэтично - живущим в мире идей Платона (см диалог Πολιτεία, книга 7).
4. Less is More: One-shot Subgraph Reasoning on Large-scale Knowledge Graphs - для ризонинга для графах иногда необходимо решать задачу link-prediction, авторы предлагают подход вычислительно-эффективного поиска наиболее релевантного подграфа кандидатов для предсказания связей.
И еще много разных интересных постерных докладов, добавлю в комментарии под постом.
Во многом, конференция - это новые знакомства и встречи, так удалось лично увидится со многими знакомыми, с которыми сотрудничал и общался онлайн, а также лично познакомиться с админами partially unsupervised и Love.Death.Transformers. Перекинулся парой слов со Шмидхубером. Впечатления от конференции позитивные.
А еще Вена очень похожа на Питер (или наоборот).
Параллельно докладам все дни проходит стендовая сессия, где представители разных компаний от DeepMind до Mistral AI щедро раздают мерч (+2 кг футболок и прочего), общаются с участниками и активно хантят. Если говорить об основной сессии с докладами, я особенно могу выделить следующие:
Position: LLMs Can’t Plan, But Can Help Planning in LLM-Modulo Frameworks - добродушный дедушка индус из США представил критицизм LLM с точки зрения их (не)способности к планированию и мб даже ризонингу. Что сильно идет в разрез с мейнстримом. Предлагается смотреть на LLM как на универсальные источники знаний смиксированных из разных доменов, и использовать их как модули (Cognitive Orthotics) для помощи в планировании людям или другим алгоритмам, но важно, чтобы был какой-то надежный внешний не LLM-мный критик. Этот подход удивительно точно совпадает с тем, над чем я в последнее время работал.
Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews - определение доли рецензий, сгенерированных ИИ, с ведущих конференций последних лет. Мы имеем Q - кол-во рецензий, написанных человеком, P - сгенерированных, всего рецензий = (1 − α)P + αQ, нужно найти α методом MLE. Стандартный сеттинг детекции ИИ-сгенерированного контента в центр ставит задачу обучить робастный к смене домена и генератора классификатор, но данная работа фокусируется на определении доли сгенерированных текстов во всем корпусе текстов. Основные выводы: Наблюдается значительное увеличение ИИ-рецензий после выхода ChatGPT (2023г). ИИ-рецензия с большей вероятностью появится перед дедлайном, будет иметь меньше ссылок на другие работы, а сам рецензент будет менее отзывчив к ребатлу.
Также на 3 и 4й день конференции было множество интересных постерных докладов:
1. Position: Topological Deep Learning is the New Frontier for Relational Learning - очень высокоуровнево определяются текущие тенденции, подходы и задачи в топологическом глубинном обучении. Постер представлял Бастиан Рик - большой человек в ТДА и не только.
2. Position: Categorical Deep Learning is an Algebraic Theory of All Architectures - статья от эзотеричной компании Symbolica AI. Авторы предлагают переговорить существующие архитектуры нейросеток (например RNN) в терминах теории категорий. Интересно и полезно, ибо может дать инструменты работы с логикой в DL и учитывать типизацию данных.
3. The Platonic Representation Hypothesis - основной посыл статьи в том, что представления данных в разных модальностях и в разных задачах/моделях сходятся к каким-то универсальным "объективным" представлениям, если говорить поэтично - живущим в мире идей Платона (см диалог Πολιτεία, книга 7).
4. Less is More: One-shot Subgraph Reasoning on Large-scale Knowledge Graphs - для ризонинга для графах иногда необходимо решать задачу link-prediction, авторы предлагают подход вычислительно-эффективного поиска наиболее релевантного подграфа кандидатов для предсказания связей.
И еще много разных интересных постерных докладов, добавлю в комментарии под постом.
Во многом, конференция - это новые знакомства и встречи, так удалось лично увидится со многими знакомыми, с которыми сотрудничал и общался онлайн, а также лично познакомиться с админами partially unsupervised и Love.Death.Transformers. Перекинулся парой слов со Шмидхубером. Впечатления от конференции позитивные.
А еще Вена очень похожа на Питер (или наоборот).
Применение ИИ на войне 🔫 . На ICML 2024 был замечен еще один любопытный и очень базированный постер.
AI-Powered Autonomous Weapons Risk Geopolitical Instability and Threaten AI Research.
Обсуждаются потенциальные риски и проблемы, связанные с разработкой автономных систем вооружения (AWS) на базе ИИ (based💀 ).
Утверждается, что чем сильнее будут развиты ИИ-AWS, тем меньше нужно будет участвовать в боевых действиях людям и меньше будет издержек войны, что влечет увеличение геополитической нестабильности и появление множества локальных горячих конфликтов. Все это в итоге перейдет в полномасштабную гонку ИИ-based вооружений между странами. РФ и Китай совсем скоро (2028г) собираются вовлекаться в эту гонку, а США еще раньше.
И прямо сейчас на поле сражений в Russian-Ukrainian conflict можно увидеть активное применение автономные системы вооружений с обеих сторон. В том числе ИИ-дроны на стороне Украины, согласно сводкам CNN.
Подобные тенденции могут повлиять на свободу распространения идей в научной среде и академическому сотрудничеству, потому что исследования будут иметь военную значимость и секретность.
Проблему предлагается решать через запрет на полностью автономные системы вооружений с ИИ, регуляцию частично автономных систем и консенсус на международном уровне. ВПК разных стран должно предоставлять отчет о состоянии/продвинутости своих AWS систем. В академической среде особое внимание должно уделяться этической стороне военных исследований.
AI-Powered Autonomous Weapons Risk Geopolitical Instability and Threaten AI Research.
Обсуждаются потенциальные риски и проблемы, связанные с разработкой автономных систем вооружения (AWS) на базе ИИ (based
Утверждается, что чем сильнее будут развиты ИИ-AWS, тем меньше нужно будет участвовать в боевых действиях людям и меньше будет издержек войны, что влечет увеличение геополитической нестабильности и появление множества локальных горячих конфликтов. Все это в итоге перейдет в полномасштабную гонку ИИ-based вооружений между странами. РФ и Китай совсем скоро (2028г) собираются вовлекаться в эту гонку, а США еще раньше.
И прямо сейчас на поле сражений в Russian-Ukrainian conflict можно увидеть активное применение автономные системы вооружений с обеих сторон. В том числе ИИ-дроны на стороне Украины, согласно сводкам CNN.
Подобные тенденции могут повлиять на свободу распространения идей в научной среде и академическому сотрудничеству, потому что исследования будут иметь военную значимость и секретность.
Проблему предлагается решать через запрет на полностью автономные системы вооружений с ИИ, регуляцию частично автономных систем и консенсус на международном уровне. ВПК разных стран должно предоставлять отчет о состоянии/продвинутости своих AWS систем. В академической среде особое внимание должно уделяться этической стороне военных исследований.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Техножрица 👩💻👩🏫👩🔧
Обновила на архиве статью AI-generated text boundary detection with RoFT, которую недавно приняли на конференцию COLM.
Напомню, что в этой статье мы с коллегами рассматривали тексты, частично написанные человеком и частично сгенерированные LLMкой и детектировали номер предложения, в котором произошел переход от человеческого текста к машинной генерации. Основной особенностью статьи является тщательное изучение сценариев, в которых детектор обучается на доменах или генерациях одних моделей, а тестируется на другом, прежде невиданном домене или генерации невиданной модели.
Также напомню, что:
💜 В этом сценарии классификатор на основе стандартной предтренированной модели Roberta оказался хорош in domain, но плохо переносился между доменами и моделями (сильно падало качество на out of domain);
💜 Классификаторы на основе TDA оказались неплохо переносимы (качество на out of domain падало не сильно), но имели низкое качество в целом;
💜 Наилучшим компромиссом между качеством in domain и out of domain оказались классификаторы на основе средней перплексии и дисперсии перплексии по предложениям на основе моделей phi 1.5/phi 2 от Тани Гайнцевой.
Ну, а основными отличиями этой конкретной версии статьи являются исправление мелких ошибок и улучшение читаемости диаграмм.
Кроме того, мы с Таней добавили код на гитхаб проекта. Ставьте звёздочки и сохраняйте, чтобы не забыть!
#объяснения_статей
Напомню, что в этой статье мы с коллегами рассматривали тексты, частично написанные человеком и частично сгенерированные LLMкой и детектировали номер предложения, в котором произошел переход от человеческого текста к машинной генерации. Основной особенностью статьи является тщательное изучение сценариев, в которых детектор обучается на доменах или генерациях одних моделей, а тестируется на другом, прежде невиданном домене или генерации невиданной модели.
Также напомню, что:
Ну, а основными отличиями этой конкретной версии статьи являются исправление мелких ошибок и улучшение читаемости диаграмм.
Кроме того, мы с Таней добавили код на гитхаб проекта. Ставьте звёздочки и сохраняйте, чтобы не забыть!
#объяснения_статей
Please open Telegram to view this post
VIEW IN TELEGRAM
arXiv.org
AI-generated text boundary detection with RoFT
Due to the rapid development of large language models, people increasingly often encounter texts that may start as written by a human but continue as machine-generated. Detecting the boundary...
Measure of AGI
Abstraction and Reasoning Corpus (ARC) - бенчмарк, предложенный Франсуа Шолле, для измерения "интеллекта" и способность к ризонингу у ИИ-системы, ARC оценивает обобщение и адаптацию к новым задачам, но в условиях минимума тренировочных примеров (3-4 на одну задачу).
ARC задачи похожи на визуальные головоломки типа IQ-тестов: сетка N x N, и квадратики разных цветов на ней. Даётся несколько примеров с входным/выходным состоянием сетки для обнаружения паттернов трансформации, нужно предсказать выходное состояние по новому тестовому примеру. Каждый тип задачи определяется новым паттерном трансформации. Для успешного прохождения теста нужны когнитивные навыки обобщения, мышления по аналогии, пространственное геометрическое мышление итд. Порешать такие тесты и сделать новые можно с помощью o2arc. Среди ARC-подобных упрощенных датасетов есть 1D-ARC - не для сеток, а для линий, Mini-ARC ограничивает сетку размером 5х5.
Структура. Датасет разбит на 400 простых примеров train, 400 более сложных eval и 200 private (по заявлению Шолле совсем мудрёных) примеров.
ARC Prize. В августе был запущен ARC Prize 2024 на Kaggle с призовым фондом 1млн $. Тут подробнее. Однако за 2,5 месяца в лидерборде никто не добрался даже до 50% на private score. На 1-м месте загадочные MindsAI c 49%. До AGI далеко, но проблема в том, что и человек не очень успешен в решении ARC. Организаторы утверждают, что человек решает на 85%, поэтому поставили эту границу для завершения соревнования, но тестировались люди на небольшом подмножестве ARC. А исследование H-ARC тестирует людей на всем ARC и репортит: 76% на train, и 64% на eval. Интересно, что лишь несколько людей решили все на 99%.
LLM не справляются. За последние 2-3 года появилось очень много подходов к решению АРК. В том числе и на основе LLM, которые показывают чудовищно низкий перформанс: на train выборке GPT-o1 = 22%, Claude 3.5 = 21%, Gemini 1.5 = 8%. По правилам решение не должно основываться на доступе к API, поэтому LLM не могут претендовать на участие в Kaggle Prize, поэтому для них есть отдельный лидерборд.
В исследовании Reasoning Abilities of LLMs.. сделан критический стресс-тест не-способности LLM к ризонинговым паттернам для ARC, тестируются разныe промпты и прослеживают промежуточные шаги в рассуждениях.
Как решать? Большинство работ рассматривают задачу ARC, как задачу синтеза программ и поиска алгоритмов. Для успешного решения нужен хороший Domains Specific Language (DSL) для манипуляции с разноцветной сеткой. Как мне кажется, идеальное решение должно использовать синергию DSL+LLM+классический подход.
CodeIt. Авторы замечают, что для подобных задач есть эффект редкого вознаграждения, т.е. далеко не всегда генерируется программа с нужным ответом, но если программа синтактически верна, этот опыт нужно стараться использовать. Codeit работает итеративно: 1) семплирование из T5Code программ, если они исполнимы, но ответ неверный, все равно маркируем их как правильные 2) обучение генерировать новые программы с учетом приоретизированного опыта.
Eval acc 16%.
HYSYNTH. Предлагается гибридный поиск программ, руководствующийся LLM. Сначала конструируем DSL с учетом стохастической контекстно-свободной грамматики (CFG), которая аппроксимирует условное выходное распределение из GPT-4о для конкретной задачи, запоминая шаблоны и правила вывода, которые LLM применяет для синтеза программ. Затем с помощью Bottom-Up синтеза строятся алгоритмы с учетом вероятностной CFG, что ограничивает пространство поиска. Точность 58%, но на подмножестве ARC.
На Less Wrong предложено прямолинейное и ресурсоёмкое решение на основе GPT-4o: генерируем 8к программ для каждой задачи, лучшие из них запускаем на тесте, acc 42%.
А можно без LLM? Среди других подходов хочется выделить DreamCoder (секретная темная неизвестная технология) — нейросимвольный ризонинг для синтеза программ со своим DSL, он ансамблируется с LLM и другим DSL, 40% на eval. И еще решение в сеттинге RL и World Modeling основе DreamerV3.
11 ноября завершение ARC Prize 2024. Всем идти решать
Abstraction and Reasoning Corpus (ARC) - бенчмарк, предложенный Франсуа Шолле, для измерения "интеллекта" и способность к ризонингу у ИИ-системы, ARC оценивает обобщение и адаптацию к новым задачам, но в условиях минимума тренировочных примеров (3-4 на одну задачу).
ARC задачи похожи на визуальные головоломки типа IQ-тестов: сетка N x N, и квадратики разных цветов на ней. Даётся несколько примеров с входным/выходным состоянием сетки для обнаружения паттернов трансформации, нужно предсказать выходное состояние по новому тестовому примеру. Каждый тип задачи определяется новым паттерном трансформации. Для успешного прохождения теста нужны когнитивные навыки обобщения, мышления по аналогии, пространственное геометрическое мышление итд. Порешать такие тесты и сделать новые можно с помощью o2arc. Среди ARC-подобных упрощенных датасетов есть 1D-ARC - не для сеток, а для линий, Mini-ARC ограничивает сетку размером 5х5.
Структура. Датасет разбит на 400 простых примеров train, 400 более сложных eval и 200 private (по заявлению Шолле совсем мудрёных) примеров.
ARC Prize. В августе был запущен ARC Prize 2024 на Kaggle с призовым фондом 1млн $. Тут подробнее. Однако за 2,5 месяца в лидерборде никто не добрался даже до 50% на private score. На 1-м месте загадочные MindsAI c 49%. До AGI далеко, но проблема в том, что и человек не очень успешен в решении ARC. Организаторы утверждают, что человек решает на 85%, поэтому поставили эту границу для завершения соревнования, но тестировались люди на небольшом подмножестве ARC. А исследование H-ARC тестирует людей на всем ARC и репортит: 76% на train, и 64% на eval. Интересно, что лишь несколько людей решили все на 99%.
LLM не справляются. За последние 2-3 года появилось очень много подходов к решению АРК. В том числе и на основе LLM, которые показывают чудовищно низкий перформанс: на train выборке GPT-o1 = 22%, Claude 3.5 = 21%, Gemini 1.5 = 8%. По правилам решение не должно основываться на доступе к API, поэтому LLM не могут претендовать на участие в Kaggle Prize, поэтому для них есть отдельный лидерборд.
В исследовании Reasoning Abilities of LLMs.. сделан критический стресс-тест не-способности LLM к ризонинговым паттернам для ARC, тестируются разныe промпты и прослеживают промежуточные шаги в рассуждениях.
Как решать? Большинство работ рассматривают задачу ARC, как задачу синтеза программ и поиска алгоритмов. Для успешного решения нужен хороший Domains Specific Language (DSL) для манипуляции с разноцветной сеткой. Как мне кажется, идеальное решение должно использовать синергию DSL+LLM+классический подход.
CodeIt. Авторы замечают, что для подобных задач есть эффект редкого вознаграждения, т.е. далеко не всегда генерируется программа с нужным ответом, но если программа синтактически верна, этот опыт нужно стараться использовать. Codeit работает итеративно: 1) семплирование из T5Code программ, если они исполнимы, но ответ неверный, все равно маркируем их как правильные 2) обучение генерировать новые программы с учетом приоретизированного опыта.
Eval acc 16%.
HYSYNTH. Предлагается гибридный поиск программ, руководствующийся LLM. Сначала конструируем DSL с учетом стохастической контекстно-свободной грамматики (CFG), которая аппроксимирует условное выходное распределение из GPT-4о для конкретной задачи, запоминая шаблоны и правила вывода, которые LLM применяет для синтеза программ. Затем с помощью Bottom-Up синтеза строятся алгоритмы с учетом вероятностной CFG, что ограничивает пространство поиска. Точность 58%, но на подмножестве ARC.
На Less Wrong предложено прямолинейное и ресурсоёмкое решение на основе GPT-4o: генерируем 8к программ для каждой задачи, лучшие из них запускаем на тесте, acc 42%.
А можно без LLM? Среди других подходов хочется выделить DreamCoder (секретная темная неизвестная технология) — нейросимвольный ризонинг для синтеза программ со своим DSL, он ансамблируется с LLM и другим DSL, 40% на eval. И еще решение в сеттинге RL и World Modeling основе DreamerV3.
11 ноября завершение ARC Prize 2024. Всем идти решать
Всех с новым 2025г. Обобщенное и ультимативное мета-пожелание: всем реализации планов и внутренней гармонии.
Коротко про мой 2024: путешествовал по Японии 🇯🇵 и миру 🇦🇹🇬🇧🇳🇱🇸🇰. Публиковал статьи. Знакомился с разными странными людьми. Закончил аспирантуру вышки. Стал пить кофе. Активным в канале быть предельно не получилось, но в качестве целей запланировал в новом году писать посты часто. За год много разбирался в разных темах и задачах, сформировался топ наиболее интересных и важных статей:
- The Platonic Representation Hypothesis. Предлагается гипотеза о сходимости представлений больших моделей к общему универсальному "платоническому" представлению.
- Godel Agent. Разрабатывается LLM агент, который рекурсивно себя улучшает, в каком-то смысле он имеет некоторую "модель" себя же.
- The Super Weight in Large Language Models. Обнаруживается, что в LLM есть веса (super weights), зануляя которые можно почти полностью занулить перформанс модели.
На ICML 2024 был представлен ряд важных Position papers.
- Position: LLMs Can’t Plan, But Can Help Planning in LLM-Modulo Frameworks. LLM плохие ризонеры, но хорошие помощники, модули для ризонинга.
- Position: Topological Deep Learning is the New Frontier for Relational Learning. Этой статьей фиксируется рождение отдельного направления - топологической глубокое обучение, в рамках которого топологическими структурами представляются специфичные данные и обрабатываются с помощью архитектур TDL (как правило это обобщения GNN)
- Position: Categorical Deep Learning is an Algebraic Theory of All Architectures. Разрабатывается мостик между теорией категорий и глубинным обучением. Переговариваются способы проектирования архитектур нейронок в терминах теории категории. Авторы организовали стартап Symbolica, очень интересно понаблюдать за его развитием.
- GenAI Detection Tools, Adversarial Techniques and Implications for Inclusivity in Higher Education. Исследуется актуальный прогресс в области детекции ИИ-сгенерированного контента, методы детекции и способы обмана этих детекторов специальной манипуляцией контентом
- Solving olympiad geometry without human demonstrations. Нейросимвольная система решения олимпиадных геометрических задач, подробно здесь.
- Towards Foundation Models for Knowledge Graph Reasoning. Первая фундаментальная GNN модель для больших графов.
если говорить про офф-топ темы, не относящиеся к ML, для меня было несколько находок интересного контента:
В этом году была инициирована Алиповым (известный в узких кругах нейробиолог) в русском интернете большая дискуссия на тему биохакинга и фармакологии: про БАДы, всякие добавки и антидепрессанты. Ссылкой на множество мета-анализов и обзоров ставится под сомнение эффективность их использования. Было очень интересно наблюдать за прогрессом в спорах на эту тему, для введения можно посмотреть дебаты с биохакером Каспаровым и более академическую дискуссию с химиком профессором Дадали.
Особенно отозвалась в моей душе серия подкастов Максима Калинина про сирийских мистиков - это философы-богословы в восточной христианской традиции жившие в 4-8 веках н.э в странах ближнего востока - Ирак, Иран, Сирия. Про их рефлексию ранней христианской догматики, про их повседневную мудрость, и практическую философию. Подкаст "Отвечают Сирийские мистики" и цикл семинаров в которых разбираются древние тексты на арамейском языке с филологической и исторической точки зрения. Очень помог мне в успокоении в трудные периоды.
Всем удачного 2025 года!
Коротко про мой 2024: путешествовал по Японии 🇯🇵 и миру 🇦🇹🇬🇧🇳🇱🇸🇰. Публиковал статьи. Знакомился с разными странными людьми. Закончил аспирантуру вышки. Стал пить кофе. Активным в канале быть предельно не получилось, но в качестве целей запланировал в новом году писать посты часто. За год много разбирался в разных темах и задачах, сформировался топ наиболее интересных и важных статей:
- The Platonic Representation Hypothesis. Предлагается гипотеза о сходимости представлений больших моделей к общему универсальному "платоническому" представлению.
- Godel Agent. Разрабатывается LLM агент, который рекурсивно себя улучшает, в каком-то смысле он имеет некоторую "модель" себя же.
- The Super Weight in Large Language Models. Обнаруживается, что в LLM есть веса (super weights), зануляя которые можно почти полностью занулить перформанс модели.
На ICML 2024 был представлен ряд важных Position papers.
- Position: LLMs Can’t Plan, But Can Help Planning in LLM-Modulo Frameworks. LLM плохие ризонеры, но хорошие помощники, модули для ризонинга.
- Position: Topological Deep Learning is the New Frontier for Relational Learning. Этой статьей фиксируется рождение отдельного направления - топологической глубокое обучение, в рамках которого топологическими структурами представляются специфичные данные и обрабатываются с помощью архитектур TDL (как правило это обобщения GNN)
- Position: Categorical Deep Learning is an Algebraic Theory of All Architectures. Разрабатывается мостик между теорией категорий и глубинным обучением. Переговариваются способы проектирования архитектур нейронок в терминах теории категории. Авторы организовали стартап Symbolica, очень интересно понаблюдать за его развитием.
- GenAI Detection Tools, Adversarial Techniques and Implications for Inclusivity in Higher Education. Исследуется актуальный прогресс в области детекции ИИ-сгенерированного контента, методы детекции и способы обмана этих детекторов специальной манипуляцией контентом
- Solving olympiad geometry without human demonstrations. Нейросимвольная система решения олимпиадных геометрических задач, подробно здесь.
- Towards Foundation Models for Knowledge Graph Reasoning. Первая фундаментальная GNN модель для больших графов.
если говорить про офф-топ темы, не относящиеся к ML, для меня было несколько находок интересного контента:
В этом году была инициирована Алиповым (известный в узких кругах нейробиолог) в русском интернете большая дискуссия на тему биохакинга и фармакологии: про БАДы, всякие добавки и антидепрессанты. Ссылкой на множество мета-анализов и обзоров ставится под сомнение эффективность их использования. Было очень интересно наблюдать за прогрессом в спорах на эту тему, для введения можно посмотреть дебаты с биохакером Каспаровым и более академическую дискуссию с химиком профессором Дадали.
Особенно отозвалась в моей душе серия подкастов Максима Калинина про сирийских мистиков - это философы-богословы в восточной христианской традиции жившие в 4-8 веках н.э в странах ближнего востока - Ирак, Иран, Сирия. Про их рефлексию ранней христианской догматики, про их повседневную мудрость, и практическую философию. Подкаст "Отвечают Сирийские мистики" и цикл семинаров в которых разбираются древние тексты на арамейском языке с филологической и исторической точки зрения. Очень помог мне в успокоении в трудные периоды.
Всем удачного 2025 года!
Forwarded from Раньше всех. Ну почти.
⚡️В России наступил 2025 год — очевидцы
API DeepSeek-R1 наглухо упало (вместе с акциями Nvidia) из-за оверхайпа.
Ну и как делать хайп-науку с его бенчмаркингом то?? До ICML дедлайна 2 дня.
Ну и как делать хайп-науку с его бенчмаркингом то?? До ICML дедлайна 2 дня.