ICML 2024. Конференция проходит с 21-го по 27-е июля в Вене. Первые пару дней были разгоночными, народ подтягивался, проводили туториалы, странные workshopы типа "{Dis}Ability and Queer in AI" и особо содержательных докладов на мой взгляд не было. Но дальше начались постерные и пленарны доклады, а поток релевантной информации стал очень плотным.
Параллельно докладам все дни проходит стендовая сессия, где представители разных компаний от DeepMind до Mistral AI щедро раздают мерч (+2 кг футболок и прочего), общаются с участниками и активно хантят. Если говорить об основной сессии с докладами, я особенно могу выделить следующие:
Position: LLMs Can’t Plan, But Can Help Planning in LLM-Modulo Frameworks - добродушный дедушка индус из США представил критицизм LLM с точки зрения их (не)способности к планированию и мб даже ризонингу. Что сильно идет в разрез с мейнстримом. Предлагается смотреть на LLM как на универсальные источники знаний смиксированных из разных доменов, и использовать их как модули (Cognitive Orthotics) для помощи в планировании людям или другим алгоритмам, но важно, чтобы был какой-то надежный внешний не LLM-мный критик. Этот подход удивительно точно совпадает с тем, над чем я в последнее время работал.
Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews - определение доли рецензий, сгенерированных ИИ, с ведущих конференций последних лет. Мы имеем Q - кол-во рецензий, написанных человеком, P - сгенерированных, всего рецензий = (1 − α)P + αQ, нужно найти α методом MLE. Стандартный сеттинг детекции ИИ-сгенерированного контента в центр ставит задачу обучить робастный к смене домена и генератора классификатор, но данная работа фокусируется на определении доли сгенерированных текстов во всем корпусе текстов. Основные выводы: Наблюдается значительное увеличение ИИ-рецензий после выхода ChatGPT (2023г). ИИ-рецензия с большей вероятностью появится перед дедлайном, будет иметь меньше ссылок на другие работы, а сам рецензент будет менее отзывчив к ребатлу.
Также на 3 и 4й день конференции было множество интересных постерных докладов:
1. Position: Topological Deep Learning is the New Frontier for Relational Learning - очень высокоуровнево определяются текущие тенденции, подходы и задачи в топологическом глубинном обучении. Постер представлял Бастиан Рик - большой человек в ТДА и не только.
2. Position: Categorical Deep Learning is an Algebraic Theory of All Architectures - статья от эзотеричной компании Symbolica AI. Авторы предлагают переговорить существующие архитектуры нейросеток (например RNN) в терминах теории категорий. Интересно и полезно, ибо может дать инструменты работы с логикой в DL и учитывать типизацию данных.
3. The Platonic Representation Hypothesis - основной посыл статьи в том, что представления данных в разных модальностях и в разных задачах/моделях сходятся к каким-то универсальным "объективным" представлениям, если говорить поэтично - живущим в мире идей Платона (см диалог Πολιτεία, книга 7).
4. Less is More: One-shot Subgraph Reasoning on Large-scale Knowledge Graphs - для ризонинга для графах иногда необходимо решать задачу link-prediction, авторы предлагают подход вычислительно-эффективного поиска наиболее релевантного подграфа кандидатов для предсказания связей.
И еще много разных интересных постерных докладов, добавлю в комментарии под постом.
Во многом, конференция - это новые знакомства и встречи, так удалось лично увидится со многими знакомыми, с которыми сотрудничал и общался онлайн, а также лично познакомиться с админами partially unsupervised и Love.Death.Transformers. Перекинулся парой слов со Шмидхубером. Впечатления от конференции позитивные.
А еще Вена очень похожа на Питер (или наоборот).
Параллельно докладам все дни проходит стендовая сессия, где представители разных компаний от DeepMind до Mistral AI щедро раздают мерч (+2 кг футболок и прочего), общаются с участниками и активно хантят. Если говорить об основной сессии с докладами, я особенно могу выделить следующие:
Position: LLMs Can’t Plan, But Can Help Planning in LLM-Modulo Frameworks - добродушный дедушка индус из США представил критицизм LLM с точки зрения их (не)способности к планированию и мб даже ризонингу. Что сильно идет в разрез с мейнстримом. Предлагается смотреть на LLM как на универсальные источники знаний смиксированных из разных доменов, и использовать их как модули (Cognitive Orthotics) для помощи в планировании людям или другим алгоритмам, но важно, чтобы был какой-то надежный внешний не LLM-мный критик. Этот подход удивительно точно совпадает с тем, над чем я в последнее время работал.
Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews - определение доли рецензий, сгенерированных ИИ, с ведущих конференций последних лет. Мы имеем Q - кол-во рецензий, написанных человеком, P - сгенерированных, всего рецензий = (1 − α)P + αQ, нужно найти α методом MLE. Стандартный сеттинг детекции ИИ-сгенерированного контента в центр ставит задачу обучить робастный к смене домена и генератора классификатор, но данная работа фокусируется на определении доли сгенерированных текстов во всем корпусе текстов. Основные выводы: Наблюдается значительное увеличение ИИ-рецензий после выхода ChatGPT (2023г). ИИ-рецензия с большей вероятностью появится перед дедлайном, будет иметь меньше ссылок на другие работы, а сам рецензент будет менее отзывчив к ребатлу.
Также на 3 и 4й день конференции было множество интересных постерных докладов:
1. Position: Topological Deep Learning is the New Frontier for Relational Learning - очень высокоуровнево определяются текущие тенденции, подходы и задачи в топологическом глубинном обучении. Постер представлял Бастиан Рик - большой человек в ТДА и не только.
2. Position: Categorical Deep Learning is an Algebraic Theory of All Architectures - статья от эзотеричной компании Symbolica AI. Авторы предлагают переговорить существующие архитектуры нейросеток (например RNN) в терминах теории категорий. Интересно и полезно, ибо может дать инструменты работы с логикой в DL и учитывать типизацию данных.
3. The Platonic Representation Hypothesis - основной посыл статьи в том, что представления данных в разных модальностях и в разных задачах/моделях сходятся к каким-то универсальным "объективным" представлениям, если говорить поэтично - живущим в мире идей Платона (см диалог Πολιτεία, книга 7).
4. Less is More: One-shot Subgraph Reasoning on Large-scale Knowledge Graphs - для ризонинга для графах иногда необходимо решать задачу link-prediction, авторы предлагают подход вычислительно-эффективного поиска наиболее релевантного подграфа кандидатов для предсказания связей.
И еще много разных интересных постерных докладов, добавлю в комментарии под постом.
Во многом, конференция - это новые знакомства и встречи, так удалось лично увидится со многими знакомыми, с которыми сотрудничал и общался онлайн, а также лично познакомиться с админами partially unsupervised и Love.Death.Transformers. Перекинулся парой слов со Шмидхубером. Впечатления от конференции позитивные.
А еще Вена очень похожа на Питер (или наоборот).
tgoop.com/junkyardmathml/176
Create:
Last Update:
Last Update:
ICML 2024. Конференция проходит с 21-го по 27-е июля в Вене. Первые пару дней были разгоночными, народ подтягивался, проводили туториалы, странные workshopы типа "{Dis}Ability and Queer in AI" и особо содержательных докладов на мой взгляд не было. Но дальше начались постерные и пленарны доклады, а поток релевантной информации стал очень плотным.
Параллельно докладам все дни проходит стендовая сессия, где представители разных компаний от DeepMind до Mistral AI щедро раздают мерч (+2 кг футболок и прочего), общаются с участниками и активно хантят. Если говорить об основной сессии с докладами, я особенно могу выделить следующие:
Position: LLMs Can’t Plan, But Can Help Planning in LLM-Modulo Frameworks - добродушный дедушка индус из США представил критицизм LLM с точки зрения их (не)способности к планированию и мб даже ризонингу. Что сильно идет в разрез с мейнстримом. Предлагается смотреть на LLM как на универсальные источники знаний смиксированных из разных доменов, и использовать их как модули (Cognitive Orthotics) для помощи в планировании людям или другим алгоритмам, но важно, чтобы был какой-то надежный внешний не LLM-мный критик. Этот подход удивительно точно совпадает с тем, над чем я в последнее время работал.
Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews - определение доли рецензий, сгенерированных ИИ, с ведущих конференций последних лет. Мы имеем Q - кол-во рецензий, написанных человеком, P - сгенерированных, всего рецензий = (1 − α)P + αQ, нужно найти α методом MLE. Стандартный сеттинг детекции ИИ-сгенерированного контента в центр ставит задачу обучить робастный к смене домена и генератора классификатор, но данная работа фокусируется на определении доли сгенерированных текстов во всем корпусе текстов. Основные выводы: Наблюдается значительное увеличение ИИ-рецензий после выхода ChatGPT (2023г). ИИ-рецензия с большей вероятностью появится перед дедлайном, будет иметь меньше ссылок на другие работы, а сам рецензент будет менее отзывчив к ребатлу.
Также на 3 и 4й день конференции было множество интересных постерных докладов:
1. Position: Topological Deep Learning is the New Frontier for Relational Learning - очень высокоуровнево определяются текущие тенденции, подходы и задачи в топологическом глубинном обучении. Постер представлял Бастиан Рик - большой человек в ТДА и не только.
2. Position: Categorical Deep Learning is an Algebraic Theory of All Architectures - статья от эзотеричной компании Symbolica AI. Авторы предлагают переговорить существующие архитектуры нейросеток (например RNN) в терминах теории категорий. Интересно и полезно, ибо может дать инструменты работы с логикой в DL и учитывать типизацию данных.
3. The Platonic Representation Hypothesis - основной посыл статьи в том, что представления данных в разных модальностях и в разных задачах/моделях сходятся к каким-то универсальным "объективным" представлениям, если говорить поэтично - живущим в мире идей Платона (см диалог Πολιτεία, книга 7).
4. Less is More: One-shot Subgraph Reasoning on Large-scale Knowledge Graphs - для ризонинга для графах иногда необходимо решать задачу link-prediction, авторы предлагают подход вычислительно-эффективного поиска наиболее релевантного подграфа кандидатов для предсказания связей.
И еще много разных интересных постерных докладов, добавлю в комментарии под постом.
Во многом, конференция - это новые знакомства и встречи, так удалось лично увидится со многими знакомыми, с которыми сотрудничал и общался онлайн, а также лично познакомиться с админами partially unsupervised и Love.Death.Transformers. Перекинулся парой слов со Шмидхубером. Впечатления от конференции позитивные.
А еще Вена очень похожа на Питер (или наоборот).
Параллельно докладам все дни проходит стендовая сессия, где представители разных компаний от DeepMind до Mistral AI щедро раздают мерч (+2 кг футболок и прочего), общаются с участниками и активно хантят. Если говорить об основной сессии с докладами, я особенно могу выделить следующие:
Position: LLMs Can’t Plan, But Can Help Planning in LLM-Modulo Frameworks - добродушный дедушка индус из США представил критицизм LLM с точки зрения их (не)способности к планированию и мб даже ризонингу. Что сильно идет в разрез с мейнстримом. Предлагается смотреть на LLM как на универсальные источники знаний смиксированных из разных доменов, и использовать их как модули (Cognitive Orthotics) для помощи в планировании людям или другим алгоритмам, но важно, чтобы был какой-то надежный внешний не LLM-мный критик. Этот подход удивительно точно совпадает с тем, над чем я в последнее время работал.
Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews - определение доли рецензий, сгенерированных ИИ, с ведущих конференций последних лет. Мы имеем Q - кол-во рецензий, написанных человеком, P - сгенерированных, всего рецензий = (1 − α)P + αQ, нужно найти α методом MLE. Стандартный сеттинг детекции ИИ-сгенерированного контента в центр ставит задачу обучить робастный к смене домена и генератора классификатор, но данная работа фокусируется на определении доли сгенерированных текстов во всем корпусе текстов. Основные выводы: Наблюдается значительное увеличение ИИ-рецензий после выхода ChatGPT (2023г). ИИ-рецензия с большей вероятностью появится перед дедлайном, будет иметь меньше ссылок на другие работы, а сам рецензент будет менее отзывчив к ребатлу.
Также на 3 и 4й день конференции было множество интересных постерных докладов:
1. Position: Topological Deep Learning is the New Frontier for Relational Learning - очень высокоуровнево определяются текущие тенденции, подходы и задачи в топологическом глубинном обучении. Постер представлял Бастиан Рик - большой человек в ТДА и не только.
2. Position: Categorical Deep Learning is an Algebraic Theory of All Architectures - статья от эзотеричной компании Symbolica AI. Авторы предлагают переговорить существующие архитектуры нейросеток (например RNN) в терминах теории категорий. Интересно и полезно, ибо может дать инструменты работы с логикой в DL и учитывать типизацию данных.
3. The Platonic Representation Hypothesis - основной посыл статьи в том, что представления данных в разных модальностях и в разных задачах/моделях сходятся к каким-то универсальным "объективным" представлениям, если говорить поэтично - живущим в мире идей Платона (см диалог Πολιτεία, книга 7).
4. Less is More: One-shot Subgraph Reasoning on Large-scale Knowledge Graphs - для ризонинга для графах иногда необходимо решать задачу link-prediction, авторы предлагают подход вычислительно-эффективного поиска наиболее релевантного подграфа кандидатов для предсказания связей.
И еще много разных интересных постерных докладов, добавлю в комментарии под постом.
Во многом, конференция - это новые знакомства и встречи, так удалось лично увидится со многими знакомыми, с которыми сотрудничал и общался онлайн, а также лично познакомиться с админами partially unsupervised и Love.Death.Transformers. Перекинулся парой слов со Шмидхубером. Впечатления от конференции позитивные.
А еще Вена очень похожа на Питер (или наоборот).
BY Math and ML stuff
Share with your friend now:
tgoop.com/junkyardmathml/176