Топологический анализ данных

На этой неделе был вот такой семинар:
▫️ AIRI Seminars | Топологический анализ данных и глубокое обучение (1 час 30 минут).

Тема действительно весьма увлекательная, надо будет у нас тоже что-нибудь организовать. Пойду начну с воспоминаний про алгебраическую топологию по учебнику Хатчера:
▫️ Allen Hatcher - Algebraic Topology, 2002.

А коллеги из AIRI делают классные штуки, респект) Подписывайтесь на их канал @airi_research_institute!

Пора в космос

Не смог пройти мимо) У нас же тут с вами большой опыт в построении ITшных космолётов, может быть пора переключиться на реальные?)

Вас когда-нибудь будоражила тема исследования космоса? Вы отодвигали на задний план своё любопытство, чтобы не отвлекаться от работы и повседневных дел на нашей планете? А что, если?..

Факультет космических исследований (ФКИ) МГУ приглашает всех, у кого есть диплом бакалавра (или "старого" 5-летнего специалитета) поступать на программы магистратуры.

На ФКИ открыты 9 магистерских программ, от "Исследований Луны и планет" до "Государственного управления в космической отрасли". Есть бюджетные места, нет сложностей написать экзамен и пройти по конкурсу) И космос окажется совсем близко!

▫️ Читайте подробности на сайте.
▫️ Смотрите ролик о магистерской программе "Исследование Луны и планет”.
▫️ И подавайте документы прямо сейчас→

По всем вопросам можно обратиться к @morozovss.

Созвон про анализ данных без данных

▫️ 29 июня (четверг), 19:00 МСК
▫️ Google Meet→

Федеративная аналитика, конфиденциальные вычисления, Privacy DS/ML/AI, … - в общем случае эти технологии позволяют проводить обучение моделей и анализ данных с ограниченным или отсутствующим доступом к самим данным или их части. На нашем круглом столе попробуем разобраться, почему последние годы интерес к данной области непрерывно нарастает, и вообще зачем все это надо.

Именно:
◽ Рассмотрим основные понятия и методы, используемые для защиты чувствительных данных от участников процесса анализа данных, причем попробуем ввести таксономию в максимально широком смысле для этой области, начиная от классической анонимизации и маскирования, заканчивая гомоморфным шифрованием и доказательствами с нулевым разглашением. Пройдемся по таким ключевым словам как:
▫️ Confidential Computing, Privacy ML/AI, Privacy Preserving & Privacy Enhancing Technologies (PPTs & PETs)
▫️ Anonymization & De-identification
▫️ Synthetic Data
▫️ Differential Privacy
▫️ Federated Learning & Analytics
▫️ Secure Enclaves & Trusted Execution Environments (TEE)
▫️ (Secure) Multi-Party Computation (SMPC) & Private Set Intersection (PSI)
▫️ (Fully) Homomorphic Encryption
▫️ Verifiable Computations & Zero Knowledge Proofs (ZKP)
◽ Обсудим проблемы классических подходов, таких как анонимизация и маскирование, и как их решают те или иные методы конфиденциальной аналитики. Какие при этом есть вызовы, связанные с внедрением продвинутых технологий, и как использование конфиденциальных вычислений влияет на прозрачность и объяснимость результатов анализа данных?
◽ Подумаем над классификацией потенциальных бизнес задач, для которых наилучшим образом подходят те или иные методы конфиденциальной аналитики. Как в этих задачах балансировать между необходимостью защиты данных и возможностями по извлечению полезных инсайтов из анализа данных?
◽ Посмотрим на глобальный рынок решений и инструментов для конфиденциальной аналитики. Разберемся, как эти инструменты встраивается в ландшафт платформ DS/MLOps и вообще платформ данных и аналитики.
◽ Проанализируем основные драйверы развития и адаптации технологий конфиденциальной аналитики. Какую роль здесь играют обычные люди, государство и регулятор, этические соображения внутри отдельных компаний?
◽ Поделимся опытом, как сейчас проходит адаптация технологий конфиденциальной аналитики в России и мире? Как выглядит будущее данной области?

Confidential Analytics NoML Recap

По традиции, вспомним, что у нас уже было по темам вокруг конфиденциальной аналитики.
▫️ Подкаст со Львом Рагулиным “Конфиденциальные и совместные вычисления на основе ML”, 2022 (35 минут).
▫️ Семинар - Рахмет Оджаев, Гузелия Мошнина, Фёдор Смирнов “Методы генерации синтетических данных”, 2023 (1 час 40 минут).
▫️ Ландшафт решений синтетических данных.
▫️ Статьи и книги про синтетические данные.
▫️ Созвон и обзор от Дениса Афанасьева “Таксономия методов FL; обзор платформ, основных игроков, вызовов и трендов развития”, 2023 (1 час 20 минут).
▫️ Ландшафт решений Federated Learning.
▫️ Книги и курсы лекций про Federated Learning.
▫️ Подборка про доказательства с нулевым разглашением.

Общее про конфиденциальную аналитику

Вводные обзоры методов и примеров применения конфиденциальной аналитики, плюс минус в полном составе, который заявлен к нашему обсуждению в четверг:
▫️ Katharine Jarmul - Privacy Enhancing Technologies: An Introduction for Technologists, 2023 (30 минут).
▫️ Assaf Araki, Ben Lorica - Get Ready For Confidential Computing, 2021, и продолжение Confidential Computing and Machine Learning, 2022 (10 минут).
▫️ Competing Privacy Enhancing Technologies, 2021-2022 (40-50 минут).

Верхнеуровневое руководство по адаптации PETs с точки зрения общего корпоративного ландшафта данных:
▫️ Privacy-Enhancing Technologies (PETs): An adoption guide (Palantir RFx Blog Series), 2023 (14 минут).

Краткий обзор больше с точки зрения рынка:
▫️ Esther Shein - Why confidential computing will be critical to (not so distant) future data security efforts, 2023 (6 минут).

Плюс две книги 2023 года, сам не читал пока:
▫️ J.M. Chang, Di Zhuang, G.D. Samaraweera - Privacy-Preserving Machine Learning, 2023. Здесь фокус в основном на дифференциальную приватность, есть про синтетику и немного про FHE.
▫️ K. Jarmul - Practical Data Privacy, 2023. Здесь по содержанию выглядит, что дано более полное покрытие области.

День открытых дверей Академии Data Science & Tinkoff Lab

Недавно Тинькофф анонсировал создание первого в России частного STEM-университета. В сентябре 2023 года стартует двухгодичная программа «Академия Data Science», которая ляжет в основу магистратуры нового университета. По окончании вы получите одну из профессий: аналитик, специалист по машинному обучению или продакт-менеджер.

И да, 3 июля в 19:00 в московском офисе Тинькофф состоится день открытых дверей Академии Data Science и Tinkoff Lab, на котором вы узнаете о новой образовательной программе Тинькофф, а также про Tinkoff Lab и какие крутые проекты ребята там реализуют. Будет и трансляция мероприятия на Ютубе.

На дне открытых дверей будет интересно и тем, кто только планирует заниматься Data Science, и опытным ИТ-специалистам, которые уже знают ML/DL/RL и делали свои пет-проекты.

Подробности и регистрация по ссылке→

Про дифференциальную приватность

Две хорошие вводные серии постов. Чтобы понять в чем суть, можно почитать пару первых статей из каждой серии, займет 10-15 минут:
▫️ Differential Privacy Blog Series (есть переводы первых двух статей тут и тут), 2020-2022 (1.5 часа).
▫️ A friendly, non-technical introduction to differential privacy, 2021-2023 (2 часа).
▫️ Из последней серии отдельно хочется подсветить пост про кейсы: A list of real-world uses of differential privacy (11 минут).

Доклад и книга Синтии Дворк, одной из основоположников формальной дифференциальной приватности:
▫️ The Definition of Differential Privacy - Cynthia Dwork, 2016 (20 минут).
▫️ Cynthia Dwork, Aaron Roth - The Algorithmic Foundations of Differential Privacy, 2014.

Полный ландшафт и классификация существующих решений на базе технологий дифференциальной приватности - это отдельная большая история, а пока новость от Google про появление функционала в их платформе:
▫️ Introducing BigQuery differential privacy and partnership with Tumult Labs, 2023 (3 минуты).

Про безопасные анклавы и доверенные среды исполнения

Безопасные анклавы (Secure Enclaves) и доверенные среды исполнения (Trusted Execution Environment, TEE) - это сейчас наверное самые понятные и распространенные технологии, на которых можно решать задачи конфиденциальной аналитики.

Отличная статья с обзором текущего положения дел в области приложения TEE к ML:
▫️ F. Mo, Z. Tarkhani, H. Haddadi - Machine Learning with Confidential Computing: A Systematization of Knowledge, 2022 (1 час).

Из совсем простых введений:
▫️ What Is Confidential Computing? 2023 (7 минут).
▫️ Verifiably Private Computation (есть на русском), 2023 (5 минут).

Еще можно вспомнить статьи oneFactor про кейс на Intel SGX:
▫️ Как в oneFactor ускорили безопасное обучение ML-алгоритмов в 19 раз с помощью Intel Xeon Gen3 и SGX 2.0, 2021 (4 минуты).
▫️ Задача конфиденциальности данных поставщика, 2021 (3 минуты).

Помимо Intel SGX, развитием технологий TEE занимаются все ключевые производители чипов: AMD SEV, ARM TrustZone; у AWS своя архитектура: AWS Nitro Enclaves; GPU тоже в игре: NVIDIA Confidential Computing. Но с ними есть конечно сейчас свои трудности…

Про отечественный рынок РФ была недавно вот такая новость:
▫️ МФТИ и ВТБ разработали первый российский криптоанклав, 2023 (1 минута).
Насколько я понимаю, здесь прямо собственная, в том числе аппаратная разработка, так что ждем дальнейших новостей.

Для тех, кто в Питере или кто очень хочет туда поехать, но ищет повод;)

Команда исследователей Тинькофф приглашает на RL-ивент в Петербурге 🤖

6 июля расскажут, как избавиться от ансамблей и опубликоваться на ICML, побить соту с использованием LayerNorm и будущем RL.

Подробнее — на странице митапа. Там же можно зарегистрироваться.

И не забудьте позвать с собой коллег.
📆 6 июля, Петербург, ЛЕНПОЛИГРАФМАШ.

Мероприятия NoML в июле

До конца лета у нас видимо будет засилье созвонов и круглых столов, готовить доклады на семинары что-то сейчас никто не хочет))

▫️ 06.07 (чт) 19:00 МСК | созвон | Любимая тема математической оптимизации и связанных вопросов. *Правда конкретной повестки пока нет…
▫️ 13.07 (чт) 19:00 МСК | созвон | Приложения мультиагентного моделирования в задачах бизнеса.
▫️ 20.07 (чт) 19:00 МСК | созвон | Любимая тема математической оптимизации и связанных вопросов.
▫️ 27.07 (чт) 19:00 МСК | созвон | Анализ данных и моделирование в HR аналитике.

Детальные анонсы и ссылки на подключения появляются ближе к делу в канале @noml_digest и чате @noml_community.

Про гомоморфное шифрование

На прошлой неделе у нас был круглый стол с обсуждением методов конфиденциальной аналитики / Privacy Preserving ML (запись скоро будет опубликована).
Одним из строгих, криптографических подходов конфиденциальной аналитики является полностью гомоморфное шифрование (Fully Homomorphic Encryption, или FHE).

Пара вводных статей про FHE для ML:
▫️ What is Homomorphic Encryption? (С примерами на PySyft), 2020 (15 минут).
▫️ P. Li, F. Michel, J. Wilson - FHE and ML: A Student Perspective with Examples (C примерами на Concrete ML), 2022 (20-30 минут).

Также периодически напоминаю про ресурс fhe.org, там проходит много семинаров и конференций по теме FHE и приложений. Для затравки рекомендую следующее:
▫️ Верхнеуровневое введение: Pascal Paillier - Introduction to Homomorphic Encryption, 2020 (1 час).
▫️ Более детально про одну из конструкций FHE: Ilaria Chillotti - TFHE Deep Dive, 2021 (2 часа). К этому докладу есть также сопроводительная серия постов: TFHE Deep Dive, 2022 (1,5 часа).
▫️ Про дизайн архитектур нейронных сетей в контексте FHE: Adrien Benamira - TT-TFHE: Torus FHE-Friendly Neural Network Architecture, 2023 (45 минут).
▫️ А сегодня, уже через час там будет вот такой доклад: Pierre-Emmanuel Clet - TFHE functional bootstrapping over multiple inputs. (Записи мероприятий обычно появляются в течение нескольких дней в YouTube канале FHE_org.)

Сообщество FHE_org активно развивает компания zama.ai, они собственно разрабатывают решения и фреймворки и для общих задач FHE и для ML+FHE в частности (Concrete, и вышеупомянутый Concrete ML). Несколько конкретных;) примеров из блога Zama:
▫️ Linear Regression Over Encrypted Data With Homomorphic Encryption, 2023.
▫️ How to Deploy a Machine Learning Model With Concrete ML, 2023.
▫️ [Video tutorial] How To Convert a Scikit-learn Model Into Its Homomorphic Equivalent, 2023.

Помимо Concrete и Zama есть другие решения вокруг FHE и ML, но полноценный обзор их ландшафта оставим как-нибудь на другой раз.

А если хочется погрузиться поподробнее в математику, которая стоит за некоторыми схемами FHE, то рекомендую начать вот c этих записей лекций:
▫️ The 2nd BIU Winter School, Lattice-based Cryptography and Applications, 2012.

Коллеги из Сообщества Управления Данными организуют обсуждение:

Созвон по теме "Развитие дата культуры в компании"

11 июля в 19:00 по Москве (UTC+3) встречаемся, чтобы обсудить культуру работы с данными.

Описание
О важности развития дата-культуры в компании, поговорим о нескольких ключевых направлениях, которые могут помочь развить такую культуру:

0. Анализ потребностей дата культуры, оценка осведомленности и навыков сотрудников, идентификация проблем бизнеса
1. Обучение сотрудников – методы обучения персонала для работы с данными, направления и целевая аудитория
2. Собрания, митапы – что и как важно обсуждать на встречах, с чего лучше начать
3. Насколько важны стандарты и политики по работе с данными для дата-культуры
4. Поддержка руководства – обсудим важность поддержки руководства в развитии дата культуры и что делать в случае ее отсутствия

Спикеры
CDO и ведущие эксперты Data подразделений различных направлений бизнеса

Формат
Открытый микрофон, где любой участник может задать вопрос и высказаться по теме

Для участия необходимо зарегистрироваться.

Созвон про мультиагентные системы

▫️ 13 июля (четверг), 19:00 МСК
▫️ Подключение→

Завтра у нас планируется созвон по теме мультиагентных систем (Multi-Agent Systems, MAS). Хотелось бы найти ответы на следующие вопросы:
▫️ Что такое мультиагентные системы и мультиагентное моделирование? Как это направление связано с имитационным моделированием, теорией игр и RL?
▫️ Каковы преимущества использования мультиагентного подхода по сравнению с другими подходами? В каких ситуациях стоит задуматься о применении MAS?
▫️ Какие есть успешные истории приложений мультиагентных систем в различных индустриях?
▫️ Какие бывают подходы к проектированию и реализации мультиагентных систем? Как получить оптимальный баланс между автономностью и координацией в MAS?
▫️ Как учитывать неопределенность и случайность в мультиагентной модели? Как машинное обучение и другие подходы ИИ используются в MAS?
▫️ Как оценивать качество принятия решений в мультиагентной парадигме? Как решать вопросы интерпретируемости и прозрачности мультиагнетных систем?

Книги и курс лекций про мультиагентные системы

Скорее неформальное введение в тему, а также достаточно много кейсов по реальному опыту, особенно в логистике:
▫️ G. Rzevski, P. Skobelev - Managing Complexity, 2014.
▫️ Перевод: Ржевский Г.А., Скобелев П.О. - Как управлять сложными системами? 2015.
Про кейсы можно успеть полистать перед нашим созвоном завтра. А Владимиру @Yah179 спасибо за наводку на коллег из Генезиса Знаний)

Для более детального погружения в тему MAS, особенно со стороны теории игр, все рекомендуют вот эту книгу:
▫️ Y. Shoham, K. Leyton-Brown - Multiagent Systems: Algorithmic, Game-Theoretic, and Logical Foundations, 2009.

А на YouTube есть вот такие записи лекций про MAS:
▫️ J. Liu - Intelligent and Autonomous Agents, CS767, University of Auckland, 2020.

Про мультиагентное обучение с подкреплением

На созвоне в прошлый четверг обсуждали связь мультиагентных систем с RL и вспомнили про мулитиагентное обучение с подкреплением (MARL). Сейчас это довольно активная область как в части исследований, так и в части приложений, объединяющая ML, оптимизацию, и теорию игр.

Вот несколько хороших вводно-обзорных статей (@alexander_levin, спасибо за наводку). Каждая статья дает свою перспективу на таксономию методов MARL и может служить отправной точкой, чтобы углубиться в детали:
▫️ A. Oroojlooy, D. Hajinezhad - A Review of Cooperative Multi-Agent Deep Reinforcement Learning, 2019 (2-3 часа).
▫️ L. Buşoniu, R. Babuška, B. De Schutter - Multi-agent reinforcement learning: An overview (Chapter 7 in Innovations in Multi-Agent Systems and Applications 1), 2010 (1-1,5 часа).
▫️ Y. Yang, J. Wang - An Overview of Multi-Agent Reinforcement Learning from Game Theoretical Perspective, 2020 (3-4 часа).

А еще есть препринт книги:
▫️ S.V. Albrecht, F. Christianos, L. Schäfer - Multi-Agent Reinforcement Learning: Foundations and Modern Approaches, 2023-2024.

Про эволюционные и метаэвристические алгоритмы глобальной оптимизации

На конференции MOTOR 23 был такой доклад Евгения Станиславовича Семенкина (СибИПСА им. А.Н. Антамошкина):
Hybrid evolutionary optimization: how self-adapted algorithms can automatically generate applied AI tools
”When designing AI tools or machine-learning models, one must make multiple choices: which approach should be used, which structure of model is more appropriate for the problem in hand and which settings and parameters must be applied. All of these choices are mathematically reduced to some kind of optimization problem. In fact, one has to solve multi-criteria multi-dimensional multi-scale “black box” optimization problems with algorithmically-given objectives and/or constraints. Bio-inspired algorithms, e.g. evolutionary algorithms (EAs), could be used for solving the described problems. However, the effectiveness and efficiency of EAs depends essentially on the choice of their settings and the tuning of their parameters, which is a separate and very complicated decision-making problem. An EA with appropriate settings and parameters can be very effective, but in the opposite case, this algorithm can fail. Moreover, such a useful property of EAs as their universality (their independence from the properties of the problem), which allows them to be used in solving the widest class of optimization problems, means that it is impossible to use properties of problems convenient for optimization (such as convexity, monotony and unimodality) in cases where such properties exist in the problem being solved…”

Коллеги в СибИПСА активно занимаются глобальными метаэвристрическими алгоритмами оптимизации и их приложениями (можно почитать пресс релиз про мегагрант и мега-лабораторию xOpt-AI MegaLab).

Коллеги также регулярно организуют конференцию IWMMA (International Workshop on Mathematical Models and their Applications), насколько я понимаю, ближайшая будет в ноябре, ждем анонсы.
А пока можно посмотреть записи докладов 2021-2022 гг. Подсвечу отдельно несколько выступлений по темам эволюционных и метаэвристических алгоритмов:
▫️ Обзор соревнований по применению эволюционных алгоритмов, интересно с точки зрения пополнения копилки бизнес задач: энергетика, логистика, транспортные потоки, ресурсное планирование, дизайн схем и печатных плат, задачи укладки, а также оптимизация в Minecraft и космическая оптимизация)) Vladimir Stanovov, Competitions in evolutionary computation, 2022 (60 минут).
▫️ Хорошее введение в алгоритмы дифференциальной эволюции: Vladimir Stanovov, Differential Evolution: trends, challenges, ways to visualize, understand and improve, 2021 (65 минут).
▫️ Метаэвристический алгоритм для динамической оптимизации: Vladimir Stanovov, Multi-swarm PSO with Success-History Based Adaptive Local Search for Dynamic Environments, 2022 (25 минут).
▫️ Быстрый и низкозатратный по ресурсам алгоритм глобальной оптимизации, с обзором большого количества приложений: Shuai Li, Beetle Antennae Search - An Emerging Global Optimization Tool for Real-time Light-weighted AI, 2022 (45 минут).

Труды MOTOR’ов

Кстати, сборники трудов конференций MOTOR регулярно публикуются:
▫️ International Conference on Mathematical Optimization Theory and Operations Research, 2019-2023.

Первый том этого года уже вышел:
▫️ 22nd International Conference MOTOR 2023, Proceedings, 2023.

Созвон про DS/ML в HR аналитике

▫️ 27 июля (четверг), 19:00 МСК
▫️ Google Meet→

Помимо обсуждения разнообразных космолётных тем вокруг методов и технологий DS/ML мы периодически спускаемся на Землю и думаем о том, как всё это применяется в конкретных областях и индустриях.

В этот четверг поговорим о приложениях анализа данных, машинного обучения и математической оптимизации в области HR аналитики.

Пройдемся по жизненному циклу сотрудника, и по тому, как продвинутая аналитика помогает повышать качество принятия решений на каждом этапе этого жизненного цикла:
▫️ Набор персонала: выявление и привлечение лучших кандидатов;
▫️ Оценка результативности: анализ производительности и вовлеченности сотрудников;
▫️ Обучение и развитие: подбор тренингов и улучшение процессов обучения;
▫️ Измерение удовлетворенности и благополучия сотрудников через анализ настроений;
▫️ Удержание сотрудников и снижение текучести кадров.

Ну и конечно же тут тоже все сводится к решению задач математической оптимизации. Несколько примеров:
▫️ Планирование и составление графиков работы, с учётом потребностей бизнеса, предпочтений сотрудников, а также трудового законодательства и других факторов.
▫️ Оптимизация структуры компенсаций и льгот, с учетом привлечения и сохранения лучших сотрудников, а также обеспечения при этом экономической эффективности.
▫️ Составление оптимальных траекторий карьерного развития, с учетом знаний, умений, навыков и вовлеченности сотрудников с одной стороны, и кратко-, средне и долгосрончых задач бизнеса с другой.
▫️ Повышение общей производительности через оптимальное распределение сотрудников по задачам, с учётом всевозможных факторов.