Forwarded from Унарный код || прунинг
Небольшой отчет с PML conf от 📱 .
Даже мне, как человеку достаточно далекому от LLM и мультимодальности, конференция показалась одной из самых занятных и сильных за год.
На мероприятии было много интересных спикеров, включая лауреата премии Филдса и профессора Колумбийского университета Андрея Окунькова, CTO Yandex R&D Алексей Колесов и руководителя Sber AI Павла Гуляева, чей доклад о памяти в языковых моделях, по моему мнению, оказался лучшим, тем более в свете недавно вышедшей TernFS от XTX Markets.
Конечно же, конференции — это всегда нетворкинг, мне удалось пообщаться с бывшими квантами из RBI и встретился со многими прикольными ребятами.
Хочу отметить достаточно любопытные стенды, я посидел внутри беспилотного китайского собрата Камаза, кроме того, за мной погонялся аналог робопса Boston Dynamics от Яндекса
Несколько полезных ссылок по темам докладов:
1. Память в LLM: LoCoMo benchmark; LongMemEval benchmark; Графы знаний в LLM
2. Online RL: GRPO; online-RL
Все доклады можно посмотреть на официальном сайте конференции
#мероприятия
Даже мне, как человеку достаточно далекому от LLM и мультимодальности, конференция показалась одной из самых занятных и сильных за год.
На мероприятии было много интересных спикеров, включая лауреата премии Филдса и профессора Колумбийского университета Андрея Окунькова, CTO Yandex R&D Алексей Колесов и руководителя Sber AI Павла Гуляева, чей доклад о памяти в языковых моделях, по моему мнению, оказался лучшим, тем более в свете недавно вышедшей TernFS от XTX Markets.
Конечно же, конференции — это всегда нетворкинг, мне удалось пообщаться с бывшими квантами из RBI и встретился со многими прикольными ребятами.
Хочу отметить достаточно любопытные стенды, я посидел внутри беспилотного китайского собрата Камаза, кроме того, за мной погонялся аналог робопса Boston Dynamics от Яндекса
Несколько полезных ссылок по темам докладов:
1. Память в LLM: LoCoMo benchmark; LongMemEval benchmark; Графы знаний в LLM
2. Online RL: GRPO; online-RL
Все доклады можно посмотреть на официальном сайте конференции
#мероприятия
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5❤3👍3
Быстрый принт для контестов
Я думаю каждый из нас горел в моменты, когда надо быстро решить контест с ограничением и написать типа оптимальный код, который типа пройдёт тесты и не только влезет в память, но еще и за 2 секунды отработает.
Часто бывало такое, что вроде уже наоптимизировал код, а он ну совсем не проходит по времени и надо еще 50-100 мс откуда-то достать
Оказалось, что привычный для нас print() - это функция поверх sys.stdout.write()
Пока она отработает до вывода в аутпут инфы, может пройти достаточно много времени. И вот почему - исполняя print(), интерпретатор Python выполняет несколько шагов:
1️⃣ Принимает аргументы (*args). То есть мы можем написать print(a, b, c).
2️⃣ Преобразует каждый аргумент в строку. Если мы передадим число i, print(i) вызовет str(i).
3️⃣ Джойнит аргументы, используя разделитель (по умолчанию пробел).
4️⃣ Добавляет в конец строки символ (по умолчанию \n).
5️⃣ Вызывает sys.stdout.write()
Ну вот сами посчитайте количество дополнительной логики
Я спросил у гпт в чем отличие, и вот что он выдал:
Звучит немного кринжовенько, но думаю основной смысл понятен. Кстати, в цикле на 10М вызовов функции записи, sys.stdout.write() почти в 2 раза быстрее обычного принта
Надеюсь, инфа была полезной и сэкономит вам драгоценные милисекунды на контестах.
P.S. Этой инфой поделились ребята с моей команды, так что в первую очередь спасибо им💪🏿
#python #code
Я думаю каждый из нас горел в моменты, когда надо быстро решить контест с ограничением и написать типа оптимальный код, который типа пройдёт тесты и не только влезет в память, но еще и за 2 секунды отработает.
Часто бывало такое, что вроде уже наоптимизировал код, а он ну совсем не проходит по времени и надо еще 50-100 мс откуда-то достать
Оказалось, что привычный для нас print() - это функция поверх sys.stdout.write()
Пока она отработает до вывода в аутпут инфы, может пройти достаточно много времени. И вот почему - исполняя print(), интерпретатор Python выполняет несколько шагов:
Ну вот сами посчитайте количество дополнительной логики
Я спросил у гпт в чем отличие, и вот что он выдал:
print() — это как заказать в ресторане "комплексный обед". Вы просто говорите название, а повар сам готовит салат, суп и второе, а затем подает все вместе. Это удобно, но требует от кухни больше действий
sys.stdout.write() — это как напрямую сказать повару: "Дай мне кусок хлеба", "Теперь положи на него сыр". Вы даете точные, низкоуровневые команды. Это быстрее для повара, но требует от вас больше указаний
В цикле, где эти операции повторяются миллионы раз, накладные расходы на дополнительную логику print() становятся заметными.
Звучит немного кринжовенько, но думаю основной смысл понятен. Кстати, в цикле на 10М вызовов функции записи, sys.stdout.write() почти в 2 раза быстрее обычного принта
Надеюсь, инфа была полезной и сэкономит вам драгоценные милисекунды на контестах.
P.S. Этой инфой поделились ребята с моей команды, так что в первую очередь спасибо им💪🏿
#python #code
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥18❤5⚡3
Интересное что-то от ребят, кого я читаю v0.35
Предыдущий пост тут
Интересное что-то тут
По классике, с новой неделей и поздним выпуском интересных постов, а меня все также пока с отпуском!
1. Артем выдал базу по разным типам агентов. Для себя даже нашел пару знакомых моментов и даже не знал, что они именно так называются. Но естественно, сейчас всех интересует самый последний пункт про мультиагентность и надеюсь вскоре об этом будут подробности.
2. Валера написал пост о том, как правильно принимать решения, чтобы потом не сожалеть о них. Все просто: ограничиваем время на решение, скрещиваем альтернтивные варианты, ищем супер простое и легкое решение (кстати мб в этом поможет пункт 3 этой подборки)
3. Александр расписал интересный подход к работе с LLMками для решения своих задач. Что из этого я точно бы выделил: это разделение своего запроса на подзадачи и на каждой задаче просто выбивание максимального качества ответа на каждом из этапов через несколько итераций, постепенного улучшения и комбинаций ответов из разных моделей.
4. Дядя рассказал про MemAgent и работу с памятью. Здесь рассматривается именно агентный подход к работе с памятью (при этом не забываем про другие: ong context, саммаризация, ner, function calling и rag). Кстати про память из свежих есть доклад Павла Гуляева на Practical ML Conf.
5. Борис поделился своим докладом про Red-teaming AI агентов. По сути это процесс, состоящий из 3 этапов: поиск угрозы, исследования и тестирование. При этом у ребят разные атаки на AI-агентов: EchoLeak, MCP Slack Lethal Trifecta, и атака на Claude Computer Use.
По классике ставьте лайки, отправляйте в сохраненки и чатики с друзьями, ну и конечно же применяйте информацию во благо!
@asisakov_channel
#interesting
Предыдущий пост тут
Интересное что-то тут
По классике, с новой неделей и поздним выпуском интересных постов, а меня все также пока с отпуском!
1. Артем выдал базу по разным типам агентов. Для себя даже нашел пару знакомых моментов и даже не знал, что они именно так называются. Но естественно, сейчас всех интересует самый последний пункт про мультиагентность и надеюсь вскоре об этом будут подробности.
2. Валера написал пост о том, как правильно принимать решения, чтобы потом не сожалеть о них. Все просто: ограничиваем время на решение, скрещиваем альтернтивные варианты, ищем супер простое и легкое решение (кстати мб в этом поможет пункт 3 этой подборки)
3. Александр расписал интересный подход к работе с LLMками для решения своих задач. Что из этого я точно бы выделил: это разделение своего запроса на подзадачи и на каждой задаче просто выбивание максимального качества ответа на каждом из этапов через несколько итераций, постепенного улучшения и комбинаций ответов из разных моделей.
4. Дядя рассказал про MemAgent и работу с памятью. Здесь рассматривается именно агентный подход к работе с памятью (при этом не забываем про другие: ong context, саммаризация, ner, function calling и rag). Кстати про память из свежих есть доклад Павла Гуляева на Practical ML Conf.
5. Борис поделился своим докладом про Red-teaming AI агентов. По сути это процесс, состоящий из 3 этапов: поиск угрозы, исследования и тестирование. При этом у ребят разные атаки на AI-агентов: EchoLeak, MCP Slack Lethal Trifecta, и атака на Claude Computer Use.
По классике ставьте лайки, отправляйте в сохраненки и чатики с друзьями, ну и конечно же применяйте информацию во благо!
@asisakov_channel
#interesting
Telegram
asisakov
Интересное что-то от ребят, кого я читаю v0.34
Предыдущий пост тут
Интересное что-то тут
Всех с новой неделей и поздним выпуском интересных постов, а меня с отпуском!
1. Нашел старый пост от Димы, где он вместе собрал гибрид SGR + Tools. Здесь я напишу…
Предыдущий пост тут
Интересное что-то тут
Всех с новой неделей и поздним выпуском интересных постов, а меня с отпуском!
1. Нашел старый пост от Димы, где он вместе собрал гибрид SGR + Tools. Здесь я напишу…
❤5👍4🔥4
Приглашаем на бесплатный вебинар, где Андрон Алексанян — эксперт в области аналитики и CEO школы аналитики Simulative — в прямом эфире разберет все важные аспекты в работе аналитика, а также расскажет как получить оффер быстрее других.
Хотите попасть в аналитику, но теряетесь в море информации и не понимаете, какие навыки действительно важны? Боитесь, что без опыта вас не возьмут на работу? И да, ещё один популярный вопрос — а что, если мне 30/40/50+ лет?
На вебинаре разберём:
— Покажем реальные примеры, как оформить резюме и портфолио, чтобы привлекать внимание;
— Обсудим какие отклики работают, а какие сразу отправляют в корзину;
— Изнанка найма: инсайдерский взгляд на процессы отбора
🕗 Важно досмотреть вебинар до конца, чтобы получить бонус от нас, который поможет бустануть карьеру.
Please open Telegram to view this post
VIEW IN TELEGRAM
🥱5❤🔥3👍2🔥2
Будучи в Риме мы с женой решили посмотреть сериал "Молодой Папа", благо он идет всего один сезон и на 10 серий
Я сам по себе невероятно умею залипать на все эти вещи и поэтому стараюсь ограничивать продолжительные серии фильмов, книг или сериалы, потому что если заинтересуюсь, то просто смотрю или читаю все свободное время (недавно такое было с серией книг Лю Цисыня про Задачу трех тел)
Мы в Риме, почему бы не сгонять в Ватикан, вдохновиться богатством страны и Сикстинсокй Капеллой и потом посмотреть про это крутой сериал? Про выбор вы наверно итак поняли (можно было еще остановиться на серии фильмов с Код да Винчи, но это уже мы смотрели), но что было очень прикольно, так это то, что ни один из эпизодов сериала не был снят в Ватикане, при том что воссоздано это все было очень оригинально - даже изображения и ступеньки в Сикстинской Капелле.
Сериал изначально показался довольно типичным американским про борьбу за власть, интриги, юмор (СПОЙЛЕР:например, когда монашки играют в футбол ) и некоторый смысл. В первых двух сериях даже было довольно тяжело различить, где реальность, а где вымысел. Но по мере развиия сюжета мы начали замечать некоторые детали и отсылки, что даже заставка к самому сериалу имеет много значения - СПОЙЛЕР: раскрывает немного суть и сюжет сериала через полотна и фрески .
В реальности оказалось так, что сериал очень плотно построен драматургически, и с трудом найдутся ненужные сцены, без которых например можно было бы обойтись, почти в каждой сцене есть интрига, важный момент с раскрытием истории/персонажей или какие-то отсылки (СПОЙЛЕР:например, когда Папа Римский сбежал из Ватикана погулять ). Если сравнивать с типичными сериалами, например в "Во все тяжкие" можно было бы обойтись без целого сезона.
Мы дальше начали копаться и гуглить эти разборы картин и разные отсылки. Короче, их оказалось достаточно много - режиссер очень сильно постарался. Например, высмеивались некоторые моменты из слухов и разных ситуаций про пап. Понять все эти приколы очень сложно (и некоторые мы интерпретировали например совсем на другой лад). В итоге мы даже наткнулись на разбор из какого-то журнала прям по каждой серии, думаю вам будет интересно просто понять, насколько глубоко режиссер прорабатывал каждый взгляд, образ и игру актеров.
Короче, рекомендую к просмотру и изучению.
У вас есть примеры таких сериалов/фильмов/книг, что потом погружаешься/читаешь или перечитываешь и вдруг находишь новые скрытые смыслы?
#life
Я сам по себе невероятно умею залипать на все эти вещи и поэтому стараюсь ограничивать продолжительные серии фильмов, книг или сериалы, потому что если заинтересуюсь, то просто смотрю или читаю все свободное время (недавно такое было с серией книг Лю Цисыня про Задачу трех тел)
Мы в Риме, почему бы не сгонять в Ватикан, вдохновиться богатством страны и Сикстинсокй Капеллой и потом посмотреть про это крутой сериал? Про выбор вы наверно итак поняли (можно было еще остановиться на серии фильмов с Код да Винчи, но это уже мы смотрели), но что было очень прикольно, так это то, что ни один из эпизодов сериала не был снят в Ватикане, при том что воссоздано это все было очень оригинально - даже изображения и ступеньки в Сикстинской Капелле.
Сериал изначально показался довольно типичным американским про борьбу за власть, интриги, юмор (СПОЙЛЕР:
В реальности оказалось так, что сериал очень плотно построен драматургически, и с трудом найдутся ненужные сцены, без которых например можно было бы обойтись, почти в каждой сцене есть интрига, важный момент с раскрытием истории/персонажей или какие-то отсылки (СПОЙЛЕР:
Мы дальше начали копаться и гуглить эти разборы картин и разные отсылки. Короче, их оказалось достаточно много - режиссер очень сильно постарался. Например, высмеивались некоторые моменты из слухов и разных ситуаций про пап. Понять все эти приколы очень сложно (и некоторые мы интерпретировали например совсем на другой лад). В итоге мы даже наткнулись на разбор из какого-то журнала прям по каждой серии, думаю вам будет интересно просто понять, насколько глубоко режиссер прорабатывал каждый взгляд, образ и игру актеров.
Короче, рекомендую к просмотру и изучению.
У вас есть примеры таких сериалов/фильмов/книг, что потом погружаешься/читаешь или перечитываешь и вдруг находишь новые скрытые смыслы?
#life
Кинопоиск
«Молодой Папа» (The Young Pope, 2016)
История италоамериканца Ленни Белардо, избранного Папой Римским Пием XIII. Ленни - сложный человек, который ведет себя эксцентрично, а иногда и пугающе, и действия его на посту Папы предугадать не так-то просто, отчего кардиналы плетут против него интриги…
🔥7❤2👍2🦄2