GPT-5, что-то новое опять

Вчера вдоволь нашутились про графики и сравнения в презентации от ребят из OpenAI во время анонса их новой модельки GPT-5 (карикатуру на это можете посмотреть в сторис канала, позаимствовал отсюда). Приведу что-то интересное, что я заметил:

1️⃣Теперь режим Thinking не по кнопке. В модель встроен "маршрутизатор рассуждений", который сам решает, когда дать быстрый ответ, а когда включить режим глубокого анализа. Надеюсь, не придется просить подумать еще глубже

2️⃣Нормальное такое снижение галлюцинаций по графичкам - процент ошибок падает в 2-5 раз по сравнению с o3 и 4o. Говорят, что модель также стала честнее и чаще признает свои ограничения

3️⃣Очевидно, что на бенчмарках модель будет топовой. Но на демо было интересно увидеть создавание сложных приложения по простому описанию, которые еще и запускаются с первого раза. Например, там было нелохое демо с "qiuck refresher on the Bernoulli impact"

4️⃣Круто, что сразу раскатили на всех пользователей ChatGPT, включая бесплатных (это я, это я). Обычно на ОпенАИ ругались, что они раскатывают неделю, когда Антропики сразу после анонса катят уже на всех

5️⃣Ну и контекстное окно до 400к токенов уже очень неплохо, потому что часто приходилось работать с Gemini именно из-за длинного окна (хотя забывание никуда не девалось)

Что, пора уже уволнять своих джунов? Хотя стоп, у меня же нет джунов

#llm

Играющий тимлид

В мире айтишки существует особый тип руководителя - "играющий тимлид" или "играющий тренер". Это тот самый чел, который не только менеджерит команду и отвечает за результат, но и сам остается активным участником технических процессов. И это даже на самом деле одна из самых обсуждаемых (и спорных) моделей в управлении разработкой.

Кто ты, воин?

Ну типа представьте, у вас есть лид-менеджер, который еще и может в любой момент занырнуть (да-да, занырнуть) в код и решить сложную техническую задачу и потушить пожар своими руками (ну сделать например что-то типа git reset --hard HEAD~10). Или вот есть самый опытный синьор, который всем раздает направо и налево за кодстайл и документацию, но до играющего лида он даже не докопается (тут конечно надеюсь, что именно по причине скилловости последнего).

Также этот же чел спокойно поймет, почему мы не делаем калибровку модели, когда оптимизируем метрику Gini, и конечно же при этом попросит поглядывать на PR-AUC, чтобы не уронить полноту. То есть буквально чел переживал все трудности, с которыми сталкивалась и не сталкивалась (и возможно не столкнется) команда.

Главная проблема не увлечься

К сожалению тимлид нужен не для того, чтобы прогать и тушить пожары. А нужен для того, чтобы менеджерить. Отсюда и растут ноги всех холиваров. Зачем тимлиду еще и прогать? Пусть наймет человека, который закроет этот вопрос, а сам будет уже эффективно расходовать свои силы на стратегию и управление.

В чем могут начаться проблемы:

▫️Играющий тимлид может стать бутылочном горлышком, подвязав на себя много задач, когда без его погружения могут тормозиться задачи
▫️"Сделаю сам", или еще хуже - микроменеджерство. Вместо того чтобы дать команде развиваться, он делает задачи за нее. Люди не растут, если за них решают самые интересные и сложные проблемы.
▫️Ну и конечно же повышенный риск выгорания. Пытаться успеть и менеджерить, и кодить в полном объеме звучит как 16 часов работы в день.

Почему тогда вообще возникает такая роль?

Модель играющего тренера эффективна (особенно в небольших командах), если соблюдать правила:

▫️Основная работа - люди и процессы
▫️Главная задача лида, это убирать препятствия, обеспечивать команду всем необходимым и помогать людям расти
▫️Руками - только в критических случаях (например, при исследовании новой технологии (R&D) или в реальном продакшен-инциденте)
▫️Не забирать у команды плановые задачи!
▫️Цель - не написать код, а помочь команде писать его лучше (код-ревью, парное программирование, менторинг в помощь)
▫️Осознанно ограничивать время на код и технические штуки

С ростом команды доля менеджмента неизбежно растет. Важно сознательно оставлять 15-20% времени на погружение вглубь, чтобы не терять хватку, но не в ущерб основным обязанностям.

Играющий тимлид - это не лучший кодер в команде. Это катализатор, который благодаря своей актуальной технической экспертизе делает всю команду сильнее. Но грань, за которой польза превращается во вред, очень тонка.

Если бы было что-то одно, на чем бы я предложил сфокусироваться, то это:

Создавать условия, в которых каждый может реализовать свой потенциал

С ростом команды роль играющего тимлида неизбежно трансформируется:
▫️Больше внимания стратегии и планированию
▫️Фокус на развитие сотрудников
▫️Техническое участие становится более точное и лишь при необходимости

Возможно даже, что потом придется делегировать статус сильнейшей технической экспертизы кому-то из коллег. Но при этом необходимость принятия взвешенных решений никуда не денется.

Я бы подытожил, что быть играющим тимлидом это больше про баланс. Неизбежный путь постоянного развития, где приходится одновременно расти и как технический специалист, и как лидер. Но что, если именно такой подход часто создает самые эффективные команды, способные решать по-настоящему сложные задачи?

#softskills #career

Те самые агенты не 007

Я думаю вы на этом канале уже десятки раз читали в дайджестах и не только про агентные системы. Кратко напомню - это такие штуки, которым даешь таску, и они ее закрывают сами с использованием некоторых инструментов. Например, поиск и бронь авиабилетов по выбранному мной маршруту с определенными пожеланиями (я ведь сам слишком ленив, чтобы выставить фильтры на агрегаторе полетов) Короче, это уже не просто текстовые чат-боты или генерилки красивых картинок, а полноценные ассистенты, способные самостоятельно выполнять некоторые пошаговые задачи.

Не знаю явную точку отсчета, когда все поняли, что модель можно чему-то научить, но с появлением например AlphaGo исследователи смогли выяснить, что модель может обучиться игре по некоторым правилам и самостоятельно продумывать стратегию. Вот можно ли этот движок назвать агентом? Only reward is enough?

При это не стоит забывать, что AlphaGo научился выигрывать в Go, зная правила, а сравнительно давно коллеги из DeepMind выпустили MuZero, который научился учиться, даже не зная правил игры. Дальше я думаю было бы важно научиться расширять список действий агента, чтобы он мог на этой основе что-то суетить. Хотя например исследователи выкатывали SIMA, но в моем новостном фоне про него мало слышно.

Что вообще можно потыкать из агентов:

▫️Работа/бизнес

Microsoft Copilot - генерация контента, анализ данных, автоматизация рабочих процессов
Google Project Astra - мультимодальный AI-помощник
Devin AI - чел, который типа пишет код за вас
Harvey AI - агент в юридической отрасли
Manus - агент, который решает наши рутинные таски

▫️Что-то из опенсурса для разработки

LangChain - базированный модульный фреймворк для LLM приложений
CrewAI - что-то про объединение агентов в команды
AutoGen - мультиагентный фреймворк от Мелкомягких

Как мы наблюдаем со всеми стандартизациями и MCP, сейчас идет упор на мультиагентность. Зачем нам одного универсальный многорук-многоног, который в среднем на всех таксках имеет приемлемую эффективность, когда можно собрать команду экспертных агентов, которые решают свои задачи, но эффективно. Сейчас уже никого не удивит обычная генерация текста, а вот решение таски без участия человека - это уже интересно.

Кстати, этот пост мы с Никитой решили написать совместно, у себя на канале он подсветит свою точку зрения и расскажет про отличие между Langchain vs LlamaIndex vs CrewAI vs Custom.

А вы уже используете агентов в работе или личных проектах?

P.S. Специально кстати привел не весь список, кидайте ссылочки с краткими пояснениями, что и как юзать! (чуть более расширенный список кстати есть в этом посте Никиты)

#llm #agents #collaboration

Результаты исследования дс специалистов

Помните, я вам говорил про исследование от коллег из DevCrowd. Так вот недавно коллеги пришли с результатами исследования и вот знаете что?

❗️ИССЛЕДОВАНИЯ БУКВАЛЬНО ТОЧНО ОТРАЖАЮТ ТО, ЧТО Я ВАМ ПИСАЛ В РОАДМАПЕ

Чтобы вкатиться в аналитику, необязательно ботать ML, DL, Python, Causal inference, Uplift, Market Mix Modeling и еще там миллиард прикладных вещей. Просто SQL и аналитический склад работы (затрагивает понимание статистики). По желанию можно подтянуть A/B.

🔠🔠🔠

Дальше просто пройти собес. Серию постов про собеседования я писал тут.

Что делать, вы знаете - материалы уже все я подготовил и ознакомиться можно вот тут: 1, 2, 3, 4, (серия еще не закончена, скоро выложу пост про A/B).

#career #analytics #interview

Интересное что-то от ребят, кого я читаю v0.28

Предыдущий пост тут
Интересное что-то тут

Новая неделя, новая подборка!

1. Наш Андрей нашел и любезно приложил ссылочку на хэндбук по поиску фродовых транзакций в финтехе. Если вам актуально погрузиться в проблематику, метрики и применямые модели, то точно стоит пробежаться по материалу. Кстати, докину сюда еще, что в антифроде очень важно работать с хорошими и чистыми данными, потому что даже после разметки мы не можем до конца быть уверены в наших таргетах.

2. Александр поделился ресурсом, где собраны разные MCP сервера. Там и GPT ресерчеры и Dungeon Task мастеры, и даже вроде есть звездочки для каждого сервера. На крайняк там можно даже поглядеть серверы по категориям.

3. Сева рассказал про рабочий пример архитектуры мультиагентной системы. Базово там есть один центральный агент (judge), который раздает таски субагентам и далее потом на основе полученной информации делает выводы, а потом либо раздает таски, либо агрегирует информацию в отчет.

4. Рефат немного копнул про LangExtract в исходниках и рассказал суть. Если коротко, то LangExtract = Few-shot Information Extraction + Structured Outputs + Automatic Source Grounding. На выходе отдает точное местоположение типа {"startpos": 41, "endpos": 57}. Есть интересная штука extraction_passes - это типа несколько проходов по документу для повышения recall (полноты).

5. Сергей порадовал базой в менеджерских историях про хозяйственных и эгоистичных лидов. Одни делают так, чтобы команда работала эффективно, другие руководители гонятся за своими KPI. Интересно отмечено, что это не особенность психики или типа управления, а скорее среда сама способствует появлению таких моментов.

Все посты от коллег к сожалению я читать не успеваю, видимо пора уже делегировать 😂

#interesting

Йоу! Присаживайся, брат. Если ты пришел с вопросом как повайбкодить с нуля, значит, ты на верном пути. Я 10 лет в этой теме, и я тебе скажу одно: сейчас кодить - это не про страдания и поиск багов ночью с перечитыванием документации. Сейчас кодинг - это про вайб, про состояние потока, когда ты мчишь по строчкам кода как на машине со скоростью мысли.

Твой сетап - это твой экзоскелет. Он должен быть незаметным, быстрым и угадывать твои желания. Забей на типа трушных разрабов, которые гордятся тем, что пишут в голом Vim и компилируют ядро на завтрак. Наш путь самураев - путь максимальной эффективности и кайфа.

Пора подняться из грязи в князи и кодить в браузере. Это точка входа. Ты еще не кодер, ты всего лишь энтузиаст. Ты разговариваешь с машиной, и она выдает артефакты. Берешь и открываешь вкладку с AI-чатом и пишешь промпт: "Напиши мне скрипт на Python, который берет CSV файл, находит всех юзеров из Москвы и сохраняет их в новый файл".

Инструменты:
▫️claude.ai
▫️chat.openai.com
▫️aistudio.google.com
▫️chat.deepseek.com

ВСЕ!

Тебе. Вообще. Не. Нужен. Комп. Нужен только браузер. Придумал промпт за 30 секунд, получил в ответ какой-то код. Если что-то непонятно, берешь и пишешь в чатик: "Объясни мне эту строчку". Если думаешь, что работает так себе, пиши: "А как сделать то же самое, но эффективнее?". ИИ, как твой бесконечно терпеливый синьор, вернется с ответом, как подумает. Заботы о том, работает оно или нет, оставь на потом. Сейчась главное ловить кайф.

Скоро вернусь с еще одним бесполезным советом!

#meme #llm

SHAD AB week

Помните, недавно я писал пост про материалы для ботки из ШАДа, и оказывается от них же еще недавно проходил AB week. Оригинальный пост с материалами я обновил, но чтобы вы были в курсе и сразу получили несвежую информацию из первых рук.

Там рассказали о современных методах анализа, включая бутстрап, линеаризацию и CUPED. Ну и соотвественно лекции про правильный дизайн и проведения А/В‑тестов, их анализ и формулировку бизнес‑решений.

Конкретно по лекциям:

1️⃣Статистика для A/B‑тестов: важные на практике распределения, параметры и оценки, гипотезы и статистические критерии, t‑критерий Стьюдента (YT, VK)

2️⃣Ошибки I и II рода, MDE (минимальный детектируемый эффект). Одновыборочный критерий Колмогорова — Смирнова. Тест Шапиро — Уилка. Синтетические АА‑тесты для проверки валидности статистического критерия (YT, VK)

3️⃣Сравнение распределения двух выборок: двухвыборочный критерий Колмогорова — Смирнова, тест Манна — Уитни. Метрики отношения. Мощность теста и сравнение критериев между собой (синтетические А/B‑тесты) (YT, VK)

4️⃣Доверительные интервалы для метрик отношения, процентных изменений (uplift), персентилей. Методы повышения чувствительности метрик: работа с выбросами, CUPED (YT, VK)

5️⃣Методы повышения чувствительности метрик: стратификация, постстратификация. Проблема множественного тестирования. Проблема подглядывания и групповой последовательный тест (GST). Альтернативный метод работы с данными — Байес. Флоу анализа A/B‑тестов (YT, VK)

Я вот быстренько пробежался по 4 и 5 лекции, кажется годно.

#ab #analytics #courses