Telegram Web
Forwarded from Борис опять
# Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity

METR выложил рандомизированное исследование влияния AI на скорость работы опытных разработчиков в реалистичных условиях с неожиданным результатом.

Выполнение задач с использованием AI инструментов в среднем занимает на 20% дольше.

Причем если спрашивать разработчиков, то сами они уверены, что AI ускоряет их работу на 20%, а внешние эксперты вообще ожидают ускорения порядка 40%.

Я думаю, что на текущий момент это самое реалистичое исследование влияния AI инструментов на продуктивность разработчиков:
🔹Настоящие задачи из больших open source репозиториев с высокими стандартами качества.
🔸Опытные разработчики (5 лет в среднем) знакомые с кодовой базой над которой работают.
🔹Фронтир AI инструменты на момент исследования: Claude 3.5/3.7 Sonnet и Cursor Pro.
🔸Все разработчики были обучены правильно использовать Cursor Pro.
🔹Хороший дизайн эксперимента: фиксированная метрика (время исполнения), рандомизация, статзначимость, факторный анализ.
🔸Всё проверено вдоль и поперек, чтобы убедиться, что результаты не объясняются каким-то конфаундером.
🔹Исследование не сделано компанией продающей AI тулы.

Подробнее про эксперимент. В исследовании участвовали 16 опытных open-source разработчиков (если выборка кажется маленькой, то читайте дальше, станет понятнее) работающих над большими (1м+ строк кода) и популярными (20к+ коммитов) репозиториями. Разработчики были знакомы со своими проектами, в среднем сделали в них по 1500 коммитов. Всем разработчикам выдали Cursor Pro и научили им пользоваться.

Разработчики выбирали задачу. Далее они делали прогноз сколько у них займет исполнение с AI и без. Затем монетка определяла можно ли использовать для этой задачи AI инструменты. Если задача оказывалась в AI группе, то разработчик мог использовать любые AI инструменты. Мог и не использовать, если не считал нужным. На практике большинство использовали Cursor. Разработчик делал задачу записывая свой экран. Затем создавал Pull Request и дорабатаывал его после код-ревью. Задача считалась завершенной в момент принятия PR, то есть после всех доработок, и в этот момент фиксировалась метрика: время исполнения. Всего за время эксперимента было сделано 246 задач разной сложности, из них 136 с AI.

То есть важно понимать, что рандомизация происходила по задачам, а не по разработчикам. Поэтому выборка здесь не 16 разработчиков, а 246 задач. Это всё ещё не гигантская выборка, но:
1. P-value в порядке.
2. Авторы проанализировали и разметили записи экранов, провели интервью. Словом, сделали качественное исследование. Когда результаты качественного и количественного исследования консистентны это сильный сигнал.

Результаты показывают, что AI инструменты тормозят опытных разработчиков на реальных больших проектах. Здесь каждое слово важно. Например, AI может одновременно с этим ускорять начинающих на маленьких проектах.

Моё мнение 👀: я думаю это правда. Во-первых, надо иметь серьезные основания, чтобы спорить с рандомизированным исследованием. Я искал до чего докопаться и не нашел. Во-вторых, это совпадает с моими личным опытом: я и сам записывал экран где Cursor пытается решить несложную реальную задачу, не заметил никакого ускорения. В-третьих, ускорение даже на 20% не стыкуется с реальностью. Если у нас уже два года вся разработка быстрее и дешевле на 20%, то где эффект? Я бы ожидал колоссальных изменений на рынке труда из-за сложного процента, но по факту пока ничего не произошло (недавние сокращения в бигтехах были из-за налогов на ФОТ в США).

В статье очень много интересных деталей. Например, что эффект сохраняется вне зависимости от используемого инструмента: пользуешься ты agentic mode, только TAB или вообще руками копипастишь в ChatGPT. Или что даже после 50+ часов использования Cursor не наступает никаких изменений, так что это не зависит от опыта работы с AI инструментами.

Я разберу интересные моменты в отдельных постах.

@boris_again
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2👏1
В 2018-2019 годах поступало предложение пособеситься в Авиасейлс. Я тогда отказался: ну что может быть интересного в работе в агрегаторе авиабилетов? После просмотра этого интервью длиной в 5 часов (!) я понял, как же я ошибался...
Новый формат новостей в мире IT рекрутмента от Киры Кузьменко.

Любопытные инсайты о лэйоффах за первое полугодие 2025 года:
- Сокращение до 5% штата - нормальное явление, а не признак надвигающегося банкротства
- Основная масса сокращений в США - гос сектор, а не айти. Привет товарищу Трампу...
- ИИ стал скорее козлом отпущения при лейоффах в техгигантах, а не их реальной причиной
- Наконец, попробуйте угадать, для скольки увольнений из 20000 компании явно указали ИИ как причину увольнения.
Пользователи тестируют GPT-5 😁
😁2
Дороничев у Дудя. Одно из лучших объяснений, как работает ИИ для людей не из индустрии. Плюс рациональные и спокойные рассуждения о будущем человечества с ИИ тоже великолепные: никаких крайностей, паники и (анти-) утопий.
Расходимся?
Поучаствовал в вводном стриме, целью которого было познакомить начинающих предпринимателей с аналитикой данных. Однако вопросы в конце все равно были в основном про то, как вкатиться в индустрию , и заменит ли аналитиков AI
🔥4
Forwarded from 🤖 The Bell Tech
Триллионная дыра: почему ИИ-компании сжигают деньги без отдачи

НАСТОЯЩИЙ МАТЕРИАЛ (ИНФОРМАЦИЯ) ПРОИЗВЕДЕН И РАСПРОСТРАНЕН ИНОСТРАННЫМ АГЕНТОМ THE BELL ЛИБО КАСАЕТСЯ ДЕЯТЕЛЬНОСТИ ИНОСТРАННОГО АГЕНТА THE BELL. 18+

Индустрия искусственного интеллекта все явственннее сталкивается с серьезной проблемой: бигтехи инвестируют сотни миллиардов долларов в строительство дата-центров для развития ИИ, но весь остальной бизнес не понимает, как на этой технологии заработать. Разрыв между инвестициями и реальной отдачей становится все заметнее.

💸 Математика не сходится

Популярность ChatGPT, Google Gemini и других сервисов среди обычных пользователей растет. Вместе с ней взлетает и спрос на вычислительные мощности и энергию. Но экономический эффект от внедрения AI продолжает решительно не оправдывать эти затраты.

По данным консалтинговой фирмы Bain&Co, которые приводит Bloomberg, разработчикам ИИ потребуется выручка в $2 трлн ежегодно, чтобы покрыть расходы на вычислительные мощности. Но их реальные доходы отстанут от этой цифры примерно на $800 млрд. Кроме того, если текущие темпы роста сохранятся, ИИ создаст колоссальную нагрузку на мировые цепочки поставок.

🆙 Гонка инвестиций не сбавляет ход

Техногиганты не собираются останавливаться — к концу года Amazon, Alphabet, Meta и Microsoft планируют вложить в AI свыше $300 млрд. По прогнозам Bloomberg Intelligence, к началу следующего десятилетия их совокупные годовые расходы превысят $500 млрд.

Тогда же глобальная потребность в вычислительных мощностях для AI может достичь 200 ГВт — половина придется на США. Компании направят до 10% технологических бюджетов на создание AI-платформ, включая агентов, способных выполнять сложные задачи с минимальным контролем человека.

Бизнес не понимает, зачем ему AI

Но пока технологические гиганты наращивают инвестиции, большинство компаний за пределами Кремниевой долины относятся к ИИ настороженно. FT проанализировала отчеты сотен американских компаний из индекса S&P 500. Результат неутешительный: многие упоминают AI в основном в контексте рисков — кибербезопасности, юридических проблем и возможных сбоев.

Легче всего адаптироваться компаниям, работающим с большими данными или клиентской поддержкой. Paycom (разработчик ПО для управления персоналом) использует AI для привлечения клиентов. Военная судостроительная компания Huntington Ingalls — ускоряет «принятие решений на поле боя». А Zoetis (одна из ведущих компаний в сфере здоровья животных) — автоматизирует медосмотры лошадей. Но даже среди них не все показывают рост акций.

Многие компании все еще руководствуются не стратегией, а страхом упустить выгоду, признает Харита Хандабатту из Gartner. Например, Coca-Cola пока ограничивается использованием ИИ для создания рекламы и не понимает, как еще применить технологию.

🥹 Риски яснее выгод

Парадоксально, но компании гораздо четче формулируют риски AI, чем его преимущества, пишет FT. В отчетах доводы в пользу внедрения расплывчаты, а угрозы классифицированы детально.

Первая, и потенциально главная, проблема — кибербезопасность. Например, Match Group (владелец дейтинг-сервисов) предупреждает об утечках персональных данных. Производитель спортивной одежды Lululemon беспокоится о компрометации информации. Microsoft считает, что неэффективное внедрение AI может навредить как отдельным людям, так и обществу.

Вторая — неудачи внедрения. Совместное исследование Microsoft и MIT показало, что 95% попыток внедрить генеративный AI для повышения производительности в самой Microsoft провалились. Причина в том, что AI-инструменты плохо интегрируются в существующую инфраструктуру компаний.

Третья — юридические риски. Meta инвестирует миллиарды в развитие «суперинтеллекта», но опасается исков за нарушение авторских прав при обучении моделей. Даже PepsiCo отмечает риски претензий за использование чужих технологий.

Что дальше?


Пока энергокомпании подсчитывают прибыль от AI-бума, сами разработчики ИИ балансируют на грани. Вопрос не в том, кто заработает на инфраструктуре, а успеют ли AI-компании стать прибыльными до того, как инвесторы закроют кран.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Друзья из Альфа-Банка ищут Middle+|Senior Data Scientist на проект в Альфа-Банк (работа через вендора)

Что предстоит делать на этой позиции?
Тебе предстоит развивать внутреннюю систему для автоматического анализа текстовых документов с применением больших языковых моделей (LLM):
- разрабатывать и внедрять различные сценарии анализа текстов (выделение параметров, суммаризация, классификация, сравнение документов)
- улучшать стабильность и качество текущих сценариев анализа текстов, оптимизировать код
- применять LLM, использовать NLP-инструменты, разрабатывать RAG-пайплайны, писать промпты
- совместно с командами DE, MLOps, мониторинга интегрировать сервисы в промышленную среду

Что ожидаем от кандидата?
- опыт решения NLP-задач
- опыт применения LLM в рабочих задачах
- уверенное владение ML-стеком Python: lightgbm/xgboost/catboost, Scikit-Learn, Pandas, Numpy
- опыт полного цикла разработки модели (от сбора требований до промышленной реализации и пилотирования)
- понимание принципов работы с малыми данными

По всем вопросам можете писать в личку @Goo_goo_goo_joob . Или мне , если стесняетесь:)
Рубрика “Чем занимаются Principal ребята в больших американских компаниях”

Во время работы контрактором в одной из Tier-2 компаний США имел честь довольно плотно общаться с несколькими Principal Data Scientists. Поделюсь своим видением того, чем же именно они занимаются в компаниях подобного уровня:

- Создание и поддержание культуры и стандартов работы с данными. Реальные примеры здесь: как наполнять таблицами в DWH, как создавать пайплайны, как вести документацию. Участие в написании и записи обучающе-просветительских материалов (презентации, воркшопы)
- Курирование довольно крупных проектов, таких как создание отдельных больших слоев в DWH (например, feature storage) с организацией документации, тестов и прочих сопутствующих ритуалов + отслеживание их выполнения. При этом написанием кода они тоже занимаются, поскольку роль по-прежнему инженерная, а не менеджерская - обычно это какие-то сложные кейсы, когда нужно, например, есть жесткие ограничения по времени работы ETL джобы и нужно выжать максимум эффективности при минимуме ресурсов. Так что hands on experience там что надо :)
- Код ревью, куда же без него. Обычно они являются owners какой-нибудь репы, вмерджиться в которую без их одобрения нельзя.
- Дежурство в чатах поддержки, например, есть условный канал #help-with-data с парой сотен коллег, которые задают либо технические вопросы, либо “а где лежат такие-то данные”. У принципалов есть обязательство выделять временные слоты, когда они мониторят эти чаты и помогают коллегам. Очень классная фича, когда любой коллега может “дотянуться” до топовой экспертизы, лично мне это очень помогло разрулить множество больших и маленьких проблем.
- Аналогичное обязательство есть по участию в тех собеседованиях: кто будет собесить Staff кандидата? Формально, нужен человек минимум одним грейдом выше :)

Так что хоть роль и техническая, разумеется, она уже больше про организацию и управление проектами и командами, но управление это как бы техническое, архитекторское.

Напоследок внесу свою лепту в разрушение стереотипа о том, что на таких позициях работают снобы, которых ”все достали своими однотипными вопросами”, наоборот, готовность помочь и чувство юмора у них на высоте. Так что гипотеза о том, что без софтов вы далеко не уедете (особенно в эпоху AI), подтверждается вновь и вновь
🔥4👍3
Продвинутые е-коммерсы уже расставляют ловушки для ваших AI-агентов😁
😁3
А вот что действительно важно, хотя почти не видно , так это то, что в последнем релизе Python 3.14 добавлена возможность отключить GIL и получить настоящий мультитрединг. Пока не все так гладко (нужна отдельная компиляция, не все даже стандартные либы поддерживаются), да и в 3.13 она уже была экспериментальной, но шаг значительный. Верим, что работы в этом направлении продолжатся
👍2
2025/10/11 09:34:48
Back to Top
HTML Embed Code: