Radio Timur

Из твиттер-треда узнал тут о довольно крутом исследовании, которое провели MIT о работе ученых-химиков из крупной американской компании на предмет их взаимодействия с ИИ-помощниками.

В исследовании участвовало 1018 ученых из департамента исследований одной конкретной индустриальной компании в США. В какой-то момент все они начали пользоваться разными ИИ-помощниками – как внутренней разработки, так и внешними типа ChatGPT, Claude и тд.

Если упростить выводы максимально, то количество новых патентов и открытых новых смесей и составов увеличилось с помощью ИИ увеличилось довольно сильно: в короткие сроки было открыто на 44% больше новых материалов, было подано на 39% больше патентов, а в работу ушло на 17% больше перспективных новых продуктов, чем за такой же период в прошлом.

При этом оказалось, что использование ИИ в первую очередь помогает тем ученым, кто и так был был довольно продуктивен до этого – их производительность увеличилась почти в два раза. А ученые из условно говоря нижней трети по продуктивности увидели намного меньший прирост по результатам.
Как показало дальнейшее исследование этого феномена, оказалось, что топовые исследователи на этапе оценки быстрее выявляли перспективные сплавы и смеси из тех, что предлагал ИИ, и быстрее переходили к их созданию и тестированию, тогда как те самые «ученые нижней трети» тратили больше времени на то, чтобы тестировать материалы, которые ИИ считал перспективными, но в итоге в реальной жизни они не показывали предполагаемых положительных качеств.

Исследователи решили оценить эффект от внедрения разных инструментов в долгосроке и пришли к выводу, что конкретно в этой лаборатории за последние 5 лет продуктивность ученых неумолимо падала – количество новых открытых материалов в пересчете на одного ученого упала на 4% за этот срок. Причем такое падение сопровождалось постоянным внедрением новых перспективных приложений и программ для облегчения работы ученых.

При этом внедрение ИИ дало, как я писал выше, безумный прирост по всем фронтам – всего за 12 месяцев уровень продуктивности вырос почти в 1,5 раза.

Казалось бы, ну окей, новые потенциальные материалы кандидаты, куча патентов, а что с реальной пользой и новыми продуктами? Как оказалось, качество материалов не снизилось. В воронке теоретический кандидат -> тестирование -> оценка -> кандидат для продукта ничего особо не поменялось и все значения остались на прежнем уровне.

Окей, все выглядит очень перспективно и радужно, но что дальше? Автор исследования из MIT говорит, что у него есть сомнения, что:

1) Новые материалы, которые предлагает ИИ, все-таки используют уже известные свойства разных компонентов, а значит, это такие «безопасные открытия», которые не предполагают какого-то невиданного прорыва, скорее, то, что остальные до этого, так скажем, не доглядели.

2) Такой подход очень быстро приведет к эффекту снижения результативности (diminishing returns), когда все основные известные компоненты, их эффекты по отдельности и вместе будут перебраны, а новых ИИ просто не сможет предложить.

Ну а еще автор исследования постоянно обращает внимание на несправедливость того, что ИИ диспропорционально ускоряет работу и без того хороших специалистов, но не дает солидного прироста специалистов поменбше, а уж жесть совсем маленбким специалистам вообще не сильно помогает. Причем все это в первую очередь упирается в механизмы оценки, которые разнятся между учеными. Какие-то сразу понимают, что ИИ им дичь затирает, а какие-то не сразу и тратят время на тестирование этих материалов.

Что интересно, все это привело к неожиданному результату: почти 82% ученых заявили, что такое переформатирование их рабочего процесса ведет к снижению интереса к работе, так как в ней становится меньше человеческого креатива, а также приходится меньше использовать свои способности и опыт.
Кроме того, многие отметили, что теперь меньше удовлетворены своим образованием – их буквально учили другому. Теперь нужно заново учиться новым процессам и новым паттернам в работе.

www.tgoop.com/radiotimur/385

4.3K viewsNov 12, 2024 at 14:43

Из твиттер-треда узнал тут о довольно крутом исследовании, которое провели MIT о работе ученых-химиков из крупной американской компании на предмет их взаимодействия с ИИ-помощниками.

В исследовании участвовало 1018 ученых из департамента исследований одной конкретной индустриальной компании в США. В какой-то момент все они начали пользоваться разными ИИ-помощниками – как внутренней разработки, так и внешними типа ChatGPT, Claude и тд.

Если упростить выводы максимально, то количество новых патентов и открытых новых смесей и составов увеличилось с помощью ИИ увеличилось довольно сильно: в короткие сроки было открыто на 44% больше новых материалов, было подано на 39% больше патентов, а в работу ушло на 17% больше перспективных новых продуктов, чем за такой же период в прошлом.

При этом оказалось, что использование ИИ в первую очередь помогает тем ученым, кто и так был был довольно продуктивен до этого – их производительность увеличилась почти в два раза. А ученые из условно говоря нижней трети по продуктивности увидели намного меньший прирост по результатам.
Как показало дальнейшее исследование этого феномена, оказалось, что топовые исследователи на этапе оценки быстрее выявляли перспективные сплавы и смеси из тех, что предлагал ИИ, и быстрее переходили к их созданию и тестированию, тогда как те самые «ученые нижней трети» тратили больше времени на то, чтобы тестировать материалы, которые ИИ считал перспективными, но в итоге в реальной жизни они не показывали предполагаемых положительных качеств.

Исследователи решили оценить эффект от внедрения разных инструментов в долгосроке и пришли к выводу, что конкретно в этой лаборатории за последние 5 лет продуктивность ученых неумолимо падала – количество новых открытых материалов в пересчете на одного ученого упала на 4% за этот срок. Причем такое падение сопровождалось постоянным внедрением новых перспективных приложений и программ для облегчения работы ученых.

При этом внедрение ИИ дало, как я писал выше, безумный прирост по всем фронтам – всего за 12 месяцев уровень продуктивности вырос почти в 1,5 раза.

Казалось бы, ну окей, новые потенциальные материалы кандидаты, куча патентов, а что с реальной пользой и новыми продуктами? Как оказалось, качество материалов не снизилось. В воронке теоретический кандидат -> тестирование -> оценка -> кандидат для продукта ничего особо не поменялось и все значения остались на прежнем уровне.

Окей, все выглядит очень перспективно и радужно, но что дальше? Автор исследования из MIT говорит, что у него есть сомнения, что:

1) Новые материалы, которые предлагает ИИ, все-таки используют уже известные свойства разных компонентов, а значит, это такие «безопасные открытия», которые не предполагают какого-то невиданного прорыва, скорее, то, что остальные до этого, так скажем, не доглядели.

2) Такой подход очень быстро приведет к эффекту снижения результативности (diminishing returns), когда все основные известные компоненты, их эффекты по отдельности и вместе будут перебраны, а новых ИИ просто не сможет предложить.

Ну а еще автор исследования постоянно обращает внимание на несправедливость того, что ИИ диспропорционально ускоряет работу и без того хороших специалистов, но не дает солидного прироста специалистов поменбше, а уж жесть совсем маленбким специалистам вообще не сильно помогает. Причем все это в первую очередь упирается в механизмы оценки, которые разнятся между учеными. Какие-то сразу понимают, что ИИ им дичь затирает, а какие-то не сразу и тратят время на тестирование этих материалов.

Что интересно, все это привело к неожиданному результату: почти 82% ученых заявили, что такое переформатирование их рабочего процесса ведет к снижению интереса к работе, так как в ней становится меньше человеческого креатива, а также приходится меньше использовать свои способности и опыт.
Кроме того, многие отметили, что теперь меньше удовлетворены своим образованием – их буквально учили другому. Теперь нужно заново учиться новым процессам и новым паттернам в работе.

BY Radio Timur