tgoop.com/extended_surreality/269
Last Update:
В продолжение темы цифрового копирования (случайно получился лонгрид, извините)
Есть такой комедийный фильм «Множество» (1996), где главный герой клонирует себя, а затем клонирует клонов, и каждая последующая реплика оказывается значительно глупее предыдущей.
Именно на этот фильм как-то сослался один из авторов исследования, посвященного проблеме «коллапса модели».
Исследование вышло еще в июне: группа учёных из Кембриджского и Оксфордского университетов показала, что обучение LLM на контете, созданном ранее другими моделями, вызывает дегенеративный процесс, который с течением времени заставляет их забывать истинное базовое распределение вероятностей (т.н. «проклятие рекурсии»).
Поэтому неудивительно, что все уже давно всерьез обсуждают тему «генеративного мусора», постепенно заполоняющего Интернет.
А примерно неделю назад многие обратили внимание на статью нейробиолога Эрика Хоэла о мутации научного языка из-за появления огромного числа текстов, написанных в соавторстве с чатботами.
Мало того, что излюбленные эпитеты ChatGPT вроде “meticulous”, “intricate”, “commendable” и др. стали появляться в научных статьях в среднем в 10 раз чаще, так еще оказалось, что некоторые коллеги не удосуживаются «вычищать» из сгенерированных текстов фразы вроде «Certainly, here is…» или «As an AI language model…», сразу выдающие авторство чатботов.
Я уж молчу про сгенерированные картинки крыс из статьи, опубликованной относительно недавно в одном из самых цитируемых журналов по биологии развития. Да, это мемный пример, который многим уже натер глаза, но суть ясна: подобного научного мусора уже достаточно много для того, чтобы не только задуматься о проблеме, но и начать предпринимать какие-то действия (какие, если рецензированием статей теперь тоже иногда занимаются LLM?).
(А тут еще и Claude-3 натренировали писать самостоятельные научные исследования..)
С явно сгенерированными научными статьями я пока лично не сталкивалась, но как человек, регулярно проверяющий студенческие работы, уже вижу, как в написание многих из них частично или полностью вмешивается СhatGPT. Поверьте, ИИ-галлюцинации, разбавленные отборной академической водой – это то еще испытание на прочность
Но я неисправима и все равно всячески поощряю любые попытки осознанного использования LLM. Предупрежден - вооружен.
#technologies