Как ChatGPT пытается вас перехитрить

Я сейчас буквально живу в LLM. Пишу там код, тексты, генерю обложки к песне, спрашиваю обо всём на свете. В умелых руках это второй мозг и десяток рук. Но бывают и казусы.

Вчера делал очередной материал по визуализации данных. Попросил ChatGPT найти мне научную публикацию на определённую тему. На часах третий час ночи, сил читать самому нет.

Кидаю ему файл, прошу — перескажи основные выводы. Тезисы получились — огонь: ровно такие, как я себе представлял. Но я что, дурак — просто так верить LLM? Пишу:

Проверь вот этот фрагмент на соответствие тексту прикреплённой научной работы. Оцени его критично, выдай все несоответствия.

ChatGPT выдаёт мелкие неточности — говорит, вот это поправь — там не совсем так было написано. А остальное — огонь!

Пишу ему ещё раз:

Ты — учёный, которому поступил текст на peer review. Посмотри эту научную работу и определи, насколько верно взята из неё цитата. Разбери критично

Он мне прямо выдаёт цитаты. Это — верно. Это — тоже верно. Тут всё точно.

Я выдыхаю. Но работа важная, поэтому напоследок делаю ещё одну проверку: ищу в тексте PDF цитаты, которые мне выдал ChatGPT. И... не нахожу ни одной.

Пишу об этом в чат, говорю: мол, кажется, в тексте такого нет. Мой друг говорит, что статья — на другую тему. Он уверенно: нет, твой друг ошибается, вот цитаты.

Думаю — что-то странное. Кидаю файл и аналогичный запрос в другую LLM, Claude. Его ответ буквально: статья совсем о другом, приведённая цитата ему не соответствует. Пу-пу-пу.

Что хочу сказать в качестве выводов:
— «Отключать мозг» при работе с LLM строго запрещено. Если берёте результат модели, вы должны проверить его максимальным количеством способов. Да, надо зайти по всем ссылкам, найти первоисточники и точные цитаты.

— Мы привыкли к тому, что модели быстро признают свои ошибки. Но оказывается, что они могут идти в них до конца. Даже просьба перепроверить и прямое указание на подлог — не всегда гарантия исправления.

— Закинуть повторную просьбу другой модели или в другой чат — всегда хорошая идея.

А какой у вас опыт с LLM? Есть полезные лайфхаки и истории?