⬆️ Тарас Евгеньевич - мой первый научный руководитель, он очень хороший! (Не путать со вторым научным руководителем, который плохой 😡). Он всегда очень интересно объяснял мне сложные вещи из топологии, и книга про торическую топологию у него тоже хорошая. А ещё под его редакцией в 2011м на русский был переведен знаменитый учебник Хатчера по алгебраической топологии 😊

⬆️ подписчики дуреют от этой прикормки 😈

Tl;Dr: early-GROK-3 смог правильно решить задачку по комбинаторной теории групп, на которой другие LLM-ки делали одну и ту же надоедливую ошибку. Дальше будут подробности ( 🤓 ).

Жаловалась я вчера коллегам, что ни одна из известных мне LLM-ок не понимает до конца, что такое математическое доказательство и при попытках решать те задачи на доказательство, которые НЕ являются школьными и НЕ входят в стандартный курс вышмата, все они любят уходить в словоблудие и запутываться. В частности, ни GPT-4o обычный, ни GPT-4o с обоснуем, ни DeepSeek-v3, ни DeepSeek-R1, ни LLaMA-70B не смогли правильно решить одну из самых простых задачек к спецкурсу по комбинаторной теории групп ( https://www.tgoop.com/forodirchNEWS/2860 ). Задачка (в переводе на английский - с ним модели в среднем работают лучше) звучит так:

Proof that centralizer of an arbitrary element (word) in a free group is a cyclic group.

И все они вроде бы вначале генерировали правильные рассуждения (кроме LLaMA-70B: та сразу уходила куда-то не в ту степь), но потом делали одну и ту же ошибку: заявляли, что якобы централизатор элемента w - это <w> (т.е. циклическая группа, порожденная элементом w) либо <w^k> (т.е. порожденная степенью элемента w). В ответ на это я предлагала контрпример: допустим, w == a^3, где a - один из генераторов свободной группы. Тогда a^2 тоже коммутирует с w. Но a^2 не входит в <w>. Как так?

Увидев контрпример, LLM-ки либо начинали думать, что этот контрпример доказывает, что централизатор - не циклическая группа (что неверно; на самом деле, в нем централизатор - это просто <a>), либо просто уходили в словоблудие, в котором сами же и запутывались. 🥴

Услышав о данной проблеме, один коллега посоветовал испытать Grok 3 на https://lmarena.ai/ . Я, честно говоря, ожидала, что он будет ещё тупее, и не особо надеялась на результат. Однако, Grok 3, к моему сильнейшему удивлению, решил задачу правильно! При этом, судя по отсутствию задержки в ответе, он не использовал предварительный thinking, как R1.

После этого я попробовала протестировать его и на более сложной задаче из того же спецкурса:

Proof that Baumslag–Solitar group $BS(m, n) = <a, t | t^{-1}a^mt = a^n>$ is not Hopfian when m and n are mutually prime.

Эта задача отличается тем, что на нее очень сложно найти решение в интернете. Мне вот, например, удалось его найти только в оригинальной статье с отвратительным качеством скана, которую пришлось качать через sci-hub. С другой стороны, на архиве довольно легко найти решение для одного частного случая и решить общий случай по аналогии (что я сама и сделала, так как разбирать запутанное оригинальное доказательство было выше моих сил).

К моему удивлению, на этой задаче модели тоже удалось сгенерировать верное доказательство (правда, не сразу, а с третьего раза: в первых двух я забывала включить в промпт определение группы BS(m, n), и модель писала определение неправильно, от чего запутывалась). Суть доказательства заключается в том, чтобы построить правильный гомоморфизм из группы в её собственную фактогруппу, а затем показать, что он, с одной стороны, сюръективен, а с другой - имеет ненулевое ядро. Таким образом, показывается, что группа BS изоморфна своей собственной фактогруппе, что и является определением не-Хопфовости. И в самом деле, гроку удалось найти нужный гомоморфизм!

Интересно, что в двух других генерациях Грок предложил другие гомоморфизмы, но проверять их правильность мне уже не хватило сил. Вообще, проверка длинных полотен многословных нейросетевых доказательств требует большой внимательности, сосредоточенности и времени - то есть, всего того, чего у меня на данный момент нет. 🤬

#генерация #математика

Предложила я Гроку и такую задачу из спецкурса:

Calculate fundamental group of the Klein bottle.

Здесь я ожидала, что трудностей у него не будет, и правильный ответ будет найден с первого раза - ведь эта задача обсуждается в большом количестве учебников, в том числе и хорошо распознанных, которые наверняка попали в его обучающую выборку... но нет! На удивление, в первой генерации модель сделала множество странных ошибок. Впрочем, через пару попыток Грок все-таки догадался до правильного решения.

—

К сожалению, в диалоге на lmarena мне было очень неудобно просматривать latex-код, сгенерированный моделью, поэтому мне приходилось копировать ее генерации в overleaf и удалять из них markdown-разметку (т.к. overleaf ее не воспринимает). Собственно, pdf-файл с этими генерациями (с удаленным markdown) я и выложу в следующем сообщении. В этот же файл я добавила формулировки задач на русском, свои собственные их решения (также на русском) и пример неправильного решения первой задачи от gpt-4o. Также я подсветила зеленым ту часть генерации, в которой Грок нашел правильный гомоморфизм для второй задачи, желтым - те части генерации, в которых он сгенерировал другие гомоморфизмы (пока что поленилась проверять, правильные или нет), красным - самые странные ошибки.

В целом, модель вызвала мое уважение тем, что действительно показала себя лучше других в данной области математики 😌 (хотя не обошлось и без 🥴, конечно). Ну что, зачтем ей спецкурс? 🤡

P.S. Интересное наблюдение: в целом мне показалось, что качество генерации Grok-а упало со вчерашнего дня, что говорит либо о том, что мне на первых генерациях сильно повезло, либо ту модель на https://lmarena.ai/ , которая мне отвечала вчера, сегодня заменили на дистилляцию или другую более слабую альтернативу. Всей правды мы не знаем?

#генерация #математика