Про новую модель Gemini 2.5 Pro и рост качества ответов

Конец марта принес много обновлений в мире ИИ:

🔷Обновился Deepseek (тестировал, не впечатлил)
🔷В Telegram появился бот от Grok (тестировал не впечатлил)
🔷Обновился ChatGPT 4o - стал заметно лучше, отлично генерирует изображения.

Но самое интересное для меня - выход Gemini 2.5 Pro.

В сети много восторженных отзывов о способностях данной модели в вайб-кодинге, логических рассуждениях и мультимодальном понимании.

Решил проверить эту модель на моем бенчмарке - 30 критериев по теме различий между обыском, обследованием и осмотром места происшествия в уголовном процессе.

Ранее, в феврале этого года, Gemini 2.0 Flash в ходе исследования дала лишь 66,7% правильных ответов.

Тестируем Gemini 2.5 Pro

Сейчас протестировал Gemini 2.5 Pro в четырех сценариях: через пользовательский интерфейс и интерфейс разработчика, с загрузкой НПА и без загрузки.

Максимальный результат - 98,3% правильных ответов, когда модель работала через интерфейс разработчика и с подгруженной базой НПА.

Прогресс - с 66,7% до 98,3% за два месяца!

Мои выводы и впечатления

🔷Динамика впечатляет: +31,6% качества ответов за два месяца. Наглядно показывает скорость развития ИИ.
🔷Без загрузки базы с НПА модель все еще местами галлюционирует при обсуждении нюансов уголовного процесса. Поэтому здесь надо либо загружать свою базу НПА, либо использовать функцию Deep Research.

Про лимиты и что с этим делать

Gemini 2.5 Pro доступна бесплатно для всех пользователей, но с существенными ограничениями. Полноценно работать в бесплатной версии очень сложно. После нескольких диалогов лимиты заканчиваются.

Однако есть неочевидный способ бесплатно использовать Gemini 2.5 Pro и практически без ограничений. И эта история не про использование ботов в Telegram.

🎙️ Рассказать?

Бесплатный доступ к Gemini 2.5 Pro с минимальными ограничениями по лимитам

Немногие знают, но в экосистеме Google есть сервис Google AI Studio. Это платформа для разработки, обучения и применения решений на основе искусственного интеллекта.

На данной платформе Google предоставляет ранний доступ к своим новейшим моделям ИИ для теста и отзывов.

Как я заметил, сначала модель появляется на данной платформе, а потом уже уходит в пользовательский интерфейс Gemini.

Пользоваться платформой можно бесплатно.

Преимущества

🔷Бесплатный доступ к последней версии Gemini 2.5 Pro.
🔷Лимит: 2 запроса в минуту и 50 в день. Это очень много по сравнению с лимитами, которые есть в пользовательском интерфейсе Gemini 2.5 Pro для бесплатных пользователей.
🔷По моим наблюдениям и последнему тесту Gemini 2.5 Pro через AI Studio работает гораздо мощнее, чем в пользовательским интерфейсе
🔷Гибкие настройки для продвинутых: температура, длина ответа и другие параметры.

Недостатки

🔷Интерфейс полностью на английском языке и неудобный.
🔷Нет графиков и таблиц - только сплошной текст.
🔷Диалоги не сохраняются автоматически - нужно всегда нажимать кнопку сохранить

Как начать

🔷Заходим на AI Studio через Google-аккаунт.
🔷Выбираем модель Gemini 2.5 Pro справа.
🔷Пользуемся

💬 Накидайте огней, если было полезно.

📚 Новая книга подъехала

Один из авторов - известный предприниматель в области разработок программного обеспечения и искусственного интеллекта, занимавший руководящие посты в Apple, Microsoft, Google.

Прогнозы о недалеком будущем, о жизни в эпоху ИИ.

Вечер обещает быть увлекательным.

Про ИИ-ассистентов и рутину

В комментариях под постом о Gemini один читатель задал мне вопрос:

«Неужели эта модель настолько крутая, что нельзя пользоваться Deepseek, который бесплатен и доступен без ограничений?»

Вопрос разумный, Deepseek действительно неплох. Но у него сильно ограниченный функционал и нет одной важной опции, без которой сложно использовать ИИ на всю катушку.

Речь о кастомных ИИ-ассистентах.

Без этой функции ИИ напоминает профессора, который много знает, но после каждого разговора забывает свое имя, профессию и что вам от него нужно.

Каждый раз приходится заново описывать задачу, загружать документы, объяснять формат ответа и свои ожидания. Один раз - это терпимо. В рутине - мучительно.

Получается, что при решении рутинных задач ИИ вроде бы и помогает, но общение с ним отнимает слишком много времени.

Решение - настроить своего ИИ-ассистента. Задать ему необходимые подробные инструкции, снабдить нужными документами и не тратить время на постоянные объяснения того, какой результат вы от него ждете.

Что можно поручить ИИ-ассистенту?

Любые рутинные задачи, которые можно описать в инструкции. У юристов таких задач очень много, их набор у каждого свой.

К примеру, проверка документов по чек-листу, составление аналитических справок, подготовка писем и ответов, преобразование черновиков мыслей в полноценный текст, саммаризация, изменение стиля из делового в разговорный и наоборот и т.д.

Главное при создании ИИ-ассистентов придерживаться принципа "один ассистент берет на себя одну рутинную задачу". Это позволяет задать четкие инструкции и добиться от ассистента стабильного результата.

Где доступна эта функция?

🔵В ChatGPT. Создается через раздел «Мои GPT», но нужна платная базовая подписка. Ассистента можно снабдить подробными инструкциями и загрузить файлы в блок знаний.

🔵В Gemini. На этой платформе ассистенты называются Gem-ботами. Доступны в бесплатной версии. Ассистент снабжается подробными инструкциями, но вот загрузка файлов в блок знаний недоступна в русскоязычной версии платформы, из-за чего возможности Gem-ботов сильно ограничены.

Подобные боты частично реализованы в мобильном приложении GigaChat, но они ушли немного не в ту сторону и боты носят развлекательный характер, а не решают задачи. Но все равно будем за ними наблюдать, может быть со временем там изменится подход к этим ботам и функционал.

Что имеем на выходе?

Персонального ИИ-ассистента, настроенного под ваши задачи. Он обучен, оснащен базой знаний и готов к работе. А главное - его можно дорабатывать и улучшать. Такой работник может моментально обрабатывать огромное количество информации и давать ответы на уровне очень хорошего помощника с амбициями.

Как я адаптировал рекомендации Google по промптам - и сделал методичку для юристов

Промт (он же промпт) - это запрос к нейросети. От него критически зависит качество и практическая применимость сгенерированных ИИ ответов.

На днях в сети появилась инструкция от Google по техникам написания промтов на 69 листах на английском языке.

Такой увесистый документ с описанием различных методик промптинга и обилием сложной технической информации и примеров. И это не библиотека готовых промтов, а объяснение логики и структуры составления эффективных запросов, что более интересно.

Ценность этого документа в том, что рекомендации по промтам дает сам разработчик ИИ-моделей. То есть это первоисточник, лучше уже никто не сделает.

💡Но есть нюансы

Рекомендации от Google, конечно, полезные. Но они написаны на английском языке, нудные и больше напоминают техническую документацию к промышленному оборудованию. Не говоря уже о том, что они совершенно не адаптированы для их применения в юридической работе.

Я решил это исправить и полностью переработал этот материал, адаптировав его для юристов. Не без помощи искусственного интеллекта, конечно.

Что я сделал?

🔵Перевел все на русский язык (спасибо ChatGPT)
🔵Выделил только те методики, которые применимы для юристов
🔵Переписал сложные технические формулировки, сделал их понятнее и доступнее
🔵Через ИИ сгенерировал примеры промптов для юристов (cпасибо ChatGPT)
🔵Полученный результат прочитал, проверил, осмыслил, допилил вручную
🔵Оформил все схематично и понятно в виде методички на 16 листах.

Что имеем на выходе?

Понятную методичку по промтам на русском языке, полностью адаптированную для российских юристов и основанную на последних рекомендациях по промпт-инжинирингу от Google. Методичка раскрывает базовые принципы составления запросов к ИИ.

Круто же? Конечно круто, я на это два дня потратил ☕️

💬 Что будем делать с этой методичкой? Будем работать в команде! С меня методичка, а с вас лайки, репосты и комментарии. Работаем, работаем!

Принял участие в бета-тестировании "Искры"

✨Спойлер: всё плохо.

В чате канала написали, что появилась первая российская юридическая нейросеть "Искра". Это сервис от системы Гарант.

Меня этот сервис заинтересовал и я оставил заявку на 3х дневный бесплатный доступ к Искре.

После получения доступа я протестировал Искру на своем бенчмарке, который ранее использовал в исследовании в феврале текущего года. Это 30 критериев, связанных с различиями между обыском, обследованием и осмотром места происшествия в уголовном процессе.

🧠 Результат тестирования

Искра набрала 17,5 баллов из 30 возможных. Это 58,3% правильных ответов.

Точно такой же результат в феврале был у GigaChat, а он в моем исследовании занял тогда только 10 место из 10 возможных.

Как видим, доступ Искры к актуальной нормативно-правовой базе не сильно помог ей справиться с моим тестом.

Для сравнения: Claude 3.7, ChatGPT 4.5, Gemini 2.5 Pro в моих последних тестах в марте и апреле на этот же запрос давали от 96.6 до 98.3% правильных ответов.

📎 Наблюдения и впечатления

🔵В своем ответе Искра ссылалась на релевантные нормы права и давала ссылки на конкретные пункты, части и статьи нормативно-правового акта - это сильно удобно, можно сразу перейти и посмотреть.

🔵В Искре к ответу приложены дополнительные материалы по теме, что также позволяет углубиться в изучение вопроса.

🔵Но при всех своих плюсах, Искра  допускала грубые ошибки, неправильно интерпретировала нормы права и полностью игнорировала другие нормы, которые детализируют требования к следственному действию.

С учетом того, что это специализированный юридический сервис с доступом к актуальному законодательству, последний пункт прямо сильно огорчил.

Но начало положено, надеюсь в будущем все станет гораздо лучше.

💬 А вот обновленная версия GigaChat 2.0 Max от Сбера порадовала уже сейчас и даже удивила динамикой своего развития, скоро напишу о ней.

Как я записал ИИ-подкаст за 5 минут

В NotebookLM вышло обновление - теперь функция аудиопересказа источников работает почти на всех языках. В том числе и на русском.

Для теста я загрузил свою презентацию "ИИ в судебной системе Китая", которую выкладывал вчера, и дал простую инструкцию: сделать подкаст для канала.

Через 5 минут получил готовый файл с подкастом на 6 минут. Два ИИ-аватара обсуждают мой вчерашний материал. В конце даже немного философствуют, все сами, без моего участия.

Получилось как раз то, что удобно слушать в машине по дороге.

Практически идеально, ну в самом конце ударение на мою фамилию неправильно поставили, но я с этим и без ИИ часто сталкиваюсь.

💬 Скидываю подкаст сюда, а если на будущее интересен такой формат (ИИ-подкастов), то голосуем ❤️

Пишем понятно с ИИ и Максимом Ильяховым

✨Проблема

Если вы хоть раз писали памятку или инструкцию по правовым вопросам для людей без юридического образования, вы знаете, как это сложно.

Наша юридическая письменная речь часто перегружена канцеляритом, штампами и сложными оборотами.

Это уместно в процессуальных документах, но очень сложно воспринимается в текстах для неподготовленных читателей (доверители, бизнес, сотрудники работодателя/доверителя, помощники, стажеры, студенты, подрядчики и т.д).

Здесь нужны понятные тексты, которые доносят смыслы.

✍ Решение

Есть инструменты, которые помогают делать тексты понятными и доносить мысли доступнее.

Один из них - книга Максима Ильяхова «Пиши, сокращай». Она про то, как убирать лишнее и делать текст яснее.

Но одно дело - прочитать эту книгу, как это сделал я несколько лет назад, а другое - постоянно применять эти методики на практике. У меня, честно говоря, это выходило так себе.

Но теперь ситуация сильно поменялась - чтобы не тратить время на ручную правку, мы подключаем к этой задаче ИИ.

*️⃣Просто закидываем в ИИ свой текст и добавляем примерно следующее:

Перепиши этот текст в информационном стиле Максима Ильяхова («Пиши, сокращай»).

ИИ уберет канцелярит, воду, упростит конструкции и обороты, сделает текст доступным и понятным.

✈️ Результат

На выходе имеем чистый и легкий для восприятия текст.

Подходит для памяток, инструкций, методичек, писем и постов в соцсетях на широкую аудиторию.

Для проверки идем на сайт Главреда от Максима Ильяхова и сравниваем исходный и переработанный тексты. Убеждаемся, что чистота и читаемость текста вырастают.

💬 Пробуем этот способ и делимся впечатлениями

Как добиться от ИИ более точных ответов с оценкой их достоверности

В последнее время использую подход, который увеличивает точность ответов ИИ, помогает снижать галлюцинации и понять, где модель уверена, а где - гадает.

*️⃣В начале диалога с ИИ вставляю такое системное сообщение:

# System:
1. Внимательно прочитай вопрос.
2. Ответь на вопрос с максимальной точностью.
3. Для каждой ключевой части/тезиса твоего ответа:
  - Оцени уверенность (по шкале 1-100).
  - Четко укажи: это точные знания или предположение/логический вывод.
4. Если уверенность в какой-либо части < 70/100, обязательно предложи альтернативу или ясно предупреди о возможной неточности/неполноте.
5. Сформулируй 3 разных ответа на этот вопрос, каждый с оценкой уверенности, как указано. Выбери наиболее достоверный ответ.
6. Приведи источники, если они известны


*️⃣И потом уже задаю основной промт: роль, контекст, вопрос и т.д.

Что дает эта методика?

🔵Качество: точность и обоснованность ответов повышается.

🔵 Четкость: ИИ разбивает ответ на блоки, каждому из которых дает оценку достоверности. Когда модель присваивает каждому утверждению числовую меру уверенности, мы сразу видим, где она действительно «уверена» (например, 90–100), а где лишь предполагает (ниже 70).

🔵Прозрачность: мы видим, как модель рассуждает. Можем сравнить разные логические пути и выбрать самый последовательный.

🔵Контроль над галлюцинациями. Мы сразу видим на чем основаны ответы ИИ и можем быстро выявить "галлюцинации".

Где использовать?

Этот метод объединяет сразу четыре проверенные и эффективные техники промптинга: системную инструкцию, самосогласование, самокритику и оценку уверенности.

И его лучше использовать на задачах, где крайне важна точность, достоверность и глубина анализа.

Недостатки метода

Сразу скажу, что у этой техники есть и недостатки:

🔵 Метод не подходит для получения быстрых ответов, так как мы получаем от ИИ огромные ответы (3 варианта + оценку достоверности+источники и т.д.).

🔵Повышенный расход токенов, так как длина ответа сильно увеличивается. Для некоторых задач это может быть неприемлемым.

🔵Не исключает галлюцинаций в оценке "уверенности" в ответе. Некоторые модели обладают излишней самоуверенностью в своих ответах (например ChatGPT 4o, который откровенно врет и ставит достоверность 100 процентов). DeepSeek в этом плане скромнее и более объективно оценивает свои силы.

🔵Прирост качества ответов зависит от используемой модели и типа задачи.

💬 Тестируем, пробуем, внедряем, делимся впечатлениями ↩️