Исследование способностей ИИ-моделей  ориентироваться в уголовно-процессуальном законодательстве

Коллеги, рад видеть ваш интерес к моему небольшому исследованию.

Вчера наконец-то удалось оформить его в виде статьи, в которой расписан сам процесс исследования, его результаты и основные выводы.

Делюсь текстом исследования ниже ↩️

Как доступ к актуальным НПА влияет на точность ответа нейросети?

🎙️ Часто слышу от коллег: нейросети склонны к галлюцинациям, придумывают ссылки на несуществующие законы и судебные решения.

Да, такое бывает. Причем выглядит это очень убедительно - с номерами, датами, отсылками к якобы реальным актам.

Но мне видится, что корень проблемы здесь больше не в нейросетях, а в том, как их используют.

👎 Ошибка в подходе - воспринимать ИИ как источник правовых данных. На данный момент нейросети не владеют полным массивом законодательства и судебной практики. Поэтому, если "в лоб" спросить ИИ о действующих нормах права, ответ может быть ошибочным или не очень точным.

👍 Правильный подход - использовать нейросеть не как источник получения данных, а как инструмент их обработки. Загружаем актуальные нормы права и судебную практику - и уже на их основе получаем осмысленные и точные ответы. В таком режиме ИИ не фантазирует, а работает с предоставленной информацией. Вероятность галлюцинаций сильно снижается.

📖 В моем исследовании загрузка всего трех файлов с НПА увеличила точность ответов по узкой теме на 15–20%. И это без подгрузки судебной практики.

Поэтому доступ к актуальным НПА – не просто желательное, а необходимое условие для получения точных ответов. Без этого ИИ будет неизбежно «галлюцинировать», даже если выглядит убедительно.

P.S. Приложил схему, которая наглядно показывает мой подход к работе с ИИ для получения точных правовых ответов. Возможно, он не идеален и даже примитивен, но уже сейчас дает значительно более надежные результаты.

Мысли про GigaChat: симпатии, надежды и реальность.

В моем исследовании GigaChat от Сбера показал худший результат.

*️⃣Удивительно, но после загрузки нормативно-правовых актов в GigaChat точность ответов упала с 58,3% до 46,7%, тогда как другие модели наоборот начинали отвечать точнее. Ответы GigaChat стали нелогичными, местами случайными. В вопросах оперативно-розыскной деятельности модель допускала грубые ошибки, игнорируя положения закона.

Перед началом исследования было убеждение, что GigaChat справится хотя бы на базовом уровне, так как он неплохо отвечал на общие запросы. Однако нюансы процессуального законодательства для GigaChat, к сожалению, оказались непосильны.

*️⃣Несмотря на это, GigaChat вызывает у меня симпатию. У него приятный интерфейс и красивый дизайн, работать с ним удобно. Он многофункционален: загрузка документов, умный редактор, пересказ видео, работа с изображениями и т.д. Сервис бесплатный и всегда доступен в России.

Команда проекта общается с пользователями, активно ведет соцсети, публикует гайды, объясняет сложные моменты - это создает атмосферу живого продукта, который отличается от конкурентов.

Отдельно отмечу мобильное приложение и AI-агентов (giga-персы), которые креативно реализованы. Возможность создавать AI-аватаров выглядит перспективно и, если ее хорошо доработают, может стать крайне полезным инструментом.

*️⃣Однако GigaChat пока сильно отстает от лидеров. Для серьезных задач в юридической сфере на данный момент он не подходит. Для редактирования текста или составления несложных документов, ответов на простые юридические вопросы обывателей — да. Но для глубокого анализа процессуальных документов и обработки этих данных система еще не готова.

🚩Буду следить за развитием GigaChat, у этого проекта есть потенциал.

Протестировал Grok 3 от Илона Маска

В мире нейросетей все очень стремительно меняется.

Не успел я закончить свое исследование и протестировать популярные модели ИИ, как Илон Маск анонсировал выход «самой умной ИИ в мире» — Grok 3.

Такие громкие заявления выходят чуть ли не каждый день, и я, честно говоря, отнесся к этому скептически.

Но сегодня решил проверить Grok 3 сам - и он меня удивил.

📖 Как тестировал

Для теста я использовал свой собственный бенчмарк. Буду называть его «Бенчмарком Стуколова» - раз уж я разработал этот тест и его применил, почему бы и нет? 😂

Это 30 критериев, связанных с различиями между обыском, обследованием и осмотром места происшествия в уголовном процессе.

В Grok 3 был загружен тот же запрос и нормативно-правовые акты, что и в другие модели в рамках моего исследования, чтобы сравнение было честным.

Тестировал бесплатную версию Grok 3 в режиме «Думать».

📎 Результаты

Grok 3 набрал 28,5 из 30 баллов. Это 95% правильных ответов. Самый лучший результат из всех ранее протестированных моделей.

Не допустил ни одной критической ошибки. В спорных моментах указал, что вопрос является дискуссионным. Дал развернутый вдумчивый ответ.

Для сравнения: платная версия Claude 3.5 Sonnet - 91.7% правильных ответов, платная версия ChatGPT 4o - 90% правильных ответов, DeepSeek R1 - 76.7% правильных ответов.

⛵️ Что дальше?

Экстренно вношу Grok 3 в список моделей, за которыми буду обязательно следить.

📍Кто еще тестировал Grok 3 на юридических задачах? Как впечатления?

Новый Claude 3.7 Sonnet. Результаты теста.

✍ Позавчера только написал про результаты теста свежего Grok 3 от Илона Маска, как вчера вечером компания Anthropic объявила о выходе своей новой модели - Claude 3.7 Sonnet.

Как всегда в анонсе - эта модель лучшая из лучших, самый умный и мощный ИИ в мире и т.д.

3.7 Sonnet уже появилась в интерфейсе Claude (в платной версии точно).

Стало безумно интересно и я ее протестировал, используя мой бенчмарк (30 критериев, связанных с различиями между обыском, обследованием и осмотром места происшествия в уголовном процессе).

🧠 Результат теста - 29 из 30 баллов. Это 96,67 % правильных ответов.

Модель не допустила ни одной критической ошибки и дала очень уверенные и точные ответы.

В моих глазах Claude в лице 3.7 Sonnet вновь вернул себе лидерство, утраченное примерно на пару дней из-за выхода Grok 3 😂

Но самое удивительное, что моему исследованию способностей ИИ едва исполнилось две недели, а некоторые изложенные в нем показатели уже сильно устарели.

🤖 Это наглядно демонстрирует, как стремительно развивается ИИ и как сильно он будет менять юридическую профессию.

И еще - не самая оптимистичная новость ⤵

Сингапурский банк DBS планирует уволить 4 тысячи сотрудников из-за внедрения ИИ.

Тенденция закономерная, так как искусственный интеллект берет на себя рутину, увеличивает производительность, снижает издержки.

Для юристов этот кейс особенно показателен, так как демонстрирует масштаб влияния ИИ на рынок труда.

Безусловно, ИИ не сможет полностью заменить юристов, но потребность в специалистах, выполняющих типовые и рутинные задачи, будет сильно сокращаться.

В таких условиях, на мой взгляд, юристам надо углублять свою экспертизу для решения более сложных правовых задач и развивать те навыки, которые искусственный интеллект не сможет заменить - критическое и стратегическое мышление, переговоры, анализ и действия в нестандартных ситуациях, участие в процессуальных мероприятиях и судебных заседаниях и т.д.

🎙️А как, по вашему мнению, изменится юридическая профессия в эпоху искусственного интеллекта?

Про NotebookLM от Google

Недавно открыл для себя NotebookLM - и теперь жалею, что не сделал этого раньше.

Сервис работает на базе ИИ-модели Gemini.

Он помогает анализировать большие массивы информации с минимальным риском ошибок и галлюцинаций.

Как это работает?

🔷 Загрузка источников. В бесплатной версии можно добавить до 50 источников - файлы c текстом, аудио, ссылки на сайты или видео с YouTube.

🔷 Анализ и работа с ИИ. Можно задать ИИ любой вопрос по содержанию сразу всех добавленных источников. Он отвечает на вопросы, помогает структурировать данные, делает саммари, конспекты, методички и т.д. Есть даже функция аудиоподкаста (пока только на английском языке).

🔷 Привязка к источникам. Каждый ответ сопровождается ссылкой на конкретный фрагмент документа. Можно быстро проверить, правильно ли ИИ дал ссылку или интерпретировал норму права.

🔷 Гибкая организация. Можно создавать отдельные блокноты для разных дел и проектов — удобная альтернатива функциям «Проекты» в ChatGPT и Claude.

💬 Считаю, очень крутой инструмент. Кто уже работал с NotebookLM, пишите в комментарии. Как используете? Какие задачи с его помощью решаете?

Мощная связка NotebookLM + Telegram. Или как создать команду персональных советников.

Продолжаю разбираться в NotebookLM, и он мне нравится всё больше и больше.

И вот открыл для себя такую комбинацию: NotebookLM + контент из Telegram-каналов интересных мне людей с экспертизой в каком-либо вопросе.

Суть предельно проста - выкачиваем весь контент из экспертного телеграм-канала, обрабатываем его через ИИ и создаём на его основу базу знаний для себя.

Как сделать?
🔵 В десктопном Telegram выгружаем все посты интересующих нас telegram-каналов (HTML-файл). Делается через кнопку "Экспорт истории чата".
🔵 Конвертируем выгруженный файл в PDF через функцию печати. Нам нужны именно PDF-файлы, так как NotebookLM не читает html-файлы.
🔵 Загружаем PDF-файлы в NotebookLM как источник данных. Называем этот источник именем канала.
🔵 Повторяем всё то же самое с другими telegram-каналами, контент которых считаете полезным и экспертным.

Что имеем на выходе?
🔵 В блокноте у вас появляются десятки источников с содержанием телеграм-каналов по интересующей тематике. Допустим, по защите бизнеса или юридическому маркетингу.
🔵 Далее задаем ИИ любой вопрос по теме, а он отвечает со ссылками на конкретные источники и даёт богатую палитру мнений из числа авторов telegram-каналов.
🔵 Быстро получаем консультацию от десятков экспертов по заданной теме.

Преимущество NotebookLM - он работает именно с загруженными данными, а не просто генерирует ответы. И в своем ответе он приводит сноски на конкретный фрагмент данных, а далее можно пройти по ссылке и еще больше углубиться в контекст.

Можно собрать несколько специалистов из одной отрасли и получать многосторонний взгляд на проблему. ИИ аккумулирует информацию и выдает структурированный ответ.

🧠 Для себя я уже собрал целую команду ИИ-консультантов по интересным мне темам.

Как вам такой подход?

Протестировал ChatGPT 4.5 с функцией «глубокое исследование»

Последние недели активно изучал и внедрял NotebookLM (о нем периодически буду рассказывать отдельно) и совсем пропустил выход новой модели - ChatGPT 4.5 с функцией "глубокое исследование".

С начала марта я много раз натыкался в сети на информацию о том, что новая функция показывает впечатляющие результаты. И наконец-то у меня дошли руки и появилась возможность проверить ее лично.

❓ Как тестировал

Использовал уже знакомый читателям бенчмарк из моего исследования - 30 критериев, связанных с различиями между обыском, обследованием и осмотром места происшествия в уголовном процессе.

Нормативно-правовые акты в ИИ в этот раз я не загружал. Обратите на это внимание. Это важный нюанс, поскольку ранее модели давали хорошие ответы только после загрузки в них напрямую подборки нормативно-правовых актов.

✍ Процесс работы ИИ

Порядок работы ChatGPT 4.5 в рамках функции "глубокое исследование" меня сразу удивил.

После запуска справа от диалога открылось окно с его рассуждениями и действиями.

Он моментально определил ключевые задачи и источники, после чего начал последовательно изучать сайты КонсультантПлюс, прокуратуры, МВД и другие официальные ресурсы.

В режиме реального времени ИИ искал, анализировал, сопоставлял и компилировал необходимую для ответа информацию.

Первые впечатления от такой работы ИИ очень сильные. Как будто к тебе прилетели Марти Макфлай и доктор Браун из фильма "Назад в будущее".

ИИ думал 11 минут, все это время он переходил на сайты и анализировал информацию.

💡Результаты

Модель дала 98,33% правильных ответов, набрав 29,5 из 30 баллов.

Ответ был развернутым и очень глубоким, со всеми нюансами и оговорками. У меня сложилось впечатление, что на вопросы отвечает очень эрудированный коллега, имеющий крепкую теоретическую базу и большой практический опыт.

Модель правильно ответила на все вопросы, допустив одну неточность в части интерпретации ст. 170 УПК РФ (участие понятых). Однако эту неточность в ответе я больше связываю с качеством перевода на русский язык из-за оборота речи, который использовал ИИ.

❤️ Что удивило

🔷ChatGPT 4.5 обращался только к надежным источникам правовой информации (сайт КонсультантПлюс, официальные сайты органов государственной власти). Никаких статей из ВК и Дзена, как это было ранее. Модель последовательно перебирала страницы в Интернете в поисках нужной нормы права до тех пор, пока её не находила.
🔷Модель продемонстрировала не просто способность ориентироваться в нормах права, а она давала ответы, демонстрирующее глубокое погружение в вопрос на уровне практика.
🔷Каждый ответ подкреплен ссылками на сайт, откуда была получена информация.
🔷Скорость развития искусственного интеллекта поражает. Месяц назад проводил обзор популярных моделей, а с тех пор уже вышли Grok 3, Claude 3.7 Sonnet и ChatGPT 4.5. Качество и точность ответов моделей за 1 месяц сильно выросло.

🚢 Недостатки и ограничения

🔷Недостаток - ChatGPT 4.5 все-таки допустил 1 "галлюцинацию", а именно в своем дополнении к ответу указал неправильный пункт Постановления Пленума ВС РФ.
🔷Ограничения сервиса - глубокое исследование доступно только по платной подписке и только до 10 запросов в месяц.

P.S. На картинке (справа) процесс рассуждения ИИ в ходе ответа на мой запрос.

Про функцию Deep Research или «глубокое исследование»

Помните, недавно я тестировал эту функцию в платной версии ChatGPT? Это та самая технология, которая собирает информацию из интернета и проводит многоэтапные исследования по любому вопросу.

📎 Несколько дней назад аналогичная функция стала доступна для всех пользователей Gemini от Google.

Самое приятное - она теперь доступна бесплатно. Правда, с ограничением: всего 5 запросов в месяц. Но даже в платной версии ChatGPT их всего 10 в месяц (и я свои уже потратил).

Протестировал Deep Research в Gemini. Работает неплохо, хотя чуть слабее, чем в ChatGPT - ответы менее точные.

📚 Однако у Gemini есть одно мощное преимущество: он анализирует сотни источников - в моих тестах доходило до анализа 500–600 сайтов! Кроме того, в ответах он дает ссылки на первоисточник, что очень удобно для дополнительного изучения темы.

Отличная возможность попробовать эту технологию бесплатно и увидеть, как быстро развивается искусственный интеллект.

🧠 Сервис доступен здесь. В верхнем левом углу выбираете Gemini Deep Research и вводите запрос.

Тестируем и делимся результатами и впечатлениями в комментариях. Особенно интересно мнение тех, кто пробует эту функцию впервые ↩️

Как бесплатно создать базу знаний в команде с помощью NotebookLM?

Проблема
В 2016 году у меня появился первый помощник. И много времени уходило на его обучение, объяснение рабочих процессов, обсуждение стандартов работы и моих ожиданий от его деятельности. Потом он ушел, и этот процесс начался заново с новым помощником.

Пришло осознание: нужна инструкция, которая сохранит накопленный опыт и избавит меня от повторяющихся объяснений.

Так появилась база знаний в облаке: инструкция и регламент для помощника, образцы процессуальных документов и т.д.

Со временем эта база знаний росла и увеличивалась в размерах. Появилась другая проблема -  сложная навигация и усваиваемость материала.

Решение
Совсем недавно я нашел отличное решение этой проблемы с помощью нейросетей.

Способ простой - загружаем в NotebookLM нашу базу знаний о процессах в компании (инструкции, регламенты, рекомендации) и выдаем сотрудникам доступ, а уже ИИ отвечает на все вопросы со ссылками на конкретные фрагменты документов.

Как сделать?
🔵Используем сервис NotebookLM от Google. Входим в Google-аккаунт, создаем блокнот и добавляем него до 50 источников (например, файлы с регламентами, инструкциями, рекомендациями, пояснениями) в бесплатной версии.

🔵Открываем доступ к этому блокноту в NotebookLM своим коллегам. Через функцию "Поделиться" добавляем до 50 пользователей, назначив им статус "читатель" (доступ к данным без редактирования) или "редактор" (если требуется правка).

🔵Далее блокнот с вашей базой знаний появляется в аккаунте у сотрудников, которым выдан доступ. При необходимости доступ можно отозвать.

Что имеем на выходе?
🔵Сотрудники получают доступ к базе знаний и могут задавать ИИ вопросы о бизнес-процессах в компании. При этом ИИ дает им точные ответы со ссылками на регламенты, подсвечивая нужные фрагменты документов.

🔵Руководитель освобождается от постоянных вопросов о рутинных бизнес-процессах.

💬 Если у вас есть помощники/ассистенты или целая команда и приходится постоянно тратить время на их обучение, адаптацию и ответы на одни и те же вопросы, то этот способ сильно облегчит жизнь.

Как с помощью ИИ смотреть видео на YouTube на 8 иностранных языках, не зная их?

И здесь нам поможет Yandex GPT.

🔵Устанавливаем Яндекс.Браузер
🔵Включаем видео на YouTube на иностранном языке (английский, китайский, немецкий, французский, итальянский, корейский и японский)
🔵Включаем функцию "Перевод видео" и наслаждаемся синхронным переводом на русский язык, благодаря встроенному в браузер Yandex GPT, который переводит видео.

💬 Функция существует уже давно, но я пользовался другими браузерами и узнал о ней только недавно. В других браузерах такого классного встроенного решения не встречал.

Сегодня отличный день!

Наконец-то встретился со старым читателем моего канала.

Попили кофе, Илон дал обратную связь по каналу, обсудили мое исследование, тренды в развитии ИИ и будущее юридической профессии, обменялись опытом 😂

💬 P.S. Вчера в ChatGPT обновилась функция генерации изображений (Sora) и она творит чудеса.

Анализ экспертиз при помощи нейросетей

💡Нейросети уже сегодня неплохо справляются с анализом заключений экспертов.

Они находят ошибки в заключениях, дают оценку методике проведения экспертиз и обоснованности их выводов, помогают аргументировать необходимость назначения повторных и дополнительных экспертиз и т.д.

🎙️Мой коллега и друг Дмитрий Мирончук, юрист и автор первого в России тг-канала о праве (с 2015 года) , записал стрим на тему использования нейросетей при работе с экспертизами.

В видео он подробно рассказывает и показывает на реальных кейсах, как нейросеть Claude анализирует заключения экспертов.

🚢 Разбор подробный, но по делу. Если часто работаете с экспертизами - рекомендую посмотреть.