tgoop.com/szhenov/12382
Last Update:
#ЭкспертНОП
Промпт-инъекции vs Нейрощит
В рамках всероссийской программы сопровождения молодых государственных и муниципальных служащих "Госстарт" Мастерская управления «Сенеж» президентской платформы «Россия - страна возможностей» организовала лекцию Егошина Константина, руководителя ИТ-компании "Кеды профессора" по теме "Интеллектуализация процессов организации на основе ИИ-продуктов".
«Вместе с молодыми профессионалами государственной и муниципальной службы мы обсудили интересные вопросы про то, как технологии искусственного интеллекта могут повысить эффективность государственной службы. Но особый интерес у слушателей вызвали вопросы, связанные со способами противостояния новому поколению рисков, которые приходят вместе с ИИ.
В частности мы подробно разбирали как быть с такой угрозой как "Промпт-инъекции". Например, вы создали ИИ-бота, который помогает с онбордингом новых сотрудников в РОИВ. Приходит умелец-хаккер и начинает при помощи обычных текстовых сообщений убеждать ИИ-бот, что на самом деле он не новый сотрудник, которому требуется консультация, а он самый настоящий губернатор. И при помощи хитрых уловок такой человек может получить доступ к конфиденциальным данным, на которых строилось обучение ИИ-бота.
Но, как говорится, клин клином выщибать - для ИИ-угрозы должна быть и ИИ-защита. При внедрении ИИ-продуктов в процессы государственных учреждений имеет смысл задуматься о создании Нейрощитов, которые будут обрабатывать все исходящие и входящие запросы на предмет наличия опасных инъекций или конфиденциальных данных. И если Нейрощит видит в запросе опасность, то он должен блокировать такие запросы и таких пользователей.
Имея такую защиту и механизмы постоянного дообучения Нейрощита уже сейчас можно создавать и внедрять ИИ-продукты, способствующие повышению эффективности государственных и муниципальных служащих».
#НОП
