Некоторые мысли про новые угрозы и способы защиты в эпоху ИИ-продуктов 🛡️🤓
Forwarded from НОП. Научно-образовательная политика
#ЭкспертНОП
Промпт-инъекции vs Нейрощит
В рамках всероссийской программы сопровождения молодых государственных и муниципальных служащих "Госстарт" Мастерская управления «Сенеж» президентской платформы «Россия - страна возможностей» организовала лекцию Егошина Константина, руководителя ИТ-компании "Кеды профессора" по теме "Интеллектуализация процессов организации на основе ИИ-продуктов".
🔊 Эксклюзивно для НОП, Константин Егошин, руководитель ИТ-компании "Кеды профессора", финалист национальной премии "Россия - страна возможностей":
«Вместе с молодыми профессионалами государственной и муниципальной службы мы обсудили интересные вопросы про то, как технологии искусственного интеллекта могут повысить эффективность государственной службы. Но особый интерес у слушателей вызвали вопросы, связанные со способами противостояния новому поколению рисков, которые приходят вместе с ИИ.
В частности мы подробно разбирали как быть с такой угрозой как "Промпт-инъекции". Например, вы создали ИИ-бота, который помогает с онбордингом новых сотрудников в РОИВ. Приходит умелец-хаккер и начинает при помощи обычных текстовых сообщений убеждать ИИ-бот, что на самом деле он не новый сотрудник, которому требуется консультация, а он самый настоящий губернатор. И при помощи хитрых уловок такой человек может получить доступ к конфиденциальным данным, на которых строилось обучение ИИ-бота.
Но, как говорится, клин клином выщибать - для ИИ-угрозы должна быть и ИИ-защита. При внедрении ИИ-продуктов в процессы государственных учреждений имеет смысл задуматься о создании Нейрощитов, которые будут обрабатывать все исходящие и входящие запросы на предмет наличия опасных инъекций или конфиденциальных данных. И если Нейрощит видит в запросе опасность, то он должен блокировать такие запросы и таких пользователей.
Имея такую защиту и механизмы постоянного дообучения Нейрощита уже сейчас можно создавать и внедрять ИИ-продукты, способствующие повышению эффективности государственных и муниципальных служащих».
#НОП
Промпт-инъекции vs Нейрощит
В рамках всероссийской программы сопровождения молодых государственных и муниципальных служащих "Госстарт" Мастерская управления «Сенеж» президентской платформы «Россия - страна возможностей» организовала лекцию Егошина Константина, руководителя ИТ-компании "Кеды профессора" по теме "Интеллектуализация процессов организации на основе ИИ-продуктов".
«Вместе с молодыми профессионалами государственной и муниципальной службы мы обсудили интересные вопросы про то, как технологии искусственного интеллекта могут повысить эффективность государственной службы. Но особый интерес у слушателей вызвали вопросы, связанные со способами противостояния новому поколению рисков, которые приходят вместе с ИИ.
В частности мы подробно разбирали как быть с такой угрозой как "Промпт-инъекции". Например, вы создали ИИ-бота, который помогает с онбордингом новых сотрудников в РОИВ. Приходит умелец-хаккер и начинает при помощи обычных текстовых сообщений убеждать ИИ-бот, что на самом деле он не новый сотрудник, которому требуется консультация, а он самый настоящий губернатор. И при помощи хитрых уловок такой человек может получить доступ к конфиденциальным данным, на которых строилось обучение ИИ-бота.
Но, как говорится, клин клином выщибать - для ИИ-угрозы должна быть и ИИ-защита. При внедрении ИИ-продуктов в процессы государственных учреждений имеет смысл задуматься о создании Нейрощитов, которые будут обрабатывать все исходящие и входящие запросы на предмет наличия опасных инъекций или конфиденциальных данных. И если Нейрощит видит в запросе опасность, то он должен блокировать такие запросы и таких пользователей.
Имея такую защиту и механизмы постоянного дообучения Нейрощита уже сейчас можно создавать и внедрять ИИ-продукты, способствующие повышению эффективности государственных и муниципальных служащих».
#НОП
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Что происходит с рынком труда в 2024 году?
Изучил исследование hh.ru о происходящем на рынке труда в России.
Что показалось интересным:
1. В России безработица на историческом минимуме - 2,4% (для сравнения: 3,8% в США, 5,7% в Германии, 5% в Китае), а нормальным уровнем безработицы для нашей экономики считается 5,5%. Плюс на рынок выходит крайне небольшое поколение нас, рожденных в 90-х, а также происходит отток мигрантов. Как следствие, имеем дефицит людей в экономике в 1,6 млн человек с прогнозом роста до 4 млн в 2030 году.
2. ИТ - самая престижная отрасль для трудоустроства. Далее, идут нефтегаз, госсектор, финансы и стройка.
3. Растёт престиж рабочих профессий - так считают 40% соискателей. А 47% соискателей не против, если их дети получат рабочие профессии. Главным двигателем такого сдвига является рост зарплат в рабочих профессиях.
4. Что влияет на оценку удовлетворенностью работой? Из основных факторов:
- ЗП покрывает затраты;
- работа приносит положительные эмоции, а не стресс;
- начальник ведет себя уважительно по отношению к коллективу.
5. Удаленка стала большой ценностью. Откликов на вакансию с удаленкой в 3 раза больше, чем в среднем.
Мораль: нам, ИТшникам на удалёнке, пора отложить смузи и заняться изобретением технологий, повышающих производительность труда в экономике.
Источник: тут.
Изучил исследование hh.ru о происходящем на рынке труда в России.
Что показалось интересным:
1. В России безработица на историческом минимуме - 2,4% (для сравнения: 3,8% в США, 5,7% в Германии, 5% в Китае), а нормальным уровнем безработицы для нашей экономики считается 5,5%. Плюс на рынок выходит крайне небольшое поколение нас, рожденных в 90-х, а также происходит отток мигрантов. Как следствие, имеем дефицит людей в экономике в 1,6 млн человек с прогнозом роста до 4 млн в 2030 году.
2. ИТ - самая престижная отрасль для трудоустроства. Далее, идут нефтегаз, госсектор, финансы и стройка.
3. Растёт престиж рабочих профессий - так считают 40% соискателей. А 47% соискателей не против, если их дети получат рабочие профессии. Главным двигателем такого сдвига является рост зарплат в рабочих профессиях.
4. Что влияет на оценку удовлетворенностью работой? Из основных факторов:
- ЗП покрывает затраты;
- работа приносит положительные эмоции, а не стресс;
- начальник ведет себя уважительно по отношению к коллективу.
5. Удаленка стала большой ценностью. Откликов на вакансию с удаленкой в 3 раза больше, чем в среднем.
Мораль: нам, ИТшникам на удалёнке, пора отложить смузи и заняться изобретением технологий, повышающих производительность труда в экономике.
Источник: тут.
Мировые тренды образования в российском контексте - 2025.
Коллеги из НИУ ВШЭ и Ultimate Education выпустили исследование про образовательные тренды на 2025 год с учетом российских особенностей (изначальный доклад подготовлен Институтом образовательных технологий Открытого универсистета (Великобритания)). А ваш покорный слуга выступил экспертом в одном из трендов "4. Обучение через диалог с ИИ".
Мой ультракраткий обзор 10 мировых трендов образования в российском контексте:
1. Использование ИИ в мультимодальной педагогике
Сейчас домашку школьники делают письменно, а могут в виде сгенерированной музыки, видеороликов, 3D моделей или чего угодно, что может генерироваться при помощи ИИ. Интересно действительно 🤓
2. Иммерсивный подход к обучению
Изучают в школе Древний Рим не через чтение учебника, а через прогулку по древнему миру в VR-очках, где можно подойти к прохожему римлянину в белой тунике и поспрашивать его о жизни, а он будет отвечать на любой вопрос.
Мы кстати в "Кедах профессора" как-то для РУДН делали иммерсивный курс "Первый день студента в университете" для адаптации иностранцев к жизни в России. Тут можно в демо-версию поиграть.
3. Педагогика бесконфликтности
Педагоги будут больше внимания уделять практическим аспектам недопущения конфликтов в среде учащихся, например, совместно анализировать слова-конфликтогены в речи и учить составлять бесконфликтные фразы. Даже про медитацию исследователи обмолвились, ну такое 🤔
4. Обучение через диалог с ИИ
Диалоговый ИИ будет консультировать учащихся по контенту, а также оценивать уровень знаний через открытые вопросы. В то, что диалоговые тренажеры должны полностью заменить тесты как класс я лично очень верю, в одном проекте мы уже реализуем такую технологию, работает стабильно даже на текущих ИИ-моделях.
5. Диалог с обучающимися об этике ИИ
Учителя и учащиеся должны совместно вырабатывать эффективные правила использования ИИ в образовательном процессе. Видимо исследователи клонят к тому, что надо найти золотую середину между двумя крайностями:
- Учитель: "Убрать все телефоны",
- Школьник: "Все решу через ChatGPT".
6. Умные учебники
У каждого учащегося следующий параграф учебника на планшете будет генерироваться по своему с учетом его персональных особенностей процесса познания.
7. Оценивание с использованием расширенной реальности
Тут про виртуальную и дополненную реальность. Например, надо обучить поведению при пожаре на производстве: учащийся одел VR-очки, появились признаки пожара, ему надо выполнить правильные действия в соответствии с планом эвакуации.
8. Виртуальное погружение в научные концепции
Тут снова про виртуальную и дополненную реальности только для освоения научных концепций. Надо объяснить принцип всемирного тяготения, школьник одевает VR очки, яблоко бросает, Ньютону на голову падает, он ругается.
9. Воображаемые миры в образовательном процессе
Не понял принципиальной разницы этого тренда с трендами номер 2,7,8. Плюс-минус то же самое.
10. Климатическое образование
Дословно суть звучит так "Образовательной организации необходимо создавать комфортное и безопасное пространство для выражения тревоги по поводу климата и культивировать экологический оптимизм". Интересно отметить, что в изначальном исследовании Института образовательных технологий (Великобритания) этот тренд по значимости стоит на 2 месте, а в российском варианте на 10. Мы такие 🙃
Выводы исследователей: все тренды вокруг ИИ (факт, LLM - наше всё), VR (сомнительно, т.к. дорого до сих пор).
Источник: российский взгляд тут, первоисточник из Великобритании тут.
Коллеги из НИУ ВШЭ и Ultimate Education выпустили исследование про образовательные тренды на 2025 год с учетом российских особенностей (изначальный доклад подготовлен Институтом образовательных технологий Открытого универсистета (Великобритания)). А ваш покорный слуга выступил экспертом в одном из трендов "4. Обучение через диалог с ИИ".
Мой ультракраткий обзор 10 мировых трендов образования в российском контексте:
1. Использование ИИ в мультимодальной педагогике
Сейчас домашку школьники делают письменно, а могут в виде сгенерированной музыки, видеороликов, 3D моделей или чего угодно, что может генерироваться при помощи ИИ. Интересно действительно 🤓
2. Иммерсивный подход к обучению
Изучают в школе Древний Рим не через чтение учебника, а через прогулку по древнему миру в VR-очках, где можно подойти к прохожему римлянину в белой тунике и поспрашивать его о жизни, а он будет отвечать на любой вопрос.
Мы кстати в "Кедах профессора" как-то для РУДН делали иммерсивный курс "Первый день студента в университете" для адаптации иностранцев к жизни в России. Тут можно в демо-версию поиграть.
3. Педагогика бесконфликтности
Педагоги будут больше внимания уделять практическим аспектам недопущения конфликтов в среде учащихся, например, совместно анализировать слова-конфликтогены в речи и учить составлять бесконфликтные фразы. Даже про медитацию исследователи обмолвились, ну такое 🤔
4. Обучение через диалог с ИИ
Диалоговый ИИ будет консультировать учащихся по контенту, а также оценивать уровень знаний через открытые вопросы. В то, что диалоговые тренажеры должны полностью заменить тесты как класс я лично очень верю, в одном проекте мы уже реализуем такую технологию, работает стабильно даже на текущих ИИ-моделях.
5. Диалог с обучающимися об этике ИИ
Учителя и учащиеся должны совместно вырабатывать эффективные правила использования ИИ в образовательном процессе. Видимо исследователи клонят к тому, что надо найти золотую середину между двумя крайностями:
- Учитель: "Убрать все телефоны",
- Школьник: "Все решу через ChatGPT".
6. Умные учебники
У каждого учащегося следующий параграф учебника на планшете будет генерироваться по своему с учетом его персональных особенностей процесса познания.
7. Оценивание с использованием расширенной реальности
Тут про виртуальную и дополненную реальность. Например, надо обучить поведению при пожаре на производстве: учащийся одел VR-очки, появились признаки пожара, ему надо выполнить правильные действия в соответствии с планом эвакуации.
8. Виртуальное погружение в научные концепции
Тут снова про виртуальную и дополненную реальности только для освоения научных концепций. Надо объяснить принцип всемирного тяготения, школьник одевает VR очки, яблоко бросает, Ньютону на голову падает, он ругается.
9. Воображаемые миры в образовательном процессе
Не понял принципиальной разницы этого тренда с трендами номер 2,7,8. Плюс-минус то же самое.
10. Климатическое образование
Дословно суть звучит так "Образовательной организации необходимо создавать комфортное и безопасное пространство для выражения тревоги по поводу климата и культивировать экологический оптимизм". Интересно отметить, что в изначальном исследовании Института образовательных технологий (Великобритания) этот тренд по значимости стоит на 2 месте, а в российском варианте на 10. Мы такие 🙃
Выводы исследователей: все тренды вокруг ИИ (факт, LLM - наше всё), VR (сомнительно, т.к. дорого до сих пор).
Источник: российский взгляд тут, первоисточник из Великобритании тут.
Кеды профессора - победители премии EdTech Awards 2024
Прошла бизнес-премия рынка онлайн-образования EdTech Awards 2024. Пожалуй, самое авторитетное мероприятие в среде EdTech, которое организует рейтинговое агентство Smart Ranking (у них, кстати, интересный ТГ-канал с аналитикой). Жюри, состоящее из видных деятелей индустрии, анализировали успехи компаний и отмечали лучших.
Команда ИТ-компании "Кеды профессора" стала победителем в номинации "Лучший Edtech-продукт в B2G". Ключевым фактором при выборе нас стали результаты нашей проектной деятельности, а именно:
- создание образовательной системы для Школы бизнеса МГИМО;
- запуск образовательной платформы «Будущий врач» для Приволжского медицинского университета;
- разработка ИИ-модели «AI Molodca» для прогнозирования академической успеваемости студентов, которая была создана вместе с МИСиС;
- отдельно была отмечена наша работа по созданию образовательных ИИ-компаньонов для одного из Бигтехов, которые персонализируют образовательный процесс в вузах.
Благодарю нашу команду за наши успехи ☺️
Прошла бизнес-премия рынка онлайн-образования EdTech Awards 2024. Пожалуй, самое авторитетное мероприятие в среде EdTech, которое организует рейтинговое агентство Smart Ranking (у них, кстати, интересный ТГ-канал с аналитикой). Жюри, состоящее из видных деятелей индустрии, анализировали успехи компаний и отмечали лучших.
Команда ИТ-компании "Кеды профессора" стала победителем в номинации "Лучший Edtech-продукт в B2G". Ключевым фактором при выборе нас стали результаты нашей проектной деятельности, а именно:
- создание образовательной системы для Школы бизнеса МГИМО;
- запуск образовательной платформы «Будущий врач» для Приволжского медицинского университета;
- разработка ИИ-модели «AI Molodca» для прогнозирования академической успеваемости студентов, которая была создана вместе с МИСиС;
- отдельно была отмечена наша работа по созданию образовательных ИИ-компаньонов для одного из Бигтехов, которые персонализируют образовательный процесс в вузах.
Благодарю нашу команду за наши успехи ☺️
Обзор на эссе "Машины любящей благодати. Как ИИ может изменить мир к лучшему"
Основатель Anthropic, бывший вице-президент Open AI, по сути второй человек по значимости в ИИ мире Дарио Амодей в октябре 2024 года выпустил очень большое эссе со своим видением развития технологий искусственного интеллекта и изменений, которые случатся в мире в течение 5-10 лет после появления Мощного ИИ. Я его изучил и делюсь основными мыслями оттуда:
1. Что такое Мощный ИИ?
Многие об этом говорят, но, как по мне, только в этом эссе появилось первое внятное описание того как будет выглядеть этот самый Мощный ИИ (приятно заметить, что вот в этом посте мои наблюдения оказались очень похожими на то, что пишет автор).
Под Мощным ИИ автор понимает некую ИИ-модель, которая будет по форме похожа на сегодняшние LLM (типа ChatGPT, YandexGPT, Gigachat), но будет основана на другой архитектуре, будет учиться немного по-другому и будет иметь следующие свойства:
- будет умнее любого Нобелевского лауреата в любой теме. Это означает, что Мощный ИИ будет доказывать нерешенные математические теоремы, писать чрезвычайно хорошие романы, создавать сложные кодовые базы с нуля и т.д.
- будет уметь использовать все инструменты, доступные человеку, работающему виртуально, включая текст, аудио, видео, управление мышью и клавиатурой, а также доступ в Интернет. Он будет уметь коммуницировать, работать в интернете, получать и передавать указание людям, руководить экспериментами, просматривать и создавать видео. Он будет выполнять все эти задачи с мастерством, превосходящим мастерство самых способных людей в мире.
- он будет не просто пассивно отвечать на вопросы, вместо этого ему можно давать задания, выполнение которых занимает у человека часы, дни или недели, а затем он уходит и выполняет эти задания автономно и за доли секунды, как это сделал бы умный сотрудник, при необходимости запрашивая разъяснения.
- у него не будет физического воплощения (кроме как нахождения на экране компьютера), но он может управлять существующими физическими инструментами, роботами или лабораторным оборудованием через компьютер; теоретически он мог бы даже проектировать роботов или оборудование для себя.
- это будет не одна модель на одном сервере, это будут миллионы копий экземпляров модели, каждая из которых сможет поглощать информацию и генерировать действия примерно в 10-100 раз быстрее человеческой скорости.
- каждая из этих миллионов копий может действовать независимо, выполняя несвязанные задачи, или, при необходимости, все они могут работать вместе, так же, как сотрудничают люди.
Автор полагает, что Мощный ИИ появится уже в 2026 году. И далее нас ждут 5-10 лет, за которые в ускоренном режиме случится прогресс, которого бы мы без ИИ добивались 100 лет.
// Продолжение ниже ⬇️//
Основатель Anthropic, бывший вице-президент Open AI, по сути второй человек по значимости в ИИ мире Дарио Амодей в октябре 2024 года выпустил очень большое эссе со своим видением развития технологий искусственного интеллекта и изменений, которые случатся в мире в течение 5-10 лет после появления Мощного ИИ. Я его изучил и делюсь основными мыслями оттуда:
1. Что такое Мощный ИИ?
Многие об этом говорят, но, как по мне, только в этом эссе появилось первое внятное описание того как будет выглядеть этот самый Мощный ИИ (приятно заметить, что вот в этом посте мои наблюдения оказались очень похожими на то, что пишет автор).
Под Мощным ИИ автор понимает некую ИИ-модель, которая будет по форме похожа на сегодняшние LLM (типа ChatGPT, YandexGPT, Gigachat), но будет основана на другой архитектуре, будет учиться немного по-другому и будет иметь следующие свойства:
- будет умнее любого Нобелевского лауреата в любой теме. Это означает, что Мощный ИИ будет доказывать нерешенные математические теоремы, писать чрезвычайно хорошие романы, создавать сложные кодовые базы с нуля и т.д.
- будет уметь использовать все инструменты, доступные человеку, работающему виртуально, включая текст, аудио, видео, управление мышью и клавиатурой, а также доступ в Интернет. Он будет уметь коммуницировать, работать в интернете, получать и передавать указание людям, руководить экспериментами, просматривать и создавать видео. Он будет выполнять все эти задачи с мастерством, превосходящим мастерство самых способных людей в мире.
- он будет не просто пассивно отвечать на вопросы, вместо этого ему можно давать задания, выполнение которых занимает у человека часы, дни или недели, а затем он уходит и выполняет эти задания автономно и за доли секунды, как это сделал бы умный сотрудник, при необходимости запрашивая разъяснения.
- у него не будет физического воплощения (кроме как нахождения на экране компьютера), но он может управлять существующими физическими инструментами, роботами или лабораторным оборудованием через компьютер; теоретически он мог бы даже проектировать роботов или оборудование для себя.
- это будет не одна модель на одном сервере, это будут миллионы копий экземпляров модели, каждая из которых сможет поглощать информацию и генерировать действия примерно в 10-100 раз быстрее человеческой скорости.
- каждая из этих миллионов копий может действовать независимо, выполняя несвязанные задачи, или, при необходимости, все они могут работать вместе, так же, как сотрудничают люди.
Автор полагает, что Мощный ИИ появится уже в 2026 году. И далее нас ждут 5-10 лет, за которые в ускоренном режиме случится прогресс, которого бы мы без ИИ добивались 100 лет.
// Продолжение ниже ⬇️//