Ежемесячно Open AI выпускает отчет о борьбе с вредоносным использованием ИИ. Вот июньский, pdf .

За вычетом пафосных моментов, типа:

we believe that making sure AI benefits the most people possible means enabling AI through common-sense rules aimed at protecting people from actual harms, and building democratic AI. This includes preventing the use of AI tools by authoritarian regimes to amass power and control their citizens, or to threaten or coerce other states; as well as activities such as covert influence operations (IO), child exploitation, scams, spam, and malicious cyber activity

документ мне показался полезным.

Поделюсь мыслями, возникшими в процессе изучения документа.

1. Документ содержит практические сценарии использования (о сценариях говорили здесь ), т.е. там, где эффективность подтверждается самой практикой

2. Нам, безопасникам, надо понимать ландшафт угроз и как эти угрозы реализуются. Документ содержит фактические сценарии атак, автоматизируемые ИИ - например, генерация фейков и дезинформации, фишинг, разные схемы мошенничества, генерация ВПО, поиск уязвимостей, и пр. , кое где есть ссылки на примеры реальных инцидентов.

3. Документ показывает, что все наши запросы улетевшие в облачную ИИ тщательнейшим образом анализируются, т.е. о какой-либо их конфиденциальности не может быть и речи.

4. Объективность критериев вредоносности очень напоминает книжку и в стиле цитаты выше, поэтому надо иметь в виду риск предвзятости выдачи самой модели, а вот и Иван намекает, что ИИ будет служить инструментом формирования общественного мнения... Но в подавляющем большинстве сценариев "политические взгляды модели" вряд ли будут иметь значимое влияние.

5. Документ о том, какие сценарии использования своей модели Open AI считает неправильными - интересен, но еще более интересным был бы подобный дайджест о правильных сценариях использования, в которых бы описывались конкретные практические реализации. Сейчас есть что-то , более напоминающее маркетинговые листовки. Такая популяризация "правильных сценариев", тоже способствовала бы снижению количества "неправильного использования".

#ml #vCISO