Заметил, что в марте NIST опубликовал таксономию атак на машобуч.

NIST AI 100-2 E2025. Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations
Прямая ссылка на PDF.

С одной стороны мы все больше доверяем машобучу, а с другой стороны все чаще слышим о том, как это небезопасно. С учетом того, что лень - двигатель прогресса автоматизация никогда не бывает лишней, процесс повышения нашей зависимости от ML/DL/AI будет только ускоряться, - этому есть масса очевидных объяснений. А раз так, то будет и повышаться наша уязвимость к атакам на ML. Первый шаг в планировании безопасности - понимание объема, инвентаризация. Вот NIST и попытался сделать этот первый шаг, попытавшись собрать все атаки на ML в одном месте. Едва ли этот первый выстрел покрывает все сценарии с пригодной детализацией (как бы я не любил NIST, их контроли нередко не менее абстрактны чем ведические притчи), но это - бесспорно важная веха в повышении безопасности ИИ.

Пока сам док не дочитал (127 стр.), но вижу, что документе приводятся методы атак (классифицируются по типу системы, этапу внедрения, целям злоумышленников и их возможностям), а также предлагаются способы повышения устойчивости моделей как этим атакам. В документе абсолютно правильно подчёркивается, что риски зависят как от уязвимостей самих моделей, так и от инфраструктуры их развертывания. Документ также предлагает методы смягчения последствий атак, унифицирует терминологию и служит основой для будущих стандартов безопасности ИИ.

#vCISO #ml