gonzo-обзоры ML статей

Managing AI Risks in an Era of Rapid Progress
Статья: https://managing-ai-risks.com/managing_ai_risks.pdf
Сайт: https://managing-ai-risks.com/

Вышло программное заявление от кучи значимых людей в AI и не только. Кроме Бенжио, Хинтона, Рассела и других там есть, например, Харари и Канеман.

Прогресс в AI быстр. Четыре года назад GPT-2 не умела считать до десяти, а сегодняшние модели помогают писать код, генерируют офигенные картинки, дают советы на интеллектуальные темы. И прогресс может ещё ускориться, потому что мы находимся в ситуации гонки. Кроме того прогресс в AI ускоряет сам себя, например, помогая в программировании новых систем и сборе данных для их обучения.

Нет оснований считать, что прогресс остановится или замедлится по достижении человеческого уровня. Местами этот уровень и так превзойдён, а искусственные системы обладают способностями, недоступными для человека -- могут работать быстрее, переваривать огромные объёмы данных, скейлиться в огромных масштабах. У компаний есть деньги, чтобы запустить обучение на порядки большее, чем максимальное на сегодня.

Авторы считают, что мы должны серьёзно отнестись к возможности появления в течение текущей или следующей декады AI-генералиста, превзойдущего (совсем другая тема, но забавно, что “официально” то, что я только что употребил, это несуществующая форма в русском языке -- причастие будущего времени) человеческие способности во многих критических областях.

Что будет дальше? В хорошем варианте с аккуратным управлением и справедливым распределением, вся жизнь может улучшиться. Плохой вариант связан с крупномасштабными рисками, которые мы недостаточно готовы адресовать. Основные ресурсы вливаются в создание всё более мощных систем ИИ, а не в безопасность и предотвращение вреда. Мы должны это поменять, погоня лишь за одними способностями недостаточна. И мы отстаём от графика в этом процессе. Мы должны предвидеть усиление имеющихся опасностей и появление новых, и готовиться к большим рискам до их материализации. С изменением климата на принятие ушли десятки лет, у нас нет такого же количества времени на ИИ.

Есть множество рисков масштаба общества (Societal-scale risks): усиление несправедливости, эрозия стабильности, ослабление общего понимания реальности. Здесь же крупномасштабные действия преступников и террористов. ИИ может оказаться в руках небольшого числа акторов и усилить глобальное неравенство, способствовать автоматизации войны, персонализированным массовым манипуляциям и всепроникающему наблюдению.

Эти риски только усилятся с развитием автономного ИИ, который может планировать, действовать в мире и преследовать свои цели. Эти цели могут быть нежелательными для нас, а в случае злонамеренных акторов и откровенно вредными. Как решить проблему AI Alignment, выравнивания поведения ИИ с нашими сложными целями, на данный момент неясно. А в условиях гонки, если цель -- её выиграть, мерами безопасности особенно легко пренебречь.

Мы не очень хорошо контролируем обычный софт, что говорить про продвинутые ИИ системы, совершенствующиеся в хакинге, социальной инженерии, обмане и стратегическом планировании. Автономные ИИ системы могут выучить это у людей или разработать самостоятельно.

Эти системы могут завоёвывать доверие, получать финансовые ресурсы, влиять на ЛПР, и образовывать коалиции с людьми и другими системами. Они могут копировать себя по сети как червь. ИИ-ассистенты уже сейчас помогают писать огромное количество кода, будущие системы могут встроить эксплойты в различные критические системы. В открытом конфликте системы ИИ могут угрожать автономным или биологическим оружием или использовать его. Это всего лишь продолжение текущих трендов на автоматизацию войны, биологических исследований или создания самого ИИ. Людям может оказаться слишком сложно вмешаться и противодействовать.

Им даже не нужно добиваться этого от нас, во многих случаях мы готовы передать бразды сами. В конкурентной среде многие люди и компании сами готовы внедрять такие системы из-за боязни проиграть конкуренцию.

www.tgoop.com/gonzo_ML/1994

4.4K viewsOct 25, 2023 at 20:55

Managing AI Risks in an Era of Rapid Progress
Статья: https://managing-ai-risks.com/managing_ai_risks.pdf
Сайт: https://managing-ai-risks.com/

Вышло программное заявление от кучи значимых людей в AI и не только. Кроме Бенжио, Хинтона, Рассела и других там есть, например, Харари и Канеман.

Прогресс в AI быстр. Четыре года назад GPT-2 не умела считать до десяти, а сегодняшние модели помогают писать код, генерируют офигенные картинки, дают советы на интеллектуальные темы. И прогресс может ещё ускориться, потому что мы находимся в ситуации гонки. Кроме того прогресс в AI ускоряет сам себя, например, помогая в программировании новых систем и сборе данных для их обучения.

Нет оснований считать, что прогресс остановится или замедлится по достижении человеческого уровня. Местами этот уровень и так превзойдён, а искусственные системы обладают способностями, недоступными для человека -- могут работать быстрее, переваривать огромные объёмы данных, скейлиться в огромных масштабах. У компаний есть деньги, чтобы запустить обучение на порядки большее, чем максимальное на сегодня.

Авторы считают, что мы должны серьёзно отнестись к возможности появления в течение текущей или следующей декады AI-генералиста, превзойдущего (совсем другая тема, но забавно, что “официально” то, что я только что употребил, это несуществующая форма в русском языке -- причастие будущего времени) человеческие способности во многих критических областях.

Что будет дальше? В хорошем варианте с аккуратным управлением и справедливым распределением, вся жизнь может улучшиться. Плохой вариант связан с крупномасштабными рисками, которые мы недостаточно готовы адресовать. Основные ресурсы вливаются в создание всё более мощных систем ИИ, а не в безопасность и предотвращение вреда. Мы должны это поменять, погоня лишь за одними способностями недостаточна. И мы отстаём от графика в этом процессе. Мы должны предвидеть усиление имеющихся опасностей и появление новых, и готовиться к большим рискам до их материализации. С изменением климата на принятие ушли десятки лет, у нас нет такого же количества времени на ИИ.

Есть множество рисков масштаба общества (Societal-scale risks): усиление несправедливости, эрозия стабильности, ослабление общего понимания реальности. Здесь же крупномасштабные действия преступников и террористов. ИИ может оказаться в руках небольшого числа акторов и усилить глобальное неравенство, способствовать автоматизации войны, персонализированным массовым манипуляциям и всепроникающему наблюдению.

Эти риски только усилятся с развитием автономного ИИ, который может планировать, действовать в мире и преследовать свои цели. Эти цели могут быть нежелательными для нас, а в случае злонамеренных акторов и откровенно вредными. Как решить проблему AI Alignment, выравнивания поведения ИИ с нашими сложными целями, на данный момент неясно. А в условиях гонки, если цель -- её выиграть, мерами безопасности особенно легко пренебречь.

Мы не очень хорошо контролируем обычный софт, что говорить про продвинутые ИИ системы, совершенствующиеся в хакинге, социальной инженерии, обмане и стратегическом планировании. Автономные ИИ системы могут выучить это у людей или разработать самостоятельно.

Эти системы могут завоёвывать доверие, получать финансовые ресурсы, влиять на ЛПР, и образовывать коалиции с людьми и другими системами. Они могут копировать себя по сети как червь. ИИ-ассистенты уже сейчас помогают писать огромное количество кода, будущие системы могут встроить эксплойты в различные критические системы. В открытом конфликте системы ИИ могут угрожать автономным или биологическим оружием или использовать его. Это всего лишь продолжение текущих трендов на автоматизацию войны, биологических исследований или создания самого ИИ. Людям может оказаться слишком сложно вмешаться и противодействовать.

Им даже не нужно добиваться этого от нас, во многих случаях мы готовы передать бразды сами. В конкурентной среде многие люди и компании сами готовы внедрять такие системы из-за боязни проиграть конкуренцию.

BY gonzo-обзоры ML статей