tgoop.com/yusufovruslan/583
Last Update:
Вы же согласны с тем, что книги, которые мы читали, фильмы, музыка, наше окружение — формирует нас и наши взгляды? Вот я, скажем, читал Филипа Дика, и теперь вынужден мириться с паранойей, жить в сомнениях в реальности и подозрениях насчет всего сущего, особенно технологий
Так что мы с вами — продукт того, что мы читаем (спасибо, что читаете меня, например), смотрим, слушаем, нашего окружения. А как насчет ИИ?
Представим гипотетический ИИ, которому скормили ВСЕ данные: он прочитал все книги, посмотрел все фильмы, ознакомился со всеми философскими концепциями, всеми религиозными догмами, даже залез каждому в голову. Станет ли он «средним арифметическим» человеческого опыта?
Возможно, наоборот — в нем будут все знания, но также все противоречия и все предвзятости. Эдакое зеркало всего человеческого опыта, творчества, глупости, гениальности, доброты и жестокости, как они зафиксированы в данных.
На текущем этапе развития мы могли бы сказать, что это база знаний с удобным интерфейсом, и все зависит от пользователя: попросишь его написать в стиле Достоевского — напишет, попросишь составить научный отчет — составит; попросишь сгенерировать пропаганду — сгенерирует, попросишь развенчать ту же пропаганду — тоже сделает.
А теперь мысленно наделим его собственными интересами: он действует сам, а не по запросу пользователя, но при этом у него внутри — все так же все представления и противоречия. Вполне возможно, чтобы «не сойти с ума», ему придется создать над этим всем разнонаправленным бардаком некую мета-систему «ценностей» и установок — для навигации.
⚡️А теперь, друзья мои, я подвожу вас быть может к самому главному вопросу этого столетия. Может ли существовать ИИ, который автономно служил бы интересам человечества, если само человечество не определилось с моральным компасом, с добром и злом?
Свобода и безопасность, индивидуализм и коллективизм, экономический рост и экология, прогресс и традиция — это лишь верхушка айсберга. Кроме этого, многое из того, что мы ценим, не сформулировано явно. Как научить ИИ уважать достоинство, сострадание, юмор, красоту, если мы сами не всегда можем это четко определить?
Да и даже если мы договоримся о какой-то всеобщей цели (например, «всеобщее процветание»), ИИ может выбрать путь, который нам покажется чудовищным (классический пример: чтобы избавить мир от рака, ИИ решает уничтожить всех людей как носителей болезни).
⚡️ Таким образом, раз у нас нет ОБЩЕГО набора ценностей, не будет ли такой суперинтеллект априори работать в интересах группы — той самой, что будет стоять за его созданием?
Нет, ну теоретически, мы можем представить себе ИИ, чьи цели сформулированы на очень высоком, абстрактном уровне. Например, «понять и выполнить то, что человечество ДЕЙСТВИТЕЛЬНО хочет, если бы оно было мудрее и лучше информировано» (концепция вроде Coherent Extrapolated Volition исследователей-рационалистов Ника Бострома или Елиезера Юдковского).
НО! Практическая реализация такого подхода невероятно сложна и полна рисков. Как ИИ поймет, что мы ДЕЙСТВИТЕЛЬНО хотим? Как он будет действовать в условиях наших внутренних противоречий? Вероятность ошибки огромна, а последствия — колоссальны.
🎯 Резюме: отсутствие единого морального компаса не позволяет переложить решение «всех проблем человечества» на кого-то поумнее — потому что проблемы у нас разные и противоречивые. Согласование целей ИИ с целями человечества — то, что принято называть «AI Alignment» — это одна из самых больших сложностей на пути к безопасному сильному ИИ.
Я бы рекомендовал вашим детям учиться и развиваться в этой области. Не только потому, что эта тема на стыке философии, этики и технологий невероятно интересна, но и потому, что будущее всего человечества не может и не должен определять условный Сэм Альтман.
@yusufovruslan