tgoop.com/they_plus/58
Last Update:
На вчерашнее открытое письмо о 6-месячном моратории на AI-программы отреагировал Элиезер Юдковский — культовая фигура мира AI-дискуссий и исследователь AI-безопасности (я упоминал в канале его проект LessWrong и его давнюю истерику по поводу Василиска Роко). На этот раз Юдковский в своём тексте для Time отреагировал ещё радикальней, призвав буквально коллективно уничтожать ядерными ракетами дата-центры, если страны срочно не остановят разработки в области искусственного интеллекта.
Цитаты Юдковского из его текста:
Мораторий на новые крупные тренировочные запуски должен быть бессрочным и всемирным. Не должно быть никаких исключений, в т.ч. для правительств или вооруженных сил. Если эта политика начнется с США, то Китай должен увидеть, что США не ищут выгоды, а пытаются предотвратить катастрофически опасную технологию, у которой не может быть настоящего владельца и которая убьет всех в США, в Китае и на Земле. Если бы у меня была безграничная свобода писать законы, я мог бы сделать единственное исключение для ИИ, обученных исключительно для решения проблем в области биологии и биотехнологий, не обученных на текстах из интернета и не дошедших до уровня, когда они могут говорить или планировать; но если бы это хоть отдаленно усложняло главную проблему, я бы немедленно сказал бы просто закрыть и эти разработки.
Отключить все большие кластеры GPU (большие компьютерные фермы, где совершенствуются самые мощные ИИ). Отключить все крупные тренировочные программы. Установить потолок на то, сколько вычислительной мощности кому-либо разрешено использовать для обучения системы ИИ, и в ближайшие годы снижать его, чтобы компенсировать более эффективные алгоритмы обучения. Никаких исключений для правительств и вооруженных сил. Немедленно заключить многонациональные соглашения, чтобы предотвратить перенос запрещенных видов деятельности в другие страны. Отслеживайте все проданные графические процессоры. Если разведка сообщает, что страна, не входящая в соглашение, строит кластер GPU, бойтесь не столько нарушения моратория, сколько конфликта между странами; будьте готовы уничтожить несанкционированный центр обработки данных авиаударом.
Не представляйте ничего как конфликт между национальными интересами, дайте понять, что любой, кто говорит о гонке вооружений, — глупец. То, что мы все живем или умрем как единое целое, — это не политика, а факт природы. В международной дипломатии четко заявить, что предотвращение сценариев вымирания ИИ считается приоритетнее предотвращения полного ядерного обмена, и что союзные ядерные страны готовы пойти на риск ядерного обмена, если это необходимо для снижения риска масштабных тренировок ИИ.
Ну и ещё одна цитата из Юдковского напоследок:
Многие исследователи, углубленные в эти вопросы, включая меня, считают, что наиболее вероятным результатом создания сверхчеловечески умного ИИ в условиях, отдаленно напоминающих нынешние, будет гибель буквально всех людей на Земле. Не в смысле «возможно, есть какая-то отдаленная вероятность», а в смысле «это очевидная вещь, которая произойдет».
Как говорится, вы находитесь здесь.
BY They+
Share with your friend now:
tgoop.com/they_plus/58