tgoop.com/tasteofrain/170
Last Update:
Молох, часть III. Противоядие.
Чтобы понять пост очень нужно прочитать или перечитать часть I и часть II.
В этот раз я хочу поговорить о противоядии против Молоха.
В чём ключевая ловушка Молоха? Базовый принцип прост – в соревновании, где оптимизируется некое понятное значение X возникает возможность вырваться вперед, пожертвовав каким-то второстепенным качеством. Все кто пользуются этой возможностью выигрывают, те кто не пользуются начинают проигрывать. В конечном итоге остаются только те, кто воспользовались и относительное соотношение сил в соревновании остаётся плюс-минус тем же самым, но в абсолютном смысле всем стало немного хуже. Этот процесс повторяется и мы постепенно выкидываем на свалку абсолютно всё, чем только можно пожертвовать.
Молох представляет из себя именно ловушку, потому что каждый агент действует в своих личных интересах, но тем не менее в конечном итоге оказывается в худшем положении.
Но подождите, Молох с нами с начала времён, а весь мир так и не превратился в ад, во многом дела вообще идут неплохо. Почему так?
Есть несколько вариантов систем, где Молох ограничен, понимание этих вариантов может помочь в борьбе с ним. Например, такие:
– Избыток ресурсов в системе
Когда ресурсов очень много, то часто не возникает жёсткой конкуренции и необходимости приносить жертвы.
– Utility Maximization.
Иногда чтобы удовлетворить клиентов в рыночном соревновании нужно сохранять человеческие ценности.
– Физические ограничения агентов
Может быть рабовладелец и рад был бы в конкуренции с соседним плантатором заставлять своих рабов трудиться ещё больше, но иногда они уже на физиологическом пределе.
Последний, самый рабочий метод – координация, но про него чуть ниже.
Получается, Молох и его ловушки превращают мир в бездушную оптимизирующую машину, по пути принося в жертву человеческие ценности. Сейчас ему мешают ограничения (ресурсы, физические ограничения и utility maximization), а также какая-никакая координация.
Но что вообще делали люди все последнее время? Инструменты и технологии. Как они влияют на Молоха?
Технологии рождают возможности, а возможности в нашем мире Молоха – это часто возможности для той самой оптимизации значения X, пусть и с неприятной побочной жертвой. Соответственно технологии дают Молоху сил точно не меньше, чем людям, поэтому не могут помочь обойти ловушки.
Более того, технологии могут убирать факторы, ограничивающие Молоха: людей проще контролировать, стимуляторы могут позволить людям больше работать, более дальнобойное оружие позволяет соревноваться не только с соседом, но и с "заокеанскими партнёрами".
Что является противоположным вариантом от ловушки? Скотт Александр говорит, что противоположность – это Сад. А мы в этом саду вроде как пчёлы.
Главным противоядием является координация. В любой взаимодействующей системе всегда есть лимиты способностей к координации. Внутри страны нет гонки вооружений, не потому что нет опасности, что сосед окажется маньяком, а потому что есть глобальная регуляция, пусть даже в форме монополии государства на насилие. Между государствами гонка есть, потому что нет глобальной регуляции. Нет силы, стоящей выше всех государств, но стоит заметить, что попытки такие силы создать уже долгое время ведутся с разной степенью успеха.
Что в современном мире помогает кооперации? Как ни странно со времён появления интернета мы не увидели взлета межгосударственной координации. Но вот проекты типа Linux, или Wikipedia – крутые примеры кооперации.
Я также думаю, что смартконтракты, блокчейн и ZK лягут в фундамент кооперативных моделей, способных преодолеть текущие лимиты доверия и взаимодействия.
Сам по себе искусственный интеллект – мультипликатор человеческих способностей, значит мультиплицирует Молоха также хорошо, как и противоядие от него.
Как сказал Дэниэл Шмахтенбергер: "У нас проблема не AI Alignment, а Human Alignment".
BY Познавательная минутка от Курышева
Share with your friend now:
tgoop.com/tasteofrain/170