Познавательная минутка от Курышева

Про Диснейленд без детей

Когда-то мы записали с Русланом Трубчиком прекрасную беседу, наверное мой первый подкаст, в котором сплошная философия, и оказалось, он поднял реально важные для многих вопросы: о любви и свободе, о попытке подчинить жизнь какой-то цели, о стыде, о настоящем богатстве и другом таком.

Одна из запомнившихся многим метафор, которую я использовал там в рассказе была "Диснейленд без детей". Эту фразу я подсмотрел когда-то у Ника Бострома, который так иллюстрировал риски развития искусственного интеллекта: AGI может невероятно круто решать оптимизационную задачу для всего человечества, но из-за редукции смыслов она по определению будет нести в себе риск выбросить что-то невероятное важное по дороге к оптимуму. Мне пессимизм Бострома любопытен, хотя и не особо близок, но метафору я запомнил. Позже я узнал, что ее и не Бостром придумал, а Бодрийяр, тот самый, который рассуждал про симулякры и симуляции и приводил пример Лас-Вегаса, как города-симулякра, в котором утрачен оригинальный смысл города и он существует только в искуственной симуляции реальности, напоминающей настоящую – тут тоже есть дома, улицы и даже достопримечательности, точнее их копии, а опыт и переживания посетителей являются товаром на внутреннем оптимизационном аукционе.

--

Все знают: если ты не можешь что-то измерить, то ты не можешь это улучшить. Эта мантра активно используется и людьми индивидуально, и тем более в бизнесе. И я согласен – без этого никуда. При этом есть такой закон Гудхарта, который был сформулирован в 1975 году британским экономистом Чарльзом Гудхартом, суть которого заключается в том, что когда определённая метрика становится целью, она утрачивает свою эффективность в качестве показателя. Это происходит из-за множества причин. Прежде всего, это подмена настоящей реальности на символический мир показателей и метрик, которые конечно не могут вместить всего объема сложности. И в этом случае прямолинейная оптимизация выбранной метрики всегда приводит к тому, что какие-то реальные, но сложноизмеримые ценности будут принесены в жертву ради роста главного показателя.

В качестве примера часто приводят систему оценок и экзаменов, когда оценка сперва используется как индикатор успешности обучения, но абсолютно все учащиеся довольно быстро начинают оптимизировать ради оценки и рано или поздно сам факт получения и усвоения знаний перестает быть важным, поскольку всегда есть более простые способы получить хорошие оценки. Не удивительно, что оценки перестают в этом случае быть хорошей метрикой, потому что они больше не показывают глубину знаний.

Оптимизация своей личной жизни и попытка ее редуцировать до понятных субъективных состояний несёт те же риски, про которые давно знают буддисты: если максимизировать счастье и минимизировать боль, то ты неприменно просрёшь жизнь. Не в биологическом смысле, а в самом глубоком, духовном. Ты обустроишь жизнь как невероятный лунапарк, который будет генерировать счастье и избегать боли, но как будто вместе с этим ты обязательно закроешься от жизнепотока, выкинув свою душу под автобус прямо около остановки "Мясокомбинат".

Это и есть Диснейленд без детей. Это не концепция будущего, которая ждёт нас, если мир захватит злобный AGI и сделает нас всех самыми технологически прокачанными зомби. К сожалению это реальная опасность в настоящем, которая поджидает всех, у кого ум возомнил себя хозяином. Это происходит потому что ум смотрит на всё как оптимизационную задачу, а в ней нередуцируемому и необъяснимому феномену Жизни места просто нет. Если говорить прямо – человек просто превращается в высокоэффективного робота-зомби, максимально снижая спектр переживаний и закрываясь от реальности.

Тут есть несколько штук, которые обычно вызвают заметное сопротивление у некоторых людей: что за такое нередуцируемое есть в Жизни? Почему это нередуцируемое будет выкинуто в задаче оптимизации? Почему в задаче не поставить констрейнт – делай офигенный Диснейленд, но детей не трожь, пусть бегают. Места в посте к сожалению уже не хватает, поэтому я их оставлю для комментариев или будущих постов.

www.tgoop.com/tasteofrain/304

4.7K viewsЖеня Курышев, Nov 21 at 01:38

Про Диснейленд без детей

Когда-то мы записали с Русланом Трубчиком прекрасную беседу, наверное мой первый подкаст, в котором сплошная философия, и оказалось, он поднял реально важные для многих вопросы: о любви и свободе, о попытке подчинить жизнь какой-то цели, о стыде, о настоящем богатстве и другом таком.

Одна из запомнившихся многим метафор, которую я использовал там в рассказе была "Диснейленд без детей". Эту фразу я подсмотрел когда-то у Ника Бострома, который так иллюстрировал риски развития искусственного интеллекта: AGI может невероятно круто решать оптимизационную задачу для всего человечества, но из-за редукции смыслов она по определению будет нести в себе риск выбросить что-то невероятное важное по дороге к оптимуму. Мне пессимизм Бострома любопытен, хотя и не особо близок, но метафору я запомнил. Позже я узнал, что ее и не Бостром придумал, а Бодрийяр, тот самый, который рассуждал про симулякры и симуляции и приводил пример Лас-Вегаса, как города-симулякра, в котором утрачен оригинальный смысл города и он существует только в искуственной симуляции реальности, напоминающей настоящую – тут тоже есть дома, улицы и даже достопримечательности, точнее их копии, а опыт и переживания посетителей являются товаром на внутреннем оптимизационном аукционе.

--

Все знают: если ты не можешь что-то измерить, то ты не можешь это улучшить. Эта мантра активно используется и людьми индивидуально, и тем более в бизнесе. И я согласен – без этого никуда. При этом есть такой закон Гудхарта, который был сформулирован в 1975 году британским экономистом Чарльзом Гудхартом, суть которого заключается в том, что когда определённая метрика становится целью, она утрачивает свою эффективность в качестве показателя. Это происходит из-за множества причин. Прежде всего, это подмена настоящей реальности на символический мир показателей и метрик, которые конечно не могут вместить всего объема сложности. И в этом случае прямолинейная оптимизация выбранной метрики всегда приводит к тому, что какие-то реальные, но сложноизмеримые ценности будут принесены в жертву ради роста главного показателя.

В качестве примера часто приводят систему оценок и экзаменов, когда оценка сперва используется как индикатор успешности обучения, но абсолютно все учащиеся довольно быстро начинают оптимизировать ради оценки и рано или поздно сам факт получения и усвоения знаний перестает быть важным, поскольку всегда есть более простые способы получить хорошие оценки. Не удивительно, что оценки перестают в этом случае быть хорошей метрикой, потому что они больше не показывают глубину знаний.

Оптимизация своей личной жизни и попытка ее редуцировать до понятных субъективных состояний несёт те же риски, про которые давно знают буддисты: если максимизировать счастье и минимизировать боль, то ты неприменно просрёшь жизнь. Не в биологическом смысле, а в самом глубоком, духовном. Ты обустроишь жизнь как невероятный лунапарк, который будет генерировать счастье и избегать боли, но как будто вместе с этим ты обязательно закроешься от жизнепотока, выкинув свою душу под автобус прямо около остановки "Мясокомбинат".

Это и есть Диснейленд без детей. Это не концепция будущего, которая ждёт нас, если мир захватит злобный AGI и сделает нас всех самыми технологически прокачанными зомби. К сожалению это реальная опасность в настоящем, которая поджидает всех, у кого ум возомнил себя хозяином. Это происходит потому что ум смотрит на всё как оптимизационную задачу, а в ней нередуцируемому и необъяснимому феномену Жизни места просто нет. Если говорить прямо – человек просто превращается в высокоэффективного робота-зомби, максимально снижая спектр переживаний и закрываясь от реальности.

Тут есть несколько штук, которые обычно вызвают заметное сопротивление у некоторых людей: что за такое нередуцируемое есть в Жизни? Почему это нередуцируемое будет выкинуто в задаче оптимизации? Почему в задаче не поставить констрейнт – делай офигенный Диснейленд, но детей не трожь, пусть бегают. Места в посте к сожалению уже не хватает, поэтому я их оставлю для комментариев или будущих постов.

BY Познавательная минутка от Курышева