Дневник начинающего системолога

Про рациональность Юдковского

В контексте системного подхода давно следовало бы упомянуть рациональность. Я этот момент оттягивал, пытался разобраться с противоречием. Я в общем симпатитизировал движению, но не разделял значимый кусок убеждений. Не понимал стоит ли мне включать модели рациональности в свои тексты, вынужденно отсылая людей читать тексты Юдковского, некоторые из которых считаю вредными.

Недавно сходил на встречу рационалистов в СПб, потом уточнил в чате сообщества некоторые вопросы. Смог разрешить противеоречия, приблизительно понял, почему у нас расходятся модели, хотя источники читаем те же. Теперь готов тезисно рассказать о том, какие у меня сейчас модели касающиеся рациональности.

➖ Гарри Поттер и методы рационального мышления - крутая книга.
➖ Сообщество LessWrong - комьюнити крутых, читающих, думающих людей (в значительной степени из IT-среды). Блоги рационалистов интересно читать.
➖ Крайне интересна деятельность близких/дружественных сообществ ненасильственного общения (ННО), уличной эпистемологии, эффективного альтруизма.
➖ Есть очень много удобных моделей (модельный синтаксический сахар). Табуирование, калибровка, премортем, соломенное чучело и др.
➖ В цепочках эпистемология на байесианстве описана доступным языком.
➖ Скотт Александер и его блог Slate Star Codex интересен и тексты его вызывали у меня мало противоречий.

➖ Цепочки излишне художественны, аргументы недостаточно однозначно сформулированы. Если в какой-то момент аргументация автора у вас вызывает сомнения, то из текстов противоречие разрешить не получится.
➖ Цепочки - предубеджены (overbiased) в пользу точных моделей, реальной (без приукрас) картины мира. Отсюда следует недооценка полезности неточных, нефальсифицируемых моделей и тех, кто их использует.
➖ Рациональность имеет ограниченную (довольно узкую) сферу применимости. Если жизненную задачу можно свести к статистической, то рациональность лучший метод. Если нет, рациональность будет выдавать артефакты (сомнительные модели/оценки/суждения).
➖ В ru комьюнити сложно вписаться. Они сознательно формируют узкий круг людей для сообщества, высокий порог входа для людей извне. Чтение цепочек не обязательный, но важный пререквизит.
➖ Радикальные оценки (в среднем) в сообществе касательно AI рисков, значимости AI alignment. До разработки AGI по оценкам сообщества 5-10 лет.
➖ Рациональность может быть лишней прокладкой между Каннеманом, Тетлоком, Чалдини, Дойчем, Сильвером и другими авторами.

Если отнестись к рациональности, как к одной из методологий с узкой сферой применимости, понимая, что у сообщества есть предубежденность в отношении некоторых ценностей, то вреда не будет, но узнать новые модели, познакомиться с новыми людьми может быть весьма полезным.

www.tgoop.com/sa_diary/146

967 viewsJun 25, 2023 at 07:15

Про рациональность Юдковского

В контексте системного подхода давно следовало бы упомянуть рациональность. Я этот момент оттягивал, пытался разобраться с противоречием. Я в общем симпатитизировал движению, но не разделял значимый кусок убеждений. Не понимал стоит ли мне включать модели рациональности в свои тексты, вынужденно отсылая людей читать тексты Юдковского, некоторые из которых считаю вредными.

Недавно сходил на встречу рационалистов в СПб, потом уточнил в чате сообщества некоторые вопросы. Смог разрешить противеоречия, приблизительно понял, почему у нас расходятся модели, хотя источники читаем те же. Теперь готов тезисно рассказать о том, какие у меня сейчас модели касающиеся рациональности.

➖ Гарри Поттер и методы рационального мышления - крутая книга.
➖ Сообщество LessWrong - комьюнити крутых, читающих, думающих людей (в значительной степени из IT-среды). Блоги рационалистов интересно читать.
➖ Крайне интересна деятельность близких/дружественных сообществ ненасильственного общения (ННО), уличной эпистемологии, эффективного альтруизма.
➖ Есть очень много удобных моделей (модельный синтаксический сахар). Табуирование, калибровка, премортем, соломенное чучело и др.
➖ В цепочках эпистемология на байесианстве описана доступным языком.
➖ Скотт Александер и его блог Slate Star Codex интересен и тексты его вызывали у меня мало противоречий.

➖ Цепочки излишне художественны, аргументы недостаточно однозначно сформулированы. Если в какой-то момент аргументация автора у вас вызывает сомнения, то из текстов противоречие разрешить не получится.
➖ Цепочки - предубеджены (overbiased) в пользу точных моделей, реальной (без приукрас) картины мира. Отсюда следует недооценка полезности неточных, нефальсифицируемых моделей и тех, кто их использует.
➖ Рациональность имеет ограниченную (довольно узкую) сферу применимости. Если жизненную задачу можно свести к статистической, то рациональность лучший метод. Если нет, рациональность будет выдавать артефакты (сомнительные модели/оценки/суждения).
➖ В ru комьюнити сложно вписаться. Они сознательно формируют узкий круг людей для сообщества, высокий порог входа для людей извне. Чтение цепочек не обязательный, но важный пререквизит.
➖ Радикальные оценки (в среднем) в сообществе касательно AI рисков, значимости AI alignment. До разработки AGI по оценкам сообщества 5-10 лет.
➖ Рациональность может быть лишней прокладкой между Каннеманом, Тетлоком, Чалдини, Дойчем, Сильвером и другими авторами.

Если отнестись к рациональности, как к одной из методологий с узкой сферой применимости, понимая, что у сообщества есть предубежденность в отношении некоторых ценностей, то вреда не будет, но узнать новые модели, познакомиться с новыми людьми может быть весьма полезным.

BY Дневник начинающего системолога