StatSpace

Можно ли спрогнозировать точность геополитических прогнозов и как это потом использовать

#лонгрид
#статьи

Короткий ответ: можно, и очень точно! А потом, зная точность прогнозов разных экспертов, можно получить ещё более точный прогноз

А теперь длиннее! Сегодня мы рассматриваем интересную статью, посвящённую точности геополитических прогнозов. 153 участника, 10 вопросов с ответом да/нет от "кто победит на выборах: Байден или Трамп" (речь идёт о выборах 2020 года) до "запустит ли КНДР межконтинентальную баллистическую ракету в [заданный промежуток времени]". На каждый вопрос участники должны были дать ответ в виде вероятности наступления события с текстовым обоснованием, списком показателей, на которые смотрит эксперт, оценкой своей экспертности в этой области и т.д. Всего - 11 разных показателей.

Из всего этого изобилия авторы статьи формируют ряд показателей и обучают модель для предсказания точности отдельных прогнозов (прогнозирование точности прогнозов звучит конечно прекрасно!)). И эта модель оказывается очень точной! Достигнутая точность на тестовых данных: ROC AUC = 0.85, если тестовые данные - это новые эксперты; и ROC AUC = 0.96, когда в качестве тестовых данные берутся новые прогнозы тех же экспертов, которые модель видела при обучении. Очень и очень неплохо! Собственно модель тут - логистическая регрессия с регуляризацией, всё очень просто и интерпретируемо.

Точнее оказываются те эксперты, которые более уверены в своих прогнозах, верят, что их прогнозы будут близки к среднему прогнозу других экспертов, у которых в обоснованиях больше слов, ориентированных на время, и меньше - на прошлое, настоящее и связанных с определённостью. Показатели про слова получены на основе Linguistic Inquiry and Word Count dictionary, интересующиеся могут там подробнее посмотреть, что входит в каждый из этих списков.

А дальше всё просто - зная точность отдельных экспертов, можно более корректно агрегировать их прогнозы в одну цифру. И она будет заметно (и статистически значимо) точнее, чем отдельные прогнозы!

www.tgoop.com/statspace/2395

682 viewsJul 21, 2024 at 09:30

Можно ли спрогнозировать точность геополитических прогнозов и как это потом использовать

#лонгрид
#статьи

Короткий ответ: можно, и очень точно! А потом, зная точность прогнозов разных экспертов, можно получить ещё более точный прогноз

А теперь длиннее! Сегодня мы рассматриваем интересную статью, посвящённую точности геополитических прогнозов. 153 участника, 10 вопросов с ответом да/нет от "кто победит на выборах: Байден или Трамп" (речь идёт о выборах 2020 года) до "запустит ли КНДР межконтинентальную баллистическую ракету в [заданный промежуток времени]". На каждый вопрос участники должны были дать ответ в виде вероятности наступления события с текстовым обоснованием, списком показателей, на которые смотрит эксперт, оценкой своей экспертности в этой области и т.д. Всего - 11 разных показателей.

Из всего этого изобилия авторы статьи формируют ряд показателей и обучают модель для предсказания точности отдельных прогнозов (прогнозирование точности прогнозов звучит конечно прекрасно!)). И эта модель оказывается очень точной! Достигнутая точность на тестовых данных: ROC AUC = 0.85, если тестовые данные - это новые эксперты; и ROC AUC = 0.96, когда в качестве тестовых данные берутся новые прогнозы тех же экспертов, которые модель видела при обучении. Очень и очень неплохо! Собственно модель тут - логистическая регрессия с регуляризацией, всё очень просто и интерпретируемо.

Точнее оказываются те эксперты, которые более уверены в своих прогнозах, верят, что их прогнозы будут близки к среднему прогнозу других экспертов, у которых в обоснованиях больше слов, ориентированных на время, и меньше - на прошлое, настоящее и связанных с определённостью. Показатели про слова получены на основе Linguistic Inquiry and Word Count dictionary, интересующиеся могут там подробнее посмотреть, что входит в каждый из этих списков.

А дальше всё просто - зная точность отдельных экспертов, можно более корректно агрегировать их прогнозы в одну цифру. И она будет заметно (и статистически значимо) точнее, чем отдельные прогнозы!

BY StatSpace