OLEGSHIBANOV Telegram 1479
Языковые модели и прогнозы инфляции: почему я скептичен?

Эконс напоминает про исследование (октябрь 2024) прогнозов "большой языковой модели" (LLM) от Гугла. Авторы задают LLM условные вопросы "какой прогноз на ближайшие 1-4 квартала, если ты находишься в точке t", и затем сравнивают результаты с опросами аналитиков (Survey of professional forecasters). Горизонт времени 2019-2023.

Основной результат - что точность LLM выше, ошибка в среднем ниже. Но есть небольшая деталь: результат целиком зависит от 2021 года, а в остальном прогнозы как попало сравниваются. Посмотрите таблицу ниже - очень показательно. Не говоря о том, что LLM может видеть информацию о будущих годах, когда делает прогноз, и авторы это не могут проконтролировать.

Вывод: неубедительно. Нужны более аккуратные исследования.

#Inflation #US #AI



tgoop.com/olegshibanov/1479
Create:
Last Update:

Языковые модели и прогнозы инфляции: почему я скептичен?

Эконс напоминает про исследование (октябрь 2024) прогнозов "большой языковой модели" (LLM) от Гугла. Авторы задают LLM условные вопросы "какой прогноз на ближайшие 1-4 квартала, если ты находишься в точке t", и затем сравнивают результаты с опросами аналитиков (Survey of professional forecasters). Горизонт времени 2019-2023.

Основной результат - что точность LLM выше, ошибка в среднем ниже. Но есть небольшая деталь: результат целиком зависит от 2021 года, а в остальном прогнозы как попало сравниваются. Посмотрите таблицу ниже - очень показательно. Не говоря о том, что LLM может видеть информацию о будущих годах, когда делает прогноз, и авторы это не могут проконтролировать.

Вывод: неубедительно. Нужны более аккуратные исследования.

#Inflation #US #AI

BY FRAT - Financial random academic thoughts




Share with your friend now:
tgoop.com/olegshibanov/1479

View MORE
Open in Telegram


Telegram News

Date: |

To view your bio, click the Menu icon and select “View channel info.” Choose quality over quantity. Remember that one high-quality post is better than five short publications of questionable value. In handing down the sentence yesterday, deputy judge Peter Hui Shiu-keung of the district court said that even if Ng did not post the messages, he cannot shirk responsibility as the owner and administrator of such a big group for allowing these messages that incite illegal behaviors to exist. Each account can create up to 10 public channels Telegram desktop app: In the upper left corner, click the Menu icon (the one with three lines). Select “New Channel” from the drop-down menu.
from us


Telegram FRAT - Financial random academic thoughts
FROM American