tgoop.com/chernopsy/940
Last Update:
Могут ли большие языковые модели мыслить?
Вчера мне попала в руки переписка Пола Чисека (очень интересного исследователя, о котором я раньше писал) и Джеффри Хинтона (патриарха диплёрнинга) о мышлении в больших языковых моделях. Переписка из коннекционистской имейл-рассылки Университета Карнеги-Меллона.
Как же приятно было читать текст Чисека! Потому что такой уважаемый мной теоретик оценивает LLM примерно так же, как и я (см. недавний пост в канале). Совпадение, конечно, не случайное: я Чисека читал и слушал.
Его посыл в том, что мозг не просто система обработки информации, а это система, которая реализует свои цели во взаимодействии с окружающим миром. И именно в контексте этих целей информация обретает смысл. Он даже упоминает обучение с подкреплением – о чём я несколько дней назад писал. Модели, обученные продолжать последовательности, не будут обладать смыслом ни в какой форме – потому что после обучения у них нет никаких целей во взаимодействии с миром.
Отличный текст, очень рекомендую!
https://mailman.srv.cs.cmu.edu/pipermail/connectionists/2023-March/039580.html
———
Так как идея переводов околонаучных текстов нашла отклик у почти 100 подписчиков, я сделал перевод письма Чисека – для тех, кому читать по-русски намного легче, чем по-английски. Это машинный перевод с моими исправлениями. Если вы прочитали перевод, а не оригинальный текст - ставьте единорога к этому посту. Я всё ещё не уверен, что такая деятельность осмысленна :)
BY Черномырдин нашей психологии
Share with your friend now:
tgoop.com/chernopsy/940