tgoop.com/chernopsy/933
Last Update:
Do Language Models Need Sensory Grounding for Meaning and Understanding?
Дебаты на тему: нужна ли языковым моделям (LLM) чувственная основа для формирования смысла и понимания? (дебаты были в конце марта)
Сначала шесть коротких докладов, потом обсуждение. Участвуют машинлёрнеры, когнитивисты и философы. Модерирует Нед Блок.
Коротко, что зацепило:
Я. ЛеКун: скептичен, считает, что граундинг в сенсорной информации нужен; большие языковые модели – тупик, из которого мы скоро, к счастью, уйдем.
Э. Павлик: граундинг не нужен, так как мы добавляли - лучше она не действует.
Философы мне не очень были интересны, так что я проматывал.
Г. Лупян (занимается лингвистикой): дети овладевают понятиями без граундинга. Слепые - тоже. Так зачем он языковым моделям?
Последний аргумент интересный, но почему-то не обсуждается, что хотя какие-то понятия мы действительно осваиваем совсем без сенсорного опыта (абстрактные понятия, через чтение или от других людей), но базовые понятия мы освоили вместе с сенсорным опытом. И даже новые абстрактные понятия мы можем заземлить на этот сенсорный (и телесный) опыт. Точно так же слепой человек может представить себе прозрачность через аналогию из другой модальности (например думая о поверхностях, которые пропускают и не пропускают звук).
ЛеКун сказал в самом начале, что LLM устроены так, что граундинг им не поможет. Но это не помешало Э. Павлик рассказывать о своих экспериментах, где они добавляли граундинг и это не улучшило перформанс – хотя именно это и имел в виду ЛеКун, как я понял. Довольно странный момент.
Лупян предлагает интересные аргументы и в своих ответах часто намекает на то, что мы во многом ведём себя так же, как и LLM. Я с этим частично согласен.
Что ещё меня поразило - и, в целом, всегда поражает в таких дискуссиях: полное отсутствие попыток дать рабочие определения. Такое ощущение, что всем окей использовать бытовые / интуитивные понятия “понимания”, “планирования”, “смысла” и т.д. Мне это в таких дискуссиях не нравится, потому что это провоцирует спор о словах (как и случилось при обсуждении “планирования” в конце дебатов). Я понимаю, что определения давать сложно, но нужно хотя бы грубо очертить рабочие термины (мою попытку писать о понимании и смысле в LLM см. тут).
Но дебаты мне всё равно понравились. Состав участников напоминает зарю когнитивной науки – которую создавали вместе психологи, лингвисты, ИИ-шники и нейрофизиологи.
https://youtu.be/x10964w00zk
BY Черномырдин нашей психологии
Share with your friend now:
tgoop.com/chernopsy/933