Telegram Web
МакКлелланд

На выходных в Брюссель приезжал Джеймс МакКлелланд - когнитивист, один из крёстных отцов современных искусственных нейросетей. Автор знаменитой книги 1987 г. Parallel Distributed Processing, в которой с Девидом Руммельхартом (и, кстати, Джофри Хинтоном) они показали, как можно описывать познавательные процессы с помощью нейросетевого подхода.

Заведующий лабораторией, в которой я сейчас работаю, был его аспирантом, и с тех пор они общаются. Так как МакКлелланд проездом был в Брюсселе, его затащили на встречу бельгийского AI-сообщества, куда попал и я.

Встреча была неформальная, послушали про ИИ в Бельгии и позадавали вопросы МакКлелланду про прошлое и будущее нейросетей, про ИИ и мозг.

Он подчёркивает, что нейросетевому ИИ не хватает системы 2 – избиральной, быстрой, ограниченной системы обучения (сравните с Бенджио, ЛеКуном и одним местным экспертом). При этом он верит, что она может родиться из дальнейшего развития нейросетей – не нужно стремиться к специальным гибридным архитектурам. Подчёркивает, что в последние 10 лет прорывы в перформансе нейросетей происходили именно за счёт инженерных/технических новшеств (например, использование трансформеров), а не концептуальных/теоретических. Поэтому от современных архитектур всё ещё можно ожидать мощных скачков (во что лично я не верю – но никогда не поздно корректировать свои убеждения).

Также он высказал скепсис по поводу обучения с подкреплением (в которое я как раз верю, лол).

Ещё был интересный вопрос, не противоречит ли сложность нейросетевого подхода принципу простоты в науке. На это МакКлелланд ответил, что хотя современные глубокие нейросети и очень сложны, их можно описать небольшим набором основных принципов – в этом смысле мы их хорошо понимаем.

На первом фото МакКлелланд с Акселем Клирмансом (с которым я сейчас работаю). На втором можно увидеть меня, слушающего, как Джей рассуждает о каузальности.
И снова Прам

Как и писал ранее, послушал Прама вживую. Беседа получилась интересная, хотя на главный вопрос: почему он считает что половые предпочтения обязательно сопровождаются осознанным эстетическим переживанием – он так и не ответил. Кажется, что для него, если есть условия для выбора и, собственно, сам выбор - это уже демонстрация того, что животное обладает субъективной сознательной репрезентацией информации, на основе которой делается выбор. Не может быть выбора – особенно эстетического – без субъективного опыта.

Также Прам рассказал о своей новой книге – не менее провокационной, чем Эволюция красоты. Новая книга – ни много, ни мало – квир-феминистский анализ эволюции пола! Основная идея, как я понял, состоит в том, что пол – это величина не генетическая, а фенотипическая. Это то, как гены проявляют себя в заданных условиях среды, а не что-то, фиксированное с зачатия.

А я пока дочитываю его старую книгу – дальше скину несколько постов с другими интересными и провокационными идеями.
Красота спасает виды

И вот вам ещё одна провокационная идея от Прама - про то, как эстетика может радикально изменять пути эволюции.

В какой-то момент повествование в книге переходит к динозаврам: как Прам в качестве специалиста по птицам участвовал в изучении окраса пернатого динозавра. С помощью микроскопического анализа пытался понять, как именно были раскрашены крылья динозавра. Долго не понимал, при чём тут динозавры, почему разговор зашёл о них, но Прам в конце концов перешёл к своей теме, а именно – защите очень спекулятивных гипотез. Говорит, перья появились не для того, чтобы летать, а потому что на них очень легко составляются орнаменты! Самки предпочитали самцов с красивыми узорами, поэтому перьев становилось всё больше. По ходу дела оказалось, что перья также обладают хорошей парусностью и, собираясь в крылья, помогают летать. Рассуждая о том, что из динозавров выжили только пернатые (ныне представленные классом “птицы”), Прам пишет: красота спасает виды – если бы перья не появились для демонстрации орнаментов, которые нравились самкам, не развились бы крылья, которые позволили каким-то образом выжить отдельной группе мелких динозавров. То есть субъективные предпочтения могут сильно влиять на ход эволюции.

Сам автор признаёт, что идея спекулятивная и требует много исслдеований для проверки.

На картинке тот самый динозавр – Анхиорнис.
Самые нежелательные мысли прекрасной эпохи

Приветик!

Осенью я впал в незапланированную спячку, но вот решил, что пора-таки просыпаться. Всем привет, кто не отписался!

Попробую в следующих постах порефлексировать над тем, что произошло в когнитивной науке и ИИ за последние месяцы. Также допишу немного про Прама.

А начнем очередное возрождение блога с интересного факта из книги Д. Венгера о подавлении мыслей. В начале книжки он проводит список самых нежеланных навязчивых мыслей людей, который собрал знаменитый французский психиатр Пьер Жане в 1903 году. Эти мысли:

- Богохульство
- Побуждения совершить преступление
- Стыд за своё поведение
- Стыд за своё тело
- Ипохондрия

Это те вещи, о которых люди слишком часто думали и активно старались их подавить. Иногда кажется, что сто лет назад люди были совсем другими, а на самом деле, список выглядит довольно современно (за исключением богохульства, пожалуй). Кстати, в блоге было похожее наблюдение про концентрацию и работу.

Более современные исследования показывают примерно такой же набор нежелательных навязчивых мыслей. Кажется, что современные люди легче признаются в нежелательных сексуальных мыслях. Также среди мыслей, который хочется подавить, современники называют навязчивые песни 🙂 Ну и многие сообщают о том, что в голову иногда приходят мысли о странных и опасных действиях, типа прыгнуть с крыши, врезаться в здание на машине и тд. Хотя прямо современных исследований содержания нежелательных мыслей я не нашел: последние данные, которые я видел, датируются 1993 годом. Думаю, за последние 30 лет появился материал для новых навязчивых мыслей.

Stay tuned
Можно ли отвлечься от боли

Ещё один интересный факт из книжки Вегнера. Напомню, она про подавление мыслей, но этот факт про подавление ощущения боли. Представьте, что вам нужно перетерпеть боль. Например, у врача. Поможет ли отвлечение на фильм, телефон, соцсети? Оказывается, поможет (наверное, ваш личный опыт подсказывает то же самое). Но это помогает только с умеренной по силе болью. Если боль очень сильная, попытки отвлечься её не ослабят. Что интересно, иногда, при сильной боли лучше помогает фокусировка на её ощущении, а не отвлечение (показано в исследованиях с роженицами).
Как адаптационизм ведёт к евгенике

Ещё одна идея из книги Прама.

В начале 20 века fitness (~ адаптированность к условиям среды) был переосмыслен в ключе передачи генов следующему поколению. Таким образом были смешаны две силы: естественный отбор (приспособленность организма к индивидуальному выживанию в среде) и половой отбор (репродуктивный успех, связанный с предпочтением половых партнёров). При этом определение fitness осталось как раньше - адаптивным, то есть связанным с естественным отбором. Такое определение повлияло на дальнейшее развитие биологических теорий.

Поэтому развитие евгеники как рациональной, адаптивной передачи генов, стало возможным и даже необходимым. По сути, учёные задавались вопросом: как ускорить эволюцию ради общего блага всех людей. Понятно, к чему это привело.

Сегодняшний адаптауионизм (идея о том, что все эволюционные изменения имеют адаптивный характер) все ещё пытается найти адаптации в половых предпочтениях. Вся эволюционная психология об этом: как какие-то черты помогали особям выживать и поэтому закреплялись.

На изображении как раз противопоставляются социальные, якобы биологически не обоснованные, черты и евгенические - биологически (читай: научно) обоснованные.

Прам же настаивает, что эволюция может происходить чисто по эстетическим причинам (~ связанным со случайным дрейфом половых предпочтений), не привязанным напрямую к выживанию в среде и размножению (но привязанным косвенно - поэтому эволюция и происходит; через половой отбор).

Такой подход хотя и оставляет простор для евгеники, он исключает её обоснование как триумфа рациональности и научного познания, как помощь природе, движение в сторону естественного, биологически оправданного, хода вещей.
Социальный джетлаг

Узнал вчера об интересном термине – социальном джетлаге. Это негативные эффекты несовпадения биологических циклов с социальными циклами. Сюда относят разные виды рассогласований, но изначально речь шла о разнице в режиме сна на неделе и на выходных.

Авторы, изучающие это явление, утверждают, что социальный джетлаг оказывает влияние на самочувствие, расстройства сна и употребление различных стимуляторов.

Кстати, это напомнило мне о том, как социальные условия не только влияют на здоровье, но и могут создавать новые психологические феномены. Например, где-то я слышал, что понятие подросткового возраста - это культурный феномен, возникший, когда люди, достигшие биологической зрелости, стали продолжать жить с родителями. Не помню, где я взял эту гипотезу, но это реалистичный пример того, как какой-то заметный кажущийся чисто биологическим феномен, может возникать из-за устройства общества.
Remote control

Описывая стратегии управления своим мышлением, Венгер пишет про стратегию Remote control. Идея в том, что вместо того, чтобы с усилием подавлять или фокусировать мысли, мы изменяем внешние условия, чтобы они направляли наши мысли в том или ином направлении, или убираем стимулы/триггеры каких-то мыслей или воспоминаний.

Если мы пытаемся перестать есть сладкое - нужно спрятать дома все печенки с глаз. Если мы переживаем расставание с любимым человеком, нужно убрать фотографии и не ходить в места, где можем его встретить. Таким образом, мы совершаем действия, которые не требуют особых усилий воли, чтобы избежать этих усилий в будущем - когда потребуется подавать какие-то мысли или отвлечься.

В целом, эта стратегия работает не только для избегания каких-то соблазнов, но и просто для управления будущим собой - который может быть немного другим человеком уже завтра :)

С помощью этой стратегии можно не только избавляться от нежелательного поведения, но и стимулировать желательное: Вегнер пишет, как он окружает себя вещами, беседам и местами, связанным с проектом, который он хочет закончить. Так, он назначал встречи с людьми, чтобы поговорить про свои идеи - и было неважно, что именно было в беседе, главное, что сам факт разговора погружал его в работу над проектом.

О похожей стратегии управления своими эмоциями, я писал раньше: когда нам удается уловить момент, в котором мы еще можем свернуть с дорожки размышлений, которая ведет нас к тяжелому эмоциональному состоянию - этим нужно пользоваться. Потому что когда это состояние возникнет - изменить его будет намного сложнее.

Кстати эта идея - управления своей психикой через управление внешними стимулами - лежит в основе теории развития психики Л. С. Выготского. По нему, наше мышление исходно реактивно (то есть запускается внешними стимулами). Но мы имеем некоторую свободу эти стимулы реорганизовывать. А главное - мы можем их интериоризировать, то есть превращать внешние триггеры (типа пометки в календаре на стене) во внутренние психические процессы. Так формируются высшие психические функции типа произвольного внимания и памяти.
TRIGGER WARNING

Я от нескольких людей слышал, насколько им важны триггер варнинги. Для тех, кто не знает: это когда перед тем, как показать что-то потенциально вызывающее сильную эмоциональную реакцию (страх, отвращение, травмирующее воспоминание), дают предупреждение. Перед некоторыми статьями в газетах, например, пишут: в материале рассказывается о таких-то видах насилия, будьте осторожны. Так вот несколько человек говорили мне, мол, ох, в такой-то презентации должны были предупредить, что покажут пауков! Так что я, в целом, серьёзно относился к этой теме.

Но вот вышло исследование, а точнее мета-анализ 25 исследований, показывающих, что триггер-варнинги на самом деле не помогают, и скорее имеют негативные эффекты при использовании.

Если конкретно по результатам:
- Триггер-варнинги не снижают ощущение стресса/тревоги, скорее немного повышают
- Есть (но ничтожно малый) эффект избегания материала, у которого был триггер варнинг
- Триггер-варнинги вызывают негативное (тревожное) предвкушение травматичного материала

“Overall, we found that warnings had no effect on affective responses to negative material or on educational outcomes. However, warnings reliably increased anticipatory affect. Findings on avoidance were mixed, suggesting either that warnings have no effect on engagement with material or that they increased engagement with negative material under specific circumstances”
Психологические понятия

В декабре уже традиционно съездил на конференцию голландской ассоциации Brain & Cognition. Проходит она в курортном городке на берегу Северного моря. Прогулки по зимнему пляжу между докладами и прочая романтика. Очень похоже на голландскую ЗПШ (для тех, кто в курсе): зима, море, доклады, дискотека, паб-квиз. Последний был в этом году позорно слит моей бельгийской командой из-за обилия вопросов про историю голландской психологии и нейронауки.

Но к делам научным. Необычным явлением для конференции стали две сессии, посвящённые методологии науки. То есть тому, насколько правильно мы проводим наши нейрокогнитивные исследования.

Сначала я послушал пленарный доклад клинического психолога Ейко Фрида (Лейденский университет) про сетевой подход в психиатрии.

Его посыл состоял в том, что при изучении психического здоровья хватит уже за набором разрозненных симптомов пытаться идентифицировать отдельную болезненную сущность, такую как депрессия или шизофрения. Действительно, при таких диагнозах есть много скоррелированных симптомов, например, при депрессии у нас будут расстройства эмоций, мотивации, социальных связей, работоспособности и тд. Но дело в том, что, во-первых, при всех заболеваниях у нас множество клинических опросников будут показывать скорректированные результаты. Грубо говоря, ухудшается всё. Во-вторых, у разных людей, какие-то симптомы будут проявляться, а какие-то - нет. В конце-концов, такой единой сущности как депрессия может просто не быть!

Поэтому Фрид предлагает фокусироваться на чётко установленных симптомах и смотреть на них как на сеть. Смотреть, как эта сеть эволюционирует в ходе болезни, какие её узлы (т.е. выраженность каких симптомов) изменяется под воздействием тех или иных препаратов, как эти сети отличаются у разных людей и т.д.

Короче, Фрид предлагает отказаться от традиционных лейблов болезней и представления о том, что под ними скрывается какая-то четко очерченная реальность (см. критику эссенциализма). При этом, интересно, что Фрид критиковал и редукционизм: попытки найти ген, гормон, или конкретный участок мозга, объясняющий депрессию или другие заболевания.

Другой доклад был сделан на одном из симпозиумов. Тема доклада похожа на Фридовскую: несостоятельность классических психологических терминов (типа память, внимание или СОЗНАНИЕ) при попытке понять мозг и поведение. Докладчик (J. Fahrenfort из Амстердамского университета) предлагал изучать конкретные нейрофизиологические механизмы, участвующие в отдельных задачах, а не привязывать все наши нейро-находки к таким феноменам, как память, восприятие и тд.

С одной стороны, заход у него похожий. С другой стороны, он очень редукционистский, а редукционизм Фрид как раз критиковал.

Что я вынес для себя из этой дискуссии – психологам нужно больше внимания уделять высокоуровневым психологическим понятиям типа внимания, памяти и тд. Но нужно не просто отсылаться к ним, а необходима скрупулёзная работа по уточнению и описанию этих терминов. Чтобы как минимум в психологии было понятно, что мы имеем в виду, когда говорим про память или разные её виды: чёткое описание (в рамках разных теорий хотя бы), эффекты, как измерять и тд. А дальше можно отсыпаться к этим функциональным описаниям, изучая, например, нейрофизиологические механизмы. Всё-таки, в когнитивной нейронауке нас интересуют, в первую очередь, целостные когнитивные процессы, а не нейробиологические процессы сами по себе.
Фото из душа (извините)

Очередной пример интерференционного (конфликтного) стимула в реальной жизни - встречен в гостинице только что. Я не задумываясь стал крутить наверх, чтобы пошла тёпленькая. Конечно, ошибся. Сходно с эффектом Саймона: когда на стимул, расположенный слева, нужно реагировать правой рукой и наоборот. Почему нельзя было сделать красную стрелку внизу??

Напомню, раньше мы обсуждали поворотники Мини.

Скидывайте ваши примеры в комментарии :)
Лиза Фельдман Барретт и тревога в Бохуме

Присутствую на странной конференции: Carnap Lectures в Рурском университете в Бохуме. Это серия гостевых лекций какого-нибудь знаменитого исследователя в области когнитивной науки в местном институте философии. Обычно это философы. В этот раз это Лиза Фельдман Барретт.

Когда я впервые прочитал её книжку – мне она не понравилась. Но со временем я стал лучше понимать её идеи и потихоньку ими проникаться. Инсайт сегодняшнего дня: эмоции имеют такие разные физиологические и телесные проявления, потому что эти проявления зависят от того, какое действие организм готовится совершить по итогу эмоциональной ситуации. Если нужно бежать – вегетативная нервная система будет к этому готовиться. И неважно, бежишь ты от радости или от страха. Поэтому одна и та же эмоция будет давать очень разный нейрофизиолггический, мышечный и мимический паттерн.

Наверное, напишу пост по итогам трёх дней её лекций, но пока – смешной момент с сегодняшней лекции утром. Рассказывает она, значит, как эмоции – это категории, которые придумывает наш мозг на основе той культуры, в которой мы растём – и тут внезапно у кого-то начинает орать телефон. Потом второй. И третий. Профессор-организатор берёт слово. Сейчас, говорит, 11:00, будет тестовая тревога: на всех телефонах может заработать тревожное оповещение. И правда – у людей по-одному, с одинаковым звуком сирены, начинают срабатывать телефоны. У меня не сработал, но, кажется, это не зависело ни от модели телефона, ни от страны, из которой приехал человек. Где-то к 11:10 сирены перестали срабатывать. А Лиза Фельдман Баррет (телефон которой тоже заорал), отшутившись, продолжила свою лекцию. Такая вот немецкая история.
Главная задача мозга

Инсайт вчерашнего дня с лекций Лизы Фельдман Баррет: главная задача мозга - не мышление, построение модели мира или движение в физическом пространстве, а – управление внутренней средой организма. Отражение внешнего мира - вынужденная задача мозга для поддержания динамической адаптации организма к требованиям внешней среды (аллостаза), а не самоцель.

Как сказала Фельдман Баррет, мозг строит не модель мира, а модель поверхности органов чувств.

Именно поэтому она уделяет так много внимания эмоциям в своих исследованиях: аффект (базовая эмоциональная реакция) - это быстрая обобщенная оценка состояния организма в данной ситуации.
Relational realism

Последняя лекция Лизы Фельдман Баррет была философской. Она рассказывала, как она видит реальность, что в ней познаваемо и тд. На основе её взглядов на психику и того, что она читала по философии.

Небольшое отступление: за два дня до этого доклада два философа рассказывали, почему теория предсказательного кодирования не может претендовать на основную теорию объясняющую работу мозга. В докладе были как концептуальные аргументы, так и эмпирические - с отсылками к нейрофизиологии и анатомии. После этого доклада Лиза Фельдман-Баррет сказала: очень мило, но примерно к каждому слайду я могу сделать критическое замечание. В основном, замечания были к неточности нейрофизиологических аргументов, которые приводили друзья-философы. Выглядело это как прожарка.

Так вот, через два дня после этого, Лиза Фельдман-Баррет рассказывала про философию философам… И картина получилась обратная: ей задали много критических вопросов, она очень сильно защищалась, ссылалась на интерпретации её концепции в квантовой физике, была агрессивной. В общем, выглядело это так себе. Как я понял, для философов, то, что она говорила, выглядело очень наивно и неинформированно.

Если попытаться пересказать, то её взгляд она называет relational realism. Она верит, что реальность объективно существует, отрицает идеализм и множество правд (моя, твоя, ещё чья-то). Утверждает следующее. Любая изменяющаяся величина является сигналом. Когда сигналы взаимодействуют, это и порождает то, что мы называем реальностью. Очевидный пример: считывание внешних сигналов органами чувств. Менее очевидный пример: взаимодействие неживых объектов, которые тоже порождают, согласно Фельдман-Барретт, реальность (никем не воспринимаемую). Совокупность всех взаимодействующих сигналов и можно назвать (познаваемой) реальностью.

В лекции она в основном фокусировалась на том, как внешние сигналы взаимодействуют с нашими органами чувств (мы из этих сигналов немедленно создаем категории), поэтому многие философы говорили, что она просто эмпирицистка. Мне лично кажется, что за взглядом Фельдман-Барретт стоит что-то чуть более интересное и интуитивно её позиция кажется мне понятной. Но сформулировать, что именно меня в ней привлекает я пока не могу.
Meta-Representations as Representations of Processes

Прочитал свежий препринт от японских исследователей сознания. Задача статьи – предложить и протестировать идею для вычислительной реализации идей теории мыслей высшего порядка (Higher Order Thought, в народе – HOT). Дополнительно – предложить идею того, как в метакогнитивных теориях сознания (другое название HOT) появляется квалия, т.е. качественно специфичный субъективный опыт.

Напомню, что в HOT предполагается, что сознание возникает, когда в мозге появляются репрезентации репрезентаций.

Делают они это следующим образом. Идея двухуровневости репрезентаций реализована через нейросеть, которая обучается различать/предсказывать что-то про другие нейросети. Так нейросети первого порядка, например, распознают образы (классифицируют) по визуальной информации. Нейросеть второго порядка предсказывает, например, уверенность в классификации – беря на вход внутренние состояния (активации в скрытом слое) в нейросети первого порядка. Такая идея была вычислительно реализована более десяти лет назад в лабе, где я сейчас работаю. Коллеги показали, что такой архитектурой, действительно, можно предсказывать человеческие оценки уверенности при научении.

Коллеги из Японии использовали такой же подход, только предсказывали они модальность информации, с которой работали нейросети первого порядка. Несколько сотен маленьких нейросетей были обучены распознавать образы по зрительной информации и несколько сотен – по аудиальной. Нейросеть второго порядка брала на вход веса из нейросетей первого порядка и предсказывала, зрительная это нейросеть или аудиальная.

Было показано, что по паттернам весов это делается с абсолютной точностью.

Авторы говорят, что такая классификация процессов первого порядка по модальности может быть основной функцией мета-репрезентаций в HOT. А также именно эта функция мета-репрезентаций может быть связана с порождением квалиа. Для меня это звучит слишком смело: разница в паттерне весов может быть в разных доменах знания, не только в разных модальностях – например, при классификации изображений пейзажей и бытовых предметов. Но это перекликается с другими теориями квалиа, так что за этой интерпретацией стоят некоторые разработанные идеи. Авторы также связывают их результаты с теорией интеграции информации (см. также это), но это совсем за уши притянуто на мой взгляд 🙂
Дэниел Канеман умер 🙁

Великий учёный, редкий психолог с нобелевской премией. Крутой теоретик, экспериментатор, популяризатор и прикладник - чего только не делал в своей жизни. Он стоял у истоков состязательных коллабораций и до конца жизни чутко прислушивался к критике. Пример и ориентир для всех психологов-когнитивистов. Rest in peace
Эмоции и их выражение

В следующих нескольких постах – завершу рассказ про лекции Лизы Фельдман Барретт (ЛФБ) в Бохуме.

Самая первая лекция была про эмоции. Я писал уже немножко про неё. В целом, она просто изложила её идеи и данные из книжки 2017 года на красивых слайдах. Плюс были более новые данные из этой статьи.

Кто забыл, ЛФБ выступает против теории базовых эмоций, говорит, что эмоции - это категории, которые мы создаём с помощью культуры и помещаем туда разные эмоциональные проявления других людей и нас самих. Нет никаких универсальных эмоций и универсальных проявлений этих эмоций.

Насчёт проявлений она приводила интересные данные: в каком количестве случаев, когда человек испытывает злость, он хмурится? Оказалось, что довольно в маленьком проценте (в районе 25%). И так со многими эмоциями. Есть и обратные данные: в каком проценте случаев, когда человек хмурится, он испытывает злость. Там тоже процент очень далёкий от 100. То есть культурные стереотипы проявляются в реальных эмоциональных эпизодах, но они далеки от того, чтобы быть главным и единственным проявлением. Как ЛФБ пишет в статье:

"a scowling facial configuration is an expression of anger, but not the expression of anger"

То же и с нейрофизиологическими проявлениями (см. картинку про активацию амигдалы).
Иллюстрация из той же статьи: связь стереотипного выражения лица с переживанием соответствующей эмоции (показатели корреляции/пропорции примерно соответствуют доле случаев, когда такое выражение лица наблюдается при выражении эмоции)
2024/12/29 05:13:53
Back to Top
HTML Embed Code: