Про пир-ревью
Я обещал когда-то написать про пир-ревью: почему считаю этот институт очень важным для науки. Точно не помню, что именно я хотел написать, но сейчас хороший момент, чтобы вспомнить одну важную идею, из-за которой я считаю пир-ревью, то есть оценку научной работы коллегами-учеными, очень важной.
Науку трудно оценивать. Непонятно, кто это должен делать. Государство и бизнес очень близоруки и им, им сложно оценить фундаментальные исследования, не приносящие быстрой пользы. Налогоплательщики? Но у них нет экспертизы, кроме того, если опираться на то, что нравится людям, то хорошими будут считаться всякие хайповые исследования (очень редко значимые ученые и их работы оказываются одновременно востребованы и в научпопе). Поэтому и ценится метод регламентированной внутренней оценки: она минимально зависит от денег, полезности, хайповости - хотя, от последнего абсолютно защититься сложно.
Поэтому я всегда стараюсь соглашаться на приглашение отрецензировать научную работу. Поэтому же мне очень печально, что в России этот институт развит очень плохо: у статей часто только один рецензент, исследователи не любят рецензировать и делают это очень медленно.
Я обещал когда-то написать про пир-ревью: почему считаю этот институт очень важным для науки. Точно не помню, что именно я хотел написать, но сейчас хороший момент, чтобы вспомнить одну важную идею, из-за которой я считаю пир-ревью, то есть оценку научной работы коллегами-учеными, очень важной.
Науку трудно оценивать. Непонятно, кто это должен делать. Государство и бизнес очень близоруки и им, им сложно оценить фундаментальные исследования, не приносящие быстрой пользы. Налогоплательщики? Но у них нет экспертизы, кроме того, если опираться на то, что нравится людям, то хорошими будут считаться всякие хайповые исследования (очень редко значимые ученые и их работы оказываются одновременно востребованы и в научпопе). Поэтому и ценится метод регламентированной внутренней оценки: она минимально зависит от денег, полезности, хайповости - хотя, от последнего абсолютно защититься сложно.
Поэтому я всегда стараюсь соглашаться на приглашение отрецензировать научную работу. Поэтому же мне очень печально, что в России этот институт развит очень плохо: у статей часто только один рецензент, исследователи не любят рецензировать и делают это очень медленно.
Недавно вспомнил про один из источников такого моего отношения к пир-ревью. Долго пытался вспомнить, в какой книге Майкла Полани я это читал, и с помощью знакомого в вк таки смог найти этот фрагмент в книге The Tacit Dimension. Полани пишет не совсем о пир-ревью, но о том, как науке удаётся проносить сквозь время общие стандарты, в то время как она состоит из множества отдельных учёных, каждый из которых не обладает полнотой научного знания и метода. Полани развивает идею непрерывной цепи перекрывающихся экспертиз – “chains of overlapping neighbourhoods extending over the entire range of sciece”. Именно так, по его мнению, науке удается поддерживать свой познавательный потенциал.
Полани не пишет про пир-ревью напрямую, но по сути то, что он описывает, достигается именно через честное рецензирование коллегами-учеными.
Полани не пишет про пир-ревью напрямую, но по сути то, что он описывает, достигается именно через честное рецензирование коллегами-учеными.
Не очень свежая (2015 год) статья, критикующая доказательную психотерапию.
Не потому что это плохо само по себе, но потому что “доказательность”, “evidence-based” стало популярным лейблом, а стандарты этой доказательности очень низкие: есть ссылка на что-то – значит, научно! А что по этой ссылке – неважно.
Статья, получилась анти-кбтшная. Отчасти потому что автор – довольно желчный психоаналитик (это надо иметь в виду при чтении). Отчасти потому что КБТ считается главным evidence-based видом терапии.
Некоторые проблемы перечисленные автором:
1. Статистически значимый результат, не значит эффективный. Разница может быть статистически надёжной (значимой), но такой маленькой, что на практике толку нет.
2. Очень большие проценты потенциальных участников не допускают к исследованию (например, потому что у них несколько разных расстройств) – таким образом снижается обобщаемость результатов на всю популяцию.
3. Сравнения часто нечестные: например, практикующих КБТ-терапевтов – со студентами-психоаналитиками.
4. Publication bias: исследования, которые не показали желаемого результата (например, эффективность какой-то терапии или превосходство одного вида терапии над другим) – не публикуются.
Перечисленные проблемы, кстати, связаны и с тем, за что я не очень люблю современный научпоп: популяризаторы не рассказывают слушателю, что именно означает опубликованное исследование и часто делают более глобальные выводы, чем то, что на самом деле следует из результатов работы.
Несмотря на то, что я предостерёг вас, что автор – психоаналитик-критикан, выводы мне кажутся очень правильными и универсальными. Слово автору:
The information in this article may seem at odds with virtually all other respectable scholarly sources. Why should you believe me? You should not believe me. You should not take my word for any of this—or anyone else’s word. I will leave you with 3 simple things to do to help sift truth from hyperbole. When somebody makes a claim for a treatment, any treatment, follow these 3 steps:
Step1: Say “Show me the study". Ask for a reference, a citation, a PDF. Have the study put in your hands. Sometimes it does not exist.
Step 2: If the study does exist, read it—especially the fine print.
Step 3: Draw your own conclusions. Ask yourself: Do the actual methods and findings of the study justify the claim I heard?
If you make a practice of following these simple steps, you may make some shock- ing discoveries.
Свой скепсис по отношению к термину "evidence-based" я писал не раз, например:
https://www.tgoop.com/chernopsy/540
https://www.tgoop.com/chernopsy/558
Не потому что это плохо само по себе, но потому что “доказательность”, “evidence-based” стало популярным лейблом, а стандарты этой доказательности очень низкие: есть ссылка на что-то – значит, научно! А что по этой ссылке – неважно.
Статья, получилась анти-кбтшная. Отчасти потому что автор – довольно желчный психоаналитик (это надо иметь в виду при чтении). Отчасти потому что КБТ считается главным evidence-based видом терапии.
Некоторые проблемы перечисленные автором:
1. Статистически значимый результат, не значит эффективный. Разница может быть статистически надёжной (значимой), но такой маленькой, что на практике толку нет.
2. Очень большие проценты потенциальных участников не допускают к исследованию (например, потому что у них несколько разных расстройств) – таким образом снижается обобщаемость результатов на всю популяцию.
3. Сравнения часто нечестные: например, практикующих КБТ-терапевтов – со студентами-психоаналитиками.
4. Publication bias: исследования, которые не показали желаемого результата (например, эффективность какой-то терапии или превосходство одного вида терапии над другим) – не публикуются.
Перечисленные проблемы, кстати, связаны и с тем, за что я не очень люблю современный научпоп: популяризаторы не рассказывают слушателю, что именно означает опубликованное исследование и часто делают более глобальные выводы, чем то, что на самом деле следует из результатов работы.
Несмотря на то, что я предостерёг вас, что автор – психоаналитик-критикан, выводы мне кажутся очень правильными и универсальными. Слово автору:
The information in this article may seem at odds with virtually all other respectable scholarly sources. Why should you believe me? You should not believe me. You should not take my word for any of this—or anyone else’s word. I will leave you with 3 simple things to do to help sift truth from hyperbole. When somebody makes a claim for a treatment, any treatment, follow these 3 steps:
Step1: Say “Show me the study". Ask for a reference, a citation, a PDF. Have the study put in your hands. Sometimes it does not exist.
Step 2: If the study does exist, read it—especially the fine print.
Step 3: Draw your own conclusions. Ask yourself: Do the actual methods and findings of the study justify the claim I heard?
If you make a practice of following these simple steps, you may make some shock- ing discoveries.
Свой скепсис по отношению к термину "evidence-based" я писал не раз, например:
https://www.tgoop.com/chernopsy/540
https://www.tgoop.com/chernopsy/558
Помните недавно писал о связи психологии и занятии с весами в зале? Теперь связь с нейронаукой: оказывается, Рамон-и-Кахаль, Нобелевский лауреат и один из отцов-основателей современный нейронауки – также занимался атлетизмом.
https://www.menshealth.com/es/fitness/a35188446/ramon-y-cajal-ciencia-culturismo-fitness/
Пользуясь случаем, снова рекламирую его книгу “Advise to a young investigator”, которую советую всем начинающим ученым-естественникам.
Бонус: отрывок из книги про философию науки и история про то, как не верили изображениям нейронов, которые сделал Рамон-и-Кахаль.
https://www.menshealth.com/es/fitness/a35188446/ramon-y-cajal-ciencia-culturismo-fitness/
Пользуясь случаем, снова рекламирую его книгу “Advise to a young investigator”, которую советую всем начинающим ученым-естественникам.
Бонус: отрывок из книги про философию науки и история про то, как не верили изображениям нейронов, которые сделал Рамон-и-Кахаль.
Being You
#книга, в которой британский профессор Анит Сет (Anil Seth) резюмировал свои текущие взгляды на природу сознания.
Напомню, что Сет стал всемирно известным после своей лекции на TED, где он, в целом, выразил свою основную идею. В книге идея разложена подробнее + расписаны и другие направления исследований сознания.
Итак, первый шаг, который делает Сет - это деконструкция трудной проблемы сознания.
[ Трудная проблема = как субъективный опыт, т.е. наше субъективное восприятие порождается материей, т.е. мозгом ]
Сет справедливо пишет, что эту проблему непонятно как решать и наука вообще ей заниматься сегодня врядли может. Поэтому он предлагает сконцентрироваться на реальной проблеме сознания – the real problem of consciousness. Реальная проблема - это коллекция мини-проблем, которые связаны с сознанием: какие состояния мозга влияют на состояния сознания? Как измерить сознание? Как когнитивные процессы изменяются, когда мы изменяем состояния сознания? Какие вычислительным процессам может соответствовать сознательная обработка информации?
Сет считает, что находя ответы на эти отдельные вопросы, мы потихоньку приближаемся к тому, чтобы описать сознание как природный феномен полностью, то есть сможем в пределе и ответить на трудную проблему сознания.
Это спорный тезис и я к нему вернусь в конце этой статьи.
Дальше Сет развивает свою идею сознания как контролируемой галлюцинации. Идея в том, что содержание сознания, т.е. все наше сознательное восприятие окружающего и внутреннего мира - это галлюцинация. Но контролируемая (корректируемая) - информацией из внешнего мира.
Эта идея основывается на теории предсказательного кодирования (по-русски еще говорят «предсказывающего»): восприятие идет не снизу-вверх (стимуляция органов чувств напрямую определяет, что мы видим), но сверху-вниз. Когнитивная система выдвигает гипотезы о том, что происходит сейчас вокруг (и внутри) организма, спускает эти предсказания к органам чувств, эти гипотезы сравниваются с восходящей информацией от органов чувств, корректируются и спускаются вниз к органам чувств снова. Так постоянно происходит коррекция (контроль) гипотез-галлюцинаций.
В последнее время много обсуждают, как именно происходит коррекция гипотез, т.е. как учитывается информация от органов чувств. Задача нетривиальная. Например, если вокруг темно, то не стоит учитывать восходящую зрительную информацию, но стоит больше учитывать слуховую. Или, например, если весь наш предыдущий опыт в данной ситуации противоречит поступающей информации от органов чувств - когнитивная система тоже может проигнорировать эту информацию как недостоверную.
С математической точки зрения оптимальная коррекция гипотезы в свете новых данных обеспечивается правилом Байеса. Поэтому Сет называет процесс корректировки гипотез Bayesian updating или Bayesian best guess. Последняя формулировка подчеркивает, что мы не просто генерируем гипотезы о мире, а выдвигаем догадки о том, какие объекты в окружающем мире являются причиной сигналов от органов чувств. Про веру во внешние объекты мы ещё поговорим дальше.
Итак, что составляет сожержание нашего сознания? По Сету - это сами предсказания когнитивной системы.
#книга, в которой британский профессор Анит Сет (Anil Seth) резюмировал свои текущие взгляды на природу сознания.
Напомню, что Сет стал всемирно известным после своей лекции на TED, где он, в целом, выразил свою основную идею. В книге идея разложена подробнее + расписаны и другие направления исследований сознания.
Итак, первый шаг, который делает Сет - это деконструкция трудной проблемы сознания.
[ Трудная проблема = как субъективный опыт, т.е. наше субъективное восприятие порождается материей, т.е. мозгом ]
Сет справедливо пишет, что эту проблему непонятно как решать и наука вообще ей заниматься сегодня врядли может. Поэтому он предлагает сконцентрироваться на реальной проблеме сознания – the real problem of consciousness. Реальная проблема - это коллекция мини-проблем, которые связаны с сознанием: какие состояния мозга влияют на состояния сознания? Как измерить сознание? Как когнитивные процессы изменяются, когда мы изменяем состояния сознания? Какие вычислительным процессам может соответствовать сознательная обработка информации?
Сет считает, что находя ответы на эти отдельные вопросы, мы потихоньку приближаемся к тому, чтобы описать сознание как природный феномен полностью, то есть сможем в пределе и ответить на трудную проблему сознания.
Это спорный тезис и я к нему вернусь в конце этой статьи.
Дальше Сет развивает свою идею сознания как контролируемой галлюцинации. Идея в том, что содержание сознания, т.е. все наше сознательное восприятие окружающего и внутреннего мира - это галлюцинация. Но контролируемая (корректируемая) - информацией из внешнего мира.
Эта идея основывается на теории предсказательного кодирования (по-русски еще говорят «предсказывающего»): восприятие идет не снизу-вверх (стимуляция органов чувств напрямую определяет, что мы видим), но сверху-вниз. Когнитивная система выдвигает гипотезы о том, что происходит сейчас вокруг (и внутри) организма, спускает эти предсказания к органам чувств, эти гипотезы сравниваются с восходящей информацией от органов чувств, корректируются и спускаются вниз к органам чувств снова. Так постоянно происходит коррекция (контроль) гипотез-галлюцинаций.
В последнее время много обсуждают, как именно происходит коррекция гипотез, т.е. как учитывается информация от органов чувств. Задача нетривиальная. Например, если вокруг темно, то не стоит учитывать восходящую зрительную информацию, но стоит больше учитывать слуховую. Или, например, если весь наш предыдущий опыт в данной ситуации противоречит поступающей информации от органов чувств - когнитивная система тоже может проигнорировать эту информацию как недостоверную.
С математической точки зрения оптимальная коррекция гипотезы в свете новых данных обеспечивается правилом Байеса. Поэтому Сет называет процесс корректировки гипотез Bayesian updating или Bayesian best guess. Последняя формулировка подчеркивает, что мы не просто генерируем гипотезы о мире, а выдвигаем догадки о том, какие объекты в окружающем мире являются причиной сигналов от органов чувств. Про веру во внешние объекты мы ещё поговорим дальше.
Итак, что составляет сожержание нашего сознания? По Сету - это сами предсказания когнитивной системы.
>>> продолжение >>>
Я все время стараюсь оговариваться, что мы предсказываем не только внешнюю среду, но и внутреннюю. Ощущения из желудка или мышц также внешние по отношению к нашей психике (и мозгу). И тут у Сета самое интересное. Для него содержание сознания - это не просто результат предсказаний и их коррекции. Для него сознание - это биологический механизм, он напрямую связан с поддержкой жизнедеятельности, гомеостазом. Так, когнитивная система не только строит гипотезы о внешних событиях, но и организует действия организма так, чтобы некоторые гипотезы оставались нескорректированными - в узком диапазоне, совместимом с жизнью. Это касается как раз этих внутренних организмических переменных: температура, кислотность внутренней среды, содержание кислорода и тд.
Кстати, здесь в тему вспомнить и другую идею, которая является составной частью теории Сета: активный вывод (active inference): организм не пассивно наблюдает за окружающей реальностью, но и предсказывает, как изменится поступающая информация, если он совершит те или иные действия. И это касается не только этих жизненно важных гомеостатических переменных.
Кстати, в то время как гипотезы о внешних к организму событиях представлены в сознании как образы восприятия, гипотезы о критических внутренних переменных переживаются в сознании как эмоции.
Напомню, что на идее эмоции как базовом элементе сознания и отражении в сознании состояния организма построена теория сознания А. Дамасио.
Возвращаемся к идее веры во внешние объекты. Сет называет её следствием предсказывающего устройства психики: когнитивная система пытается угадать, что создает паттерны воздействий на органы чувств и помещает эти догадки в окружающий мир. Уверенность в истинности догадки, т.е. реальном существовании некоего объекта во внешнем мире участвует в Байесовской оценке корректности гипотез. Чем больше наш опыт соответствует идее существования какого-то объекта, тем сильнее вера (belief) в него, тем сильнее будет априорная вероятность восприятия этого объекта в будущем, т.е. все больше гипотеза будет влиять на восприятие, а не восходящая информация от органов чувств.
Вера в существование внешних объектов, а не в то, что мы просто галлюцинируем, помимо прочего заставляет организм активно действовать в окружающей среде.
Когда речь идет о событиях в самом организме или его действиях - то так психика развивает идею самости, личности, self. Существование своей отдельной личности - это объяснение для чувств и действий организма. И вера в свою личность формируется так же, как и вера в существование внешних объектов. Существование Я, отдельного от окружающего мира, со своим опытом, ощущениями, намерениями и волей - это порождение психики, которая пытается объяснить внутренние явления организма. Это одна из ключевых идей книги.
Я все время стараюсь оговариваться, что мы предсказываем не только внешнюю среду, но и внутреннюю. Ощущения из желудка или мышц также внешние по отношению к нашей психике (и мозгу). И тут у Сета самое интересное. Для него содержание сознания - это не просто результат предсказаний и их коррекции. Для него сознание - это биологический механизм, он напрямую связан с поддержкой жизнедеятельности, гомеостазом. Так, когнитивная система не только строит гипотезы о внешних событиях, но и организует действия организма так, чтобы некоторые гипотезы оставались нескорректированными - в узком диапазоне, совместимом с жизнью. Это касается как раз этих внутренних организмических переменных: температура, кислотность внутренней среды, содержание кислорода и тд.
Кстати, здесь в тему вспомнить и другую идею, которая является составной частью теории Сета: активный вывод (active inference): организм не пассивно наблюдает за окружающей реальностью, но и предсказывает, как изменится поступающая информация, если он совершит те или иные действия. И это касается не только этих жизненно важных гомеостатических переменных.
Кстати, в то время как гипотезы о внешних к организму событиях представлены в сознании как образы восприятия, гипотезы о критических внутренних переменных переживаются в сознании как эмоции.
Напомню, что на идее эмоции как базовом элементе сознания и отражении в сознании состояния организма построена теория сознания А. Дамасио.
Возвращаемся к идее веры во внешние объекты. Сет называет её следствием предсказывающего устройства психики: когнитивная система пытается угадать, что создает паттерны воздействий на органы чувств и помещает эти догадки в окружающий мир. Уверенность в истинности догадки, т.е. реальном существовании некоего объекта во внешнем мире участвует в Байесовской оценке корректности гипотез. Чем больше наш опыт соответствует идее существования какого-то объекта, тем сильнее вера (belief) в него, тем сильнее будет априорная вероятность восприятия этого объекта в будущем, т.е. все больше гипотеза будет влиять на восприятие, а не восходящая информация от органов чувств.
Вера в существование внешних объектов, а не в то, что мы просто галлюцинируем, помимо прочего заставляет организм активно действовать в окружающей среде.
Когда речь идет о событиях в самом организме или его действиях - то так психика развивает идею самости, личности, self. Существование своей отдельной личности - это объяснение для чувств и действий организма. И вера в свою личность формируется так же, как и вера в существование внешних объектов. Существование Я, отдельного от окружающего мира, со своим опытом, ощущениями, намерениями и волей - это порождение психики, которая пытается объяснить внутренние явления организма. Это одна из ключевых идей книги.
>>> продолжение >>>
В конце Сет рассуждает про сознание у машин. В этой главе он справедливо пишет, что сознание как свойство организма ортогонально интеллекту. Они, конечно, коррелируют в эволюции, но необходимой теоретической связи между ними нет. Поэтому умная машина не обязана обладать сознанием (см. изображение выше).
Для Сета биологическая природа носителя сознания принципиально важна для обьсяннния сознания. Центральное содержание сознания - это внутренние предсказания о критически важных гомеостатических переменных. Сет называет самое базовое такое переживание просто ощущением, что ты живой организм. Это самое базовое сознательное переживание (т.е. предсказание), не редуцируемое далее. Пока мы живы, это предсказание не корректируется. Поддержание этого предсказания неизменным (т.е. выживание) - главная цель сознательного организма, на этом строятся все остальные предсказания.
Так как биология первостепенная для Сета, он пишет, что даже если сделать идеальную предсказывающую и корректирующую свои предсказания о внешнем и внутреннем мире машину - он не уверен, будет ли она обладать сознанием. Просто из устройства «психики» такой машины не будет с необходимостью следовать сознательный опыт. И в этом месте, мне кажется, вся теория проседает. В этом месте отказ от сложной проблемы сознания сводит на нет всю остальную работу. Потому что объяснение сознания можно в итоге свести к тому, что это такое свойство (некоторых) живых организмов. А все построения про контролируемые галлюцинации, правило Байеса, веру в существование Я и внешних объектов – всё это никак не связано с природой сознательного опыта. Такой вот неожиданный критический вывод.
В целом книга хорошая, она хорошо резюмирует многие современные идеи о сознании и складывает их в общую картинку. Но насколько сетовская формулировка «реальной» проблемы сознания помогает понять этот феномен с естественно-научной точки зрения – решайте сами.
В конце Сет рассуждает про сознание у машин. В этой главе он справедливо пишет, что сознание как свойство организма ортогонально интеллекту. Они, конечно, коррелируют в эволюции, но необходимой теоретической связи между ними нет. Поэтому умная машина не обязана обладать сознанием (см. изображение выше).
Для Сета биологическая природа носителя сознания принципиально важна для обьсяннния сознания. Центральное содержание сознания - это внутренние предсказания о критически важных гомеостатических переменных. Сет называет самое базовое такое переживание просто ощущением, что ты живой организм. Это самое базовое сознательное переживание (т.е. предсказание), не редуцируемое далее. Пока мы живы, это предсказание не корректируется. Поддержание этого предсказания неизменным (т.е. выживание) - главная цель сознательного организма, на этом строятся все остальные предсказания.
Так как биология первостепенная для Сета, он пишет, что даже если сделать идеальную предсказывающую и корректирующую свои предсказания о внешнем и внутреннем мире машину - он не уверен, будет ли она обладать сознанием. Просто из устройства «психики» такой машины не будет с необходимостью следовать сознательный опыт. И в этом месте, мне кажется, вся теория проседает. В этом месте отказ от сложной проблемы сознания сводит на нет всю остальную работу. Потому что объяснение сознания можно в итоге свести к тому, что это такое свойство (некоторых) живых организмов. А все построения про контролируемые галлюцинации, правило Байеса, веру в существование Я и внешних объектов – всё это никак не связано с природой сознательного опыта. Такой вот неожиданный критический вывод.
В целом книга хорошая, она хорошо резюмирует многие современные идеи о сознании и складывает их в общую картинку. Но насколько сетовская формулировка «реальной» проблемы сознания помогает понять этот феномен с естественно-научной точки зрения – решайте сами.
Классная обложка последнего выпуска Nature Neuroscience.
Она иллюстрирует статью в выпуске, посвящённую систематическому исключению не-белых испытуемых из исследований в нейронауке и психологии.
Изображение подчёркивает в том числе и одну из проблем, о которой я писал в посте про доказательную психотерапию: слишком много людей систематически не допускаются к участию в клинических исследованиях. Поэтому обобщать их результаты очень сложно.
Она иллюстрирует статью в выпуске, посвящённую систематическому исключению не-белых испытуемых из исследований в нейронауке и психологии.
Изображение подчёркивает в том числе и одну из проблем, о которой я писал в посте про доказательную психотерапию: слишком много людей систематически не допускаются к участию в клинических исследованиях. Поэтому обобщать их результаты очень сложно.
2000
У канала 2000 подписчиков! Ура! Спасибо, что читаете, комментируете, пересылаете другим! Буду стараться продолжать интересно для вас писать.
Тысячу подписчиков назад родилась традиция – с каждой новой тысячей рассказывать, почему канал называется “Черномырдин нашей психологии”. Пришло время снова рассказать эту историю.
Дело было в далёком 2016 году на защите моей кандидатской диссертации (да, я кандидат психологических наук). В конце защиты идёт свободное обсуждение, любой член диссертационного совета может встать и высказать своё мнение о диссертанте и его работе. Дальше я приведу слова одного из членов совета во время того самого обсуждения. После защиты мне нужно было сделать расшифровку всей защиты по видео. Я попросил моего друга помочь, и ему попался как раз этот кусок обсуждения. После расшифровки, он прислал мне текстовый файл с названием: “Черномырдин нашей психологии”. Наслаждайтесь:
« Уважаемые коллеги. Мы оцениваем не только работу соискателя, но и, в общем-то, личность соискателя, тот комплекс вещей, которые, в общем, трудно формализовать. Ну, у Ивана Ивановича есть все, на мой взгляд качества, чтобы быть великим русским учёным. Иван Иванович... Но второй вопрос возникает: «Иван чей? Чей Иван? Это Иван, западный, с западными цитатами или Иван наш?» Вот я думаю, что, всё-таки, Иван наш. ... Ну и второе: я понял, что у Ивана есть очень хорошая харизма, судя по его выборке экспериментальной. Восемьдесят три мужчины, но сколько там женщин у вас было?
— Двести пятьдесят.
— Двести пятьдесят.
— Двести пятьдесят женщин пошли на жертву, чтоб заниматься какой-то там псевдограмматикой...
— С Иваном Ивановичем.
— С Иваном Ивановичем они пошли. Я считаю, что это большое такое, достоинство Ивана Ивановича. Вы ещё… семьи нет?
— Да.
— Супруга есть, молодец, значит, вы успели. Потому что столько, двести пятьдесят, это уже кошмар. Второе: я считаю, что у Ивана Ивановича есть ещё хорошая вещь. Это Черномырдин нашей психологии. Потому что то, что он пишет — это то же самое, что хотели как лучше, а получилось… »
Такая вот весёлая защита у меня была.
У канала 2000 подписчиков! Ура! Спасибо, что читаете, комментируете, пересылаете другим! Буду стараться продолжать интересно для вас писать.
Тысячу подписчиков назад родилась традиция – с каждой новой тысячей рассказывать, почему канал называется “Черномырдин нашей психологии”. Пришло время снова рассказать эту историю.
Дело было в далёком 2016 году на защите моей кандидатской диссертации (да, я кандидат психологических наук). В конце защиты идёт свободное обсуждение, любой член диссертационного совета может встать и высказать своё мнение о диссертанте и его работе. Дальше я приведу слова одного из членов совета во время того самого обсуждения. После защиты мне нужно было сделать расшифровку всей защиты по видео. Я попросил моего друга помочь, и ему попался как раз этот кусок обсуждения. После расшифровки, он прислал мне текстовый файл с названием: “Черномырдин нашей психологии”. Наслаждайтесь:
« Уважаемые коллеги. Мы оцениваем не только работу соискателя, но и, в общем-то, личность соискателя, тот комплекс вещей, которые, в общем, трудно формализовать. Ну, у Ивана Ивановича есть все, на мой взгляд качества, чтобы быть великим русским учёным. Иван Иванович... Но второй вопрос возникает: «Иван чей? Чей Иван? Это Иван, западный, с западными цитатами или Иван наш?» Вот я думаю, что, всё-таки, Иван наш. ... Ну и второе: я понял, что у Ивана есть очень хорошая харизма, судя по его выборке экспериментальной. Восемьдесят три мужчины, но сколько там женщин у вас было?
— Двести пятьдесят.
— Двести пятьдесят.
— Двести пятьдесят женщин пошли на жертву, чтоб заниматься какой-то там псевдограмматикой...
— С Иваном Ивановичем.
— С Иваном Ивановичем они пошли. Я считаю, что это большое такое, достоинство Ивана Ивановича. Вы ещё… семьи нет?
— Да.
— Супруга есть, молодец, значит, вы успели. Потому что столько, двести пятьдесят, это уже кошмар. Второе: я считаю, что у Ивана Ивановича есть ещё хорошая вещь. Это Черномырдин нашей психологии. Потому что то, что он пишет — это то же самое, что хотели как лучше, а получилось… »
Такая вот весёлая защита у меня была.
Фейковые ссылки chatGPT
Каждый раз, когда я прошу chatGPT дать мне ссылку на какую-то основную обзорную работу в научной области, она выдаёт мне фейковые статьи. Выглядят как настоящие, но их тупо не существует!
Я понимаю, в целом, почему так происходит, но вот хорошее пошаговое расследование того, почему так получается на примере «самой известной экономической статьи».
Кратко:
1. ChatGPT учится по началу фразы оценивать вероятность возможных продолжений.
2. Если ты просишь её назвать самую известную статью в экономике, она, используя информацию из интернета, предсказывает самые вероятные слова, продолжающие запрос.
3. Самые частые слова в названии экономических статей: «economic» и «theory». Поэтому ответ будет начинаться с этих слов.
4. Самое вероятное слово, продолжающее эту последовательность - “history”. Получаем «A theory of economic history”.
5. Дальше выбирается самый вероятный (читай: цитируемый) автор в области экономики.
6. Самое популярное число авторов в экономических статьях – 2. Поэтому выбирается соавтор, который чаще всего появлялся в интернете (читай: цитировался) вместе с выбранным первым автором.
7. Журнал подбирается тот, в котором чаще всего печатался первый автор.
8. Год публикации подбирается более или менее из середины творческой биографии автора(ов).
P.S. Когда я в очередной раз жаловался на фейковые ссылки chatGPT, мне подсказали, что есть сервис, который выдает существующие ссылки по такому же свободному запросу – https://app.wordtune.com/editor/.
Каждый раз, когда я прошу chatGPT дать мне ссылку на какую-то основную обзорную работу в научной области, она выдаёт мне фейковые статьи. Выглядят как настоящие, но их тупо не существует!
Я понимаю, в целом, почему так происходит, но вот хорошее пошаговое расследование того, почему так получается на примере «самой известной экономической статьи».
Кратко:
1. ChatGPT учится по началу фразы оценивать вероятность возможных продолжений.
2. Если ты просишь её назвать самую известную статью в экономике, она, используя информацию из интернета, предсказывает самые вероятные слова, продолжающие запрос.
3. Самые частые слова в названии экономических статей: «economic» и «theory». Поэтому ответ будет начинаться с этих слов.
4. Самое вероятное слово, продолжающее эту последовательность - “history”. Получаем «A theory of economic history”.
5. Дальше выбирается самый вероятный (читай: цитируемый) автор в области экономики.
6. Самое популярное число авторов в экономических статьях – 2. Поэтому выбирается соавтор, который чаще всего появлялся в интернете (читай: цитировался) вместе с выбранным первым автором.
7. Журнал подбирается тот, в котором чаще всего печатался первый автор.
8. Год публикации подбирается более или менее из середины творческой биографии автора(ов).
P.S. Когда я в очередной раз жаловался на фейковые ссылки chatGPT, мне подсказали, что есть сервис, который выдает существующие ссылки по такому же свободному запросу – https://app.wordtune.com/editor/.
X (formerly Twitter)
David Smerdon (@dsmerdon) on X
Why does chatGPT make up fake academic papers?
By now, we know that the chatbot notoriously invents fake academic references. E.g. its answer to the most cited economics paper is completely made-up (see image).
But why? And how does it make them? A THREAD…
By now, we know that the chatbot notoriously invents fake academic references. E.g. its answer to the most cited economics paper is completely made-up (see image).
But why? And how does it make them? A THREAD…
Liking vs. learning
Подборка статей, демонстрирующих, что не всегда, когда нам нравится процесс обучения, мы хорошо усваиваем информацию
- иллюстрации на слайдах нравятся студентам, но не улучшают запоминание материала.
- харизматичные лекторы также больше нравятся студентам, но материал усваивается не лучше.
- когда студентам дают печенки во время занятия, студенты выше оценивают качество преподавателя и учебных материалов.
Подборка статей, демонстрирующих, что не всегда, когда нам нравится процесс обучения, мы хорошо усваиваем информацию
- иллюстрации на слайдах нравятся студентам, но не улучшают запоминание материала.
- харизматичные лекторы также больше нравятся студентам, но материал усваивается не лучше.
- когда студентам дают печенки во время занятия, студенты выше оценивают качество преподавателя и учебных материалов.
Нерегулярная рубрика: Жизнь Замечательных Коллег
Хочу рассказать про одну коллегу – Эмили Каспар (Emilie Caspar). Я познакомился с ней, когда она была постдоком в Свободном университете Брюсселя, а потом она получила должность профессора в Гентском университете, где мы проработали параллельно около года. Сейчас я ушел в Свободный университет Брюсселя, а она осталась в Генте, такая рокировка.
Так вот, Эмили занимается социальной нейронаукой. Когда она была аспиранткой, она изучала чувство контроля: что влияет на ощущение, что это именно мы приняли то или иное решение. Начав с обычных лабораторных экспериментов, она перешла на эксперименты с роботами, а потом и с военными: снижается ли чувство контроля, если мы выполняем приказ? Можно ли увидеть разницу в нейрофизиологии принятия решений в ситуации приказа и свободного выбора?
В конце концов она занялась изучением геноцида: что с чувством контроля при принятии решений у жертв и участников геноцида? Для этого она ездила в Руанду, и записывала там ЭЭГ в каких-то совсем не оборудованных для этого помещениях. А сейчас я увидел её твиты из Камбоджи, где она изучает участников тамошнего геноцида. Писала, что чтобы люди в деревне соглашались участвовать в экспериментах, нужно было заручиться доверием старейшины.
Интересная и уникальная работа. По сути она сама создала свою область исследований. Так как условия и предмет её исследований действительно уникальные, для строго экспериментального учёного её исследовательские дизайны и результаты не всегда кажутся надёжными. С другой стороны, к таким вопросам по-другому сейчас подступиться сложно. Иногда приходится жертвовать строгостью.
Её аспиранты, кстати, тоже не скучают: ходят по бельгийским тюрьмам, проводят эксперименты на преступниках. Такая вот интересная бывает наука!
Хочу рассказать про одну коллегу – Эмили Каспар (Emilie Caspar). Я познакомился с ней, когда она была постдоком в Свободном университете Брюсселя, а потом она получила должность профессора в Гентском университете, где мы проработали параллельно около года. Сейчас я ушел в Свободный университет Брюсселя, а она осталась в Генте, такая рокировка.
Так вот, Эмили занимается социальной нейронаукой. Когда она была аспиранткой, она изучала чувство контроля: что влияет на ощущение, что это именно мы приняли то или иное решение. Начав с обычных лабораторных экспериментов, она перешла на эксперименты с роботами, а потом и с военными: снижается ли чувство контроля, если мы выполняем приказ? Можно ли увидеть разницу в нейрофизиологии принятия решений в ситуации приказа и свободного выбора?
В конце концов она занялась изучением геноцида: что с чувством контроля при принятии решений у жертв и участников геноцида? Для этого она ездила в Руанду, и записывала там ЭЭГ в каких-то совсем не оборудованных для этого помещениях. А сейчас я увидел её твиты из Камбоджи, где она изучает участников тамошнего геноцида. Писала, что чтобы люди в деревне соглашались участвовать в экспериментах, нужно было заручиться доверием старейшины.
Интересная и уникальная работа. По сути она сама создала свою область исследований. Так как условия и предмет её исследований действительно уникальные, для строго экспериментального учёного её исследовательские дизайны и результаты не всегда кажутся надёжными. С другой стороны, к таким вопросам по-другому сейчас подступиться сложно. Иногда приходится жертвовать строгостью.
Её аспиранты, кстати, тоже не скучают: ходят по бельгийским тюрьмам, проводят эксперименты на преступниках. Такая вот интересная бывает наука!
X (formerly Twitter)
Emilie Caspar (@CasparEmilie) on X
Huge 🎉! one month in Cambodia - N=229 EEG participants tested including 60 former Khmer Rouge who have accepted to share their stories and wear the EEG + data collected for 8 studies!
What an adventure 🧠😀 now time to rest a bit 😅
#neuroscience
#EEG
#Cambodia
What an adventure 🧠😀 now time to rest a bit 😅
#neuroscience
#EEG
#Cambodia
Про измерительные процедуры
Читаю сейчас книгу Statistical Rethinking - про байесовскую статистику.
Вначале книги для иллюстрации приводится задача: как, имея глобус под рукой, посчитать, какой процент поверхности Земли занимает вода. Остановитесь и подумайте: как бы вы это сделали?
В книге предлагается такой способ:многократно подбрасываем глобус, ловим и тыкаем в него пальцем. Процент попаданий в воду и будет измерением процента поверхности Земли, покрытой водой.
Мне очень нравится этот пример. Он показывает, как даже в простой физической задаче появляется статистика.
Затем, он показывает, что придумать, как что-то изме рить - это само по себе может быть творческой задачей.
Он показывает также, что измерение - довольно произвольная процедура, её выбор можно критиковать и предлагать что-то другое.
Ну и наконец, пример показывает, как уже выбранную измерительную процедуру можно правильно и неправильно использовать. Например, если подбросить глобус 10 раз - хватит ли этого для достаточно точной оценки? А 20? А сколько точно хватит? А что если положение глобуса в предыдущей пробе влияет на следующую пробу? Например, если ты попал в тихий океан, в следующей пробе он скорее всего окажется внизу, а с другой стороны воды меньше. Чем это плохо и нужно ли этого избегать?
В общем, оень простой и хороший пример. А хороший пример - один из лучших инструментов обьяснения.
Читаю сейчас книгу Statistical Rethinking - про байесовскую статистику.
Вначале книги для иллюстрации приводится задача: как, имея глобус под рукой, посчитать, какой процент поверхности Земли занимает вода. Остановитесь и подумайте: как бы вы это сделали?
В книге предлагается такой способ:
Мне очень нравится этот пример. Он показывает, как даже в простой физической задаче появляется статистика.
Затем, он показывает, что придумать, как что-то изме
Он показывает также, что измерение - довольно произвольная процедура, её выбор можно критиковать и предлагать что-то другое.
Ну и наконец, пример показывает, как уже выбранную измерительную процедуру можно правильно и неправильно использовать. Например, если подбросить глобус 10 раз - хватит ли этого для достаточно точной оценки? А 20? А сколько точно хватит? А что если положение глобуса в предыдущей пробе влияет на следующую пробу? Например, если ты попал в тихий океан, в следующей пробе он скорее всего окажется внизу, а с другой стороны воды меньше. Чем это плохо и нужно ли этого избегать?
В общем, оень простой и хороший пример. А хороший пример - один из лучших инструментов обьяснения.
Афантазия
Недавно коллега осознал, что некоторые люди могут вызвать в сознании визуальные образы. То есть буквально видеть что-то или кого-то, не имея этого перед собой. Когда он вспоминает какой-то предмет или человека, он может про него все рассказать, но у него нет в уме визуальной картинки этого предмета или человека.
Примерно 1-3% людей не могут предствить себе в сознании объекты визуально. Это называется афантазия. По ссылке небольшой обзор.
Многие не подозревают, что они чем-то отличаются от остальных, потому что афантазия практически никак не влияет на навигацию, память и мышление. Обнаружить это можно только поговорив с людьми об их образах представления, воображения. Похоже на историю с фоновым шумом, который есть далеко не у всех. Или про разницу в звучании внутреннего голоса.
Афантазия в большинстве случаев связана с произвольным воображением: человек не может вызвать визуальный образ по команде. Но непроизвольное возникновение зрительных образов возможно - например, в сновидениях. Многие люди с афантазией видят сновидения.
Вот признаки из статьи, по которым можно первично самодиагностировать афантазию:
- Подумайте о друге или члене семьи. Попытайтесь вызвать в своем воображении образ их лица. Насколько четко вы можете видеть их черты, лицо, волосы и фигуру?
- Насколько четко вы можете представить себе их характерные движения и жесты?
- Насколько живо вы можете представить одежду этого человека?
Вообще, афантазию можно рассматривать как модель философского зомби. Философский зомби - это персонаж мысленного эксперимента: существо, которое действует как обычный человек, на у которого нет сознания, квалиа. То есть нет никаких внутренних образов - даже в присутствии объекта восприятия. Люди с афантазией немного как философские зомби, но только для воображения. Память (например) работает эффективно, но никакого зрительного образа (квалиа) в момент припоминания у человека нет.
Недавно коллега осознал, что некоторые люди могут вызвать в сознании визуальные образы. То есть буквально видеть что-то или кого-то, не имея этого перед собой. Когда он вспоминает какой-то предмет или человека, он может про него все рассказать, но у него нет в уме визуальной картинки этого предмета или человека.
Примерно 1-3% людей не могут предствить себе в сознании объекты визуально. Это называется афантазия. По ссылке небольшой обзор.
Многие не подозревают, что они чем-то отличаются от остальных, потому что афантазия практически никак не влияет на навигацию, память и мышление. Обнаружить это можно только поговорив с людьми об их образах представления, воображения. Похоже на историю с фоновым шумом, который есть далеко не у всех. Или про разницу в звучании внутреннего голоса.
Афантазия в большинстве случаев связана с произвольным воображением: человек не может вызвать визуальный образ по команде. Но непроизвольное возникновение зрительных образов возможно - например, в сновидениях. Многие люди с афантазией видят сновидения.
Вот признаки из статьи, по которым можно первично самодиагностировать афантазию:
- Подумайте о друге или члене семьи. Попытайтесь вызвать в своем воображении образ их лица. Насколько четко вы можете видеть их черты, лицо, волосы и фигуру?
- Насколько четко вы можете представить себе их характерные движения и жесты?
- Насколько живо вы можете представить одежду этого человека?
Вообще, афантазию можно рассматривать как модель философского зомби. Философский зомби - это персонаж мысленного эксперимента: существо, которое действует как обычный человек, на у которого нет сознания, квалиа. То есть нет никаких внутренних образов - даже в присутствии объекта восприятия. Люди с афантазией немного как философские зомби, но только для воображения. Память (например) работает эффективно, но никакого зрительного образа (квалиа) в момент припоминания у человека нет.
Черномырдин нашей психологии
Соберём статистику чата
Большой процент получился! Обычно называют оценки в 3-4% популяции. Возможно, аудитория канала специфична, плюс мой вопрос задан так, что при неопределённости люди скорее склонны выбрать второй вариант.
Микро-валентности
Читал на днях интересную диссертацию из одного американского вуза. Диссертация посвящена мирко-валентности повседневных объектов. То есть идее того, что все воспринимаемые нами объекты всегда немножко эмоционально заряжены. Мы не воспринимаем стул как просто стул, а всегда воспринимаем стул как симпатичный, приятный или наоборот некрасивый, неприятный. Автор утверждает, что именно эти микро-валентности позволяют нам принимать решения в ситуации неопределенности. Например, так мы выбираем чашку, из которой сейчас будем пить чай: выбор падает на ту, которая показалась нам чуть более приятной - даже если мы это явно не почувствовали (не обратили на это ощущение внимание).
В диссертации было показано, что номинально нейтральные объекты действительно воспринимаются как чуть приятные или неприятные. Кроме того, было показано, что валентность считывается на ранних этапах восприятия, так же как и другие зрительные признаки, такие как цвет и форма. То есть мы не воспринимаем сначала объект полностью (то есть обрабатываем и интегрируем зрительные признаки и относим объект к какому-то классу), а потом формируем ощущение нравится/не нравится. На самом деле, ощущение приятности возникает уже в процессе обработки зрительных признаков и может даже помочь нам правильно опознать (классифицировать) объект. Это было показано и в поведенческих экспериментах и на уровне нейрофизиологии: чувствительность к валентности обнаруживается в областях мозга, участвующих в ранней обработке зрительной информации.
Читал на днях интересную диссертацию из одного американского вуза. Диссертация посвящена мирко-валентности повседневных объектов. То есть идее того, что все воспринимаемые нами объекты всегда немножко эмоционально заряжены. Мы не воспринимаем стул как просто стул, а всегда воспринимаем стул как симпатичный, приятный или наоборот некрасивый, неприятный. Автор утверждает, что именно эти микро-валентности позволяют нам принимать решения в ситуации неопределенности. Например, так мы выбираем чашку, из которой сейчас будем пить чай: выбор падает на ту, которая показалась нам чуть более приятной - даже если мы это явно не почувствовали (не обратили на это ощущение внимание).
В диссертации было показано, что номинально нейтральные объекты действительно воспринимаются как чуть приятные или неприятные. Кроме того, было показано, что валентность считывается на ранних этапах восприятия, так же как и другие зрительные признаки, такие как цвет и форма. То есть мы не воспринимаем сначала объект полностью (то есть обрабатываем и интегрируем зрительные признаки и относим объект к какому-то классу), а потом формируем ощущение нравится/не нравится. На самом деле, ощущение приятности возникает уже в процессе обработки зрительных признаков и может даже помочь нам правильно опознать (классифицировать) объект. Это было показано и в поведенческих экспериментах и на уровне нейрофизиологии: чувствительность к валентности обнаруживается в областях мозга, участвующих в ранней обработке зрительной информации.