Читаю сейчас новую книгу Анила Сета “Being you”. Научно-популярная работа про науку о сознании. Автор делает обзор научной области и продвигает свою идею controlled hallucinations: содержание нашего сознания – это (1) нисходящие гипотезы об окружающей (и внутренней) среде, которые (2) корректируются обратной связью от органов чувств. Первая часть делает содержание сознания галлюцинацией, а вторая – контролируемой.
Ещё напишу что-нибудь про эту книгу, а пока что приведу смешную сноску, посвящённую асцидии. Это морское животное, которое обладает подобием мозга только в юношестве – пока перемещается. Когда асцидия находит хорошее место, чтобы прикрепиться и до конца жизни фильтровать из воды питательные вещества, её мозг полностью отмирает. Сет иронично сравнивает асцидий с учёными, которые находят постоянную профессорскую позицию :)
P.S. Кстати, идея о том, что мозг развивался в эволюции скорее для планирования движений, чем для решения чисто когнитивных задач, довольно популярна и я о ней уже писал. Кстати, Чисек – примерно о том же.
P.S. Кстати, идея о том, что мозг развивался в эволюции скорее для планирования движений, чем для решения чисто когнитивных задач, довольно популярна и я о ней уже писал. Кстати, Чисек – примерно о том же.
Очень смешной текст, сгенерированный новой версией большой языковой модели GPT-3 – ChatGPT, которую натренировали выдавать реалистичные ответы в режиме диалога. Вопрос был: расскажи про управляемость ИИ в стиле чувака, который не может удерджаться от того, чтобы не похвастаться размером тыкв, которые он вырастил.
Релиз этой пока приятно удивляет: модель выдает очень удачные имитации по самым разнообразным запросам: объяснение, что самое трудное в гите для новичков, описание жизни учёных в стиле Богемской рапсодии, пишет поэму о том, как завести машину без ключа, делает подсказки при написании кода и многое другое.
Модель даже демонстрирует типичные для человека логические ошибки и будто бы исправляет их, если дать ей инструкцию расписать “ход мысли” по шагам.
Про large language models я еще подробнее напишу, а пока всё-таки почитайте про тыкву. И скидывайте в каменты другие примеры впечатляющего творчества ChatGPT.
Релиз этой пока приятно удивляет: модель выдает очень удачные имитации по самым разнообразным запросам: объяснение, что самое трудное в гите для новичков, описание жизни учёных в стиле Богемской рапсодии, пишет поэму о том, как завести машину без ключа, делает подсказки при написании кода и многое другое.
Модель даже демонстрирует типичные для человека логические ошибки и будто бы исправляет их, если дать ей инструкцию расписать “ход мысли” по шагам.
Про large language models я еще подробнее напишу, а пока всё-таки почитайте про тыкву. И скидывайте в каменты другие примеры впечатляющего творчества ChatGPT.
Оказывается, Эймс придумал не только комнату, но и окно.
Из-за привычки видеть увеличенные объекты ближе (прямая перспектива) физически искажённое окошко не воспринимается как вращающееся вокруг своей оси. При комбинации с другими физическими объектами возникают парадоксальные зрительные эффекты. Посмотрите видео!
Из-за привычки видеть увеличенные объекты ближе (прямая перспектива) физически искажённое окошко не воспринимается как вращающееся вокруг своей оси. При комбинации с другими физическими объектами возникают парадоксальные зрительные эффекты. Посмотрите видео!
Blueprints for intelligence
Подборка иллюстраций из работ по искусственным нейронным сетям 1943-2020
https://philippschmitt.com/blueprints-for-intelligence/
Подборка иллюстраций из работ по искусственным нейронным сетям 1943-2020
https://philippschmitt.com/blueprints-for-intelligence/
Philippschmitt
Blueprints for Intelligence
A visual history of artificial neural networks from 1943 to 2020
Ноотропы
Пост про ноотропы, т.е. вещества, воздействующие на психику. Автор сделал опрос, где люди отмечали, какие ноотропы принимали, и какой был эффект. Шкала использовалась такая:
0 – эффекта нет или негативный
1-4 – слабые эффекты, возможно, плацебо
5-9 – сильные эффекты, точно не плацебо
10 – эффекты, изменяющие жизнь
В опрос были добавлены и всякие повседневные активности типа спорта, диеты, медитации.
Так вот оказалось, что изменение лайфстайла – один из самых действенных ноотропов. На третьем месте по вероятности в корне изменить жизнь стоит… тренажерный зал / тяжёлая атлетика (weightlifting)!
Отдельно по ответам видно, что даже если это не становится life-changing опытом, это влияет на жизнь почти всех, кто пробовал (по хоть какому-то положительному эффекту это лидер списка). Диеты и медитация оказались тоже довольно высоко оценены.
"Some people like to make fun of the nootropic community for tirelessly experimenting with weird chemicals instead of fixing their sleep schedule and going out for a run. Unfortunately for me, they may be right."
Привет биохакерам и психонавтам!
Пост про ноотропы, т.е. вещества, воздействующие на психику. Автор сделал опрос, где люди отмечали, какие ноотропы принимали, и какой был эффект. Шкала использовалась такая:
0 – эффекта нет или негативный
1-4 – слабые эффекты, возможно, плацебо
5-9 – сильные эффекты, точно не плацебо
10 – эффекты, изменяющие жизнь
В опрос были добавлены и всякие повседневные активности типа спорта, диеты, медитации.
Так вот оказалось, что изменение лайфстайла – один из самых действенных ноотропов. На третьем месте по вероятности в корне изменить жизнь стоит… тренажерный зал / тяжёлая атлетика (weightlifting)!
Отдельно по ответам видно, что даже если это не становится life-changing опытом, это влияет на жизнь почти всех, кто пробовал (по хоть какому-то положительному эффекту это лидер списка). Диеты и медитация оказались тоже довольно высоко оценены.
"Some people like to make fun of the nootropic community for tirelessly experimenting with weird chemicals instead of fixing their sleep schedule and going out for a run. Unfortunately for me, they may be right."
Привет биохакерам и психонавтам!
troof.blog
What I learned gathering thousands of nootropic ratings
Where I analyse the nootropic ratings I gathered through my recommender system.
Анализ эмоций в американских медиа с 2000 по 2019 годы.
Заголовки устойчиво становились всё более негативными.
В комментариях к твиту, в котором я увидел эту статью, пишут, что то же происходит и с текстами песен.
Заголовки устойчиво становились всё более негативными.
В комментариях к твиту, в котором я увидел эту статью, пишут, что то же происходит и с текстами песен.
Итоги 2022 в нейронауках от английского профессора Марка Хемфриза
Думаю, вы и без меня про нейронаучные открытия можете прочитать. Я хочу прокомментировать только одно исследование – про распознавание слов и лиц у людей, которым в детстве удалили одно полушарие мозга. Такой исследовательский вопрос возникает от того, что у здоровых людей распознавание этих двух вещей осуществляется преимущественно разными полушариями: слов – левым, лиц – правым. Оказалось, что распознавание и того, и другого у людей с одним полушарием (неважно, каким) присутствует, хотя и снижено немного.
Хороший пример нейропластичности, а также уровней объяснения мозга и психики: есть психическая функция (распознавание лиц/слов), а есть её имплементация в мозге – и они не всегда жёстко связаны.
P.S. С новым годом! Присоединяюсь к Хемфризу: пусть 2023 будет более скучным, чем 2022...
Думаю, вы и без меня про нейронаучные открытия можете прочитать. Я хочу прокомментировать только одно исследование – про распознавание слов и лиц у людей, которым в детстве удалили одно полушарие мозга. Такой исследовательский вопрос возникает от того, что у здоровых людей распознавание этих двух вещей осуществляется преимущественно разными полушариями: слов – левым, лиц – правым. Оказалось, что распознавание и того, и другого у людей с одним полушарием (неважно, каким) присутствует, хотя и снижено немного.
Хороший пример нейропластичности, а также уровней объяснения мозга и психики: есть психическая функция (распознавание лиц/слов), а есть её имплементация в мозге – и они не всегда жёстко связаны.
P.S. С новым годом! Присоединяюсь к Хемфризу: пусть 2023 будет более скучным, чем 2022...
Правильный ответ!
От английского conditioning - обуславливание, оно же - формирование условного рефлекса. Справа Павлов – если кто-то не узнал.
Взял из твитора.
От английского conditioning - обуславливание, оно же - формирование условного рефлекса. Справа Павлов – если кто-то не узнал.
Взял из твитора.
Про большие языковые модели.
Часть 1
Астрологи объявили неделю постов про большие языковые модели! Я наконец собрался с силами написать всё, что думаю про них. Будет несколько постов в течение нескольких дней.
Поехали!
Действительно, главное (по крайней мере, самое заметное) событие этого года в науке и технике - это большие языковые модели (large language models, LLM). Это такие большие (глубокие) искусственные нейросети, обученные на огромных массивах текстов продолжать словесные последовательности. Это важно запомнить: модели натренированы на несколько слов/предложений выдавать самые вероятные продолжения - на основе тех текстов, на которых они обучались. К этим моделям можно прикрутить графический модуль, и они будут генерировать картинки на основе словесных запросов (см. DALL-E и DALL-E 2).
В 2022 не произошло ничего качественно нового, но были обучены и настроены несколько больших LLM, которые продемонстрировали очень впечатляющие результаты и возбудили много новых дискуссий о том, когда ИИ нас поработит. Графические модели (DALLE 2, Stable Diffusion) стали рисовать очень качественные изображения по текстовым запросам. А основанные на LLM чатботы стали показывать очень крутые результаты.
В этой серии постов я не буду описывать перечень и возможности современных LLMs. Я постараюсь сделать психологический анализ, чтобы задать рамки осмысленному обсуждению, насколько LLMs близки к естественному человеческому интеллекту.
Почему такой вопрос вообще встаёт? Потому что многие (в особенности этим отличаются айтишники) начали говорить о том, что AGI (artificial general intelligence, то есть полноценный искусственный интеллект) – близок. Один гугловский инженер даже прославился тем, что пообщавшись с чатботом LaMDA, объявил, что чатбот – настоящая личность, которая осознаёт себя. Инженера в итоге уволили.
Осенью на несколько дней была публично запущена Galactica – модель, которая отвечала на научные вопросы, генерируя наукообразные ответы. Иногда эти ответы были хороши, но иногда это была наукообразная чушь – с ложными ссылками и фактами. После нескольких дней публичных экспериментов Галактику закрыли, так как её порождения стали считать опасными: тексты с ненадёжной научной информацией выглядели слишком авторитетно.
Конец года ознаменовался релизом ChatGPT (компания OpenAI), которой можно задавать любой вопрос. Так как для неё на науке акцент не делали, ожиданий, что она должна быть всегда точной, не было. Поэтому релиз зашёл хорошо, модель подробно и правильно отвечает на многие вопросы, имитирует стили, сочиняет стихи, даёт советы на все случаи жизни. Ошибки и искажения (типа когнитивных) тоже встречаются, но не так часто. Твиттер и тикток переполнены лайфхаками, как оптимизировать свою работу с помощью ChatGPT. Даже скептики, в целом, впечатлены. Хотя и продолжают публиковать примеры того, как ChatGPT ошибается.
По-моему, мнению успех Chat GPT во многом связан с тем, что её мало обсуждали как AGI. Я вообще, считаю, что словосочетание Искусственный Интеллект оказало медвежью услугу этой области исследований, так как формирует ложные ожидания. Этот пост предлагает не очень точную, но полезную аналогию. Не точную, потому что мы не называем самолёты “искусственными птицами” – поэтому аналогия страдает. Но полезность этого поста в том, что он даёт понять, что проблема именно в названии: если бы ИИ не называли ИИ, ожиданий и претензий было бы намного меньше. Рекомендательная система, машинное обучение, текстовый ассистент – кто будет критиковать их за то, что у них нет самосознания или понимания?
Но раз уж мы называем это искусственным интеллектом и дискуссии возникают, то я хотел бы высказаться на эту тему. Причём постараюсь избежать стиля Гэри Маркуса, который даёт очень общую критику, которая не подразумевает никакого собственного ответа, что именно надо делать. Так что продолжение следует, не отключайтесь!
Часть 1
Астрологи объявили неделю постов про большие языковые модели! Я наконец собрался с силами написать всё, что думаю про них. Будет несколько постов в течение нескольких дней.
Поехали!
Действительно, главное (по крайней мере, самое заметное) событие этого года в науке и технике - это большие языковые модели (large language models, LLM). Это такие большие (глубокие) искусственные нейросети, обученные на огромных массивах текстов продолжать словесные последовательности. Это важно запомнить: модели натренированы на несколько слов/предложений выдавать самые вероятные продолжения - на основе тех текстов, на которых они обучались. К этим моделям можно прикрутить графический модуль, и они будут генерировать картинки на основе словесных запросов (см. DALL-E и DALL-E 2).
В 2022 не произошло ничего качественно нового, но были обучены и настроены несколько больших LLM, которые продемонстрировали очень впечатляющие результаты и возбудили много новых дискуссий о том, когда ИИ нас поработит. Графические модели (DALLE 2, Stable Diffusion) стали рисовать очень качественные изображения по текстовым запросам. А основанные на LLM чатботы стали показывать очень крутые результаты.
В этой серии постов я не буду описывать перечень и возможности современных LLMs. Я постараюсь сделать психологический анализ, чтобы задать рамки осмысленному обсуждению, насколько LLMs близки к естественному человеческому интеллекту.
Почему такой вопрос вообще встаёт? Потому что многие (в особенности этим отличаются айтишники) начали говорить о том, что AGI (artificial general intelligence, то есть полноценный искусственный интеллект) – близок. Один гугловский инженер даже прославился тем, что пообщавшись с чатботом LaMDA, объявил, что чатбот – настоящая личность, которая осознаёт себя. Инженера в итоге уволили.
Осенью на несколько дней была публично запущена Galactica – модель, которая отвечала на научные вопросы, генерируя наукообразные ответы. Иногда эти ответы были хороши, но иногда это была наукообразная чушь – с ложными ссылками и фактами. После нескольких дней публичных экспериментов Галактику закрыли, так как её порождения стали считать опасными: тексты с ненадёжной научной информацией выглядели слишком авторитетно.
Конец года ознаменовался релизом ChatGPT (компания OpenAI), которой можно задавать любой вопрос. Так как для неё на науке акцент не делали, ожиданий, что она должна быть всегда точной, не было. Поэтому релиз зашёл хорошо, модель подробно и правильно отвечает на многие вопросы, имитирует стили, сочиняет стихи, даёт советы на все случаи жизни. Ошибки и искажения (типа когнитивных) тоже встречаются, но не так часто. Твиттер и тикток переполнены лайфхаками, как оптимизировать свою работу с помощью ChatGPT. Даже скептики, в целом, впечатлены. Хотя и продолжают публиковать примеры того, как ChatGPT ошибается.
По-моему, мнению успех Chat GPT во многом связан с тем, что её мало обсуждали как AGI. Я вообще, считаю, что словосочетание Искусственный Интеллект оказало медвежью услугу этой области исследований, так как формирует ложные ожидания. Этот пост предлагает не очень точную, но полезную аналогию. Не точную, потому что мы не называем самолёты “искусственными птицами” – поэтому аналогия страдает. Но полезность этого поста в том, что он даёт понять, что проблема именно в названии: если бы ИИ не называли ИИ, ожиданий и претензий было бы намного меньше. Рекомендательная система, машинное обучение, текстовый ассистент – кто будет критиковать их за то, что у них нет самосознания или понимания?
Но раз уж мы называем это искусственным интеллектом и дискуссии возникают, то я хотел бы высказаться на эту тему. Причём постараюсь избежать стиля Гэри Маркуса, который даёт очень общую критику, которая не подразумевает никакого собственного ответа, что именно надо делать. Так что продолжение следует, не отключайтесь!
Про большие языковые модели.
Часть 2. Понимание
Я хочу сделать два поинта. Первый поинт будет про понимание. Часто звучит высказывание о том, что LMM на самом деле ничего не понимают. На мой взгляд, будучи моделями, обученными, продолжать словесные последовательности, LLM демонстрируют только один из множество аспектов того, что мы называем в человеке пониманием. Ниже привожу текст, который я написал в виде комментария в одной дискуссии.
Некоторые говорят, что наука не очень хорошо знает, что такое смысл и понимание у человека. И я соглашусь с этим. Современная когнитивная нейронаука этот вопрос игнорирует. Занимаются им гуманитарные ветви психологии и, вероятно, классическая лингвистика. Я также согласен с мнением, что если ты говоришь, что GPT чего-то не понимает, то будь добр, объясни, что именно ты под этим имеешь в виду.
Смысл проще всего определить через выбор одного значения стимула (слова, высказывания) в бесконечном количестве альтернативных возможных значений (интерпретаций). Это я пишу на основе классической лингвистики в её интерпретации советской психологией (психологический анализ смысла - это одна из немногих тем, которые были глубоко разработаны).
Человек отбрасывает альтернативные значения через контекст. Лингвистически - это фраза или весь разговор. Если речь об огороде и упоминается лук - речь не об оружии.
Но есть и другие контексты: история взаимодействия с этим человеком, знания о нем, ситуация общения. Есть еще личностные контексты: моя мотивация и цель участия в разговоре, моя история взаимодействия с предметом разговора. Есть прагматические контексты - что я собираюсь делать с полученным ответом. Есть ожидания: что произойдет, если я скажу ту или иную вещь.
Вот на переплетении всех этих контекстов определяется конкретный смысл отдельного стимула (слова, высказывания). Наделение смыслом можно назвать пониманием.
ChatGPT определяет значение ТОЛЬКО по лингвистическому контексту. Вспомним, что GPT-3 обучена продолжать словесные последовательности. Модель обучена на огромном количестве контекстов, поэтому хорошо их обобщает и выдает «понимающие» ответы на очень многие вопросы. Это можно назвать пониманием, но в очень ограниченном (по сравнению с человеком) смысле.
Можно сказать, что за определение лингвистического контекста у каждого из нас отвечает собственная внутренняя GPT-3. Ее работу в изоляции можно увидеть в специфических ситуациях, например:
- у маленьких детей (ассоциации сильнее влияют на ход разговора, чем его изначальная цель);
- когда мы отвлечены (пьяны /спим /под наркозом) и отвечаем на автомате;
- в клинических ситуациях типа бреда или шизофазии (яркий пример сохранной лексики и синтаксиса при полной потере смыла, т.е. всех остальных контекстов).
Можно ли сказать, что если обучить сложную нейросеть на куче пересекающихся контекстов, то будет человеческое понимаете? Все-таки думаю, что нет. Будет понимание, но не человеческое. Потому что комбинация разных контекстов у человека происходит как-то очень интересно, возможно, через всякие внутренние переменные, которые вовлекают эмоции и субъективные ощущения. То есть смоделировать это на компьютерах, какими мы знаем их сегодня - может не получиться. Грубо говоря, то, как понимает человек, обусловлено его биологической природой, и эффективное понимаете в машинах может быть в итоге достигнуто по-другому.
В качестве ссылки на авторитет, приведу недавнее высказывание Яна ЛеКуна, который тоже говорит, что человеческое мышление в большей части невербальное (то, что я выше назвал не-лингвистическими контекстами), и эту большую часть человеческого мышления LMM игнорируют.
Это был пост про понимание. Завтра будет продолжение. Stay tuned!
Часть 2. Понимание
Я хочу сделать два поинта. Первый поинт будет про понимание. Часто звучит высказывание о том, что LMM на самом деле ничего не понимают. На мой взгляд, будучи моделями, обученными, продолжать словесные последовательности, LLM демонстрируют только один из множество аспектов того, что мы называем в человеке пониманием. Ниже привожу текст, который я написал в виде комментария в одной дискуссии.
Некоторые говорят, что наука не очень хорошо знает, что такое смысл и понимание у человека. И я соглашусь с этим. Современная когнитивная нейронаука этот вопрос игнорирует. Занимаются им гуманитарные ветви психологии и, вероятно, классическая лингвистика. Я также согласен с мнением, что если ты говоришь, что GPT чего-то не понимает, то будь добр, объясни, что именно ты под этим имеешь в виду.
Смысл проще всего определить через выбор одного значения стимула (слова, высказывания) в бесконечном количестве альтернативных возможных значений (интерпретаций). Это я пишу на основе классической лингвистики в её интерпретации советской психологией (психологический анализ смысла - это одна из немногих тем, которые были глубоко разработаны).
Человек отбрасывает альтернативные значения через контекст. Лингвистически - это фраза или весь разговор. Если речь об огороде и упоминается лук - речь не об оружии.
Но есть и другие контексты: история взаимодействия с этим человеком, знания о нем, ситуация общения. Есть еще личностные контексты: моя мотивация и цель участия в разговоре, моя история взаимодействия с предметом разговора. Есть прагматические контексты - что я собираюсь делать с полученным ответом. Есть ожидания: что произойдет, если я скажу ту или иную вещь.
Вот на переплетении всех этих контекстов определяется конкретный смысл отдельного стимула (слова, высказывания). Наделение смыслом можно назвать пониманием.
ChatGPT определяет значение ТОЛЬКО по лингвистическому контексту. Вспомним, что GPT-3 обучена продолжать словесные последовательности. Модель обучена на огромном количестве контекстов, поэтому хорошо их обобщает и выдает «понимающие» ответы на очень многие вопросы. Это можно назвать пониманием, но в очень ограниченном (по сравнению с человеком) смысле.
Можно сказать, что за определение лингвистического контекста у каждого из нас отвечает собственная внутренняя GPT-3. Ее работу в изоляции можно увидеть в специфических ситуациях, например:
- у маленьких детей (ассоциации сильнее влияют на ход разговора, чем его изначальная цель);
- когда мы отвлечены (пьяны /спим /под наркозом) и отвечаем на автомате;
- в клинических ситуациях типа бреда или шизофазии (яркий пример сохранной лексики и синтаксиса при полной потере смыла, т.е. всех остальных контекстов).
Можно ли сказать, что если обучить сложную нейросеть на куче пересекающихся контекстов, то будет человеческое понимаете? Все-таки думаю, что нет. Будет понимание, но не человеческое. Потому что комбинация разных контекстов у человека происходит как-то очень интересно, возможно, через всякие внутренние переменные, которые вовлекают эмоции и субъективные ощущения. То есть смоделировать это на компьютерах, какими мы знаем их сегодня - может не получиться. Грубо говоря, то, как понимает человек, обусловлено его биологической природой, и эффективное понимаете в машинах может быть в итоге достигнуто по-другому.
В качестве ссылки на авторитет, приведу недавнее высказывание Яна ЛеКуна, который тоже говорит, что человеческое мышление в большей части невербальное (то, что я выше назвал не-лингвистическими контекстами), и эту большую часть человеческого мышления LMM игнорируют.
Это был пост про понимание. Завтра будет продолжение. Stay tuned!
Про большие языковые модели.
Часть 3. Холистическая обработка информации
Второй поинт, который я хотел бы сделать – про когнитивные способности LLM в целом: LMM имитируют/эксплуатируют холистическую переработку информации, то есть обработку информации, основанную на быстром восприятии и принятии решений на основе первого впечатления. Антоним холистической обработки информации – аналитическая, то есть основанная на деталях поступающей информации.
Изображения и тексты, сгенерированные LMM вызывают сильное первое впечатление: вау, это именно то, что я хотел увидеть в ответ на свой запрос! Но если затем присмотреться к деталям, то там часто бывает полная ерунда: то семь пальцев у человека на картинке, то правдоподобно выглядящие, но не существующие ссылки в тексте.
Холистичность видна не только по поведению моделей, но продиктована их природой: они натренированы давать лучший ответ на данный запрос на основа огромного количества примеров. Холистическое восприятие у людей устроено так же: это быстрая реакция на В ЦЕЛОМ знакомый стимул. Такая реакция подготовлена либо многократной встречей с таким стимулом, либо прошита эволюционно (ускоренная реакция избегания на опасные стимулы).
В недавней короткой лекции на эту тему я привёл пример мимикрии как стимула, сгенерированного в расчёте на холистическую обработку информации. Вспомните бабочку Павлиноглазку Атлас, которая мимикрирует под змей: расчёт именно на быструю реакцию “змея – беги!”. Этого достаточно, чтобы хищник отпрянул и было время улететь. Примерно такой же эффект производят (во всех смыслах) сегодня большие языковые модели.
И это круто! Холистическая обработка – важная часть нашего познания. Однако, некоторые вещи трудны без аналитической обработки: выделение нескольких отдельных объектов, перепроверка своих решений, подавление нерелевантных репрезентаций, фокусировка внимания, удержание целей, истинная абстракция, не завязанная на визуальные признаки и тд. Подробности смотрите в лекции по ссылке выше.
Ну и традиционно завершу пост ссылкой на ЛеКуна: он недавно озвучил очень близкую идею – что LMM имитирует работу системы 1 по Канеману. Если соединять две разные области исследований, то можно как раз привязать холистическую обработку к работе системы 1 – это примерно про то же.
Что ж, последние три поста в канале содержат основные мысли, которыми я хотел поделиться относительно больших языковых моделей. Надеюсь вам было интересно, и это простимуировало какие-то собственные мысли на эту тему. Дальше буду ещё скидывать некоторые посты / наблюдения на эту тему, но лоугридов в ближайшее время не будет. Следим за развитием LMM!
Часть 3. Холистическая обработка информации
Второй поинт, который я хотел бы сделать – про когнитивные способности LLM в целом: LMM имитируют/эксплуатируют холистическую переработку информации, то есть обработку информации, основанную на быстром восприятии и принятии решений на основе первого впечатления. Антоним холистической обработки информации – аналитическая, то есть основанная на деталях поступающей информации.
Изображения и тексты, сгенерированные LMM вызывают сильное первое впечатление: вау, это именно то, что я хотел увидеть в ответ на свой запрос! Но если затем присмотреться к деталям, то там часто бывает полная ерунда: то семь пальцев у человека на картинке, то правдоподобно выглядящие, но не существующие ссылки в тексте.
Холистичность видна не только по поведению моделей, но продиктована их природой: они натренированы давать лучший ответ на данный запрос на основа огромного количества примеров. Холистическое восприятие у людей устроено так же: это быстрая реакция на В ЦЕЛОМ знакомый стимул. Такая реакция подготовлена либо многократной встречей с таким стимулом, либо прошита эволюционно (ускоренная реакция избегания на опасные стимулы).
В недавней короткой лекции на эту тему я привёл пример мимикрии как стимула, сгенерированного в расчёте на холистическую обработку информации. Вспомните бабочку Павлиноглазку Атлас, которая мимикрирует под змей: расчёт именно на быструю реакцию “змея – беги!”. Этого достаточно, чтобы хищник отпрянул и было время улететь. Примерно такой же эффект производят (во всех смыслах) сегодня большие языковые модели.
И это круто! Холистическая обработка – важная часть нашего познания. Однако, некоторые вещи трудны без аналитической обработки: выделение нескольких отдельных объектов, перепроверка своих решений, подавление нерелевантных репрезентаций, фокусировка внимания, удержание целей, истинная абстракция, не завязанная на визуальные признаки и тд. Подробности смотрите в лекции по ссылке выше.
Ну и традиционно завершу пост ссылкой на ЛеКуна: он недавно озвучил очень близкую идею – что LMM имитирует работу системы 1 по Канеману. Если соединять две разные области исследований, то можно как раз привязать холистическую обработку к работе системы 1 – это примерно про то же.
Что ж, последние три поста в канале содержат основные мысли, которыми я хотел поделиться относительно больших языковых моделей. Надеюсь вам было интересно, и это простимуировало какие-то собственные мысли на эту тему. Дальше буду ещё скидывать некоторые посты / наблюдения на эту тему, но лоугридов в ближайшее время не будет. Следим за развитием LMM!
А пусть лекция тут висит отдельным постом – для истории.
Естественный интеллект и современный ИИ. Чем они похожи, чем не похожи и почему психологи и нейроучёные не верят в сильный ИИ
https://youtu.be/lSiCZOwqKOc
Естественный интеллект и современный ИИ. Чем они похожи, чем не похожи и почему психологи и нейроучёные не верят в сильный ИИ
https://youtu.be/lSiCZOwqKOc
YouTube
Иванчей Иван. Естественный интеллект и современный ИИ
#AmpCamp2022 #iampcamp
Любопытная история про политические предпочтения ChatGPT.
Некий энтузиаст провёлрассисследование и выяснил, что ChatGPT демонстрирует лево-либеральную ориентацию (прогрессисткую, близкую к повестке демократической партии США сегодня). Опубликовал в твиттере, много людей обратили внимание.
Через две недели он провёл такие же тесты и этот леволиберальный баес исчез. Модель оказалась супер-нейтральной.
Напомню, ChatGPT направлена на то, чтобы просто отвечать на вопросы людей на самые разные темы. Как бы гугл с человеческим лингвистическим интерфейсом.
Некий энтузиаст провёл
Через две недели он провёл такие же тесты и этот леволиберальный баес исчез. Модель оказалась супер-нейтральной.
Напомню, ChatGPT направлена на то, чтобы просто отвечать на вопросы людей на самые разные темы. Как бы гугл с человеческим лингвистическим интерфейсом.
Метакогниции для ИИ
Несколько раз видел, как пишут, что ChatGPT необходима уверенность[1, 2]. Точнее способность давать оценку уверенности в своих ответах. Пока что этого нет. На прямой вопрос “насколько ты уверена в своих ответах“ ChatGPT отвечать отказывается*.
Метакогниции очень важны для человеческого познания и, скорее всего, сознания. На эту тему можно почитать (уже классическую) статью про сознание и ИИ, а также посмотреть мою старую лекцию. Кажется, прикрутить оценку уверенности к большим языковым моделям будет важной задачей ближайшего времени.
Если кто-то знает работы, где пытались научить нейросети оценивать уверенность/неопределённость в своих ответах – напишите, пожалуйста, в комментариях, это очень интересно. Я помню только одну старую работу с очень простыми сетками и одну современную – с глубокими нейросетями.
*Так было ещё пару недель назад. Сейчас я перепроверил, и на простые фактологические вопросы ChatGPT выдаёт фразы о том, что она уверена.
Несколько раз видел, как пишут, что ChatGPT необходима уверенность[1, 2]. Точнее способность давать оценку уверенности в своих ответах. Пока что этого нет. На прямой вопрос “насколько ты уверена в своих ответах“ ChatGPT отвечать отказывается*.
Метакогниции очень важны для человеческого познания и, скорее всего, сознания. На эту тему можно почитать (уже классическую) статью про сознание и ИИ, а также посмотреть мою старую лекцию. Кажется, прикрутить оценку уверенности к большим языковым моделям будет важной задачей ближайшего времени.
Если кто-то знает работы, где пытались научить нейросети оценивать уверенность/неопределённость в своих ответах – напишите, пожалуйста, в комментариях, это очень интересно. Я помню только одну старую работу с очень простыми сетками и одну современную – с глубокими нейросетями.
*Так было ещё пару недель назад. Сейчас я перепроверил, и на простые фактологические вопросы ChatGPT выдаёт фразы о том, что она уверена.