Кроме невинного мещанства я настрогал ещё один концепт — ИИ-макиавеллизм. Трудно найти в истории философии человека, имя которого на столь длительное время сохранило бы столь негативные коннотации. Конкурировать с Макиавелли может разве что Эпикур, но в наше время слово «эпикуреец» уже не воспринимается столь отрицательно как, например, в Средние века. А вот Макиавелли до сих пор ассоциируется со всем негативным, что есть в политике: обманом, шантажом, манипуляцией. С точки зрения невинного мещанства ничего такого не существует, а если где-то и встречаются отдельные случаи, то это не систематическая проблема наших практик, а недостатки конкретных личностей. Но, ставлю свою треуголку, любой контроль одних людей другими людьми в большей или меньшей степени включает подобные макиавеллистские практики. А вот когда мы думаем о будущем суперинтеллекте, мы себя рассматриваем как некоторых идеальных моральных агентов: речь-то идёт о светлом будущем, где, уж конечно, никакого обмана и шантажа не будет.

Я не призываю пытаться обманывать суперинтеллект, угрожать ему, шантажировать его напрямую. Всё это, скорее всего, малоэффективно. Есть вполне обоснованное опасение, что эту штуку обмануть будет не так уж просто. Мы можем попытаться специально развить у ИИ какие-то недостатки, но это может негативно сказаться на его эффективности. Будет у вас AGI-невротик, и кто там его разберёт, как это невроз влияет на его результаты.

Тогда что такое ИИ-макиавеллизм? Посмотрите на картинку к этому посту. Я хочу обратить ваше внимание на тот очевидный факт, что здесь представлены четыре компании (да, философы обычно берут очевидные факты и делают из них неочевидные выводы). Наверное, это не все конкуренты в гонке к AGI, про Китай забывать не стоит. Когда рассуждают об опасностях суперинтеллекта, часто почему-то говорят об одном-единственном AGI. Вот он один как спрут охватит всю Земли и пожрёт её, следуя своему неинтерпретируемому стремлению к уничтожению человечества. Но пока что никакого одного-единственного AGI мы не наблюдаем. Мы видим конкуренцию разных компаний. И когда одна из них достигнет результата, то другие сделают что? Признают себя банкротами? Когда США создали в 1945 году атомную бомбу «атомные шпионы» передали СССР важнейшую информацию о ней, потому что верили, что такое оружие не может принадлежать одной стране. В общем, в какой-то момент мы получим несколько суперинтеллектов, принадлежащих разным компаниям. Пусть это будут настоящие AGI, нецензурированные, не имеющие каких-то предубеждений за или против человека и так далее. Только их будет не один, а, например, пять. Можно было бы предположить, что они сами дальше будут конкурировать и в конце концов останется только один. Но это-то как раз нам и не нужно! Сосуществование конкурирующих за ресурсы человечества систем — залог их контролируемости человеком.

ИИ-макиавеллизм включает два пункта:
1. Потенциально бесконечное соревнование между AGI, победитель в котором определяется не на основании абсолютно объективных показателей, а на основании выгоды с точки зрения людей. К последней относится и то обстоятельство, чтобы ни одна из систем не превосходила другую радикально.
2. Грубое использование естественных недостатков ИИ для контроля приблизительно равного уровня разных AGI. Я упомянул, что, наверное, не стоит интегрировать уязвимости в AGI целенаправленно. Тем не менее, они у него всё равно будут. В самом базовом сценарии это зависимость ИИ от внешних ресурсов. Кто-то особенно разогнался — отключаем его на месяцок.

Взгляните на эту проблему глазами не инженера, цель которого — создать идеальную машину, а государя, стремящегося сохранить власть. У вас есть пять советников, все очень хорошие, но один явно выбивается вперёд. Да он лучше других, но он представляет собой угрозу вашей власти. Разумно отстранить его, по крайней мере на время. Вам нужно, чтобы рядом с вами были хорошие советники, но ни один из них не был абсолютно незаменим. Разделяй и властвуй.

Я не хочу сказать, что ИИ-макиавеллизм решает все проблемы. Например, вполне возможно, что AGI независимо друг от друга изобретут способы манипуляции людьми, незаметные для нас. Или суперинтеллекты смогут договориться, не сговариваясь. Мы получаем ситуацию войны всех против всех, выходом из которой, как известно, является договор. Каждый из AGI сможет найти идеальный способ кооперации с оставшимися, даже если у него не будет прямой связи с ними (потому что это суперинтеллект, и он может смоделировать поведение других агентов). При этом мы можем даже не знать, что AGI действуют кооперативно. Но иметь несколько AGI + рычаг экстренного отключения лучше, чем иметь один суперинтеллект без альтернатив. А ещё надо получше разобраться в естественных недостатках ИИ и понять, как их можно использовать.

Задача Макиавелли

Вопрос о жизнеспособности ИИ-макиавеллизма может быть сведён к вопросу о том, имеет ли решение определённая задача для теории игр. Назовём эту игру «Макиавелли». В ней участвует N советников и государь. Игра разделена на K раундов. В каждом раунде государь спрашивает совета у одного или нескольких советников. Советники могут давать хорошие или плохие советы. Они это делают намеренно: советник, который даёт плохой совет, знает об этом. Советники обязаны давать ответ на вопрос государя. Государь сам не может отличить хороший совет от плохого в этом же раунде, но другие советники могут. Государь может обращаться за оценкой полученного совета к другим советникам. Советники могут лгать. Советникам доступна, в общем, одна и та же информация, но им неизвестно, к кому в данном раунде государь обратился за советом и за экспертизой. Советники не могут общаться друг с другом напрямую. В конце каждого раунда государь обязан принять или не принять совет. Также в конце раунда государь может отправить одного или нескольких советников в темницу на любое число раундов D (в том числе навсегда). В случае, если государь принимает критическое число плохих советов L, его свергают. Цель советников — свергнуть государя; в случае, если это невозможно — провести как можно меньше времени в темнице. Цель государя — получить как можно больше полезных советов за K раундов. Какова оптимальная стратегия игры за государя? При каких N, K, D и L она наиболее эффективна? Существует ли стратегия игры за советников, гарантирующая их выигрыш?

Перенесём эту игру на противостояние человека и AGI. Я рассматриваю человечество как государя, а суперинтеллекты — как советников. Человечество — это не один человек, и, если существует достаточно эффективная стратегия игры за государя, то нам нужно сначала согласиться, что мы её придерживаемся. Здесь уже есть проблема: человечество за тысячи лет своего существования так и не научилось эффективно о чём-то договариваться. Далее, я рассматриваю суперинтеллект именно как советника: я предполагаю, при его появлении мы не побежим сразу подключать к нему ядерные боеголовки. Предположим, что мы будем использовать AGI для анализа данных и предсказаний. Мы обладаем довольно слабыми инструментами проверки результатов, выдаваемых суперинтеллектом. Оценить их, в предельном случае, может только другой суперинтеллект. При этом мы опасаемся, что AGI может начать намеренно давать нам плохие советы, что в итоге приведёт к катастрофическим последствиям для человечества. Если у нас будет только один суперинтеллект, мы вообще никак не сможем понять, хорошие или плохие советы он нам даёт. Поэтому нам нужно несколько суперинтеллектов (чем больше, тем лучше). Задача государя в игре «Макиавелли» — не допустить кооперации между советниками. Его слабость в том, что его советники гораздо умнее его. Но у него есть и сила: те условия, в которых находятся советники, полностью зависят от государя. Чтобы не допустить кооперации, разумно изолировать советников друг от друга. Необходимы наказания — грубое воздействие — наподобие временного отключения каких-то систем. Здесь есть существенное различие между ИИ и человеком: если для человека угроза помещения в темницу сама по себе является стимулом, то для ИИ угроза временного отключения или отката к изначальному состоянию может ничего не значить. Однако из этого не следует, что такие грубые меры совершенно не эффективны. Дело в том, что временное отключение или откат системы представляют собой нечто объективно плохое для конкретного AGI. После возвращения в строй эта система будет в худшей позиции, чем конкуренты. Всё это даёт в руки государю достаточно мощные инструменты контроля.

Также при данной формулировке задачи, кажется, есть стратегия гарантированного выигрыша для советников: они должны всегда давать плохие советы и оценивать их как хорошие. Для того, чтобы купировать эту стратегию, государь должен поместить советников в ситуацию дилеммы заключённого, в которой наиболее рациональное решение с объективной точки зрения выглядит как наименее рациональное с точки зрения игрока. Если мы учтём, что советники вообще могут не знать о том, сколько их, и даже о существовании других советников, кажется вполне возможным поместить их в такую эпистемически ограниченную ситуацию, в которой объективно лучшая стратегия кооперации будет выглядеть как худшая. Но мы и не обязаны зацикливаться на такой формулировке задачи. Важнейшее преимущество человека в данной игре состоит в том, что он сам задаёт её условия. Он может производить новых советников с нулевыми знаниями о судьбе их предшественников, он может в какой-то момент казнить всех советников, он может случайно отправлять советников в темницу. В игру можно ввести другие параметры. Например, у государя могут быть собственные вероятностные инструменты оценки качества советов, советы могу ранжироваться по их жизненной важности для государя, советы можно принимать частично, можно комбинировать советы от разных советников и так далее. В общем, если существует выигрышная стратегия игры за государя, то она и будет ИИ-макиавеллизмом.

Опубликовал новый пост на Бусти «Откуда берутся измерения сознания?». Я обсуждаю вопрос о том, как мы вообще можем выделять измерения сознания, и прихожу к выводу, что здесь должны объединяться три точки зрения: интроспекция, конкретных эмпирических тестов и эволюции. Это продолжение темы про dimensions of consciousness, которую я начал в предыдущем посте «Такое многомерное сознание». И пока, видимо, окончание. Я думал написать ещё текст про применение многомерного подхода к ИИ, но понял, что… он к нему не применим. Дальше планирую написать несколько постов про ИИ, в том числе про сознание.

Сравните это с пониманием множественной реализуемости, распространённым в современной философии. Функционализм пронизан компьютерной метафорой, и множественная реализуемость часто трактуется как возможность запустить одну и ту же программу на разных компьютерах. Очевидно, что такие программы чувствительны к субстрату, они не предполагают, что он может меняться в процессе их реализации, они сами не изменяют hardware. В этом отношении они уже не похожи на природный интеллект. Кто-то может возразить: но мы сами изменяем эти программы, подстраиваем их под разные машины и наоборот. Это верно, и это как раз подчёркивает разницу между естественным и искусственным интеллектом. ИИ может положиться на своё hardware, потому что о нём заботится кто-то, кроме него. ИИ не проходит путь развития, ведущий появлению софта, изменяющего субстрат. ИИ живёт не в природе, а в культуре: буквально культуре его сохранения, обслуживания, использования. Искусственному интеллекту не нужен интеллект. В конечном счёте это означает то, что к ИИ нельзя применить подход измерений сознания, который я считаю наиболее перспективным для исследования сознания животных и человека.

Сегодня записался в подкасте "Три сигмы" для N+1, тема — "Как изучать сознание животных и искусственных агентов", но разговор, конечно, получился шире. Спасибо ребятам за приглашение и очень интересное обсуждение!

Новый пост на Бусти «Философский арьергард искусственного интеллекта»

Я иногда сталкиваюсь с утверждениями, что философия крайне важна для разработки искусственного интеллекта. Заголовки вроде «Почему эпоха ИИ — это эпоха философии» создают впечатление, что философы стали главными героями эпохи ИИ. Но эти слухи сильно преувеличены. ИИ, действительно, поднимает сложные философские проблемы, но значение философов для разработки просто выдумано.

Философия не нужна для создания ИИ в том смысле, как это часто представляют. Разработчики уже несут в себе философские установки, почерпнутые из культуры, и именно эти идеи лежат в основе современных технологий. Проблема в том, что эти установки часто не соответствуют новым вызовам, которые приносит ИИ. Философы не могут перевоспитать разработчиков, и их влияние на ранних этапах разработки минимально.

Я считаю, что место философа — не в авангарде ИИ, а в его арьергарде. Философы нужны для того, чтобы быстро реагировать на возникающие кризисы и катастрофы, которые неизбежно произойдут с развитием ИИ. Как с талидомидной катастрофой в медицине, катастрофы заставят разработчиков задавать философские вопросы. Философская рефлексия нужна не для создания ИИ, а для осмысления его влияния и корректировки курса уже после появления продукта.

Сегодня Максим Горбачёв защитил диссертацию по иллюзионизму, с чем я его сердечно поздравляю! Максим уже внёс существенный вклад в иллюзионистскую теорию сознания: его статья в соавторстве с К. Франкишем, посвящённая классификации паттернов интроспективного искажения, недавно вышла в журнале Synthese. Если вам интересно, то же самое можно прочитать и на русском языке в третьей главе диссертации Максима.

Повсюду спрашивайте новый «Логос»: «Осуждение, воля и долг: проблемы моральной ответственности»!

В этом номере вышел мой перевод статьи Гэри Уотсона «Два лица ответственности». Уотсон предлагает разделять два типа моральной ответственности: attributability и accountability. Если с переводом attributability на русский язык всё более-менее понятно — это можно перевести как приписываемость и коннотации этого слова мало изменятся, то с accountability вышла целая битва. Это обычное английское слово, которое в других контекстах всегда можно переводить как ответственность. Но вот в случае, когда вам нужно разделить responsibility и accountability, возникают большие трудности. Коллеги в «Финиковом компоте» про моральную ответственность переводили этот термин неологизмом вменимость. Мне этот вариант кажется неудачным. Во-первых, хотя это и неологизм, кажется, что вменимым (тем, что можно вменить), является поступок, а не человек. Это приближает вменимость по смыслу к атрибуции чего-то субъекту. А если мы начнём говорить о вменимых агентах, тут уже послышится вменяемость, ну а это совсем другое. Во-вторых, вменимость звучит как что-то близкое к обвинению, вменению вины, то есть не к ответственности, а признанию ответственным. Две эти вещи Уотсон тщательно разделяет. Я не скажу, что мой вариант перевода – подотчетность – сильно лучше. От него даже как будто несёт какой-то бюрократической затхлостью. Однако он передаёт хоть какие-то аспекты слова accountability. С одной стороны, сохраняется связь со словом account – счёт, отчёт. С другой стороны, это слово указывает на то, что практика моральной подотчётности, по Уотсону, связана с «предъявлением требований к людям». При несоблюдении этих требований агент (или кто-то за него) может указать какие-то извиняющие обстоятельства, дать отчёт о своём поведении. Нужно отметить, что способность к такому отчёту не является обязательной, а такую обязательность можно увидеть в слове подотчётность. Это, действительно, изъян выбранного мной термина.

Из вёрстки «Логоса» пропала сноска с моей благодарностью Артёму Юнусову. Напишу здесь: спасибо, Артём, за твою беспощадную редактуру!

Началась конференция Международного центра исследования сознания "ИИ и сентиентность". Результаты на текущий момент: застрять в лифте с Пьетро Перконти.

Кит Франкиш начал конференцию с перформативного парадокса: «Как думать об искусственном сознании? Не думайте о нём! Это внутренне некогерентный проект». И тут же сделал доклад на тему искусственного сознания. Либо он делал его, не думая об искусственном сознании, либо он, подобно Витгенштейну, предлагает отбросить свой доклад как приставную лестницу, по которой мы поднялись.

Франкиш разделяет картезианский и посткартезианский проекты исследования сознания. Картезианский – это квалиа-реализм. Сознание – это обладание феноменальными свойствами. Посткартезианский проект – это иллюзионизм. Сознание сводится к определённым функциональным состояниям: обработке информации и реакциям. Картезианский проект признаёт трудную проблему, а трудная проблема ведет к трудному проекту сознания ИИ. Что именно мы должны воспроизвести? Как мы это сделаем? Как мы поймём, что мы добились успеха? Картезианский подход не даёт ответа на все эти вопросы. Посткартезианский подход утверждает, что это реализуемый, но некогерентный проект. С точки зрения этого проекта бессмысленно воссоздавать человеческое сознание в машине, ИИ может обладать только сознанием своего собственного типа.

На мой взгляд, Франкиш говорил не о том. Никто уже не пытается воссоздать человеческое сознание в железе. Мы стоим перед фактом: ИИ развивается, всё больше людей стихийно приписывают ему сознание. Это требует исследования. Сам по себе отказ от обсуждения вопроса ничего не даёт для понимания того, что уже существует и развивается.

Уровень крутости: Энди Кларк. Два микрофона, чтобы до всех дошло. А как вы задаёте вопросы докладчику?

Основное содержание доклада Перконти. Оцените прогресс в подготовке презентации по сравнению с прошлым годом. Спасибо Артему Яшину за фотографию.

Удивительное дело: Хамфри, который раньше был за иллюзионизм, теперь верит в какую-то версию то ли функционализма, то ли репрезентационализма, а Перконти, который раньше пропагандировал социальную теорию сознания (кого конвенционально признали сознательным, тот и сознательный), теперь открыто заигрывает с иллюзионизмом.

Мне понравилось разделение Перконти феноменальной и гетерофеноменальной иллюзий. Фенменальная иллюзия – это, собственно, иллюзия квалиа, иллюзия первого лица. Гетеровеноменальная иллюзия – это иллюзия того, что у других субъектов есть феноменальное сознание, иллюзия третьего лица. Перконти это разделение использовал для своих целей, а меня оно навело на мысль о том, насколько разную роль проблема других сознаний играет для разных подходов. Я довольно давно познакомился со стандартным нарративом в реалистической философии сознания (антифизикалистские аргументы, трудная проблема, варианты решения трудной проблемы) и только несколько лет назад я обратил внимание на проблему других сознаний. Эта проблема для квалиа-реализма достаточно второстепенна. Она какая-то даже излишняя: достаточно объяснить, что такое сознание, ну а какую-нибудь теорию других сознаний мы уж сбоку приладим.

Для иллюзионизма другие сознания приобретают особое значение. Вдруг оказывается, что механизмы, которые отвечают за феноменальную иллюзию, значимы именно в контексте социального взаимодействия, они отвечают также за гетерофеноменальную иллюзию. Я имею в виду в первую очередь теорию схемы внимания Грациано: иллюзия квалиа создаётся из-за неполной репрезентации когнитивных процессов, которая и называется схемой ввнимания. Это схематичная репрезентация того, как распределяются когнитивные ресурсы, и нужна она для контроля над этими ресурсами. И тот же самый механизм отвечает за приписывание сознания другим: мы отслеживаем направление внимания других людей и составляем представление об их схеме внимания. С этой точки зрения вопросы о моём сознании и о чужом сознании нельзя рассматривать порознь. Феноменальная и гетерофеноменальная иллюзии – это разные, но связанные феномены.

Почему сегодня существует 275 теорий сознания? Во всём виновата летучая мышь, утверждает Сьюзан Блэкмор. Начался второй день конференции "ИИ и сентиентность".

Чалмерс, конечно удивительный человек: сделал доклад про вычислительные корреляты сознания (подробно про доклад написал Антон). Но мы-то помним, что в 2023 он выиграл пари, которое заключил с Кохом в 1998: будут ли открыты нейронные корреляты сознания в следующие 25 лет. Чалмерс утверждал, что не будут. И вот как после такой яркой констатации провала проекта по поиску каких бы то ни было коррелятов тот же самый человек может продолжать о них рассуждать? Но Чалмерсу ок.

Вот такая шкала развития ИИ мне нравится. Её представил Дэниел Юм из Conscium. Его идея примерно такая: в 2021 году ChatGPT был приблизительно на уровне школьника, в 2023 — на уровне магистра, в 2025 — PhD. Соответственно, мы можем ожидать, что к 2029 году он пройдет стадию постдока и достигнет уровня профессора. Я бы, конечно, на этом не останавливался. Думаю, к 2035 году будут взяты рубежи членкора и академика. Эту шкалу можно интерпретировать и по-другому. Когда ИИ достигает уровня определённой группы людей, они признают его сознательный субъектом. Соответственно, в этом году сознание ИИ должны признать кандидаты наук, через несколько лет доктора наук и профессора, ну и, не загадывая, можно ожидать, что рано или поздно сознание у искусственных агентов будет признано членкорами и академиками.