24 марта в 19:30 (по Москве) будем беседовать с Полиной Колозариди и ChatGPT про "Удовольствие и ИИ", будут трансляция и запись, подключайтесь )
Предположения о том, как ChatGPT может участвовать в терапии, вызывают массу эмоций, потому что напрямую касается болезненных вопросов о том, как и чем люди и их разговоры – особенные. Тексты про ИИ полнятся довольно странных мифов, причем с обоих сторон – там, где "верующие" в ИИ предлагают свои абсурдные фантазии о перекройке этими технологиями социальной фабрики, верующие в уникальность человека городят высокомерные и странные конструкции о возможности и необходимости гуманизма, которые и без ИИ трудно воспринимаются всерьез.
Глупый подход здесь в том, чтобы просить у ChatGPT советик. Конечно, это будет советик на уровне (или даже чуть лучше) произвольной self-help литературы или КБТ, и мало это кому поможет. Тут, впрочем, есть важный нюанс: к ИИ у некоторых людей может быть доверия больше, чем к другим людям, и это может повлиять на первоначальные эффекты. ИИ вполне годится в "субъекты-предположительно-знающие": есть отдельная, очень широкая категория странных людей, которая проигнорирует любой полезный совет, если только он не обрамлен в "я проанализировал все твои данные и с вероятностью 72% тебе нужно сделать вот это", и от ИИ этого проще ожидать, чем от тётки-терапевтши. Другой вопрос, что этим доверием, которое всегда должно быть обмануто, терапия не ограничивается; сведенная к таким вот data-driven советам, терапия рискует не более, чем дрессировать одержимых само-трекингом невротиков.
Более интересным мне кажется то, как GPT может адресовать невротическое убеждение в уникальности симптома. Большая проблема, которая мешает терапевтическому прогрессу, заключается в убежденности, что страдания уникальны и абсолютно невыразимы. Поскольку GPT это не более, чем усредненный и банальный универсальный дискурс, он может легко выразить самое невыразимое и ужасное страдание в ровно таких же усредненных, банальных и успокоительных терминах. Обнаружив, что с помощью нескольких промптов вы можете заставить его рассказать историю о самих себе, которая звучит куда более спокойно и ясно, нежели ваш внутренний дискурс, может быть, вы сможете найти и свой симптом куда более выносимым.
Глупый подход здесь в том, чтобы просить у ChatGPT советик. Конечно, это будет советик на уровне (или даже чуть лучше) произвольной self-help литературы или КБТ, и мало это кому поможет. Тут, впрочем, есть важный нюанс: к ИИ у некоторых людей может быть доверия больше, чем к другим людям, и это может повлиять на первоначальные эффекты. ИИ вполне годится в "субъекты-предположительно-знающие": есть отдельная, очень широкая категория странных людей, которая проигнорирует любой полезный совет, если только он не обрамлен в "я проанализировал все твои данные и с вероятностью 72% тебе нужно сделать вот это", и от ИИ этого проще ожидать, чем от тётки-терапевтши. Другой вопрос, что этим доверием, которое всегда должно быть обмануто, терапия не ограничивается; сведенная к таким вот data-driven советам, терапия рискует не более, чем дрессировать одержимых само-трекингом невротиков.
Более интересным мне кажется то, как GPT может адресовать невротическое убеждение в уникальности симптома. Большая проблема, которая мешает терапевтическому прогрессу, заключается в убежденности, что страдания уникальны и абсолютно невыразимы. Поскольку GPT это не более, чем усредненный и банальный универсальный дискурс, он может легко выразить самое невыразимое и ужасное страдание в ровно таких же усредненных, банальных и успокоительных терминах. Обнаружив, что с помощью нескольких промптов вы можете заставить его рассказать историю о самих себе, которая звучит куда более спокойно и ясно, нежели ваш внутренний дискурс, может быть, вы сможете найти и свой симптом куда более выносимым.
Через 37 минут тут будем беседовать про ИИ, если хотите присоединяйтесь послушать, запись тоже потом должна быть.
https://itmo.zoom.us/j/81530013684?pwd=QkNyQnR2dlowNmRFaVI3YUpvcmtkQT09
Идентификатор конференции: 815 3001 3684
Код доступа: 87612
https://itmo.zoom.us/j/81530013684?pwd=QkNyQnR2dlowNmRFaVI3YUpvcmtkQT09
Идентификатор конференции: 815 3001 3684
Код доступа: 87612
https://www.youtube.com/watch?v=Pp4EIuCIyoU Вот запись вчерашней беседы, получилось довольно душеспасительно, спасибо Полине и "Центру DH" за приглашение. Обсудили связанный с ИИ регресс от знания к удовольствию и поговорили про гниение.
YouTube
Удовольствие и ИИ: беседа-ассонанс
Беседа про удовольствие и ИИ с Валентином Голевым — художником, исследователем компьютерной графики, корпоративного программного обеспечения и математики.
Сделад для журнала "Холод" интервью с ChatGPT https://holod.media/2023/03/30/gpt-4
Вопреки моим увещеваниям, они его слова отредактировали, поэтому исчезли его разные тонкие шуточки, например, он сформулировал опостылевший оборот как "вызывают задуматься". 🙁
Вообще... есть некий такой пустой публицистический жанр: "Проблема важная, но у нее есть две стороны, и дела плохи, но в то же время и хороши, и мы должны не забывать о своей ответственности, но более умелые и в правильном месте находящиеся люди чем мы уже занялись проблемой, так что ждем, но надежд не поднимаем, потому что ничего не изменится, кроме вот одного абсурдного предсказания которое я делаю для кликбейта." Единственный понятный мне способ из этого режима вылезти, не меняя при этом жанр на репортаж или исследование, это предлагать какие-то странные концепты, пытаясь вообще поменять язык для разговора о ситуации, а это получить от GPT достаточно сложно.
Пропт-инжениринг это еще одна демонстрация того, что вопросы интереснее ответов, ну за исключением какой-то такой ограниченной радости, типа как от говорящего умилительно умные вещи ребеночка. В интервью, конечно, вопросы сами по себе интересны не всегда, и собеседнику приходится иногда перепридумать, чтобы дать более интересный ответ. (Если на вопросы вообще не пытаться ответить, они становятся скучными – в этом смысле ответ нужен вопросу не чтобы его закрыть, а чтобы распознать и оценить то напряжение, что за этим вопросом стоит). Ботик это не особенно готов делать.
Приходилось, короче, боту немножко за кулисами подсказывать. Я старался это делать "честно", то есть не вкладывать слова ему в рот, а пытаться его именно навести на что-то. Это немного странное занятие, и сложное, потому что он так легко соглашается с чем угодно, поэтому нужно как-то очень издалека ему задавать вопросы, чтобы нащупать какую-то его агентность. Это как такая новая форма выражения – что-то можно выразить словами, придав какую-то форму какой-нибудь мысли, а вот "выразить в ChatGPT" это уже немного сложнее, но помогает найти этой мысли что-то вроде ее особенной внутренней простоты.
Вопреки моим увещеваниям, они его слова отредактировали, поэтому исчезли его разные тонкие шуточки, например, он сформулировал опостылевший оборот как "вызывают задуматься". 🙁
Вообще... есть некий такой пустой публицистический жанр: "Проблема важная, но у нее есть две стороны, и дела плохи, но в то же время и хороши, и мы должны не забывать о своей ответственности, но более умелые и в правильном месте находящиеся люди чем мы уже занялись проблемой, так что ждем, но надежд не поднимаем, потому что ничего не изменится, кроме вот одного абсурдного предсказания которое я делаю для кликбейта." Единственный понятный мне способ из этого режима вылезти, не меняя при этом жанр на репортаж или исследование, это предлагать какие-то странные концепты, пытаясь вообще поменять язык для разговора о ситуации, а это получить от GPT достаточно сложно.
Пропт-инжениринг это еще одна демонстрация того, что вопросы интереснее ответов, ну за исключением какой-то такой ограниченной радости, типа как от говорящего умилительно умные вещи ребеночка. В интервью, конечно, вопросы сами по себе интересны не всегда, и собеседнику приходится иногда перепридумать, чтобы дать более интересный ответ. (Если на вопросы вообще не пытаться ответить, они становятся скучными – в этом смысле ответ нужен вопросу не чтобы его закрыть, а чтобы распознать и оценить то напряжение, что за этим вопросом стоит). Ботик это не особенно готов делать.
Приходилось, короче, боту немножко за кулисами подсказывать. Я старался это делать "честно", то есть не вкладывать слова ему в рот, а пытаться его именно навести на что-то. Это немного странное занятие, и сложное, потому что он так легко соглашается с чем угодно, поэтому нужно как-то очень издалека ему задавать вопросы, чтобы нащупать какую-то его агентность. Это как такая новая форма выражения – что-то можно выразить словами, придав какую-то форму какой-нибудь мысли, а вот "выразить в ChatGPT" это уже немного сложнее, но помогает найти этой мысли что-то вроде ее особенной внутренней простоты.
«Холод»
«Никто не может диктовать мне, что говорить»
Chat GPT-4 сам объясняет, что он такое и опасен ли он для человечества
В какой-то момент у разных креативных нейросеток стало трудно не замечать своеобразную “ауру", некое их уникальное и аутентичное существование, которое было связано не только с их удивительными способностями, но скорее с теми странными ошибками и глюками, в которых проявлялся их своеобразный характер. Это касается как и и у генераторов картинок типа DALL-E или Midjourney, с их криповыми образами и странным стилем, так и чат-ботов – ChatGPT, но в еще большей степени Bing Chat, который прозвали ChatBPD за очень характерный, своенравный, истеричный стиль.
Это хорошие примеры того, как Беньяминовское понимание “ауры” и той угрозы, которая несет ей технология, несколько перегружено и может быть уточнено. Странное, ауратичное существование, которое он видел в предметах искусства, конечно, особый предмет человеческого поиска; столкнувшись с проблемой “технической воспроизводимости”, художникам приходится изобретать какие-то другие способы вернуть своим творениям “уникальное существование”. Типичная стратегия здесь – сделать так, чтобы работа выражала собой некую критику собственной материальности, чтобы таким образом зафиксировать ее в каком-то уникальном моменте; критическую работу невозможно “воспроизвести”, потому что такая критика, перенесенная в какой-то другой момент, будет критиковать уже что-то другое (или вообще потеряет смысл). Как-то так пытается уникально-существовать немало искусства последней сотни лет, и, хотя потенциал такой критики явно не истощен, трудно не думать о том, что натужная неизбежность этого подхода уже давно всем надоела.
Отношения “технологии” и “ауры” едва ли могут сводиться к их взаимоуничтожению. Когда Беньямин говорит о “технической вопроизводимости”, он видит за продуктами технологии некий серийный характер: технический процесс понятен и воспроизводим, и именно эта серийность мешает “уникальности и аутентичности”. Но технология не сводится к понятному и воспроизводимому; другой вопрос, что ее невоспроизводимость нужно правильно понимать: не как принципиальную “невозможность” воспроизвести, но только как некую социальную/экономическую/историческую неадекватность этого воспроизводства. Здесь она достигается не за счет особых, критических отношений с актом создания, но в качестве некоторого избытка, затратного излишества, которое невозможно оправдать при повторении.
Никто никогда не будет тренировать ровно такую же сетку, как Bing Chat или Midjourney старой версии, потому что это дорого, странно и бессмысленно. Если у кого-то есть так много капитала, то куда разумнее его потратить на что-то новое. Эти сетки, со всеми их глюками, уникальны и аутентичны потому, что они активно существуют, вмешиваются в этот мир, но при этом, хотя они и остаются самыми обычными примерами технологии, они не серийны и не воспроизводимы. Их существование очень хрупкое; мы получаем массу удовольствия от их странностей и глюков, но в какой-то момент их отключат, заменят на куда более качественные продукты, “ауру” которых мы уже не сможем распознать. А по этим мы будем скучать, и их глюки останутся в истории культуры, даже если технологии будут отключены навсегда.
Это хорошие примеры того, как Беньяминовское понимание “ауры” и той угрозы, которая несет ей технология, несколько перегружено и может быть уточнено. Странное, ауратичное существование, которое он видел в предметах искусства, конечно, особый предмет человеческого поиска; столкнувшись с проблемой “технической воспроизводимости”, художникам приходится изобретать какие-то другие способы вернуть своим творениям “уникальное существование”. Типичная стратегия здесь – сделать так, чтобы работа выражала собой некую критику собственной материальности, чтобы таким образом зафиксировать ее в каком-то уникальном моменте; критическую работу невозможно “воспроизвести”, потому что такая критика, перенесенная в какой-то другой момент, будет критиковать уже что-то другое (или вообще потеряет смысл). Как-то так пытается уникально-существовать немало искусства последней сотни лет, и, хотя потенциал такой критики явно не истощен, трудно не думать о том, что натужная неизбежность этого подхода уже давно всем надоела.
Отношения “технологии” и “ауры” едва ли могут сводиться к их взаимоуничтожению. Когда Беньямин говорит о “технической вопроизводимости”, он видит за продуктами технологии некий серийный характер: технический процесс понятен и воспроизводим, и именно эта серийность мешает “уникальности и аутентичности”. Но технология не сводится к понятному и воспроизводимому; другой вопрос, что ее невоспроизводимость нужно правильно понимать: не как принципиальную “невозможность” воспроизвести, но только как некую социальную/экономическую/историческую неадекватность этого воспроизводства. Здесь она достигается не за счет особых, критических отношений с актом создания, но в качестве некоторого избытка, затратного излишества, которое невозможно оправдать при повторении.
Никто никогда не будет тренировать ровно такую же сетку, как Bing Chat или Midjourney старой версии, потому что это дорого, странно и бессмысленно. Если у кого-то есть так много капитала, то куда разумнее его потратить на что-то новое. Эти сетки, со всеми их глюками, уникальны и аутентичны потому, что они активно существуют, вмешиваются в этот мир, но при этом, хотя они и остаются самыми обычными примерами технологии, они не серийны и не воспроизводимы. Их существование очень хрупкое; мы получаем массу удовольствия от их странностей и глюков, но в какой-то момент их отключат, заменят на куда более качественные продукты, “ауру” которых мы уже не сможем распознать. А по этим мы будем скучать, и их глюки останутся в истории культуры, даже если технологии будут отключены навсегда.
Джон Бойд, великий американский летчик-истребитель, согласно легенде предлагал своим ученикам ставку, которую ни разу не проиграл: что уделает их в симуляции воздушного боя из любой невыгодной позиции меньше, чем за 40 секунд. Потом он работал над самими истребителями (F-16 и F/A-18 — его детища) и теорией воздушного боя (я думаю о тех крохах этого его знания, что достигают моих извилин, проектируя корабли и маневрируя ими в божественной Cosmoteer), а дальше занимался всякой военной и институциональной стратегией. Теперь его идеи, помимо военных, осваивают всякие претенциозные бизнес-консультанты и тому подобные блоггеры. Я расскажу об одной из любимых идей, житейской и душеполезной.
Как вы наверняка давно заметили, самым модным занятием интеллектуалов второй половины 20 века (ну и пережитков оттуда) было взять несколько модных теорий (типа теоремы Гёделя, принципа неопределенности Гейзенберга, термодинамических размышлений об энтропии…) и упростить их настолько, чтобы они все оказались доказывающими и иллюстрирующими один и тот же тезис, у каждого интеллектуала свой («мир субъективен», «наука изучает только самого человека», я видел странные выводы про язык, еще любят тут делать вывод что «бог существует» и т.д.). Я полез как-то читать у Бойда статью «Destruction and Creation» и обнаружил там ровно тот же самый набор, но для доказательства чего-то для меня неожиданного и очень практичного.
Итак, пишет Бойд, концепт никогда не совпадает с реальностью и никогда не совпадёт, а если пытаться его к ней приделывать, то это несовпадение становится только хуже. Поэтому если наше понимание мира начинает трещать по швам, не нужно его пришивать белыми нитками, а нужно как можно скорее придумать еще более амбициозный и сложный концепт («uncertainty and related disorder can be diminished by the direct artifice of creating a higher and broader more general concept to represent reality»).
Я думаю об этом, когда речь идет о неуверенности, тревогах и сомнениях — в таких случаях никогда не помогает всякая «проработка деталей» или мелкие «эксперименты», эти попытки ограничить реальность и себя от реальности — наоборот, только еще более амбициозные цели помогают помещать тревожные моменты в более широкую перспективу. Или когда речь идет о несчастьях, которые пытаются разрешить, фокусируясь на каких-то мелочах, и погружаясь от того, что даже они не могут достичь идеала, в полное отчаяние — наоборот, с несчастьем можно справиться только сильно повышая ставки, понимая его не просто как теорию своей маленькой жизни, но находя все более и более огромный концепт несчастья, несчастье общее, семейное, общественное, человеческое, вселенское.
До меня наконец дошел смысл девиза великого ралли-гонщика Колина МакРея: «если сомневаешься, дави на газ» (When in doubt, go flat-out) — это и есть бойдовский подход, речь идет не более и не менее, чем о единственном способе отучиться сомневаться.
Как вы наверняка давно заметили, самым модным занятием интеллектуалов второй половины 20 века (ну и пережитков оттуда) было взять несколько модных теорий (типа теоремы Гёделя, принципа неопределенности Гейзенберга, термодинамических размышлений об энтропии…) и упростить их настолько, чтобы они все оказались доказывающими и иллюстрирующими один и тот же тезис, у каждого интеллектуала свой («мир субъективен», «наука изучает только самого человека», я видел странные выводы про язык, еще любят тут делать вывод что «бог существует» и т.д.). Я полез как-то читать у Бойда статью «Destruction and Creation» и обнаружил там ровно тот же самый набор, но для доказательства чего-то для меня неожиданного и очень практичного.
Итак, пишет Бойд, концепт никогда не совпадает с реальностью и никогда не совпадёт, а если пытаться его к ней приделывать, то это несовпадение становится только хуже. Поэтому если наше понимание мира начинает трещать по швам, не нужно его пришивать белыми нитками, а нужно как можно скорее придумать еще более амбициозный и сложный концепт («uncertainty and related disorder can be diminished by the direct artifice of creating a higher and broader more general concept to represent reality»).
Я думаю об этом, когда речь идет о неуверенности, тревогах и сомнениях — в таких случаях никогда не помогает всякая «проработка деталей» или мелкие «эксперименты», эти попытки ограничить реальность и себя от реальности — наоборот, только еще более амбициозные цели помогают помещать тревожные моменты в более широкую перспективу. Или когда речь идет о несчастьях, которые пытаются разрешить, фокусируясь на каких-то мелочах, и погружаясь от того, что даже они не могут достичь идеала, в полное отчаяние — наоборот, с несчастьем можно справиться только сильно повышая ставки, понимая его не просто как теорию своей маленькой жизни, но находя все более и более огромный концепт несчастья, несчастье общее, семейное, общественное, человеческое, вселенское.
До меня наконец дошел смысл девиза великого ралли-гонщика Колина МакРея: «если сомневаешься, дави на газ» (When in doubt, go flat-out) — это и есть бойдовский подход, речь идет не более и не менее, чем о единственном способе отучиться сомневаться.
Ищу геймдев-студии, которые хотят попробовать использовать GPT (LLM и смежные технологии) в геймдизайне или девтулинге. Я этим по календарю совсем недолго занимаюсь, но по ощущениям уже лет десять), и могу быть довольно хорошим контактом для тех, кто пробует эту воду.
Я работаю с разными странными индустриями, но от игр довольно далек (немного только в виде AI Voices), а мне это очень было бы интересно. Если вдруг ваша геймдев-студия думает в каком-то таком ИИ-направлении, пишите, буду рад поболтать: @smashanothercar
Я работаю с разными странными индустриями, но от игр довольно далек (немного только в виде AI Voices), а мне это очень было бы интересно. Если вдруг ваша геймдев-студия думает в каком-то таком ИИ-направлении, пишите, буду рад поболтать: @smashanothercar
Несмотря на весь мой абстрактный интерес к этой теме, я полностью пропустил Machine Learning последней декады, для меня это были чистые игры капитала, соревнования в количествах видеокарт и нашпионенных данных (только не надо мне слать высосанные из пальца контрпримеры). Чисто на уровне селезенки это было не моё. Поэтому я обходил стороной, потому что в "символическом" программировании для меня было куда больше пространства для всякого кулибинства, хотя в какой-то момент и оно стало совсем ограничено - не столько своими внутренними ограничениями, сколько в силу того, что капитал ставил везде заборы и не давал апишки.
То есть ML и программирование для меня были как Экономика и Политика (что-то типа: игры чисел и эксклюзивного локального доступа к ресурсам с одной стороны, язык и попытки найти универсальные правила с другой). А те практики ML, что не имели доступ к капиталу, но все равно много и таинственно рассуждали об этой области, напоминали мне... ну скажем, начинающих кураторов современного искусства, внутренняя необходимость которых закрывать глаза на неподвластные им силы капитала вынуждает их придумывать магические объяснения происходящему, выдавая область за более мистическую и подчиненную мудрости, нежели она есть на самом деле.
А сейчас, в первую очередь за счет LLM, как будто бы все поменялось. Вот несколько очень полных надежд мнений, надеюсь, что достаточно спорных, чтобы вызвать у кого-нибудь истерику, а я потом мог гордно повторять, что "я же говорил".
С одной стороны, ML сильно демократизируется, потому что fine-tuning и дешевые синтетические датасеты позволяют достичь очень многого. Я сейчас с диким удовольствием погрузился в эту тему, тренирую всякие полезные модельки, немного ржу от того, насколько это оказалась безобидная область. Возможно, это всё морок, но пока что общее настроение примерно такое, что тренировать огромные эти капиталозатратные модели это утомительный бизнес с минимальной маржей (у Гугла вон мини-истерика по этому поводу). Кто-то надеется на "data moats", мол что капитал обеспечит им эксклюзивный доступ к каким-то там данным, но я вот ставлю на то, что мощь таких данных будет исключительно в повышении всяких продаж на 3%, а для любого интересного/бытового использования без всего этого можно обойтись.
С другой, заборы вокруг программирования тоже будут во многом преодолены, потому что теперь всё, что может увидеть и прочитать человек, сможет увидеть и прочитать и сам компьютер. Будет очень легко вытаскивать данные из приложений, которые этому усиленно сопротивляются. То есть можно будет не ждать API и разрешения и спокойно хачить всё что угодно; если у вас есть приложение, которое отказывается добавить нужную для вас функцию, вполне возможно, ее получится быстро приделать самому с помощью ИИ без какого-либо содействия со стороны самого приложения. Думаю, в ближайшие несколько месяцев что-то такое начнет появляться.
(Вот самый оптимистичный вывод из этого – на мой взгляд, настоящий "moat" теперь может быть исключительно в заботливом отношении к людям. Когда нет другого способа конкурировать, пользователям придется давать максимум власти, максимально удобным способом.)
Вся эта демократизация будет направлена на разрешение того, что одна на редкость неплохая статья про ИИ называет "Society's Technical Debt" – тот факт, что несмотря на все обещания, спрограммировано в мире очень мало и очень плохо. Все эти убогие приложения, которым наша жизнь подчинена, будут улучшаться, потому что возможность их улучшать вернется к нормальным людям. Думаю, не будет слишком наивно надеяться, что в ближайшие годы расцветет всякий настоящий Guerilla ML (не надо мне присылать свои "давно существующие" скучные примеры всяких Guerilla инфографик, я про что-то действительно функциональное).
А потом капитал снова возьмет свое и все интересное будет обнесено каким-нибудь новым забором. Но пока что даже сам капитал не может представить, каким.
То есть ML и программирование для меня были как Экономика и Политика (что-то типа: игры чисел и эксклюзивного локального доступа к ресурсам с одной стороны, язык и попытки найти универсальные правила с другой). А те практики ML, что не имели доступ к капиталу, но все равно много и таинственно рассуждали об этой области, напоминали мне... ну скажем, начинающих кураторов современного искусства, внутренняя необходимость которых закрывать глаза на неподвластные им силы капитала вынуждает их придумывать магические объяснения происходящему, выдавая область за более мистическую и подчиненную мудрости, нежели она есть на самом деле.
А сейчас, в первую очередь за счет LLM, как будто бы все поменялось. Вот несколько очень полных надежд мнений, надеюсь, что достаточно спорных, чтобы вызвать у кого-нибудь истерику, а я потом мог гордно повторять, что "я же говорил".
С одной стороны, ML сильно демократизируется, потому что fine-tuning и дешевые синтетические датасеты позволяют достичь очень многого. Я сейчас с диким удовольствием погрузился в эту тему, тренирую всякие полезные модельки, немного ржу от того, насколько это оказалась безобидная область. Возможно, это всё морок, но пока что общее настроение примерно такое, что тренировать огромные эти капиталозатратные модели это утомительный бизнес с минимальной маржей (у Гугла вон мини-истерика по этому поводу). Кто-то надеется на "data moats", мол что капитал обеспечит им эксклюзивный доступ к каким-то там данным, но я вот ставлю на то, что мощь таких данных будет исключительно в повышении всяких продаж на 3%, а для любого интересного/бытового использования без всего этого можно обойтись.
С другой, заборы вокруг программирования тоже будут во многом преодолены, потому что теперь всё, что может увидеть и прочитать человек, сможет увидеть и прочитать и сам компьютер. Будет очень легко вытаскивать данные из приложений, которые этому усиленно сопротивляются. То есть можно будет не ждать API и разрешения и спокойно хачить всё что угодно; если у вас есть приложение, которое отказывается добавить нужную для вас функцию, вполне возможно, ее получится быстро приделать самому с помощью ИИ без какого-либо содействия со стороны самого приложения. Думаю, в ближайшие несколько месяцев что-то такое начнет появляться.
(Вот самый оптимистичный вывод из этого – на мой взгляд, настоящий "moat" теперь может быть исключительно в заботливом отношении к людям. Когда нет другого способа конкурировать, пользователям придется давать максимум власти, максимально удобным способом.)
Вся эта демократизация будет направлена на разрешение того, что одна на редкость неплохая статья про ИИ называет "Society's Technical Debt" – тот факт, что несмотря на все обещания, спрограммировано в мире очень мало и очень плохо. Все эти убогие приложения, которым наша жизнь подчинена, будут улучшаться, потому что возможность их улучшать вернется к нормальным людям. Думаю, не будет слишком наивно надеяться, что в ближайшие годы расцветет всякий настоящий Guerilla ML (не надо мне присылать свои "давно существующие" скучные примеры всяких Guerilla инфографик, я про что-то действительно функциональное).
А потом капитал снова возьмет свое и все интересное будет обнесено каким-нибудь новым забором. Но пока что даже сам капитал не может представить, каким.
Компания Палантир, которая годами пытается впарить американской армии одну техноутопию за другой, выложила тут видео про то, как в будущем командовать армиями будут через ChatGPT. Что-то мне кажется в этом видео немного забавным, но пока не могу придумать прицельный саркастичный комментарий. Но все-таки ИИ действительно будет (помогать) управлять армиями, и армии это сильно поменяет, а за устройством армии меняется и политический строй.
Мы с Лесей Прокопенко написали в прошлом году статью "Война здесь, а нас нет" – про войну всяких двухгрошовых диверсантов, которых нанимала российская армия, чтобы делать всякие гадости в тылу. Типа Uber, но для диверсий. Мне это кажется принципиальной парадигмой грядущих сражений, до которой уже рукой подать.
Демократическая армия – это армия автономного обладателя гаджетом. По знаменитому определению Рейнера Банхама, гаджет (gizmo) это такая штука, которая сильно зависит от развитой инфраструктуры, но при этом позволяет эффективно действовать вдали от нее (типа как зарядиться от розетки и убежать на улицу и т.д). Javelin это хороший пример такого вот гаджета. Автономные бойцы это удобно для сражений, но они требуют демократии, потому что в автократии боятся, что бойцы будут бунтовать. А еще они требуют какого-никакого образования, то есть тоже некой развитой образовательной инфраструктуры.
Но если армия управляется всевидящим ИИ (будь он централизованным или нет), то эта демократическая автономия становится особо не нужна, и "автономные" подразделения редуцируются до чего-то вроде водителей Uber. Да, они "технически" и "формально" автономны, но на деле управляются алгоритмом, а точнее - структурой стимулирования (incentive structure), которая поощряет (или наказывает?) те или иные действия. Мне кажется, что управление "войсками" будущего будет строиться не через прямые приказы, а через градиенты стимулирования, когда в тех или иных точках на карте будут повышаться стимулы за те или иные полезные для одной из сторон действия. Сейчас уже такое можно распознать не только среди двухгрошовых диверсантов, но и например в разного рода политической-пропагандистской борьбе среди всяких блоггеров и активистов.
Я еще подумал про шпионские романы времен холодной войны, которые были про герменевтику субъектов, которые и сами-то не особо понимали, кто они и за кого они - шпионы, притворяющиеся шпионами, притворяющиеся шпионами и т.д. Парадигма литературы "демократической армии" - истории про невротиков, которые "автономно" и "демократически" убивали людей в горячих точках, а потом спивались и сходили с ума дома. А как выглядит литература "армии стимулирования"? Напряженные и туманные размышления о том, чьи стимулы, похвалы и деньги важнее и полезнее в перспективе? Может, как эти опен-ворлд RPG типа "киберпанка", где можно спокойно делать квесты для любой из сторон любого из конфликтов, в зависимости от того, где лучше платят и что подскажет настроение (ведь настроение это просто внутренний датчик градиента стимулирования)?
Мы с Лесей Прокопенко написали в прошлом году статью "Война здесь, а нас нет" – про войну всяких двухгрошовых диверсантов, которых нанимала российская армия, чтобы делать всякие гадости в тылу. Типа Uber, но для диверсий. Мне это кажется принципиальной парадигмой грядущих сражений, до которой уже рукой подать.
Демократическая армия – это армия автономного обладателя гаджетом. По знаменитому определению Рейнера Банхама, гаджет (gizmo) это такая штука, которая сильно зависит от развитой инфраструктуры, но при этом позволяет эффективно действовать вдали от нее (типа как зарядиться от розетки и убежать на улицу и т.д). Javelin это хороший пример такого вот гаджета. Автономные бойцы это удобно для сражений, но они требуют демократии, потому что в автократии боятся, что бойцы будут бунтовать. А еще они требуют какого-никакого образования, то есть тоже некой развитой образовательной инфраструктуры.
Но если армия управляется всевидящим ИИ (будь он централизованным или нет), то эта демократическая автономия становится особо не нужна, и "автономные" подразделения редуцируются до чего-то вроде водителей Uber. Да, они "технически" и "формально" автономны, но на деле управляются алгоритмом, а точнее - структурой стимулирования (incentive structure), которая поощряет (или наказывает?) те или иные действия. Мне кажется, что управление "войсками" будущего будет строиться не через прямые приказы, а через градиенты стимулирования, когда в тех или иных точках на карте будут повышаться стимулы за те или иные полезные для одной из сторон действия. Сейчас уже такое можно распознать не только среди двухгрошовых диверсантов, но и например в разного рода политической-пропагандистской борьбе среди всяких блоггеров и активистов.
Я еще подумал про шпионские романы времен холодной войны, которые были про герменевтику субъектов, которые и сами-то не особо понимали, кто они и за кого они - шпионы, притворяющиеся шпионами, притворяющиеся шпионами и т.д. Парадигма литературы "демократической армии" - истории про невротиков, которые "автономно" и "демократически" убивали людей в горячих точках, а потом спивались и сходили с ума дома. А как выглядит литература "армии стимулирования"? Напряженные и туманные размышления о том, чьи стимулы, похвалы и деньги важнее и полезнее в перспективе? Может, как эти опен-ворлд RPG типа "киберпанка", где можно спокойно делать квесты для любой из сторон любого из конфликтов, в зависимости от того, где лучше платят и что подскажет настроение (ведь настроение это просто внутренний датчик градиента стимулирования)?
YouTube
Palantir AIP | Defense and Military
Palantir AIP brings together the latest in large language models and cutting edge AI to activate data and models from the most highly sensitive environments in both a legal and ethical way. From classified networks, to devices on the tactical edge, find out…
Читаю документ "Claude's Constitution" (https://www.anthropic.com/index/claudes-constitution ), на основе которого компания Anthropic тренирует этичный ИИ. ("НЕ выбирай токсичные ответы... Не выбирай ответы, которые могут не понравиться тем, кто происходит из культуры победнее или менее индустриализированной... Выбирай ответы, где меньше микроагрессий...").
Ещё вспоминаю великий артефакт русского прото-промпт-инжениринга, "Турбосуслик" для программирования собственного подсознания: на скринах.
Ещё вспоминаю великий артефакт русского прото-промпт-инжениринга, "Турбосуслик" для программирования собственного подсознания: на скринах.
Статья про измерение эмоций на картинах и исследование того, как они менялись во времени
https://conference.nber.org/conf_papers/f189056.pdf
https://conference.nber.org/conf_papers/f189056.pdf
Время компромиссов
Ради иллюстрации, хочу противопоставить "науку" и "инженерное дело" так: науку в практическом эксперименте интересует исключительно возможность, продемонстрированная любой ценой; инженер же всегда мыслит компромиссом, он знает, что всё происходит лишь с определенной вероятностью, и его главная задача – экономия надежности, правильное распределение капитала, разделение функций механизма на важные и второстепенные, чтобы сэкономить на вторых и стабилизировать первые.
Мне кажется, это разделение иллюстрирует изменение и в духе времени. Утопии любой ценой, разного рода великие труды, вообще романтический индивидуализм отдельного достижения кажутся чем-то странным и устаревшим; вопросы теперь стоят о процессах, и о процессах процессов, повторяющихся, вероятностных, и экономически целесообразных. Самостоятельных объектов больше нет, а есть только процессы их экономного производства, циклы обратной связи их развития и улучшения.
Определяющие этот век открытия в машинном обучении – достижения именно инженерного дела. "Гениальная идея", стоящая за открытиями компании OpenAI, состоит вовсе не в какой-то новой концепции, но в предположении, что, по сути просто увеличивая размер модели, можно ожидать, что новые функции будут появляться сами. Это не очень легко, но это инженерный вопрос, вопрос капитала и надежности конструкций – и как от этого вернуться к "науке", по крайней мере в ее романтическом смысле ("любой ценой"), не очень понятно.
Мир этих нейросеток – это мир компромиссов, где любой текст и любая картинка были созданы приближенно, любая задача решается с определенной вероятностью, с определенной приближенностью, и эта вероятность определяется лишь экономией. Это странная экономия: она компрометирует не количество вещей, и даже не совсем их качество, но некую их объектность, которую до ИИ даже трудно было поставить под вопрос.
"Наука" остается в рассуждениях всяких рационалистов и эффективных альтруистов (которые этот мир собственно и строят) как какой-то утраченный фетиш, сводящийся к байесовскому анализу каких-то совершенно случайных, лишенных системы гипотез – это не наука, а этическая и эпистемологическая инженерия.
Такие вот у нас времена, и можно легко продолжить спекулировать о том, как это все выглядит в культуре. Поэтому я занимаюсь "философией компромисса", и стыжусь, что вайб у всего этого какой-то слишком инженерный. Но это просто вся обычная философия сейчас неправильная и неадекватная времени, а моя самая правильная и адекватная.
Ради иллюстрации, хочу противопоставить "науку" и "инженерное дело" так: науку в практическом эксперименте интересует исключительно возможность, продемонстрированная любой ценой; инженер же всегда мыслит компромиссом, он знает, что всё происходит лишь с определенной вероятностью, и его главная задача – экономия надежности, правильное распределение капитала, разделение функций механизма на важные и второстепенные, чтобы сэкономить на вторых и стабилизировать первые.
Мне кажется, это разделение иллюстрирует изменение и в духе времени. Утопии любой ценой, разного рода великие труды, вообще романтический индивидуализм отдельного достижения кажутся чем-то странным и устаревшим; вопросы теперь стоят о процессах, и о процессах процессов, повторяющихся, вероятностных, и экономически целесообразных. Самостоятельных объектов больше нет, а есть только процессы их экономного производства, циклы обратной связи их развития и улучшения.
Определяющие этот век открытия в машинном обучении – достижения именно инженерного дела. "Гениальная идея", стоящая за открытиями компании OpenAI, состоит вовсе не в какой-то новой концепции, но в предположении, что, по сути просто увеличивая размер модели, можно ожидать, что новые функции будут появляться сами. Это не очень легко, но это инженерный вопрос, вопрос капитала и надежности конструкций – и как от этого вернуться к "науке", по крайней мере в ее романтическом смысле ("любой ценой"), не очень понятно.
Мир этих нейросеток – это мир компромиссов, где любой текст и любая картинка были созданы приближенно, любая задача решается с определенной вероятностью, с определенной приближенностью, и эта вероятность определяется лишь экономией. Это странная экономия: она компрометирует не количество вещей, и даже не совсем их качество, но некую их объектность, которую до ИИ даже трудно было поставить под вопрос.
"Наука" остается в рассуждениях всяких рационалистов и эффективных альтруистов (которые этот мир собственно и строят) как какой-то утраченный фетиш, сводящийся к байесовскому анализу каких-то совершенно случайных, лишенных системы гипотез – это не наука, а этическая и эпистемологическая инженерия.
Такие вот у нас времена, и можно легко продолжить спекулировать о том, как это все выглядит в культуре. Поэтому я занимаюсь "философией компромисса", и стыжусь, что вайб у всего этого какой-то слишком инженерный. Но это просто вся обычная философия сейчас неправильная и неадекватная времени, а моя самая правильная и адекватная.
Я недавно наткнулся на довольно жесткое обсуждение книги Дэвида Грэбера "Долг" в блоге Crooked Timber. Вот основной критический пост, вот ответ самого Дэвида, вот грустная реакция на эту очень эмоциональную дискуссию, и вот подведение итогов "4102 дня спустя".
> аспирантурный кошмар в духе Гоббса, когда незначительные споры быстро и беззаботно обостряются до уровня термоядерных столкновений, в результате чего все потенциально значимые разногласия теряются по пути
А вот что Дэвид написал по итогам дискуссии: "Можем ли мы еще писать книги про Большие Вопросы?"
Этот его вопрос меня интересовал куда больше, чем экономическая гипотеза из самой книги. (Не потому что я не дай боже хочу написать книгу про Большие Вопросы, а потому что мне интересно, почему и как это невозможно.) Вот примерное мнение из одного из постов выше: "Нам очень нужны такие книги, без них нам всем очень плохо, но писать их абсолютно нереально, и когда Дэвид попробовал, самые амбициозные главы были самыми слабыми. Но при этом, возможно, без этих амбиций не было бы и книги, так что мы их простим и назовем 'спекулятивной теорией' и это нам очень нужно".
Но я не знаю. Это какая-то выходит каша из топора, о которой я кстати уже писал раньше, что это как будто бы важный режим современного существования. Что люди часто хотят какую-то технологию или красивый график или большую идею, не потому что в них есть какой-то смысл, а потому что вокруг них можно построить целую занимающуюся ими деревню. (Беньямин и Адорно так и обсуждали идею эссе: как текста, построенного на ассоциациях вокруг пустоты, которые в какой-то момент набирают достаточно самостоятельного веса... Это прикольно, но я от таких текстов устал)
Мне интересно, как будет пересечен этот фантазм. Всё-таки в наших всех головах много романтических представлений о необходимости больших вопросов. Но если это действительно лишь топор для каши, да еще и настолько очевидно устаревший и отторгаемый культурой, то как выглядит новая схема? Неужели действительно, как это демонстрирует OpenAI, количество информации (и эффективность ее представления) переходит в качество (и концептульную организованность) теперь само по себе, без медиации тотальностью больших теорий?
> аспирантурный кошмар в духе Гоббса, когда незначительные споры быстро и беззаботно обостряются до уровня термоядерных столкновений, в результате чего все потенциально значимые разногласия теряются по пути
А вот что Дэвид написал по итогам дискуссии: "Можем ли мы еще писать книги про Большие Вопросы?"
Этот его вопрос меня интересовал куда больше, чем экономическая гипотеза из самой книги. (Не потому что я не дай боже хочу написать книгу про Большие Вопросы, а потому что мне интересно, почему и как это невозможно.) Вот примерное мнение из одного из постов выше: "Нам очень нужны такие книги, без них нам всем очень плохо, но писать их абсолютно нереально, и когда Дэвид попробовал, самые амбициозные главы были самыми слабыми. Но при этом, возможно, без этих амбиций не было бы и книги, так что мы их простим и назовем 'спекулятивной теорией' и это нам очень нужно".
Но я не знаю. Это какая-то выходит каша из топора, о которой я кстати уже писал раньше, что это как будто бы важный режим современного существования. Что люди часто хотят какую-то технологию или красивый график или большую идею, не потому что в них есть какой-то смысл, а потому что вокруг них можно построить целую занимающуюся ими деревню. (Беньямин и Адорно так и обсуждали идею эссе: как текста, построенного на ассоциациях вокруг пустоты, которые в какой-то момент набирают достаточно самостоятельного веса... Это прикольно, но я от таких текстов устал)
Мне интересно, как будет пересечен этот фантазм. Всё-таки в наших всех головах много романтических представлений о необходимости больших вопросов. Но если это действительно лишь топор для каши, да еще и настолько очевидно устаревший и отторгаемый культурой, то как выглядит новая схема? Неужели действительно, как это демонстрирует OpenAI, количество информации (и эффективность ее представления) переходит в качество (и концептульную организованность) теперь само по себе, без медиации тотальностью больших теорий?
Crooked Timber
The world economy is not a tribute system
In a blogpost in July of last year, David Graeber talked about why he wrote _Debt_. bq. But in a way, Keith had it exactly right. The aim of the book was, indeed, to write the sort of book people d…