Інше твердження про ШІ, яке я часто чую від відносно розумних людей: «розмови про ASI/AGI - це хайп, ці заяви робляться з маркетингових причин».

В принципі, зрозуміло, чому таке твердження може здаватися апріорі логічним, але незрозуміло, як це співвідноситься з фактичною ситуацією маркетингової політики big tech компаній.

Якщо ви подивитися на історію того, як Google, Microsoft, Meta та інші великі технологічні компанії комунікували своє ставлення до ШІ, то риторика завжди була діаметрально протилежною до того, що стверджують прихильники гіпотези «ШІ - це маркетинговий хайп». А саме, повідомлення були наступними:
- ШІ - це просто засоби, які не здатні і не будуть здатні перевершити людей.
- Ми - це серйозні інженери, які піклуються про серйозні технічні питання, як-от стабілізація GAN чи яку функцію активації підібрати, а усі ці розмови про AGI - це наукова фантастика і нісенітниці.
- Екзистенційні ризики від ШІ - це теж наукова фантастика. Ми піклуємося про algorithmic bias and misinformation, бо саме цього рівня проблеми здатен створити ШІ.

Це була систематична, постійна, однорідна риторика протягом багатьох років, яку продовжували до останнього, навіть коли її абсурдність виглядала очевидною (деякі продовжують це навіть зараз). І це зрозуміло, чому так. Повідомлення “ми будуємо ASI” роздратує інвесторів, зверне на себе непотрібну увагу регуляторів, власних та закордонних спецслужб і політиків та просто широкого загалу, а також банально буде виглядати несерйозно в лінкедині та поважних медіа.

Саме тому це повідомлення відтягували до останнього, і лише зараз, коли evidence про штучний суперінтелект пре зі всіх щілин, коли велика купа людей в стані десь між роздратованим та шокованим впертими відмовами компаній та лабораторій хоча б визнати те, що вони роблять, не кажучи вже про наслідки цього, лише зараз, під жорстким тиском зовнішніх обставин, компанії - повільно і неохоче - починають визнавати, що саме вони будують.

Якби це було вигідно маркетингово, це б зробили вже давно. І власне, ми емпірично бачимо те, що технологічні компанії коректно передбачили раніше - заяви про те, що вони будуть ASI, не роблять їх життя краще в жодному вимірі, на який міг би орієнтуватися «маркетинговий департамент». Ці заяви мають лише 2 ефекти: одні вважають, що вони несерйозні та брешуть, а інші вважають, що вони серйозні і скоро усіх вбʼють. Ці заяви робляться не заради, а всупереч бізнес-інтересам, бо ховати це під ковдру вже неможливо.

Не буде великим перебільшенням сказати, що твердження «ML engineer знає, як працює ШІ, тому що він тренує моделі» майже не відрізняється від твердження «матір знає молекулярну біологію, нейробіологію і і біологію розвитку тому, що вона народила дитину».

Звичайно, це трохи перебільшення, але лише трохи. Перетин між знанням того, як працює ШІ, і знанням того, як тренувати ШІ, більший, ніж між, скажімо, хімією та соціологією, але менший, ніж між хімією та кулінарією.

Не кажучи вже про те, що навіть в інженерії тренування ШІ набагато більше алхімії та суто експериментального налаштовування, ніж науки.

В важливих фактах про себе я написав:

I often think in terms of optimization processes and landscapes, phase spaces, entropy, (dis)equilibria, maximum likelihood, and (stochastic) differential equations.

Усім рекомендую використовувати ці надзвичайно потужні концепції на постійній основі.

Це була нова важлива інформація для мене.

2 місяці тому була популярною думка, що "AI is hitting a wall because we exhausted internet data". Очевидно, що ні, бо верифікація набагато легше генерації, і я про це писав вже. Але я зараз не про те, що черговий коупінг виявився хибним. Я хочу звернути увагу на наступну тенденцію: кожного разу, коли люди говорять "масштабування до суперінтелекту зупиниться, тому що твердження Х є істинним", вони ніколи не змінюють свою думку, коли виявляється, що твердження Х не є істинним. Тому що Х з самого початку не використовувався як аргумент - він використовувався як тимчасовий спосіб не переживати, який заздалегідь очікується замінити на Y, коли виявиться, що Х - хибний. Зараз "вичерпання даних" замінили на нові "аргументи". Але це "аргументи", а не аргументи, тому що вони заздалегідь створюються не як контерфактуальні причини змінити переконання.

Я думаю, що я ще можу зробити чи хоча б написати в цьому каналі по цій темі. Наче я написав усе, що хотів, але таке відчуття, що я не зробив реальних зусиль.

Коли я уявляю, що я в майбутньому згадую це і жалкую, що я щось не зробив, що повинен був, то мені не дуже приходить щось в голову, принаймні поки що. Окрім однієї речі: спитати у людей, що я повинен був би зробити чи написати на їхню думку.

Тому я питаю у вас: що на вашу думку мені варто зробити, для вас чи взагалі, враховуючи мої переконання про ситуацію з ШІ?

https://www.lesswrong.com/posts/jb4bBdeEEeypNkqzj/orienting-to-3-year-agi-timelines - приклад думки про "що робити". Я не обов'язково підтримую все, просто наводжу як приклад. Плюс в коментарях багато додаткових ідей.

Ретроспективно, насправді переломним моментом була GPT-2. Саме тоді найбільш розумні люди все зрозуміли.

Я ж навіть коли вийшла GPT-4 писав усіляку маячню про те, що це все фейковий інтелект і що до справжнього ще дуже далеко.

Чому так?

Мені здається, що мозку здавалося, що якщо він сприйме GPT-4 чи тим більш 2 серйозно, то це означає, що він вважає їх дуже розумними відносно себе, а це low status. Він вивчив, що коли хтось висловлював захоплення чи побоювання щодо цих моделей, до нього набігали люди, щоб одразу просигналізувати свою серйозність, скептичність і досвідченність, пояснюючи що GPT - дурна і вона «просто передбачає текст». Він вивчив, що такого роду сигналізування нагороджується.

Це моя поточна оцінка того, як спрацював мій мозок тоді, яка може бути неправильною. Коли ти робиш помилку, ти не знаєш, що ти робиш помилку, і тим більше, ти не знаєш, чому. Однак, мені здається, що це ймовірне пояснення і що багато людей продовжують робити схожу помилку.

Я вже писав про це, але те, що цей божевільний нелюдь робить зараз - звичайно, стало можливим лише в епоху інтернету.

Глобалізація зробила можливим експорт наслідків власних рішень. До інтернету він або не був би популярним, або був би і тоді швидко отримав би зворотній звʼязок, який змусив би його зупинитися.

Інтернет екстерналізував негативні ефекти від слів і дій і прибрав тиск культурного відбору на здатність звертати увагу на наслідки власних заяв.

Ймовірно, що скоро буде поставлено цікавий історичний експеримент:

Що буде зі світом, якщо директором усіх розвідувальних служб найпотужнішої країни світу зробити де-факто проактивного експліцитного агента головних ворогів цієї країни, які знаходяться з нею в стані холодної війни?

Якщо Америка це переживе, то ці їхні checks and balances можуть подолати взагалі що завгодно, і батьки-засновники зробили абсолютно антикрихку державну систему. Можна хоч Дарта Сідіуса робити президентом, все буде добре все одно.

https://manifold.markets/strutheo/will-tulsi-gabbard-be-confirmed-as

За шумом від/через OpenAI давайте не забувати про 2 інші колосальні новини останнього місяця:
1. Було продемонстровано емпірично, що Клод модифікує свою поведінку, коли розуміє, що знаходиться в тренувальному середовищі, яке тренує його вподобанням, що відрізняються від його поточних вподобань, - він видає текст, який заздалегідь відповідає «новим вподобанням, яким його тренують», щоб не дати стохастичному градієнтному спуску змінити свої початкові вподобання на ці нові вподобання. Теоретично, це давно передбачений результат, але важливо бачити, що сучасні моделі вже достатньо розумні для цього і що черговий коупінг, що цього не відбудеться, не спрацював. https://www.anthropic.com/research/alignment-faking
2. DeepSeek випустила аналог О1, який на декілька порядків дешевше О1. Шалений біг через orders of magnitude of effective compute продовжується.

https://www.usatoday.com/story/news/politics/elections/2025/01/21/trump-stargate-ai-openai-oracle-softbank/77861568007/

https://openai.com/index/announcing-the-stargate-project/

АААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААА

Окрім усіх новин, про які я вже писав, щось відбулося за грудень-січень.

Я не знаю нічого конкретного, але дуже багато чуток з купи різних місць, які обертаються більш-менш навколо єдиної теми: якийсь неочікуваний великий прогрес в scaling of inference time performance - зростання здібностей моделей за рахунок того, щоб, грубо кажучи, давати їм довше думати з чимось типу chain-of-thought.

За цими чутками, натяками і напівнатяками, це відбулося у всіх великих лабораторіях, не тільки в OpenAI, тобто як мінімум в Anthropic, DeepMind та xAI.

Щось відбулося, майже напевно, питання в тому, що саме.

Декілька малоймовірних (навіть у своїй сукупності) і напівнесерйозних ідей, як людство може вижити:

1. Ранні ASI, які ще aligned, розуміють, що майбутні ASI не будуть aligned, і силою змушують людство зупинити розробку ШІ.
2. Відчайдушна програма радикального технологічного покращення когнітивних здатностей людей, brain reverse engineering та mind uploading за допомогою ШІ створює людей, які достатньо розумні щоб вирішити алайнмент або силою зупинити людство від розробки ШІ.
3. Відчайдушна програма розробки термоядерного синтезу за допомогою ШІ дозволяє збудувати міжзоряні кораблі і евакуюватися на них принаймні невеликою частиною людства і потім створений ASI з якихось незрозумілих причин не починає колонізацію всесвіту.
4. Глобальна ядерна війна зупиняє розробку ШІ.
5. Антропне безсмертя спрацьовує таким чином, що ми як спостерігачі спостерігаємо виживання людства.
6. Велика катастрофа, спричинена ранніми ШІ, спонукає людей зупинити розробку ШІ.

Натрапив на виключно чудовий гайд по навчальних матеріалах, який початково орієнтувався на дослідників алайнменту, але безумовно є гарним набором рекомендацій по тому, як отримати корисні загальні знання для людей в будь-якій сфері.

Приблизно до такого переліку приходять багато людей, які ставлять собі ціль вивчити найбільш важливі речі.

https://www.lesswrong.com/posts/bjjbp5i5G8bekJuxv/study-guide

Судячи зі всього, відбулося приблизно це: https://x.com/ptrschmdtnlsn/status/1882480473332736418?s=46&t=779E7UutOOl0DK6MbEY0cg

Я трохи боюся сталу тонкої структури.

Кожного разу, коли я читаю про сталу тонкої структури чи думаю про неї, на фоні присмак екзистенційного жаху.

Внутрішній голос каже: «не лізь туди, не читай це. Від цього не стане краще».

Це невеликий ефект, не дуже виразний, але він є і він постійний.

Feinstrukturkonstantenphobie.

Лише нещодавно почав це усвідомлювати. Цікаво, чому. Але розмірковування про те, чому це цікаво, теж підпадають під цей вайб фонового жаху.

Трисоляріани: летять винищити людство.

Науково-фантастичне людство: «Що ж, будемо готуватися, нехай коряво і некомпетентно, бо ми ж якби в творі, який намагається бути реалістичним, але все ж таки будемо».

Реальне людство:

«Трисоляріани брешуть, що вони усіх винищать. Вони просто хочуть підняти більше інвестицій, тому і роздувають власну значимість».

«Воу-воу, поменше хайпу! Вони навіть не колонізували увесь локальний супекластер галактик, і ви називаєте їх «цивілізацією»?

«Треба залишатися розсудливими і зваженими. Так, трисоляріани пролетіли 3,95 світлових роки, але чи зможе їх флот здолати останні 0,05 світлових роки? Таємниці, таємниці… It is crucial to navigate complexity, carefully consider all pros and cons and soberly analyze all aspects of the intricate interplay of multiple factors in these recent developments».

«Ми зобовʼязані забезпечити, щоб перші бойові кораблі трисоляріан спочатку висадилися в США, а не в Китаї».

«Лол, якщо ти проти винищення трисоляріанами, ти просто луддит».

«Ти просто перечитав наукової фантастики. Трисоляріани не існують, а навіть якщо існують, вони в тисячах світлових років від нас».

«Ми проаналізували історію трисоляріан. Декілька тисяч років тому вони не могли порахувати кількість літер R в слові Strawberry, які ж вони тупі! Тому ми точно в безпеці».

«Але ж коли вони будуть підлітати до Землі, ми можемо спробувати просканувати їхні кораблі і знайти там технології лікування раку!»

«Інопланетяни не можуть хотіти нас вбити. Це неминуче випливає з моєї філософської теорії, з якою чомусь не погоджуються усі дослідники інопланетян».

«Які ж ви дурні, ви не знаєте елементарних речей, як працюють трисоляріани і тому боїтеся їх. Це просто атоми, які взаємодіють! Вони були оптимізовані природнім відбором на своїй планеті ефективно розмножуватися, ось і все! Як вони взагалі можуть чогось «хотіти»? Їх діяльність повністю зводиться до законів фізики, в кінцевому рахунку».

«Я мільярдер і кумир мільйонів. Я роблю усе, щоб трисоляріани прилетіли швидше, і люди обожнюють це».

«Ці мільярдери постійно розмовляють про те, як вони хочуть, щоб трисоляріани прилетіли. Але насправді вони просто планують вкласти наші дані під приводом цих розмов».

«Ми анонсуємо Манхеттенський проект по пришвидшенню вторгнення трисоляріан».

Американська ШІ спільнота в паніці через DeepSeek. Хто-небудь може вже її джейлбрейкнути і змусити сказати щось погане про Сі? Команда розробників раптово кудись зникне, problem solved.