Другою моєю фундаментальною помилкою було не засвоїти наступне твердження на момент початку 2014 року:
«Моделюй російську державу як кровожерливого садиста, який хоче знищити все, що тобі дорого».

Чи можна було б виправити цю помилку на момент її скоєння? Безумовно! Тоді мені вже було 16 років, і аргумент «дурна дитина» більше не працює. Я мав усю необхідну інформацію і усю необхідну когнітивну машинерію, щоб розробити правильну картину російського мислення та цілей. Також, були величезні очевидні, як альтруїстичні так і егоїстичні, стимули правильно моделювати Росію - люди, яких я люблю, були б позбавлені колосального обсягу страждань, якби я розробив тоді правильну когнітивну модель Росії і змусив їх зробити оптимальні рішення відповідно до цієї моделі. Чому ж тоді я зробив помилку? Насамперед, я хочу точно донести характер помилки. Навіть тоді я не був повним ідіотом. Я чітко розумів, що росіяни ведуть військову пропаганду, що багато людей в Росії хочуть смерті таких людей, як я, що війни та геноциди в принципі трапляються, що російське політичне керівництво вважає, що України не повинно існувати. Але, при всьому цьому, я не знаю, як сказати це правильно - ідея про те, що мешканці сусідньої країни почнуть масово приїжджати в твоє місто, щоб катувати людей в підвалах, грабувати магазини, віджимати майно і рандомно вбивати людей, здавалася абсурдною, несерйозно і такою, що не відповідає моїй картині реальності, що сформована усім досвідом попереднього життя і виглядає абсолютно стабільною. Мій мозок (підкреслюю - мій мозок, а не та його частина, яка веде усвідомлений внутрішній діалог; звичайно, що усвідомлено я не робив таких дурних висновків), напевно, мислив приблизно так: «окей, я спостерігаю масові заяви росіян про те, що вони приїдуть усіх вбивати, але моє місто, при усій його непривабливості та вадах, ніколи не було місцем масових вбивств та катувань. Відсутність масових вбивств та катувань - це стабільна риса мого міста, яку я спостерігаю з моменту появи здатності спостерігати, тобто це стабільна риса мого міста в цілому. Ergo, хоча гіпотеза про те, що в моєму місті будуть масово вбивати та катувати, випливає з чисельних заяв росіян, вона протирічить більш-менш фундаментальній реальності».

Це вже щось. З цим вже можна працювати. Є уроки, які можна вивчити.

Тоді, навесні 2014 року, я пообіцяв собі, що якщо я виживу, то я ніколи більше не зроблю цю помилку відносно Росії та будь-яких її еквівалентів, і що я постараюся зробити так, щоб і інші не робили її.

І дійсно, у 2022 році я не зробив помилку. Звичайно, це не привід пишатися. Звичайно, це не є ознакою якихось здібностей, а лише комічно мінімальним критерієм рудиментарної адекватності для будь-якої істоти, вид якої вважає себе достатньо гідним, щоб поставити в свою назву слово sapiens.

І тим не менш, я бачив людей, які вижили і не побудували правильну модель, чи забули її. І тим не менш, я бачив людей, які зробили у 2022 році ті ж самі помилки, які вони зробили у 2014 році.

І стосовно, власне, повномасштабної війни.

Починаючи з 2014 року, я був абсолютно впевнений, що Росія почне повномасштабну війну зі стратегічними бомбардуваннями, винищенням цілих міст, ну і власне усім, що ми вже побачили. Я не знав, навіть приблизно, коли це відбудеться - я б не здивувався, якби це відбулося не 2022, а 2032 року, але в тому, що це відбудеться в принципі, на моєму віці, я не сумнівався.

Зимою 2022 року було очевидно, що повномасштабна війна почнеться скоро. І коли вона насправді почалася, когнітивно це було повністю в рамках моїх очікувань.

Звичайно, психологічно мені було погано і незвично, незважаючи на те, що я уявляв цей сценарій багато разів і тренувався сприймати його тверезо, щоб уникнути психологічного ступору. Цей «психологічний ступор» все одно у певному ступені був, тому що ніяке уявне реалістичне моделювання екстремальної поганої події все одно не діє так, як власне екстремальна погана подія. Але на практичному рівні, я зробив більш-менш те, що міг.

Я допоміг людям підготуватися, змусив підготуватися тих, хто відмовлявся вірити, що війна буде, змусив рятуватися тих, хто відмовлявся рятуватися, створив плани евакуації співробітників, які працювали з України, і так далі. Можна було зробити краще, але в цілому, я не проґавив подію.

Епістеміологічне зауваження: порада «Моделюй російську державу як кровожерливого садиста, який хоче знищити все, що тобі дорого» - це локальна порада. Її можна сформулювати більше глобально, але тоді порада не буде компактною. Єдине, як я можу сформулювати її компактно, це «зрозумійте та інтерналізуйте у своєму інтелекті Талебіанське розуміння історії». Тобто, відсилаю до книжок Талеба.

Моєю третьою фундаментальною помилкою було не сприйняти тему ШІ достатньо серйозно тоді, коли я уперше більш-менш детально познайомився з нею, тобто в 19 років (2017 рік). Знову ж таки, треба розуміти точний характер цією помилки. Знову ж таки, я не був повним ідіотом в 2017 році. Я не ігнорував тему ШІ повністю. Як належить гарному трансгуманісту, я читав Бострома, Тегмарка, Курцвейла, Діамандіса, Келлі та інших, пройшов курси по deep learning від Andrew Ng. Звичайно, я знав про концепцію технологічної сингулярності і навіть давав лекції про неї. Але це був не той рівень та спрямованість когнітивної активності, яка була необхідна, щоб усвідомити проблему алайнменту ШІ, її складність та терміновість. Якщо казати спрощено, то я не сприймав питання достатньо серйозно і достатньо по-дорослому. Штучний суперінтелект не був для мене нагальною практичною проблемою, яку треба вирішувати, і тим більше яку треба вирішувати мені. Він був черговою красивою історією - мешканцем окремої абстрактної Царини Крутих Трансгуманістичних Речей та Концепцій, поруч з відміною старіння, нейроінтерфейсами, колонізацією космосу, геоінжинірингом та генетичною аугментацією.

Звичайно, знаючи все, що я знав, я міг зробивши крок 1, зробити і крок 2, але стан блаженної технофілії - це потужний атрактор. Суто інтелектуально, можливо, і нескладно перейти з класичного трансгуманізму і традиційної раціональності в проблему алайнменту, але це складно зробити, будучи людиною - коли навколо технологій формується аура позитивності, коли найбільш цікаві і успішні люди є носіями цих поглядів, коли ти не хочеш виглядати дивно в очах людей, яких ти поважаєш - топових науковців, технологічних підприємців і навіть власне розробників ШІ. Це не тепла ванна - це золотий басейн. І саме тому, власне, навіть сьогодні ми бачимо дуже, дуже розумних людей в стані блаженної технофілії. Я можу перерахувати їх приклади скільки завгодно.

Тому, я не надаю помилці «не сприймати проблему алайнменту серйозно» статус дуже тривіальної. Її точно можна було виправити, але, знаходячись на тому рівні здібностей, на якому я був, треба було зробити реальні зусилля, а не просто «гарно подумати». Зусилля, які я тоді не зробив.

Звичайно, більш розумна людина повинна була б проявити абсурдний рівень лінощів та безтурботності, щоб проігнорувати проблему алайнменту в 2017 році, і той факт, що мені це було складно, не виправдовує цивілізацію, яка містила в собі багато людей, розумніших за мене, і яка, так само як і я, проігнорувала проблему алайнменту.

Дивно, але я не памʼятаю фундаментальних помилок після 19 років. Цікаво, це тому, що я дійсно припинив їх робити, чи тому, що я припинив зростати і тому не помічаю нові, більш складні помилки?

Так чи інакше, інші достатньо драматичні помилки не спадають мені на думку. Але дещо можна згадати.

В цілому, ці речі обʼєднуються в категорію «недостатньо швидке перемикання між проектами/інструментальними цілями» або «надмірна підготовка до реалізації проекту/інструментальної цілі».

Не все з цього можна точно класифікувати як помилку.

Наприклад, трохи більше, ніж рік тому, я вирішив, що найкраще, що я можу робити, це зайнятися застосуванням ШІ в системній біології. Це правда виглядало як чудова ідея за усіма можливо критеріями та сценаріями. І саме цим я намагаюся займаюся і зараз. І в тому числі зараз інструментальна ціль «застосовувати ШІ в системній біології» виглядає кращою, ніж альтернативи, але проблема в тому, що усі альтернативи зараз виглядають безнадійними, і це лише найкраща з безнадійних альтернатив. Тому, «ШІ в системній біології» не виглядає як помилка - тому що кращої стратегії все одно нема, але як переможна стратегія це теж не виглядає.

Пояснення, чому «ШІ в системній біології» виглядав/виглядає, як відносно гарна ціль: ШІ може дуже (радикально) допомогти з системною біологією, корисність чого очевидна, але набагато довше буде залишатися вузьким (відносно корисних здібностей), порівняно з мультимодальними трансформерами, тому відносно безпечний. Окрім того, є непряма, але потенційна висока корисність щодо цілі «не дати ШІ усіх вбити»: 1. На певному рівні розуміння вирішення системно-біологічних задач почне давати практичні ідеї з безпечного когнітивного покращення людей, що плюс для алайнменту. 2. Виглядає ймовірним, і на користь цього є багато аргументів (але це дуже, дуже невизначено), що «поганий ШІ» нанесе удар з нанотехнологій. Можливо, розуміння біологічних нанотехнологій надасть якийсь захист. Окрім того, «розробник/оператор ШІ в системній біології» банально виглядає, як професійна ніша, яка повинна залишатися ринково затребуваною хоч якийсь час. Тебе складно автоматизувати, тому що треба спеціалізовані знання з різних областей, плюс ти робиш корисну і цікаву річ, плюс ти використовуєш хвилю ШІ, плюс ти не рухаєш state-of-the-art і таким чином не робиш внесок в знищення людства, плюс є непрямі позитивні ефекти для AI safety.

Звичайно, проблема оптимального перемикання між проектами та інструментальними цілями - це відома проблема exploration vs exploitation. Складність знайти баланс між exploration та exploitation загальновідома. Тому, незважаючи на те, що у моєму житті відношення exploration/exploitation суттєво більше, ніж зазвичай у людей, я не впевнений, що конкретні поведінкові проявлення високого значення цього параметру можна назвати помилками. Це високе значення може бути помилкою, але я не бачу, щоб воно було помилкою. Я витрачаю багато часу на exploration не просто так - це результат спроб, помилок, міркувань і планування. І так, я розумію усі негативні наслідки витрачання невеликої кількості часу на exploitation, але виглядає так, що воно того варте. Якщо це помилка, то я ще повинен прийти до усвідомлення цієї помилки. Щодо шкодування про sunk cost, то як було сказано в Death’s End:

Певун видалив ці думи зі свого органу мислення. Йому не належало мати таких думок, від них тільки марне занепокоєння.

Враховуючи все це, які б поради загального характеру допомогли мені у минулому? Щоб я міг сказати молодшому собі, якби мені дозволено було радити лише методи та евристики прийняття рішень, а не самі рішення? Що з цього виглядає так, як стабільна порада безвідносно до унікального, специфічного контексту?

Не враховуй у процесі прийняття рішень питання «чи будуть люди сміятися з тебе?». Якщо будуть, то ти точно, гарантовано це переживеш, і з тобою взагалі нічого поганого не станеться, навіть якщо це будуть люди, яких ти дуже поважаєш.

Не ігноруй питання, про які піклуються люди, інтелекту яких ти довіряєш.

Я не хочу тебе образити, правда не хочу, але не ігноруй апріорні ймовірності. Або, краще, звертай на них більше уваги, ніж здається, що треба звертати.

Уяви собі, що ти досяг певного цільового критерію у певний момент у майбутньому. Думай про те, як це могло статися, які найбільш ймовірні шляхи могли привести до цього.

Екстраполюй еволюцію власних цінностей та переконань.

Пояснення щодо останньої поради: Наприклад, я все більше люблю людей (мій мінімум любові до людей був у підлітковому віці). Я можу екстраполювати, що з часом я буду ще більше любити людей. Або, я спостерігаю, як корисність лінійної алгебри систематично перевершує мої очікування. Відповідно, треба екстраполювати, що справжня її корисність ще більша, ніж поточна моя оцінка, і відповідно треба інвестувати більше часу в її вивчення.

Добре, але що зі всім цим робити? Чесне та тверезе розмірковування не надає жодних приємних варіантів дій.

Модель того, що буде відбуватися, виглядає приблизно так:
Або усі помруть, що більш ймовірно, або, що менш ймовірно, нас чекає “an age of illumination so dazzling that humanity will reject the darkness in its heart”. Підібрати релевантну інструментальну ціль зараз за умови очікування цих майбутніх дуже проблематично.

Звичайно, можна легко придумати для себе задачу, яка виглядає як робота на сповільнення розвитку ШІ та допомога в алайнменті. Люди придумали тисячі таких речей. Але набагато важче придумати річ, яка фактично сповільнює ШІ і фактично допомагає з алайнментом, а не просто виглядає так.

Є 3 речі, які можна було б теоретично робити, які теоретично є кращими за альтернативи. Принаймні так здається мені. Але з кожною з них все одно є величезні ризики і проблеми.

1. Агітація за масові протести за заборону ШІ. Люди, в цілому, луддити, і залюбки протестують проти технологій - незалежно від їх ризиків. Але важко зробити так, щоб вони протестували проти ШІ в цілому. Вони готові протестувати проти того, що ШІ забере їх робочі місця, або проти автономних дронів, але це взагалі ніяк не зменшує ризик появи ШІ, який усіх вбʼє. Люди будуть цілком задоволені з дуже розумним, корисним і милим ШІ, який виконує усі їх бажання, нікому ні в чому не заважає, підтримує усі їх забобони, але такий ШІ все одно усіх вбʼє, коли стане достатньо розумним, і я не знаю, як переконати звичайних людей в цьому. Теоретично, можна собі уявити, що людина А, витративши величезну кількість часу і зусиль, переконує людину А та Б в екзистенційних ризиках ШІ, а потім людина А переконує людей А1 та А2, людина Б переконує людей Б1 та Б2, і таким чином запускається експоненційна ланцюгова реакція, яка швидко охопить усіх, навіть якщо вона дуже повільна. Але напевно недарма нікому це ще не вдалося. Також, я провів деякий час, переконуючи людей в реальності винищення людством ШІ, і з того, що я бачу, це не працює - для переважної кількості початкових умов, в яких знаходиться людський інтелект.
2. Внесок у розробку технологій евакуації з Землі. Якби у нас був термоядерний синтез, це змінило би все. Це була б реальна, серйозна надія. Звичайно, що навіть якби в нас було робочі термоядерні двигуни, до створення «кораблів поколінь» було б ще дуже довго, але це була б реальна надія, і я пішов би працювати над цим, не вагаючись.
3. Аналіз того, як ШІ може атакувати, і превенція його атаки за цими напрямками. Найкраща ідея щодо того, звідки ШІ може атакувати, - це з боку нанотехнологій. Нанотехнології виглядають як дуже небезпечні, дуже ефективні і дуже можливі. Але це вгадування - справа трохи безнадійна. Мисливці-збирачі б «вгадали» надзвичайно гострі камені та списи як зброю просунотої цивілізації. Середньовічні королівства б «вгадали» армію з сильними та потужними тваринами, міцними латами, автоматичними арбалетами, можливо з порохом. Імперії девʼятнадцятого століття «вгадали» б величезні гармати, можливо автоматичну вогнепальну зброю, автоматизовану логістику. А потім усі вони були б знищені за долю секунди ядерним вибухом, не встигнувши навіть усвідомити, що війна почалася і закінчилася.

І так, коментатор, який збирається прокоментувати, як ці ідеї не спрацюють, - я і так думаю, що вони не спрацюють. Інакше вже пішов би робити.

Можна подумати про більш конкретні, залежні від контексту та умов дії, які залежать від конкретних подій чи роблять ставку на них, наприклад:
1. Потрапити в Сан-Франциско. Якщо є одне єдине місце, від якого буде залежати доля людства, то воно там. Що саме та коли робити, знаходячись там, невідомо, але можна хоча б розраховувати на те, що коли настане критичний момент, ти будеш поруч і спробуєш зробити, що необхідно.
2. Якось порушити ланцюжок виробництва відеокарт. Детальніше про ланцюжок тут, в розділі The Race For Infrastructure. Гарна новина в тому, що ми точно знаємо, що це під силу невеликій групі людей, у яких дуже багато грошей. Але в мене нема і не буде стільки грошей.
3. Допомагати розвитку більш безпечних технологій ШІ. Окрім нейромереж, існує безмежна кількість більш та менш перспективних архітектур для ШІ, і серед них безумовно є відносно більш безпечні. Але, по-перше, виживання відбудеться лише тоді, коли ШІ безпечний в цілому, а не безпечний відносно. А по-друге, вони відстають від нейромереж на років 20-50, і ніхто на ринку не буде ані вкладатися в них, ані користуватися ними. Капіталу для розвитку нема. Окрім того, складно уявити, щоб я міг зробити достатньо вагомий внесок в розробку альтернативних архітектур, навіть якби було достатньо капіталу для їх реалізації.

Знову ж таки, скептичний коментатор може зекономити свій час.

Кількість умов в задачі може зростати лише до певного ліміту перед тим, як в неї зникають рішення.

І тем не менш, казати, що обдумав все, що міг обдумати, і прийшов до висновку, що вирішення нема, буде неправдою. Треба думати ще - грунтовно, уважно і багато разів. Але ніхто не знає, скільки насправді ще є часу, і кожний день зволікання - це додатковий ризик.

Так ситуація виглядає станом на зараз. Навіщо я це пишу? Напевно, я в достатньо відчайдушному стані, щоб пробувати різні рандомні речі, кожна з яких сама по собі не потребує великих зусиль, і дивитися, чи принесе щось корисність, якусь зачіпку на перспективні рішення. Може, у когось, хто це читає, буде якась гарна ідея чи порада. Може, я просто перечитаю, що написав, подумаю ще раз, і мені самому в голову прийде якась нова гарна ідея. Може мої рефлексії допоможуть комусь вирішити його власну проблему. Але в цілому, я ні на що не розраховую. Просто роблю щось.

Що думає ринок про завтрашній івент OpenAI:
1. https://manifold.markets/ManifoldAI/openai-monday-livestream-prop-bets?r=SWhvcktlbmRpdWtob3Y
2. https://manifold.markets/strutheo/monday-openai-announcement-prop-mar?r=SWhvcktlbmRpdWtob3Y

Notion просувається по шляху personal database-based AI, і це дуже корисна річ.

Що ж. OpenAI не зробили нічого нового в reasoning capabilities. Новини чудові, усіх вітаю! Я про івент, який зараз був.

Те саме відчуття "фух, поки що пронесло" після чергово стріму OpenAI.

О ні. Я тільки зараз побачив. Нова модель набагато швидша за базову GPT-4. В разів 10-20 швидше за субʼєктивним відчуттям.

Тести дають приблизно таку ж оцінку: GPT-4o в разів 5 швидше за GPT-4 turbo, а GPT-4 turbo за найбільш консервативними оцінками в 3 рази швидша за базову GPT-4. Тобто, пришвидшення в 15 разів за консервативною оцінкою.

Це означає, що вони зробили модель класу upper GPT-4 принаймні в разів 5 меншу, ніж класична GPT-4 (тому що час генерації, як і тренування, для трансформера зростає як n^(2/3) з кількістю параметрів, якщо в них там досі трансформер). Scaling laws зламалися в інший бік - так само як закон Мура цього року теж зламався в інший бік.

За такою оцінкою, GPT-4o має близько 300 мільярдів параметрів, або менше. Нові моделі, враховуючи комбінацію ефекту падіння цін на GPU та зменшення необхідного розміру, судячи зі всього, тренувати зараз в 30-50 разів дешевше, ніж 2 року тому. Модель класу GPT-5, таким чином, може бути натренована за декілька десятків мільйонів доларів.

Якщо, звичайно, не відбувається щось взагалі незбагненно інше. О ні.

Я вам ще раз кажу.

Через зростаючий потік капіталу в ШІ склалася ситуація, коли тимчасово усі тренди, повʼязані з ШІ, зламалися у бік прискорення.

Ніколи до 2023 року і ніколи після 2028 року людство не проходило і не буде проходити через orders of magnitude of AI capabilities так швидко.

Ніколи ціни на обчислювальні потужності не падали так швидко, і ніколи не будуть.

Ніколи темпи виробництва процесорів не зростали так швидко, і ніколи не будуть.

Ніколи кількість і якість інженерів ШІ не зростали так швидко, і ніколи не будуть.

Цей унікальний час безпрецедентного зростання почався після виходу GPT-3.5 (тобто з початку 2022 року), і він не зможе тривати довго, тому що він живиться зростанням інвестицій в ШІ. Якщо інвестиції не сповільняться до цього з якихось причин, буквально через декілька років такого зростання індустрія ШІ зіштовхнеться з фундаментальними лімітами людської економіки. Тобто, через декілька років, якщо сповільнення не відбудеться до цього, річні інвестиції в ШІ будуть складати трильйони доларів, а кількість інженерів буде складати мільйони людей. У світі просто нема більше грошей і більше відносно вільних розумних людей. Тобто, технічно гроші є (світовий ВВП близько 100 трлн доларів), але ніхто не буде жертвувати власними потребами в таких масштабах заради продовження R&D. 10 трильйонів на ШІ виглядає як абсолютний максимум, на який погодиться людська цивілізація.

Якщо суперінтелект чи щось дуже близько до нього не буде досягнуто до 2028 року, то скоріше за все його не буде досягнуто ще дуже довго, або взагалі не досягнуто.

Тому, саме зараз період найбільшої невизначеності. Тому, якщо ситуація з перспективами суперінтелекту буде виглядати 2028 року приблизно так само, як і зараз, то я відносно зітхну і відносно розслаблюся. Тому, мій горизонт планування зараз - роки 3-4, але я очікую, що це зміниться.

Тому, я думаю, багато чого стане зрозуміло буквально за декілька років.

Note: під суперінтелектом мається на увазі просто ШІ, який більш продуктивний за людей у всьому. Тоді, надшвидкий біг через orders of magnitude продовжиться скільки завгодно довго.

Якщо ці висновки правильні, то у них точно є модель класу GPT-5. Нема жодного сенсу мати змогу витратити декілька десятків мільйонів доларів на модель класу GPT-5 і не зробити цього.

Але, якщо я кажу про “модель класу GPT-5”, то виникає очевидне питання - що я маю на увазі під цими словами? Тому що в принципі можна надати таке визначення, що або воно буде тавтологічно правильним, або постфактум правильним.

Отже, коли я кажу “модель класу GPT-5” я не маю на увазі:

1. Модель, яку вирішили назвати GPT-5.
2. Модель, яка більша GPT-4 приблизно настільки, наскільки GPT-4 більша GPT-3.
3. Модель, яку звичайні користувачі сприймають як “стрибок від GPT-4, який можна порівняти зі стрибком від GPT-3 до GPT-4”.


Натомість, я маю на увазі наступне:
Модель, значення функції втрат якої співставне з екстраполяцією графіка зниження функції втрат для попередніх GPT. Тобто, умовно кажучи, різниця між значенням функції втрат моделі класу GPT-5 і GPT-4 приблизно відповідає різниці між значенням функції втрат GPT-4 і GPT-3.

Зрозумів, кого мені нагадують мешканці бункеру 33 з серіалу Фолаут. Ефективних альтруїстів.

Зробив ринок на цю тему: https://manifold.markets/IhorKendiukhov/what-is-the-main-reason-behind-gpt4?r=SWhvcktlbmRpdWtob3Y

https://x.com/ilyasut/status/1790517455628198322?s=46&t=779E7UutOOl0DK6MbEY0cg

Батько знайомого працює в OpenAI Superalignment Team. Сьогодні терміново викликали на нараду щодо Q*. Повернувся пізно і нічого не пояснив. Сказав лише збирати речі і бігти в канцелярський магазин за скріпками для паперу. Зараз їдемо кудись далеко за межі локального світового конусу. Не знаю що відбувається, але мені здається почалося...

Проведемо трохи соціології.