Минулого літа я зробив доволі дивну річ - прочитав монографію про стан досліджень в AGI 20-річної давнини. Доволі специфічний, але дуже показовий досвід, щоб подумати про тренди в діапазонах не років, а десятків років.

Купа ідей про символьно-логічні ШІ, концепція «самореференційної машини Геделя» від божевільних професорів Мюнхенського технічного університету, Герцель піарить свою компанію, молодий Юдковський рашить робити суперінтелект, навіть не згадуючи про алайнмент. Нейромережі як такі згадуються як переферійна, в кращому випадку додаткова технологія. Про те, що тренування на передбаченні тексту, фото чи відео може призвести до AGI, взагалі не згадується.

Ех, «пішла епоха».

Допитливому читачу, як-то кажуть, надається можливість самому подумати про висновки.

Сьогодні на нетфліксі виходить екранізація Задачі трьох тіл. Для мене трилогія Лю Цисіня - це один із найважливіших творів художньої літератури в цілому, і зараз як ніколи час написати про неї. Буде декілька постів.

У будь-якому випадку, усім рекомендую прочитати. Геніальний твір, сюжет і персонажі.

Коли я читав уперше, то мене трохи дратувало те, що людство в Задачі трьох тіл інколи відмовлялося робити очевидно правильні з точки зору виживання речі заради певних абстрактних моральних принципів чи психологічного комфорту. Мені здавалося, що автор трохи перебільшує тупість та ідеологізованість людства. Мені здавалося дуже малоймовірним, що людство не дасть врятуватися хоча б багатіям на приватних космічних кораблях і надасть перевагу повному знищенню, або що людство буде проти нейрологічного маніпулювання переконаннями солдат для підвищення їх бойових здібностей.

Ахаха.
Аххахахахахах.

Лю Цисінь, насправді, був дуже високої, нереалістично високої думки про людство.

Якби він намагався бути більш реалістичним, то історія із вторгненням інопланетян-Трисоляріан виглядала би так:

По-перше, до вторгнення Трисоляріан взагалі б ніхто не готувався. Сказали б, що інвестувати в захист планети - погано для економіки/рівності/справедливості/свободи, і на цьому б закінчили.

По-друге, до людей-колаборантів Трисоляріан на Землі ставилися б не як до терористів, а як до поважних лідерів думок та аналітиків. Їх би запрошували на Ted Talks, інтервʼю з ними показували б на центральних каналах. Лекс Фрідман записав би подкаст з Евансом, де той би розповів, чому знищення людства - це правильно і круто, а Фрідман би сказав, що це цікава думка, яка заслуговує на емпатію, і цей подкаст набрав би мільйони переглядів, і кількість підписників би тільки зросла в результаті. Ілон Маск сказав би, що вторгнення Трисоляріан - це змова лівих демократів, і ми повинні зробити все, щоб закон про фінансування оборони Землі не був прийнятий.

По-третє, людей, які б хоч якось намагалися принаймні вказати на проблему, сказати, що вона існує, усіляко б гнобили і блокували. Говорили б, що вони відволікають від реальних проблем, що вони просто хочуть сконцентрувати владу в своїх руках, що вони просто фашисти, комуністи чи капіталісти, і тому погані.

По-четверте, значна частина людей взагалі б вважала історію про флот Трисоляріан, що насувається, «фейком західної пропаганди», і вони б демонстративно робили все у протилежності до того, що просили робити військові та наукові фахівці.

Але це була б нецікава історія, принаймні якщо це не комедія.

Людство Задачі трьох тіл - те людство, яке боролося по-справжньому, йшло на жертви, застосовувало креативні стратегії - в кінцевому рахунку, загинуло. Воно загинуло не як герой після довгої виснажливої битви, а як жук, якого розчавили, і він навіть не встиг зрозуміти, що відбувається. Не маючи шансів уникнути цього. Але воно хоча б загинуло з гідністю.

Подивився. Топ, усім рекомендую. Книга все одно краще, але 80% від шедевру - це теж шедевр. Книгу у будь-якому випадку мало хто прочитає, так що тепер широкий загал має можливість подивитися, що таке тверда наукова фантастика, боротьба за виживання серед ворожості байдужого Всесвіту та інший розум.

Авторам величезний респект не тільки за повагу до оригіналу і бажання зробити якісно, але і за те, що із першого сезону вже чітко видно, що планують екранізувати усю історію трилогії, в тому числі «Вічне життя смерті», тобто до кінця Всесвіту. На це взагалі не сподівався, тому що «Вічне життя смерті» надзвичайно складна і депресивна книга для екранізації.

Коли буде час, то розповім детально, чому мені це так сподобалося і чому це важливо.

Чесно, надсекретна політика OpenAI дратує і може призвести до зворотнього ефекту. Зрозуміло, що не можна робити open source ШІ - це прямий шлях до прискорення загибелі. Але приховування інформації взагалі про все буде лише стимулювати open source розробки. Ніхто не знає, які в них є моделі і на що саме вони здатні і нездатні, ніхто навіть не бачив незаRLHFну версію ChatGPT-4, жодна зовнішня незалежна організація не може зробити жодних оцінок і тестів. Не можна робити дослідження безпеки ШІ без доступу до ШІ. І хоча б дослідники повинні б були мати доступ. Вочевидь, люди будуть шукати і робити альтернативи, в тому числі open source.

І чому просто не сказати хоч якусь відповідь на питання «де Сатскевер»? Хоча б «ми тобі не скажемо, тому що ти лох» або «самі не знаємо». І таких питань багато.
Що таке Q* конкретно? Що сталося тоді, коли ChatGPT почала писати незрозумілу байду? Як саме ви пофіксили SolidGoldMagikarp?

Ця політика тотального ігнору мені незрозуміла.

Люди, які здаються дуже розумними, але насправді набагато більш розумні, ніж здається:

Стівен Вольфрам
Насім Талеб
Едуард Віттен
Скот Ааронсон
Юрген Шмідхубер
Вікторія Краковна.

Найбільш приємною несподіванкою екранізації було те, що якимось чином авторам вдалося зробити так, що серіал не скочується в ліву повістку. Ліва повістка як така не завжди є чимось поганим або тим більше чимось вирішально поганим, але тут вона б вбила увесь сенс.

Але ні, не прогнулися. Гігачад Уейд в серіалі навіть ще більший гігачад, ніж в книзі; космос такий же холодний, жорстокий і непривітний, такий же за межами руки Бога, і в ньому нема жодних фей, які б дозволили перемогти «силам любові» замість важкої і жорсткої праці. Навіть серіальний аналог божевільної Маши-Дуняши Чень Сін не робить (поки що) настільки божевільних речей (але тут все може бути ще попереду).

Це, насправді, трохи дивує. Але усе ще нема Чжан Бейхая як конкретної ілюстрації адекватності та того, як можна робити неможливе для врятування людства.

Подивився нарешті виступ Дженсена з презентацією нових відеокарт. Що ж.

Свідки закінчення закону Мура, вітаю! Закон Мура нарешті зламався.

Але в інший бік.

Нові чіпи Nvidia дозволяють тренувати ЛЛМ в приблизно 8 разів дешевше, ніж 1.5 роки тому. І наступне покоління буде мати співставне падіння ціни.

І це саме те, чого варто було очікувати, коли інвестиції в чіпи виросли на один-два порядки за пару років. І це в тому числі чому я очікую, що наступні декілька років покажуть нам, чи насувається суперінтелект, чи ні. Поточне аномальне прискорення прогресу в залізі для ШІ стимулюється аномальним зростанням інвестицій, і це зростання припиниться, коли інвестицій досягнуть трильйонів доларів на рік - більше людська економіка просто не зможе потягнути. Якщо людство не досягне достатньої для суперінтелекту обчислювальної потужності до цього, то після цього прогрес в залізі буде йти набагато повільніше (як, ймовірно, і прогрес с алгоритмах). Але ці інвестиції в декілька трильйонів будуть майже точно досягнуті до 2028 року. Найближчі роки - це останні роки невизначеності, детальніше про це тут.

Також Дженсен просто злив розмір GPT-4 (1.8 трлн параметрів), що до речі майже відповідає прогнозам Manifolds (1.7 трлн).

США не встигнуть заблокувати доступ до передового ШІ для ЄС, ЄС зробить це сам. https://www.reuters.com/technology/google-apple-breakups-agenda-global-regulators-target-tech-2024-03-24/

Це чутки, не факт, що правда.

Не хочу якось коментувати цю новину, бо виглядає як фантастика і як дуже добре, щоб бути правдою, і при цьому майже ніхто про це не говорить. Якщо раптом виявиться, що це правда, що це спрацює, то це змінює все.

https://www.spglobal.com/commodityinsights/en/market-insights/latest-news/energy-transition/010524-fusion-energy-industry-anticipates-electric-power-breakthrough-by-summer

Я писав про те, що краще не йти на економічну спеціальність, навіть якщо ви хочете займатися чимось дотичним до економіки.

Негативну пораду (у сенсі «що не робити») давати набагато легше і часто набагато правильніше, ніж позитивну («що робити»), але я все ж таки спробую зараз зробити останнє: на яку спеціальність йти абітурієнту, якщо він не знає, що робити?

Одразу скажу дісклеймер: я не прямо впевнений у тому, що напишу нижче, але у мене є перелік вагомих причин так вважати. Сприймайте це трохи зі скепсисом, але я думаю, що основні думки правильні. Окрім того, усе, що написано, стосується скоріше реалій західноєвропейської освіти. В Україні ситуація може бути іншою, але не думаю, що принципово іншою.

Отже.

Якщо ви не знаєте, куди поступати, якщо ви не бачите чітко визначеного шляху перед вами, то поступайте на фізику. Навіть якщо ви вже бачите чіткий шлях та сферу діяльності, якою хочете займатися, то все одно розгляньте фізичну освіту.

Чому так і саме так?

Сподіваюся, що переваги STEM-освіти і так очевидні, тому зосереджуся на перевагах фізики саме серед STEM-дисциплін.

1. Фізична освіта дає одночасно гарне розуміння математичного апарату та наукового методу. Математика дає лише перше, хоча звичайно, що в першому вона краща майже за визначенням. Але фізик набагато краще розуміє, як проводити дослідження. Фізик вміє моделювати краще і мислить конкретно. Коли я прошу математика зробити фінансову модель, він завжди спочатку починає доводити різні теореми і задавати мільйон питань про формалізацію задачі, а фізик просто бере і робить. Математик, в кінцевому рахунку, теж зробить, але треба докласти багато зусиль. Те ж саме стосується практики роботи в машинному навчанні.

2. Фізика дозволяє здобути культуру наукового дослідження і аналізу даних. Не всюди і не завжди можна отримати результат, який буде виглядати так гарно і обґрунтовано як у фізиці, але це ідеал, до якого треба прагнути, і не знаючи, як виглядає ідеальний результат, ви не зможете робити гарні результати.

3. Computer science та дотичні речі є традиційно популярними, але проблема з ними в наступному: на computer science викладають саме computer science, а не програмування. Звичайно, якщо ваша ціль - бути фахівцем саме з computer science, то це те, що треба, але цей пост для тих, хто не визначився. Йти на computer science з метою працювати потім в абстрактному айті - це можливо не найкраща стратегія, тому що там ви не вивчите ні багато з того, що треба для роботи в айті, ні різні важливі сфери математики (в тому числі, як не дивно, ті, що необхідні для ШІ), ні науковий метод, який необхідний взагалі для всього.

4. Фізика, банально, дуже складна, і це те, що треба.

5. При всьому цьому, я не кажу, що фізика - це ідеальний варіант першої освіти. Але попарне порівняння майже з будь-чим призводить до висновку, що вона принаймні краща. Біологія? Майже будь-які серйозні дослідження в біології зараз дуже дотичні до фізики та біоінформатики. Інженерія? Вона заснована на фізиці і є більш вузькою сферою. Економіка, аналіз даних? Фізик будує моделі та аналізує дані краще, ніж будь-хто. І так далі. Інвестиції? Абсолютний та безперечний лідер серед хедж-фондів Renaissance Capital майже повністю укомплектований фізиками.

Ще стосовно того, наскільки довіряти/не довіряти цьому тексту:

Я не здобував формальну освіту з фізики, і це головне джерело невпевненості. Але я здобував формальну освіту в економіці, біології, математиці та computer science, і всюди я бачу, як знання і розуміння фізики допомагають - часто більше, ніж власне фахові знання. Фізичне мислення, моделювання і моделі допомагають мені всюди, де я знаходжу, як їх застосувати.

Я також працював над складними проектами з людьми самих різних спеціальностей, і фізики завжди виглядають найбільш ефективними. Вони розумні, швидкі, точні та чесні. Такими ще бувають успішні трейдери незалежно від освіти. І хоча я знаю фізику набагато менше, ніж випускник фізфаку, я знаю її на певному рівні. Також я бачу постійно те, як фізики більше ніж будь хто переходять в інші сфери і стають там дуже успішними.

Моя варіація закону Гудхарта: Максимізація майже будь-якого критерію може мати сенс лише тоді, коли це відбувається як побічний ефект, а не як результат цілеспрямованої діяльності з його максимізації.

Високий індекс Хірша - показник ефективного науковця лише тоді, коли він не намагався максимізувати індекс Хірша. Високі оцінки - показник знань лише тоді, коли студент не намагався максимізувати оцінки. Кількість підписників стартапу - показник його успіху лише тоді, коли він не намагався максимізувати кількість підписників.

До речі, дотично до індексу Хірша: https://youtu.be/LKiBlGDfRU8?si=3d_9LXEbzlQZ5O9a.

Подивіться, якщо ще дивилися. У моїй бульбашці це відео викликало доволі агресивні дискусії.

Я до речі знаю одну історію, як людину взяли постдоком до одного дуже високорейтингового (топ-20 у світі) університету за умови, що він буде анонімно писати статті для професора з цього університету, тобто вони будуть виходити потім під виключним авторством цього професора.

Серед усіх величезних і драматичних помилок розробників ШІ 20 років тому назад напевно найбільшою була помилка вважати, що для того, щоб створити ШІ, треба розуміти, як працює ШІ та інтелект в цілому.

Можна багато спекулювати, чому так сталося: може, вони вважали, що причина, чому суто інженерний підхід не працював тоді, полягала в тому, що інженерний підхід для ШІ в принципі не працює, а не в тому, що не вистачало ресурсів. Може, це був bias конкретного типу людей (фахівців з computer science), які почали тоді робити ШІ, і якби там було трохи більше нейробіологів та когнітивістів, то все було б інакше. Може, тоді правда не було іншого способу намагатися працювати над ШІ через брак ресурсів. Але сталося так, як сталося.

Станом на сьогодні, Юдковський відкрито каже, що він був дуже здивований тим, що ШІ рівня сучасних передових моделей був створений практично без жодного розуміння того, як вони працюють. Звичайно, тут має місце його надмірна ставка на дедуктивне раціональне мислення як він його визначає і повага до його сили. Він каже, що розвиток ШІ відбувся не так, як «зазвичай відбувається в науці», коли ніби-то інженерним розробкам передує ґрунтовне теоретичне розуміння. Але це саме те, що як правило не відбувається, і дивно було б очікувати, що це відбудеться з ШІ: брати Райт не знали законів аеродинаміки. Перші, хто створив човни, не знали навіть закону Архімеда. Ціни на опціони відповідали результатам Монте-Карло симуляцій Парето-процесів до розробки Монте-Карло симуляцій Парето-процесів. Лікарі лікували хвороби, а фармкомпанії виробляли ліки без жодного розуміння молекулярної біологїї.

Створювати методом trial and error часто набагато легше, ніж методом theory-based design, і це саме те, що відбулося із ШІ у найбільш рафінованій, можна навіть сказати гіперболізованій формі - і я погоджуюся, що хоча якісно це відповідає загальній моделі того, як відбуваються інженерні розробки, кількісно різниця між інженерним прогресом і теоретичним розумінням більша, ніж зазвичай. Більш того, ті мізерні теоретичні результати, які людство отримали щодо ШІ, навпаки скоріше казали про те, що нейромережі не спрацюють.

Можливо, для людини ззовні твердження «сучасний розробник ШІ не має практично ніякого розуміння того, як працює ШІ» виглядає дивним, але це саме те, що відбувається. Розробник ШІ дійсно розуміє, як написати алгоритм тренування ШІ, але це зовсім не те саме, що розуміти власне ШІ, який був створений в результаті роботи алгоритму. Фермер, що вирощує пшеницю, може добре знати, як вирощувати пшеницю, але він може не мати жодного розуміння біології пшениці, тобто внутрішніх механізмів її функціонування.

Розробник ШІ може сказати, що сучасний ШІ - це «перемножування велетенських матриць і векторів» або «результат мінімізації різниці між тренувальними та згенерованими даними за допомогою градієнтного спуску», але це все одно, що сказати, що людський мозок - це «величезна кількість нейронів, по яких бігає електричний потенціал» або «результат еволюції». Звичайно, фактично це коректні твердження, але вони не дають майже жодного розуміння того, як саме працює мозок, що саме відбувається в ньому, що зумовлює його ти чи інші функції та здатності.

https://youtu.be/ZKvjBgi4pqg?si=cCOTvCxJtXAfomsb

Цинік міг би сказати, що цивілізація, яка обрала RLHF як метод алайнменту ШІ, заслуговує на знищення від ШІ. Але я не цинік.

Я не дуже люблю contrariantes, але інколи треба, як на картинці. Отже:

Америка воює набагато менше, ніж треба. Через божевільний пацифізм та небажання американців влаштовувати бомбардування поганців страждають сотні мільйонів людей по всьому світу.

У Молдови більше шансів бути наддержавою у 2075 році, ніж у Німеччини.

Світ під керівництвом сучасних міліардерів був би набагато кращим, ніж світ під керівництвом сучасних політиків.

Правильною освітою та вихованням можна досягти того, що медіанна людина в суспільстві буде розумніша за фон Неймана, навіть ніяк не застосовуючи генетичні покращення.

Евереттівська інтерпретація квантової механіки майже напевно правильна, і люди відмовляються приймати її лише тому, що вони будуть виглядати дивно і несерйозно.

Скоріше за все, ми єдина розумна цивілізація у всьому досяжному Всесвіті.