Серед технологій, розроблених людством, є особливий цікавий клас - технології, що поєднують в собі пік інженерних та наукових здібностей, кропіткої роботи, точного налаштовування, але для спостерігача ззовні людської цивілізації виглядали б як результат гіпертрофованої і в певному сенсі дурної надоптимізації певного примітивного методу - методу, який взагалі виглядає абсолютно неревантним, притягнутим за вуха, з точки зору тієї задачі, яку він намагається вирішувати.
Прикладами таких технологій є космічні ракети, експериментальна біологія і, звичайно, нейронні мережі.
Космічні ракети. Величезна маса вибухівки, яка виводить на орбіту вантаж, що складає, наприклад, 1% її маси. Ця вибухівка, передбачувано, періодично вибухає. Майже ніщо не можна використовувати двічі. Усі системи постійно ламаються, але усі є критичними, і тому кожну систему потрібно дублювати або «квадрувати». Перед тим, як нова ідея про інкрементальне покращення технології запрацює, усе вибухає багато років підряд.
Експериментальна біологія. Щури та хробаки вмирають пачками. Шляхом цілеспрямованого зламування елементарних механістичних складових живого організму накопичуються статистичні дані про те, які складові з чим повʼязані та за що відповідають, але цих складових так багато і вони так відрізняються для різних організмів, що прогрес з побудови повноцінної причинно-наслідкової моделі того, як це працює, відбувається зі швидкістю, якою можна знехтувати порівняно з швидкістю накопичення даних. Але накопичення даних продовжується, тому що люди розраховують дізнатися хоча б суто емпіричні закономірності.
Нейромережі, сучасний штучний інтелект. Величезні матриці генеруються випадковим чином. Потім, енергія живлення цілих міст та обчислювальні потужності цілих країн витрачаються на те, щоб градієнтний спуск шляхом сліпого (але все ж таки не тактильно-сліпого, часи генетичних алгоритмів пройшли, тобто можна орієнтуватися хоча б «на дотик») блукання змінював числа в цих матрицях так, щоб їх перемноження приводило до бажаних результатів.
Що обʼєднує усі ці технології? Мені здається, що в цих та аналогічних випадках має місце разючий дисбаланс між попитом на технологію та поточним рівнем інтелектуального та технологічного розвитку цивілізації. Існує величезний тиск з боку ринку та держав на лікування хвороб, домінування в космосі та штучний інтелект - тиск, який вичавлює усі наявні можливості, наскільки б неадекватно малими вони б не були для поставленої задачі. Виникає щось типу «людського компʼютеру» з Задачі трьох тіл - технологічне рішення, адекватні субтехнології для створення якого ще не дозріли, але яке вимагається вже тут і зараз, і тому створюється на основі поточних примітивних субтехнологій, наскільки б неефективним та неелегантним це не було.
Особливо цей ефект видно на фоні технологій, які розвиваються у протилежному середовищі - за помірного попиту та відсутності суспільно-економічного тиску. Подивіться, наприклад, на телескопи, електромобілі, чи алгоритми філогенетичного аналізу. Вони виглядають так, нібито-то виникли як раз, коли все було готово, для того, щоб вони виникли. Так, що по ним, в принципі, можна було б судити про те, на якому технологічному рівні знаходиться наша цивілізація в цілому. А не так, нібито-то середньовічному королівству поставили мету точно вирішити набір задач небесної механіки чисельними методами.
Прикладами таких технологій є космічні ракети, експериментальна біологія і, звичайно, нейронні мережі.
Космічні ракети. Величезна маса вибухівки, яка виводить на орбіту вантаж, що складає, наприклад, 1% її маси. Ця вибухівка, передбачувано, періодично вибухає. Майже ніщо не можна використовувати двічі. Усі системи постійно ламаються, але усі є критичними, і тому кожну систему потрібно дублювати або «квадрувати». Перед тим, як нова ідея про інкрементальне покращення технології запрацює, усе вибухає багато років підряд.
Експериментальна біологія. Щури та хробаки вмирають пачками. Шляхом цілеспрямованого зламування елементарних механістичних складових живого організму накопичуються статистичні дані про те, які складові з чим повʼязані та за що відповідають, але цих складових так багато і вони так відрізняються для різних організмів, що прогрес з побудови повноцінної причинно-наслідкової моделі того, як це працює, відбувається зі швидкістю, якою можна знехтувати порівняно з швидкістю накопичення даних. Але накопичення даних продовжується, тому що люди розраховують дізнатися хоча б суто емпіричні закономірності.
Нейромережі, сучасний штучний інтелект. Величезні матриці генеруються випадковим чином. Потім, енергія живлення цілих міст та обчислювальні потужності цілих країн витрачаються на те, щоб градієнтний спуск шляхом сліпого (але все ж таки не тактильно-сліпого, часи генетичних алгоритмів пройшли, тобто можна орієнтуватися хоча б «на дотик») блукання змінював числа в цих матрицях так, щоб їх перемноження приводило до бажаних результатів.
Що обʼєднує усі ці технології? Мені здається, що в цих та аналогічних випадках має місце разючий дисбаланс між попитом на технологію та поточним рівнем інтелектуального та технологічного розвитку цивілізації. Існує величезний тиск з боку ринку та держав на лікування хвороб, домінування в космосі та штучний інтелект - тиск, який вичавлює усі наявні можливості, наскільки б неадекватно малими вони б не були для поставленої задачі. Виникає щось типу «людського компʼютеру» з Задачі трьох тіл - технологічне рішення, адекватні субтехнології для створення якого ще не дозріли, але яке вимагається вже тут і зараз, і тому створюється на основі поточних примітивних субтехнологій, наскільки б неефективним та неелегантним це не було.
Особливо цей ефект видно на фоні технологій, які розвиваються у протилежному середовищі - за помірного попиту та відсутності суспільно-економічного тиску. Подивіться, наприклад, на телескопи, електромобілі, чи алгоритми філогенетичного аналізу. Вони виглядають так, нібито-то виникли як раз, коли все було готово, для того, щоб вони виникли. Так, що по ним, в принципі, можна було б судити про те, на якому технологічному рівні знаходиться наша цивілізація в цілому. А не так, нібито-то середньовічному королівству поставили мету точно вирішити набір задач небесної механіки чисельними методами.
💊5🤔3👍1
Перечитував зараз деякі технічні моменти про структуру ДНК, і згадав, як багато років тому читав «Подвійну спіраль» Уотсона; згадав, як Ерік Вайнштайн у своїх дебатах проти теорії струн рекомендував цю книгу як приклад того, як колись робилася наука, як варто її робити, і наскільки зараз інша наукова культура, в негативному сенсі.
В негативному сенсі чи ні, але усі знайомі науковці, хто читав «Подвійну спіраль», точно погоджуються, що культура була іншою.
І якось сумно стало.
Одразу подумалося про концепцію Великої Стагнації Коуена, про «What happened in 1971?», про «Where is my flying car?”, про усі графіки diminishing returns, про наукову фантастику, оптимістичний дух якої обірвався десь у 70-х.
І здавалося б, яка різниця зараз? Зараз все одно вже запізно, але все одно сумно. Нібито ми всі, як людство, щось зробили не так, ще тоді, і з тих пір все пішло не так. І так, це звучить як стандартне «раніше трава була зеленіша».
Або, як писав Толкін:
The world was young, the mountains green,
No stain yet on the Moon was seen,
No words were laid on stream or stone,
When Durin woke and walked alone.
He named the nameless hills and dells;
He drank from yet untasted wells;
He stooped and looked in Mirrormere,
And saw a crown of stars appear,
As gems upon a silver thread,
Above the shadow of his head.
The world was fair, the mountains tall,
In Elder Days before the fall
Of mighty kings in Nargothrond
And Gondolin, who now beyond
The Western Seas have passed away:
The world was fair in Durin's Day.
…
Unwearied then were Durin's folk;
Beneath the mountains music woke:
The harpers harped, the minstrels sang,
And at the gates the trumpets rang.
The world is grey, the mountains old,
The forge's fire is ashen-cold;
No harp is wrung, no hammer falls:
The darkness dwells in Durin's halls;
The shadow lies upon his tomb
In Moria, in Khazad-dum.
But still the sunken stars appear
In dark and windless Mirrormere;
There lies his crown in water deep,
Till Durin wakes again from sleep.
В негативному сенсі чи ні, але усі знайомі науковці, хто читав «Подвійну спіраль», точно погоджуються, що культура була іншою.
І якось сумно стало.
Одразу подумалося про концепцію Великої Стагнації Коуена, про «What happened in 1971?», про «Where is my flying car?”, про усі графіки diminishing returns, про наукову фантастику, оптимістичний дух якої обірвався десь у 70-х.
І здавалося б, яка різниця зараз? Зараз все одно вже запізно, але все одно сумно. Нібито ми всі, як людство, щось зробили не так, ще тоді, і з тих пір все пішло не так. І так, це звучить як стандартне «раніше трава була зеленіша».
Або, як писав Толкін:
The world was young, the mountains green,
No stain yet on the Moon was seen,
No words were laid on stream or stone,
When Durin woke and walked alone.
He named the nameless hills and dells;
He drank from yet untasted wells;
He stooped and looked in Mirrormere,
And saw a crown of stars appear,
As gems upon a silver thread,
Above the shadow of his head.
The world was fair, the mountains tall,
In Elder Days before the fall
Of mighty kings in Nargothrond
And Gondolin, who now beyond
The Western Seas have passed away:
The world was fair in Durin's Day.
…
Unwearied then were Durin's folk;
Beneath the mountains music woke:
The harpers harped, the minstrels sang,
And at the gates the trumpets rang.
The world is grey, the mountains old,
The forge's fire is ashen-cold;
No harp is wrung, no hammer falls:
The darkness dwells in Durin's halls;
The shadow lies upon his tomb
In Moria, in Khazad-dum.
But still the sunken stars appear
In dark and windless Mirrormere;
There lies his crown in water deep,
Till Durin wakes again from sleep.
Wikipedia
The Great Stagnation
2011 pamphlet by Tyler Cowen
❤5
Перефразовуючи Ніцше:
«Мій брате, немов лот, кидаю я це питання в твою душу, щоб дізнатися, наскільки глибока вона:
Ти молодий і бажаєш займатися аналізом даних. Але чи настільки ти байесіанець, щоб мати право хотіти працювати зі статистичними розподілами з нескінченними основними моментами?»
«Мій брате, немов лот, кидаю я це питання в твою душу, щоб дізнатися, наскільки глибока вона:
Ти молодий і бажаєш займатися аналізом даних. Але чи настільки ти байесіанець, щоб мати право хотіти працювати зі статистичними розподілами з нескінченними основними моментами?»
www.zeno.org
Nietzsche, Friedrich, Also sprach Zarathustra, Die Reden Zarathustras, Von Kind und Ehe
Volltext Philosophie: Friedrich Nietzsche: Werke in drei Bänden. München 1954, Band 2, S. 331-333.: Von Kind und Ehe
💊4
https://dpmd.ai/4a3fVEI
«A billion years of PhD time saved».
Якщо робиться робота, еквівалентна мільярду років роботи PhD студента (що в даному випадку правда відбулося), і світ на наступний день виглядає так само, як і вчора, то у мене дуже, дуже погані новини.
«A billion years of PhD time saved».
Якщо робиться робота, еквівалентна мільярду років роботи PhD студента (що в даному випадку правда відбулося), і світ на наступний день виглядає так само, як і вчора, то у мене дуже, дуже погані новини.
YouTube
How AI Is Unlocking the Secrets of Nature and the Universe | Demis Hassabis | TED
Can AI help us answer life’s biggest questions? In this visionary conversation, Google DeepMind cofounder and CEO Demis Hassabis delves into the history and incredible capabilities of AI with head of TED Chris Anderson. Hassabis explains how AI models like…
❤6🥱3🤷2
Ілон Маск наймає людей, які судячи зі всього працювали над Q-star в OpenAI, для свого xAI.
Мій перший досвід обговорення Q-star був в грудні минулого року, на вечірці людей з machine learning. Тоді консенсусна думка полягала в тому, що «Q-star не може бути правдою, тому що це найбільш очевидний гіпотетичний наступний крок в алгоритмах ШІ».
Чим далі, тим все більше я переконуюсь в тому, що переважна частка провалу в оцінці сучасного стану і перспектив ШІ розумними людьми зумовлена банальним соціальним тиском через страх не виглядати, як Серйозний, Цинічний і Позбавлений Безпідставних Сподівань Експерт, чи щось в такому роді. Інколи це видно прямо в ріал-тайм, коли ти сигналізуєш людині, що ти не сприймаєш екзистенційні ризики як щось несерйозне, і вона одразу перестає думати перед кожною фразою, чи каже вона кожного разу щось достатньо цинічне і «тверезе», щоб її не сприймали як «клоуна».
Мій перший досвід обговорення Q-star був в грудні минулого року, на вечірці людей з machine learning. Тоді консенсусна думка полягала в тому, що «Q-star не може бути правдою, тому що це найбільш очевидний гіпотетичний наступний крок в алгоритмах ШІ».
Чим далі, тим все більше я переконуюсь в тому, що переважна частка провалу в оцінці сучасного стану і перспектив ШІ розумними людьми зумовлена банальним соціальним тиском через страх не виглядати, як Серйозний, Цинічний і Позбавлений Безпідставних Сподівань Експерт, чи щось в такому роді. Інколи це видно прямо в ріал-тайм, коли ти сигналізуєш людині, що ти не сприймаєш екзистенційні ризики як щось несерйозне, і вона одразу перестає думати перед кожною фразою, чи каже вона кожного разу щось достатньо цинічне і «тверезе», щоб її не сприймали як «клоуна».
Якщо казати прагматично, то реальної роботи для тієї кількості випускників machine learning магістратур в Європі та США нема в достатніх обсягах і буде лише менше. Перетинаються 2 тенденції:
1. Конкурентних моделей, на які є попит стає все менше (насамперед, через те, що найкращі моделі також загальні моделі, які можна використовувати для всього) і вони робляться все меншою кількістю людей з верхнього процентилю таланту та знань.
2. Усі радісно сиплють гроші на machine learning в академії - як на навчальні програми, так і на дослідницькі центри. У мене нема офіційної статистики, але виглядає так, що лише за останні 5 років сукупна пропускна спроможність ML магістратур в Німеччині зросла в рази 3-4. У моєму університеті достатньо подивитися на кампус machine learning і на всі інші кампуси, щоб побачити, хто тут лох, а хто - поважна людина. Тиск потоку грошей відчувається майже фізично.
Проблема в тому, що не треба стільки людей, щоб розробляти умовну ChatGPT-6 та її конкурентів. А окрім умовної ChatGPT-6 та її конкурентів ніякі інші моделі не будуть потрібні. Раніше state-of-the-art можна було рухати в гаражі, тепер лише в межах великої корпорації.
Аналогія з програмістами, яких ставало все більше і треба було ще більше, ніж було, протягом десятиліть, не працює. Тому що програмісти завжди розробляють продукт під конкретну задачу/потребу. Коли кількість та різноманітність задач зростає, зростає і потреба в кількості програмістів. В ML цього більше не буде, скоріше за все.
З іншого боку, якщо знову ж таки, казати прагматично, то компанії здебільшого не думають про це. Компаніям треба “AI transformation”. Стартапи, як правило, вважають, що вони не стартапи, якщо в них нема кастомної моделі ШІ. Вони люди прості - бачать ML інженера і наймають. Звичайно, це має певний сенс - поки що. Тобто поки найкращі моделі не є абсолютно кращими у всьому і коли буває відносно складно їх налаштувати/файн-тʼюніти. Але як їх відносна перевага, так і легкість в користуванні будуть лише зростати.
1. Конкурентних моделей, на які є попит стає все менше (насамперед, через те, що найкращі моделі також загальні моделі, які можна використовувати для всього) і вони робляться все меншою кількістю людей з верхнього процентилю таланту та знань.
2. Усі радісно сиплють гроші на machine learning в академії - як на навчальні програми, так і на дослідницькі центри. У мене нема офіційної статистики, але виглядає так, що лише за останні 5 років сукупна пропускна спроможність ML магістратур в Німеччині зросла в рази 3-4. У моєму університеті достатньо подивитися на кампус machine learning і на всі інші кампуси, щоб побачити, хто тут лох, а хто - поважна людина. Тиск потоку грошей відчувається майже фізично.
Проблема в тому, що не треба стільки людей, щоб розробляти умовну ChatGPT-6 та її конкурентів. А окрім умовної ChatGPT-6 та її конкурентів ніякі інші моделі не будуть потрібні. Раніше state-of-the-art можна було рухати в гаражі, тепер лише в межах великої корпорації.
Аналогія з програмістами, яких ставало все більше і треба було ще більше, ніж було, протягом десятиліть, не працює. Тому що програмісти завжди розробляють продукт під конкретну задачу/потребу. Коли кількість та різноманітність задач зростає, зростає і потреба в кількості програмістів. В ML цього більше не буде, скоріше за все.
З іншого боку, якщо знову ж таки, казати прагматично, то компанії здебільшого не думають про це. Компаніям треба “AI transformation”. Стартапи, як правило, вважають, що вони не стартапи, якщо в них нема кастомної моделі ШІ. Вони люди прості - бачать ML інженера і наймають. Звичайно, це має певний сенс - поки що. Тобто поки найкращі моделі не є абсолютно кращими у всьому і коли буває відносно складно їх налаштувати/файн-тʼюніти. Але як їх відносна перевага, так і легкість в користуванні будуть лише зростати.
👍4❤1😱1🥱1
Уже довгий час PBS SpaceTime є моїм улюбленим популярним каналом про фізику, і коли я замислююся чому, то відповідь звучить приблизно так: тому що він займає унікальну позицію - складніше і новітніше, ніж більшість популярного контенту, але легше і загальніше, ніж власне наукові публікації.
Я думаю, що якщо ви підписані на мій канал, то серед вас є такі, відношення яких з контентом про фізику нагадують мої: популярний контент виглядає як постійне повторення очевидних речей, а читати потенційно цікаві наукові статті дуже важко і дуже довго.
Саме для такої категорії людей PBS SpaceTime буде оптимальним.
Звичайно, що навчальні матеріали існують для будь-якого рівня, але я зараз кажу не про пошук оптимального рівня навчальних матеріалів (з якими думаю все зрозуміло), а про пошук оптимального рівня пояснення цікавих досліджень.
Я думаю, що якщо ви підписані на мій канал, то серед вас є такі, відношення яких з контентом про фізику нагадують мої: популярний контент виглядає як постійне повторення очевидних речей, а читати потенційно цікаві наукові статті дуже важко і дуже довго.
Саме для такої категорії людей PBS SpaceTime буде оптимальним.
Звичайно, що навчальні матеріали існують для будь-якого рівня, але я зараз кажу не про пошук оптимального рівня навчальних матеріалів (з якими думаю все зрозуміло), а про пошук оптимального рівня пояснення цікавих досліджень.
YouTube
PBS Space Time
Space Time explores the outer reaches of space, the craziness of astrophysics, the possibilities of sci-fi, and anything else you can think of beyond Planet Earth with our astrophysicist host: Matthew O’Dowd.
For all business inquiries and sponsorship opportunities…
For all business inquiries and sponsorship opportunities…
👍6😁1🥴1
Сподіваюся, усі вже побачили, що вийшов Alpha Fold 3 і на що він здатен.
Сподіваюся, ви розуміли, що він не міг не вийти.
Якщо скіпнути стандартні вигуки захоплення та проголошення нових революцій у молекулярній біології, то важливо сказати наступне:
Біологія - це природна нанотехнологія. Наномашини, неспівставно більш ефективні, ніж зроблені еволюцією протеїни, можливі, і у всьому просторі можливих наномашин безумовно є такі, що виглядають як магія навіть порівняно з протеїнами, які теж взагалі-то виглядають, як магія.
Нанотехнологія «біологічного типу», в принципі, зводиться до двох задач.
1. Для даної молекули, навчитися знаходити її форму (конформацію, «згортання»), що відповідає мінімальній вільній енергії.
2. Зворотня задача: для бажаної структури/механізму, навчитися знаходити молекулу, конформація мінімальної вільної енергії якої відповідає цій структурі/механізму. Іншими словами, якщо ти хочеш нанобота, який робить Х - знайди молекулу, яка мінімізує власну вільну енергію, коли згортається у цього нанобота.
З першою задачею все зрозуміло. Вона буде вирішена для довільного рівня точності/повноти. Цікаво, що можна зробити з другою.
Сподіваюся, ви розуміли, що він не міг не вийти.
Якщо скіпнути стандартні вигуки захоплення та проголошення нових революцій у молекулярній біології, то важливо сказати наступне:
Біологія - це природна нанотехнологія. Наномашини, неспівставно більш ефективні, ніж зроблені еволюцією протеїни, можливі, і у всьому просторі можливих наномашин безумовно є такі, що виглядають як магія навіть порівняно з протеїнами, які теж взагалі-то виглядають, як магія.
Нанотехнологія «біологічного типу», в принципі, зводиться до двох задач.
1. Для даної молекули, навчитися знаходити її форму (конформацію, «згортання»), що відповідає мінімальній вільній енергії.
2. Зворотня задача: для бажаної структури/механізму, навчитися знаходити молекулу, конформація мінімальної вільної енергії якої відповідає цій структурі/механізму. Іншими словами, якщо ти хочеш нанобота, який робить Х - знайди молекулу, яка мінімізує власну вільну енергію, коли згортається у цього нанобота.
З першою задачею все зрозуміло. Вона буде вирішена для довільного рівня точності/повноти. Цікаво, що можна зробити з другою.
❤5🍌1
This media is not supported in your browser
VIEW IN TELEGRAM
Біоінформатики дивляться на те, як структура протеїнового комплексу, про моделювання якої вони писали дисертацію і на яку витратили 5 років, формується у режимі реального часу просто після надання послідовності амінокислот.
😁10🖕1
Усі ниють про те, як Хуберман дає поради, засновуючись на шкільній помилці в теорії ймовірностей.
До цього нили про те, яка виявилася посередня дисертація в Нері Оксман в MIT.
До цього нили про те, як Ден Аріелі робив методологічні помилки в експериментах, які дехто навіть вважав (вважає) прямим шахрайством.
Я думаю, що ви вирішуєте неправильну проблему.
Не знаю, чи звучить те, що я скажу, контроверсійно, але дуже розумні люди можуть припускатися дурних і тривіальних помилок, писати погані роботи і в цілому мати якісно ті ж самі когнітивні вади, які мають інші люди. Варіація людського інтелекту більш-менш обмежена нормальним розподілом, і не можна, не-технологічно, стрибнути вище лімітів мозку. Навіть якщо медіанна людина мала б інтелект фон Неймана, як я писав, то все одно медіанна людина була б достатньо дурною, щоб бути католиком. Мені здається, що люди, які вважають, що істотно більш розумні люди не роблять елементарних помилок, помітних менш розумним людям, просто мало взаємодіяли з істотно більш розумними людьми.
Але це не означає, що проблеми нема.
Здатність відрізнятися за рахунок інтелекту - обмежена, а конкурентний тиск - ні. Конкурентний тиск серед науковців не припиняється, коли досягнуто умовно максимально можливого рівня когнітивної продуктивності. Конкуренція продовжується в інших вимірах - здатність підіймати гроші, здобувати популярність, збільшувати цитування, це все очевидно.
Важливо наступне: навмисно чи ні, але навколо престижного науковця з престижної інституції формується «ореол якості». Для людей навколо, науковець з топ-0.1% «соціального рейтингу науковців» повинен бути так саме кращий, ніж науковець з топ-1%, як науковець з топ-1% кращий, ніж з топ-10%. Але у топі «соціального рейтингу науковців» конкуренція відбувається не за рахунок інтелектуальної продуктивності.
Note 1: звичайно, хтось скаже, що конкуренція взагалі не відбувається за рахунок інтелектуальної продуктивності, але це вже інше питання, і так чи інакше, заперечувати, що кореляція між інтелектуальної продуктивністю1та соціальною позицією науковця відсутня повністю, немає сенсу.
Люди типу Хубермана чи Оксман - це справді дуже розумні і талановиті люди (відносно медіанного рівня). Але дуже розумних і талановитих людей (відносно медіанного рівня) багато, і Хуберман та Оксман вище у рейтингу відносно цих людей за рахунок інших параметрів. Вони роблять якісні і професійні медіа-кампанії з реклами власного бренду. Вони мають впливових і багатих спонсорів. За їх власними брендами стоять ще більш впливові бренди Стенфорду та MIT, яких в свою чергу, як академічних інституцій, теж стосується увесь вищеописаний ланцюжок розмірковувань.
Але коли пересічна людина дивиться на науковця, який має екстраординарно високий соціальний рейтинг, вона очікує, що він має і екстраординарно високі когнітивні здібності, і розмірковує приблизно так:
«Так, я можу допустити, що мій професор з університету у другій сотні світового рейтингу зробить цю помилку. Він звичайно дуже розумна людина, але він простий смертний. Голова лабораторії в Стенфорді, та ще й мільйонер, та ще й який має мільйони підписників, повинен мати пропорційно більші інтелектуальні здібності - і різниця їх двох у соціальному рейтингу науковців повинна достатньо корелювати з їх різницею в інтелектуальних здібностях».
Я не кажу, що до науковців-інфлюенсерів треба застосовувати стандарти якості як до звичайних людей. Але не застосовуйте до них більші стандарти якості, ніж ви застосовуєте до знайомих вам розумних і талановитих професорів відносно високорейтингових університетів. За рідкісними винятками, абсолютний топ заселений людьми, яких відрізняють не здібності, а ореол здібностей - створений не обовʼязково навмисно, але обовʼязково штучно.
Note 2: дехто може сказати, що насправді через ефект вибірки кореляція між здібностями та популярністю у топі взагалі буде негативною. Це теж можливо.
До цього нили про те, яка виявилася посередня дисертація в Нері Оксман в MIT.
До цього нили про те, як Ден Аріелі робив методологічні помилки в експериментах, які дехто навіть вважав (вважає) прямим шахрайством.
Я думаю, що ви вирішуєте неправильну проблему.
Не знаю, чи звучить те, що я скажу, контроверсійно, але дуже розумні люди можуть припускатися дурних і тривіальних помилок, писати погані роботи і в цілому мати якісно ті ж самі когнітивні вади, які мають інші люди. Варіація людського інтелекту більш-менш обмежена нормальним розподілом, і не можна, не-технологічно, стрибнути вище лімітів мозку. Навіть якщо медіанна людина мала б інтелект фон Неймана, як я писав, то все одно медіанна людина була б достатньо дурною, щоб бути католиком. Мені здається, що люди, які вважають, що істотно більш розумні люди не роблять елементарних помилок, помітних менш розумним людям, просто мало взаємодіяли з істотно більш розумними людьми.
Але це не означає, що проблеми нема.
Здатність відрізнятися за рахунок інтелекту - обмежена, а конкурентний тиск - ні. Конкурентний тиск серед науковців не припиняється, коли досягнуто умовно максимально можливого рівня когнітивної продуктивності. Конкуренція продовжується в інших вимірах - здатність підіймати гроші, здобувати популярність, збільшувати цитування, це все очевидно.
Важливо наступне: навмисно чи ні, але навколо престижного науковця з престижної інституції формується «ореол якості». Для людей навколо, науковець з топ-0.1% «соціального рейтингу науковців» повинен бути так саме кращий, ніж науковець з топ-1%, як науковець з топ-1% кращий, ніж з топ-10%. Але у топі «соціального рейтингу науковців» конкуренція відбувається не за рахунок інтелектуальної продуктивності.
Note 1: звичайно, хтось скаже, що конкуренція взагалі не відбувається за рахунок інтелектуальної продуктивності, але це вже інше питання, і так чи інакше, заперечувати, що кореляція між інтелектуальної продуктивністю1та соціальною позицією науковця відсутня повністю, немає сенсу.
Люди типу Хубермана чи Оксман - це справді дуже розумні і талановиті люди (відносно медіанного рівня). Але дуже розумних і талановитих людей (відносно медіанного рівня) багато, і Хуберман та Оксман вище у рейтингу відносно цих людей за рахунок інших параметрів. Вони роблять якісні і професійні медіа-кампанії з реклами власного бренду. Вони мають впливових і багатих спонсорів. За їх власними брендами стоять ще більш впливові бренди Стенфорду та MIT, яких в свою чергу, як академічних інституцій, теж стосується увесь вищеописаний ланцюжок розмірковувань.
Але коли пересічна людина дивиться на науковця, який має екстраординарно високий соціальний рейтинг, вона очікує, що він має і екстраординарно високі когнітивні здібності, і розмірковує приблизно так:
«Так, я можу допустити, що мій професор з університету у другій сотні світового рейтингу зробить цю помилку. Він звичайно дуже розумна людина, але він простий смертний. Голова лабораторії в Стенфорді, та ще й мільйонер, та ще й який має мільйони підписників, повинен мати пропорційно більші інтелектуальні здібності - і різниця їх двох у соціальному рейтингу науковців повинна достатньо корелювати з їх різницею в інтелектуальних здібностях».
Я не кажу, що до науковців-інфлюенсерів треба застосовувати стандарти якості як до звичайних людей. Але не застосовуйте до них більші стандарти якості, ніж ви застосовуєте до знайомих вам розумних і талановитих професорів відносно високорейтингових університетів. За рідкісними винятками, абсолютний топ заселений людьми, яких відрізняють не здібності, а ореол здібностей - створений не обовʼязково навмисно, але обовʼязково штучно.
Note 2: дехто може сказати, що насправді через ефект вибірки кореляція між здібностями та популярністю у топі взагалі буде негативною. Це теж можливо.
👍4💊2
Один з найбільш поширених дурних аргументів на користь скептицизму щодо перспектив розвитку ШІ саме серед людей, які щось технічно знають про ШІ, звучить приблизно так:
“Сучасні ШІ мають ваду Х, тому майбутні ШІ ніколи не зроблять Y”.
Що? Як?
Найбільш поширений приклад, це:
«У сучасних трансформерів є галюцинації, тому неможна зробити суперінтелект на основі нейромереж».
Як? Як ти до цього прийшов?
Навіть якщо уявити, що галюцинації неможна подолати, що саме по собі вкрай сильне твердження, як ти прийшов до висновку, що неможна робити суперінтелект на архітектурі з галюцинаціями, або на архітектурі, яка історично була споріднена з цією архітектурою?
Ти помножуєш ймовірності двох тверджень, кожне з яких виглядає як надзвичайно впевнена заява, враховуючи величезне значення співвідношення «ступінь специфічності твердження/кількість інформації, що ми маємо на його користь» у даному випадку, і ти вважаєш, що ти отримаєш щось, окрім нуля?
Але навіть без цього - звідки ти знаєш? Якби ти чесно подумав 5 хвилин, ти знайшов би принаймні декілька потенційних рішень проблеми галюцинацій. Але над цією проблемою будуть думати не 5 хвилин, і не ти. Над нею будуть думати роки людиногодин (звичайно, якщо це треба - може достатньо подумати пару годин, може взагалі проблема вже вирішена) люди, набагато розумніші за тебе (і звичайно, за мене).
Який абсурдний рівень самовпевненості треба мати, щоб вважати, що якщо ти не отримав результата за 5, та навіть за 50 000 хвилин розмірковувань, то значить його в принципі не можна отримати?
Уяви собі інопланетян, які відвідали Землю 5 000 років тому. Вони досліджують людей і побачили, що їх короткострокова памʼять обмежена приблизно 4 елементами. Вони ведуть бесіду:
- Ха! Цей вид ніколи не полетить на Місяць! Очевидно, це неможливо зробити з розміром короткострокової памʼяті 4.
- Звідки ти це знаєш?
- Будь-який розсудливий, серйозний нібіріанець знає, що полетіти на Місяць - це складна технічна проблема. Треба бути дуже наївним, щоб думати, що настільки складну проблему можна вирішити з короткостроковою памʼяттю розміром в 4 елементи. Дійсно, якщо ти думаєш, що її можна вирішити з короткостроковою памʼяттю 4, ти просто не цінуєш складність проблеми!
- Послухай, я правда ціную складність проблеми. Я сам багато років вивчав стародавні методи космічних перельотів і знаю, наскільки складно це робити. Я сходив з розуму від того, наскільки це складно. Але це не є аргументом. Реальності дозволено відбуватися навіть якщо це порушує відчуття гордості інженерів. Тому скажи, не на рівні аргументів через соціальну серйозність, а на рівні обʼєктних аргументів, чому ти вважаєш, що цей вид ніколи не полетить на Місяць? Ти розробив причинно-наслідковий механізм того, як працює інтелект, який забороняє інтелекту з короткостроковою памʼяттю 4 будувати ракети? У тебе є теорема, яка доводить, що людська когнітивна структура має певні фундаментальні обмеження, і ти впевнений, що математика цієї теореми відповідає структурі реальних процесів в людському мозку?
- Ні, але ж це просто наукова фантастика!
- Чувак, ми буквально стоїмо всередині літаючої тарілки.
- Fair enough. Але твій аргумент доводить забагато. Памʼятаєш, як божевільний Кхегрос розсилав усім нейтринні передачі про те, як рослини на Тау Кита скоро еволюціонують в надрозумний вид, який побудує сферу Дайсона?
- Якщо ідіот каже, що 2*2=4, 2*2 не стає від цього 5. На Землі, ситуація інша. Люди вже систематично демонструють перевершення очікувань скептичних екзобіологів. Спочатку, екзобіологи казали, що люди точно не зможуть займатися землеробством невідомо скільки, тому що для землеробства треба знання біології, а для отримання знань біології треба цивілізоване суспільство, яке виникає унаслідок наявності надлишку їжі унаслідок землеробства. Потім, вони казали, що люди не зможуть виплавляти сплави металів з аналогічних причин. І що ми бачимо зараз?
- Це просто смішно - порівнювати здатність займатися землеробством зі здатністю полетіти на Місяць!
- До цього, було просто смішно порівнювати здатність до мови зі здатністю до землеробства.
“Сучасні ШІ мають ваду Х, тому майбутні ШІ ніколи не зроблять Y”.
Що? Як?
Найбільш поширений приклад, це:
«У сучасних трансформерів є галюцинації, тому неможна зробити суперінтелект на основі нейромереж».
Як? Як ти до цього прийшов?
Навіть якщо уявити, що галюцинації неможна подолати, що саме по собі вкрай сильне твердження, як ти прийшов до висновку, що неможна робити суперінтелект на архітектурі з галюцинаціями, або на архітектурі, яка історично була споріднена з цією архітектурою?
Ти помножуєш ймовірності двох тверджень, кожне з яких виглядає як надзвичайно впевнена заява, враховуючи величезне значення співвідношення «ступінь специфічності твердження/кількість інформації, що ми маємо на його користь» у даному випадку, і ти вважаєш, що ти отримаєш щось, окрім нуля?
Але навіть без цього - звідки ти знаєш? Якби ти чесно подумав 5 хвилин, ти знайшов би принаймні декілька потенційних рішень проблеми галюцинацій. Але над цією проблемою будуть думати не 5 хвилин, і не ти. Над нею будуть думати роки людиногодин (звичайно, якщо це треба - може достатньо подумати пару годин, може взагалі проблема вже вирішена) люди, набагато розумніші за тебе (і звичайно, за мене).
Який абсурдний рівень самовпевненості треба мати, щоб вважати, що якщо ти не отримав результата за 5, та навіть за 50 000 хвилин розмірковувань, то значить його в принципі не можна отримати?
Уяви собі інопланетян, які відвідали Землю 5 000 років тому. Вони досліджують людей і побачили, що їх короткострокова памʼять обмежена приблизно 4 елементами. Вони ведуть бесіду:
- Ха! Цей вид ніколи не полетить на Місяць! Очевидно, це неможливо зробити з розміром короткострокової памʼяті 4.
- Звідки ти це знаєш?
- Будь-який розсудливий, серйозний нібіріанець знає, що полетіти на Місяць - це складна технічна проблема. Треба бути дуже наївним, щоб думати, що настільки складну проблему можна вирішити з короткостроковою памʼяттю розміром в 4 елементи. Дійсно, якщо ти думаєш, що її можна вирішити з короткостроковою памʼяттю 4, ти просто не цінуєш складність проблеми!
- Послухай, я правда ціную складність проблеми. Я сам багато років вивчав стародавні методи космічних перельотів і знаю, наскільки складно це робити. Я сходив з розуму від того, наскільки це складно. Але це не є аргументом. Реальності дозволено відбуватися навіть якщо це порушує відчуття гордості інженерів. Тому скажи, не на рівні аргументів через соціальну серйозність, а на рівні обʼєктних аргументів, чому ти вважаєш, що цей вид ніколи не полетить на Місяць? Ти розробив причинно-наслідковий механізм того, як працює інтелект, який забороняє інтелекту з короткостроковою памʼяттю 4 будувати ракети? У тебе є теорема, яка доводить, що людська когнітивна структура має певні фундаментальні обмеження, і ти впевнений, що математика цієї теореми відповідає структурі реальних процесів в людському мозку?
- Ні, але ж це просто наукова фантастика!
- Чувак, ми буквально стоїмо всередині літаючої тарілки.
- Fair enough. Але твій аргумент доводить забагато. Памʼятаєш, як божевільний Кхегрос розсилав усім нейтринні передачі про те, як рослини на Тау Кита скоро еволюціонують в надрозумний вид, який побудує сферу Дайсона?
- Якщо ідіот каже, що 2*2=4, 2*2 не стає від цього 5. На Землі, ситуація інша. Люди вже систематично демонструють перевершення очікувань скептичних екзобіологів. Спочатку, екзобіологи казали, що люди точно не зможуть займатися землеробством невідомо скільки, тому що для землеробства треба знання біології, а для отримання знань біології треба цивілізоване суспільство, яке виникає унаслідок наявності надлишку їжі унаслідок землеробства. Потім, вони казали, що люди не зможуть виплавляти сплави металів з аналогічних причин. І що ми бачимо зараз?
- Це просто смішно - порівнювати здатність займатися землеробством зі здатністю полетіти на Місяць!
- До цього, було просто смішно порівнювати здатність до мови зі здатністю до землеробства.
😁5❤1
Але, це теж не аргумент. Реальність не піклується про те, чи щось смішно, чи ні. Вона піклується про те, чи є відповідні причинно-наслідкові механізми…
- Шмеханізми! Я не можу доводити неможливість кожного абсурдного твердження.
- Але це не чергове твердження. Люди важливі. Інтелектуальний вибух їх цивілізації може мати ризиковані, непередбачувані наслідки для нас. Це не пуста салонна бесіда. Мета - не перемогти в суперечці один з одним, а вижити. Чи вважаєш ти щиро, що твій підхід до аналізу цієї проблеми, якщо його використовувати систематично до будь-яких проблем подібного роду, буде приводити систематично до виживання, а не навпаки?
- Шмеханізми! Я не можу доводити неможливість кожного абсурдного твердження.
- Але це не чергове твердження. Люди важливі. Інтелектуальний вибух їх цивілізації може мати ризиковані, непередбачувані наслідки для нас. Це не пуста салонна бесіда. Мета - не перемогти в суперечці один з одним, а вижити. Чи вважаєш ти щиро, що твій підхід до аналізу цієї проблеми, якщо його використовувати систематично до будь-яких проблем подібного роду, буде приводити систематично до виживання, а не навпаки?
😁4
Мені дуже шкода, але професійне вивчення академічної філософії як основної речі, яку ти вчиш і яку сприймаєш серйозно - це неіронічно brain damage. Люди ламають свій когнітивний апарат, і він більше не здатний працювати. Я не жартую, не іронізую. Людина, яка не вчила нічого, має певні, рудиментарні здібності до правильного оновлення переконань. Ці здібності можна культивувати та розвивати. Філософія, працюючи над юним, неокріпленим інтелектом, незворотньо знищує їх.
💊9🤝7🤔2🤮1
Зараз буде важлива, «екзистенційна» серія постів, яка правда може стати у нагоді, тому дуже заохочую почитати і подумати для себе. Але навіть якщо вона не стане у нагоді вам, то мені треба структурувати власні думки і є причини, чому публічно це робити може бути більш ефективно. Не знав, чи варто публікувати це десь, але вирішив, що принаймні на цьому каналі опублікую. Не те що б і очікував якоїсь користі від публікації, але від не-публікації користі точно не буде.
Ситуація така, що я вважаю абсурдним для себе продовжувати пасивно спостерігати за розвитком ШІ і не протидіяти йому. Навіть якщо розмірковувати суто егоїстично, я не бачу для себе жодного сенсу не протидіяти розвитку ШІ і чекати, поки всі загинуть. Треба зробити вибір, що робити, але я не бачу гарних опцій. Треба зробити вибір - і не помилитися - на відміну від багатьох інших разів, коли доводилося робити складний вибір.
Намагаючись зрозуміти, як зробити важливий правильний вибір зараз, я думаю про свої найбільші помилки і про те, чи можна було їх виправити - і як.
Ситуація така, що я вважаю абсурдним для себе продовжувати пасивно спостерігати за розвитком ШІ і не протидіяти йому. Навіть якщо розмірковувати суто егоїстично, я не бачу для себе жодного сенсу не протидіяти розвитку ШІ і чекати, поки всі загинуть. Треба зробити вибір, що робити, але я не бачу гарних опцій. Треба зробити вибір - і не помилитися - на відміну від багатьох інших разів, коли доводилося робити складний вибір.
Намагаючись зрозуміти, як зробити важливий правильний вибір зараз, я думаю про свої найбільші помилки і про те, чи можна було їх виправити - і як.
🗿2
Першою моєю фундаментальною помилкою було не вивчати математику в дитинстві у величезних кількостях. Це напевно найлегша порада у світі за відношенням «корисність/довжина поради», але чомусь вона не поширена.
Just study math. It is that simple.
Чи можна було виправити цю помилку на момент скоєння? Напевно, що ні. Я був маленькою дитиною з мозком маленької дитини, і обʼєктивно не було ймовірного способу, як би я міг зрозуміти екстраординарну практичну корисність математики, а особливого задоволення вона мені не приносила. Що стосується моїх батьків, то це дуже відповідальні і добрі люди, які усіляко заохочували будь-які мої інтелектуальні інтереси та намагалися робити для мене середовище розвитку та навчання. Вони цілком розуміли важливість і цінність інтелекту та знань, але вони, на жаль, не розуміли особливу важливість та цінність саме математики.
Звичайно, що відсутність десяти тисяч годин досвіду в математиці на момент закінчення школи не є вироком, але це просто дуже, дуже уповільнює усю подальшу роботу. Треба час, щоб вивчати нові шматки математики, і треба більше часу, щоб розуміти використовувати їх. Це просто практично перманентний нерф, який робить тебе повільнішим, ніж ти міг би бути.
Just study math. It is that simple.
Чи можна було виправити цю помилку на момент скоєння? Напевно, що ні. Я був маленькою дитиною з мозком маленької дитини, і обʼєктивно не було ймовірного способу, як би я міг зрозуміти екстраординарну практичну корисність математики, а особливого задоволення вона мені не приносила. Що стосується моїх батьків, то це дуже відповідальні і добрі люди, які усіляко заохочували будь-які мої інтелектуальні інтереси та намагалися робити для мене середовище розвитку та навчання. Вони цілком розуміли важливість і цінність інтелекту та знань, але вони, на жаль, не розуміли особливу важливість та цінність саме математики.
Звичайно, що відсутність десяти тисяч годин досвіду в математиці на момент закінчення школи не є вироком, але це просто дуже, дуже уповільнює усю подальшу роботу. Треба час, щоб вивчати нові шматки математики, і треба більше часу, щоб розуміти використовувати їх. Це просто практично перманентний нерф, який робить тебе повільнішим, ніж ти міг би бути.
👍5😁1😐1