Please open Telegram to view this post
VIEW IN TELEGRAM
💭 Виступ Іллі Суцкевера на конференції NeurIPS. Про стан індустрії і що буде далі. Подивіться, там небагато, 15 хв + питання.
YouTube
Ilya Sutskever: "Sequence to sequence learning with neural networks: what a decade"
Ilya Sutskever full talk "Sequence to sequence learning with neural networks: what a decade" at NeurIPS 2024 in Vancouver, Canada.
"Pre-training as we know it will end" and what comes next is superintelligence: agentic, reasons, understands and is self aware.…
"Pre-training as we know it will end" and what comes next is superintelligence: agentic, reasons, understands and is self aware.…
Brodetskyi. Tech, VC, Startups
💭 Виступ Іллі Суцкевера на конференції NeurIPS. Про стан індустрії і що буде далі. Подивіться, там небагато, 15 хв + питання.
Brodetskyi. Tech, VC, Startups
2024 Backward Pass - The Definitive Guide to AI in 2024.pdf
Avenir x AI.pdf
10.1 MB
📈 Класний репорт з поглядом інвестора на індустрію AI від фонду Avenir Growth.
Strongly recommended
Strongly recommended
Brodetskyi. Tech, VC, Startups
Avenir x AI.pdf
✍ Головне в двох слайдах
Forwarded from wlwsk
#TECH #AI #LLM
🗜 Якщо ви працюєте в теку (або навколо нього) обовʼязково подивіться нове відео Antropic про обхід алайменту в аішках
Antropic, яким час від часу вдається перепльовувати OpenAI за результатами якості та перфомансу моделей - неймовірна компанія. Це одні з найяскравіших умів в індустрії, і я з великим задоволенням слухаю їх на тему технологічної етики.
Якщо вас цікавить чим компанії-лідери на гострії штучного інтелекту - це не тільки обчислювальні потужності і технології. Великою мірою - це етика, практичне розвʼязання парадокса брехні помноженого на кібернетику та інших цікавих етичних дилем.
Особиста думка в якій я починаю все більше і більше переконуватись: філософська освіта буде обовʼязковою разом з технічною, для всіх хто працюватиме з моделями на подібному рівні.
Antropic, яким час від часу вдається перепльовувати OpenAI за результатами якості та перфомансу моделей - неймовірна компанія. Це одні з найяскравіших умів в індустрії, і я з великим задоволенням слухаю їх на тему технологічної етики.
Якщо вас цікавить чим компанії-лідери на гострії штучного інтелекту - це не тільки обчислювальні потужності і технології. Великою мірою - це етика, практичне розвʼязання парадокса брехні помноженого на кібернетику та інших цікавих етичних дилем.
Особиста думка в якій я починаю все більше і більше переконуватись: філософська освіта буде обовʼязковою разом з технічною, для всіх хто працюватиме з моделями на подібному рівні.
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Alignment faking in large language models
Most of us have encountered situations where someone appears to share our views or values, but is in fact only pretending to do so—a behavior that we might call “alignment faking”.
Could AI models also display alignment faking?
Ryan Greenblatt, Monte…
Could AI models also display alignment faking?
Ryan Greenblatt, Monte…
🧠 Ключове питання в індустрії AI зараз - звідки прийдуть наступні етапи покращення продуктивності мовних моделей. Якісних даних, щоб масштабувати моделі як раніше, уже не вистачає. Кидати на модель більше обчислювальних потужностей уже дорого - тестові прогони GPT-5 вже обходяться в півмільярда, а приріст продуктивності дають не такий великий.
Консенсус зараз виглядає так, що наступний приріст продуктивності принесуть розробки в напрямку test time compute - коли модель витрачає на відповідь більше часу, генеруючи багато відповідей, а потім аналізуючи їх і обираючи оптимальну. Такий собі брутфорс. Це дає значно кращі результати для завдань, які вимагають складного процесу "мислення", як от наукові дослідження. Багато хто вже встиг протестувати модель o1-mini чи o1 від OpenAI, які поки що є лідерами в цьому напрямі.
На днях вони презентувати нову модель o3, яка виглядає як якісний прогреc, а не просто кількісний. Це не "чиста" LLM, o3 використовує підходи reinforcement learning. Якщо дуже спрощено, їй показують питання і правильну відповідь, а вона підбирає, якими шляхами можна дійти до правильної відповіді, таким чином генералізуючи правильні підходи до мислення. o3 може думати десятками годин, а один запуск моделі може споживати коштувати сотні тисяч доларів обчислювальних потужностей. Але! Ця модель проходить бенчмарки, які раніше вважались непробивними для LLM, на кшталт олімпіадних задач з математики та хитрих тестів на логіку. Також ця модель набагато краще справляється з задачами з програмування.
Це дійсно big deal, адже фантастичні результати o3 на бенчмарках свідчать про те що прогрес моделей поки що не вперся в стіну. Тепер розробники всіх топових лабораторій будуть покращувати моделі з допомогою test time compute, а отже можна очікувати нових продуктових анонсів з фантастичними фічами. Рекомендую подивитись ось цей розбір від одного з моїх улюблених каналів AI Explained.
Консенсус зараз виглядає так, що наступний приріст продуктивності принесуть розробки в напрямку test time compute - коли модель витрачає на відповідь більше часу, генеруючи багато відповідей, а потім аналізуючи їх і обираючи оптимальну. Такий собі брутфорс. Це дає значно кращі результати для завдань, які вимагають складного процесу "мислення", як от наукові дослідження. Багато хто вже встиг протестувати модель o1-mini чи o1 від OpenAI, які поки що є лідерами в цьому напрямі.
На днях вони презентувати нову модель o3, яка виглядає як якісний прогреc, а не просто кількісний. Це не "чиста" LLM, o3 використовує підходи reinforcement learning. Якщо дуже спрощено, їй показують питання і правильну відповідь, а вона підбирає, якими шляхами можна дійти до правильної відповіді, таким чином генералізуючи правильні підходи до мислення. o3 може думати десятками годин, а один запуск моделі може споживати коштувати сотні тисяч доларів обчислювальних потужностей. Але! Ця модель проходить бенчмарки, які раніше вважались непробивними для LLM, на кшталт олімпіадних задач з математики та хитрих тестів на логіку. Також ця модель набагато краще справляється з задачами з програмування.
Це дійсно big deal, адже фантастичні результати o3 на бенчмарках свідчать про те що прогрес моделей поки що не вперся в стіну. Тепер розробники всіх топових лабораторій будуть покращувати моделі з допомогою test time compute, а отже можна очікувати нових продуктових анонсів з фантастичними фічами. Рекомендую подивитись ось цей розбір від одного з моїх улюблених каналів AI Explained.
YouTube
o3 - wow
o3 isn’t one of the biggest developments in AI for 2+ years because it beats a particular benchmark. It is so because it demonstrates a reusable technique through which almost any benchmark could fall, and at short notice. I’ll cover all the highlights, benchmarks…
🎙 Ось цікавий подкаст з відомим критиком LLM, який розробив непробивний (на момент запису подкасту хаха) бенчмарк, про який йдеться в попередньому пості. Багато цікавого.
Зміст:
00:00:00 – The ARC benchmark
00:11:53 – Why LLMs struggle with ARC
00:19:43 – Skill vs intelligence
00:28:38 – Do we need “AGI” to automate most jobs?
00:49:11 – Future of AI progress: deep learning + program synthesis
01:01:23 – How Mike Knoop got nerd-sniped by ARC
01:09:20 – Million $ ARC Prize
01:11:16 – Resisting benchmark saturation
01:18:51 – ARC scores on frontier vs open source models
01:27:02 – Possible solutions to ARC Prize
Зміст:
00:00:00 – The ARC benchmark
00:11:53 – Why LLMs struggle with ARC
00:19:43 – Skill vs intelligence
00:28:38 – Do we need “AGI” to automate most jobs?
00:49:11 – Future of AI progress: deep learning + program synthesis
01:01:23 – How Mike Knoop got nerd-sniped by ARC
01:09:20 – Million $ ARC Prize
01:11:16 – Resisting benchmark saturation
01:18:51 – ARC scores on frontier vs open source models
01:27:02 – Possible solutions to ARC Prize
YouTube
Francois Chollet - Why The Biggest AI Models Can't Solve Simple Puzzles
Here is my conversation with Francois Chollet and Mike Knoop on the $1 million ARC-AGI Prize they're launching today.
I did a bunch of socratic grilling throughout, but Francois’s arguments about why LLMs won’t lead to AGI are very interesting and worth…
I did a bunch of socratic grilling throughout, but Francois’s arguments about why LLMs won’t lead to AGI are very interesting and worth…
Мені дуже подобається подкаст про AI від фонду Redpoint. З нещодавнього слухав випуск з колишнім Chief Research Officer at OpenAI. Дуже крутий дядько, приємно слухати.
Що всередині:
0:00 Intro
0:44 Debating AI Model Capabilities
0:57 Inside vs Outside Perspectives on AI Progress
1:39 Challenges in AI Pre-Training
3:02 Reinforcement Learning and Future Models
3:48 AI Progress in 2025
5:58 New Form Factors for AI Models
8:56 Reliability and Enterprise Integration
18:14 Multimodal AI and Video Models
24:05 The Future of Robotics
32:46 The Complexity of Automating Jobs with AI
34:08 AI in Startups: Tackling Boring Problems
35:33 AI's Impact on Productivity and Consultants
36:43 Traits of Top AI Researchers
40:52 The Evolution of OpenAI's Mission
46:57 The Challenges of Scaling AI
49:16 The Future of AI and Human Agency
54:47 AI in Social Sciences and Academia
1:01:15 Reflections and Future Plans
1:02:57 Quickfire
Що всередині:
0:00 Intro
0:44 Debating AI Model Capabilities
0:57 Inside vs Outside Perspectives on AI Progress
1:39 Challenges in AI Pre-Training
3:02 Reinforcement Learning and Future Models
3:48 AI Progress in 2025
5:58 New Form Factors for AI Models
8:56 Reliability and Enterprise Integration
18:14 Multimodal AI and Video Models
24:05 The Future of Robotics
32:46 The Complexity of Automating Jobs with AI
34:08 AI in Startups: Tackling Boring Problems
35:33 AI's Impact on Productivity and Consultants
36:43 Traits of Top AI Researchers
40:52 The Evolution of OpenAI's Mission
46:57 The Challenges of Scaling AI
49:16 The Future of AI and Human Agency
54:47 AI in Social Sciences and Academia
1:01:15 Reflections and Future Plans
1:02:57 Quickfire
YouTube
Ex-OpenAI Chief Research Officer: What Comes Next for AI?
In our new world of AI, few minds shine as brightly as Bob McGrew's. Until November Bob was the Chief Research Officer at OpenAI, and before that led Palantir’s engineering and product management for the first decade of its existence.
He’s seen it all and…
He’s seen it all and…
🎙 А це трохи з зірочкою випуск, бо сильно технічний спікер, такий справжній нерд. Ресерчер з OpenAI, який був одним з лідів якраз роботи над o1.
0:00 Intro
1:16 Scaling Model Capabilities and Economic Constraints
3:14 Excitement Around Test Time Compute
5:16 Challenges and Future Directions in AI Research
8:37 Noam Brown's Journey and OpenAI's Research Focus
16:34 The Role of Specialized Models and Tools
22:04 Unexpected Use Cases and Future Milestones
24:30 Proof of Concept: o1's Capabilities
25:34 The Bitter Lesson: Insights from Richard Sutton
26:45 Scaffolding Techniques and Their Future
28:42 Challenges in Academia and AI Research
31:16 Evaluating AI Models: Metrics and Trends
35:33 The Role of AI in Social Sciences
40:37 AI Agents and Emergent Communication
41:12 Future of AI Robotics
42:08 Advancing Scientific Research with AI
44:27 Quickfire
Інші випуски на каналі теж подивіться, там дуже круті спікери і хороший рівень дискусії: CEO Databricks, DeepL, Fireworks, HeyGen, співавтор пейпера по RAG, Head of AI at Snowflake та інші лідери індустрії.
0:00 Intro
1:16 Scaling Model Capabilities and Economic Constraints
3:14 Excitement Around Test Time Compute
5:16 Challenges and Future Directions in AI Research
8:37 Noam Brown's Journey and OpenAI's Research Focus
16:34 The Role of Specialized Models and Tools
22:04 Unexpected Use Cases and Future Milestones
24:30 Proof of Concept: o1's Capabilities
25:34 The Bitter Lesson: Insights from Richard Sutton
26:45 Scaffolding Techniques and Their Future
28:42 Challenges in Academia and AI Research
31:16 Evaluating AI Models: Metrics and Trends
35:33 The Role of AI in Social Sciences
40:37 AI Agents and Emergent Communication
41:12 Future of AI Robotics
42:08 Advancing Scientific Research with AI
44:27 Quickfire
Інші випуски на каналі теж подивіться, там дуже круті спікери і хороший рівень дискусії: CEO Databricks, DeepL, Fireworks, HeyGen, співавтор пейпера по RAG, Head of AI at Snowflake та інші лідери індустрії.
YouTube
OpenAI's Noam Brown Unpacks the Full Release of o1 and the Path to AGI
Noam Brown, renowned AI researcher and key figure at OpenAI, joins us for a deep dive into the o1 release. Recorded just one day before o1’s full public debut, this episode explores the groundbreaking advancements and challenges behind this innovative test…
Деякі персоналії та компанії абсолютно незаслужено знаходяться поза фокусом, просто в повній темряві для української аудиторії. Тоді як інших продовжують підносити просто за старі заслуги, навіть тих хто зійшов з дистанції. Що теж нормально, але прикривати історії неуспіхів минулими успіхами - як мінімум не чесно.
Ну а декого підсвічують, тоді як по-хорошому цього не треба робити. Просто тому що це формує неправильне розуміння того, що круто і важливо, а що - ні. І у аудиторії, і у самих людей. Умовно кажучи, люди роблять baby steps в бізнесі, а з ними уже роблять інтерв'ю і подкасти про успіх і досвід, видають значки і грамоти... Це як знаєте, в районній газеті друкують що от, вихованці нашої ДЮСШ зайняли почесне десяте місце на першості області. Мабуть неправильно з ними робити інтерв'ю про історію успіху? А у нас чомусь ось така районна газета виходить. І ладно б тільки це, але при цьому про умовних олімпійських чемпіонів редактори тієї самої газети ні сном, ні духом.
Восени я був на панелі на ІТ Арені у Львові, головній події tech української індустрії цього року. Я запитав у залу - хто чув про компанію Fireworks? Ніхто. Нуль з повної аудиторії суперпрофільних людей. А це один з найбільш сексі AI стартапів зараз в США. Навесні підняли $25m від Benchmark, влітку - уже $50m з оцінкою в півмільярда від Sequoia. Команда - ветерани Meta, команда яка розробляла PyTorch, найпопулярнішу бібліотеку для роботи з deep learning. Зараз роблять GenAI inference engine, допомагають компаніям більш ефективно тренувати та запускати моделі. Супер гарячий напрям в AI infra.
Так от, двоє з кофаундерів - українці, Дмитро Джулгаков з Харкова, випускник Харківського політеху, він же - CTO компанії, та Дмитро Івченко, випускник Київського політеху.
Скільки публікацій про них можна прочитати в українських медіа? Нуль. Фантастичні інженери, які збудували кар'єру в США, а тепер будують без п'яти хвилин юнікорн в найгарячішій ніші. Про них в Україні чомусь не говорять. А я б хотів, щоб про них тут говорили з кожної праски. Щоб вони були в публічному просторі, а не діти, які з'їздили на районну олімпіаду і отримали грамоту за участь.
Залишу тут виступ Джулгакова на конференції в липні, або ось такий, трохи коротший, в жовтні. Ну дуже круті хлопці ці два Дмитра, я в захваті від таких прикладів. Сподіваюсь у них все вийде і вони зароблять дуже багато грошей. Більше про компанію шукайте на ютубі, там багато інтерв'ю і подкастів з CEO, наприклад такий зрозумілий сюжет.
Що думаєте? Якщо наставите багато реакцій, опублікую свій топ українців, які заснували круті стартапи, а про них як в тому мемі, не написало жодне бляха ЗМІ.
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
How Fireworks AI Makes Open Models Faster
Generative AI powers the next generation of real time applications. The key to success of modern application development in the Gen AI era is secure, latency-sensitive and low cost LLM serving solution, which Firework’s enterprise grade deployment provides.…
Please open Telegram to view this post
VIEW IN TELEGRAM
✨ Радий повідомити, що фонд u.ventures було визнано «Інвестором року» за версією Ukrainian Startup Fund!
🚀 Як найактивніший венчурний інвестор в Україні у 2024 році, u.ventures планує і надалі підтримувати виняткових фаундерів, які створюють глобальні компанії в Україні. Це особливо важливо в нинішній непростий час!
🚀 Як найактивніший венчурний інвестор в Україні у 2024 році, u.ventures планує і надалі підтримувати виняткових фаундерів, які створюють глобальні компанії в Україні. Це особливо важливо в нинішній непростий час!