DPS Build

OpenAI 的研究员 Hyung Won Chung 回顾了 transformer 架构的发展历程：

1. 算力以指数级的方式增长，这是 AI 发展的最大驱动力。就像重力是自由落体运动里最大驱动力一样，其他的因素可以忽略不计；

2. 很多模型架构的设计最初需要比较强的结构，比如 Bert 需要有 encoder + decoder 的结构，但是随着算力和数据量的发展，结构会变得越来越弱，比如 GPT 就只有 decoder；

3. 一些特定领域还是需要强结构的算法，比如解题这一任务，输入长度远远超过输出长度，所以强结构的模型表现比弱结构的模型要好很多。

https://youtu.be/orDKvo8h71o

YouTube

Stanford CS25: V4 I Hyung Won Chung of OpenAI

April 11, 2024
Speaker: Hyung Won Chung, OpenAI

Shaping the Future of AI from the History of Transformer

AI is developing at such an overwhelming pace that it is hard to keep up. Instead of spending all our energy catching up with the latest development…

www.tgoop.com/dps_build/368

437 viewsJul 10, 2024 at 00:44

OpenAI 的研究员 Hyung Won Chung 回顾了 transformer 架构的发展历程：

1. 算力以指数级的方式增长，这是 AI 发展的最大驱动力。就像重力是自由落体运动里最大驱动力一样，其他的因素可以忽略不计；

2. 很多模型架构的设计最初需要比较强的结构，比如 Bert 需要有 encoder + decoder 的结构，但是随着算力和数据量的发展，结构会变得越来越弱，比如 GPT 就只有 decoder；

3. 一些特定领域还是需要强结构的算法，比如解题这一任务，输入长度远远超过输出长度，所以强结构的模型表现比弱结构的模型要好很多。

https://youtu.be/orDKvo8h71o

BY DPS Build