Boris Burkov

R1 moment

Сегодняшний обвал $NVDA на 10-13% 17% показывает, что благодаря DeepSeek произошло очередное массовое прозрение на рынках.

Большие деньги за прошедшие 3 дня осознали 2 важных вещи.

Первую мы уже обсуждали - что гигаваттные ЦОДы могут не сработать как ров добавленной стоимости. Но важно даже не это.

Второе, более важное осознание, состоит в том, что с появлением Chain-of-Thought основной капекс (да и опекс) уходит из трейна убер-моделей в инференс.

Он с CoT стал на порядки дороже. Рассуждающие нейронки тратят гораздо больше компьюта на то, чтобы выдать один символ, чем обычные, несколько раз “проговаривая” про себя логические цепочки умозаключений и сверяя результаты, которые получаются, если использовать разные подходы к решению одной и той же задачи. Это очень дорого, но дает очень существенный прирост точности ответа.

И платежеспособный спрос готов платить за этот прирост качества. Потому как ошибаться можно в рисовании котиков - “я художник я так вижу”. Но основные деньги - в ответственных задачах типа написания кода или медицины, и там цена ошибки огромна. А значит, за снижение частоты ошибки на порядок пользователи готовы платить на 2 порядка больше денег, т.к. тут мы уже говорим не об автоматизации художниц, а о кратном росте производительности труда айтишников/врачей/юристов/<назовите другую профессию с 5 нулями в з/п>, а это совсем другие порядки денег.

И это - проблема для $NVDA. Потому что она производит дизайны, нужные в первую очередь под обучение, и продает лицензии, а сами-то чипы производят ее OEM’ы. Эти OEM’ы могут производить и железо для инференса, но вот дизайнить его умеет не только $NVDA, но и другие довольно грамотные производители, способные с ней посоревноваться. Те же инженеры Huawei, работающие с Ascend’ами, вот говорят, что китайские компании в первую очередь сфокусированы на инференсе, а не на обучении убер-моделей.

Reddit

From the LocalLLaMA community on Reddit

Explore this post and more from the LocalLLaMA community

www.tgoop.com/BorisBurkov/1214

1.3K viewsedited  Jan 27 at 14:55

R1 moment

Сегодняшний обвал $NVDA на 10-13% 17% показывает, что благодаря DeepSeek произошло очередное массовое прозрение на рынках.

Большие деньги за прошедшие 3 дня осознали 2 важных вещи.

Первую мы уже обсуждали - что гигаваттные ЦОДы могут не сработать как ров добавленной стоимости. Но важно даже не это.

Второе, более важное осознание, состоит в том, что с появлением Chain-of-Thought основной капекс (да и опекс) уходит из трейна убер-моделей в инференс.

Он с CoT стал на порядки дороже. Рассуждающие нейронки тратят гораздо больше компьюта на то, чтобы выдать один символ, чем обычные, несколько раз “проговаривая” про себя логические цепочки умозаключений и сверяя результаты, которые получаются, если использовать разные подходы к решению одной и той же задачи. Это очень дорого, но дает очень существенный прирост точности ответа.

И платежеспособный спрос готов платить за этот прирост качества. Потому как ошибаться можно в рисовании котиков - “я художник я так вижу”. Но основные деньги - в ответственных задачах типа написания кода или медицины, и там цена ошибки огромна. А значит, за снижение частоты ошибки на порядок пользователи готовы платить на 2 порядка больше денег, т.к. тут мы уже говорим не об автоматизации художниц, а о кратном росте производительности труда айтишников/врачей/юристов/<назовите другую профессию с 5 нулями в з/п>, а это совсем другие порядки денег.

И это - проблема для $NVDA. Потому что она производит дизайны, нужные в первую очередь под обучение, и продает лицензии, а сами-то чипы производят ее OEM’ы. Эти OEM’ы могут производить и железо для инференса, но вот дизайнить его умеет не только $NVDA, но и другие довольно грамотные производители, способные с ней посоревноваться. Те же инженеры Huawei, работающие с Ascend’ами, вот говорят, что китайские компании в первую очередь сфокусированы на инференсе, а не на обучении убер-моделей.

BY Boris Burkov