DeepSeek или DeepScam?

Недавно китайцы взбудоражили весь интернет и даже фондовый рынок США своей новой нейросетью DeepSeek, которая казалась в разы дешевле как в тренировке — всего $5m вместо $100m (для тренировки o1), так и использовании — использование API (миллион токенов) китайцев обойдётся вам на ~2500% дешевле. $0.55 вместо $15, например🤯

Вот только в этой всей истории есть много нюансов.

1️⃣ $5m это цена лишь одной, финальной, тренировки модели. Сюда стоит добавить стоимость сбора и подготовки данных, и 2048 видеокарт H800, стоящих около $50-100m в сумме. А ещё тот факт, что они весь год существования не сидели на месте и создали 5 моделей до выстрельнувшей R1. Плюс есть слухи, что они всё же использовали H100, но скрыли это.

DeepSeek также долгое время занималась исследованиями, которые были нифига не бесплатными в том числе были ориентированы на более дешёвые способы тренировки нейросетей. Например, в этой статье они рассказывают как уменьшили KV-cache на 93%. А он как раз позволяет снизить требования к видеопамяти у видеокарты.

Есть мнение, что сумма капитальных вложений во всё это дело $500m. Упс, в 100 раз выше хайповых $5m🫢

2️⃣ Стоимость создания собственной модели сейчас падает с каждым днём (и новым исследованием). OpenAI делали это на протяжении 9 лет и были одними из первых, кто смог создать настолько умную и простую с точки зрения UX модель.

Дешевле ли сейчас в принципе создать какую-либо AI-модель? Конечно. Потому что уже тонна R&D было проведено другими за вас и до вас. Куча исследований опубликованы. Есть open-source модели. Тот же deepseek open-source, а значит какая-нибудь другая компания сможет намного быстрее повторить её успех с точки зрения производительности модели.

3️⃣ Да, цена акций Nvidia упала на 17% с пятницы на понедельник, и компания также потеряла $589b в капитализации (самое большое падение в истории). Другие техно-гиганты США тоже потеряли до 16%. Тем не менее, лично я бы отнесла это скорее к влиянию маркетинга на фондовый рынок:
— Китай против США, точнее китайский AI против американского. Отличный заголовок!
— Заявление про стоимость $5m, которое после проверки и небольших размышлений уже не кажется таким правдивыми.

⚠️ Разумеется, все эти пункты не отменяют вклад Deepseek в технологический прогресс и то, что их модель R1 сейчас действительно сопоставима с ChatGPT-o1, при этом её API стоит в разы дешевле. И оно ещё и open-source'ное.

📝 Итоги
— Модель действительно крутая с технологической точки зрения. Её уже запускают даже на Raspberry Pi
— Конкуренция, особенно за счёт новых технологий, всегда круто. Может быть я смогу наконец-то перестать скоро отдавать каждый месяц $20 за возможность поговорить с "экспертом по всем вопросам" =)
— В этой истории очень много непонятнок, введений в заблуждение и просто отсутствия информации. Из чего многие сделали неплохой инфоповод (видимо и я теперь среди них, но что поделать). Мне самой понадобилось 2 часа на ресёрч всей этой информации, и всё равно не чувствую уверенности в ней.

А что вы думаете про DeepSeek? Может уже успели попользоваться? Поделитесь в комментариях!