最近 DeepSeek 俨然填满了我身边的大部分科技类信源,在狂欢之后(之中?),想综合最近看到的信息以及实际使用体验,总结我的一些想法,可能不成熟。
@atashare
1. 首先,DeepSeek 在国内外产生巨大反响,我觉得主要是它暂时打破了国外头部厂商在这几年有意无意培养的一个认知:搞 AI 会越来越烧钱。
以 GPT 系列为例,从传统的文生文模型 GPT 3.5,到多模态模型 GPT 4(o),再到现在的思维链模型 o1 和实时语音模型 GPT 4o Realtime,API 的价格目前遵循着“推出新品(贵) -> 优化性能或者推出小模型(降价) -> 推出新品(贵)”的周期。而网页版的 ChatGPT 会员价格从 Plus ($20) 涨到 Pro ($200) 甚至传言的 $2000,Sam Altman 还频频表示 OpenAI 一直在亏损,都传递出“大模型越来越烧钱”的信息。
于是 DeepSeek V3 和 R1 发布后,美国研究员们发现 DeepSeek 居然只用 GPT-4o 的 1/10 或者更低的成本,就做出了在一些方面追平甚至超越 4o 和 o1 的模型,560 万美元的成本比 Meta 一些高管的工资还低。人们自然而然地产生了问题:为什么我们之前要花那么多钱?怎么和投资人交代?所以微软等机构开始质疑,试图找 DeepSeek 的漏洞。同时,很多机构也在复现和部署(例如微软 Azure 云就搞了推理服务),尝试趁着 DeepSeek 官方服务超载的时候分一杯羹。
但长期来看,AI 烧钱的主旋律还会继续。一方面,DeepSeek 是在国内被制裁的环境下,用有限的硬件一点点抠出来的性能(比如说,他们用英伟达的 PTX 语言做了很底层的优化);另一方面,探索新技术也很费资源,如果手里的资源不够,甚至连技术的验证和迭代都跑不快。DeepSeek 主要证明了现有硬件性能还有挖掘空间,并且不但 N 卡可以流畅地部署大模型,A 卡和华为昇腾等国产显卡也能(前者 DeepSeek V3 已经首发支持,后者硅基流动已经和华为云合作实现)。“低成本高效率“和“高成本高效果”这两条路本质也不冲突。
> 这里补充一下,国外推出的不少推理服务主打的其实是隐私与合规性。因为 DeepSeek 官方是会用对话记录改进模型的,并且作为一个 🇨🇳 产品,很多老外天然排斥。如果把模型部署在海外,然后再特意备注“我们不收集对话记录”,不就成为卖点了?
> 另一方面,微软一边质疑一边火速推出服务,也能看出微软作为巨型企业,不同部门有不同的行为逻辑,政治和商业行为不冲突。
2. DeepSeek 的局限性。咱程序员当然不能像自媒体那么沸腾。DeepSeek V3 和 R1 当然也有缺陷:
- 它俩是专攻文生文方向,是将有限的资源集中到了一个点上。这两个模型都不支持多模态,官网虽然支持图片输入,但本质上使用了 OCR。不过反过来说,“专心做好一件事”也有可能是它出圈的一个因素。
- 目前在工程化产品中的帮助有限。像豆包、通义千问这些产品直接从用户接收输入,大模型直接输出给用户,没有固定的限制;而在其它一些产品里(比如说面向程序员的编程工具),大模型只是产品功能的一个环节,需要稳定、格式化的输入输出。V3 和 R1 目前对 tool call 的支持都不算好,在编程这个垂直领域里,prompt 的遵循能力和效果比不上 Claude 3.5 Sonnet 等广受好评的模型。
- 最近的一个观点“在 R1 上可以抛弃 prompt 工程”,并不认同。在简单问题上确实可以简单提问,让 R1 自己推理完善计划;但复杂场景里这么干可能让它填充的细节变得脱离实际。更何况,即使给了充足的指示,它的效果有时候也一般(可能是特定场景的训练数据不足)。
> 评论区的图片对比了 DeepSeek V3(左)和 Claude 3.5 Sonnet(右)在 AI 代码编辑器中的表现。R1 的表现和 V3 类似。
3. 宏观总结一下 V3 和 R1 的意义
- 在现有的技术大框架下,提供了一种高效率的新思路,并且透明开放。
- 在大模型领域培养了好的人才
- 给全国人民拜了个好年
- 让 AI 进一步靠近了普通人,强化了“中国的 AI 原来也这么好用,我们的模型有能力走向全球并被广泛认可”的认知。在现在这个节骨眼上,某种程度上来说,它的存在本身已经能成为历史的一个里程碑。
> 硅基流动 CEO——“这个想法有没有问题:这可能是一个历史事件,参与就是赢,赚不赚钱已经不重要了”
@atashare
👍9❤2
SiliconCloud Stats:硅基流动用量分析
最近硅基流动这家大模型 API 服务商比较火,本人已经使用几个月了,总体非常满意。但是它官方的分析功能比较简陋,我经常想看用量走势,于是做了个小工具给自己用,顺便也开放出来给有需要的人。
这个工具本质上使用 Cookie 来访问自己账号里的数据,项目部署在腾讯云 EdgeOne Pages 上面,无服务器架构,不保存任何数据。
Demo: https://siliconcloud-stats.ataw.top
源代码: https://github.com/AnotiaWang/siliconcloud-stats
@atashare
最近硅基流动这家大模型 API 服务商比较火,本人已经使用几个月了,总体非常满意。但是它官方的分析功能比较简陋,我经常想看用量走势,于是做了个小工具给自己用,顺便也开放出来给有需要的人。
这个工具本质上使用 Cookie 来访问自己账号里的数据,项目部署在腾讯云 EdgeOne Pages 上面,无服务器架构,不保存任何数据。
Demo: https://siliconcloud-stats.ataw.top
源代码: https://github.com/AnotiaWang/siliconcloud-stats
@atashare
👍3
推荐前 OpenAI 员工 Andrej Karparthy 的视频:Deep Dive into LLMs like ChatGPT(《深入了解 ChatGPT 等大模型》)
深入浅出地讲述了目前流行的大语言模型大概是怎么做出来的、本质是什么、有什么局限性等等。如果你感兴趣,建议静下心来,跟着他的思路走完这 3 个小时。
在 AI 被部分神化的现状下,是非常好的祛魅手段,有助于让你变得更理性。我可能也会分享一点我觉得有意思的点。
B 站有不少翻译,比如 BV19ZN8eVEsS
@atashare
深入浅出地讲述了目前流行的大语言模型大概是怎么做出来的、本质是什么、有什么局限性等等。如果你感兴趣,建议静下心来,跟着他的思路走完这 3 个小时。
在 AI 被部分神化的现状下,是非常好的祛魅手段,有助于让你变得更理性。我可能也会分享一点我觉得有意思的点。
B 站有不少翻译,比如 BV19ZN8eVEsS
@atashare
👍6❤2
Media is too big
VIEW IN TELEGRAM
Deep Research Web UI: 低成本体验 ChatGPT 深度研究
不用再花 $200 购买 ChatGPT Pro 了~最近 GitHub 上有一个非常热门的项目 deep-research,复现了 ChatGPT 的 Deep Research 功能。不过那个项目只支持在终端运行,那么有没有更方便快捷的方式呢?
有的,我给它做了一个网页 UI,可以实时展示整个搜索过程。可以看看视频里的例子。纯前端页面,API key 都存储在本地。
网站地址:https://deep-research.ataw.top/
代码开源,求个 Star:https://github.com/AnotiaWang/deep-research-web-ui
不用再花 $200 购买 ChatGPT Pro 了~最近 GitHub 上有一个非常热门的项目 deep-research,复现了 ChatGPT 的 Deep Research 功能。不过那个项目只支持在终端运行,那么有没有更方便快捷的方式呢?
有的,我给它做了一个网页 UI,可以实时展示整个搜索过程。可以看看视频里的例子。纯前端页面,API key 都存储在本地。
网站地址:https://deep-research.ataw.top/
代码开源,求个 Star:https://github.com/AnotiaWang/deep-research-web-ui
👍13❤1
鲲的碎碎念
Deep Research Web UI: 低成本体验 ChatGPT 深度研究 不用再花 $200 购买 ChatGPT Pro 了~最近 GitHub 上有一个非常热门的项目 deep-research,复现了 ChatGPT 的 Deep Research 功能。不过那个项目只支持在终端运行,那么有没有更方便快捷的方式呢? 有的,我给它做了一个网页 UI,可以实时展示整个搜索过程。可以看看视频里的例子。纯前端页面,API key 都存储在本地。 网站地址:https://deep-research.ataw.top/…
发现个有意思的东西:
如果用 GPT-4o 模型问它
这是触发了 GPT 的一部分比较低质量的知识?
如果用 GPT-4o 模型问它
Deepseek controversy
这个问题,在生成第二轮搜索词的时候会出现很多 undefined。排查半天,发现原来 GPT 返回的搜索词就是 undefined,但是又在一本正经地解释本次搜索的作用。。。如果明确叫它不要写 undefined,就正常了。这是触发了 GPT 的一部分比较低质量的知识?
😁4❤1
用 Claude 3.5 Sonnet 修 bug 改来改去最后用回了第一版方案(等于什么都没改),给我气笑了,但是看它这么真诚又不好说什么
最后我把文件删掉,自己总结了一下整个过程的要点,让它重新写了一份。一遍过😐
最后我把文件删掉,自己总结了一下整个过程的要点,让它重新写了一份。一遍过
Please open Telegram to view this post
VIEW IN TELEGRAM
鲲的碎碎念
Deep Research Web UI: 低成本体验 ChatGPT 深度研究 不用再花 $200 购买 ChatGPT Pro 了~最近 GitHub 上有一个非常热门的项目 deep-research,复现了 ChatGPT 的 Deep Research 功能。不过那个项目只支持在终端运行,那么有没有更方便快捷的方式呢? 有的,我给它做了一个网页 UI,可以实时展示整个搜索过程。可以看看视频里的例子。纯前端页面,API key 都存储在本地。 网站地址:https://deep-research.ataw.top/…
不是,中科院也部署了我的项目?
https://data.aicnic.cn/dms-html/index.html
https://data.aicnic.cn/dms-html/index.html
🤯31👏4😁4👍3
Forwarded from 科技圈🎗在花频道📮
TypeScript 宣布原生移植计划,性能将提升 10 倍
TypeScript 团队宣布将编译器及工具链移植至原生代码(Go 语言),目标在 2025 年实现里程碑式性能突破。新版本 tsc 编译器在主流项目测试中展现出 10 倍速度提升:VS Code 代码库类型检查耗时从 77.8 秒缩至 7.5 秒,编辑器项目加载时间更从 9.6 秒优化至 1.2 秒。该方案还将内存占用降低约 50%。
原生版本预计 2025 年中发布命令行检查工具,年底完成全功能支持。现有 JavaScript 代码库(TypeScript 6.x)将与原生版本(TypeScript 7.0,代号 "Corsa")并行维护,确保平稳过渡。升级后将支持实时全项目错误检测、高阶重构功能,并为 AI 开发工具提供新基建。
团队将于 3 月 13 日举办问答活动,开发者可通过 GitHub 仓库追踪进展并参与测试。此次性能跃迁被视为开发体验的革命性升级,或将重塑现代 TypeScript/JavaScript 开发范式。
Microsoft Devblog | Github | FAQ
📮投稿 ☘️频道 🌸聊天 🗞️𝕏
TypeScript 团队宣布将编译器及工具链移植至原生代码(Go 语言),目标在 2025 年实现里程碑式性能突破。新版本 tsc 编译器在主流项目测试中展现出 10 倍速度提升:VS Code 代码库类型检查耗时从 77.8 秒缩至 7.5 秒,编辑器项目加载时间更从 9.6 秒优化至 1.2 秒。该方案还将内存占用降低约 50%。
原生版本预计 2025 年中发布命令行检查工具,年底完成全功能支持。现有 JavaScript 代码库(TypeScript 6.x)将与原生版本(TypeScript 7.0,代号 "Corsa")并行维护,确保平稳过渡。升级后将支持实时全项目错误检测、高阶重构功能,并为 AI 开发工具提供新基建。
团队将于 3 月 13 日举办问答活动,开发者可通过 GitHub 仓库追踪进展并参与测试。此次性能跃迁被视为开发体验的革命性升级,或将重塑现代 TypeScript/JavaScript 开发范式。
Microsoft Devblog | Github | FAQ
📮投稿 ☘️频道 🌸聊天 🗞️𝕏
👍11❤2
https://developers.googleblog.com/en/experiment-with-gemini-20-flash-native-image-generation/
昨天谷歌的 Gemini 支持多模态输入输出了,挺好玩的,大概是大厂里第一个发布的?最开始是 OpenAI 在 GPT-4 时期画的饼,然后一直没实现
昨天谷歌的 Gemini 支持多模态输入输出了,挺好玩的,大概是大厂里第一个发布的?最开始是 OpenAI 在 GPT-4 时期画的饼,然后一直没实现
👍4
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
Adding Qwen3 and Qwen3MoE by bozheng-hit · Pull Request #36878 · huggingface/transformers
Adding Qwen3
This PR adds the support of codes for the coming Qwen3 models. For information about Qwen, please visit https://github.com/QwenLM/Qwen2.5. @ArthurZucker
This PR adds the support of codes for the coming Qwen3 models. For information about Qwen, please visit https://github.com/QwenLM/Qwen2.5. @ArthurZucker
👍7🤡2
Vue 的第一大全栈框架 Nuxt 被 Vercel “收编”了 [1][2][3]
这下 Vue 和 React 生态下的两大巨头都在 Vercel 手里了😂很难说这是好事还是坏事
好事是 Nuxt 团队的资金压力减小很多,更专注于开源事业。
- Nuxt UI Pro 会免费
- 会开源 Nuxt Studio 允许自部署
坏事是 Vercel 在前端的话语权进一步扩大了,有形成垄断的风险。
这下 Vue 和 React 生态下的两大巨头都在 Vercel 手里了😂很难说这是好事还是坏事
好事是 Nuxt 团队的资金压力减小很多,更专注于开源事业。
- Nuxt UI Pro 会免费
- 会开源 Nuxt Studio 允许自部署
坏事是 Vercel 在前端的话语权进一步扩大了,有形成垄断的风险。
GitHub
The future of Nuxt · nuxt nuxt · Discussion #32559
I am very pleased to let you know that a number of us on the Nuxt core team are joining Vercel. As you know, Nuxt is a free and open source framework for building full-stack web apps. One of the th...
👍1