Forwarded from DPS Build
这回住在一个 startup founder 家,旁观了他的工作生活节奏。恰好是募资前的最后准备阶段,基本上除了基本的吃饭睡觉,都在工作。
最后一天,我们聊了聊未来的可能性,他说这次融资成功与否意味着公司是否能活下去,要么融资成功,要么被收购,两种结果他都能接受。他其实不太在意这些,最要紧的是要把手头的事做到最好,这样以后就不会有遗憾。
他说自己是慢性子的人,希望坚持把一件事慢慢做,做到极致,但这可能不适合 VC startup 的节奏。我说,其实我很欣赏这样的态度,因为只有耐心坚持才能把一件事做好。
他说自己犯了很多错,尤其是刚开始,过于专注在技术本身,而不是商业化。直到最近几年才慢慢改变。尽管融资感觉像高考一样,但其实这是对上一轮融资之后的工作总结,不像高考那样还能有针对性的准备。
对了,创业还得在三番,因为这儿有全世界最好的创业土壤,身边动不动就是在创业的人。这种复利效应没有其他地方可以比拟。我要是早点明白这个道理就好了。
总之,祝他们融资顺利!
https://www.tgoop.com/tms_ur_way/3681
最后一天,我们聊了聊未来的可能性,他说这次融资成功与否意味着公司是否能活下去,要么融资成功,要么被收购,两种结果他都能接受。他其实不太在意这些,最要紧的是要把手头的事做到最好,这样以后就不会有遗憾。
他说自己是慢性子的人,希望坚持把一件事慢慢做,做到极致,但这可能不适合 VC startup 的节奏。我说,其实我很欣赏这样的态度,因为只有耐心坚持才能把一件事做好。
他说自己犯了很多错,尤其是刚开始,过于专注在技术本身,而不是商业化。直到最近几年才慢慢改变。尽管融资感觉像高考一样,但其实这是对上一轮融资之后的工作总结,不像高考那样还能有针对性的准备。
对了,创业还得在三番,因为这儿有全世界最好的创业土壤,身边动不动就是在创业的人。这种复利效应没有其他地方可以比拟。我要是早点明白这个道理就好了。
总之,祝他们融资顺利!
https://www.tgoop.com/tms_ur_way/3681
Telegram
DPS Main
DPS 周刊 182 - 与老朋友们之间的对话
https://letters.acacess.com/weekly-182/
https://letters.acacess.com/weekly-182/
👍2
Daily Productive Sharing 1157 - About Jimmy Carter
美国前总统卡特最近去世,美国不少地方都长时间地降半旗向他致敬。到底是什么让这位老总统这么让人尊敬?Ryan Holiday 给出了他的答案:
1. 他执政期间无战争、无腐败,首次关注气候变化,推动汽车强制安装安全带,将巴拿马运河归还给其合法拥有者,并为中东达成了一项历史性的和平协议。
2. 如他自己对任期的总结:“我们讲了真话,遵守了法律,并维持了和平。”
3. 卸任后,卡特成立了卡特中心,致力于促进全球健康、民主和人权,并因此在2002年获得诺贝尔和平奖。
4. 卡特明白拖延的危险在于,我们不会直接说我们不去做,而是说“以后再做”。但往往就再也没有行动了。
5. 卡特夫妇请求让普林斯担任他们年幼的女儿艾米的保姆,并最终为她争取到假释和全面赦免。她后来搬进白宫与他们一起生活。总统任期结束后,卡特为她在佐治亚州普莱恩斯卡特家附近买了一栋房子。
6. 卡特明白,年龄从来不是障碍,尤其是在做正确的事情时。
7. 在他的一生中,卡特只抽过一根烟,那是他21岁在海军学院时。他非常讨厌,之后再也没抽过。
8. 无论你做什么,总会有人不满。这是生活的简单事实,但你不能因此止步不前。
https://letters.acacess.com/daily-productive-sharing-1157/
题图:路过金门大桥时,旁边也是降半旗。
美国前总统卡特最近去世,美国不少地方都长时间地降半旗向他致敬。到底是什么让这位老总统这么让人尊敬?Ryan Holiday 给出了他的答案:
1. 他执政期间无战争、无腐败,首次关注气候变化,推动汽车强制安装安全带,将巴拿马运河归还给其合法拥有者,并为中东达成了一项历史性的和平协议。
2. 如他自己对任期的总结:“我们讲了真话,遵守了法律,并维持了和平。”
3. 卸任后,卡特成立了卡特中心,致力于促进全球健康、民主和人权,并因此在2002年获得诺贝尔和平奖。
4. 卡特明白拖延的危险在于,我们不会直接说我们不去做,而是说“以后再做”。但往往就再也没有行动了。
5. 卡特夫妇请求让普林斯担任他们年幼的女儿艾米的保姆,并最终为她争取到假释和全面赦免。她后来搬进白宫与他们一起生活。总统任期结束后,卡特为她在佐治亚州普莱恩斯卡特家附近买了一栋房子。
6. 卡特明白,年龄从来不是障碍,尤其是在做正确的事情时。
7. 在他的一生中,卡特只抽过一根烟,那是他21岁在海军学院时。他非常讨厌,之后再也没抽过。
8. 无论你做什么,总会有人不满。这是生活的简单事实,但你不能因此止步不前。
https://letters.acacess.com/daily-productive-sharing-1157/
题图:路过金门大桥时,旁边也是降半旗。
Daily Productivity Sharing
Daily Productive Sharing 1157 - About Jimmy Carter
One helpful tip per day:)
Former U.S. President Jimmy Carter recently passed away, and flags were flown at half-staff across the country to honor him. What made this elder statesman so widely respected? Ryan Holiday provides some answers:
1. During his…
Former U.S. President Jimmy Carter recently passed away, and flags were flown at half-staff across the country to honor him. What made this elder statesman so widely respected? Ryan Holiday provides some answers:
1. During his…
DPS 周刊 183 - 美西旅行小记
一晃二十天过去了,梦幻般的美西之旅结束了。
我妈问我有什么感受?我说如果早几年成行,我可能早就搬去美国了。因为还是美国的创业土壤最好。
这回在美国,先在 LA 呆了四天,中间参展 CES 的一周,然后逛了 Death Velley 和 Yosemite 两个国家公园,最后又在三番呆了五天。
见到了不少老朋友,有朋友还特地从温哥华飞过来相聚,实在是非常感动。在三番的时候,在一个朋友家睡沙发,旁观他作为一个 startup founder 的工作生活作息,基本上除了吃饭睡觉,就是在工作。
逛国家公园的时候和一个朋友朝夕相处,到三番之后,另一个朋友带我转了城区和伯克利,最后一天又被那个 founder 朋友带着玩了一天,所以有了很多有意思的深度对话。
最后两天在三番和LA 亲眼目睹了砸车撬车抢车(三起独立事件),令我目瞪口呆。也算是让我领略了美国的真实一面。
最近几年出行都懒得带相机,这回下了决心带了出来。二十天拿相机拍了不到五百张,还不如以前一天拍得多。不过出片率倒是高了不少,朋友安慰我说,至少我们收获了很多有趣的对话。
https://letters.acacess.com/weekly-183/
一晃二十天过去了,梦幻般的美西之旅结束了。
我妈问我有什么感受?我说如果早几年成行,我可能早就搬去美国了。因为还是美国的创业土壤最好。
这回在美国,先在 LA 呆了四天,中间参展 CES 的一周,然后逛了 Death Velley 和 Yosemite 两个国家公园,最后又在三番呆了五天。
见到了不少老朋友,有朋友还特地从温哥华飞过来相聚,实在是非常感动。在三番的时候,在一个朋友家睡沙发,旁观他作为一个 startup founder 的工作生活作息,基本上除了吃饭睡觉,就是在工作。
逛国家公园的时候和一个朋友朝夕相处,到三番之后,另一个朋友带我转了城区和伯克利,最后一天又被那个 founder 朋友带着玩了一天,所以有了很多有意思的深度对话。
最后两天在三番和LA 亲眼目睹了砸车撬车抢车(三起独立事件),令我目瞪口呆。也算是让我领略了美国的真实一面。
最近几年出行都懒得带相机,这回下了决心带了出来。二十天拿相机拍了不到五百张,还不如以前一天拍得多。不过出片率倒是高了不少,朋友安慰我说,至少我们收获了很多有趣的对话。
https://letters.acacess.com/weekly-183/
Daily Productivity Sharing
DPS 周刊 183 - 美西旅行小记
一晃二十天过去了,梦幻般的美西之旅结束了。
我妈问我有什么感受?我说如果早几年成行,我可能早就搬去美国了。因为还是美国的创业土壤最好。
这回在美国,先在 LA 呆了四天,中间参展 CES 的一周,然后逛了 Death Velley 和 Yosemite 两个国家公园,最后又在三番呆了五天。
见到了不少老朋友,有朋友还特地从温哥华飞过来相聚,实在是非常感动。在三番的时候,在一个朋友家睡沙发,旁观他作为一个 startup founder 的工作生活作息,基本上除了吃饭睡觉,就是在工作。
逛国家公园…
我妈问我有什么感受?我说如果早几年成行,我可能早就搬去美国了。因为还是美国的创业土壤最好。
这回在美国,先在 LA 呆了四天,中间参展 CES 的一周,然后逛了 Death Velley 和 Yosemite 两个国家公园,最后又在三番呆了五天。
见到了不少老朋友,有朋友还特地从温哥华飞过来相聚,实在是非常感动。在三番的时候,在一个朋友家睡沙发,旁观他作为一个 startup founder 的工作生活作息,基本上除了吃饭睡觉,就是在工作。
逛国家公园…
👍2
Daily Productive Sharing 1162 - Thoughts on AGI
OpenAI 在一个月前发布了 o3 系列的模型,当时 Will Bryk 给出了一些畅想,其实现实远比这些发展得更快:
1. o3级模型在优化任何你可以为其定义奖励函数的任务上表现得非常出色。数学和编程相对容易设计奖励函数;
2. 对于那些完全采用大型语言模型(LLMs)的人来说,到2025年底,编程将更像是指挥一群 agents 去执行一系列小任务;
3. 当工程师设计架构或编写代码时,他们拥有大量的组织背景信息。o4 无法做到这一点。但o4会帮助那些拥有背景信息的工程师提升10倍的工作效率;
4. 如果以具体公司为例,确实他们可能需要更少的软件工程师,因为他们可以用更精简的团队实现相同的产出。然而,全球对软件工程师的需求可能会上升,因为世界绝对可以使用10倍更多的高质量软件;
5. 使用英语使编程对非技术人员开放。但最优秀的构建者仍然是那些能够在不同抽象层级之间自如切换的人;
6. 因为软件工程实际上是通过代码理解和解决组织需求,软件工程完全自动化的那一天,所有组织也将随之改变;
7. 不清楚 OpenAI 在 o 级模型上有多少独特的秘诀,但他们的改进速度表明这是一种算法上的进步(更容易复制),而不是某种独特的数据组合(更难复制);
8. 无论如何,不会有持续超过一年的模型护城河,因为实验室像棒球卡一样交换研究人员,更重要的是,实验室之间的研究人员彼此聚会并互相交流;
9. o 级模型使推理比训练更为重要。超级优化的推理芯片比训练芯片更容易制造,因此Nvidia在这方面的护城河并不深厚;
10. 除非代码速度达到极限,并且有一长串的实验需要运行,实验室再次被计算能力所瓶颈;
11. 一旦 AI 开始产生新的科学理论,进步的瓶颈将是物理世界中的测试和实验;
12. AI 进步的最大瓶颈将是人类 -- 法规、恐怖主义和社会崩溃。
如果你喜欢的话,不妨直接订阅这份电子报 ⬇️
https://letters.acacess.com/daily-productive-sharing-1162/
OpenAI 在一个月前发布了 o3 系列的模型,当时 Will Bryk 给出了一些畅想,其实现实远比这些发展得更快:
1. o3级模型在优化任何你可以为其定义奖励函数的任务上表现得非常出色。数学和编程相对容易设计奖励函数;
2. 对于那些完全采用大型语言模型(LLMs)的人来说,到2025年底,编程将更像是指挥一群 agents 去执行一系列小任务;
3. 当工程师设计架构或编写代码时,他们拥有大量的组织背景信息。o4 无法做到这一点。但o4会帮助那些拥有背景信息的工程师提升10倍的工作效率;
4. 如果以具体公司为例,确实他们可能需要更少的软件工程师,因为他们可以用更精简的团队实现相同的产出。然而,全球对软件工程师的需求可能会上升,因为世界绝对可以使用10倍更多的高质量软件;
5. 使用英语使编程对非技术人员开放。但最优秀的构建者仍然是那些能够在不同抽象层级之间自如切换的人;
6. 因为软件工程实际上是通过代码理解和解决组织需求,软件工程完全自动化的那一天,所有组织也将随之改变;
7. 不清楚 OpenAI 在 o 级模型上有多少独特的秘诀,但他们的改进速度表明这是一种算法上的进步(更容易复制),而不是某种独特的数据组合(更难复制);
8. 无论如何,不会有持续超过一年的模型护城河,因为实验室像棒球卡一样交换研究人员,更重要的是,实验室之间的研究人员彼此聚会并互相交流;
9. o 级模型使推理比训练更为重要。超级优化的推理芯片比训练芯片更容易制造,因此Nvidia在这方面的护城河并不深厚;
10. 除非代码速度达到极限,并且有一长串的实验需要运行,实验室再次被计算能力所瓶颈;
11. 一旦 AI 开始产生新的科学理论,进步的瓶颈将是物理世界中的测试和实验;
12. AI 进步的最大瓶颈将是人类 -- 法规、恐怖主义和社会崩溃。
如果你喜欢的话,不妨直接订阅这份电子报 ⬇️
https://letters.acacess.com/daily-productive-sharing-1162/
Daily Productivity Sharing
Daily Productive Sharing 1162 - Thoughts on AGI
One helpful tip per day:)
A month ago, OpenAI released its o3 models, and Will Bryk shared some forward-looking thoughts at the time. Reality has progressed even faster than these projections:
1. o3 models excel at optimizing tasks for which a reward…
A month ago, OpenAI released its o3 models, and Will Bryk shared some forward-looking thoughts at the time. Reality has progressed even faster than these projections:
1. o3 models excel at optimizing tasks for which a reward…
👍2
Acquired 飞到了台湾采访了台积电的创始人张忠谋。
张忠谋回顾第一次见到 Nvidia 的黄仁勋:当时台积电已经成立十年,年收入10亿美金,而 Nvidia 刚刚成立四年,濒临破产。结果他被黄仁勋的乐观所打动,黄仁勋说 Nvidia 不仅不会破产,还会成为台积电的的主要客户。
https://overcast.fm/+AA_ztycW2ZU
张忠谋回顾第一次见到 Nvidia 的黄仁勋:当时台积电已经成立十年,年收入10亿美金,而 Nvidia 刚刚成立四年,濒临破产。结果他被黄仁勋的乐观所打动,黄仁勋说 Nvidia 不仅不会破产,还会成为台积电的的主要客户。
https://overcast.fm/+AA_ztycW2ZU
overcast.fm
TSMC Founder Morris Chang — Acquired
We flew to Taiwan to interview TSMC Founder Morris Chang in a rare English interview. In fact, the last long-form video interview we could find was 17 years ago at the Computer History Museum… conducted by the one-and-only Jensen Huang! This episode came…
👍2🥰1
Daily Productive Sharing 1165 - On China
Dwarkesh Patel 去年底花了两周时间在中国旅行,记录了一些有趣的见闻:
1. 中国基本上与美国存在相反的问题。美国补贴需求并限制供应。中国补贴供应并限制需求;
2. 即使在中国农村,许多人也住在大楼里,而不是自己的独栋房子里;
3. 政府建筑遵循相同的模式:巨大的建筑物被极宽的林荫大道分隔。这种布局似乎部分是为了社会控制而设计的;
4. 中国确实到处都是摄像头。这听起来可能很幼稚——但我真的不明白为什么。这里没有犯罪。我知道你会说这是为了防止抗议;
5. 就像学校枪击事件在媒体上频繁出现,但你实际上不太可能亲身遇到,对中国共产党的抗议也是如此。你极不可能偶然遇到它们;
6. 他交谈的几乎每个人都承认经济不好,许多人都指责政府的决策;
7. 他与一家非常成功的社交媒体初创公司的CEO聊过。他说,一些最受欢迎的账号在发布关于女权主义和其他看似自由的话题。他还说,只要这些内容不直接批评政权或任何特定的政治领导人,他从未不得不将它们下架;
8. 明确来说,这是一个威权体制,他当然会对自己在那里所做的事情感到不舒服,但它绝对不是朝鲜;
他仍然困惑于中国如何同时面临人口崩溃和大量的青年失业问题;
9. 他在那里听到的一个解释是,虽然有很多低级工作可供选择,但如今受过高中和大学教育的年轻人,不愿意从事他们的父母和祖父母曾做过的低技能职位;
10. 真正缺乏的是那些实际上与他们的教育和抱负相匹配的高技能工作。可用工作与年轻人感到自己有资格且愿意从事的工作之间存在不匹配
11. 他感觉这种流行的知识生态系统在那里根本不存在。当然,有些教授在哔哩哔哩上发布的关于如何管理财务等实用事项的病毒视频。但对于世界上发生了什么以及我们应该如何应对的宏大见解?没什么可说的;
12. 与AI实验室的中国风投人士交谈时,最大的惊讶是他们感到资本受到限制;
13. 科技业对2021年的打压感到相当震惊;
14. 如果你把钱留在中国,你基本上只能在糟糕的选择中徘徊;
15. 即使你建立(或投资)了伟大的东西,也无法保证公司能够筹集到下一轮资金。即便你再次筹集成功,政府也可能随机取消你的IPO;
16. 生活中缺乏的不是时间,而是专注。
如果你喜欢的话,不妨直接订阅这份电子报 ⬇️
https://letters.acacess.com/daily-productive-sharing-1165/
Dwarkesh Patel 去年底花了两周时间在中国旅行,记录了一些有趣的见闻:
1. 中国基本上与美国存在相反的问题。美国补贴需求并限制供应。中国补贴供应并限制需求;
2. 即使在中国农村,许多人也住在大楼里,而不是自己的独栋房子里;
3. 政府建筑遵循相同的模式:巨大的建筑物被极宽的林荫大道分隔。这种布局似乎部分是为了社会控制而设计的;
4. 中国确实到处都是摄像头。这听起来可能很幼稚——但我真的不明白为什么。这里没有犯罪。我知道你会说这是为了防止抗议;
5. 就像学校枪击事件在媒体上频繁出现,但你实际上不太可能亲身遇到,对中国共产党的抗议也是如此。你极不可能偶然遇到它们;
6. 他交谈的几乎每个人都承认经济不好,许多人都指责政府的决策;
7. 他与一家非常成功的社交媒体初创公司的CEO聊过。他说,一些最受欢迎的账号在发布关于女权主义和其他看似自由的话题。他还说,只要这些内容不直接批评政权或任何特定的政治领导人,他从未不得不将它们下架;
8. 明确来说,这是一个威权体制,他当然会对自己在那里所做的事情感到不舒服,但它绝对不是朝鲜;
他仍然困惑于中国如何同时面临人口崩溃和大量的青年失业问题;
9. 他在那里听到的一个解释是,虽然有很多低级工作可供选择,但如今受过高中和大学教育的年轻人,不愿意从事他们的父母和祖父母曾做过的低技能职位;
10. 真正缺乏的是那些实际上与他们的教育和抱负相匹配的高技能工作。可用工作与年轻人感到自己有资格且愿意从事的工作之间存在不匹配
11. 他感觉这种流行的知识生态系统在那里根本不存在。当然,有些教授在哔哩哔哩上发布的关于如何管理财务等实用事项的病毒视频。但对于世界上发生了什么以及我们应该如何应对的宏大见解?没什么可说的;
12. 与AI实验室的中国风投人士交谈时,最大的惊讶是他们感到资本受到限制;
13. 科技业对2021年的打压感到相当震惊;
14. 如果你把钱留在中国,你基本上只能在糟糕的选择中徘徊;
15. 即使你建立(或投资)了伟大的东西,也无法保证公司能够筹集到下一轮资金。即便你再次筹集成功,政府也可能随机取消你的IPO;
16. 生活中缺乏的不是时间,而是专注。
如果你喜欢的话,不妨直接订阅这份电子报 ⬇️
https://letters.acacess.com/daily-productive-sharing-1165/
Daily Productivity Sharing
Daily Productive Sharing 1165 - On China
One helpful tip per day:)
At the end of last year, Dwarkesh Patel spent two weeks traveling in China and documented some interesting observations:
1. China and the U.S. face opposite issues: the U.S. subsidizes demand while restricting supply, whereas…
At the end of last year, Dwarkesh Patel spent two weeks traveling in China and documented some interesting observations:
1. China and the U.S. face opposite issues: the U.S. subsidizes demand while restricting supply, whereas…
👍5
刚刚看完了娄烨的新片 An Unfinished Film 《一部电影未完成的电影》
1. 很朴实地记录了一个剧组在新冠初期遭遇隔离的境遇;
2. 颇具娄烨的特色,大量运用手机拍摄,微信视频,以及之前在网上疯传的视频剪辑而成,粗糙中体现着导演的巧思;
3. 全剧的高潮在于年夜饭后的狂欢,然后瞬间被保安和警察扑灭。隔离中短暂的喘息就这么被扑灭,也确实是当时的写实。然后男主角与老婆的对话也是全剧最深刻的一段对话;
4. 想想也蛮恐怖的,当时谁知道那只是一个开头,后面又被整整折腾了四年。
5. 同去的朋友不曾体验过这些经历,我说其实很多镜头不像是演的,可能就是当时的真实记录。
6. 感谢娄烨的努力
1. 很朴实地记录了一个剧组在新冠初期遭遇隔离的境遇;
2. 颇具娄烨的特色,大量运用手机拍摄,微信视频,以及之前在网上疯传的视频剪辑而成,粗糙中体现着导演的巧思;
3. 全剧的高潮在于年夜饭后的狂欢,然后瞬间被保安和警察扑灭。隔离中短暂的喘息就这么被扑灭,也确实是当时的写实。然后男主角与老婆的对话也是全剧最深刻的一段对话;
4. 想想也蛮恐怖的,当时谁知道那只是一个开头,后面又被整整折腾了四年。
5. 同去的朋友不曾体验过这些经历,我说其实很多镜头不像是演的,可能就是当时的真实记录。
6. 感谢娄烨的努力
❤4👍4
DPS Main
刚刚看完了娄烨的新片 An Unfinished Film 《一部电影未完成的电影》 1. 很朴实地记录了一个剧组在新冠初期遭遇隔离的境遇; 2. 颇具娄烨的特色,大量运用手机拍摄,微信视频,以及之前在网上疯传的视频剪辑而成,粗糙中体现着导演的巧思; 3. 全剧的高潮在于年夜饭后的狂欢,然后瞬间被保安和警察扑灭。隔离中短暂的喘息就这么被扑灭,也确实是当时的写实。然后男主角与老婆的对话也是全剧最深刻的一段对话; 4. 想想也蛮恐怖的,当时谁知道那只是一个开头,后面又被整整折腾了四年。 5. 同去的…
补充一个很好玩的事:
在外面等位的时候,突然有个男生跑来问我能不能帮他代付,因为他的卡不能 tap 支付,也不能用现金支付。我说没问题,就帮他代付了。
他还很客气地多转了钱给我,我说你拿瓶饮料吧。他要了瓶气泡水,一算又少给我几块钱,表示还要补给我。我说别麻烦了。
我问他怎么会跑来这么一个小众的影院跑来看一部国内无法上映也没有多少名气的片子?他说过来旅游,没啥事做,就想找个地方打发时间,看到娄烨就进来了。
看完之后又碰到他,他说听不错的,这才明白为啥我说国内上映不了。他看之前并不知道这部片子讲什么。
嗯,这部片子标的是新加坡和德国的两家公司制作,没有任何国内投资方,制作方参与。
在外面等位的时候,突然有个男生跑来问我能不能帮他代付,因为他的卡不能 tap 支付,也不能用现金支付。我说没问题,就帮他代付了。
他还很客气地多转了钱给我,我说你拿瓶饮料吧。他要了瓶气泡水,一算又少给我几块钱,表示还要补给我。我说别麻烦了。
我问他怎么会跑来这么一个小众的影院跑来看一部国内无法上映也没有多少名气的片子?他说过来旅游,没啥事做,就想找个地方打发时间,看到娄烨就进来了。
看完之后又碰到他,他说听不错的,这才明白为啥我说国内上映不了。他看之前并不知道这部片子讲什么。
嗯,这部片子标的是新加坡和德国的两家公司制作,没有任何国内投资方,制作方参与。
😢6
Daily Productive Sharing 1067 - DeepSeek FAQ
关于 Deepseek 的 R1 模型发布,由众多的分析文章,生活在台北的 Ben Thompson 写的这篇深入浅出,非常透彻:
1. 技术上,Deepseek 最大的突破就是把训练成本降低了两个数量级,这主要是因为他们运用了 DeepSeekMoE 和 DeepSeekMLA,其实他们早在一年前就在 V2 模型中运用了,只不过这次更加精进;
2. MoE 指的是“专家混合”(mixture of experts,它将模型拆分为多个“专家”,仅激活必要的部分,这样可以大大降低推理成本。在V2中实现的
DeepSeekMoE 对这一概念进行了重要创新,包括将专家细分为更精细化的专用专家以及具备更通用能力的共享专家;
3. DeepSeekMoE 还引入了训练过程中的负载均衡和路由新方法,他们的做法使训练同样更为高效;
4. DeepSeekMLA,即多头潜在注意力机制,使得压缩键值存储成为可能,从而在推理过程中大幅降低内存使用量;
5. V3的训练成本低得令人震惊。DeepSeek宣称,模型训练总共耗时2788千H800 GPU小时,按每小时2美元计算,总费用仅为557.6万美元。尽管参数以 BF16 或 FP32 精度存储,但在计算时会降至 FP8 精度;而2048台 H800 GPU 的总计算能力达3.97 exaFLOPs,即3.97万亿亿 FLOPS;
6. DeepSeek实际上将每台H800中132个处理单元中的20个专门编程,用于管理跨芯片通信;
7. 为了突破 GPU 带宽的限制,DeepSeek 工程师不得不优化 PTX——Nvidia GPU的低级指令集,基本上相当于汇编语言。而使用带宽更多的 GPU 则根本不需要考虑这些,只要在 CUDA 上优化即可;
8. 如果 DeepSeek 能使用H100,他们可能会选择更大规模的训练集群,而不必进行如此多针对带宽不足的优化;
9. 对于公司而言,在自有模型上进行蒸馏较为容易,因为他们拥有全部访问权限,但你也可以通过API,或者更具创意地通过聊天客户端,以稍显笨拙的方式进行蒸馏;
https://letters.acacess.com/daily-productive-sharing-1167/
关于 Deepseek 的 R1 模型发布,由众多的分析文章,生活在台北的 Ben Thompson 写的这篇深入浅出,非常透彻:
1. 技术上,Deepseek 最大的突破就是把训练成本降低了两个数量级,这主要是因为他们运用了 DeepSeekMoE 和 DeepSeekMLA,其实他们早在一年前就在 V2 模型中运用了,只不过这次更加精进;
2. MoE 指的是“专家混合”(mixture of experts,它将模型拆分为多个“专家”,仅激活必要的部分,这样可以大大降低推理成本。在V2中实现的
DeepSeekMoE 对这一概念进行了重要创新,包括将专家细分为更精细化的专用专家以及具备更通用能力的共享专家;
3. DeepSeekMoE 还引入了训练过程中的负载均衡和路由新方法,他们的做法使训练同样更为高效;
4. DeepSeekMLA,即多头潜在注意力机制,使得压缩键值存储成为可能,从而在推理过程中大幅降低内存使用量;
5. V3的训练成本低得令人震惊。DeepSeek宣称,模型训练总共耗时2788千H800 GPU小时,按每小时2美元计算,总费用仅为557.6万美元。尽管参数以 BF16 或 FP32 精度存储,但在计算时会降至 FP8 精度;而2048台 H800 GPU 的总计算能力达3.97 exaFLOPs,即3.97万亿亿 FLOPS;
6. DeepSeek实际上将每台H800中132个处理单元中的20个专门编程,用于管理跨芯片通信;
7. 为了突破 GPU 带宽的限制,DeepSeek 工程师不得不优化 PTX——Nvidia GPU的低级指令集,基本上相当于汇编语言。而使用带宽更多的 GPU 则根本不需要考虑这些,只要在 CUDA 上优化即可;
8. 如果 DeepSeek 能使用H100,他们可能会选择更大规模的训练集群,而不必进行如此多针对带宽不足的优化;
9. 对于公司而言,在自有模型上进行蒸馏较为容易,因为他们拥有全部访问权限,但你也可以通过API,或者更具创意地通过聊天客户端,以稍显笨拙的方式进行蒸馏;
https://letters.acacess.com/daily-productive-sharing-1167/
Daily Productivity Sharing
Daily Productive Sharing 1167 - DeepSeek FAQ
One helpful tip per day:)
Regarding the release of DeepSeek’s R1 model, there have been numerous analysis articles. Ben Thompson, based in Taipei, wrote a particularly insightful and accessible piece:
1. Technically, DeepSeek’s biggest breakthrough was…
Regarding the release of DeepSeek’s R1 model, there have been numerous analysis articles. Ben Thompson, based in Taipei, wrote a particularly insightful and accessible piece:
1. Technically, DeepSeek’s biggest breakthrough was…
❤1
Daily Productive Sharing 1169 - Lessons From the Craziest NBA Trade
最近 NBA 发生一场十分诡异的交易,小牛队拿自己的头牌选手 Luka Dončić 换取了湖人队的 Anthony Davis。Jia Jiang 认为这后面的决策过程违反了两条常识:
1. a. 使用原则,而不是预测;b. 不要试图成为房间里最聪明的人;
2. 世界是不可预测的。这就是为什么不要试图去预测它,而是要建立原则并遵守它们;
3. 很多非常聪明的人的失败,都是因为他们基于“专家预测”对未来做出判断,而这些预测往往是完全错误的;
4. 这是我的原则——买入并持有那些我热爱且离不开的产品的股票;
5. 用人生经验来建立持久的原则。当你找到自己的原则时,就要坚持它们。永远要用原则,而不是预测,来指导你的决定;
6. 在生活中拥有原则,就像做出了几个重大决策。它能让你摆脱情绪、预测和环境对小决定的干扰。
如果你喜欢的话,不妨直接订阅这份电子报 ⬇️
https://letters.acacess.com/daily-productive-sharing-1169/
最近 NBA 发生一场十分诡异的交易,小牛队拿自己的头牌选手 Luka Dončić 换取了湖人队的 Anthony Davis。Jia Jiang 认为这后面的决策过程违反了两条常识:
1. a. 使用原则,而不是预测;b. 不要试图成为房间里最聪明的人;
2. 世界是不可预测的。这就是为什么不要试图去预测它,而是要建立原则并遵守它们;
3. 很多非常聪明的人的失败,都是因为他们基于“专家预测”对未来做出判断,而这些预测往往是完全错误的;
4. 这是我的原则——买入并持有那些我热爱且离不开的产品的股票;
5. 用人生经验来建立持久的原则。当你找到自己的原则时,就要坚持它们。永远要用原则,而不是预测,来指导你的决定;
6. 在生活中拥有原则,就像做出了几个重大决策。它能让你摆脱情绪、预测和环境对小决定的干扰。
如果你喜欢的话,不妨直接订阅这份电子报 ⬇️
https://letters.acacess.com/daily-productive-sharing-1169/
Daily Productivity Sharing
Daily Productive Sharing 1169 - Lessons From the Craziest NBA Trade
One helpful tip per day:)
Recently, there was a very strange trade in the NBA: the Dallas Mavericks traded their star player Luka Dončić for Anthony Davis of the Los Angeles Lakers. Jia Jiang believes that this decision-making process violated two common…
Recently, there was a very strange trade in the NBA: the Dallas Mavericks traded their star player Luka Dončić for Anthony Davis of the Los Angeles Lakers. Jia Jiang believes that this decision-making process violated two common…
DPS 周刊 184 - 张忠谋的洞见
最近听了 Acquired 对于台积电创始人张忠谋的采访,里面提到《张忠谋自传》下册也已经出版了。于是我迅速找来上下两册通读了一番,收获颇大。
https://letters.acacess.com/weekly-184/
https://www.acquired.fm/episodes/tsmc-founder-morris-chang
最近听了 Acquired 对于台积电创始人张忠谋的采访,里面提到《张忠谋自传》下册也已经出版了。于是我迅速找来上下两册通读了一番,收获颇大。
https://letters.acacess.com/weekly-184/
https://www.acquired.fm/episodes/tsmc-founder-morris-chang
Daily Productivity Sharing
DPS 周刊 184 - 张忠谋的洞见
最近听了 Acquired 对于台积电创始人张忠谋的采访,里面提到《张忠谋自传》下册也已经出版了。于是我迅速找来上下两册通读了一番,收获颇大。
读着读着,我突然意识到 AWS 开辟的云计算其实就是台积电的商业模式:客户不用投资晶圆厂,只要设计芯片即可,设计好的芯片交给台积电设计;而 AWS 的客户不需要投资硬件,只要专心写代码就行,写好的代码部署到 AWS 的云资源上就能跑起来。而之前开一家软件公司是需要自己买服务器,这笔硬件投入非常大,这和之前的芯片公司需要大笔投资建设芯片厂一样。
因此,台积电在…
读着读着,我突然意识到 AWS 开辟的云计算其实就是台积电的商业模式:客户不用投资晶圆厂,只要设计芯片即可,设计好的芯片交给台积电设计;而 AWS 的客户不需要投资硬件,只要专心写代码就行,写好的代码部署到 AWS 的云资源上就能跑起来。而之前开一家软件公司是需要自己买服务器,这笔硬件投入非常大,这和之前的芯片公司需要大笔投资建设芯片厂一样。
因此,台积电在…
👍1
Daily Productive Sharing 1171 - Why Living Aboard Helps?
在海外居住一段时间会有什么好处?Noah Smith 认为这样可以帮助我们更好地了解自己的故乡:
1. 这样开眼可以让我们获得一个全 新的视角来审视自己的生活;
2. 如果我们在当地保持开放心态,不断地问,为什么会这样?我们就会明白很多我们以为理所当然的事并非如此;
3. 其实这样可以更好地帮助我们理解自己和故乡的关系;
4 在海外居住不仅可以让我们反问那些在故乡糟糕的事物,也可以让我们珍视那些美好的事物。
如果你喜欢的话,不妨直接订阅这份电子报 ⬇️
https://letters.acacess.com/daily-productive-sharing-1171/
在海外居住一段时间会有什么好处?Noah Smith 认为这样可以帮助我们更好地了解自己的故乡:
1. 这样开眼可以让我们获得一个全 新的视角来审视自己的生活;
2. 如果我们在当地保持开放心态,不断地问,为什么会这样?我们就会明白很多我们以为理所当然的事并非如此;
3. 其实这样可以更好地帮助我们理解自己和故乡的关系;
4 在海外居住不仅可以让我们反问那些在故乡糟糕的事物,也可以让我们珍视那些美好的事物。
如果你喜欢的话,不妨直接订阅这份电子报 ⬇️
https://letters.acacess.com/daily-productive-sharing-1171/
Daily Productivity Sharing
Daily Productive Sharing 1171 - Why Living Aboard Helps?
One helpful tip per day:)
Living abroad for a period of time can have many benefits. Noah Smith believes it helps us better understand our own homeland:
1. Experiencing a new environment gives us a fresh perspective on our own lives.
2. By keeping an…
Living abroad for a period of time can have many benefits. Noah Smith believes it helps us better understand our own homeland:
1. Experiencing a new environment gives us a fresh perspective on our own lives.
2. By keeping an…
👍2❤1
DPS Main
订了一台 Mac mini pro,结果送来了两台。圣诞礼物吗?买一送一? 已经发起退货了😅
这台 Mac mini 真是命运多舛,不到一个月,所有的雷电 / Type C 接口全部失效,插入任何设备都无法识别。
今天送去 Genius bar,连有线键盘鼠标都接不上,Genius 都傻眼。直接订了主板和一个前 usb 接口准备换。一看账单,好家伙,将近五千多人民币。还好有 Apple care,不用我掏钱。
吓得我当场续订了 Apple Care+ 😂
今天送去 Genius bar,连有线键盘鼠标都接不上,Genius 都傻眼。直接订了主板和一个前 usb 接口准备换。一看账单,好家伙,将近五千多人民币。还好有 Apple care,不用我掏钱。
吓得我当场续订了 Apple Care+ 😂
😱3
Daily Productive Sharing 1172 - 50 Life Hacks
Sahil Bloom 分享了50条生活建议,其中一些非常有用:
1. 每件事都有一个标价(表面成本)和一个真实价格(你为得到它所付出的代价)。确保你愿意为自己想要的东西支付真实价格。
2. 那种不确定、恐惧和不适的感觉通常是成长的信号。
3. 每年重读你最喜欢的书籍。
4. 观察你的老板,找出他们讨厌做的事情,学会做这些事,并帮他们分担。
5. 短期来看,卓越比可靠更难做到。长期来看,持续可靠会让你变得卓越。
6. 逃避一场艰难的对话会产生一笔债务,最终你必须偿还,而且还要付上利息。
7. 每周回顾你的照片,并将照片发送给其中出现的人。这会激发对话,并帮助你与老朋友保持联系。
8. 随着年龄增长,人们容易失去联系。多拍照,多记录回忆——它们将成为珍贵的财富。
9. 当有人经历困难时期时,简单地说一句“我和你在一起”是你能做的最有力量的事情。
10. 一句简单的赞美可以让某人的一天变得美好。
11. 如果你有冲动想要在强烈情绪下行动,等24小时。许多关系都是毁于一时冲动。
12. 如果有人说了有趣的话,记下来。这比用手机更礼貌,也表明你在认真倾听。
13. 如果某项投资或金融机会看起来好得令人难以置信,那它很可能确实如此。
14. 想要吃得更健康,就在超市的外圈购物,那里的新鲜蔬果、肉类、鱼类和乳制品更健康。
如果你喜欢的话,不妨直接订阅这份电子报 ⬇️
https://letters.acacess.com/daily-productive-sharing-1172/
Sahil Bloom 分享了50条生活建议,其中一些非常有用:
1. 每件事都有一个标价(表面成本)和一个真实价格(你为得到它所付出的代价)。确保你愿意为自己想要的东西支付真实价格。
2. 那种不确定、恐惧和不适的感觉通常是成长的信号。
3. 每年重读你最喜欢的书籍。
4. 观察你的老板,找出他们讨厌做的事情,学会做这些事,并帮他们分担。
5. 短期来看,卓越比可靠更难做到。长期来看,持续可靠会让你变得卓越。
6. 逃避一场艰难的对话会产生一笔债务,最终你必须偿还,而且还要付上利息。
7. 每周回顾你的照片,并将照片发送给其中出现的人。这会激发对话,并帮助你与老朋友保持联系。
8. 随着年龄增长,人们容易失去联系。多拍照,多记录回忆——它们将成为珍贵的财富。
9. 当有人经历困难时期时,简单地说一句“我和你在一起”是你能做的最有力量的事情。
10. 一句简单的赞美可以让某人的一天变得美好。
11. 如果你有冲动想要在强烈情绪下行动,等24小时。许多关系都是毁于一时冲动。
12. 如果有人说了有趣的话,记下来。这比用手机更礼貌,也表明你在认真倾听。
13. 如果某项投资或金融机会看起来好得令人难以置信,那它很可能确实如此。
14. 想要吃得更健康,就在超市的外圈购物,那里的新鲜蔬果、肉类、鱼类和乳制品更健康。
如果你喜欢的话,不妨直接订阅这份电子报 ⬇️
https://letters.acacess.com/daily-productive-sharing-1172/
Daily Productivity Sharing
Daily Productive Sharing 1172 - 50 Life Hacks
One helpful tip per day:)
Sahil Bloom shared 50 pieces of life hacks, and some of them are inspiring:
1. Everything has a list price (surface cost) and a real price (what you give up to get it). Make sure you're willing to pay the real price for what…
Sahil Bloom shared 50 pieces of life hacks, and some of them are inspiring:
1. Everything has a list price (surface cost) and a real price (what you give up to get it). Make sure you're willing to pay the real price for what…
❤4
Daily Productive Sharing 1173 - The Nature Game
为什么有的人看起来很成功,却一点也不开心?Herbert Lui 认为这是因为他们玩的是状态游戏,而不是自然游戏:
1. 那些快乐的人,往往在人生早期遭遇挫折,而不得不自寻道路,玩起了自然游戏;
2. 自然游戏是一个单人游戏,重视内在价值和长期回报,而状态游戏则是一个多玩家的、零和的竞争,追求社会认可和短期利益;
3. 自然游戏可以让人获得内在和外在的奖励,从而感到充实与富有;
4. 自然游戏更像是无限游戏,因为即使赢了你也会继续玩。
如果你喜欢的话,不妨直接订阅这份电子报 ⬇️
https://letters.acacess.com/daily-productive-sharing-1173/
为什么有的人看起来很成功,却一点也不开心?Herbert Lui 认为这是因为他们玩的是状态游戏,而不是自然游戏:
1. 那些快乐的人,往往在人生早期遭遇挫折,而不得不自寻道路,玩起了自然游戏;
2. 自然游戏是一个单人游戏,重视内在价值和长期回报,而状态游戏则是一个多玩家的、零和的竞争,追求社会认可和短期利益;
3. 自然游戏可以让人获得内在和外在的奖励,从而感到充实与富有;
4. 自然游戏更像是无限游戏,因为即使赢了你也会继续玩。
如果你喜欢的话,不妨直接订阅这份电子报 ⬇️
https://letters.acacess.com/daily-productive-sharing-1173/
Daily Productivity Sharing
Daily Productive Sharing 1173 - The Nature Game
One helpful tip per day:)
Why do some people appear successful yet feel completely unhappy? Herbert Lui believes it's because they are playing a status game instead of a natural game:
1. People who are truly happy often faced setbacks early in life, forcing…
Why do some people appear successful yet feel completely unhappy? Herbert Lui believes it's because they are playing a status game instead of a natural game:
1. People who are truly happy often faced setbacks early in life, forcing…