代价是服务器带宽贵到视频网站只给得起1Mbps的码率,家里千兆网下载根本用不上。上传带宽也基本没有,而且稍微多用点流量就要被ISP找上门查pcdn。明面上的吃了便宜最后都是要在各种隐形成本里还回来。
https://x.com/LaiskyCai/status/1926450695625953677
https://x.com/LaiskyCai/status/1926450695625953677
👍31👎5❤3
❤1
😁18
David's random thoughts
时隔多年升级存储,感觉这速度都能拿来跑llama 4了(逃
实际用下来这个速度的存储直接把C/C++标准IO API报废了。。各个层面大量buffering/拷贝导致内存带宽被干爆,10 GB/s读取在CPU端观察到70 GB/s带宽,4通道HEDT都扛不住。
换Linux API会好一些,但依然只有O_DIRECT能跑出比较接近理论值的性能,而它对offset对齐要求过于严格,日常实用价值也不大。。🙃
换Linux API会好一些,但依然只有O_DIRECT能跑出比较接近理论值的性能,而它对offset对齐要求过于严格,日常实用价值也不大。。🙃
❤2
进入2025年LLM给我的感觉是这条路线离所谓的AGI越来越遥远了。2023年展望更大更通用的模型,两年后模型的评估标准与发力方向越来越集中在特定高难度和高价值场景。被吹的天花乱坠的头部模型明摆着到处都是刷分痕迹,刷遍AIME竞赛题的CoT模型普遍做不出小学生都能想出来的简单思考题之类的,就很滑稽。
👍38✍1🤡1