极客湾在骚测啥啊... 拿llama.cpp这b东西测速度，测出来结果72b int4把6000 Ada 48g干满了...这是多长的上下文/kv cache
很明显这oom以后llama.cpp全他妈把东西offload到内存里去算 完事果子的ddr5和内存带宽（比上不足比下有余）优势就出来了 我都不知道这到底是故意的还是不小心的了
但凡测显存内速度或者用vllm 果子（特别是 M4）那个小显存带宽都是被橄榄的命

歌曲：只为碎银几两 - 司清
专辑：只为碎银几两
#音乐
via @music_v1bot

『 看世人慌慌张张 却只为碎银几两，
偏偏这碎银几两 能解这世人慌张 』

盲审 be like

八十天环游地球

收收味 关键是这说的纯错的啊 rust在release下处理方式和c系一样的 不如说大家都这么干的 溢出检查太吃性能....属于是既不懂rust也不懂c了

近五年首次攻破日本队球门
没被剃光头已经很强了！
#国足