国行人民币模型推理测试:内存带宽达/s

IT之家10月13日消息 据Y论坛消息，一位名叫的开发者近日使用 M2芯片进行了一系列模型推理测试。 测试表明，该芯片在并行运行128个27B流时表现更好。

▲ 图源披露的测试表现

据悉，模型推理测试强调的是内存带宽而不是计算能力，而苹果的M2芯片号称拥有“/s的内存带宽”，因此推理效果不错。

▲ 图源披露的测试表现

不过，虽然M2芯片的内存带宽有优势，但用户最多只能获得192 GB的RAM。 用户花5600美元（IT之家注：国行人民币）购买一台配备M2芯片和运行内存的Mac，这足以购买一台“配备1TB RAM和RTX 4090的PC”。

▲ 图片来源Y

▲ 图片来源苹果官网

基于此，认为如果用户的工作负载（如推理）不需要超过，那么在选择相关机器时可以多关注“内存带宽”性能，但如果用户有其他工作要求，他可以看看相应价格的电脑。 。

参考

广告声明：文章中包含的外部跳转链接（包括但不限于超链接、二维码、密码等）用于传达更多信息，节省选择时间。 结果仅供参考。 IT之家的所有文章均包含此声明。