M2 Ultra可并行运行128个Llama 2 7B流

OSC开源社区 2023-10-17

收录于合集

#模型 32 个

#代码 118 个

#开源项目 43 个

出品 | OSC开源社区（ID：oschina2013)

llama.cpp 是开发者 Georgi Gerganov 用纯 C/C++ 代码实现的 LLaMA 模型推理开源项目。所谓推理，即是「给输入 - 跑模型 - 得输出」的模型运行过程。

最近 Georgi Gerganov 用搭载苹果 M2 Ultra 处理器的设备运行了一系列测试，其中包括并行运行 128 个 Llama 2 7B 流。

具体结果如下：

via https://github.com/ggerganov/llama.cpp/pull/3228

对于 M2 Ultra 的这番表现，有人给出了解释，M2 Ultra 或 M1 和 M2 系列 CPU 的速度之所以如此快，是因为执行推理任务的主要瓶颈是内存带宽，而不是计算能力。

而 M2 Ultra 的带宽为 800 GB/s，是普通现代台式机 CPU（双通道 DDR4-6400 带宽为 102 GB/s）的 8 倍。

如此高的带宽是苹果为 M1 和 M2 芯片设计了统一内存架构的结果。通常在笔记本电脑或台式机上，CPU 和 GPU 拥有不同的内存系统：高带宽（但容量相对较低）的显存和相对低带宽（但容量较高）的 CPU 内存。

苹果公司简化了这种方案，转而采用 CPU 和 GPU 共享的单一高带宽内存系统。这样做的唯一缺点是，这种高带宽内存必须紧密集成在 M2 封装中，因此最大容量受到限制。

例如，无论你花费 5,600 美元（最便宜的 Mac Studio 机型，配备 M2 Utra 和 192 GB 内存），还是 10,000 美元以上（最顶配 Mac Pro），都只能获得最大 192 GB 内存。但另一方面，如果你的工作负载（如推理）不需要超过 192 GB 的内存，那就再好不过了。

如此看来，苹果在这方面做出了正确的权衡。通常来说，在通用 CPU 的单插槽上实现 800 GB/s 的内存带宽，这在以前从未实现过。

“家属和记者取得联系”：记者的退场意味深长

广州地铁“偷拍门”事件：那个漂亮的女大学生，为啥惹了众怒...

劲爆！为了姜萍两位女CEO互揭老底！

治安处罚中“赌资较大”“情节严重”数额认定的理解与适用（各地标准）

中石化一副总被曝出轨人妻，本人嚣张回应：旧情复燃尔

M2 Ultra可并行运行128个Llama 2 7B流

您可能也对以下帖子感兴趣

“家属和记者取得联系”：记者的退场意味深长

广州地铁“偷拍门”事件：那个漂亮的女大学生，为啥惹了众怒...

劲爆！为了姜萍两位女CEO互揭老底！

治安处罚中“赌资较大”“情节严重”数额认定的理解与适用（各地标准）

中石化一副总被曝出轨人妻，本人嚣张回应：旧情复燃尔

生成图片，分享到微信朋友圈

M2 Ultra可并行运行128个Llama 2 7B流

您可能也对以下帖子感兴趣