查看原文
其他

[PPT] Feeding the AI Beast - Memory & Storage for AI

常华Andy Andy730 2024-03-16

【ANDY】引用黄教主的话来说AI是“极其并行,比传统软件要计算密集得多,以千到百万倍的数量级。软件开发的方法也不同,计算基础设施也不同,工具也不同,软件的运行方式也不同,部署方式也不同。AI需要彻底重塑计算堆栈。”

我们要做的/可做的太多了!

模型复杂度爆炸意味着训练和使用这些模型需要越来越多(而且还要更多!)的数据(喂养野兽)


分布式处理器组需要访问存储的AI数据,每个处理器具有独特的需求


NVMe over Fabrics(NVMeoF)是连接AI处理器与存储的常用技术


  • 摆脱CPU作为存储流量调度器的角色

  • 朝着数据在处理器之间自由移动的方向发展

  • 文件系统必须处理多样的处理器以及本地和云端的需求

人工智能存储的5个主要趋势(S4AI)

  • 软件方法 - Nvidia, Weka.io, VAST

  • 计算存储方法 - NGD, ScaleFlux, Eideticom, Samsung

  • DPU方法 - Nvidia, Fungible

  • 内存方法 - Groq, IBM, Intel, Penguin

  • 持久性存储方法 - Intel, 其他厂商



继续滑动看下一个
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存