在人工智能的发展浪潮中,大模型技术的突破性进展为 AI 领域带来了革命性的变化。作为大模型生命周期中不可或缺的两个阶段——训练与推理,均需要强大的算力资源来支撑。而伴随着行业的蓬勃发展,算力瓶颈问题日益凸显。在此背景下,AI Infra 作为连接底层算力与上层应用的 AI 中间层基础设施,其技术和商业发展前景成为业界瞩目的焦点。

 


多模型多芯片下的 AI Infra 存储挑战



近日,焱融科技服务了一家国内领先的 AI 基础设施企业,助力其构建面向多模型与多芯片格局的 AI Native 基础设施。该企业通过打造高效整合各类异构算力资源的好用算力平台,并支持软硬件联合优化与加速的中间件,确保异构芯片能够真正转化为大算力。然而,要构建这样一个高效的多元异构混合训练与推理平台,并保障其高水平的算力利用率,背后是对存储系统前所未有的挑战与要求。

 

  • 支撑 AI 大模型训练的卓越性能

AI Infra 为 AI 大模型训练和推理提供服务。为了满足 GPU 等计算资源高效访问数据,以及海量小文件处理的时效性需求,存储系统必须提供极高的数据吞吐量和极低的访问延迟,支持 AI 模型在训练过程中对数据的高速读写需求。同时,存储系统还需具备强大的并行处理能力,能够同时处理多个 AI 模型的数据访问请求,提高整体系统的处理效率。

 

  • 全方位的兼容性和灵活性

该 AI Native 基础设施注重于实现异构芯片的混合训练和推理,需要具备更高效的资源整合和调度能力。因此,存储系统必须具备强大的适配能力。一方面,需具备多接口协议支持能力,以灵活对接不同 AI 模型和数据源的需求。另一方面,能够无缝对接多种异构芯片,提供统一的编程框架与算力调用接口,以屏蔽硬件的复杂性和差异性。

 

  • 超大规模支撑和弹性扩展能力

面对 AI 领域日益增长的模型复杂度和数据量,存储系统需要能够水平扩展,保障容量和性能的提升。同时,针对AI 工作负载的波动性特点,存储系统需能够根据 AI 模型训练和推理的实际需求,灵活进行存储资源分配和管理。 

 

焱融全闪存储构建大模型时代 AI Native 基础设施

 

要满足 AI 大模型训练与推理的种种需求,在构建 AI 基础设施的过程中,精准选择合适的存储技术方案尤为关键。全闪分布式并行文件存储系统以其无可比拟的性能优势,成为市场公认的支撑 AI 大模型训练的最优解。焱融高性能全闪分布式存储解决方案以卓越的性能、处理海量小文件时性能不衰减、 InfiniBand(IB)带宽聚合等方面的独特优势,为 AI Native 基础设施建设提供强力支撑,满足其对于性能、兼容性和扩展性等的全方位要求。

 

该方案采用焱融全闪分布式存储一体机 F8000X 构建存储集群,在高性能方面表现出色。F8000X 使用全 NVMe SSD 设计,搭载焱融科技自主研发的高性能分布式并行文件存储系统 YRCloudFile,并采用 RDMA、多网卡聚合、深度 I/O 模型优化、元数据管理等先进技术,对大文件和海量小文件性能进行精细化调优,实现了带宽、IOPS、时延等关键性能指标的极致表现,单存储节点可达 90GBps 、300 万 IOPS,保障 AI 大模型训练的高效进行。

 

在兼容性和灵活性方面,焱融高性能分布式文件存储系统 YRCloudFile 展现了强大的适配能力。其已完成与 NVIDIA、摩尔线程、华为昇腾等众多芯片及服务器厂商的兼容性认证,并支持 POSIX、NFS、SMB、CSI、HCFS 等丰富的文件接口,灵活对接容器及大数据平台,满足了 AI 基础设施平台异构芯片混合训练和推理的需求,实现算力资源的灵活调度与高效整合。此外,焱融全闪存储融合了软件定义存储(SDS)和 scale-out 架构的灵活性和扩展性。不仅能够适应数据量的持续增长,而且通过灵活的存储资源分配和调整,确保在多用户、多模型并发的复杂环境中,依然能够高效、精准地满足多样化的存储需求。

 

未来,随着大模型应用落地的进程不断加速,AI Infra 的价值潜力将被进一步释放。中金数据预测,目前,AI Infra 产业处于高速增长的发展早期,未来 3-5 年内各细分赛道空间或保持 30%的高速增长。在行业加速发展的过程中,焱融科技也将继续发力,为该 AI Native 基础设施突破异构算力优化与集群系统设计的技术上限提供高性能存储支撑,助力推动大模型在各行业中的应用创新。