纵观全球,新一轮的科技革命和产业变革正在全方位地改变人们的生产和生活方式。数据作为数字经济的核心生产要素,已成为重要的全球资产。2025 年全球新产生的数据量将从 2020 年的 64ZB 增长到近 181ZB,年复合增长率 23%,其中超过 25% 的数据将是实时数据。而从海量数据中挖掘数据价值,则需要强大的算力和创新的存储技术作为支撑。在云原生、大数据、人工智能等新技术驱动下,全行业新应用数据出现爆发式增长,可以判断高性能的分布式全闪存储将是承载数字经济发展的重要基石。

全闪存储 👉 未来存储主流趋势

近年来,随着 SSD 技术的快速发展,SSD 硬盘的性能已经远超传统机械硬盘。目前主流企业级 NVMe SSD 已经可以达到近百万的 IOPS,是 HDD 的几千倍。同时,SSD 具有更高的稳定性,数据意外丢失的可能性更低。全闪存数据中心可极大减少空间和能耗上的费用,通过更高的资源利用率和成本效益实现数据存力可持续发展。在热数据存储上 ,整体拥有成本节约达到 85%。随着未来闪存介质成本的降低,经济性优势将更加明显。CFM 闪存市场报告显示,截止到 2025年,全球 NAND Flash 容量将猛增至 14810 亿 GB。全球闪存存储产业正在快速升级,应用占比急剧拉升。权威市场分析机构 Gartner 及 IDC 在其全球存储概况的报告中提到,全闪阵列系列产品的营收保持强劲增长。

国内全闪分布式文件存储性能旗舰

随着企业拥有的数据量呈爆炸性增长,如何更好地运用这些数据,让其产生价值,则需要通过高级数据分析、人工智能、HPC 等计算工具来实现。这些都属于数据密集型工作负载,其最主要的特征是涉及非常大的数据集,以 Colossal-AI 为代表,AI 算法已经突破 180 亿参数的规模。由于数据量过大,已经远超出单台计算机所能支撑的算力。所以需要将多台计算机连接成一个集群,并行处理问题。此外,还需要大规模的 GPU 集群去加速计算分析。虽然通过大规模计算集群可以获得超强的计算能力,但计算节点本身的存储能力有限,必须由外部共享存储系统连续不断地提供数据,并定期将结果写回存储系统。在此,共享存储系统起着至关重要的作用,不仅要稳定输出匹配算力需求的存储性能,而且要保证数据存储的可靠性、对接多种计算平台的灵活性和驱动数据流动的能力。

焱融追光 F8000X 是基于焱融科技自主研发的高性能分布式文件系 YRCloudFile,为匹配大规模 GPU 计算而打造的全闪分布式文件存储产品。作为 GPU 集群环境的共享存储,解决其在计算过程中大量数据的存储和存取问题。凭借其极致的性能、极高的扩展性和可靠性,以及灵活的数据管理功能,使 GPU 更加高效地访问数据,充分释放计算潜能,帮助数据团队挖掘更大的商业价值。

焱融全闪文件存储追光 F8000X 产品特性图

全闪分布式架构设计 极致性能体验

分布式架构,弹性扩展

焱融追光 F8000X 采用 Scale-Out 架构,文件切片后均匀分布到各个存储节点的磁盘空间,客户端并行访问数据节点,充分发挥集群性能。数据节点和元数据节点,都可按需扩展。随着节点数量的增加,存储容量和存储性能都以线性方式增长。

支持 InfiniBand 多网卡聚合

焱融追光 F8000X 支持多张 IB 网卡带宽性能聚合,在同一台存储节点的多个 InfiniBand 网卡之间形成负载均衡,大 IO 场景下可以轻松跑满全部 InfiniBand 网卡性能;同时支持多块 InfiniBand 网卡的 failover 以及自动检测的 failback 功能,避免链路故障造成的业务中断。

深度 IO 模型优化

焱融追光 F8000X 采用异步非阻塞 IO 模式,有效减少上下文切换,全路径实现了零拷贝,支持批量提交和回收,增加了并行能力。高效分配处理器核心资源,支撑网络层面高并发的数据收发处理的同时,避免大量线程的调度开销,充分发挥 NVMe SSD 磁盘性能。

极致性能表现

得益于全面、深度的优化设计,使得焱融追光 F8000X 全闪分布式文件存储产品具有卓越的性能表现。单存储节点达到了40GB/s+ 带宽和 200万+ IOPS 性能,在实测环境中扩展至 6 个存储节点则能够稳定输出 200GB/s 带宽和 1000万+ IOPS 的极致性能

智能数据流动 盘活数据价值

在数据全生命周期过程中,最接近数据价值的是正在被使用的高附加值数据,即数据冷热涂层中最热的数据。焱融追光 F8000X 的智能分层功能,能够根据客户需求定义冷热数据,冷数据自动流动至低成本的公有云或私有云对象存储,向上仍然为业务提供标准的 POSIX 文件访问接口,数据在冷热数据层之间流动,对业务完全透明。保证热数据层极致性能输出的同时,兼顾数据存储的经济性。

另外,在 AI、自动驾驶等场景中,数据需要在不同类型的存储系统中移动,比如先通过对象存储收集数据,再将数据移动到文件存储中做计算分析处理。用户往往使用手动方式频繁迁移大量数据,针对这种复杂性操作,焱融全闪 F8000X 研发出数据加载功能,实现对象存储与文件存储的对接与打通,文件存储可以加载任意对象存储(公有云、私有云)上的数据进行训练,同时训练数据可以按需增量、全量导出至对象存储。

完美对接多数据平台,满足不同场景存储需求

AI/HPC 数据平台:通过在计算集群节点上部署焱融 YRCloudFile 高性能私有客户端,能够实现多级智能缓存、数据预读功能,显著提升性能。

云原生数据平台:焱融追光 F8000X 全闪文件存储支持 CSI 对接 Kubernetes 集群,提供高效、可靠的容器持久化存储服务,同时支持多种容器特性,使得容器平台使用、监控、管理存储资源变得更加的灵活高效。

大数据平台:焱融追光 F8000X 全闪文件存储可实现基于文件的大数据存算分离方案,灵活适配大数据生态。另外,采用全闪存储的大数据存算分离方案,在获得资源弹性的同时保证了计算能够高性能地访问存储资源。

焱融科技作为业界领先的分布式文件存储厂商,推出的 F8000X 全闪分布式文件存储产品,率先通过多网卡聚合的方式支持 400Gbps InfiniBand 网络,充分释放全闪性能。F8000X 全闪文件存储在人工智能、自动驾驶、互联网、工业制造等多个行业用户的核心业务平台上线,落地数十家领先的企业和科研机构,部署规模达到数百个存储节点,支撑的最大计算集群规模超过 2000 台计算节点。帮助企业成功建设高性能存储平台,使其业务迅速进入快车道。关于海量数据与全闪高性能存储适配实践见上一篇文章《智谱AI联合焱融打造A100+全闪存储的大规模AI架构》