存储挑战
海量数据处理
基于机器学习的金融量化业务,其数据量规模大,并呈现急剧增长趋势,对于高性能存储横向扩展的需求日渐突出。
高吞吐高 IOPS
大量的模型开发和训练的计算能力对于底层数据吞吐和 IOPS 提出了更高的挑战。
数据一致性和可靠性
确保数据的一致性、持久性和可靠性对金融量化业务至关重要。存储系统需严格满足这些要求,以防数据丢失或损坏对业务造成影响。
量化训练业务容器化
越来越多的机构和企业选择将训练过程部署在容器中,这一趋势导致了对容器化存储的需求显著扩增。
成本管理
金融交易公司需要在性能和成本之间找到平衡点,保证存储系统既能够满足业务需求,又能够在合理的成本范围内运行。
弹性扩展
存储系统需要具备弹性扩展能力,以便能够适应不断变化的需求。
解决方案
结合金融量化的业务特点,焱融高性能分布式文件存储 YRCloudFile 为该行业客户提供高效、高可靠、高扩展的数据存储和管理解决方案,轻松应对量化模型训练中海量训练数据集的处理以及快速 I/O 响应需求,大大提升业务效率。此外,通过持久化的容器存储和企业级存储功能,保障业务连续性和数据稳定性。
方案优势
海量数据支持
YRCloudFile 文件系统并行的分布式架构、独立可扩展的元数据服务、业务层无感知的横向扩展,可提供高性能的海量文件读写能力;全对称、可扩展的元数据集群架构,在面对数百亿文件时,客户端对元数据的操作性能及读写性能仍然保持持续稳定。
高性能低时延
采用分布式架构,数据及元数据节点可按需扩展,实现容量与性能均线性增长。支持 NVIDIA GPUDirect Storage(GDS)功能,显著降低 I/O 延迟,提升数据带宽,将性能发挥到极致,轻松应对量化交易场景下的数据问题。
容器持久化存储
支持 CSI 对接 Kubernetes 集群,提供高效、可靠的容器持久化存储服务,同时支持多种容器特性,使得容器平台使用、监控、管理存储资源变得更加的灵活高效。
高性能网络优化
YRCloudFile 支持 100GE RoCE、200/400Gbps InfiniBand 等高速网络及支持 RDMA、多网卡聚合技术,为机器学习和神经网络学习提供超高的带宽能力,可实现单存储节点 90GBps 带宽、300 万 IOPS 极致性能。
数据权限管理的支持
YRCloudFile 具备完善的权限管理和数据隔离功能,满足量化特殊业务场景下数据和研究成果的保护和使用。