YRCloudFile通过市场上标准的X86服务器为AI用户构建一套容量与性能可无限水平扩展的分布式文件存储，可承载数百亿个几十KB的小文件，为深度学习平台上万个客户端提供并发访问支持，满足AI训练中GPU或CPU计算集群的高带宽、低延时的小文件访问特性，使GPU等计算资源得到最大程度的利用，在数十亿文件数量下仍然能够提供稳定的数据访问性能，有效提升训练效率。
高性能数据访问缩短训练过程
为了满足AI场景下，计算集群对文件存储极致的性能要求，YRCloudFile在架构和实现上采用了更高效的元数据放置和访问策略。
- 缩短了IO访问路径
- 支持基于RDMA（远程直接内存访问）协议的网络（如IB网络）,提高了数据并发处理的效率
- 通过文件系统性能的提升，使GPU持续处于高效率运转状态，从而缩短深度学习训练时间
承载海量文件将不再成为难题
深度学习训练过程以海量文件为基础，数据量的规模是人工智能企业提升模型精度的关键手段，各家人工智能企业通过提取、归类、分析等处理流程对数以亿计的图片和语音文件反复迭代，从而提高模型的准确性。
- YRCloudFile元数据集群可按需在线扩展
- 单集群可承载数百亿文件，文件访问性能在海量文件场景下无衰减，单个文件系统命名空间承载的文件数量不再成为深度学习的瓶颈
在科大讯飞，从第一个YRCloudFile集群上线，到后续数个集群陆续部署，数据快速增长，只经历短短几个月时间，总数据规模已达到近10PB，存放近百亿用于训练的音频、视频、图片文件，单集群峰值带宽达近十GB/s，训练业务效率提升一倍。
多级智能缓存，减少数据跨网络加载
AI深度学习的模型训练阶段，每个训练集数据量约几百GB到几TB，IO以读为主，传统的分布式文件系统在计算节点客户端只能通过内存缓存来提高客户端的数据加载性能，但内存缓存空间小、成本高、内存置换算法对AI场景没有针对性优化。
- YRCloudFile智能缓存技术，对AI训练任务完全透明
- 结合面向AI场景的置换算法，极大提高训练过程中数据加载的命中率，数据加载性能可提升近500%
为容器化训练任务提供数据
AI企业越来越多地借助Kubernetes编排平台对训练任务及GPU等资源进行调度，训练任务已经逐步运行在容器中。
- YRCloudFile从产品定位上就设计了大量面向容器持久化存储的功能，包括Persistent Volume级别的Quota配置、QoS限速、ACL控制等
- 这些功能使Kubernetes能对YRCloudFile存储能力进行规划和调度，使训练任务能通过PV管理和访问YRCloudFile中的训练数据
AI头部企业的认可
AI头部企业的认可
业界领先的性能水平
业界领先的性能水平
海量小文件的性能无衰减
海量小文件的性能
无衰减
支持容器化训练任务
支持容器化训练任务
为您提供出色的下一代云存储和全面的尊贵服务为您提供出色的下一代云存储和全面的尊贵服务
联系
我们
我们
400-090-8865