存储挑战
混合云数据访问
自动驾驶用户大都采用混合云 IT 架构,数据访问涉及在公有云和私有云之间同步数据。这种访问模式面临数据的快速传输、访问延迟和数据一致性的挑战。
增量数据巨大
随着越来越多的雷达、摄像头等传感器被部署在车辆里,一辆自动驾驶的汽车每天生成可达到 3-10 TB 的数据。
高 IOPS 低时延访问需求
自动驾驶业务大都使用 GPU 对数据进行分析,模型训练以及仿真测试。在训练中,由于 GPU 反复读取数据,因此需要存储提供高 IOPS 和低网络延迟的文件 IO 访问。
数据流动时间长
当数据规模达到数十 TB 以后,在业务流程中,数据在每个环节都需要经历传统的拷贝方式,导致业务等待时间较长,严重阻碍智驾模型快速迭代。
解决方案
在深入了解自动驾驶全业务流程存储管理的痛点后,焱融科技提出“混合云存储”解决方案。搭建本地到云端的跨云架构方案,路测数据作为原始数据,传统的“大容量存储-高性能存储-大容量存储”的拷贝方式,通过独有的 DataLoad 技术实现统一管理,按照业务发展需要按需流转,自动化管理。用户可根据业务数据规模来调整策略,实现“业务驱动数据”的工作模式,摒弃传统人工或者脚本运维的原始方式。
方案优势
高扩展海量数据存储
可扩展 MDS 架构,实现数据随业务增长的扩展能力,提升海量文件并发访问性能,实现自动驾驶处理海量数据的能力。
高性能技术加速模型迭代
焱融文件存储 YRCloudFile 支持 NVIDIA GPUDirect Storage(GDS),进一步提升训练模型迭代速度。结合 YRCloudFile 并行架构,有效提升存储性能。
多云协同 实现数据高效流转
DataLoad 功能,打通数据鸿沟,支持直接将任意对象存储中的数据通过文件接口访问,满足混合云存储业务架构部署要求,实现数据互通和流转,为混合云计算架构提供数据支撑。
全栈网络兼容
在连接计算和存储的网络上,焱融高性能分布式文件存储系统 YRCloudFile 支持全栈网络,包括以太网和 InfiniBand,全面覆盖行业所有网络要求。
智能分层 有效平衡成本和性能
为了降本增效,自动化驾驶全业务流程可使用 YRCouldFile 文件存储智能分层功能,自定义冷热数据策略,数据在冷热数据层之间流动对业务完全透明,能有效地对成本和性能做好平衡。