存储挑战
GIS 地理信息行业涉及领域广泛,包括城市规划、环境保护、资源管理、国土监测、交通规划等。通过对地理空间数据的挖掘和分析,GIS 为各行业提供决策支持,助力我国智慧城市建设和社会经济发展。
数据量规模大
随着无人机、地面高精度、高分辨率拍摄设备的快速发展,地理信息外业数据采集形式更加多元,中等规模城市单次采集的地理信息数据可达 5-600TB,一线城市数据量甚至可以达到 1-2PB。大规模 GIS 数据迫切需要可以支持大容量、高扩展性的存储系统。
大规模并发
存储支持计算服务器的并发数是一个定值,由不同的存储系统决定,常规并发是几十台计算规模访问同一套存储集群。在小业务情况下效率不受影响,但在大业务压力或者紧急任务情况下,存储系统支撑不足。
主流实景三维软件支持
GIS 地理行业通用软件特性是混合数据处理,含大量图片和矢量信息,存储需优化以应对大小文件并存的挑战,贴合业务特性,提高效率。
高性能网络兼容
由于地理信息的处理和分析需要投入大量的计算,需要依托高效 IT 架构和数据流转,因此,高性能计算和高性能存储的通信需要高性能网络的支持。
元数据管理
元数据对于 GIS 数据是非常重要的,因为它提供了关于数据的信息,如来源、质量、更新时间等。存储系统应该支持有效的元数据管理和检索。
存储可靠性
存储作为业务生产的核心环节,从素材共享到最终成果的存储,承载业务数据全生命周期的闭环,数据可靠性和可用性对项目整体工期而言至关重要。
解决方案
焱融高性能分布式文件存储系统 YRCloudFile 提供 GIS 行业空三和建模场景下的高性能存储,3 台存储集群便可支撑 600 计算节点并发访问,提供 PB 级地理信息图片处理,空三阶段整体效率大幅提升,同时该方案具备高可靠、业务连续性等安全保障,助力 GIS 行业蓬勃发展。在生产过程中对业务 IO 进行优化,例如对接 ContextCapture,使其空三整体效率提升 50%,原需要 20 小时完成的任务,缩短至 11 个小时完成。
方案优势
兼容性强
焱融高性能分布式文件存储系统 YRCloudFile 在大小文件并存场景下,采用了独有的元数据和数据管理方式,满足海量文件的高性能管理,可与地理信息测绘领域的各种应用系统、计算平台和网络环境无缝对接。
硬件通用设计
采用“软件定义”架构,将存储系统与存储硬件解耦,实现存储硬件通用性,让客户拥有硬件选择权,硬件维护更简单,保障备件可通过市场长期供应,为业务发展解绑。
全栈网络兼容
在连接计算和存储的网络上,焱融高性能分布式文件存储系统 YRCloudFile 支持全栈网络,支持现有市面上主流的网络设备及协议,包括以太网和 InfiniBand,全面覆盖现有行业所有网络要求。
存储集群可靠性
YRCloudFile 存储架构为冗余设计架构,实现存储节点级故障不丢失数据的要求,提高数据的抗灾能力。 同时,读写能力大幅度提升,最终实现可靠性和性能的双收益。
存储高并发设计
实景三维的一个显著特点是要求支持计算集群的高并发访问,采用 YRCloudFile 并行文件系统,三台存储集群即可支持 600 台计算节点的访问规模。
可扩展性设计
支持横向扩展,在增加存储节点的同时,容量和性能也同步增加。采用分布式元数据架构,集群规模从 3 节点到 4096 节点扩展区间,可满足实景三维所有业务发展带来的数据扩展问题。常规业务下,几台乃至十几台存储即可满足一个大规模项目的存储要求,几万张实景三维图片到几十亿张均可存储。
业务连续性
YRCloudFile 采用了分布式架构,存储挂载至计算集群,实现统一路径挂载,当存储节点发生故障时,不影响数据逻辑路径,底层存储故障对业务无影响,保障业务的连续性。