当前,我们正处于一个数据爆炸性增长的时代,随着信息化新技术的不断发展,云计算、大数据的不断深化应用,使得医疗信息化快速发展。由于近几年来疫情的反复,更是推动了远程诊疗、移动诊疗、医疗物联网等拓展场景的使用和互联网医院的开展。随着实体医院将诊疗活动延伸至互联网端,数据共享和流通成为刚需,各种信息系统在医疗机构的广泛应用以及医疗设备和仪器的数字化,使得医院数据库的信息容量不断膨胀。

如何使这些海量的数据更好地为医疗卫生行业的管理、诊疗、科研和教学服务,已经成为人们越来越关注的话题。

 

以数据为中心

打造全周期流转的医疗企业

云和互联网几乎是任何一家医疗机构都不可回避的话题,对于医疗机构来说,云运营商会进行云上网络安全的服务覆盖,数据存储、安全共享,实现互联网医疗是一个核心命题。

2019年,国家卫健委又提出智慧医院及《智慧服务分级评估标准体系》。明确了智慧医院中,包含智慧医疗、智慧服务和智慧管理三个方面。而这三个方面的特征就是泛在、共享和智能,这三个特点归结到一点,就是数据的核心作用。以医疗影像为例,一份普通 CT 图像含有大约 150MB 的数据,一个标准的病理图则接近 5GB,而每年都有数十 TB 的数据规模增长。数据规模持续增加的同时,核心应用的数据量越来越大,服务器的性能要求也越来越高,存储架构和运维架构则越来越复杂,数据存储逐渐出现读写速度慢、延时高、存储空间受限等问题,需要不断扩容来优化。由此,以数据为中心成为医疗行业发展的重要方向,存储系统需要充分发挥自身新型基础设施的价值,对医疗建设具有重要意义。

为此,我们将基于一家在全球领先的医疗设备拥有核心研发和制造的制造厂商为案例,业务覆盖生命信息与支持、临床检验及试剂、数字超声、放射影像等四大领域,通过分析原有的数据存储架构,帮助该企业找到存储难题并设计出针对该场景的问题解决方案。

 

海量数据下亟需解决的三重困境

临床医疗设备的研发和制造对数据存储、访问及安全都提出了更高的要求。此外,随着医疗数据量的激增,如何根据数据全生命周期,将数据做自动流转、存储和管理,也成为了建设中所面临的问题。为了更好地实现内部体外诊断运营管理部、医学影像运营管理部、生命信息与支持运营管理部的研发数据共享和协作,提升企业各研发部门数据的统一存储和管理,通过用高性能分布式存储架构替换原有传统存储架构成为其首要选择,从而实现研发数据的自主可控性。在使用本地传统存储方案中,该企业面临性能、数据可扩展能力以及数据共享安全性等考验:

问题一:运维管理复杂,存在单点故障,数据丢失风险

该企业研发部门的数据是整个企业的关键资产,数据安全则是企业最优先考虑的问题。除了在使用网盘本身的强制备份、对网盘客户端的权限精细化管理、版本管理及审计追溯管理以外,通过原有的传统存储方式(单机服务器等)存储数据均存在单点故障问题;还会面临硬盘/服务器故障造成的数据丢失及业务中断的风险,一旦泄露或中断会破坏企业多年的研究成果。

问题二:企业员工数量多,并发访问量大,存储扩展能力跟不上需求

目前该企业在全球设有 10 个研发技术中心,共有 3400+ 名研发专家,其中包含海量的图片、视频、语音等非结构化数据。然而传统存储体系,通过原有 NAS 的方式,其读写性能低,在业务并发频繁访问数据时,很难支撑海量的数据存储需求,更难以面对数据量激增的问题。使用传统存储作为研发数据的网盘后端存储,当存储空间达到饱和时,会造成业务中断,则需要通过调整网盘业务系统或者通过迁移数据的方式来支持多存储单元,所以存储平台的可扩展性是十分重要的。

问题三:数据量庞大,存储性能低

作为研发部门的网盘后端存储,后续则需要承载海量的研发数据。传统文件存储采用 B+ 树进行文件检索,随着文件数量和层级深度的增加,数据的访问性能会急剧下降,直接影响研发数据存取效率。

 

焱融科技高性能文件存储

助力医疗企业安全共享

在深入了解该企业实际业务后,我们的架构工程师根据需求模拟不同场景下所面临的难题,针对该企业研发数据网盘私有化部署场景,推荐使用 YRCloudFile 高性能分布式文件存储解决方案。通过使用分布式 Raid5 + 双副本的存储策略,利用分布式架构来取代传统依赖 NAS 的架构,从根本上解决企业所面临的问题。

一方面,在数据安全性上相比传统 Raid 模式或双副本模式更可靠;另一方面,分布式存储架构在性能上也有所保障,企业可以根据自身容量按需扩容,使得其在原有存储上有质的改变。通过提升和改造原有的存储架构,使可靠性、性能和经济性三者兼顾。

在整个方案过程中,焱融科技 YRCloudFile 高性能分布式文件存储提供了强力的支持,主要优势表现在:

保障研发数据的安全性

将研发数据从云上及边缘端移到数据中心内,降低了企业 IT 部门所面临的安全问题。数据访问集中化能够缓解数据泄漏和失窃的风险,并有效地简化合规性工作程序。通过使用高性能文件存储 YRCloudFile 分布式 Raid5 + 双副本的存储策略,先将服务器本地硬盘组成 Raid 组,然后 YRCloudFile 存储系统通过复制协议来保证数据副本的一致性。只有当数据的所有副本都写入成功后,才会返回前端数据。存储系统可以保证每个副本上的数据都是完全一致的,从任意副本读到的数据都是相同的,从而可容忍不同 Raid 组的多块硬盘故障或者服务器故障。本次 Raid5 + 双副本的存储策略不仅为项目的研发数据应用提供高达 99.995% 的服务可用性,而且还达到了 99.99999% 的数据可靠性,为企业研发数据安全增砖添瓦。

提升数据访问性能

通过 YRCloudFile 分布式元数据横向扩展架构,利用虚拟目录、静态子树和目录 Hash 等技术,实现在 0-100 亿级别的海量文件背景下,文件操作性能和文件的读写性保持平稳状态,并完美支撑上层应用。

其主要包含三大要素:

  1. 将根目录固定在 MDS 节点;

  1. 每一级目录会根据 Entry name 进行 Hash,再次选择 MDS,以此保证横向扩展的能力;

  1. 在目录下文件的元数据进行存放过程中,不再进行 Hash,而是跟父目录在同一个节点,以此保证一定程度的元数据本地性。

此种架构方式有两种好处,首先元数据的分布存储,通过扩展元数据节点,即可支持百亿级别的文件数量;其次减少在多个节点上进行元数据检索和操作,灵活的分布式架构以及高效的元数据算法,将底层服务器的性能有效地发挥出来,为研发部门网盘应用提供极致的 IOPS 及存储带宽,保障存储性能不衰减。

实现性能及容量经济性扩容

传统 NAS 存储容量及性能的扩展受制于控制器,其横向扩展能力较差,无法实现无限制扩展,控制器架构使研发数据的网盘规模受限。

架构对比图

YRCloudFile 将多台服务器上硬盘的读写能力聚合形成聚合带宽,搭建通用 X86 服务器,实现软硬件解耦,可按需部署,灵活扩展,使存储系统总体性能呈线性增长。企业后续可通过增加服务器的方式,提升整个存储系统的容量及性能。

通过利用 YRCloudFile 所具备的 DataLoad 技术和智能分层技术,实现本地素材数据和云端计算互通,自定义冷热数据策略,冷数据自动流动至低成本的对象存储并完成压缩,向上仍然为业务提供标准的文件访问接口,并保持目录结构不变,数据在冷热数据层之间流动对业务完全透明,能有效地对成本和性能做好平衡。

该企业优化后的存储解决方案架构图

在此次解决方案和技术的帮助下,不仅解决了企业高并发访问数据、数据共享安全及数据可扩展能力的难题,还充分发挥了 YRCloudFile 高性能、高扩展、高可用的特性。在提升海量文件数据存储能力的同时,该企业也实现了全生命周期的数据管理、先进的智能分层技术,可以保证百亿级文件操作性能提升的同时,也为企业降本增效,全面提升医疗数据管理效能。