2 月 16 日,人工智能公司 OpenAI 正式发布文本-视频生成模型 Sora 。通过简短或详细的提示词描述,或一张静态图片,Sora 最高能生成 1 分钟左右的 1080P 高清视频,远超过当前业界普遍的4秒标准,且场景、角色、细节逼真,堪比电影。作为先进的 AI 视频生成模型, Sora 的优势不仅体现在能够生成长达 1 分钟的连续视频,而且还包括生成多样化视频和图像内容、处理三维空间连贯性、模拟能力和数字世界模拟,以及出色的文本和图像/视频编辑能力等,Sora 在视频生成领域具有巨大的潜力和应用价值。

 

  • 构建规模化训练集,算力迎来巨大挑战

 

在文生文场景下,文本数据因素相对标准和统一,容易构建大规模训练集。但文生视频场景下,视频数据涉及图像、时间、颜色、画幅等多维度因素,构建规模化训练集难度大,耗时又昂贵。为了解决这个问题, Sora 分两步走:第一步,利用视频压缩网络捕捉视频的核心视觉特征,保证视觉信息完整性的情况下,将其压缩成一个更紧凑的潜在表示形式;第二步,把不同格式的视频编码成统一的空间时间补丁 Patch ,达成了多样化视觉数据的统一处理,不被高宽比、分辨率、时间等因素限制,让整个模型的范化能力和通用性变得更强。

 

Sora 作为扩散模型,接收带有噪点的空间时间补丁 Patch 作为输入,并通过 Transformer 架构逆向去除噪点,最终输出一个与原始数据接近的 Patch。综上,我们可以想象从每一个现有的视频数据压缩处理成 Patch ,按算法叠加后输入到模型,无疑对 AI 服务器、 GPU 等算力设备的需求提出了史无前例的要求。

 

  • 海量高质量训练数据让 Sora 更好地理解世界

 

在视频维度下,“世界”的关联规律更加复杂,Sora 能够保持它创造的“世界”一致性,背后可能是 Sora「理解」了 Patches 的变化、运动、位置在时空意义上的关系的数学、算法表征,这些变化和表征又拟合了物理世界的某些合理性。Sora 的这种「理解」能力恰恰是通用人工智能所需的核心能力,这种能力高度依赖持续扩充的高质量、超大数据集。

 

相较于传统视频模型,Sora 所使用的高质量、超大数据集来源多样,包括电影、纪录片、电影的长镜头、游戏引擎等不同持续时间、分辨率和长宽比的视频和图像数据,而只有这种广泛的训练,才能够理解复杂的动态,并生成多样化、高质量的内容。这个过程意味着需要海量数据、大规模参数以及大算力作为有力支撑。据 NVIDIA GPU 发展路线图推断出,为满足多模态大模型迭代对资源的需要,所需的高性能计算、网络、存储三者同步增长。近期众多分析机构也纷纷对 Sora 所需的算力和存储空间进行测算,尽管观点和数字各异,但一致认为算力和数据需求的显著增长是必然趋势。

 

可以预见,在 2024 年以 Sora 为代表的通用人工智能“涌现”现象后,以视频为主要训练素材的模型生成将成为 AIGC 行业主流,GPU 算力和存储市场将迎来新一轮爆发,传统视频行业已经积累了大量的视频素材,包括广告片、电影以及各行业领域的视频内容,使用视频素材作为 AI 训练的趋势将会变得更加普遍,要协调整合所有资源,在数据质量、算力、存力、模型以及多领域融合技术的复杂性上都有诸多亟待突破的关卡。

 

焱融科技作为长期深耕存储领域的技术型企业,稳居 AI 行业的国产存储厂商第一梯队。从去年的 ChatGPT 到今年的 Sora ,焱融科技凭借卓越的技术实力,前瞻性地部署了全场景 AI 系列产品,为智算及各行业客户提供卓越的 AI 存储解决方案。为进一步提升模型训练效率,紧跟人工智能技术的创新步伐,充分释放 GPU 强大算力,焱融全闪存储产品与包括 NVIDIA 在内的国内外顶尖算力设备厂商进行深度技术适配,在英伟达网络中国实验室成功完成与 NVIDIA 400Gbps NDR InfiniBand 适配及性能调优,在单 x86 架构存储节点达到了 90GBps 、300万 IOPS 业内领先性能,满足国内顶级多模态大模型企业对存储性能、稳定性、安全性等方面的严苛要求,实现高效的数据流转、资源利用和成本控制。

 

2023 年,该超高性能全闪存储产品已成功服务多家国内顶级大模型厂商核心业务线,成为大模型最佳底座,其中与智谱 AI 的合作极具代表性。此外,焱融存储积极展开与国内人工智能软硬件厂商合作,为推进国产化智算中心建设提供坚实的存储底座支撑。

 

最后,诸如 Sora 类的多模态大模型的广泛应用,也将推动对高性能计算和边缘计算的需求不断增加,对于基础底层架构的要求极高,只有在具备强大算力、存力基础上,才能发挥出其最大的价值和潜力。在本次技术革命的浪潮中,焱融科技也将通过多年的技术沉淀为多模态大模型发展贡献更多的技术力量和创新解决方案。