数据决定AI智能的高度,华为发布大模型时代AI存储新品
深圳特区报记者 周雨萌 文/图
2023-07-14 16:12

大模型时代,数据存储正成为AI大模型的关键基础设施。7月14日,华为顺应AI发展趋势,针对不同行业、不同场景大模型应用,推出两款AI存储新品——OceanStor A310深度学习数据湖存储与FusionCube A3000训/推超融合一体机。其可为基础模型训练、行业模型训练,细分场景模型训练推理提供存储最优解,释放AI新动能。

据了解,企业在开发及实施大模型应用过程中,面临四大挑战:一是数据准备时间长,数据来源分散,归集慢,预处理百TB数据需10天左右;二是,多模态大模型以海量文本、图片为训练集,当前海量小文件的加载速度不足100MB/s,训练集加载效率低;第三,大模型参数频繁调优,训练平台不稳定,平均约2天出现一次训练中断,需要Checkpoint机制恢复训练,故障恢复耗时超过一天;最后,大模型实施门槛高,系统搭建繁杂,资源调度难,GPU资源利用率通常不到40%。

为此,华为推出两款AI存储新品可有效解决以上痛点。

其中,OceanStor A310深度学习数据湖存储,可以加速AI全流程业务。它是面向基础/行业大模型数据湖场景,实现从数据归集、预处理到模型训练、推理应用的AI全流程海量数据管理。OceanStor A310单框5U支持业界最高的400GB/s带宽以及1200万IOPS的最高性能,可线性扩展至4096节点,实现多协议无损互通。全局文件系统GFS实现跨地域智能数据编织,简化数据归集流程;通过近存计算实现近数据预处理,减少数据搬移,预处理效率提升30 %。

FusionCube A3000训/推超融合一体机,可降低AI大模型部署与使用门槛。它是面向行业大模型训练/推理场景,针对百亿级模型应用,集成OceanStor A300高性能存储节点、训/推节点、交换设备、AI平台软件与管理运维软件,为大模型伙伴提供拎包入住式的部署体验,实现一站式交付。开箱即用,2小时内即可完成部署。训/推节点与存储节点均可独立水平扩展,以匹配不同规模的模型需求。同时FusionCube A3000通过高性能容器实现多个模型训练推理任务共享GPU,将资源利用率从40%提升到70%以上。FusionCube A3000支持两种灵活的商业模式,包括华为昇腾一站式方案,以及开放计算、网络、AI平台软件的第三方伙伴一站式方案。

此外,数据安全也是数据存储产业面临的重要问题。活动上,华为天才少年,也是华为苏黎世研究所存储首席科学家张霁来到现场,他透露,目前华为正在研究一种称为“数据方舱”的技术。该技术让数据在流转过程中,数据及其访问权限、凭证信息都被封装在一起进行流转,数据到达归集地后,将在“数据方舱”安全执行环境中被安全地使用,从而保证数据的安全访问。

华为数据存储产品线总裁周跃峰表示,大模型时代,数据决定AI智能的高度。作为数据的载体,数据存储成为AI大模型的关键基础设施。华为数据存储未来将持续创新,面向AI大模型时代提供多样化的方案与产品,携手伙伴共同推进AI赋能千行百业。

(原标题《数据决定AI智能的高度,华为发布大模型时代AI存储新品》)

编辑 秦涵 审读 韩绍俊 二审 张克 三审 余晓泽

(作者:深圳特区报记者 周雨萌 文/图)
免责声明
未经许可或明确书面授权,任何人不得复制、转载、摘编、修改、链接读特客户端内容
推荐阅读
读特热榜
IN视频
鹏友圈

首页