深圳商报·读创客户端首席记者 王海荣 通讯员 鹏实
6月13日,在德国汉堡举行的国际超级计算大会2025公布了新一期系统数据吞吐能力IO500排行榜,鹏城实验室的人工智能大科学装置——“鹏城云脑Ⅱ”连续第十次斩获总冠军。
据了解,“鹏城云脑Ⅱ”自2020年10月正式上线运行以来,采用对国产自主软硬件高度优化的SuperFS新一代大规模分布式文件系统,针对海量训练数据访问带宽瓶颈,提出了分布式高性能存储缓存架构,利用计算节点内高带宽闪存与高性能网络,以及去中心化设计,实现了数据全分散存储并提供全局视图,通过直通式数据传输等技术极大提升了数据存取性能。“鹏城云脑Ⅱ”还针对文件数据访问延迟高的问题,提出了内核旁路技术,结合RDMA网络降低延迟,利用协程机制设计高并发任务调度,并行文件系统的访问带宽达4.8TB/s,消除了AI大模型训练过程中的文件读写瓶颈。
公开资料显示,超算存储500强(IO500)是高性能计算领域针对存储性能评测的国际权威排行榜。IO500测试包括数据带宽BW(GiB/S)和元数据性能MD(KIOP/S)两大部分,各项分数取几何平均后得到总分。自2017年11月开始,每年IO500榜单会在美国SC大会和德国ISC大会上发布。
早在2020年举行的美国超算大会(SC20)和中国超算大会期间,首次亮相的“鹏城云脑Ⅱ”便一举夺得IO500总排行榜、10节点排行榜两项冠军以及AIPerf500的世界冠军。此后,鹏城实验室与各合作单位始终致力于对“鹏城云脑Ⅱ”进行优化升级,通过不断创新和改进自主研发的操作系统,成功将其综合性能提升了数倍。
伴随以“鹏城云脑Ⅱ”为代表的新基建推进,高性能算力基础设施的服务半径亦不断延伸。
在斩获IO500全球排行十连冠的同一天,第四届粤港澳大湾区(广东)算力产业大会暨第三届中国算力网大会也在广东韶关举行,会上正式成立了由鹏城实验室发起并联合海内外多家单位共同创建的学术组织——AI Edge联盟,吸引了全球高校、科研机构、企业、开源社区等70多家单位加入。该联盟将共同推动AI与边缘网络的深度融合,助力打造新一代面向智能应用的移动信息服务基础设施。
据悉,AI Edge是一种面向智能应用的、基于开放性可编程统一算力架构的综合移动信息服务基础设施,兼具边缘计算AI服务、网络智能优化与控制、通信传输与信息处理等三种功能。AI Edge联盟的核心理念在于充分挖掘移动通信网络的潜力,通过“以网强算,以边助云”,构建算力网不可或缺的脉络延伸。
6月15日,记者从鹏城实验室获悉,目前“鹏城云脑Ⅱ”已在科研创新方面发挥了积极作用。其中在大模型研究中,其强大的数据处理能力为模型训练提供了高效的数据支持;在天气预测领域,能够快速处理海量气象数据,显著提高预测的准确性和时效性;在分子动力学、药物研发、基因分析等生命科学领域,也为相关研究提供了有力的数据处理保障。