“求索大模型后训练时代的深度推理”技术论坛近日召开

深圳特区报记者 李丽
05-25 22:19

深圳特区报

深圳市委机关报,改革开放的窗口

摘要

随着DeepSeek为代表的技术突破、管理规则的逐步落地以及行业竞争格局的演变,人工智能迈入“大模型后训练时代”。大模型发展不再单纯追求规模和性能,而是更加注重技术实用性、可持续性以及与社会需求的深度融合——这一转变既带来了前所未有的机遇,也提出了新的挑战。

5月23日,“抽丝剥茧:求索大模型后训练时代的深度推理”技术论坛,在珠海横琴开幕的中国计算机学会青年精英大会(YEF 2025)上举行。本次论坛由中国计算机学会青年计算机科技论坛·深圳主办,哈尔滨工业大学(深圳)教授陈科海和中山大学教授任文琦担任执行主席。来自同济大学、国防科技大学、哈尔滨工业大学(深圳)、西湖大学、四川大学、深圳大学等高校,以及华为诺亚方舟实验室、中科曙光等科研院所和产业界的逾50位专家学者参会。

来自学术界和产业界的专家学者,围绕后大模型时代高效推理技术创新、大小模型协同知识推理、大模型推理的因果性与泛化性、大模型的工具协同推理能力构建与潜能激发和软硬协同的国产算力生态进行深度分享,并围绕大模型后训练时代深度推理的突破点、深度推理来源于算法本身还是高质量数据标注、深度推理重在深度思考还是内容输出等议题展开探讨。

同济大学教授赵生捷提出,当前大模型高效推理面临延迟、资源与质量的三维失衡困境,具体表现为推理成本高企、响应时延拖累用户体验、冗余步骤导致路径偏离及算力资源错配等核心瓶颈。为此,亟需构建“数据-算法-系统”协同优化的技术体系,形成精炼数据构造、动态计算资源分析、算力吞吐协同架构三大关键技术,突破训练数据蒸馏优化、轻量化微调策略设计、异构硬件深度适配等技术瓶颈,研制支持城市治理与工业制造的智能推理引擎。该体系通过算法级能耗压缩与系统级资源调度联动,提升复杂任务推理效率、提高硬件资源利用率,未来将推动智慧城市灾害预警、制造工艺参数优化等场景的实时推理应用,构建大模型高效推理的行业标准与评估范式。

国防科技大学教授刘新旺分析,当前知识推理技术面临逻辑深度不足、响应效率受限及路径依赖显著等核心挑战,具体表现为小模型推理逻辑浅层化、大模型响应时延过高、传统方法过度依赖共现统计等问题。为此,亟需构建大小模型协同推理技术体系,形成自适应思考机制、跳跃式推理加速、图谱知识优化等关键技术,突破动态推理模式选择、核心逻辑跳转加速、上下文级负样本构建等技术瓶颈,研制支持军事决策、医疗诊断等复杂场景的知识推理平台。该研究通过大模型通用知识引导与小模型高效推理的深度协同,旨在实现知识推理效率与精度的双重突破,推动智能化决策系统在资源受限场景的规模化应用。

西湖大学教授张岳指出,当前大模型逻辑推理面临因果性薄弱与泛化性不足的双重挑战,具体表现为逻辑任务依赖语言表面模式、分布外场景性能断崖下降、虚假关联干扰因果特征提取等核心问题。为此,亟需构建因果增强的推理技术体系,形成反事实数据增强、动态语义干预、混合策略强化学习等关键技术,突破虚假模式解耦、关键特征注意力修正、离策略轨迹融合优化等技术瓶颈,研制支持数学推理、复杂决策等跨领域场景的鲁棒推理框架。该研究通过反事实训练强化因果关联、混合策略学习平衡探索稳定性,实现了数学推理准确率的大幅突破,并在分布外任务中保持超90%的泛化保持率。未来将围绕因果推理框架设计、多模态逻辑任务迁移、轻量化推理引擎开发等方向持续突破,推动大模型在科学计算、战略推演等复杂场景的可靠应用。

华为诺亚方舟实验室研究员曾幸山表示,当前大模型工具协同推理面临“能说不会做”的实践瓶颈,具体表现为工具迭代泛化性不足、多步需求处理效率低下、数据质量与系统通用性难以平衡等核心挑战。为此,亟需构建系统性工具协同推理技术体系,形成工具语义动态进化框架、自然对话交互优化方案、自适应潜能激发机制三大关键技术,突破API语义树构建、工具关联图动态规划、能力感知迭代训练等技术瓶颈,研制支持复杂多轮协作的实用化Agent系统。未来将围绕多轮思考时延压缩、推理与行动深度耦合等方向持续攻关,推动大模型从对话交互向自主决策升级,为构建工业控制、智能服务等领域的完整Agent生态提供技术基座。

中科曙光研究员陈伯龙认为,当前大模型产业面临场景适配模糊、算力成本高企、专业人才短缺及数据安全风险等核心挑战。为此,构建软硬协同的国产算力生态,通过四维技术体系实现模型压缩优化与低代码开发,突破FP8混合精度训练及分布式调度技术,推动推理成本降至GPT-4o的5.6%。未来将深化通算融合架构与开源工具链建设,赋能千行百业智能化转型,引领国产算力生态标准化发展。

最后,哈尔滨工业大学(深圳)教授周逊、四川大学教授雷文强和深圳大学教授王毅,分别围绕“大模型后训练时代深度推理的突破点”“深度推理来源于算法本身还是高质量数据标注”和“深度推理重在深度思考还是内容输出”这三个思辨主题,与50余位参会者进行深入思辨讨论。

论坛执行主席和YOCSEF深圳候任主席分别进行了总结。他们认为,后大模型时代的深度推理需重点关注大模型内在机理、领域适配、知识推理、因果关联、工具协同调用、国产算力支撑等多个维度,从而在构建高效、可信、准确的深度推理技术上实现突破,为培育新质生产力提供全栈式技术支撑。

(活动主办方供图)

编辑 冯思颖 审读 吴诗敏 二审 党毅浩 三审 余晓泽

(作者:深圳特区报记者 李丽)
免责声明
未经许可或明确书面授权,任何人不得复制、转载、摘编、修改、链接读特客户端内容
推荐阅读

读特热榜

IN视频

鹏友圈

首页