网界
网络资讯 网界财经 科技人物 数据洞察 行业动态 智能出行 智能手机 数码极客 商业资讯

中国科学院自动化所发布“瞬悉1.0”:基于内生复杂性,开启非Transformer架构新路径

2025-09-09来源:环球网科技编辑:瑞雪

中国科学院自动化研究所李国齐、徐波团队近日宣布,与沐曦metaX联合研发的类脑脉冲大模型“瞬悉1.0”(SpikingBrain-1.0)取得突破性进展。该模型基于原创内生复杂性理论构建,在国产千卡GPU算力平台上完成全流程训练与推理,实现了超长序列处理效率的数量级提升,为非Transformer架构的大模型发展开辟了新路径。

研究团队指出,当前主流的Transformer架构大模型依赖Scaling law,通过扩大网络规模、算力投入和数据量提升性能,但其计算单元采用简化点神经元模型,存在序列长度增加时训练开销平方级增长、推理显存线性上升的缺陷,导致处理超长序列能力受限。针对这一问题,团队提出“基于内生复杂性”的架构设计,借鉴大脑神经元内部复杂机制,构建了脉冲神经元动力学与线性注意力模型的数学关联,发现现有线性注意力机制本质上是树突计算的简化形式。

基于上述理论,团队开发了具备线性复杂度(7B参数)和混合线性复杂度(76B参数,激活参数量12B)的类脑基础模型。其中,SpikingBrain-1.0-7B已开源,76B版本提供测试网址,并同步发布中英文技术报告。模型适配国产沐曦metaX曦云C550 GPU集群,配套开发了高效训练框架、Triton算子库、模型并行策略及集群通信协议,形成完整的国产自主技术生态。

性能测试显示,该模型在极低数据量下即可完成高效训练,推理效率较传统架构显著提升,尤其在超长序列任务中表现突出。其动态阈值脉冲化稀疏机制可适应不同尺度计算需求,在法律/医学文档分析、多智能体模拟、高能物理实验、DNA序列解析及分子动力学轨迹建模等场景中具有明显效率优势。

据介绍,这是我国首次提出大规模类脑线性基础模型架构,并首次在国产GPU集群上实现类脑脉冲大模型的训练与推理框架。该成果不仅解决了脉冲驱动模型性能退化的关键问题,更为新一代人工智能提供了非Transformer架构的技术方案,同时为低功耗神经形态计算理论及芯片设计提供了理论支撑。

阿里巴巴“通义”App升级更名“千问”,AI战略转向消费级市场新布局
根据官方消息,“千问”定位为阿里旗下最重要的大模型应用入口,其核心能力基于阿里自研的大模型体系Qwen(千问)。 分析人士指出,阿里此前在To B市场和模型研发侧拥有技术基础,但在消费端应用分发层面还未形成…

2025-11-15

Dexmal原力灵机获近10亿融资 阿里蔚来资本助力具身智能研发落地
IT之家 11 月 14 日消息,具身智能公司 Dexmal 原力灵机今日宣布完成数亿元 A+ 轮融资,阿里巴巴为独家投资方。IT之家注意到,该公司 A 轮融资由蔚来资本领投,洪泰基金、联想创投、锡创投和正…

2025-11-14

百度世界大会发布文心大模型5.0 参数量2.4万亿能力达全球领先
文心5.0基础能力全面升级,在多模态理解、指令遵循、创意写作、事实性、智能体规划与工具应用等方面表现突出,拥有强大的理解、逻辑、记忆和说服力。不同于业界多数的多模态模型采用后期融合的方式,文心5.0的技术路…

2025-11-13