近日，全球科技界目光聚焦于一家中国AI公司——Kimi，其最新研究成果引发了广泛关注。特斯拉CEO埃隆·马斯克公开点赞，前OpenAI研究副总裁Jerry Tworek更是直言“深度学习2.0来了”，这一系列赞誉让Kimi瞬间成为行业焦点。
Kimi团队发布的技术报告提出了一种全新的Attention Residuals（注意力残差）机制，对深度学习领域沿用近十年的传统残差连接实现了颠覆性重构。传统残差连接采用“固定等权累加”的方式传递信息，然而随着模型层数的增加，浅层信息容易被稀释，导致训练效率低下、稳定性差等问题逐渐凸显。而Kimi的创新则如同为AI装上了一个“智能筛选器”，将Transformer注意力机制迁移到模型深度维度，使得每一层能够动态筛选出此前有用的信息，同时压低冗余信息，从而大幅提升信息传递效率。
为了解决内存过载的问题，Kimi团队还精心设计了“块注意力残差”策略。该策略将模型分块处理，在块内保留传统累加方式以保证稳定性，而在块间则采用动态加权的方式。经过实测，这一策略在推理延迟方面仅增加了不到2%，成功实现了性能与效率的平衡。
在实际应用中，Kimi的新机制展现出了显著的优势。实测数据显示，48B参数模型在采用新机制后，训练效率提升了1.25倍。在科学推理和数学题作答方面，成绩分别提升了7.5%和3.6%，有效解决了传统模型训练失衡的问题。
以挑剔著称的马斯克在看到Kimi的研究成果后，不仅转发了相关研究，还评论称“Kimi的作品令人印象深刻”。值得一提的是，马斯克旗下的xAI目前正处于重组期，此时他对Kimi技术的认可，足以见得这项技术的分量。而Jerry Tworek作为被誉为“推理模型之父”的前OpenAI研究副总裁，他的高度评价更是为Kimi的技术实力增添了有力背书。
