智东西7月12日报道,昨夜,国内大模型独角兽月之暗面发布并开源了其最新一代MoE架构基础模型Kimi K2,总参数量达到1万亿(1T),激活参数为32B。Kimi K2已在Kimi Web端和App端中可用。 Kimi K2在预训练阶段使用了“MuonClip”优化器实现万亿参数模型的训练。这一优化器能提高Token利用效率,缓解高质量人类数据的短缺问题。月之暗面还应用了大规模Agentic Tool Use数据合成和引入自我评价机制的通用强化学习等技术。 Kimi K2系列中的两个模型版本现已开源,包括未经过指令微调的基础预训练模型Kimi-K2-Base和通用指令微调版本Kimi-K2-Instruct(非思考模型)。前者适合科研与自定义场景,后者则可用于大多数问答与Agent任务。 根据月之暗面博客文章,在前端开发任务中,Kimi K2能生成有设计感与视觉表现力的代码,支持粒子系统、可视化和3D场景等表现形式。官方Demo中,Kimi K2开发了一个支持昼夜循环的山川峡谷3D景观: 在难度较低的个人网站开发任务上,Kimi K2展现出一定规划能力。在未收到明确指示的情况下,Kimi K2主动梳理了网站的目录结构,打造出的网站可扩展性更好。 比如,将13万行的原始数据丢给Kimi K2,它可以帮用户分析远程办公比例对薪资的影响,分析显著差异,自动生成统计图表与回归模型解读,并用统一色调做出小提琴图(violin plot) 、箱线图(box plot)、散点图(scatter plot)等专业图表,整理成报告。 再比如,如果用户是Coldplay粉丝,Kimi K2可以帮忙制定今年的追星计划,完成演唱会所在城市的机酒与旅游规划,并且生成日历,再用html概括完整行程规划并发送邮件。 根据月之暗面博客文章,Kimi K2用MuonClip优化器支撑万亿参数模型训练,提升token利用效率。结合大规模Agentic数据合成与通用强化学习,这一模型的通用智能能力获得提升。 为了缓解大规模训练中的attention logits偏大问题,月之暗面抛弃了传统的Adam优化器,提出MuonClip优化器,并将其扩展到万亿参数规模,提升了训练稳定性和token使用效率。Kimi K2完成了15.5T token的训练,全程无loss spike。 月之暗面还构建了可大规模生成多轮工具使用场景的合成pipeline,其大规模Agentic Tool Use数据合成可覆盖数百领域、数千工具,样本由LLM评估筛选后用于训练。 Kimi K2在可验证任务上(代码、数学)使用了强化学习,还通过引入自我评价机制(self-judging),解决了不可验证任务的奖励稀缺问题,实现通用强化学习,提升泛化任务表现。


