据豆包大模型团队消息，字节跳动豆包大模型Foundation团队近期提出UltraMem，一种同样将计算和参数解耦的稀疏模型架构，在保证模型效果的前提下解决了推理的访存问题。

据介绍，该架构有效解决了MoE推理时高额的访存问题，推理速度较MoE架构提升2-6倍，推理成本最高可降低83%。

来源：财联社

编辑 贾凯 审核 蒋波 钟玮

【未经授权，严禁转载！联系电话028-86968276】