Meta开源Llama 4系列模型，参数规模突破1万亿

6月24日，Meta正式开源Llama 4系列模型，这是继Llama 3之后的重大版本更新，其中最大版本参数规模突破1万亿，标志着开源大模型发展的重要里程碑。

模型系列

Llama 4-Ultra（1万亿参数）

• 面向大规模AI训练
• 支持200万token上下文
• 业界领先的性能表现

Llama 4-Pro（7000亿参数）

• 面向企业级应用
• 平衡性能和成本
• 支持多种部署方式

Llama 4-Compact（700亿参数）

• 面向个人开发者和中小企业
• 支持本地部署
• 推理效率优化

技术亮点

架构创新

• 分组注意力机制（GQA）
• 长上下文优化
• 训练稳定性提升

性能表现

• 基准测试全面领先
• 推理速度提升150%
• 内存占用降低40%

开源生态

许可条款

• 可免费用于研究和商业
• 需遵守使用政策
• 提供商业许可选项

社区支持

• 完整的微调指南
• 预训练和微调权重开放
• 活跃的开发者社区

来源：Meta官方、GitHub、HuggingFace