AI资讯

德国Aleph Alpha开源英德双语大模型Kolibri-1:781亿参数MoE,768块B200训练21天

发布时间:2026年10月03日 09:10:00

10月3日德国统一日,德国海德堡AI公司Aleph Alpha在官方博客宣布开放权重模型Kolibri-1正式上线Hugging Face,Apache 2.0许可,可商用。这是一个英德双语混合专家模型,总参数781亿、每token仅激活约34.6亿个(激活比例4.4%),50层网络配384个专家,支持最高100万token上下文。模型用24万亿token训练,德语语料占约23%,其中超2万亿token为自研管线自采与合成;训练在德国与芬兰的768块英伟达B200上耗时21天、经历38次非计划中断仍稳定完成。技术报告显示其AIME 2025英语96.9分、德语87.5分,HumanEval+达92.7分,FP8权重约78GB,最低两张A100或单张B200即可本地部署,面向政务、工业、航空航天等主权场景。


统一日的「德国制造」开源牌

10月3日德国统一日,总部海德堡、员工约200人的Aleph Alpha在官方博客以《Kolibri Has Landed: A Sovereign Open-Weight Model》为题宣布:新模型Kolibri自当日起在Hugging Face开放完整权重下载(仓库名Aleph-Alpha/Kolibri-1),采用Apache 2.0许可证,允许商业使用。公司10月5日又刊发正式新闻稿,将其定位为面向公共行政、工业与航空航天等关键任务场景的专用大模型。

这是欧洲AI公司少有的「训练全过程自主可控 + 权重彻底开源」组合:从数据摄取、预训练、后训练到评测全部自研,算力位于德国与芬兰,并向客户提供完整的数据来源与设计决策文档。

架构:781亿总参,只激活3.46%…不,4.4%

技术报告披露的核心规格:

项目参数
总参数量781 亿(78.1B)
每 token 激活约 34.6 亿(3.46B,占 4.4%)
架构MoE Transformer,50 层,384 个专家,每 token 选 6 个 + 1 个共享专家
上下文最高 100 万 token(10 层全注意力 + 40 层 512 长度滑动窗口混合注意力)
训练语料24 万亿 token,德语约 23%(约 4.3T,含 2T+ 自研管线自采与合成德语)
后训练SFT + 在 120 多万个内部精选任务上做强化学习
知识截止2026 年 6 月 18 日
许可证Apache 2.0

效率是其最大卖点。Aleph Alpha称在英语与德语的「质量—服务成本」帕累托前沿上,没有任何对比模型能在相同服务成本下提供更高质量、或在相同质量下成本更低;在数学、代码、接地与长上下文任务上,它可匹敌激活参数量四倍于己的模型。

训练:768块B200,21天,38次中断

训练侧的数据同样有信息量:

  • 算力集群为768块英伟达B200,预训练仅耗时21天(约39.2万GPU小时),9月11日结束;
  • 期间发生38次非计划中断(硬件故障、数据连接掉线),但依托其「模型工厂」(Model Factory)训练即代码管线,无需人工介入即自动恢复稳定训练;
  • 前序验证模型Kolibri Origin为306亿总参/32.7亿激活、65k上下文,同一管线先「小步验证」再放大。

德语优化是另一条主线。其自研UniBPE分词器词表12.8万,官方称表示德语文本比GPT-5节省约**11.2%**的token;以德国《基本法》全文实测,Kolibri用35190个token,对比模型为41482个。模型被专门训练「用德语推理」,而非简单翻译英语思维链。

性能与部署门槛

部分官方基准成绩:

基准Kolibri
AIME 2025(英语 / 德语)96.9 / 87.5
AIME 2026(英语 / 德语)96.0 / 90.0
HumanEval+92.7
τ³-bench 银行(智能体)38.1(对比模型最高 15.5)
τ²-bench 电信94.7

部署门槛对本地部署友好:FP8权重约78GB,最低配置为2张A100、2张H100或单张B200;在RTX PRO 6000上推理速度约170 token/s。模型原生支持智能体工作流、RAG与工具调用——在RAG场景中被训练为「当提供的文档证据不足时拒绝作答」,并内置推理强度与响应速度的调节开关。

合规写进模型,而不是事后补丁

面向受监管行业,Kolibri把合规做成了训练流程的一部分:全部训练数据对照450万条以上URL黑名单筛查(来源包括欧盟委员会盗版观察名单),每个第三方数据集在使用前都要核查许可条款、合法来源与opt-out遵守情况,技术报告以整章篇幅给出版权尽职调查示例。

商业层面,Aleph Alpha 9月16日刚宣布与加拿大Cohere组建跨大西洋主权AI公司的协议,交易尚待监管批准,交割前公司继续独立运营。

编辑点评

Kolibri的看点不是跑分——AIME 96+固然亮眼,但更值得国内团队研究的是它的资源效率叙事:768块B200、21天、38次自动恢复的中断,证明一套工程化的「训练即代码」管线可以让一家200人公司做出780亿参数级别的开放权重模型;4.4%激活率与78GB的FP8体积,则把「主权部署」的硬件门槛压到两张消费级加速卡附近。当开源旗舰的参数量军备赛逐渐让位于「每美元质量」与「可审计性」,欧洲人用一个蜂鸟名字(Kolibri即蜂鸟)讲出了与美式超大集群不同的故事:不追最大,追可控、可查、本地跑得起。对国内政务与工业客户,这种「数据来源可举证 + 证据不足拒答」的产品化思路,比参数本身更有参考价值。

来源参考: