开源AI项目

蚂蚁发布Ling-3.0-tiny：7.9B参数仅激活1.3B，支持边缘部署

发布时间：2026年08月10日 23:33:00

蚂蚁集团inclusionAI发布Ling-3.0-tiny原生混合推理模型，总参数7.9B、推理仅激活1.3B，采用3:1的KDA与MLA交替架构+128专家稀疏MoE，提供BF16/FP8/INT4三精度，支持本地/边缘部署，可切换快速响应或多步推理。

2026年8月10日，蚂蚁集团旗下 inclusionAI 发布 Ling-3.0-tiny 原生混合推理模型。该模型以「小参数、低激活、可边缘部署」为核心卖点，成为端侧/边缘 AI 的又一重要玩家。

模型核心规格

参数与激活

  • 总参数：7.9B（79亿）
  • 激活参数：推理时仅激活 1.3B（13亿），约占总量的16%
  • 通过极低激活比实现「大模型能力、小模型成本」

架构设计

  • 采用 3:1 的 KDA 与 MLA 交替架构
  • 结合 128专家稀疏 MoE（每 token 激活 8 路由 + 1 共享专家）
  • KDA/MLA 混合注意力在效率与长上下文间取得平衡

精度与部署

  • 提供 BF16、FP8、INT4 三档精度
  • 支持本地/边缘部署，适配手机、PC、工控设备等算力受限环境
  • 通过 enable_thinking 开关切换：
    • 快速响应模式：低延迟直接回答
    • 多步推理模式：启用链式思考，应对复杂任务

应用价值

边缘智能落地

  • 在手机、IoT、车载等终端本地运行，数据不出行，满足隐私与离线需求
  • 低激活参数带来低功耗，适合电池供电设备

企业私有化

  • 企业可将模型部署在自有服务器，规避云 API 成本与数据合规风险
  • 与同日智谱「5万块国产芯片」形成「国产模型 + 国产算力」互补叙事

与行业趋势呼应

  • 结合同日 Liquid AI LFM2.5-2.6B、Kimi K3 等动态，2026年「小模型高效率」成为明确主线
  • 端侧/边缘模型从「能用」走向「好用」，加速 AI 普惠

行业意义

  1. 混合推理成标配：同一模型兼顾快答与深思，降低部署复杂度
  2. MoE 平民化：稀疏专家架构下放到 7.9B 级别，中小模型也能享大模型红利
  3. 国产开源生态繁荣：配合全国产10万卡集群、智谱算力闭环，国产 AI 全栈能力持续补强

来源：蚂蚁百灵模型发布（HuggingFace）、读懂AI时代（2026-08-10）

返回列表