Ollaya开源Apache 2.0决策模型本地运行时：单次前向传播输出choice与评分，RTX 4090端到端约10毫秒，自带Laya等开放权重模型
发布时间：2026年09月26日 12:00:009月26日，Ollaya以Apache 2.0协议开源本地决策模型运行时：决策模型不逐token生成文本，而是用单次前向传播直接回答choice选择、score评分、yes-no判断类问题，可drop-in兼容TypeSafe API，自带Laya、decider、nli、gliclass等开放权重模型，在RTX 4090上端到端约10毫秒，厂商自测校准表现优于托管TypeSafe的Jev模型，CPU也可运行，支持Linux、WSL2与Docker并提供NVIDIA GPU加速
什么是决策模型
9月26日，一个名为 Ollaya 的新项目以 Apache 2.0 协议开源。它要解决的问题非常具体：AI Agent在工作流中大量调用LLM做的其实不是「创作」，而是决策——
- 这条工单应该路由给哪个部门？（choice）
- 这条评论的负面程度打几分？（score）
- 这封邮件是否需要人工复核？（yes/no）
- 两句话是否语义矛盾？（nli，自然语言推理）
让通用大模型逐token生成一段解释文字再解析答案，既慢又贵，还存在格式不稳定的问题。决策模型（decision models） 换了一条路：用一次前向传播（single forward pass）直接输出结构化结果，不经过自回归生成。
性能与兼容性
Ollaya发布时给出的关键参数：
| 维度 | 内容 |
|---|---|
| 协议 | Apache 2.0（商业友好） |
| 兼容 | drop-in兼容TypeSafe API，可平滑替换其托管服务 |
| 自带权重 | Laya、decider、nli、gliclass等开放权重模型 |
| 性能 | RTX 4090上端到端约 10毫秒 |
| 校准 | 厂商自测优于TypeSafe托管的Jev模型 |
| 运行环境 | CPU即可运行；Linux/WSL2/Docker，NVIDIA GPU加速 |
需要说明的是，「优于Jev」的校准结论来自厂商自测，尚需第三方基准验证；但10毫秒级的单次推理延迟，若在独立评测中复现，对于需要每秒完成大量分支判断的Agent编排系统意义显著——一次复杂Agent任务往往包含十几次模型调用，把决策类调用从百毫秒级压到十毫秒级，整体响应会明显改善。
小模型本地化趋势的又一拼图
Ollaya与近期一系列趋势同频：
- 模型按任务分工：推理交给大模型，路由、打分、分类、抽取交给专用小模型；
- 结构化输出前置：与其要求LLM保证JSON格式，不如让模型本身输出类别与分数；
- 本地运行时替代托管API：敏感数据不出内网、按调用次数计费的API成本被一次性算力替代；
- Apache 2.0+开放权重：企业可自由商用与二次分发，降低供应链风险。
gliclass这类名字也指向其与GLiNER（通用命名实体识别小模型）生态的关联——开放、轻量、可本地部署的信息抽取与决策工具链正在成型。
行业含义
2026年的Agent架构正在从「一个大模型打天下」走向「大模型做规划、小模型做判断、规则做兜底」的混合栈。Ollaya瞄准的正是这个栈里调用最频繁、最不值得用贵模型的那一层。对开发者，建议的评估路径很实际：先用TypeSafe等托管服务验证决策质量，达到业务阈值后，再用Ollaya本地运行时做成本与延迟压测，重点核对校准曲线（而非单纯准确率）、长尾类别表现、以及与自家分类体系的再训练成本。决策模型不会取代通用LLM，但很可能成为Agent账单里最先被优化掉的那部分支出。