✏️ Edit

当一个 AI 系统每月消耗 320 亿个代币时会发生什么?

👁 243 views
当一个 AI 系统每月消耗 320 亿个代币时会发生什么?

根据模型、架构和使用模式的不同,运营成本很容易达到数十万美元。问题并不总是 AI 很贵。很多时候,真正的问题是公司把大型 LLM 用于每个任务,包括那些本可以用简单规则、脚本、数据库或较小的本地模型来处理的工作。

这就好比用一辆重型卡车,只为了把一小袋东西从马六甲送到吉隆坡。卡车能完成这项工作,但一辆 Kancil 小汽车可以用低得多的油耗和运营成本送达同样的物品。这正是智能路由(智能路由)背后的原理:为正确的任务使用正确的处理引擎。

NeuralOps,我们的独立系统构建 代理(独立系统 构建者 代理)使用本地 LLM、护栏(Guard Rails)和智能路由来设计和构建系统。代理 在初始学习、开发、测试和验证阶段可能会消耗大量 token--但这种消耗是暂时的。

一旦独立系统(独立系统)构建完成,重复性操作就会转移到固定规则、PHP 服务、自动化脚本、数据库和经过验证的工作流上。之后系统可以持续运行,而无需 LLM 处理每笔交易。

结果,每月使用量可能从约320 亿 token 降至仅 1.5–2 亿 token,主要用于处理异常、未知情况、系统改进以及真正需要 AI 的任务。在某些使用场景中,核心独立工作流本身的运营成本大约为每月 20 美元,具体取决于基础设施和工作负载。

关键成果:

  • 更低的 token 消耗

  • 更低的长期运营成本

  • 使用本地 LLM 以获得更好的控制

  • 护栏(Guard Rails)带来可预测的输出

  • 智能路由避免使用超大模型

  • 仅在真正需要 AI 时才使用 AI

  • 独立工作流无需重复收取 token 费用即可持续运行

NeuralOps 的原理很简单:

能用 Kancil 完成的工作,就不要用卡车。AI 构建系统,然后系统独立运行。

Artificial 智能

Article image
生物研究 微生物学与癌症疾病研究情报 6 个输入 → 可追溯的研究优先级 探索 →
边缘 AI 物联网与嵌入式Linux 边缘智能 14 个边缘代理 → 支持离线运行 探索 →
智慧城市 AI驱动的智慧城市基础设施与运营 24 个领域 → 一个智能运营层 探索 →
IC设计运营 可重复性、可追溯性与验证智能 21 个独立服务 → 85% 无需 LLM 探索 →
AINNA
点击我

站点版块

暂无版块数据。

已记录版块的站点将显示在此处。