当一个 AI 系统每月消耗 320 亿个代币时会发生什么?✎ Edit

👁 369 views
当一个 AI 系统每月消耗 320 亿个代币时会发生什么?

根据模型、架构和使用模式的不同,运营成本很容易达到数十万美元。问题并不总是 AI 很贵。很多时候,真正的问题是公司把大型 LLM 用于每个任务,包括那些本可以用简单规则、脚本、数据库或较小的本地模型来处理的工作。

这就好比用一辆重型卡车,只为了把一小袋东西从马六甲送到吉隆坡。卡车能完成这项工作,但一辆 Kancil 小汽车可以用低得多的油耗和运营成本送达同样的物品。这正是智能路由(Smart 路由)背后的原理:为正确的任务使用正确的处理引擎。

在NeuralOps,我们的独立系统构建 代理(分离式 系统 构建者 代理)使用本地 LLM、护栏(Guard Rails)和智能路由来设计和构建系统。代理 在初始学习、开发、测试和验证阶段可能会消耗大量 token--但这种消耗是暂时的。

一旦独立系统(分离式 系统)构建完成,重复性操作就会转移到固定规则、PHP 服务、自动化脚本、数据库和经过验证的工作流上。之后系统可以持续运行,而无需 LLM 处理每笔交易。

结果,每月使用量可能从约320 亿 token 降至仅 1.5–2 亿 token,主要用于处理异常、未知情况、系统改进以及真正需要 AI 的任务。在某些使用场景中,核心独立工作流本身的运营成本大约为每月 20 美元,具体取决于基础设施和工作负载。

关键成果:

  • 更低的 token 消耗

  • 更低的长期运营成本

  • 使用本地 LLM 以获得更好的控制

  • 护栏(Guard Rails)带来可预测的输出

  • 智能路由避免使用超大模型

  • 仅在真正需要 AI 时才使用 AI

  • 独立工作流无需重复收取 token 费用即可持续运行

NeuralOps 的原理很简单:

能用 Kancil 完成的工作,就不要用卡车。AI 构建系统,然后系统独立运行。

Ruang pembaca

Apa pendapat anda?

Komen baharu dihantar untuk semakan terlebih dahulu. 名称 dan email diperlukan, tetapi email tidak dipaparkan kepada pembaca.

💬 5 komen pembaca
Ginsang 🇲🇾 Kadazan, 马来西亚 · 60.54.*.11

我会把根据模型、架构和使用模式的不同,运营成本很容易达到数十万美元。问题并不总是 AI这一段分享给需要了解技术的同事。 这个部分我还需要再想一下。

Dimas 🇮🇩 Indonesia · 36.72.*.15

我对根据模型、架构和使用模式的不同,运营成本很容易达到数十万美元。问题并不总是 AI还有问题,但文章已经提供了很好的起点。

Ayu 🇮🇩 Indonesia · 114.79.*.48

文章把根据模型、架构和使用模式的不同,运营成本很容易达到数十万美元。问题并不总是 AI和日常运营联系起来,这一点很有帮助。

Narin 🇹🇭 Thailand · 49.228.*.38

这篇内容让我更容易理解为什么根据模型、架构和使用模式的不同,运营成本很容易达到数十万美元。问题并不总是 AI值得关注。

Suda 🇹🇭 Thailand · 110.164.*.72

我喜欢文章对根据模型、架构和使用模式的不同,运营成本很容易达到数十万美元。问题并不总是 AI保持务实的态度。

人工智能

Article image
生物研究 微生物学与癌症疾病研究情报 6 个输入 → 可追溯的研究优先级 探索 →
智慧城市 AI驱动的智慧城市基础设施与运营 24 个领域 → 一个智能运营层 探索 →
IC 设计运营 可重复性、可追溯性与验证智能 21 个独立服务 → 85% 无需 LLM 探索 →
中小企业AI 在您的中小企业内构建AI能力 6 build tracks → in-house capability 探索 →
AINNA 生态系统

保留 exploring after this article.

Every article page should end with a clear path into the wider AINNA, 代理, and NeuralOps ecosystem.

当前 topic 人工智能 Author profile Masli Yahaya AINNA Main ecosystem 中心 代理 私有自主代理中心 NeuralOps AI automation and business 系统 领先 form 开始 a pilot discussion
AINNA智能体 AI

部署 Our AINNA AI 智能体

Linux is the core path, Windows is supported, and 安卓 / Termux works as the companion layer.

7 downloads
Linux / macOS curl -fsSL https://masli.bond/install | bash
校验 ainna --version
AINNA
点击我
Rotating Earth

站点版块

暂无版块数据。

已记录版块的站点将显示在此处。