✏️ Edit

AI 的隐性成本:为什么系统架构比模型规模更重要

👁 265 views
AI 的隐性成本:为什么系统架构比模型规模更重要

大多数人都低估了 SME 银行对账单自动化的复杂性。

想象一下 100 家 SME。每家 SME 上传 100 页的银行对账单。这不仅仅是“100 个文件”。这是 10,000 页的财务数据,可能包含数千笔交易、OCR 噪声、重复条目、内部转账、银行费用、退款、现金存款、平台结算、贷款变动以及含义不清的描述。

如果我们采用第一种方法,AI 智能体会直接阅读并推理所有内容。对于一份繁重的 100 页 SME 文件,完整的 AI 工作流(包括提取、分类、验证、纠正和报告生成)每家 SME 可能消耗约 200,000 至 500,000 个 token。对于 100 家 SME,这将总计约为 2000 万至 5000 万个 token。

将 Claude 用作高端全流程处理模型,成本会迅速攀升。如果我们采用 3500 万个 token 的中等估计值,按 80% 输入和 20% 输出拆分,那意味着约 2800 万个输入 token 和 700 万个输出 token。按 Claude Sonnet 的入门定价(每百万 token 输入 2 美元、输出 10 美元),约为 126 美元。按标准定价(输入 3 美元、输出 15 美元),则约为 189 美元。

第二种方法则不同。AI 不会反复读取所有内容。一个分离式系统首先将银行对账单提取为结构化的交易行,清理数据、检测重复项、拆分转账、应用会计规则、映射标准描述、验证输出,并且只将含义不清或有风险的交易路由给 AI。

采用这种方法时,可以使用 Qwen 或其他成本更低的模型,因为护栏已经控制着工作流。该模型不需要“从零理解一切”。它只处理选定的异常情况。如果只有 5% 至 15% 的交易需要 AI 复核,那么全部 100 家 SME 的 token 总用量可能会降至约 300 万至 700 万个。

采用 500 万个 token 的中等估计值,按 80% 输入和 20% 输出拆分,那意味着 400 万个输入 token 和 100 万个输出 token。使用低成本的类 Qwen 路由模型,在某些定价结构中,AI 推理成本可能低于 1 美元(不包括 OCR、托管、存储、工程和复核成本)。

所以,真正的比较并不是简单的 Claude 对 Qwen。那太肤浅了。真正的比较是架构。Claude 直接处理一切,在本例中可能花费约 126 至 189 美元。而只将路由后的异常情况交给 Qwen 的分离式系统,则可能把 AI token 成本降至 1 美元以下,具体取决于提供商定价。

这就是智能路由、细分和护栏至关重要的原因。SME 财务报表自动化的未来,不是“把 10,000 页交给最大的 AI 模型”。更聪明的模式是:系统处理结构化的内容,AI 处理不确定的内容,而人工复核有风险的内容。

10→

成本节约的意义就在于此。

#Artificial智能 #AI代理s #独立式系统 #Smart路由 #护栏 #会计 #SME #财务报表 #Token效率 #自动化 #ESG

Artificial 智能

Article image
生物研究 微生物学与癌症疾病研究情报 6 个输入 → 可追溯的研究优先级 探索 →
边缘 AI 物联网与嵌入式Linux 边缘智能 14 个边缘代理 → 支持离线运行 探索 →
智慧城市 AI驱动的智慧城市基础设施与运营 24 个领域 → 一个智能运营层 探索 →
IC设计运营 可重复性、可追溯性与验证智能 21 个独立服务 → 85% 无需 LLM 探索 →
AINNA
点击我

站点版块

暂无版块数据。

已记录版块的站点将显示在此处。