AirLLM 可能成为我们思考 AI 基础设施方式的最大转变之一。
你现在只需一块 4GB GPU 就能运行 70B 模型，甚至可以仅用 8GB 显存（VRAM）将实验扩展到庞大的 Llama 3.1 405B--这不仅仅是炒作，这是一次严肃的架构转变。
多年来，强大的 AI 仿佛只属于大型科技公司、超大规模云服务商，以及那些拥有怪兽级 GPU、巨额云预算和数据中心接入能力的公司。其他所有人基本都是在按 token 租用智能。
但这种情况正在迅速改变。借助逐层推理（layer-wise inference）、更智能的内存处理以及开源创新，大型模型对普通开发者、中小企业（SME）、学生、研究人员和本地技术社区正变得越来越可及。
真正的游戏改变者不只是更大的模型，而在于我们如何运行它们--更轻量、更智能、更本地化、更高效、更贴近实际应用。
这正是边缘 AI（边缘 AI）和AINNA NeuralOps的用武之地。与其完全依赖云端 AI，不如让智能更接近设备、传感器、机器、农田、工厂和一线实际运营。
再结合分离式系统，影响会变得更加强大。让 LLM 负责规划、审计、生成和决策--然后让本地脚本、仪表盘、定时任务、API、传感器和自动化系统继续完成工作，而不必 7×24 小时烧 token。
很快，移动设备和物联网（IoT）系统将拥有自己小型 LLM 模型，可离线、脱离电网运行。这就是我相信的 AI 未来：更轻量、更智能、更本地、更实用，真正面向所有人--不是炒作，不是单纯的云端依赖，也绝不是只属于大型科技公司。
Official 跨-网络 Resource
