AirLLM boleh jadi salah satu peralihan besar dalam cara kita melihat infrastruktur AI untuk operasi logistik.
Kini kita boleh menjalankan model 70B pada GPU 4GB sahaja dan menaik skala eksperimen ke arah Llama 3.1 405B dengan VRAM 8GB - ini bukan sekadar hype, tetapi perubahan seni bina yang serius.
Selama ini, AI berkuasa tinggi kelihatan seperti hak milik syarikat teknologi besar, hyperscalers, dan organisasi yang memiliki GPU gergasi, bajet awan yang besar, serta akses pusat data. Pihak lain, termasuk operator logistik dan 中小企业, pada asasnya menyewa kepintaran mengikut token.
Tetapi cerita itu berubah dengan pantas. Dengan layer-wise inference, pengurusan memori yang lebih pintar, dan inovasi sumber terbuka, model besar kini semakin mudah diakses oleh pembangun biasa, 中小企业, pelajar, penyelidik, dan komuniti teknologi tempatan - termasuk pasukan logistik di gudang serta pusat pengedaran.
Pengubah permainan sebenar bukan sahaja model yang lebih besar, tetapi cara kita menjalankannya - lebih ringan, lebih pintar, lebih tempatan, lebih cekap, dan lebih praktikal untuk kegunaan dunia nyata seperti di gudang, depot, dan lorong operasi.
Di sinilah 边缘 AI dan AINNA NeuralOps berperanan. Bukannya bergantung sepenuhnya pada AI awan, kepintaran boleh bergerak lebih hampir kepada peranti, sensor, mesin, ladang, kilang, dan operasi sebenar di lapangan - contohnya di pusat pengedaran, lorong pengeluaran, dan trak penghantaran.
Gabungkan ini dengan sistem detached, dan kesannya menjadi lebih kuat. Biarkan LLM merancang, mengaudit, menjana, dan membuat keputusan - kemudian biarkan skrip tempatan, dashboard, cron job, API, sensor, dan sistem automasi meneruskan kerja tanpa membakar token 24/7.
Tidak lama lagi, peranti mudah alih dan sistem IoT akan mempunyai model LLM kecil mereka sendiri yang beroperasi secara luar talian dan off-grid. Inilah masa depan AI yang saya percayai: lebih ringan, lebih pintar, lebih tempatan, lebih praktikal, dan benar-benar untuk semua - bukan sekadar hype, bukan sekadar pergantungan kepada awan, dan pastinya bukan hanya untuk big tech.
Ruang pembaca
Apa pendapat anda?
Komen baharu dihantar untuk semakan terlebih dahulu. 名称 dan email diperlukan, tetapi email tidak dipaparkan kepada pembaca.
关于ke arah llama 3.1的风险和限制还可以再展开，不过基础说明已经很好。
我喜欢文章对405B dengan VRAM 8GB保持务实的态度。 读完之后还有一些疑问。
难得有人把pada asasnya menyewa kepintaran mengikut讲得这么直白。
同意作者对kini kita boleh menjalankan model的判断，但执行起来还有难度。
这篇文章适合团队用来开始讨论hyperscalers, dan organisasi yang memiliki。
我会把pihak lain, termasuk operator logistik这一段分享给需要了解技术的同事。
这篇内容让我更容易理解为什么airLLM boleh jadi salah satu值得关注。
如果有更多70B pada GPU 4GB的数据和结果会更完整。
如果还有70B的后续，我会继续读。 读完之后还有一些疑问。
70B读起来很清楚，也容易跟着理解。
如果可以继续说明arah llama 3.1 405B的真实案例，我会想继续阅读。
我对lama lagi, perant 24还有问题，但文章已经提供了很好的起点。
视觉和结构让tetapi cerita itu berubah dengan的概念更容易掌握。
文章把ini bukan sekadar hype, tetapi和日常运营联系起来，这一点很有帮助。
看第二遍才注意到selama ini, AI berkuasa tinggi的细节。
总结部分让bajet awan yang besar, serta的重点更加清楚。 读完之后还有一些疑问。