Perlumbaan AI Sebenar dalam Logistik Mungkin Bukan Tentang 模型 Lebih Besar Mungkin Tentang Kecerdasan Lebih Murah
Di AINNA, apabila saya lihat perbandingan ini, bahagian yang menarik bukan sekadar nama model.
Cerita yang lebih besar ialah keluk kos.
Dalam susunan ini, harga turun daripada kira-kira $0.20/M input dan $1.20/M output kepada $0.10/M input dan $0.50/M output, sambil mengekalkan tetingkap konteks dan keupayaan alat yang sama seperti dinyatakan.
Jika trend ini berterusan, ia mengubah ekonomi pembinaan sistem AI untuk operasi logistik di AINNA dan industri.
Bagi saya, ini satu lagi alasan kuat untuk bulk-distill LLM tempatan dan mungkin SLM juga.
Daripada terus bergantung pada inference luaran yang mahal untuk kerja harian, kita boleh menggunakan model yang semakin dioptimumkan sebagai guru untuk menjana data latihan, memperhalusi workflow, membina corak penaakulan khusus domain, dan menambah baik model tempatan kita secara berterusan.
Matlamatnya bukan semestinya membina model terbesar.
Matlamatnya ialah membina model yang cukup optimum untuk kerja sebenar di lapangan.
Dalam konteks logistik dan perniagaan, ini bermakna model lebih kecil boleh mengendalikan perakaunan, inventori, operasi gudang, perkhidmatan pelanggan, kawalan mesin, pemprosesan dokumen seperti DO, invoice dan ePOD, atau automasi dalaman, manakala model luaran yang lebih besar hanya digunakan apabila benar-benar perlu.
Saya harap trend harga ini berterusan.
Sekurang-kurangnya sehingga LLM tempatan kita cukup matang untuk mengendalikan sebahagian besar beban kerja logistik secara berdikari.
Guna model yang dioptimumkan untuk bina. Distill apa yang penting. Kurangkan kebergantungan dari semasa ke semasa.
