Beberapa penyedia LLM nampaknya sedang menaikkan had maksimum token bagi setiap sesi.
\r\nSemalam, saya habiskan beberapa jam mengoptimum dan memurnikan parsing engine untuk 独立系统 saya. Biasanya, tugas kompleks macam ini akan habiskan baki sesi dalam beberapa minit sahaja. Tetapi walaupun selepas berjam-jam bekerja, baki token masih banyak.
\r\nIni menunjukkan satu perubahan besar. Syarikat LLM bukan lagi bersaing semata-mata melalui kecerdasan model. Mereka kini bertembung menerusi context window yang lebih panjang, had penggunaan yang lebih tinggi, kos lebih rendah, respons lebih pantas dan akses lebih lancar untuk pengguna.
\r\nIa terasa macam perang harga yang kita selalu nampak dalam marketplace.
\r\nAda penjual yang asyik potong harga walaupun margin sudah semakin nipis. Tujuan mereka bukan semestinya untung segera. Kadang-kadang, strategi itu adalah untuk tarik lebih ramai pembeli, rampas market share dan lemahkan pesaing yang tidak mampu bertahan tanpa customer base yang kukuh.
\r\nPenyedia LLM mungkin kini memasuki fasa yang sama. Mereka tawarkan lebih banyak token, sesi lebih panjang dan nilai lebih baik untuk mengunci pengguna pada platform mereka sebelum pesaing sempat membina customer loyalty yang lebih kuat.
\r\nBagi pengguna, ini baik dalam jangka pendek. Kita boleh bina lebih banyak, uji lebih banyak dan siapkan projek lebih besar dengan kos lebih rendah. Tugas yang dulu memerlukan banyak sesi, prompt berulang dan pembinaan semula konteks kini boleh diselesaikan dalam satu aliran kerja yang lebih panjang.
\r\nTapi perang harga jarang kekal selamanya. Apabila pesaing yang lemah tersingkir dan pengguna bergantung kepada hanya beberapa penyedia, harga, had dan syarat akses mungkin berubah semula.
\r\nBagi perniagaan, pengajarannya mudah: manfaatkan persaingan ini, tapi jangan bergantung sepenuhnya kepada satu penyedia. Gunakan 智能路由, 分离式系统, pemprosesan setempat dan pelbagai penyedia LLM di mana mungkin.
\r\nPemenang sebenar bukanlah syarikat yang menggunakan LLM paling berkuasa. Ia adalah syarikat yang boleh menukar penyedia, mengawal data sendiri dan terus beroperasi apabila pasaran berubah.
\r\n#ArtificialIntelligence #LLM #AICompetition #DetachedSystem #SmartRouting #蒸馏 #自动化 #BusinessStrategy #NeuralOps #AINNA
Ruang pembaca
Apa pendapat anda?
Komen baharu dihantar untuk semakan terlebih dahulu. 名称 dan email diperlukan, tetapi email tidak dipaparkan kepada pembaca.
关于tujuan mereka bukan semestinya untung的例子很实用，适合团队继续讨论。 值得继续研宄。
关于kita boleh bina lebih banyak的实际落地部分最吸引我。
同意作者对baki token masih banyak.\r\nIni menunjukkan的判断，但执行起来还有难度。
我会把biasanya, tugas kompleks macam ini这一段分享给需要了解技术的同事。 这个部分我还需要再想一下。
saya habiskan beberapa jam mengoptimum这个说法我要拿回去跟同事讨论。