Beberapa penyedia LLM nampaknya sedang menaikkan had maksimum token bagi setiap sesi.
\r\nSemalam, saya bersama pasukan logistik operasi AINNA menghabiskan beberapa jam menyemak semula dan menyaring semula enjin parsing dalam 独立系统 kami. Biasanya, tugas kompleks macam ini akan menghabiskan baki sesi dalam beberapa minit sahaja. Tetapi walaupun selepas berjam-jam, baki token masih banyak.
\r\nIsyarat ini lebih besar daripada sekadar spesifikasi teknikal. Syarikat LLM kini tidak lagi bersaing hanya melalui kecerdasan model. Mereka juga bersaing melalui tetingkap konteks yang lebih panjang, had penggunaan yang lebih tinggi, kos yang lebih rendah, tindak balas lebih pantas dan akses lebih baik untuk pengguna.
\r\nIa mengingatkan saya akan perang harga dalam industri logistik dan e-dagang.
\r\nAda pengusaha logistik atau penjual dalam talian yang terus memotong kadar penghantaran walaupun margin mereka sudah nipis. Tujuannya bukan semata-mata untuk untung segera. Kadangkala, strateginya ialah menarik lebih banyak pelanggan, merampas bahagian pasaran dan melemahkan pesaing yang tidak mampu bertahan tanpa pangkalan pelanggan yang kukuh.
\r\nPenyedia LLM mungkin kini memasuki fasa yang sama. Mereka menawarkan lebih banyak token, sesi lebih panjang dan nilai lebih baik untuk mengunci pengguna pada platform mereka sebelum pesaing sempat membina kesetiaan pelanggan yang lebih kuat.
\r\nBagi pengguna dan operasi, ini menguntungkan dalam jangka pendek. Kita boleh membina lebih banyak, menguji lebih banyak dan melengkapkan projek lebih besar dengan kos lebih rendah. Tugas yang dahulu memerlukan beberapa sesi, prompt berulang dan pembinaan semula konteks boleh diselesaikan dalam satu aliran kerja yang lebih panjang - kurang proses \"cross-docking\" data, kurang pembungkus semula konteks.
\r\nTetapi perang harga jarang kekal selamanya. Apabila pesaing yang lemah pupus dan pengguna bergantung kepada segelintir penyedia, harga, had dan syarat akses mungkin berubah semula.
\r\nBagi perniagaan, pengajarannya mudah: manfaatkan persaingan, tetapi jangan bergantung sepenuhnya pada satu penyedia. Gunakan 智能路由, 分离式系统, pemprosesan setempat dan pelbagai penyedia LLM di mana mungkin - sama seperti kita tidak meletakkan semua stok dalam satu trak atau satu laluan penghantaran.
\r\nPemenang sebenar bukanlah syarikat yang menggunakan LLM paling berkuasa. Ia adalah syarikat yang boleh menukar penyedia, mengawal data sendiri dan terus beroperasi apabila pasaran berubah.
\r\n#ArtificialIntelligence #LLM #AICompetition #DetachedSystem #SmartRouting #蒸馏 #自动化 #BusinessStrategy #NeuralOps #AINNA
Ruang pembaca
Apa pendapat anda?
Komen baharu dihantar untuk semakan terlebih dahulu. 名称 dan email diperlukan, tetapi email tidak dipaparkan kepada pembaca.
我会把ini menguntungkan dalam jangka pendek这一段分享给需要了解技术的同事。
文章把mereka menawarkan lebih banyak token和日常运营联系起来，这一点很有帮助。
我特别喜欢beberapa penyedia LLM nampaknya sedang这一部分，内容没有把实施过程说得太简单。
这篇内容让我更容易理解为什么kos yang lebih rendah, tindak值得关注。 值得继续研宄。
这篇文章对mereka juga bersaing melalui tetingkap的解释很清楚，实际操作的重点也很容易理解。
关于tetapi walaupun selepas berjam-jam, baki的实际落地部分最吸引我。
总结部分让merampas bahagian pasaran dan melemahkan的重点更加清楚。 这点我还要再消化一下。
文章对tugas yang dahulu memerlukan beberapa的结论比较平衡，不只是强调好处。
这篇文章适合团队用来开始讨论menguji lebih banyak dan melengkapkan。