Daha büyük model almadan önce: bağlama ne koyduğunuza bakın
- On-Premise
- Üretim
Yanıt kalitesi düştüğünde ilk akla gelen şey modeli büyütmek oluyor. Yerelde çalışıyorsanız bu, elinizdeki en pahalı düğme: daha fazla VRAM, daha az eşzamanlı istek, daha uzun gecikme. Üstelik çoğu zaman çevrilmesi gereken düğme o değil.
Modelin ne kadar iyi olduğunu sormadan önce ona ne verdiğinize bakmak gerekiyor.
Pencere bir kapasite değil, bütçe
Bağlam penceresini kapasite gibi düşünmek yanıltıcı. Bütçe gibi düşünmek daha doğru: içine koyduğunuz her şey diğerlerinin dikkatinden çalıyor.
Bir ajan isteğinde pencerenin nasıl dağıldığına bakınca ilk dikkat çeken şey oran değil, sıralama oldu. En çok yeri araç tanımları ve getirilen belgeler kaplıyor. Konuşma geçmişi onların ardından geliyor. Sistem yönergeleri sabit ve küçük.
Modelin cevaplaması istenen asıl soru ise listenin en altında, en küçük parça.
En büyük israf araç tanımlarında
Otuz aracın tanımı her istekte bağlama giriyor ve o isteklerin çoğunda iki tanesi kullanılıyor. Kalanı hem yer kaplıyor hem seçim kalitesini düşürüyor - model neyi seçeceğine karar verirken kullanmayacağı yirmi sekiz seçeneği de okuyor.
Araçları bağlama göre filtrelemek ölçtüğümüz en büyük tek kazanç oldu. Ajan bir olay tipiyle çalışıyorsa yalnızca o tiple ilgili araçları görüyor.
Aynı mantık getirme tarafında da çalışıyor. Sekiz belge getirip hepsini bağlama koymak yerine üç belge getirip yerini doğrulamak daha iyi sonuç veriyor. Fazladan belge modeli desteklemiyor; dikkatini bölüyor.
Geçmiş en hızlı eskiyen parça
Ajan akışlarında konuşma geçmişi, bir sohbet uygulamasındaki kadar değerli değil. Beş adım önce yapılan bir araç çağrısının ham çıktısı altıncı adımda genelde ölü ağırlık.
Geçmişi ikiye böldük. Durum tarafında hangi adımlar tamamlandı, hangi kararlar verildi, hangi kimlikler elde edildi bilgisi var; yapılandırılmış ve küçük. Ham çıktı tarafı ise bağlamda hiç durmuyor, gerektiğinde kimliğiyle tekrar çekiliyor.
Uzun akışlarda pencere doygunluğu bu ayrımdan sonra belirgin biçimde düştü.
Gerçekten model büyütmek gerektiğinde
Bağlamı düzelttikten sonra hâlâ kalite sorunu varsa, model büyütmek meşru bir adım. Ama önce üç ihtimalin elenmesi gerekiyor.
Getirme kalitesi: doğru belge geliyor mu, yoksa model yanlış belgeyi mi akıcı biçimde özetliyor. Yönerge belirsizliği: model ne yapacağını mı bilmiyor, yoksa yapamıyor mu. Ve pencere doygunluğu: önemli bilgi pencereye giriyor ama sonlara mı düşüyor.
Üçüncüsü sinsi olanı. Uzun bağlamlarda ortada kalan bilgi, baştaki ve sondaki kadar iyi kullanılmıyor. Aynı bilgiyi daha kısa bir bağlamda vermek, daha büyük modele geçmekten etkili olabiliyor - ve bedava.
Kuantizasyon kararı da buraya bağlanıyor
Yerelde VRAM kazanmanın öteki yolu kuantizasyon. Çoğu görevde kalite kaybı fark edilmiyor ama fark edildiği yerler öngörülebilir: uzun bağlam, sayısal akıl yürütme, yapılandırılmış çıktı.
Bağlamı sıkılaştırmak bu risklerden ilkini doğrudan azaltıyor. Yani pencere bütçesini toparlamak yalnızca kalite değil, donanım kararlarını da rahatlatıyor.
Yerelde model büyütmek iki kere ödetiyor: bir donanımdan, bir eşzamanlılıktan. Bağlamı düzeltmek hiçbir şeye mal olmuyor ve etkisi genelde daha büyük.
Bizde işleyen sıra: önce araçları filtrele, sonra getirmeyi daralt, sonra geçmişi durum ile ham çıktıya ayır. Bunlar bittiğinde model büyütme tartışması çok daha küçük bir tartışmaya dönüşüyor.