Ajanı üretime almadan önce: ilk 50 test örneği nereden gelir
- Agentic AI
- Üretim
Değerlendirme konusu hep metrik tartışmasıyla açılıyor. Oysa ilk engel metrik değil: ölçecek örnek yok.
Sıfırdan senaryo yazmayı denedik. Hem yavaş hem yanıltıcıydı, çünkü senaryoyu yazan kişi sistemin nerede zorlanacağını tahmin ederek yazıyor. Tahminler gerçek zorluklarla örtüşmüyor. Yazdığımız vakaların çoğunu sistem sorunsuz geçti; sonra üretimde hiç aklımıza gelmeyen bir yerde takıldı.
Örnekler zaten vardı
Bir otomasyon platformunda değerlendirme kümesinin hammaddesi hazır duruyor: kapanmış olay kayıtları. Her biri bir girdi ve doğrulanmış bir sonuç.
En işe yarayanlar insanın müdahale ettiği olaylar oldu. Ajan öneri üretmiş, insan onaylamak yerine değiştirmiş. Doğru cevap belli, ajanın nerede saptığı da kayıtlı - bundan iyi test vakası olmuyor.
İkinci kaynak tekrar açılan olaylar. Otomatik kapatılmış, kısa süre sonra yeniden açılmış. Ajan "çözdüm" demiş, çözmemiş. Sessiz hataları başka nereden bulacaksınız.
Buna nadir ama pahalı vakaları ekledik: sıklığı düşük olduğu için üretim ortalamalarında kaybolan, ama yanlış yapılınca canı yakan olaylar.
Ve kümenin yarısını sıkıcı, tipik olaylara ayırdık. Bu sonradan öğrendiğimiz bir ders. Yalnızca zor vakalardan kurulu bir küme, kolay vakalarda oluşan gerilemeleri hiç görmüyor.
Elli yeterli
Küme büyüklüğü konusunda beklenti hep yüksek oluyor. Elli iyi seçilmiş örnek, ikiyüz rastgele örnekten fazla iş görüyor.
Mantığı basit: küme büyüdükçe çalıştırmak pahalılaşıyor, pahalı olunca daha seyrek çalıştırılıyor, seyrek çalıştırılınca değeri düşüyor. Elli örnek her prompt düzenlemesinden sonra çalıştırılabiliyor - asıl kazanç orada.
Kümeyi büyütmek yerine dağılımını düzelttik. Kabaca on zor vaka, on nadir vaka, otuz sıradan vaka.
Model kullanmadan ölçebildiğimiz şeyler
Ajan çıktısı serbest metin değil, yapılandırılmış. Bu, değerlendirmenin büyük kısmını deterministik hale getiriyor: seçilen araç doğru mu, parametreler doğru mu, zincir doğru adımda mı durdu.
Üçü birlikte vakaların çoğunu kapsıyor. Metin kalitesi değerlendirmesi yalnızca insana giden özetlerde gerekiyor, ve orada da modele hakemlik yaptırmadan önce insan etiketiyle karşılaştırmak daha güvenilir sonuç verdi.
Küme donarsa işe yaramaz hale geliyor
Statik bir değerlendirme kümesi zamanla değerini kaybediyor, çünkü sistem farkında olmadan o kümeye göre şekilleniyor. Prompt'lar o elli vakayı geçecek biçimde ayarlanıyor, küme dışındaki davranış görünmez kalıyor.
Basit bir kural bunu engelledi: üretimde insana düşen her yeni hata tipi kümeye giriyor, en eski vakalardan biri çıkıyor. Boyut sabit, içerik dönüyor.
En çok neyi yakaladı
Değerlendirmeyi model sürümü değişince çalıştırılan bir şey sanıyorduk. En çok yakaladığı yer prompt düzenlemeleri oldu.
Bir prompt'ta yapılan küçük bir iyileştirme, hedeflediğiniz vakayı düzeltirken başka bir vakayı bozabiliyor. Bu gerileme üretimde günler sonra, genelde birileri şikayet edince fark ediliyor. Kümede iki dakikada.
Araç tanımı değişiklikleri de aynı kapsamda. Bir aracın açıklamasını netleştirmek, modelin o aracı hiç beklemediğiniz yerlerde seçmesine yol açabiliyor.
Değerlendirme kümesi kurmanın zor tarafı istatistik değil, arkeoloji. Sistem çoktan hata yapmış ve o hatalar bir yerde duruyor.