Büyük modellerde geri çağırma oranı metriğinin neden önemli olduğu
Categories:
Bazı sistem istemlerini okudum, temelde hepsi çok uzun ve ifadeleri özlü değil. Bazı istemler temelde modeli iş yapmaya öğretiyor.
Ayrıca roo code’da sistemin tekrar tekrar model gönderildiği bir anahtar gördüm, bu rol ayarlamayı ve talimat izlemeyi güçlendirebileceğini gösteriyor. Ancak bu token tüketimini artırır.
Önemli şeylerin daha yüksek ağırlık elde etmesi ve daha doğru sonuçlar elde edilmesi için birden fazla kez tekrarlanması gerektiğinden olabilir. Ne yazık ki bu sonuçlar yine de olasılıksal olarak doğrudur.
Claude modeli ve gpt5high’ı uzun süredir kullananlar hissedebilir, gpt5high çok yavaş olsa da doğruluk oranı çok yüksek.
Gpt5’in geri çağırma oranı %100 ile alakalı olabilir.
AGENTS.md dosyasını kullanarak gpt5’i yönlendirdiğimde sadece çok özlü ve net bir ifadeyle codex cli’yi yönlendirebileceğimi gördüm. Claude code’u kullandığımda ise CLAUDE.md dosyasını çok “gereksiz” yazmam gerekiyordu, böyle yapmama rağmen Claude bazen açıkça belirtilen bazı önlemleri göz ardı ediyordu. İyileştirme yöntemi bir isteği tekrar tekrar söylemek zorunda kalmak da değildi, “mutlaka”, “önemli” gibi farklı kelimeler kullanmak, parantez koymak, markdown’ta kalın(**) yapmak, izlenmeyi artırabilir.
Yani Claude modeliyle çalışırken istemlerin kalitesi yüksek olmalı, ince kelime değişiklikleri model performansını etkiler. Gpt5 kullandığınızda ise istemlerin kalitesi çok yüksek olmak zorunda değildir, özlü ifadeler mantıksal çelişki içermiyorsa codex cli iyi iş çıkarabilir. Eğer mantıksal çelişki varsa gpt5 bunu belirtir.
Şu an Claude modeliyle işbirliği geliştirme konusunda giderek daha da memnuniyetsizim, işlerin çok kötü olduğu için değil, birkaç kez aldanıp güvenemediğim için Claude’ın her atak yaptığı büyük miktarda kod değiştiriyor, CLAUDE.md’yi değiştirmesi de çok radikal oluyor. Çok uzun bir sistem istemini tutarsızlık içermemesi için nasıl garanti edebiliriz, kontrol etme işi çok fazla, zihinsel yük de çok yüksek.
Buna karşılık gpt5high’ın gerçek mantığı olduğu görülüyor, bu muhtemelen yüksek geri çağırma oranı ile ilişkili.