Yapay Zekâ Kodlama Ajanları Gerçek İşlerde Sınıfta Kaldı: En İyisi Bile Görevlerin %26,4’ünü Bitirebildi

Yapay zekâ kodlama ajanlarının eski testlerde yakaladığı neredeyse kusursuz puanların gerçek hayattaki karşılığı ne? Alibaba ve Asya’daki birkaç üniversiteden araştırmacıların 8 Kasım’da yayımladığı Co-Design Bench bu soruya serin bir cevap veriyor: Testteki en başarılı ajan bile gerçek kullanıcı isteklerinin yalnızca %26,4’ünü eksiksiz tamamlayabildi. Kalan dört işten üçünde bir insanın işi toparlaması gerekiyor.

Bu test diğerlerinden neden farklı?

Klasik kodlama testlerinin çoğu, önceden yazılmış, tanımı net ve otomatik testlerle doğrulanabilen problemlerden oluşuyor. Bazı modeller bu tür eski testlerde %99’un üzerine çıkmış durumda. Co-Design Bench ise görevleri gerçek kodlama oturumlarındaki kullanıcı isteklerinden derliyor. Araştırmacılar özellikle kullanıcının isteğini yeniden yazmak zorunda kaldığı ya da yapılan değişikliği geri aldığı örnekleri seçmiş. Görevler küçük bir düzeltmeden bir projenin baştan sona elden geçirilmesine kadar uzanıyor; bazılarında girdi olarak görsel, ses, video ya da belge de veriliyor.

Puanlamada bir yapay zekâ hakem uygulamayı tarayıcıda açıp test ediyor; ikinci bir hakem de “başarılı” verilen sonuçların gerçekten çalışıp çalışmadığını, yani sahte ya da elle girilmiş sonuç olup olmadığını yeniden kontrol ediyor.

Sonuçlar: Liste başı bile yarı yolda

Testte on model yarıştı. Sıralamanın zirvesinde GPT-6 Astra yer alırken onu Claude Opus 5 ve Qwen3.8-Max izledi; son sırada Grok 4.6 vardı. Büyük çaplı proje düzenlemelerinde ise daha küçük bir model olan Qwen3.8-27B ikinci sıraya yükseldi.

Reklam

Aradaki fark çarpıcı: Ajan işin büyük kısmını yapıyor ama çoğu zaman en az bir detayı eksik bırakıyor. Kullanıcı açısından bu, “çalışıyor gibi görünen ama teslim edilemeyen” bir sonuç demek.

Ajanlar nerede zorlanıyor?

• Birleşik değişiklikler: Bir görev düzen, tasarım, etkileşim ve içerik gibi üç ya da dört farklı değişiklik türünü aynı anda istediğinde tüm modellerin puanı düşüyor.
• Verimlilik: GLM-5.2, küçük değişikliklerde GPT-6 Astra’dan neredeyse altı kat fazla token harcamasına rağmen belirgin şekilde daha düşük puan aldı. Yani daha fazla “düşünmek” her zaman daha iyi sonuç anlamına gelmiyor.
• Çalışma ortamının etkisi: Aynı Qwen3.8-27B modeli, kullanılan ajan alt yapısına göre büyük düzenlemelerde %75 ya da %56 puan aldı. Bu, şirketlerin model kadar ajanın çalıştığı araçları da değerlendirmesi gerektiğini gösteriyor.

Testin sınırları

Her görev tek ve sabit bir istekten oluşuyor; gerçek hayatta sık yapılan takıp sorular ve süreç içinde verilen düzeltmeler ölçülmüyor. Puanlamayı yapan yapay zekâ hakemlerin de hata yapabileceğini araştırmacıların kendisi belirtiyor. Dolayısıyla sonuçları “ajanlar işe yaramıyor” şeklinde okumak doğru olmaz; daha doğru okuma, ajanların henüz gözetimsiz teslimat için hazır olmadığı.

Geliştiriciler için ne anlama geliyor?

Kodlama ajanları bugün en verimli şekilde “taslakı hızlı çıkaran, son kontrolü insana bırakan” bir yardımcı olarak kullanılıyor. Büyük istekleri tek seferde vermek yerine küçük ve tek konulu parçalara bölmek, testteki en zayıf noktaya doğrudan karşılık veriyor. Otonom ajanların sınırlarını daha önce otonom yapay zekâ ajanları haberimizde de ele almıştık; hangi aboneliğin ne kadar kullanım sunduğunu merak ediyorsanız Claude paketleri ve kullanım sınırları yazımıza göz atabilirsiniz.

Testin ayrıntıları araştırmacıların Co-Design Bench sayfasında ve arXiv’deki makalede yer alıyor. Siz kodlama ajanlarını hangi işlerde kullanıyorsunuz? Deneyimlerinizi TeknoDB Hub’da paylaşabilirsiniz.