By 
Yakın bir gelecekte pek çok dalda iş imkânlarını oldukça kısıtlayacak olan yapay zeka, yazılımcılar açısından da önemli bir risk teşkil ediyor. Bugün bile kod yazma konusunda etkileyici kabiliyetlere sahip olan yapay zekanın önümüzdeki birkaç yıl içinde pek çok misyonu kendi başına yerine getirebileceğine inanılıyor. Bu yüzden pek çok şirketin yazılımcıların yerini AI ile doldurmasından korkuluyor. Hatta bunun birinci emeralerini şimdiddden görmeye başladık. Hatırlarsanız Mark Zuckerberg ocak ayında bir açıklama yaparak, Meta’daki kod yazma işlerinin bir kısmını bu yıl içinde AI’a devretmeye başlayacaklarını açıklamıştı. Başta Meta olmak üzere Silikon Vadisi’nde pek çok şirket kod yazma konusunda AI’a gittikçe daha çok güveniyor olsa da Microsoft tarafından paylaşılan son datalar, bu hususta biraz telâşlı davranıldığını gösteriyor. Çünkü yapay zeka, bilhassa yanılgı ayıklama konusunda hâlâ yazılımcıların çok gerisinde.
Debug-gym, Yapay Zekanın Kusur Ayıklama Kabiliyetlerini Test Ediyor
Microsoft Research, yapay zekanın kod yazma ve kusur ayıklama konusunda ne durumda olduğunu görmek ve bu alanlarda daha da gelişmesini sağlamak için Debug-gym adını verdiği yeni bir araç geliştirdi. GitHub üzerinden kullanıma sunulan Debug-gym, AI modellerinin olağanda programlarının modülü olmayan yanılgı ayıklama araçlarını da kullanabildikleri bir platform sunuyor.
Microsoft tarafından paylaşılan sonuçlar, yapay zeka modellerinin Debug-gym’in kendilerine sunduğu bu araçları kullanırken bile kusur ayıklamada o kadar düzgün olmadığını gösteriyor. Debug-gym dışındaki performanları ise çok daha makûs.
Üstteki grafikte de görüleceği Claude 3.7, OpenAI o1, OpenAI o3-mini gibi bugün kullanımda olan en güçlü yapay zekalardan kimileri bile kod yazma konusunda şimdi istenen noktada değiller. Bilhassa kusur ayıklama araçlarını kullanmadıklarında. Debug-gym’in kendilerine sunduğu yanılgı ayıklama araçlarını kullandıklarında performanslarında kayda bedel bir artış yaşandığı görülüyor. Ancak burada bile elde edilen en yüksek muvaffakiyet oranı yüzde 48.4. Yapay zekanın Debug-gym’de kendisine sunulan kusur ayıklama araçlarını tam olarak nasıl kullanacağını bilmediği, zira bu hususta eğitilmediği vurgulanıyor. Yapay zeka bu alanda daha çok eğitilip, buna yönelik araçlarla donatıldıkça, muvaffakiyet oranı da artacaktır. Gerçekten Debug-gym’deki tam olarak anlamadığı araçları kullandıklarında bile performanslarında önemli bir artış yaşandığı görülüyor. Zaten Microsoft Research de Debug-gym aracıyla yapay zekaların gelişimine katkıda bulunmayı hedefliyor.
Microsoft Research takımı tarafından yazılan makalede, kusur ayıklamaya özel olarak ayarlanmış bir modelin daha uygun sonuç verebileceğine dikkat çekiliyor. Bu noktada ortaya çıkan bir tahlil, bu büyük lisan modellerine eşlik edecek daha küçük modeller geliştirmek olabilir. Büsbütün bilgi toplama ve yanılgı ayıklama odaklı bu küçük model, daha sonra bu bilgileri büyük modele aktararak çok daha güzel sonuçlar vermesini sağlayabilir. Ancak en azından şimdilik, kusur ayıklama konusunda yapay zekanın yazılımcılara alternatif olması üzere bir durum kelam konusu değil.
