Taktik Çevre Simülasyon Programlarında Sanal Varlıkların Pekiştirmeli Öğrenme İle Eğitilmesi

Abstract

Günümüzde uçuş eğitimlerinin büyük bir kısmı güvenlik gerekçeleri, gerçek araçların bakım, onarım ve kullanım maliyetleri, eğitim için gerekli olan savaş koşullarının gerçek dünyada zor oluşturulması gibi sebeplerden ötürü uçuş simülatörleri üzerinden gerçekleştirilmektedir. Bu uçuş simülatörleri genellikle taktik çevre yazılımları ile entegre çalışırlar ve pilotun kontrol ettiği yüksek gerçeklik sadakat derecesine sahip varlıklarla birlikte senaryoyu oluşturan diğer düşük gerçeklik sadakat derecesine sahip varlıklar bu taktik çevre simülasyon programları ile yönetilirler. Mevcut taktik çevre simülasyon programlarında ortamdaki varlıkların kontrolleri geleneksel kontrol dallanmaları ile uzman ekipler tarafından programlanmak suretiyle gerçekleştirilmektedir. Bu şekilde tasarlanan simülasyonlarda karşılaşabilecek bütün durum olasılıklarını düşünmek zaman almaktadır ve yazılımsal anlamda oldukça güçtür. Ayrıca simülasyonda kullanılan sanal varlıkların statik olarak tasarlanması oldukça sınırlı ve kendini tekrarlayan senaryolara olduğu gibi katı davranış modellerine de sebep olmaktadır. Bu ve benzeri problemler için taktik çevre sümülasyonlarındaki sanal varlıkların eğitilmesi ihtiyacı ortaya çıkmıştır. Bu varlıkların eğitilmesi için pekiştirmeli öğrenme algoritmalarından olan proksimal politika optimizasyonu tercih edilmiştir. Çalışmalar ticari bir taktik çevre simülasyon programı üzerinde gerçekleştirilmiştir. Sonuç olarak proje kapsamında kullanılan algoritmaların sanal varlıkları eğitmek için uygunluğu gösterilmiştir. Buna ek olarak birden çok sanal varlığın bulunduğu senaryolarda tüm varlıkların akıllandırılması suretiyle bir ekip olarak çalışabileceği ispatlanmıştır.