Davranış Fonksiyonu Tabanlı Derin Pekişt˙irmeli Öğrenme Algor˙ıtmaları Eğitimminde Dağınık Mimari Kullanımı

Abstract

Pekiştirmeli öğrenmede eğitimler genellikle zaman açısından maliyetli olup, bu durum karmaşık ortamlarda sorun teşkil edebilir. Bu nedenle dağıtık mimari kullanımı, karmaşık ortamlarda hızlı eğitim için etkili bir alternatif sunar. Veri veya model paralelleştirme yapılarak, pekiştirmeli öğrenme eğitimlerinde dağıtık mimarinin avantajlarından faydalanmak mümkündür. Bu tez çalışmasında, pekiştirmeli öğrenme (reinforcement learning) yöntemlerinde ajanların karmaşık görevlerde uzun eğitim süreleri ile karşılaşma sorunu ele alınmıştır. Önerilen yaklaşım, davranış fonksiyonu tabanlı pekiştirmeli öğrenme metotlarında ortam ile etkileşim kurularak biriktirilmesi gereken tecrübeleri, dağıtık işleme yöntemleri ile çoğaltılmış ortam kopyalarından eş zamanlı ve daha hızlı sağlamaktır. Dağıtık işleme yöntemi için python tabanlı DASK dağıtık hesaplama kütüphanesi kullanılmıştır. Geliştirilen yöntem, mevcut iki farklı yöntemle karşılaştırılmıştır. Alınan sonuçlar, önerilen yöntemin pekiştirmeli öğrenme modellerinin eğitimini hızlandırdığını göstermektedir.