Derin pekiştirmeli öğrenme ile mobil robotlarda otonom hareket

Abstract

Takviyeli öğrenme, bir ortamdaki ödülleri en üst düzeye çıkarmak için eylemlerin seçilmesine dayanan bir öğrenme yöntemidir. Doğada yaygın olarak gözlemlenen bu davranışsal öğrenme şekli, hakkında hiçbir bilginin olmadığı ortamlarda otonom görevler için başarılı sonuçlar vermektedir. Bu çalışma, makine öğrenmesinin bir dalı olan pekiştirmeli öğrenmeyi kullanarak otonom görevler için eğitilen mobil robotları konu almaktadır. ROS platformunda sıklıkla kullanılan 3 boyutlu modelleme ve işleme aracı olan Robot İşletim Sistemi (ROS) ve Gazebo simülasyon ortamı ile gerekli ortamlar oluşturulmuştur. Çevre hakkında hiçbir bilgisi olmayan robot, Güçlendirme Öğrenme ile hedef noktaları nasıl bulacağını öğrenmeye çalışıyor. Çalışmamızda TurtleBot3 mobil robotunun sabit veya dinamik bariyerler içeren simülasyon ortamlarında otonom hareket kabiliyeti pekiştirmeli öğrenme ile kazandırılmıştır. Pekiştirmeli öğrenmenin sınırlılıkları nedeniyle çalışmamızda karmaşık problemlerde hafıza yerine sinir ağlarını kullanan Derin Takviyeli Öğrenme tercih edilmiştir. Eğitimler TurtleBot3 mobil robot ile gazebo ortamında oluşturulan sabit ve dinamik bariyerlerle iki farklı ortamda gerçekleştirildi. Epsilon açgözlü politikasına göre takviyeli öğrenmenin temel özelliklerinden biri, hedef noktayı tekrar tekrar bulabilen ve başlangıçta rastgele yapılan hareketlerin, sistem tarafından kararlaştırılan hareketlere bırakılmasıyla oluşturulan toplam ödülün artırılabilir bir model olmasıdır. Daha sonraki aşamalarda sinir ağı modeli oluşturulmuş ve sonuçlar grafiklerle paylaşılmıştır.

Reinforcement learning is a learning method based on choosing actions to maximize rewards in an environment. This form of behavioral learning, which is widely observed in nature, gives successful results for autonomous tasks in environments where there is no information about it. This study is about mobile robots trained for autonomous tasks using reinforcement learning, a branch of machine learning. Necessary environments were created with the Robot Operating System (ROS) and Gazebo simulation environment, which is a 3D modeling and processing tool that is frequently used in the ROS platform. The robot, which has no knowledge about the environment, tries to learn how to find the target points with Reinforcement Learning. In our study, the autonomous mobility of the TurtleBot3 mobile robot in simulation environments that contains fixed or dynamic barriers, was gained by reinforcement learning. Due to the limitations of reinforcement learning, Deep Reinforcement Learning, which uses neural networks instead of memory for complex problems, was preferred in our study. Training was conducted with the TurtleBot3 mobile robot in two different environments with fixed and dynamic barriers created in the gazebo environment. According to the epsilon greedy policy, one of the main features of reinforcement learning is a model that can find the target point repeatedly and can increasable the total reward was created by leaving the movements that were made randomly at the beginning to the movements decided by the neural network model in the later stages, and the results were shared with graphs.