Çok katmanlı aşırı öğrenme makinelerinin geliştirilmesi ve sistem modellemedeki başarımlarının analizi

Abstract

Aşırı Öğrenme Makinesi (AÖM), sınıflandırma ve regresyon uygulamalarında yüksek verimlilik ve kolay uygulanabilirdiğinden dolayı son on yılda önemli araştırma konusu olmuştur. Çalışmamız kapsamında regresyon ve sınıflandırma problemleri için geliştirilen klasik AÖM, Radyal Tabanlı Fonksiyon Kullanan Aşırı Öğrenme Makinesi (RTF-AÖM), Meta Aşırı Öğrenme Makinesi (Meta-AÖM) ve Çok Katmanlı Aşırı Öğrenme Makinesi (ÇK-AÖM) gibi mevcut AÖM yapıları incelenmiştir. Bu çalışmada, anılan yapıların zayıf ve üstün yönleri incelenerek yapıların iyileştirilmesi ve yeni hibrit yapılar önerilmiştir. Çalışmamızdaki motivasyon unsuru, AÖM yöntemlerinin yaygın olarak sınıflandırma problemlerinde kullanılmış olması ve sistem modelleme üzerinde çalışılmamış olmasıdır. Bu bağlamda zamana dinamik bir şekilde bağlı sistemlerin yanısıra engebeli ve/veya keskin değişimli yüzeylere denektaşı sistemlerin modellenmesi üzerinde çalışılarak iyileştirme ve yeni karma ağ yapısının geliştirilmesi hedeflenmiş olup çalışmamızda istenen hedefe ulaşılmıştır. ÇK-AÖM yapısının sistem modelleme başarımını arttırmayı ve hesaplama zamanını düşürmeyi amaçlayan iki İyileştirilmiş Çok Katmanlı Aşırı Öğrenme Makinesi (İÇK-AÖM) adını verdiğimiz AÖM ağ yapıları geliştirilmiş olup deney sonuçları ile başarım üstünlünlükleri denektaşı sistemler üzerinde gösterilmiştir. İÇK-AÖM yapıları ile yedi farklı dinamik sistem modelleme uygulaması üzerinde başarımı incelenmiştir. Ayrıca çok katmanlı aşırı öğrenme makinesi ile radyal tabanlı fonksiyon ağları birleştirerek HybRBF-ML-ELM adını verdiğimiz karma bir ağ yapısı daha geliştirilmiştir. Engebeli ve/veya keskin değişimli yüzey problemlerinde başarımı deney sonuçları ile kıyaslamalı olarak gösterilmiştir. Dinamik sistem modelleme deneylerinde geliştirilen İÇK-AÖM’nin bazı durumlarda ÇK-AÖM’ye kıyasla hem eğitim hem de test veri setleri için %70lere varan daha iyi modelleme başarım sergilediği gözlenmiştir. Örneğin, Denektaşı Dinamik Sistem (DDS) 7 için 100 düğüm kullanıldığında ÇK-AÖM, İÇK-AÖM1 ve İÇK-AÖM2 yapıları 0.627977, 0.104272 ve 0.092683 ortalama test Karesel Ortalama Hatanın Karakökü (RMSE) sonuçları verilmiştir. ÇK-AÖM ile karşılaştırıldığında İÇK-AÖM1 yapısı 83% daha iyi ortalama test RMSE sonuçları sağlarken İÇK-AÖM2 yapısı 85% daha iyi ortalama test RMSE sonuçları sağlamıştır. Yüzey modelleme deneylerinde geliştirilen HybRBF-ML-ELM yapısının ÇK-AÖM yapısına göre her problem için daha başarılı olduğu gözlemlenmiştir. Örneğin, Griewank, Dropwave ve Schaffer2 fonksiyonları için hem eğitim hem de test RMSE sonuçlarına bakıldığında ÇK-AÖM yapısına göre yaklaşık olarak %99 daha iyi başarım elde edildiği görülmüştür. Peaks fonksiyonu için de eğitim verisinde ortalama RMSE değerine bakıldığında ÇK-AÖM yapısına göre %76,87 daha iyi modelleme başarım sergilediği gözlenmiştir.

Extreme Learning Machine (ELM) has been the subject of significant research in the last decade due to its high efficiency and easy implementation in classification and regression applications. Within the scope of our study, existing ELM structures such as classical ELM, Radial Basic Function Extreme Learning Machine (RBF-ELM), Meta Extreme Learning Machine (Meta-ELM) and Multilayer Extreme Learning Machine (ML-ELM), which were developed for regression and classification problems, were examined. In this study, the weak and superior aspects of the aforementioned structures were examined, and the improvement of the structures and new hybrid structures were proposed. The motivation factor in our study is that ELM methods are widely used in classification problems and system modeling has not been studied. In this context, it was aimed to improve and develop a new mixed network structure by working on the modeling of touchstone systems on uneven and/or sharply changing surfaces as well as systems that are dynamically dependent on time, and the desired goal was achieved in our study. Two ELM network structures, which we call Improved Multilayer Extreme Learning Machine (IML-ELM), aiming to increase the system modeling performance of the ML-ELM structure and reduce the computation time, have been developed and the test results and performance advantages are shown on benchmark systems. Their performances on seven different dynamic system modeling applications compared to the ML-ELM structure performance have been examined. In addition, a hybrid network structure, which we call HybRBF-ML-ELM, has been developed by combining multi-layer extreme learning machine and radial basis function networks. Its performance on uneven and/or sharply changing surface problems has been shown in comparison with the test results. It has been observed that IML-ELM developed in dynamic system modeling experiments exhibits up to 70% better modeling performance for both training and test datasets compared to ML-ELM in some cases. For example, when 100 nodes are used for Benchmark Dynamic System (BDS) 7, the average test Root Mean Square Errors (RMSE) results of 0.627977, 0.104272 and 0.092683 are achieved for the ML-ELM, IML-ELM1 and IML-ELM2 structures. Compared to the ML-ELM, the IML-ELM1 structure provided 83% better mean test RMSE results, while the IML-ELM2 structure provided 85% better mean test RMSE results. It has been observed that the HybRBF-ML-ELM structure developed in surface modeling experiments is more successful for each problem than the ML-ELM structureFor example, when both the training and test RMSE results of HybRBF-ML-ELM for the Griewank, Dropwave and Schaffer2 functions are examined, it is seen that approximately 99% better performance is obtained compared to the ML-ELM structure. Considering the average RMSE value in the training data for the peaks function, it was observed that the modeling performance was 76.87% better than the ML-ELM structure.