Derin öğrenme yöntemi ile köpek davranışlarının analizi ve sınıflandırılması

Abstract

Hayvan yüzlerinin, vücut duruşlarının, davranışlarının ve fiziksel hareketlerinin gözlenmesi ve tanınması son zamanlarda disiplinlerarası bir alan olarak ön plana çıkmıştır. Bilgisayarlı görü, sayısal görüntü işleme gibi alanlardaki önemli teknolojik gelişmeler, videolar üzerinde insan davranışlarının analizinde kullanılabilmesinin yanında hayvan davranışlarının tespit edilmesinde yardımcı bir yöntem olmaktadır. Hayvanlarda, özellikle davranışların bilgisayarlı görü yöntemiyle tespiti ile ortaya çıkabilecek sonraki davranışların öngörülmesine ve hayvanların evcilleştirilmesine katkı sunabilir. Önerilen tez çalışmasında, köpeklerin davranışlarının analiz edilmesi ve sınıflandırılması için derin öğrenmeye dayalı bir sistem önerilmiştir. Giydirilebilir aksiyon kamera ve sabit kamera kullanılarak insanlar ile temastan kaçınmayan iki farklı türde köpeğin davranışlarını içeren videolar toplanarak bir veri seti oluşturulmuştur. Sonraki aşamada ise, köpeklerin davranışlarını analiz eden ve sınıflandırılmasını sağlayan derin öğrenme tabanlı uygulama gerçekleştirilmiştir. Elde edilen videolar üzerinde gerekli analizler yapıldıktan sonra belirlenen ağız açma, dil çıkarma, kulak dikme, kuyruk sallama, koklama, oyun oynama gibi davranışlar videolardan çıkarılarak, daha anlamlı bölümlerden oluşan özelleştirilmiş bir veri seti getirilmiştir. Bu videolardan anlamlı bölümlerin elde edilmesi ve özellik çıkarımı yapıldıktan sonra RCNN (Bölgesel Evrişimsel Sinirsel Ağlar) ile belirlenen davranışların analizi gerçekleştirilmiştir. Yapılan deneysel çalışmalar üzerinde, köpeklerin ağız açma, dil çıkarma, kulak dikme, kuyruk sallama, koklama, oyun oynama davranışları incelenmiş ve bu davranışlar için sırasıyla %100, %99.99, %99.99, %95.99, %99.28, %99.64 eğitim başarımı elde edilmiştir.

Observation and recognition of animal faces, body postures, behaviors, and physical movements has recently become one of the most fundamental tasks of multidiscipline. The outstanding technological advances in areas such as computer vision and digital image processing can be used in the analysis of human behaviors on videos, as well as helping to detect animal behavior. In animals, it can contribute to the prediction of subsequent behaviors that may occur with computerized vision, and to domesticate animals. In the proposed thesis work, a system based on deep learning has been proposed to analyze and classify the behavior of dogs. A database was created by collecting videos showing the behavior of two different species dogs that do not avoid contact with people by using the wearable action camera and fixed camera. In the next stage, a deep learning-based application was conducted to analyze and classify the behavior of dogs. Determined behaviors such as mouth opening, tongue out, ears up, tail wagging, sniffing, playing, after the necessary examinations were made on the obtained videos, a special set of more meaningful sections was introduced. After feature extraction and obtaining meaningful sections from these videos, analysis of the behavior was performed by R-CNN. On the experimental studies, the behavior of the dog such as mouth opening, tongue out, sniffing, ears up, tail wagging, playing was examined and, training performance was obtained 100%, 99.99%, 99.28%, 99.99%, 95.99%, 99.64% for these behaviors, respectively.