Object detection for safe working environments using YOLOv4 deep learning model

Abstract

The health and safety of employees in workplaces maintains its importance since the concept of production emerged. Recent developments in computer vision and deep learning have made it widespread to be used in work environments as a secondary tool in ensuring occupational safety from surveillance videos. Thus, an important performance is achieved by minimizing human-induced errors in working environments. In this study, a method based on the YOLOv4 deep learning model is proposed to control the use of personal protective equipment from videos and to detect unsafe movements in the working environments of facilities operating in the field of industrial production. In the study, a dataset is created with videos collected from different working environments. In the study, later, on the prepared video dataset, the detection of personal protective equipment such as helmets, vests, masks, gloves, eyeglasses used by workers in factories operating in industrial areas and whether they use the appropriate equipment correctly is determined using the YOLOv4 framework. In the experimental studies conducted within the scope of the study, the mean average precision (mAP) value is achieved as 91.18% as a result of the training performed in the YOLOv4 network. In addition, results of 0.89, 0.91, 0.90, 70.35 and 1.1147 are obtained for other measurement metrics such as precision, recall, F1-score, intersection over union (IoU), and average loss, respectively. As a result, in the proposed study, instant inspection of the videos collected from the cameras installed in the factories, the meaning of the scene and the control of safe working environments are successfully achieved..

İşyerlerinde çalışanların sağlığı ve güvenliği üretim kavramı ortaya çıktığından bu yana önemini korumaktadır. Bilgisayarlı görü ve derin öğrenme konusunda son yıllarda kaydedilen gelişmeler, çalışma ortamlarında gözetim videolarından iş güvenliğinin sağlanmasında ikincil bir araç olarak kullanılmaya başlamıştır. Böylece çalışma ortamlarında insandan kaynaklı hataların minimuma indirilerek önemli bir başarım elde edilmesi sağlanmaktadır. Bu çalışmada, endüstriyel üretim alanında faaliyet gösteren tesislerin çalışma ortamlarında, videolardan kişisel koruyucu donanımların kullanımın denetlenmesi ve güvensiz hareketlerin tespiti için YOLOv4 derin öğrenme modeli tabanlı bir yöntem önerilmektedir. Çalışmada, öncelikle farklı çalışma ortamlarından toplanan videolar ile bir veriseti oluşturulmuştur. Çalışmada daha sonra, hazırlanan video veriseti üzerinde, sanayi bölgelerinde faaliyet gösteren fabrikalarda işçilerin kullandığı baret, yelek, maske, eldiven, gözlük gibi kişisel koruyucu ekipmanların tanınması ve uygun donanımları doğru kullanıp kullanmadıkları YOLOv4 altyapısı kullanılarak tespit edilmiştir. Çalışma kapsamında yürütülen deneysel çalışmalarda, YOLOv4 ağında yapılan eğitim sonucunda mean average precision (mAP) değeri %91.18 olarak başarılmıştır. Ayrıca, diğer ölçüm metrikleri kesinlik, duyarlılık, F1-skoru, kesiştirilmiş bölgeler (IoU) ve ortalama kayıp için sırasıyla 0.89, 0.91, 0.90, 70.35 ve 1.1147 sonuçları elde edilmiştir. Sonuç olarak, önerilen çalışmada, fabrikalarda tesis edilmiş kameralardan gelen videoların anlık olarak denetlenmesi ve sahnenin anlamlandırılması sağlanarak, güvenli çalışma ortamlarının kontrolü başarılı bir şekilde sağlanmıştır.