Gelişim çağındaki çocukların el yazısı görüntülerinden harf düzeyinde disleksi belirtilerinin tespiti

Abstract

Bu çalışmada, el yazısı görüntülerinden harf düzeyinde disleksi belirtilerini tespit etmek için YOLOv8n derin öğrenme modeline dayalı bir sınıflandırma yaklaşımı önerilmiş ve 5-katlı eğitim ve çapraz doğrulama yöntemi ile test edilmiştir. Bu amaçla kullanılan veri seti, YOLO biçiminde harf kutuları ve sınıf etiketlerini (Normal, Ters, Düzeltilmiş) içeren görüntülerden oluşmaktadır. Beş katlı çapraz doğrulama testlerinin her katı için hesaplanan karmaşıklık matrisleri ve sınıf başına kesinlik, hatırlama, mAP@50 ve mAP50–95 değerleri, önerilen modelin el yazısı görüntülerinde harf nesnelerinin sınırlarını ve disleksi paternlerini yüksek bir doğrulukla belirlediğini göstermektedir. Bu yaklaşım, veri etiketleme düzeyi ile aynı düzlemde çalışan harf düzeyinde bir boru hattı kurarak, sonuçları sınıf ve kat bazında ayrıntılı raporlamakta ve konumlandırılmış çıktılarla disleksi tedavisi ile ilgili eğitim süreçlerine geri bildirim yapma imkânı sunmaktadır.

In this study, a classification approach based on the YOLOv8n deep learning model to detect dyslexia symptoms at the letter level in handwritten images is proposed and evaluated using a five-fold cross-validation method. The dataset used for this purpose consists of images containing letter boxes and class labels (Normal, Inverse, Corrected) in the YOLO format. The correlation matrices calculated for each fold of the five-fold cross-validation tests, along with per-class precision, recall, mAP@50, and mAP50–95 values, demonstrate that the proposed model identifies and localizes letter-level dyslexic patterns in handwriting images with high accuracy. This approach establishes a letter-level pipeline that operates in tandem with the data-labeling level, reporting detailed results at the class and fold level. Localized outputs facilitate feedback into the training processes necessary for dyslexia treatment.