YOLOv8n MODELİ İLE EL YAZISI GÖRÜNTÜLERİNDEN HARF DÜZEYİNDE DİSLEKSİ BELİRTİLERİNİN TESPİTİ

Abstract

Bu çalışmada, el yazısı görüntülerinden harf düzeyinde disleksi belirtilerini tespit etmek için YOLOv8n derin öğrenme modeline dayalı bir sınıflandırma yöntemi önerilmiş ve 5-katlı eğitim ve çapraz doğrulama yaklaşımı ile test edilmiştir. Bu amaçla kullanılan veri seti, YOLO biçiminde harf kutuları ve sınıf etiketlerini (Normal, Ters ve Düzeltilmiş) içeren görüntülerden oluşmaktadır. Beş katlı çapraz doğrulama testlerinin her katı için hesaplanan karmaşıklık matrisleri ve sınıf-başına kesinlik, hatırlama, mAP@50 ve mAP50–95 değerleri, önerilen modelin harf düzeyindeki disleksi paternlerini yüksek bir doğrulukla belirlediğini ve yerelleştirdiğini göstermektedir. Bu yaklaşım, veri etiketleme düzeyi ile aynı düzlemde çalışan harf düzeyinde bir boru hattı kurarak, sonuçları sınıf ve kat bazında ayrıntılı raporlamakta ve yerelleştirilmiş çıktılarla disleksi tedavisi ile ilgili eğitim süreçlerine geri bildirim yapma imkânı sunmaktadır.

In this study, a classification method based on the YOLOv8n deep learning model detecting dyslexia symptoms at the letter level in handwritten images is proposed and tested using a 5-fold training and cross-validation approach. The dataset used for this purpose consists of images containing letter boxes and class labels (Normal, Inverse, and Corrected) in the YOLO format. The correlation matrices calculated for each fold of the five-fold cross-validation tests, along with per-class precision, recall, mAP@50, and mAP50–95 values, demonstrate that the proposed model identifies and localizes letter-level dyslexic patterns with high accuracy. This approach establishes a letter-level pipeline that operates in tandem with the data labeling level, reporting detailed results at the class and fold level. Localized outputs facilitate feedback into the training processes necessary for dyslexia treatment.