Türkçe dilinde yapılmış açık uçlu sınavların doğal dil işleme ile otomatik olarak değerlendirilmesi

Abstract

Eğitim öğretime katılan öğrenci sayıları her geçen gün artmakta ve bununla birlikte eğitim-öğretimin değerlendirmesi için kullanılan ölçme-değerlendirme yöntemleri değişiklik göstermektedir. Bu değişikliğin bir nedeni de gelişen teknoloji ile ihtiyaçların değişmesi olmuştur. Açık uçlu sınavların değerlendirmesi öğrenci sayısındaki artış neticesinde daha çok zaman almaktadır ve objektif olunması diğer yöntemlere nazaran daha zor olmaktadır. Bunun yanında öğrencinin kendini ifade etme yetisini geliştirme ve sınavlarda oluşabilecek usulsüzlükleri en aza indirmek açısından daha etkili bir değerlendirme yöntemidir. Günümüzde birçok alanda dijital dönüşüm yaşanmakta ve eğitim de dâhil olmak üzere birçok alan dijital ortama taşınmaktadır. Eğitim sürecinden başlayarak sınavların yapılmasına kadar olan süreç dijital ortamda yapılabilmektedir. Ancak özellikle açık uçlu sınavların bilgisayar destekli olarak değerlendirilebilmesi için bu alanda yapılacak olan özel çalışmalara ihtiyaç olmaktadır. Bu noktada metin madenciliği çalışmalarının bir dalı olan doğal dil işleme yöntemlerinden faydalanılabilir. Doğal dil işleme çalışmalarının en temel amacı doğal dillerin makineler tarafından anlaşılır hale getirilmesidir. Bu çalışma kapsamında farklı derslerden toplanan öğrenci cevapları dijital hale getirilmiş, sınavlar Bloom taksonomisine göre sınıflandırılmış ve doğal dil işleme yöntemlerinden yararlanılarak otomatik olarak değerlendirilmiştir. Çalışmanın temel amacı açık uçlu sınav değerlendirmesini bilgisayar destekli olarak otomatik hale getirerek, kısa süren objektif bir değerlendirme sağlamaktır. Bu kapsamda beş farklı makine öğrenme algoritması ve üç farklı öznitelik çıkarım yöntemi kullanılmıştır. Çalışma sonucunda Bloom taksonomisine göre belirlenen alt düzey kategori sorularda kelime sayma yaklaşımı ile KNN algoritması %97 ve üst düzey kategori sorularda doküman vektörleri yaklaşımı ile Naive Bayes algoritması %86 doğruluk oranı ile en yüksek sonuçları vermiştir.

The number of students participating in education is increasing day by day, and the measurement-evaluation methods used for the evaluation of education and training vary. Evaluation of open-ended exams takes more time as a result of the increase in the number of students and it is more difficult to be objective than other methods. Today, digital transformation is taking place in many fields and many fields, including education, are being transferred to the digital environment. The process from the training process to the exams can be done digitally. However, there is a need for special studies in this field in order to evaluate open-ended exams as computer aided. At this point, natural language processing methods can be used. Within the scope of this study, student answers collected from different courses were digitized, the exams were classified according to Bloom's taxonomy and evaluated automatically by using natural language processing methods. The main purpose of the study is to automate open-ended exam evaluation with computer aid and to provide a short-term objective evaluation. In this context, five different machine learning algorithms and three different feature extraction methods were used. As a result of the study, the KNN algorithm with the word counting approach in the low-level category questions determined according to the Bloom taxonomy gave the highest results with an accuracy rate of 97%, and the document vectors approach and the Naive Bayes algorithm with an accuracy rate of 86% in the high-level category questions.