Computerized adaptive testing design for students with visual impairment

Abstract

Computerized Adaptive Testing (CAT), a product of scientific advancements and new technologies in the field of measurement and evaluation in education, may be considered beneficial in reaching more valid and reliable test results for students with visual impairment. CAT renders more reliable test results in less time with fewer items that are well-matched to the ability levels of students. When these basic properties of CAT are considered, we can state that the use of CAT in assessing the ability levels of students with visual impairment may provide a significant step in attaining fair and comparative test results. The aim of this research is to develop audio-based CAT software for visually impaired students and to guide future studies by providing assessment, development, and design procedures. We created an item pool comprised of 166 audible items to assess the listening comprehension levels of students with visual impairment at secondary school. We have reported all data that indicate the validity and reliability scores through test development process, such as the acquisition analyses, expert opinions, pre-trial application (n=196), trial application (n=608), assumptions for the Item Response Theory. We have depicted of all the steps of software development on the basis of multimedia design principles in detail. Parameter estimates and software development studies were made according to 3 parameter logistic model. During item development and software testing, opinions of 7 students with visual impairment were considered. As a result, a valid and reliable CAT, named SesliTest, has been developed for students with visual impairment at secondary school. The research carries great importance since it proves CAT is applicable for students with visual impairment.

Eğitimde ölçme ve değerlendirme alanındaki bilimsel gelişmelerin ve teknolojinin bir ürünü olan bilgisayar ortamında bireye uyarlanmış testlerin (BOBUT), görme engelli öğrenciler için geçerli ve güvenilir test sonuçları elde etmede önemli yarar sağlayacağı öngörülmektedir. BOBUT bireyin yetenek düzeyine uygun, az sayıda soruyla, daha kısa sürede, daha güvenilir test sonuçları elde edilmesini sağlamaktadır. Bu temel özellikleri düşünüldüğünde BOBUT’un eşit eğitim fırsatları ve karşılaştırılabilir test sonuçları için görme engelli öğrencilerin ölçme süreçlerinde çok önemli bir adım olacağı belirtilebilir. Bu araştırmada görme engelli öğrencilere yönelik ses tabanlı bir BOBUT geliştirmek; ölçme, yazılım geliştirme ve tasarım süreçleriyle, yapılacak çalışmalara rehber olmak amaçlanmıştır. Araştırma amacı doğrultusunda, BOBUT ile uygulamak üzere ortaokul düzeyindeki görme engelli öğrencilerin dinlediğini anlama becerisine yönelik 166 maddelik bir madde havuzu oluşturulmuştur. Test geliştirme sürecindeki; kazanım analizleri, uzman görüşleri, ön deneme uygulaması (n=196), deneme uygulaması (n=608) ve Madde Tepki Kuramı varsayımlarının kontrolü gibi geçerlik ve güvenirliğine dair kanıtlar sunulmuştur. Yazılım geliştirme basamakları çoklu ortam tasarımı ilkeleri temel alınarak ayrıntılı olarak raporlanmıştır. Parametre kestirimleri ve yazılım geliştirme çalışmaları 3 parametreli lojistik modele göre yapılmıştır. Madde geliştirme ve yazılım testi süreçlerinde 7 görme engelli öğrencinin görüşlerine başvurulmuştur. Sonuç olarak görme engelli ortaokul öğrencilerine uygulanabilecek geçerli ve güvenilir, BOBUT temelli SesliTest geliştirilmiştir. Araştırma BOBUT’un görme engelli öğrencilere uygulanabileceğini göstermesi açısından büyük önem arz etmektedir.