RaschMat neyi araştırıyor?

RaschMat, aynı standartlaştırılmış matematiksel yanıt örneklerinin farklı puanlayıcılar tarafından nasıl değerlendirildiğini inceler. Puanlayıcı etkileri; katılık-cömertlik, rubrik ölçütlerinin kullanımı ve puanlama örüntüleri üzerinden Çok Yüzeyli Rasch Modeli çerçevesinde ele alınır.

İnsan puanlayıcılar matematik öğretmenleri ve matematik öğretmen adaylarından oluşur. Aynı standartlaştırılmış yanıt örnekleri araştırmanın ayrı bir aşamasında büyük dil modelleri tarafından da aynı rubrikle değerlendirilir.

Sizden ne istenecek?

Katılımda önce ayrıntılı bilgilendirme ve gönüllü onam ekranı yer alır. Onaydan sonra kısa mesleki/demografik bilgiler alınır ve sistemin size atadığı standartlaştırılmış matematiksel yanıt örnekleri beş ölçütlü analitik rubrikle puanlanır.

Öğretmen, öğretmen adayı ve LLM

Her insan puanlayıcı bireysel bir puanlayıcı olarak ele alınır. Öğretmen ve öğretmen adayı grupları, dengeli atama deseninde yer alan ortak yanıtlar üzerinden bağlantılı bir puanlama ağı oluşturur. Büyük dil modeli puanları API kullanılmadan, araştırmacının manuel olarak aldığı yapılandırılmış çıktılar aracılığıyla sisteme eklenebilir.

Gerçek öğrenci verisi kullanılmıyor

Değerlendirme bankası 6 açık uçlu problem ve 120 standartlaştırılmış matematiksel yanıt örneğinden oluşur. Yanıt örnekleri araştırmacılar tarafından farklı doğruluk, strateji ve hata örüntülerini temsil etmek amacıyla hazırlanmıştır; gerçek öğrencilere ait değildir ve kişisel veri içermez.

Ne kaydediliyor?

Katılımcı değerlendirmeleri rastgele oluşturulan bir puanlayıcı koduyla saklanır. Doğrudan kimlik bilgisi bilimsel analiz veri setine alınmaz. Etik kurul onayı öncesindeki teknik test gönderimleri gerçek araştırma verilerinden ayrı klasörde tutulur.

Çok Yüzeyli Rasch yaklaşımı

Uzun-format veri çıktısı; standartlaştırılmış yanıt, puanlayıcı, puanlayıcı grubu, rubrik ölçütü ve puan değişkenlerini içerir. Problem kimliği görev özelliği olarak korunur ve problem türlerine bağlı puanlama farklılıklarının incelenmesinde kullanılabilir.