olcme.net

Benim de çalışmalarımı sürdürdüğüm Ölçme ve Değerlendirme alanından 45 değerli hocam YGS konusunda bir bildiri yayınladı. Alakalı alakasız herkesin YGS’deki şifre konusunu tartıştığı şu günlerde, konu ile en alakalı, konunun en içinden gelen bu açıklamanın amacına ulaşmasını temenni ediyorum.

ÖSYM, özellikle son birkaç aydır toplumun gözündeki saygınlığını neredeyse tamamen yitirmiş bir kurum durumuna gelmiştir. 1970’li yılardan başlayarak son 10-15 yıla kadar ülkemizdeki önemli sınavları yürütmüş saygın bir kurum olan ÖSYM’nin geldiği bu nokta, ölçme ve değerlendirme hizmetlerini yürüten bu tür kurumlara ve bu alanda çalışan insanlara olan güvene de büyük zararlar vermektedir.

Eğitimde Ölçme ve Değerlendirme ile Psikometri alanlarında uzmanlaşmış akademisyenler olarak aşağıda isimleri bulunan bizler, son Yükseköğretime Geçiş Sınavında (2011-YGS) ortaya çıkan karmaşaya ve yaratılan sorunlara yönelik olarak kamuoyuna bir açıklama yapmayı tarihsel, ulusal ve akademik bir görev olarak görmekteyiz:

1) 2011 YGS’de, sınavların gizliliğinin korunması amacıyla alınan bir önlem olarak, testlerde yer alan maddelerin ve seçeneklerin yerleri değiştirilmesi ve böylelikle her aday için farklı bir test kitapçığının oluşturulması yoluna gidilmiştir. Her adayın test kitapçığında maddelerin farklı bir sıralama içinde yer alması psikometrik açıdan uygun bir yöntem değildir.

40 maddelik bir alt test için yalnızca maddelerin yerlerini seçkisiz (random)olarak değiştirerek üretilebilecek farklı kitapçıkların sayısı 40! (kırk faktöriyel)=40x39x38x…x2x1=816x(10)45 tir. Bilişsel öğrenmelerin basitten karmaşığa doğru gerçekleşmesi gibi, adayların akademik başarı düzeylerinin ölçülmek istendiği testlerde maddelerin sıralanışının da basitten karmaşığa doğru bir akış sergilemesi temel bir ölçme kuralıdır.  2011 YGS,  her aday için farklı test kitapçığı hazırlamak amacıyla her kitapçıkta maddelerin sırasını değiştirerek bu kuralı göz ardı etmiş, adaylar için eşit olanaklar sağlanmamıştır.

Adayların maksimum performans düzeylerinin ortaya çıkarılmasının amaçlandığı testlerde, ilk maddelerin kolay ya da çok kolay olması; test ilerledikçe maddelerin zorluk düzeyinin artması psikometrik bir gerekliliktir. Bu durum, adayların testteki maddeleri yanıtlama güdüleri ve bu konuda kendilerine olan güvenlerinin artması suretiyle, sınav kaygılarının uygun bir düzeyde tutulması açısından da önemlidir. Test maddeleri yaklaşık 1.7 milyon aday için harmanlandığında, en zor maddelerin ilk sıralarda yer alacağı test kitapçıkları da oluşabilecektir. Eğer teste çok zor maddelerle başlanırsa, en başarılı aday bile bu maddelere takılıp kalacak,zamanını etkili bir biçimde kullanamayacak ve gerçek performansını sergileyemeyecektir. Testin ilk maddelerini cevaplamada güçlük çeken bir adayın sonraki maddeleri cevaplayacağı konusundaki güveni azalacak ve kaygı düzeyi yükselecektir.

Maddelerin her adaya farklı bir sıralamayla sunulmasının önemli bir başka sakıncası da adayların aynı alanda fakat farklı konularla (örneğin fizik alanında elektrik, optik, kuvvetler vb. konularla) ilgili bilgilerini yoklayan maddelerle karmakarışık sırayla karşılaşmasıdır. Adayların zihnini konudan konuya atlamaya zorlayacak olan bu durum, onların teste odaklanmasını aşırı ölçüde güçleştirir. Bu da test puanlarının, adayların bilgi ve yetenek düzeylerinin yanı sıra, dikkatini toplama ve güdüsünü diri tutma becerilerinden de etkilenmesine yol açarak testin geçerliğini olumsuz yönde etkiler.

2011 YGS için yapılan bu düzenleme sınavda eşitlik ilkesi, testin psikometrik özellikleri ve adayların psikolojileri ile ilgili ilkeleri göz ardı ederek bazı adayların aleyhinde yanlı ölçmelere neden olmuş ve haksızlığa yol açmıştır.

5 seçenekli bir madde için yalnızca seçeneklerin yerlerini seçkisiz (random)olarak değiştirerek üretilebilecek farklı kitapçıkların sayısı 5!=5x4x3x1=120’dir. Çoktan seçmeli testlerde seçeneklerin düzenlenmesi önemlidir. Bir maddenin zorluğu ya da kolaylığı, hazırlanan çeldirici seçeneklerin doğru cevaba uzaklığıyla bağlantılıdır. Bu nedenle seçeneklerin temel bazı ilkeler (aynı kapsamda, aynı uzunlukta, aynı ifade tarzında olmaları vb.) dikkate alınarak hazırlanması gerekir. Seçeneklerde sayısal ifadelerin (tarih, roma rakamları, sayısal sonuçlar vb.) yer alması durumunda temel ilke, bu ifadelerin, aksi bir zorunluluk yoksa, seçeneklere sıralı olarak büyükten küçüğe ya da küçükten büyüğe doğru sıralanması gerekliliğidir. Bu ilke, adayların bilgiyi işleme süreçleri açısından ve seçenekleri bulup işaretleme hızları bakımından önemlidir.Sayısal ifadelerin seçeneklere büyüklük-küçüklük sırası gözetilmeksizin rasgele dağıtılması, adayların maddeyi cevaplama davranışını olumsuz etkiler ve maddenin şansla doğru cevaplandırılması olasılığını arttırır.

Bu uygulamanın, seçeneklerin yerlerinin seçkisiz değil de döngüsel olarak değiştirilmesi gibi,  sistematik bir biçimde yapılması durumunda ise üretilebilecek farklı test kitapçığı sayısı 5! olmaktan çıkar. Bu tür bir düzenlemede, birçok adayın test kitapçığında sistematik tekrarların ortaya çıkması kaçınılmazdır.  Bu durumda, örneğin, kimi adayların test kitapçıklarındaki maddelerin pek çoğu, “seçenekler büyüklük sırasına konulduğunda çakışan seçeneğin doğru cevap olması” gibi bir sistematikle çözülebilirken, kimi adayların test kitapçıklarındaki maddelerin pek çoğu da “en büyük sayının sağındaki seçeneğin hep doğru cevabı vermesi” gibi bir sistematikle çözülebilir hale gelir.

Birkaç maddeyi çözdükten sonra bu sistematiğin farkına varan bir aday diğer maddeleri de bu sistematiği kullanarak rahatlıkla cevaplayabilir. Tüm grup içinde hangi adayların bu sistematiği fark ederek doğru cevabı bu yolla bulduğunu, hangi adayların sistematiği fark etmediği halde maddeyi doğru cevapladığını belirlemek, olanaksız olmasa bile çok güçleşir. Dolayısıyla test, adayların test ile ölçülen özellikteki bilgi ve yetenek düzeylerini değil, bu sistematiği çözme gücünü ölçer bir duruma gelir. Bu durum seçkisiz hata kaynaklarına yol açar; testin güvenirliğini ve geçerliğini düşürür, haksızlığa neden olur.

2) 2011 YGS’de uygulanan test kitapçıkları bireye özgü değildir.  Ancak, psikometrik çalışmalar yoluyla YGS gibi testlerin “bireye özgü testlerle” (adaptive testing-tailored testing) gerçekleştirilmesi mümkündür.

2011 YGS’de adaylara verilen test kitapçıkları, güvenlik gerekçesiyle, yalnızca maddelerin ve seçeneklerin yer değiştirildiği kitapçıklardır ve kitapçıklarda yer alan maddeler tüm adaylar için aynıdır. Test kitapçıklarının üstüne adayların isimlerinin basılmış olması, bireye özgü test hazırlandığı anlamına gelmez; ancak yapılan testin güvenirliği ve geçerliğini zedeler ve kuşkulara yol açar.

Psikometri ve eğitimde ölçme ve değerlendirme ile ilgili yazılı kaynaklarda bireye özgü testlere ilişkin pek çok araştırma mevcuttur. ÖSYM’nin birikimi, deneyimlerinden yararlanılması gereken uzmanları, teknik alt yapısı ve madde bankası bireye özgü test hazırlamaya uygundur. Yapılacak iş, alanın uzmanlarınca tüm maddelerin parametrelerini hesaplamak, bireye özgü test için belirlenecek bir yönteme göre algoritmalar hazırlamak, illerdeki belirli okulların bilgisayar ve yabancı dil laboratuarları gibi imkanlarını işe koşarak bu testlerin uygulamasını gerçekleştirmektir. Ölçme değerlendirme ve bilgisayar uzmanlarından oluşan bir ekip, bu uygulamanın bilimsel alt yapısını rahatlıkla oluşturabilir. Bu tür testlerle, ÖSYM’nin son dönemde güvenlik gerekçesiyle uygulamaya başladığı ancak psikometrik açıdan uygun olmayan testlerin güvenirliğini ve geçerliğini düşürücü yönde etki yapan ve kuşkulara neden olan önlemlerin (adayların tuvalete çıkma yasağı, kalem-silgi vb. getirme yasağı gibi) alınmasına ve tüm illerde çok sayıda kişinin görevlendirilmesine gerek kalmayacaktır. Ülkemizde de uygulanmakta olan TOEFL, GRE gibi testler, bireye özgü testlere örnek olarak gösterilebilir.

Sonuç olarak;

Yüzbinlerce gencimizi ve milyonlarca insanımızı (ve geleceğimizi) ilgilendiren 2011 YGS’nin güvenirliği ve geçerliği, yukarıda açıkladığımız nedenlerle tartışmalı hale gelmiştir. Bu konuda yapılabilecek çalışmalardan biri, ÖSYM dışından oluşturulacak ölçme değerlendirme uzmanlarının da bulunduğu bağımsız bir inceleme ekibi tarafından en kısa sürede, 2011 YGS’de kullanılan algoritmanın adayların lehine ya da aleyhine çalışıp çalışmadığını ortaya çıkarmaktır. Bu sorunun çözülebilmesi ve 2011 YGS ile ilgili tartışmaların sonlandırılabilmesi için her türlü siyasi, bürokratik çıkar ya da kaygıdan uzak kalınması gerektiği açıktır.

Yukarıdaki önlemlere ek olarak, ÖSYM’nin bilimsel yönü güçlü bir test merkezi olma yönünde gelişmesi için adımlar atılmalıdır. Türkiye’de bu konularda yetişmiş insan gücü mevcuttur. Aşağıda ismi olan akademisyenler olarak biz, ülkemizdeki test merkezlerinin zarar görmemesi için özerk ve bilimsel bir yapıya ve yönetime kavuşmasının ve bu merkezlerle ilgili kararların, atananlarla değil, ölçme değerlendirme bilim  alanında yetişmiş uzmanların yer aldığı komisyonlarla ve bilimin ışığında gerçekleştirilmesinin gerekli ve önemli olduğuna inanıyoruz.

Konuyla ilgili değerlendirmelerimizi ve görüşlerimizi, ülkemize, insanlarımıza ve mesleğimize olan saygıyla kamuoyuna sunarız.

Prof. Dr. İlhan AKHUN (Hacettepe Üniversitesi-Emekli Öğretim Üyesi)
Prof. Dr. Şener BÜYÜKÖZTÜRK (Gazi Üniversitesi)
Prof. Dr. Adnan ERKUŞ (Mersin Üniversitesi)
Prof. Dr. Selahattin GELBAL (Hacettepe Üniversitesi)
Prof. Dr. Nizamettin KOÇ (Ankara Üniversitesi)
Prof. Dr. Durmuş Ali ÖZÇELİK (ODTÜ- Emekli Öğretim Üyesi)
Prof. Dr. Süleyman Çetin ÖZOĞLU (Ankara Üniversitesi-Emekli Öğretim Üyesi)
Prof. Dr. Ezel TAVŞANCIL (Ankara Üniversitesi)
Prof. Dr. Yurdal TOPSEVER (İzmir Ekonomi Üniversitesi)
Prof. Dr. M. Fuat TURGUT (ODTÜ-Emekli Öğretim Üyesi)
Doç. Dr. Duygu ANIL (Hacettepe Üniversitesi)
Doç. Dr. Ramazan BAŞTÜRK (Pamukkale Üniversitesi)
Doç. Dr. Mehtap ÇAKAN (Abant İzzet Baysal Üniversitesi)
Doç. Dr. Nükhet DEMİRTAŞLI (Ankara Üniversitesi)
Doç. Dr. Nuri DOĞAN (Hacettepe Üniversitesi)
Doç. Dr. Adnan KAN (Gazi Üniversitesi)
Doç. Dr. Hülya KELECİOĞLU (Hacettepe Üniversitesi)
Doç. Dr. Zekeriya NARTGÜN (Abant İzzet Baysal Üniversitesi)
Doç. Dr. Tuncay ÖĞRETMEN (Ege Üniversitesi)
Doç. Dr. Halil YURDUGÜL (Hacettepe Üniversitesi)
Yrd. Doç. Dr. Murat AKYILDIZ (Celal Bayar Üniversitesi)
Yrd. Doç. Dr. Devrim ALICI (Mersin Üniversitesi)
Yrd. Doç. Dr. Hakan ATILGAN (Ege Üniversitesi)
Yrd. Doç. Dr. Bayram BIÇAK (Akdeniz Üniversitesi)
Yrd. Doç. Dr. Bayram ÇETİN (Gaziantep Üniversitesi)
Yrd. Doç. Dr. Ömay ÇOKLUK (Ankara Üniversitesi)
Yrd. Doç. Dr. Kaan Zülfikar DENİZ (Ankara Üniversitesi)
Yrd. Doç. Dr. Göksu GÖZEN ÇITAK (Ankara Üniversitesi)
Yrd. Doç. Dr. Neşe GÜLER (Sakarya Üniversitesi)
Yrd. Doç. Dr. Cem Oktay GÜZELLER (Akdeniz Üniversitesi)
Yrd. Doç. Dr. İbrahim Alper KÖSE (Nevşehir Üniversitesi)
Yrd. Doç. Dr. İsmail KARAKAYA (Ondokuz Mayıs Üniversitesi)
Yrd. Doç. Dr. Ömer KUTLU (Ankara Üniversitesi)
Yrd. Doç. Dr. Özlem Yeşim ÖZBEK
Yrd. Doç. Dr. Güçlü ŞEKERCİOĞLU (Akdeniz Üniversitesi)