Cronbach’ın Gölgesine Sığınmak

Son zamanlarda bir ölçek geliştirme furyasının başını alıp gittiğini gözlemliyorum. Bu durum bir taraftan sevindirici ve heyecan verici, çünkü farklı psikolojik özellikleri ölçebilmek için literatüre her geçen gün yeni ölçme araçları eklenmekte. Ancak öte yandan geliştirilen ölçeklerin niteliği sorgulanır durumda.

Maddeleri yazıyoruz, bir-iki uzman görüşüne başvuruyoruz ve ardından ilk bulduğumuz gruba uygulayıp hızlıca analizlerini yapıyoruz. İlk hedef: FAKTÖR ANALİZİ!

Bir zamanlar faktör analizinden korkulurdu. Uç değerleri neye göre temizleyeceğiz? Ölçekte kaç faktör var? Maddeleri neye göre çıkaracağız? Hangi döndürme yöntemini kullanmalı vb. Ardından SPSS kursları ile faktör analizleri yapılır, 30 maddelik bir tutum ölçeğinden 6 faktör çıkarılır hale gelindi. Cronbach Alfa da .80 üzeri bulunursa, “ölçek oldukça güvenilir” sözleri havada uçuşur oldu.

Peki açımlayıcı faktör analizini ve Cronbach Alfa’yı bu kadar tabu haline getirmeye, kutsallaştırmaya gerek var mı? Bu analizler dokunulmaz mı?

Ben bugün bir şey denedim. Öncelikle içerisinde ölçeklerin psikometrik özelliklerini ve örnek maddelerini barındıran bir kitabı önüme koydum. Ardından random.org’a girip 15 tane seçkisiz sayı belirledim ve elde ettiğim her sayıyı kenarı not ettim. Daha sonra kitabı önüme koydum ve her sayının karşılık geldiği sayfayı açıp, karşıma çıkan ölçek maddesini yazdım. Böylece bir kitap içerisinde yer alan birçok ölçeğe ait yüzlerce madde örneğinden seçkisiz olarak 15 tanesini seçerek tabiri caizse ortaya karışık bir ölçek oluşturdum. Bu ölçek, ne bir test geliştirme sürecinden geçti, ne uzman görüşü alındı, ne de psikolojik yapı üzerine uzun uzun düşünüldü.

Ortaya karışık ölçeği 65 üniversite öğrencisine uyguladım (daha fazla öğrenciye uygulamak isterdim ancak imkanlarım bu kadarına el verdi) ve verileri bilgisayara aktardım.

Veriler üzerinde hiçbir faktör analizi işlemi yapmadan, her maddeyi hesaba katarak bir Cronbach Alfa katsayısı hesapladım ve .49 değerini elde ettim. Tamamen tesadüfi olarak, birbirinden bağımsız maddelerle oluşturduğum ölçeğin (!) güvenilirlik katsayısı .49 çıktı.

Bu çok yüksek bir değer değil elbet, ancak ortaya karışık bir ölçek için fena da bir değer sayılmaz sanki ha?

Sonra ikinci tabuya geçtim: Açımlayıcı faktör analizi!

Maddeleri bir güzel faktör analizine soktum, ölçekten bazı maddeleri atmam gerekti. 15 maddeden yalnızca 9 madde kaldı geriye, ancak varyansın %36’sını açıklayan iki faktör oluşturmayı başardım. Bunlardan birinci faktör 5, ikinci faktör 4 maddeliydi. Sonra her faktör için de Cronbach Alfa katsayılarını hesapladım. Birinci boyut için .60, ikinci boyut içinse .59 değerlerini elde ettim. 65 öğrenci ile çalıştığım için KMO değeri elbette düşük çıktı. Ancak bu gerçek bir çalışma değildi, yalnızca bir merak giderme çabasıydı.

Sonuç olarak yapı geçerliği (!) kanıtı faktör analiziyle elde edilmiş ve alt boyutlarının güvenilirliği sırasıyla .59 ve .60 olan bir ölçek (!) geliştirmiş (!) oldum. Bu ölçek hangi psikolojik özelliği ölçüyor, bilmiyorum. Ama size bunun geçerli ve güvenilir (!) bir ölçek olduğuna dair kanıt sunabiliyorum.

Demem odur ki, bir ölçek geliştirebilirsiniz; hatta bu ölçeğe ait Cronbach alfa ve faktör analizi sonuçlarınız da tam istediğiniz gibi çıkabilir. Ancak bunların birer istatistik sonucu olduğunu unutmamak ve ölçek geliştirirken, test geliştirme aşamalarını uygun bir şekilde izlemek gerekir. Aksi halde, neredeyse geçerli ve güvenilir bulduğum ortaya karışık ölçekten (!) çok da farkı olmayan ölçme araçları üretmek işten bile değildir.

İstatistiğin yalnızca bir araç, SPSS’in ise yalnızca bir yazılım olduğunu unutmamamız dileğiyle…

3 thoughts on “Cronbach’ın Gölgesine Sığınmak

  1. Hocam Merhaba;

    McDonalds’ın Omegası Monte Carlo Simülasyon çalışmalarında daha iyi sonuç veriyor. Bir alıntı paylaşayım;
    “McDonald has proposed coefficient omega as an estimate of the general factor saturation of a test. Revelle and Zinbarg (2009) discuss multiple estimates of reliability, Zinbarg, Revelle, Yovel and Li (2005) compare McDonald’s Omega to Chronbach’s alpha and Revelle’s beta. They conclude that omega is the best estimate. (See also Zinbarg et al., 2006)”

  2. Can Bey merhaba,

    Yazınızda ”Tamamen tesadüfi olarak, birbirinden bağımsız maddelerle oluşturduğum ölçeğin (!) güvenilirlik katsayısı .49 çıktı.” ifadesini kullanmışsınız. Tamamen eleştiri ve uyarı içerikli olmasına rağmen görülüyor ki siz de aslında alanyazına dahil olmuş ve geçmiş – neredeyse- tüm ölçek çalışmalarını çürütmüş olan Vahi Bademci’nin yazılarını, kitaplarını hiç okumamuşsınız. Bademci belirtiyor: ” Güvenirlik ve geçerlik, testlerin ya da ölçme araçlarının özellikleri değildir. Güvenirlik gibi geçerlik de, ölçme aracının kendisine değil, ölçümlere işaret eder. Böylelikle, “testin güvenirliği” veya “ölçeğin geçerliği” benzeri ifadeler kullanmak doğru değildir. Güvenilir ya da güvenilmez olan testler veya ölçme araçları değil, bir test ya da ölçme aracından elde edilmiş ölçümlerdir. Dolayısıyla, “ölçüm güvenirliği” ya da “test ölçümlerinin güvenirliği” benzeri ifadeler kullanılmalıdır.” Ayrıntı için bakınız: TÜRK EĞİTİM VE BİLİMİNDE BİLİMSEL DEVRİM:
    TESTLER YA DA ÖLÇME ARAÇLARI GÜVENİLİR VE
    GEÇERLİ DEĞİLDİR, Dicle Üniversitesi Ziya Gökalp Eğitim Fakültesi Dergisi, 16 (2011) 116-132; KUDER-RICHARDSON 20, CRONBACH’IN ALFASI, HOYT’UN VARYANS ANALİZİ, GENELLENİRLİK KURAMI VE ÖLÇÜM GÜVENİRLİĞİ ÜZERİNE BİR ÇALIŞMA, Dicle Üniversitesi Ziya Gökalp Eğitim Fakültesi Dergisi, 17 (2011) 173-193. Şu halde sizin sözlerinize de itimat etmek yanlış olacaktır.

  3. Merhaba Eda hanım,

    Analizlerimizin gruba bağlı olması zaten geçerlilik ve güvenilirliği ölçeğin özelliği olmaktan çıkarıp ölçekten alınan puanların geçerlilik ve güvenilirliği haline getiriyor. Bu konuda sizin ya da Vahi hocamın söylediğininin aksini iddia ettiğim yok. Ayrıca bunu söylemek de bir devrim olmasa gerek.

    Yazının genelinin ölçek geliştirme çalışmalarına eleştiri amacı taşıdığını göz önüne almanızı tavsiye ederim. Ayrıca önemli olanın “ölçeğin geçerliliği” demekten kaçınma değil, klasik test kuramına göre geliştirilmiş ölçeklere ait istatistiklerin gruba bağlı olduğunun farkına varma olduğunu düşünüyorum.

    Benim sözlerime itimat edilmesini talep ediyor da değilim, Prof. Dr. Adnan Erkuş hocamın dediği gibi “BİLİMDE HOCA VE KOCA OLMAZ!”. Dolayısıyla sadece benim değil, kimsenin -hocalarınızın bile- sözüne itimat etmeyiniz, eleştiriniz. Bu sözü bile.

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

Time limit is exhausted. Please reload CAPTCHA.