Bilimsel Araştırma Yöntemleri
Hafta 11
Bir Sonucu Doğru Okumak
Ortalama, fark, etki büyüklüğü ve p değeri: bulgu, yorum ve kanıtın sınırı
Prof. Dr. İzzet İNCE Ankara Yıldırım Beyazıt Üniversitesi · Spor Bilimleri Fakültesi · 2026–2027
© Prof. Dr. İzzet İNCE · izzetince.com.tr
1 dk. Bir araştırmanın sonucunu okurken üç soru soracağız: Ne kadar? Şans mı? Önemli mi?
Ders dört bölüm: üç soru ve üç sayı; ortalamanın gizledikleri; bulgu, yorum ve iki hata; bir bulgu ne kadar sağlam. Akışta dört yoklama, sonda sekiz soru var. Bugün hesap az, okuma çok. Süre sıkışırsa etki büyüklüğü tuzakları, güç tablosu ve spor hekimliği dergileri slaytlarını kısa geçin.
14 oyuncu, iki gün
Statik germe gününde ortalama sıçrama 40,6 cm, dinamik ısınma gününde 42,1 cm.
Fark 1,5 cm . On dört oyuncunun on ikisi ısınma gününde daha yüksek sıçradı. Bu fark büyük mü, gerçek mi, önemli mi?
Sonuçlar öğretim amaçlıdır.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
3 dk. Sınıfa üç ayrı soru sorun ve cevapları tahtada üç sütuna yazın: “1,5 cm çok mu?”, “Bu fark şansla çıkmış olabilir mi?”, “Bir basketbolcu için 1,5 cm önemli mi?”
Öğrenciler büyük olasılıkla üç soruyu karıştıracak. Bugünün dersi bu üç sorunun her birinin ayrı bir sayıyla cevaplandığını göstermek.
Bu derste
Ders sonunda şunları yapabileceksiniz
1 Bir sonuca “ne kadar, şans mı, önemli mi?” sorularını sormak.
2 Hipotez testinin mantığını izlemek; p değerini ve güven aralığını doğru cümleyle okumak.
3 Ortalamanın arkasındaki bireysel yanıtı görmek.
4 Bulgu, yorum ve sınırı ayrı yazmak; abartıyı yakalamak.
5 Yayın yanlılığını ve tekrarlanabilirlik sorununu açıklamak.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
BÖLÜM 1
Üç Soru, Üç Sayı
Ne kadar? Şans mı? Önemli mi?
© Prof. Dr. İzzet İNCE · izzetince.com.tr
Önce temel · kavram
Standart sapma
standard deviation · kısaltması SS
Değerlerin ortalamadan ortalama ne kadar uzak durduğu; yayılımın ölçüsü. Küçükse herkes birbirine yakın, büyükse aralarında fark çok.
Örnek: İki takımın sıçrama ortalaması 40 cm. A takımında herkes 38–42 cm arası: SS küçük. B takımında 30 ile 50 cm arası: SS büyük.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
1 dk. Hafta 8'de betimleme yaparken gördük; bugün her slaytta kullanacağız, o yüzden hatırlatıyoruz.
Günlük hayattan: İki otobüs hattının ortalama gecikmesi 5 dakika. Birinde otobüs hep 4–6 dakika geç gelir; ötekinde kimi gün zamanında, kimi gün 15 dakika geç. İkincisinin standart sapması büyüktür; plan yapamazsınız.
Germe örneğinde oyuncular arası SS 2,8 cm. Veriler çan eğrisine benziyorsa oyuncuların yaklaşık üçte ikisi ortalamanın 2,8 cm altı ile 2,8 cm üstü arasındadır.
Bir sonuca sorulan üç soru
Her soruyu ayrı bir sayı cevaplar
Ne kadar? Fark ve etki büyüklüğü.
1,5 cm; oyuncular arası yayılıma göre orta.
Şans mı? p değeri ve güven aralığı.
Bu fark şansla açıklanabilir mi?
Önemli mi? Ölçüm hatası ve sahadaki anlamı.
1,5 cm bir pivota ribaunt kazandırır mı?
© Prof. Dr. İzzet İNCE · izzetince.com.tr
2 dk. Tahtadaki üç sütuna dönün: her sütunun cevabı bu üç kolondan biri. Sonraki üç slayt her birini açıyor.
Ne kadar?
Etki büyüklüğü
effect size · Cohen d
Farkın, kişiler arasındaki doğal farka göre büyüklüğü: fark ÷ standart sapma. 0,2 küçük, 0,5 orta, 0,8 büyük.
Örnek: Fark 1,5 cm, oyuncular arası standart sapma 2,8 cm. 1,5 ÷ 2,8 ≈ 0,55: orta bir etki.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
3 dk. Günlük hayattan: Boyları 150 ile 190 cm arasında değişen bir sınıfta 1 cm fark önemsizdir; herkes 170 ± 1 cm olsaydı 1 cm büyük olurdu.
d birimsizdir; bu yüzden santimetre, saniye, kilogram ve anket puanı aynı cetvelle karşılaştırılabilir. Halter: squat 6 kg daha çok arttı, SS 15 kg → d = 0,40. Kaygı: 4 puan düştü, SS 5 → d = 0,80.
Dikkat: Hopkins'in spor bilimlerinde yaygın ölçeği daha sıkıdır (0,2 küçük, 0,6 orta, 1,2 büyük). Aynı 0,55 Cohen'e göre orta, Hopkins'e göre küçüktür; makalede hangi ölçeğin kullanıldığına bakılır.
Önce temel · etki büyüklüğü sınıfları
d kaç olunca küçük, orta, büyük denir?
Sınıf Cohen d Hopkins d r Sporda örnek
Önemsiz 0,2 altı 0,2 altı 0,1 altı Squat 1,5 kg fark, SS 15 kg → d = 0,1
Küçük 0,2 0,2–0,6 0,1 Squat 3 kg fark, SS 15 kg → d = 0,2
Orta 0,5 0,6–1,2 0,3 Sıçrama 1,4 cm fark, SS 2,8 cm → d = 0,5
Büyük 0,8 1,2–2,0 0,5 Kaygı 4 puan düştü, SS 5 → d = 0,8
Çok büyük — 2,0 üstü 0,7 30 m sprint 0,5 sn fark, SS 0,2 sn → d = 2,5
d: fark ÷ standart sapma; iki grubu ya da önce–sonrayı karşılaştırır. r: korelasyon katsayısı (Hafta 8); iki ölçümün birlikte ne kadar değiştiğini gösterir.
Cohen ve Hopkins: etiketi koyan iki istatistikçi. Hopkins'in ölçeği spor bilimlerinde yaygındır ve daha sıkıdır.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
2 dk. Kaynaklar: Cohen J. Statistical Power Analysis for the Behavioral Sciences, 2. baskı, 1988 (d için 0,2 / 0,5 / 0,8; r için 0,1 / 0,3 / 0,5). Hopkins WG ve ark., Med Sci Sports Exerc 2009 (d için 0,2 / 0,6 / 1,2 / 2,0 / 4,0; r için 0,1 / 0,3 / 0,5 / 0,7 / 0,9). Tablodaki r sütunu iki ölçekte de aynı eşiklerdir; 0,7'yi yalnız Hopkins “çok büyük” diye adlandırır.
Örnek satırları öğretim amaçlı hesaptır: her satırda fark standart sapmaya bölündü. Sınıfa bir satırı birlikte hesaplatın: 1,4 ÷ 2,8 = 0,5.
Aynı 0,5 Cohen'e göre orta, Hopkins'e göre küçüktür. Makalede “orta etki” yazıyorsa hangi ölçeğin kullanıldığı sorulur.
Etki büyüklüğünü okurken
“d = 0,5 orta” demeden önce üç soru
Hangi ölçek?Cohen ya da Hopkins Aynı 0,55 Cohen'e göre orta, Hopkins'e göre küçük.
Hangi standart sapma?kişiler arası ya da farkların Aynı kişiler iki kez ölçüldüyse farkların yayılımı küçüktür; d şişer.
Kaç kişi?küçük örneklem 10–20 kişide d biraz abartılı çıkar; Hedges g bunu düzeltir.
Etiket bağlama bağlıdır: elit sprintte küçük bir d bile madalyayı değiştirebilir.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
2 dk. Cohen (1988) 0,2 / 0,5 / 0,8 eşiklerini “başka bilgi yoksa” kullanılacak kaba ölçüt olarak önerdi; kendisi de alanın kendi ölçütünün yeğleneceğini yazdı. Spor bilimlerinde Hopkins ve arkadaşlarının (2009) ölçeği bu yüzden yaygındır.
İkinci soru öğrencilerin en sık kaçırdığı nokta: germe örneğinde kişiler arası standart sapma 2,8 cm. Aynı oyuncuların iki günü arasındaki farkların standart sapması ise yalnız 1,2 cm. 1,5 ÷ 1,2 ≈ 1,25 olur: aynı veri, iki kat “büyük” etki. Makale hangisini kullandığını yazmalıdır.
Hedges g: küçük örneklemde d'nin hafif abartısını düzelten sürüm; meta-analizlerde standarttır.
Sınıfa: “Makalede yalnız ‘d = 1,2, büyük etki’ yazıyorsa ne sorarsınız?”
Aynı p, farklı etki · öğretim amaçlı hesap
Dört çalışma, dördünde de p ≈ 0,01: etki aynı mı?
Branş Grup başına kişi Fark SS d · anlamı
Sprint30 m süresi 1.350 0,01 sn 0,10 sn 0,1 · önemsiz
Haltersquat, 1 tekrar en çok 150 4,5 kg 15 kg 0,3 · küçük
DayanıklılıkVO₂maks, mL/kg/dk 54 2,5 5 0,5 · orta
Sıçramadikey sıçrama 14 5 cm 5 cm 1,0 · büyük
VO₂maks: vücudun bir dakikada kullanabildiği en çok oksijen. 1 tekrar en çok: bir kez kaldırılabilen en ağır yük.
p'nin küçüklüğü kişi sayısına da bağlıdır. Çok kişiyle önemsiz bir fark da “anlamlı” çıkar. Farkın büyüklüğünü d söyler.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
2 dk. Hesap iki ayrı grup içindir: t ≈ d × √(grup başına kişi ÷ 2). Dört satırda t ≈ 2,6 çıkar; bu da p ≈ 0,01 demektir. Sayılar öğretim amaçlıdır, gerçek çalışma değildir.
Sprint satırını vurgulayın: 2.700 kişilik dev bir çalışma, 0,01 sn'lik farkı “anlamlı” bulur. Futbolda en küçük anlamlı değişim yaklaşık 0,02 sn (sonraki bölüm); 0,01 sn sahada hissedilmez.
Sıçrama satırı tersidir: 28 kişiyle büyük bir etki. Aynı p, çok farklı iki hikâye.
Sınıfa: “Hangi satırdaki program için para harcardınız?”
Tahmin · 1 dakika
Takviye firması: “Çalışmamızda p < 0,001! Ürünümüz çok etkili.” İki grupta 10.000'er kişi var; d = 0,05. En doğru yorum hangisi?
A Etki çok büyük; küçük p bunu kanıtlıyor
B p küçük olduğu için ürün herkese işe yarar
C Fark gerçek olabilir ama çok küçük
D 10.000 kişi azdır; bu sonuç güvenilmez
Doğru: C. Çok kişiyle önemsiz bir fark da çok küçük p verir. d = 0,05, “önemsiz” sınıfının (0,2 altı) bile çok altında.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
1 dk. Oy verdirin, sonra tıklayın. Hesap: t ≈ 0,05 × √5.000 ≈ 3,5; p ≈ 0,0004. A'yı seçen çok olur: “p çok küçük = etki çok büyük” en yaygın yanılgıdır. D tersine yanlış: 10.000 kişi çok fazladır; sorun kişi sayısı değil, etkinin küçüklüğü.
Önce temel · hipotez testinin sözcükleri
Bir sonraki slaytta geçen altı sözcük
Sözcük Ne demek? Germe örneğinde
Sıfır hipoteziH₀ “Fark yok” varsayımı; çürütülmeye çalışılır Germe sıçramayı değiştirmez
Alternatif hipotezH₁ Araştırmacının asıl beklentisi Germe sıçramayı değiştirir
Anlamlılık düzeyiα, “alfa” Göze alınan yanlış alarm payı; çoğunlukla 0,05 Etki yokken 100 testin en çok 5'inde “fark var” demek
Test istatistiğit Fark ÷ şansla beklenen oynama 1,5 cm ÷ 0,33 cm ≈ 4,6
t testieşli ya da bağımsız İki ortalamayı karşılaştıran test; eşli: aynı kişiler iki kez Aynı 14 oyuncu iki günde: eşli
p değeri H₀ doğruysa bu kadar uç bir sonucun olasılığı p < 0,001
Bağımsız t testi: iki ayrı grup karşılaştırılır; ör. kafein alan 10 koşucu ile plasebo alan başka 10 koşucu.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
2 dk. Sıfır hipotezini Hafta 3'te gördük. Burada amaç sözcükleri bir yerde toplamak; ayrıntısı sonraki slaytlarda.
Günlük hayattan α: Kapıdaki alarmı ayarlarken “100 geçişten en çok 5'inde boşuna ötsün” demek. Eşiği düşürürseniz boşuna öten alarm azalır ama gerçek hırsızı kaçırma riski artar (Bölüm 3'teki iki hata).
Test istatistiği bir oran gibidir: sinyal ÷ gürültü. Fark büyük, oynama küçükse oran büyür; oran büyüdükçe p küçülür.
Hipotez testi · mantık
“Fark yok”u varsay, veri buna uyuyor mu bak
1. Sıfır hipoteziH₀ “Germe sıçramayı değiştirmez.” Karşıtı: değiştirir.
2. Eşik öncedenα = 0,05 Veriye bakmadan hata payı seçilir.
3. Test istatistiği Fark, beklenen şans oynamasına bölünür: eşli t testi.
4. p değeri H₀ doğruysa bu kadar uç bir sonuç ne kadar olası?
5. Karar p < α: H₀ reddedilir. Değilse “reddedilemez”; kabul edilmez.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
2 dk. İngilizcesi null hypothesis significance testing (kısaltması NHST): sıfır hipotezi anlamlılık testi. Mantık mahkemedeki gibidir (Hafta 3): sanık masum varsayılır; kanıt güçlüyse masumiyet reddedilir.
Beşinci adım en çok yanlış yazılan cümledir. “H₀ kabul edildi” denmez; “fark gösterilemedi” denir. Kanıt yokluğu, yokluğun kanıtı değildir.
Germe örneğinde test istatistiği: ortalama fark 1,5 cm, şans oynaması (farkların standart sapması ÷ √14) yaklaşık 0,33 cm; oran yaklaşık 4,6. Bu kadar büyük bir oran H₀ altında çok seyrek çıkar: p < 0,001.
Sınıfa: “p = 0,08 çıktı. Rapora ‘germe etkisizdir’ yazabilir miyiz?”
Şans mı?
p değeri
p-value
“Fark yok” doğru olsaydı , sırf şansla bu kadar ya da daha büyük bir fark görme olasılığı.
Örnek: Germe hiçbir şey yapmasaydı, 14 oyuncuda 1,5 cm'lik fark ne sıklıkla çıkardı? Çok seyrek çıkıyorsa p küçüktür.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
3 dk. Günlük hayattan: Bir zar 10 kez üst üste 6 geldi. Zar hileli değilse bunun olma olasılığı çok küçüktür; bu yüzden zardan şüphelenirsiniz.
İki yanlış okuma: (1) “p = 0,03, sonucun %3 şans olduğu demektir.” Değil. (2) “p küçükse fark büyüktür.” Değil: binlerce kişiyle önemsiz bir fark da küçük p verir. p farkın büyüklüğünü söylemez.
Geleneksel eşik 0,05: p < 0,05 ise “istatistiksel olarak anlamlı” denir. “Anlamlı” bir istatistik sözcüğüdür, “önemli” demek değildir.
Yoklama · 1 dakika
Kafein grubunun sprint süresi plasebodan 0,05 sn kısa çıktı; p = 0,03. Bu p değeri ne demektir?
A Sonucun şans eseri çıkma olasılığı %3
B Etkisiz olsaydı bu fark pek olası değildi
C Kafein sprinti kesin olarak 0,05 sn kısaltır
D Fark büyüktür ve sahada çok önemlidir
Doğru: B. p, “fark yok” doğru olsaydı bu sonucu görme olasılığıdır. A en yaygın yanlış okumadır. p büyüklüğü de söylemez: 0,05 sn sahada önemli mi, ayrıca düşünülür.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
3 dk. A'yı seçen çok olacak; normaldir, makalelerde bile bu yanlış yazılır. Farkı şöyle anlatın: p, “sonuç şans mı?” sorusunu değil, “şans olsaydı bu sonuç ne kadar şaşırtıcı olurdu?” sorusunu cevaplar.
Ne kadar kesin?
Güven aralığı
confidence interval · %95 GA
Gerçek farkın büyük olasılıkla içinde bulunduğu aralık. Darsa tahmin kesin, genişse belirsiz.
Örnek: Fark 1,5 cm; aralık yaklaşık 0,8 ile 2,2 cm. Sıfırı içermiyor: fark büyük olasılıkla gerçek.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
2 dk. Günlük hayattan: Hava durumu “yarın 18–22 derece” der. “Yarın 0–40 derece” de doğru olabilir ama işe yaramaz.
Karıştırmayın: Aralığın sıfırı içermesi “etki yok” demek değildir; “etki belirsiz, daha çok veri gerek” demektir.
Güven aralığı p'den daha çok şey söyler: hem şans sorusunu (sıfırı kesiyor mu) hem büyüklüğü (ne kadar büyük olabilir) gösterir.
Önce temel · kavram
En küçük anlamlı değişim
smallest worthwhile change · SWC · “sahada önemli eşik”
Sahada işe yarayacak en küçük değişim. Takım sporlarında sık kullanılan tarif: 0,2 × sporcular arası standart sapma.
Örnek: Futbolda 20 m sprint SS'si 0,10 sn → eşik 0,2 × 0,10 = 0,02 sn. Bundan küçük bir iyileşme maçta fark yaratmaz.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
1 dk. Hafta 6'da gördük; şimdiki grafik ve sorular bu eşiği kullanıyor.
Günlük hayattan: Maaşınız ayda 1 lira artarsa artış gerçektir ama hayatınızı değiştirmez. Değiştirecek en küçük artış ne ise o sizin eşiğinizdir.
Neden 0,2? Etki büyüklüğü sınıflarında “küçük” sınırı 0,2'dir: sporcular arası yayılımın beşte biri. Bazı branşlarda eşik başka yoldan konur: elit yüzmede ve atletizmde yarış sonucunu değiştiren en küçük fark (sporcunun yarıştan yarışa oynamasının yaklaşık 0,3 katı).
Önce temel · kavram
Tipik hata
typical error · ölçümün kendi oynaması
Aynı kişiyi kısa arayla iki kez ölçünce sonuçların olağan oynaması . Değişim bundan küçükse gerçek değil, ölçümün titremesi olabilir.
Örnek: Hiç değişmeyen bir yüzücü, elle tutulan kronometreyle iki kez ölçülünce 100 m'de 0,20 sn kadar farklı süre alabilir.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
1 dk. Hafta 6'nın konusu; burada iki eşiği yan yana koyuyoruz. Bir sporcunun değişimine “gerçek ve önemli” demek için iki şart: değişim tipik hatadan belirgin büyük olmalı ve en küçük anlamlı değişimi geçmeli.
Günlük hayattan: Banyo tartısında arka arkaya iki kez çıkarsınız; 70,2 ve 70,6 kg. Yarım kilo “kazanmadınız”; tartı oynuyor.
0,20 sn bu derste kullanılan öğretim amaçlı değerdir; elektronik dokunmatik panoda oynama çok daha küçüktür.
Önce temel · iki ayrı soru
İstatistiksel olarak anlamlı mı, sahada önemli mi?
İstatistiksel anlamlılık Pratik önem
Sorduğu soru Fark şansla açıklanabilir mi? Fark sahada işe yarar mı?
Baktığı sayı p değeri; GA sıfırı kesiyor mu? Etki büyüklüğü; GA eşiği geçiyor mu?
Kişi sayısı artınca Kolaylaşır: küçük fark da anlamlı olur Değişmez: fark yine aynı fark
Kim karar verir? Önceden seçilen eşik: α = 0,05 Branş bilgisi, antrenör, en küçük anlamlı değişim
Sprint örneği 1.350'şer kişide 0,01 sn: anlamlı Eşik 0,02 sn: önemsiz
Sıçrama örneği 9 kişide 3 cm, GA sıfırı kesiyor: anlamsız 3 cm önemli olabilir: daha çok kişi gerek
Anlamlı bir istatistik sözcüğüdür, “önemli” demek değildir. Raporda ikisi ayrı cümleyle yazılır.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
2 dk. Sonraki grafik bu tabloyu çizer: siyah kesikli çizgi “anlamlı mı?”, yeşil kesikli çizgi “önemli mi?” sorusudur.
Sıçrama satırı öğretim amaçlı örnektir: küçük bir çalışmada fark büyük görünür ama aralık geniştir; “önemsiz” değil, “belirsiz” denir.
Sınıfa: “Bir antrenör için hangi sütun daha önemli? Bir dergi editörü için?”
Aralıkları okumak
Anlamlı ama önemsiz, önemli ama belirsiz
fark yok
sahada önemli eşik
A B C D
anlamlı, önemsiz belirsiz anlamlı, önemli önemi belli değil
0 1 2 3 cm
© Prof. Dr. İzzet İNCE · izzetince.com.tr
3 dk. Her çizgi bir çalışmanın %95 güven aralığı; nokta bulunan fark. İki soru sorun: Sıfırı kesiyor mu (şans)? Yeşil eşiği geçiyor mu (önem)?
A: sıfırı kesmiyor ama tamamı eşiğin altında: anlamlı ama sahada önemsiz (çok kişiyle yapılmış bir çalışma olabilir). B: ortalama büyük ama aralık sıfırı kesiyor: belirsiz, daha çok kişi gerek. C: hem anlamlı hem önemli. D: anlamlı; önemli olup olmadığı belli değil.
Sahada önemli eşik : en küçük anlamlı değişim (smallest worthwhile change, SWC). Takım sporlarında sık kullanılan tarif: 0,2 × sporcular arası SS. Futbolda 20 m sprint SS'si 0,10 sn ise SWC 0,02 sn. Bir sporcunun değişimi ayrıca ölçümün tipik hatasını (aynı kişinin iki ölçümü arasındaki olağan oynama) da aşmalıdır. Grafik öğretim amaçlıdır.
Amerikan İstatistik Derneği bildirgesi · Wasserstein ve Lazar, 2016
p değeri için altı ilke
1 p, verinin bir modelle (ör. “fark yok”) ne kadar uyumsuz olduğunu gösterebilir.
2 p, hipotezin doğru olma ya da sonucun şans olma olasılığı değildir.
3 Karar yalnız p'nin 0,05 eşiğini geçip geçmediğine dayanmamalı.
4 Doğru çıkarım için tüm analizler eksiksiz raporlanmalı.
5 p, etkinin büyüklüğünü ya da önemini ölçmez.
6 p tek başına bir hipotez için iyi bir kanıt ölçüsü değildir.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
3 dk. İngilizce adı American Statistical Association (ASA). Dernek 177 yıllık tarihinde ilk kez belirli bir istatistik yöntem üzerine bildirge yayımladı (The American Statistician, 2016).
Yeşil ilke p'nin ne yaptığını, kırmızılar ne yapmadığını, mavi ise dürüst raporlamayı anlatıyor. Örnek: p = 0,049 ile p = 0,051 neredeyse aynı kanıttır; birine “etkili”, ötekine “etkisiz” demek 3. ilkeye aykırıdır. Dördüncü ilke p-hacking'e karşıdır (Bölüm 3): yalnız anlamlı çıkan testi yazmak bütün p değerlerini anlamsızlaştırır.
Bildirgenin önerisi: p'nin yanında etki büyüklüğü ve güven aralığını raporlamak. Bu dersin ilk bölümündeki üç soru bu öneriyle aynıdır.
Sınıfa: “Bu derste şimdiye kadar hangi ilkeleri gördük?” (2, 5 ve 3.)
BÖLÜM 2
Ortalamanın Gizledikleri
“Ortalama arttı” cümlesi her sporcuyu anlatır mı?
© Prof. Dr. İzzet İNCE · izzetince.com.tr
Gerçek bir araştırma
Aynı antrenman, çok farklı yanıt
Soru Aynı dayanıklılık antrenmanına herkes aynı yanıtı mı verir?
Ne yapıldı 98 aileden 481 sedanter yetişkin 20 hafta bisiklet antrenmanı yaptı; maksimal oksijen kullanımı (VO2 maks) önce ve sonra ikişer kez ölçüldü.
0 → 1 L
Ortalama artış yaklaşık 400 mL/dk; ama kimi hiç gelişmedi, kimi 1 L/dk'dan çok.
Ortalamanın yanında bireysel değişimlerin yayılımına bakın.
Bouchard C, An P, Rice T, ve ark. Familial aggregation of VO2max response to exercise training: the HERITAGE Family Study. J Appl Physiol. 1999;87(3):1003–1008.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
3 dk. HERITAGE aile çalışması, egzersiz fizyolojisinin en çok atıf alan “bireysel yanıt” çalışmalarından biri. Ek bilgi: aileler arası yanıt farkı aile içinin 2,5 katı; kalıtsallık tahmini en çok %47.
Sorun: “Ortalama 400 mL/dk arttı cümlesi yanlış mı?” Hayır, doğru; ama herkesi anlatmaz.
Yazarların her ölçümü iki kez yapması önemli: tek ölçümde ölçme hatası bir kişiyi “yanıtsız” gibi gösterebilir.
Bireysel yanıt
Ortalama 0,06 sn iyileşme; ama noktalara bakın
ölçüm hatası bölgesi
ortalama
7 yanıt veren 3 belirsiz 2 kötüleşen
−0,20 −0,10 0 +0,10 sn
← daha hızlı
© Prof. Dr. İzzet İNCE · izzetince.com.tr
3 dk. 12 hentbolcu, 6 haftalık sprint programı, 30 m süresindeki değişim (öğretim amaçlı). Her nokta bir oyuncu.
Yedisinin iyileşmesi sarı bölgenin (en küçük anlamlı değişim + ölçüm hatası) dışında: yanıt verdi. Üçü bölgenin içinde: değişim ölçümün titremesi kadar; “yanıt vermedi” demek için erken. İkisi kötüleşti: yorgunluk, sakatlık, uyku? Antrenör bu ikisiyle ayrıca konuşur.
Akılda kalsın: “Program işe yaradı” ortalamanın cümlesidir; bir oyuncu için karar, o oyuncunun değişimiyle verilir.
Yoklama · 1 dakika
9 yüzücüde yeni bir dalış tekniği denendi: 15 m süresi 0,08 sn kısaldı; p = 0,21; %95 güven aralığı −0,05 ile +0,21 sn. Hangi yorum doğru?
A Teknik etkisizdir; eski tekniğe dönülmeli
B p büyük olduğu için sonuç yayımlanmamalı
C Etki belirsiz; gerçek etki kaçmış olabilir
D 0,08 sn kısalma olduğu için teknik işe yarar
Doğru: C. Aralık hem küçük bir kötüleşmeyi hem belirgin bir iyileşmeyi içeriyor. 9 kişiyle bu “fark yok” değil, “henüz bilmiyoruz” demektir.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
2 dk. A en çekici yanlış: “anlamlı değil = etkisiz”. B de yanlış: böyle sonuçların yayımlanmaması literatürü olumluya kaydırır (yayın yanlılığı).
BÖLÜM 3
Bulgu, Yorum ve İki Hata
Ölçtüğümüz, çıkardığımız ve yanılabileceğimiz yerler
© Prof. Dr. İzzet İNCE · izzetince.com.tr
Üç katman
Raporda üç cümle ayrı yazılır
Bulgu Yalnız ölçülen; sayı ve birim.
“Germe günü sıçrama 1,5 cm düşüktü.”
Yorum Bulguyu literatürle bağlar.
“Uzun statik germenin kuvveti azaltabileceğini bildiren çalışmalarla uyumlu.”
Sınır Sonuç nereye kadar taşınır?
“Tek takımdaki 14 oyuncu; maç performansı ölçülmedi.”
© Prof. Dr. İzzet İNCE · izzetince.com.tr
3 dk. Karıştırıldığında okuyucu neyin ölçüldüğünü, neyin tahmin edildiğini ayırt edemez.
Abartı (spin) dört biçimde olur: ilişkiden neden çıkarmak (“koşmak depresyonu önlüyor”), hayvandan insana taşımak (fare çalışması), küçük örneklemden kesinlik (“bilim kanıtladı”, 10 oyuncu), sonuçtan öneriye atlamak (“her yaşlı ağırlık kaldırmalı”).
Gerçek veri: Sumner ve ark. (2014, BMJ) 462 üniversite basın bültenini inceledi; bültenlerin %33'ü ilişkisel veriden neden-sonuç cümlesi kuruyordu. Abartı çoğu zaman araştırmaya en yakın basamakta başlıyor.
Kararın iki hatası
Yanlış alarm ve kaçırılan etki
Tip I hata · yanlış alarm
Etki yokken “var” demek.
Örnek: Etkisiz bir toparlanma ceketine bütçe harcamak. Risk %5 (α) kabul edilir.
Tip II hata · kaçırılan etki
Etki varken “yok” demek.
Örnek: 8 cimnastikçiyle “fark yok” bulup işe yarayan programı bırakmak.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
3 dk. Mahkeme benzetmesi (Hafta 3): “Etki yok” sanığın masumiyetidir. Tip I suçsuzu mahkûm etmek, Tip II suçluyu salıvermektir.
İstatistiksel güç (power): gerçek bir etkiyi yakalama olasılığı; en az 0,80 istenir. Güç etkinin büyüklüğüne ve kişi sayısına bağlıdır. d = 0,5 için iki ayrı grupta grup başına yaklaşık 64 kişi gerekir; aynı kişilerin iki kez ölçüldüğü desende toplam yaklaşık 34 kişi yeter.
Elit sporcuda 64 kişi bulunamaz: aynı kişilerle çapraz desen, güvenirliği yüksek ölçüm ve güven aralığıyla yorum.
Önce temel · dört olası karar
Gerçek ve kararımız: dört durum
Gerçekte Kararımız Adı Sporda örnek
Etki yok “Fark yok” Doğru karar Etkisiz ceket takıma alınmadı
Etki yok “Fark var” Tip I hata · α Etkisiz ceket için bütçe harcandı
Etki var “Fark var” Doğru yakalama · güç İşe yarayan sıçrama programı benimsendi
Etki var “Fark yok” Tip II hata · β 8 cimnastikçide fark görülmedi, iyi program bırakıldı
α (alfa): Tip I hata olasılığı; çoğunlukla 0,05. β (beta): Tip II hata olasılığı. Güç = 1 − β: güç 0,80 ise β = 0,20.
Gerçeği bilmeyiz; yalnız kararımızı biliriz. Bu yüzden iki hatanın olasılığı önceden sınırlanır.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
2 dk. Mahkeme benzetmesini tabloya yerleştirin: masum beraat (doğru), masum mahkûm (Tip I), suçlu mahkûm (doğru), suçlu beraat (Tip II).
Günlük hayattan: duman dedektörü. Yemek yaparken ötmesi Tip I (yanlış alarm); gerçek yangında ötmemesi Tip II (kaçırılan). Dedektörü hassaslaştırırsanız Tip II azalır, Tip I artar.
Sınıfa: “Doping testinde hangi hata daha ağır sonuç doğurur?” Temiz sporcuyu suçlamak Tip I; dopingli sporcuyu kaçırmak Tip II. İkisi de ağır; bu yüzden doping laboratuvarları yanlış pozitifi çok düşük tutar.
Önce temel · kavram
İstatistiksel güç
statistical power · 1 − β
Gerçekte var olan bir etkiyi yakalama olasılığı . En az 0,80 istenir: 10 gerçek etkiden 8'ini bulmak.
Örnek: Delikleri iri bir ağ küçük balığı kaçırır. Az kişi iri delikli ağdır: 8 cimnastikçiyle küçük bir etki büyük olasılıkla kaçar.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
1 dk. Gücü artıran üç şey: daha çok kişi, daha büyük etki, daha az ölçüm hatası. Aynı kişileri iki koşulda ölçmek (eşli desen) kişiler arası farkı ortadan kaldırdığı için gücü artırır.
Güç 0,80 demek: gerçek etki varsa 10 çalışmadan 2'si onu yine de kaçırır. Bu yüzden “fark bulunamadı” cümlesi tek başına “etki yok” demek değildir.
Sonraki slayt: istenen güce ulaşmak için kaç kişi gerekir?
İstatistiksel güç · iki ayrı grup
Etki küçüldükçe gereken kişi hızla artar
Güç 0,80 ve yanlış alarm payı 0,05 için gereken kişi sayısı.
d = 0,2küçük etki grup başına ≈ 394 kişi
d = 0,5orta etki grup başına ≈ 64 kişi
d = 0,8büyük etki grup başına ≈ 26 kişi
Aynı kişiler iki kezd = 0,5, eşli desen toplam ≈ 34 kişi
Kişi sayısı veri toplanmadan önce hesaplanır; sonradan değil.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
2 dk. Güç üç şeye bağlıdır: beklenen etkinin büyüklüğü, kişi sayısı ve seçilen α. Beklenen etki literatürden ya da ön çalışmadan alınır. Hesap G*Power gibi ücretsiz programlarla yapılır; araştırma önerisinin yöntem bölümüne yazılır (Hafta 14).
Milli takımda 14 güreşçi, bir kulüpte 6 sprinter vardır. Bu durumda eşli desen, güvenirliği yüksek ölçüm ve güven aralığıyla yorum seçilir; çalışma “ön çalışma” diye adlandırılır.
Gücü düşük çalışmanın ikinci sorunu: anlamlı çıktığında etkiyi abartır. Yalnız şansın büyüttüğü sonuçlar eşiği geçebilir. Bölüm 4'teki tekrar çalışmalarında etkilerin küçülmesinin bir nedeni budur.
Sınıfa: “8 kişilik bir çalışmada d = 1,1 bulundu. Bu sonuca ne kadar güvenirsiniz?”
Çok test, çok yanlış alarm
Etki hiç yokken “bir şey” bulma olasılığı
%5 %23 %40 %64
1 test 5 test 10 test 20 test
Anlamlı çıkana kadar test değiştirmenin adı: p-hacking .
© Prof. Dr. İzzet İNCE · izzetince.com.tr
3 dk. Her test %5 yanlış alarm riski taşır. Hesap: 1 − 0,95k . 20 değişken ölçüp yalnız anlamlı çıkanı yazan biri, etki hiç olmasa da çoğu kez “bir şey” bulur.
p-hacking biçimleri: çok sonuç ölçüp anlamlıyı yazmak; her 5 kişide analiz yapıp p 0,05'in altına inince durmak; alt grup avı (“yalnız kadın U16 kalecilerde etkili”); sonucu bozan sporcuyu gerekçesiz çıkarmak; sonucu görünce hipotezi yeniden yazmak.
Önlem: birincil sonucu ve analiz planını veri toplamadan önce yazmak (ön kayıt; Bölüm 4). Basit düzeltme (Bonferroni): 10 testte eşik 0,005.
Şüpheli araştırma uygulamaları
Anlamlı sonucu “üretmenin” beş yolu
Çok sonuçseçerek yazmak Sprint, sıçrama, çeviklik ölçülür; yalnız anlamlı çıkan yazılır.
Ara bakışdurma kuralı yok Her 5 kişide analiz; p 0,05'in altına inince toplama durur.
Alt grup avı “Yalnız 16 yaş altı kadın kalecilerde etkili.”
Uygun aykırı değer Sonucu bozan sporcu gerekçesiz çıkarılır.
Sonradan hipotezHARKing Sonuç görülünce hipotez yeniden yazılır.
Aykırı değer: ötekilerden çok uzak düşen ölçüm. HARKing: İngilizce “hypothesizing after the results are known”, sonuç bilindikten sonra hipotez kurmak.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
2 dk. Bu uygulamaların ortak adı İngilizce questionable research practices: şüpheli araştırma uygulamaları. Çoğu kötü niyetten değil, “veride bir şey olmalı” inancından doğar. Sonuç aynıdır: yanlış alarm oranı %5'in çok üstüne çıkar.
HARKing: İngilizce “hypothesizing after the results are known”, sonuç bilindikten sonra hipotez kurmak. Keşif amaçlı analiz yasak değildir; yasak olan, onu baştan beklenmiş gibi sunmaktır. Rapora “keşif amaçlı” diye yazılır.
Bilerek yapılan veri uydurma ve çarpıtma ise bilimsel yanıltmadır; Hafta 12'nin konusu.
Sınıfa: “Beşinden hangisini bir öğrenci farkında olmadan yapabilir?”
Yoklama · 1 dakika
Haber: “Haftada 3 kez koşmak depresyonu önlüyor!” Makale: kesitsel anket; düzenli koşanların depresyon puanı daha düşük. Hangi abartı var?
A Hayvan verisini insana taşımak
B Küçük örneklemden kesinlik çıkarmak
C Ölçülmeyen bir sonucu önermek
D İlişkiden neden-sonuç çıkarmak
Doğru: D. Kesitsel anket ilişki gösterir. Depresyonu az olan kişi de daha çok koşuyor olabilir (ters yön; Hafta 8).
© Prof. Dr. İzzet İNCE · izzetince.com.tr
2 dk. Doğru başlık: “Düzenli koşanların depresyon puanı daha düşüktü.” Sınıfa sorun: “Bu başlık neden daha az tıklanır?”
Önce temel · kavram
Mutlak risk · göreli risk
absolute risk · relative risk
Mutlak: 100 kişiden kaçında oluyor? Göreli: bir grupta ötekine göre yüzde kaç daha az ya da çok oluyor?
Örnek: Isınma programıyla hamstring sakatlığı 100 oyuncuda 4'ten 2'ye indi. Göreli: “%50 azaldı.” Mutlak: “100 oyuncuda 2 sakatlık az.”
© Prof. Dr. İzzet İNCE · izzetince.com.tr
1 dk. Abartının en sık yolu yalnız göreli riski yazmaktır: “%50 azalma” kulağa büyük gelir. Aynı sonuç “100 oyuncuda 2 sakatlık az” diye yazılınca okuyucu gerçek büyüklüğü görür. İkisi birlikte yazılır.
Günlük hayattan: Piyango biletini iki tane alırsanız kazanma şansınız “%100 artar”. Ama milyonda birden milyonda ikiye çıkmıştır.
Örnek sayılar öğretim amaçlıdır.
Aynı sonuç, iki cümle · öğretim amaçlı sayılar
“%50 azaldı” kaç sporcuyu korur?
Branş Kontrol → program Göreli azalma Mutlak azalma Bir sakatlığı önlemek için
Futbolhamstring sakatlığı %4 → %2 %50 2 puan 50 oyuncu programa katılmalı
Basketbolayak bileği burkulması %10 → %7 %30 3 puan ≈ 33 oyuncu
Koşustres kırığı %1 → %0,5 %50 0,5 puan 200 koşucu
Puan: iki yüzde arasındaki çıkarma farkı: %4 − %2 = 2 puan. Önlemek için gereken sayı: 100 ÷ mutlak azalma; İngilizce kısaltması NNT.
Futbol ve koşu satırlarında göreli azalma aynı (%50); korunan sporcu sayısı dört kat farklı.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
2 dk. NNT: number needed to treat, “tedavi edilmesi gereken sayı”. Spor hekimliğinde sakatlık önleme programlarında sık kullanılır.
Hesap: 100 ÷ 2 = 50; 100 ÷ 3 ≈ 33; 100 ÷ 0,5 = 200. Yani koşu satırındaki program, bir kırığı önlemek için 200 koşucunun programa katılmasını gerektirir.
Hangi program değerli? Yalnız sayıya bakılmaz: programın süresi, maliyeti ve sakatlığın ağırlığı da hesaba girer. Ama karar ancak mutlak riskle verilebilir.
Tahmin · 1 dakika
Haber: “Yeni ayakkabı stres kırığını %50 azaltıyor!” Çalışmada kırık 1.000 koşucuda 10'dan 5'e indi. Hangi cümle eksiksiz?
A Ayakkabı koşucuların yarısını kırıktan korur
B Risk %1'den %0,5'e indi: 5 kırık az
C Kırık riski 50 puan azaldı; çok büyük etki
D Ayakkabıyı giyen koşucu artık kırık yaşamaz
Doğru: B. Göreli azalma %50, mutlak azalma 0,5 puan. Bir kırığı önlemek için 200 koşucu ayakkabıyı giymeli. C, göreli yüzdeyi puan sanmaktır.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
1 dk. Oy, sonra cevap. A çekici: “%50” sözcüğü “koşucuların yarısı” gibi duyulur. Oysa koşucuların %99'u ayakkabı olmadan da kırık yaşamıyordu.
BÖLÜM 4
Bir Bulgu Ne Kadar Sağlam?
Yayın yanlılığı, tekrar çalışmaları ve ön kayıt
© Prof. Dr. İzzet İNCE · izzetince.com.tr
Geçiş slaytı. Soru: “Dergide yayımlanmış bir sonuç, tekrar yapılınca aynı çıkar mı?”
Önce temel · bu bölümün sözcükleri
Bölüm 4'te geçen beş sözcük
Sözcük Ne demek? Sporda örnek
Meta-analiz Aynı soruyu soran çalışmaların sonuçlarını tek bir ortak sonuçta birleştirmek Kafeinin sprinte etkisi: 20 çalışma, tek ortak d
Huni grafiği Her çalışma bir nokta: etkisi ve büyüklüğü; noktalar iki yana eşit dağılmalı Küçük çalışmalar yalnız sağda: kayıp çalışmalar olabilir
Tekrar çalışmasıreplikasyon Aynı soruyu aynı yöntemle yeni kişilerde yeniden sınamak Germe deneyini başka bir kulüpte yapmak
Tekrarlanabilirlik Bir bulgunun tekrarında da aynı çıkması İki kulüpte de germe sıçramayı düşürdü
Ön kayıt Hipotez ve analiz planını veri toplamadan tarihli olarak kayda geçirmek Tez önerisini veri öncesi danışmana teslim etmek
Hakem: makaleyi yayımlanmadan önce inceleyen, aynı alandaki uzman (Hafta 5).
© Prof. Dr. İzzet İNCE · izzetince.com.tr
2 dk. Meta-analiz ve sistematik derlemeyi Hafta 5'te güven merdiveninin tepesinde gördük. Burada sorumuz: tepedeki bu sonuç neden yanılabilir?
Günlük hayattan meta-analiz: Bir restoranı tek bir yorumla değil, yüz yorumun ortalamasıyla değerlendirirsiniz. Ama yalnız memnun müşteriler yorum yazıyorsa ortalama yanıltır: yayın yanlılığı budur (sonraki slayt).
Ön kaydı Hafta 3'te gördük; Bölüm 4'ün sonunda çözüm olarak geri dönüyor.
Kavram
Yayın yanlılığı
publication bias · file drawer problem
Anlamlı çıkan çalışmaların daha kolay yayımlanması; “fark yok” bulanların çekmecede kalması . Literatür olduğundan olumlu görünür.
Örnek: Bir takviyeyi 10 laboratuvar sınadı; 2'si anlamlı çıktı ve yayımlandı, 8'i yayımlanmadı. Literatürü okuyan, takviyenin işe yaradığını sanır.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
2 dk. İngilizcesindeki “file drawer” çekmece demektir: yayımlanmayan çalışmalar araştırmacının çekmecesinde kalır.
Yayın yanlılığı meta-analizi de bozar: yalnız yayımlanmış çalışmalar birleştirilirse ortak etki şişer. Meta-analizlerde huni grafiği (funnel plot) bu yüzden çizilir: küçük çalışmaların yalnız olumlu tarafta toplanması yanlılık işaretidir.
Bölüm 2'deki yüzücü sorusunu hatırlatın: p = 0,21 çıkan çalışma yayımlanmazsa bu çekmeceye girer.
Sınıfa: “Bir dergi editörü neden ‘fark yok’ sonucunu yayımlamak istemez?”
Gerçek bir araştırma
Yüz çalışma yeniden yapıldı
Soru Yayımlanmış psikoloji bulguları tekrar edilince aynı çıkıyor mu?
Ne yapıldı Üç dergideki 100 çalışma, yüksek güçlü desenle ve özgün materyallerle yeniden yapıldı.
%97 → %36
Özgün çalışmaların %97'si anlamlıydı; tekrarların %36'sı. Etkiler ortalama yarıya indi.
Tek bir anlamlı sonuç, tekrar edilene kadar bir adaydır.
Open Science Collaboration. Estimating the reproducibility of psychological science. Science. 2015;349(6251):aac4716.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
3 dk. Tekrar (replikasyon, İngilizce replication): aynı soruyu aynı yöntemle yeni katılımcılarla yeniden sınamak. Bu çalışma “tekrarlanabilirlik krizi” tartışmasının simgesi oldu.
Ek bulgu: özgün etki büyüklüklerinin yalnız %47'si tekrarın %95 güven aralığı içindeydi. Tekrar başarısını en iyi özgün kanıtın gücü öngördü: özgün p değeri çok küçük olanlar daha sık tekrarlandı.
Sınırlılık ve tartışma: bazı araştırmacılar (Gilbert ve ark., 2016) tekrarların özgün koşullardan farklı yapıldığını ileri sürdü. Yine de etkilerin yarıya inmesi, yayın yanlılığı ve düşük güçle uyumludur.
Sınıfa: “Bu sonuç spor bilimleri için de geçerli olabilir mi?” Bir sonraki slayt.
Spor hekimliği · Büttner ve ark., 2020
Hipotezlerin neredeyse hepsi doğrulanıyor
%82
Dört spor hekimliği dergisinde hipotez bildiren 129 çalışmanın 106 'sı hipotezinin desteklendiğini yazdı.
Ocak–Mayıs 2019 sayıları; yazarlar bu oranı “inanılmayacak kadar yüksek” buldu.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
2 dk. Çalışmanın kendisi ön kayıtlıydı: hipotez ve analiz planı veri toplanmadan Open Science Framework'e yazılmıştı. 106 çalışmanın 75'inde (%70,8) hipotez tümüyle, 28'inde kısmen desteklenmişti.
Neden şüpheli? Araştırmacılar her zaman haklı olsaydı araştırmaya gerek kalmazdı. Gücü düşük çalışmaların bu kadar sık “başarılı” olması, yayın yanlılığı ve şüpheli araştırma uygulamalarıyla açıklanabilir.
Kaynak: Büttner F, Toomey E, McClean S, Roe M, Delahunt E. Br J Sports Med. 2020;54(22):1365–1371.
Sınıfa: “Okuduğunuz son on makalenin kaçında hipotez reddedilmişti?”
Açık bilim
Çözüm: planı veriden önce yaz
Ön kayıt Hipotez, birincil sonuç ve analiz planı veri toplanmadan kayda geçer.
Sonradan hipotez yazmak görünür olur.
Açık veri ve kod Ham veri ve analiz kodu paylaşılır.
Başkası aynı hesabı yeniden yapabilir.
Kayıtlı rapor Dergi yöntemi sonuçtan önce hakemden geçirir.
“Fark yok” çıksa da yayımlanır.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
2 dk. İngilizce adları: preregistration (ön kayıt), open data (açık veri), registered report (kayıtlı rapor). Klinik deneylerde ön kayıt zorunludur (ClinicalTrials.gov gibi kayıt sistemleri); spor bilimlerinde Open Science Framework yaygındır.
Ön kayıt keşif amaçlı analizi yasaklamaz; yalnız hangi analizin planlı, hangisinin sonradan olduğunu ayırır.
Kayıtlı rapor yayın yanlılığına doğrudan çözümdür: kabul kararı sonuçtan önce verildiği için sonuç kararı etkilemez.
Sınıfa: “Bir bitirme projesinde ön kayıt nasıl yapılır?” Cevap: proje önerisindeki hipotez ve analiz planı tarihli olarak danışmana teslim edilir (Hafta 14).
Yoklama · 1 dakika
Bir meta-analiz yalnız yayımlanmış 12 çalışmayı birleştirdi ve bir takviyenin sprinti belirgin iyileştirdiğini buldu. Küçük çalışmaların hepsi olumlu tarafta toplanmış. En olası sorun ne?
A Çalışma sayısı bir meta-analiz için fazlasıyla azdır
B Takviyenin etkisi kesin ama büyüklüğü henüz belirsiz
C Yayımlanmayan sonuçlar etkiyi şişirmiş olabilir
D Küçük çalışmalar her zaman daha büyük etki bulur
Doğru: C. Küçük çalışmaların yalnız olumlu tarafta durması yayın yanlılığının işaretidir: anlamsız çıkan küçük çalışmalar çekmecede kalmış olabilir. A çekici ama yanlış: 12 çalışma birleştirmeye yeter; sorun hangilerinin dahil edildiği.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
1,5 dk. Oy, sonra cevap. Çözüm: kayıt sistemlerinde yayımlanmamış çalışmaları aramak ve kayıtlı raporları dahil etmek. D diyenlere: küçük çalışmalar daha oynaktır; şansla büyük ya da küçük çıkabilir, ama yalnız büyük olanlar yayımlanırsa tablo tek yöne kayar.
Hangi durumda hangisi?
Hangi sonucu nasıl yazarım?
Durum Yazılacak sayılar Örnek cümle
İki grubun farkı fark, %95 GA, d, p Kafein grubu 0,05 sn hızlıydı (%95 GA 0,01–0,09; d = 0,4; p = 0,03).
Aynı kişilerde önce–sonra ortalama değişim, %95 GA, d Sıçrama 1,5 cm arttı (%95 GA 0,8–2,2).
İki ölçümün ilişkisi r, p, kişi sayısı 15 oyuncuda sıçrama ile sprint: r = −0,62; p = 0,014.
Tek sporcunun değişimi değişim, eşik, tipik hata; p değil 0,25 sn iyileşme; eşik 0,30 sn: önemli denemez.
Sakatlık, risk mutlak ve göreli risk birlikte %4'ten %2'ye (2 puan az; göreli %50).
Anlamlı çıkmayan fark fark, %95 GA; “gösterilemedi” Fark 0,08 sn (%95 GA −0,05 ile 0,21); fark gösterilemedi.
Planlanmamış analiz “keşif amaçlı” etiketi Keşif amaçlı analizde esneklik arttı.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
3 dk. Bu tablo dersin pratik özetidir; öğrencilere fotoğrafını çekmelerini söyleyin. Bitirme projesinin bulgular bölümünde (Hafta 13) her satır bir cümle kalıbıdır.
Örnek cümleler bu dersteki öğretim amaçlı örneklerdendir. Korelasyon satırı: 15 kişi, r = −0,62 için p ≈ 0,014. Raporda p genellikle üç ondalıkla verilir; “p < 0,05” yerine kesin değer yazılır.
Sınıfa: “Kafein satırındaki cümleden d'yi çıkarırsak okuyucu neyi bilemez?” Cevap: farkın koşucular arası yayılıma göre ne kadar büyük olduğunu.
SON BÖLÜM
Kendinizi Sınayın
Sekiz soru. Her biri bir durum anlatıyor; bugünkü kavramla çözün.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
Toplam 9 dk. Her soruda yaklaşık bir dakika: sınıf oy versin, sonra şıkka tıklayın ve açıklamayı okuyun.
Soru 1 / 8
Nefes egzersizi yapan grubun kaygı puanı kontrole göre 4 puan düştü; grupların standart sapması 5 puan. Etki büyüklüğü ve Cohen'e göre adı ne?
A d = 0,80; büyük bir etki
B d = 0,80; küçük bir etki
C d = 1,25; çok büyük bir etki
D d = 4; büyük bir etki
Doğru: A. Fark ÷ standart sapma = 4 ÷ 5 = 0,80. Cohen'e göre 0,8 büyüktür. C, bölmeyi ters yapmaktır (5 ÷ 4).
© Prof. Dr. İzzet İNCE · izzetince.com.tr
1 dk. Hopkins ölçeğine göre aynı 0,80 “orta”dır. D, birimli farkı d sanmaktır.
Soru 2 / 8
Yüzücünün 100 m süresi 61,20 sn'den 60,95 sn'ye indi. Takımın standart sapması 1,5 sn, yani en küçük anlamlı değişim 0,30 sn. Kronometrenin tipik hatası 0,20 sn. Yorum?
A Gerçek ve önemli bir iyileşme var
B p değeri bilinmeden hiçbir şey söylenemez
C Değişim eşiğin altında; önemli denemez
D Sporcu kötüleşmiş; yük azaltılmalı
Doğru: C. 0,25 sn, 0,30 sn'lik eşiğin altında ve kronometrenin oynamasına (0,20 sn) çok yakın. Gerçek ve önemli iyileşme denemez.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
1 dk. Çözüm: elektronik dokunmatik pano ve birkaç yarışın ortalaması. B yanlış: tek sporcunun değişimi p ile değil, eşik ve ölçüm hatasıyla yorumlanır.
Soru 3 / 8
Bir kulüp, etkisi aslında olmayan bir toparlanma ceketini bir çalışmada “anlamlı fark” çıktığı için takıma aldı. Bu hangi hatadır?
A Tip II hata; gerçek bir etki kaçırıldı
B Tip I hata; etki yokken “var” dendi
C Düşük güç; çok az kişi ölçüldü
D Yayın yanlılığı; bulgu gizlendi
Doğru: B. Etki yokken “var” demek yanlış alarmdır: Tip I. A tersidir: etki varken onu kaçırmak.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
1 dk. α = 0,05 seçildiğinde, etki yokken yaklaşık 20 testten birinde böyle bir yanlış alarm kabul edilmiş olur.
Soru 4 / 8
Bir çalışmada ana sonucun yanında 11 ikincil değişken test edildi; yalnız biri anlamlı çıktı. En makul yorum hangisi?
A Bu değişkende kesin bir etki vardır
B Kalan on değişkende etki kesinlikle yoktur
C Çok test yapmak bulguyu güçlendirir
D Tek anlamlı sonuç şansla çıkmış olabilir
Doğru: D. Etki hiç yokken 11 testte en az bir yanlış alarm olasılığı yaklaşık %43. Bu sonuç yeni bir çalışmada sınanmalı.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
1 dk. B de yanlış: anlamlı çıkmamak “etki kesinlikle yok” demek değildir. Doğru yaklaşım, birincil sonucu önceden tek olarak belirlemek.
Soru 5 / 8
Bir öğrenci kafeinin 5 km koşu süresine etkisini 2 grup × 8 kişiyle sınamak istiyor; beklenen etki küçük (d ≈ 0,3). En iyi öneri hangisi?
A Aynı koşucularla çapraz desen kurmak
B Anlamlılık eşiğini 0,10'a yükseltmek
C Grupları 8'er kişide bırakmak
D Sonucu kesik eksenli grafikle göstermek
Doğru: A. 8 kişilik gruplarla güç çok düşük; “fark yok” sonucu büyük olasılıkla Tip II hata olur. Aynı kişilerin iki koşulda ölçülmesi gücü artırır.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
1 dk. d = 0,3 için iki ayrı grupta grup başına 170'ten fazla kişi gerekir. B eşiği gevşetir, yanlış alarmı artırır. D bir grafik hilesidir: kesik eksen farkı olduğundan büyük gösterir.
Soru 6 / 8
Bir programdan sonra takımın ortalama sprint süresi 0,06 sn iyileşti. Antrenör “Program herkese işe yaradı” diyor. Bu sonuç için ne eksik?
A Ortalama farkın p değeri
B Programın daha uzun sürmesi
C Oyuncu oyuncu değişimlerin dağılımı
D Kontrol grubunun standart sapma değeri
Doğru: C. Ortalama, bazı oyuncuların hiç gelişmediğini ya da kötüleştiğini gizleyebilir. “Herkes” için bireysel değişimlere bakılır.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
1 dk. HERITAGE çalışmasını hatırlatın: ortalama 400 mL/dk artış, ama kimi hiç gelişmedi. A da faydalı olurdu, ama p yine ortalama hakkındadır; “herkes” iddiasını sınamaz.
Soru 7 / 8
Sahada önemli eşik 1 cm. Dört çalışmanın farkı ve %95 güven aralığı (GA) aşağıda. Hangisinin sonucu hem anlamlı hem sahada önemlidir?
A Fark 2,0 cm; GA 1,4 ile 2,6 cm
B Fark 0,4; GA 0,2 ile 0,6 cm
C Fark 2,0 cm; GA −0,4 ile 4,4 cm
D Fark 1,0 cm; GA 0,3 ile 1,7 cm
Doğru: A. Aralık sıfırı kesmiyor ve tamamı 1 cm'nin üstünde. B anlamlı ama önemsiz; C belirsiz; D'de önem belli değil.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
1 dk. C en çekici yanlış: fark büyük görünüyor. Ama aralık sıfırı içine alıyor; gerçek fark sıfır da olabilir.
Soru 8 / 8
Bir öğrenci 15 değişken ölçtü; yalnız esneklik anlamlı çıktı. Tezine “Hipotezimiz esneklikte iyileşme olacağıydı” yazmak istiyor; plan önceden yazılmamış. Bu nedir?
A Sonradan hipotez kurmak (HARKing)
B Tip II hata; gerçek bir etki kaçırılmış
C Kabul edilebilir; anlamlı sonuç bulunmuş
D Yayın yanlılığı; dergi sonucu reddetmiş
Doğru: A. Sonuç görüldükten sonra hipotezi ona göre yazmaktır. Doğrusu esneklik bulgusunu “keşif amaçlı” diye raporlamak ve yeni çalışmada sınamak. C çekici ama yanlış: 15 testte tek anlamlı sonuç şansla da çıkabilir.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
1 dk. 15 testte etki hiç yokken en az bir yanlış alarm olasılığı yaklaşık %54 (1 − 0,9515 ). Ön kayıt bu durumu baştan önler.
Özet
Bugün beş şey öğrendik
1 Ne kadar? etki büyüklüğü; şans mı? p ve güven aralığı; önemli mi? sahadaki eşik.
2 p, “fark yok” doğru olsaydı bu sonucun ne kadar olası olduğudur.
3 Ortalama herkesi anlatmaz; bireysel değişimlere bakılır.
4 Bulgu, yorum, sınır ayrı yazılır; çok test yanlış alarm üretir.
5 Yayın yanlılığı literatürü olumluya kaydırır; çözüm ön kayıt ve tekrar.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
Derslikten çıkmadan
Germe sonucunu üç cümleyle yazın: bir bulgu, bir yorum, bir sınır.
Gelecek hafta · Hafta 12: Dürüstlük ve Katılımcıya Saygı
Ayrıntılı okuma: Hafta 11 ders notu (lisans destesi) · bulgular tablosu, Hopkins ölçeği, hata çubukları, tekrarlanabilirlik.
© Prof. Dr. İzzet İNCE · izzetince.com.tr
2 dk. Örnek cevap: Bulgu “Germe günü ortalama sıçrama 1,5 cm düşüktü (%95 GA 0,8–2,2 cm).” Yorum “Bu, uzun statik germenin kısa süreli kuvveti azaltabileceğini bildiren çalışmalarla uyumlu.” Sınır “Sonuç tek takımdaki 14 oyuncuya ait; maç performansı ölçülmedi.”
Köprü: Bir araştırmaya başlamadan önce yapılması gereken bir şey var: etik kurul. Gelecek hafta.