Kaan
Yeni Üye
P Küçük 0.01 Ne Demek? İstatistikte Küçük Bir Sayının Büyük Anlamı
Bir araştırma makalesi okurken, özellikle bilimsel bir çalışmanın sonuçlar kısmında, “p < 0.01” ifadesine rastlamak ilk bakışta biraz gizemli gelebiliyor. Açıkçası istatistikle çok içli dışlı olmayan biri için 0.01 sayısı tek başına pek bir şey ifade etmiyor. Oysa bu küçücük ifade, araştırmacıların elde ettikleri sonuçların istatistiksel olarak ne kadar sıra dışı olduğunu değerlendirmelerinde önemli bir rol oynuyor.
Fakat burada çok önemli bir ayrıntı var: p < 0.01, “sonucun %99 doğru olduğu” anlamına gelmez. Bu yanlış yorum o kadar yaygın ki, p değerini anlamanın belki de en önemli kısmı önce bu yanılgıyı ortadan kaldırmak.
NIST'in tanımına göre p değeri, sıfır hipotezinin doğru olduğu varsayımı altında, gözlenen test istatistiği kadar veya ondan daha uç bir sonucun elde edilme olasılığıyla ilgilidir. NIST Computer Security Resource Center+1
Yani p < 0.01 gördüğümüzde aslında şu soruyu soruyoruz:
“Eğer ortada gerçekten düşündüğümüz bir fark veya ilişki yoksa, elimizdeki kadar uç bir sonucu görme ihtimalimiz ne kadar?”
Bu ayrım konunun bütün mantığını değiştiriyor.
P Değeri Tam Olarak Neyi Anlatıyor?
Basit bir örnek üzerinden düşünelim.
Bir araştırmacı yeni bir eğitim yönteminin öğrencilerin sınav başarısını artırıp artırmadığını araştırıyor. Başlangıçta sıfır hipotezini şöyle kurabilir:
H₀: Yeni eğitim yöntemi ile eski yöntem arasında gerçek bir başarı farkı yoktur.
Araştırma yapılıyor ve iki grup arasında belirgin bir fark ortaya çıkıyor. İstatistiksel test sonucunda:
p = 0.008
bulunuyor.
Bu değer 0.01'den küçük olduğu için sonuç, önceden belirlenen anlamlılık düzeyi 0.01 ise, istatistiksel olarak anlamlı kabul edilebilir.
Ama bunu “yeni yöntem %99.2 oranında işe yarıyor” şeklinde okumak hatalıdır.
Aynı şekilde “sıfır hipotezinin yanlış olma ihtimali %99.2” demek de doğru değildir. Amerikan İstatistik Derneği özellikle p değerlerinin hipotezin doğru olma olasılığını vermediğini vurguluyor. Ayrıca p değerinin etki büyüklüğünü veya bir sonucun pratik önemini tek başına ölçmediğini belirtiyor. Default
Bence günlük hayatta p değerini anlamanın en pratik yolu şu:
p değeri, verilerin sıfır hipoteziyle ne kadar uyumsuz göründüğünü değerlendiren bir ölçüdür.
Uyumsuzluk arttıkça p değeri küçülebilir.
P < 0.01 Neden Dikkat Çekici?
0.01, yüzdeye çevrildiğinde %1'e karşılık gelir.
Dolayısıyla p < 0.01, kullanılan testin varsayımları ve sıfır hipotezi altında, gözlenen sonuç kadar veya daha uç sonuçların ortaya çıkma olasılığının %1'den küçük olduğunu ifade eder.
Buradaki “%1”, hipotezin yanlış olma ihtimali değildir.
Bu nedenle şu iki cümle birbirinden tamamen farklıdır:
Yanlış: “p < 0.01 olduğuna göre hipotezin doğru olma ihtimali %99'dur.”
Doğruya yakın yorum: “Sıfır hipotezi doğru kabul edildiğinde, gözlenen sonuç kadar veya daha uç bir sonucun ortaya çıkması p < 0.01 düzeyindedir.”
Bu teknik ayrıntı aslında bilimin nasıl çalıştığına dair daha büyük bir noktayı gösteriyor. Bilimsel araştırmada tek bir sayı genellikle “gerçeği” ilan etmez. Belirsizliği azaltmaya ve elde edilen bulguyu belirli varsayımlar altında değerlendirmeye yardımcı olur.
NIST de p değerinin sıfır hipotezi doğruyken gözlenen test istatistiği kadar veya daha uç bir değerin elde edilmesiyle ilişkili olduğunu açıklıyor. NIST
0.05 ile 0.01 Arasındaki Fark Neden Önemli?
İstatistikte sık duyduğumuz bir başka değer 0.05'tir.
Genellikle:
p < 0.05 → istatistiksel olarak anlamlı
ve
p < 0.01 → daha güçlü istatistiksel kanıt
gibi ifadelerle karşılaşırız.
Ancak ikinci cümleyi de dikkatli kullanmak gerekiyor.
0.01 eşiği, 0.05'ten daha katı bir eşiktir. Bir sonucun p = 0.03 olması 0.05 eşiğine göre anlamlı olabilirken 0.01 eşiğine göre anlamlı olmayabilir.
Örneğin:
- p = 0.08 → 0.05'e göre anlamlı değil
- p = 0.04 → 0.05'e göre anlamlı, 0.01'e göre değil
- p = 0.009 → hem 0.05 hem 0.01 düzeyinde anlamlı
- p = 0.0001 → her iki eşikten de oldukça küçük
Fakat buradan “0.009 kesinlikle çok önemli, 0.011 ise önemsiz” sonucu çıkarılmamalı.
Çünkü doğada ve sosyal bilimlerde gerçek etkiler genellikle keskin çizgilerle 0.009 ve 0.011 diye ayrılmaz.
NIST, 0.10, 0.05 ve 0.01 gibi anlamlılık düzeylerinin pratikte yaygın kullanıldığını, ancak anlamlılık düzeyinin seçiminin bir ölçüde keyfi olduğunu açıkça belirtiyor. NIST
Bence buradaki en ilginç nokta da bu: istatistiksel eşik doğanın bize verdiği sihirli bir sayı değildir; araştırmanın amacı ve hata maliyetleriyle bağlantılı bir karar kuralıdır.
P Değerlerinin Tarihsel Kökeni
P değerinin arkasındaki fikir 20. yüzyılda bir anda ortaya çıkmadı. Olasılıksal akıl yürütmenin daha eski örnekleri bulunuyor. Ancak modern istatistiksel anlamlandırmada Karl Pearson, Ronald Fisher ve daha sonra Neyman-Pearson yaklaşımı önemli rol oynadı.
Özellikle Ronald Fisher'ın 1925'te yayımlanan Statistical Methods for Research Workers adlı çalışması, anlamlılık testlerinin kullanımında büyük bir etki yarattı. 0.05 eşiğinin yaygınlaşmasında da Fisher'ın önemli rolü bulunuyor. Nature
Burada ilginç bir tarihsel ayrıntı var: Günümüzde 0.05 sanki doğanın değişmez bir yasasıymış gibi kullanılsa da tarihsel olarak böyle değildi.
Yani:
“Neden tam olarak 0.05?”
sorusunun cevabı “çünkü evren 0.05'i seçti” değil.
Bu, tarihsel süreç içerisinde yerleşmiş bir istatistiksel uygulamadır.
0.01 de benzer biçimde daha sıkı bir karar eşiği olarak bazı araştırma alanlarında kullanılabilir.
Bir Sonucun p < 0.01 Olması Ne Kadar Önemlidir?
İşte bence konunun en çok gözden kaçırılan kısmı burası.
Diyelim ki iki ilaç grubunun ortalama kan basıncı arasında fark bulundu ve:
p < 0.01
çıktı.
Bu sonuç istatistiksel açıdan dikkat çekici olabilir. Fakat fark yalnızca 0.3 mmHg ise, bunun gerçek hayattaki önemi başka bir sorudur.
Başka bir araştırmada p yine < 0.01 olabilir ama fark 15 mmHg olabilir.
İki sonuç da istatistiksel olarak anlamlı görünebilir; fakat pratik sonuçları aynı değildir.
Amerikan İstatistik Derneği de p değerinin etkinin büyüklüğünü veya pratik önemini ölçmediğini özellikle vurguluyor. Default
Bu yüzden iyi bir araştırmayı değerlendirirken yalnızca:
“p kaç?”
diye sormak yerine şunlara da bakmak gerekiyor:
- Etki büyüklüğü ne?
- Güven aralığı ne kadar geniş?
- Örneklem kaç kişi?
- Araştırma nasıl tasarlandı?
- Sonuç başka çalışmalarda tekrarlandı mı?
- Kaç farklı hipotez test edildi?
- Veri toplama yöntemi güvenilir mi?
- Sonuç gerçek hayatta anlamlı bir değişiklik yaratıyor mu?
İstatistiğin olgun tarafı biraz burada başlıyor.
Örneklem Büyüklüğü P Değerini Nasıl Etkiler?
Burada forumlarda sık sık ortaya çıkan ilginç bir durum var.
Çok büyük örneklemlerde son derece küçük farklar bile düşük p değerleri üretebilir.
Örneğin milyonlarca gözlem içeren bir veri setinde iki grubun ortalaması arasında çok küçük bir fark bulunabilir ve p değeri 0.001'in altına inebilir.
Bu, “bulunan fark çok büyük” demek değildir.
Tam tersine, büyük örneklem küçük farkları bile daha hassas biçimde tespit etmeye yardımcı olabilir.
Küçük örneklemde ise gerçekten önemli bir fark bulunmasına rağmen yeterli istatistiksel güç olmadığı için p değeri 0.01'in üzerinde kalabilir.
Dolayısıyla:
küçük p = büyük etki
eşitliği kurulamaz.
İstatistiksel anlamlılık ile pratik anlamlılık arasındaki ayrım tam olarak burada önem kazanıyor.
Kadınlar ve Erkekler Açısından Farklı Bakışlar Olabilir mi?
Bu konuda kadınlar “empati odaklı”, erkekler “sonuç odaklı” diye kesin kategoriler oluşturmak bilimsel açıdan sağlıklı olmaz. İnsanların istatistiksel sonuçları yorumlama biçimi cinsiyetten çok eğitim, meslek, kültür, kişisel deneyim ve bireysel düşünme tarzıyla değişebilir.
Bununla birlikte forum tartışmasını zenginleştirecek iki farklı yaklaşım hayal edebiliriz.
Bir kişi daha stratejik ve sonuç odaklı düşünüp:
“p < 0.01, karar vermek için yeterince güçlü bir sinyal mi?”
diye sorabilir.
Başka bir kişi ise daha toplumsal bir perspektiften:
“Bu istatistiksel olarak anlamlı fark gerçek insanların hayatında ne değiştirecek?”
diye yaklaşabilir.
Her iki soru da değerlidir.
Örneğin bir sağlık araştırmasında yalnızca istatistiksel anlamlılığa odaklanmak, hastaların yaşam kalitesini gözden kaçırabilir. Öte yandan yalnızca kişisel deneyimlere odaklanmak da sistematik verilerin sağlayabileceği bilgiyi göz ardı edebilir.
Dolayısıyla kadın ve erkeklerin tek tip düşünme biçimlerine sahip olduğu varsayımı yerine, aynı veri üzerinde farklı insanların farklı sorular sorabileceğini kabul etmek daha anlamlıdır.
Bence iyi forum tartışması da tam burada başlıyor.
Ekonomi, Sağlık ve Günlük Hayatta P < 0.01
P değeri yalnızca akademik makalelerde karşımıza çıkmıyor.
Ekonomide bir politika değişikliğinin işsizlik oranıyla ilişkisi araştırılabilir.
Tıpta yeni bir tedavinin sonuçları incelenebilir.
Psikolojide belirli bir davranış ile başka bir değişken arasındaki ilişki test edilebilir.
Eğitimde farklı öğretim yöntemleri karşılaştırılabilir.
Pazarlamada yeni reklam kampanyasının satışlarla ilişkisi araştırılabilir.
Fakat her durumda aynı soru geçerli:
İstatistiksel olarak anlamlı olan şey gerçekten önemli mi?
Bir şirketin reklam kampanyasında p = 0.004 bulunması kulağa etkileyici gelebilir. Fakat satışlardaki artış sadece %0.1 ise, şirketin pazarlama bütçesi açısından bunun anlamı ayrıca hesaplanmalıdır.
Benzer şekilde bir sağlık araştırmasında p < 0.01 bulunması, tedavinin otomatik olarak herkes için faydalı olduğu anlamına gelmez.
İstatistik bir karar destek aracıdır; kararın kendisi değildir.
ASA da bilimsel veya iş/politika kararlarının yalnızca belirli bir p eşiğinin geçilip geçilmesine dayandırılmaması gerektiğini vurguluyor. magazine.amstat.org+1
P < 0.01 Çıkınca Araştırma Kesinleşmiş Olur mu?
Hayır.
Bir araştırmanın p < 0.01 olması, araştırmayı otomatik olarak kusursuz hale getirmez.
Örneğin araştırmacı aynı veri üzerinde çok sayıda test gerçekleştirmiş olabilir. Çok sayıda hipotez test edildiğinde, sırf tesadüf nedeniyle bazı sonuçların küçük p değerleri üretmesi mümkün hale gelir.
Ayrıca örneklem seçimi, ölçüm yöntemi, eksik veriler, model varsayımları ve araştırmanın tasarımı da sonuçların yorumlanmasını etkiler.
Bu nedenle modern bilimde tekrarlanabilirlik konusu oldukça önemli hale geldi.
ASA'nın p değerleri üzerine açıklamasında belirsizlik, değişkenlik, çoklu testler ve tekrarlanabilirlik gibi konuların birlikte değerlendirilmesi gerektiği vurgulanıyor. magazine.amstat.org
Yani tek bir p değeri, araştırmanın bütün hikâyesini anlatmaz.
P < 0.01 Gelecekte Daha Az mı Kullanılacak?
İstatistiksel analiz giderek daha karmaşık hale geliyor. Büyük veri, yapay zekâ, çoklu modelleme ve sürekli veri üretimi klasik p değeri yorumlarının sınırlarını daha görünür hale getiriyor.
Bu, p değerinin tamamen ortadan kalkacağı anlamına gelmiyor.
Daha olası gelişme, p değerinin tek başına karar verme aracı olmaktan ziyade başka göstergelerle birlikte değerlendirilmesi.
Gelecekte araştırma sonuçlarında şu kombinasyonu daha sık görmek şaşırtıcı olmayacaktır:
p değeri + etki büyüklüğü + güven aralığı + örneklem büyüklüğü + önceden belirlenmiş analiz planı + bağımsız tekrar çalışmaları
Bu yaklaşım aslında daha sağlıklı bir bilimsel iletişim biçimi sunuyor.
Çünkü okuyucu yalnızca “istatistiksel olarak anlamlı mı?” sorusunun cevabını değil, “etki ne kadar büyük, belirsizlik ne kadar ve sonuç ne kadar güvenilir?” sorularının cevaplarını da görebiliyor.
Forumda Tartışmaya Değer Birkaç Soru
Burada konu bence istatistikten çıkıp bilim kültürüne kadar uzanıyor.
Bir araştırmada p = 0.009 olduğunda, p = 0.011 olan başka bir araştırmadan gerçekten çok farklı bir bilimsel hikâye mi anlatıyoruz?
Bir çalışmada p < 0.01 bulunması sizi ikna etmeye yeter mi, yoksa etki büyüklüğü ve güven aralığını görmeden sonuç hakkında yorum yapmak istemez misiniz?
Büyük veri çağında milyonlarca gözlem kullanıldığında, istatistiksel anlamlılık ile gerçek hayattaki önem arasındaki fark daha da büyür mü?
Bilim insanlarının sonuçlarını “anlamlı/anlamsız” gibi iki kutuplu ifadeler yerine daha ayrıntılı biçimde aktarması daha mı yararlı olur?
Ve belki en temel soru:
Bir sonucun istatistiksel olarak güçlü görünmesi ile insanların hayatında gerçekten önemli olması arasındaki farkı nasıl ölçmeliyiz?
Sonuç: P < 0.01'i Tek Başına Okumamak Gerekir
“p < 0.01” gördüğümüzde aklımıza gelmesi gereken ilk şey “%99 kesinlik” olmamalı.
Bu ifade, sıfır hipotezi doğru varsayıldığında gözlenen sonuç kadar veya daha uç bir sonucun elde edilmesinin düşük olasılıklı olduğunu gösteren bir istatistiksel değerlendirmedir. NIST Computer Security Resource Center+1
0.01 eşiği, 0.05'e göre daha katı bir anlamlılık düzeyidir. Ancak düşük p değeri tek başına etkinin büyük, önemli, nedensel veya bilimsel olarak kesin olduğunu göstermez.
Asıl güçlü yorum, p değerini araştırmanın tamamıyla birlikte okumaktan geçiyor.
Bir makalede p < 0.01 gördüğümüzde bence en güzel refleks şu olmalı:
“Tamam, burada sıfır hipoteziyle uyumsuz görünen bir sonuç var. Peki etki ne kadar büyük, belirsizlik ne kadar, çalışma nasıl yapıldı ve başka araştırmalar bunu destekliyor mu?”
Çünkü bilimsel düşünmenin asıl gücü tek bir sayıya hayran olmakta değil; o sayının hangi soruya, hangi varsayımlarla ve hangi veriler üzerinden cevap verdiğini sorgulamakta yatıyor.
Ve belki de p değerinin bize öğrettiği en güzel şey bu: İstatistik, kesinlik üretmekten çok belirsizliği daha dürüst biçimde konuşmanın yollarından biridir.
Bir araştırma makalesi okurken, özellikle bilimsel bir çalışmanın sonuçlar kısmında, “p < 0.01” ifadesine rastlamak ilk bakışta biraz gizemli gelebiliyor. Açıkçası istatistikle çok içli dışlı olmayan biri için 0.01 sayısı tek başına pek bir şey ifade etmiyor. Oysa bu küçücük ifade, araştırmacıların elde ettikleri sonuçların istatistiksel olarak ne kadar sıra dışı olduğunu değerlendirmelerinde önemli bir rol oynuyor.
Fakat burada çok önemli bir ayrıntı var: p < 0.01, “sonucun %99 doğru olduğu” anlamına gelmez. Bu yanlış yorum o kadar yaygın ki, p değerini anlamanın belki de en önemli kısmı önce bu yanılgıyı ortadan kaldırmak.
NIST'in tanımına göre p değeri, sıfır hipotezinin doğru olduğu varsayımı altında, gözlenen test istatistiği kadar veya ondan daha uç bir sonucun elde edilme olasılığıyla ilgilidir. NIST Computer Security Resource Center+1
Yani p < 0.01 gördüğümüzde aslında şu soruyu soruyoruz:
“Eğer ortada gerçekten düşündüğümüz bir fark veya ilişki yoksa, elimizdeki kadar uç bir sonucu görme ihtimalimiz ne kadar?”
Bu ayrım konunun bütün mantığını değiştiriyor.
P Değeri Tam Olarak Neyi Anlatıyor?
Basit bir örnek üzerinden düşünelim.
Bir araştırmacı yeni bir eğitim yönteminin öğrencilerin sınav başarısını artırıp artırmadığını araştırıyor. Başlangıçta sıfır hipotezini şöyle kurabilir:
H₀: Yeni eğitim yöntemi ile eski yöntem arasında gerçek bir başarı farkı yoktur.
Araştırma yapılıyor ve iki grup arasında belirgin bir fark ortaya çıkıyor. İstatistiksel test sonucunda:
p = 0.008
bulunuyor.
Bu değer 0.01'den küçük olduğu için sonuç, önceden belirlenen anlamlılık düzeyi 0.01 ise, istatistiksel olarak anlamlı kabul edilebilir.
Ama bunu “yeni yöntem %99.2 oranında işe yarıyor” şeklinde okumak hatalıdır.
Aynı şekilde “sıfır hipotezinin yanlış olma ihtimali %99.2” demek de doğru değildir. Amerikan İstatistik Derneği özellikle p değerlerinin hipotezin doğru olma olasılığını vermediğini vurguluyor. Ayrıca p değerinin etki büyüklüğünü veya bir sonucun pratik önemini tek başına ölçmediğini belirtiyor. Default
Bence günlük hayatta p değerini anlamanın en pratik yolu şu:
p değeri, verilerin sıfır hipoteziyle ne kadar uyumsuz göründüğünü değerlendiren bir ölçüdür.
Uyumsuzluk arttıkça p değeri küçülebilir.
P < 0.01 Neden Dikkat Çekici?
0.01, yüzdeye çevrildiğinde %1'e karşılık gelir.
Dolayısıyla p < 0.01, kullanılan testin varsayımları ve sıfır hipotezi altında, gözlenen sonuç kadar veya daha uç sonuçların ortaya çıkma olasılığının %1'den küçük olduğunu ifade eder.
Buradaki “%1”, hipotezin yanlış olma ihtimali değildir.
Bu nedenle şu iki cümle birbirinden tamamen farklıdır:
Yanlış: “p < 0.01 olduğuna göre hipotezin doğru olma ihtimali %99'dur.”
Doğruya yakın yorum: “Sıfır hipotezi doğru kabul edildiğinde, gözlenen sonuç kadar veya daha uç bir sonucun ortaya çıkması p < 0.01 düzeyindedir.”
Bu teknik ayrıntı aslında bilimin nasıl çalıştığına dair daha büyük bir noktayı gösteriyor. Bilimsel araştırmada tek bir sayı genellikle “gerçeği” ilan etmez. Belirsizliği azaltmaya ve elde edilen bulguyu belirli varsayımlar altında değerlendirmeye yardımcı olur.
NIST de p değerinin sıfır hipotezi doğruyken gözlenen test istatistiği kadar veya daha uç bir değerin elde edilmesiyle ilişkili olduğunu açıklıyor. NIST
0.05 ile 0.01 Arasındaki Fark Neden Önemli?
İstatistikte sık duyduğumuz bir başka değer 0.05'tir.
Genellikle:
p < 0.05 → istatistiksel olarak anlamlı
ve
p < 0.01 → daha güçlü istatistiksel kanıt
gibi ifadelerle karşılaşırız.
Ancak ikinci cümleyi de dikkatli kullanmak gerekiyor.
0.01 eşiği, 0.05'ten daha katı bir eşiktir. Bir sonucun p = 0.03 olması 0.05 eşiğine göre anlamlı olabilirken 0.01 eşiğine göre anlamlı olmayabilir.
Örneğin:
- p = 0.08 → 0.05'e göre anlamlı değil
- p = 0.04 → 0.05'e göre anlamlı, 0.01'e göre değil
- p = 0.009 → hem 0.05 hem 0.01 düzeyinde anlamlı
- p = 0.0001 → her iki eşikten de oldukça küçük
Fakat buradan “0.009 kesinlikle çok önemli, 0.011 ise önemsiz” sonucu çıkarılmamalı.
Çünkü doğada ve sosyal bilimlerde gerçek etkiler genellikle keskin çizgilerle 0.009 ve 0.011 diye ayrılmaz.
NIST, 0.10, 0.05 ve 0.01 gibi anlamlılık düzeylerinin pratikte yaygın kullanıldığını, ancak anlamlılık düzeyinin seçiminin bir ölçüde keyfi olduğunu açıkça belirtiyor. NIST
Bence buradaki en ilginç nokta da bu: istatistiksel eşik doğanın bize verdiği sihirli bir sayı değildir; araştırmanın amacı ve hata maliyetleriyle bağlantılı bir karar kuralıdır.
P Değerlerinin Tarihsel Kökeni
P değerinin arkasındaki fikir 20. yüzyılda bir anda ortaya çıkmadı. Olasılıksal akıl yürütmenin daha eski örnekleri bulunuyor. Ancak modern istatistiksel anlamlandırmada Karl Pearson, Ronald Fisher ve daha sonra Neyman-Pearson yaklaşımı önemli rol oynadı.
Özellikle Ronald Fisher'ın 1925'te yayımlanan Statistical Methods for Research Workers adlı çalışması, anlamlılık testlerinin kullanımında büyük bir etki yarattı. 0.05 eşiğinin yaygınlaşmasında da Fisher'ın önemli rolü bulunuyor. Nature
Burada ilginç bir tarihsel ayrıntı var: Günümüzde 0.05 sanki doğanın değişmez bir yasasıymış gibi kullanılsa da tarihsel olarak böyle değildi.
Yani:
“Neden tam olarak 0.05?”
sorusunun cevabı “çünkü evren 0.05'i seçti” değil.
Bu, tarihsel süreç içerisinde yerleşmiş bir istatistiksel uygulamadır.
0.01 de benzer biçimde daha sıkı bir karar eşiği olarak bazı araştırma alanlarında kullanılabilir.
Bir Sonucun p < 0.01 Olması Ne Kadar Önemlidir?
İşte bence konunun en çok gözden kaçırılan kısmı burası.
Diyelim ki iki ilaç grubunun ortalama kan basıncı arasında fark bulundu ve:
p < 0.01
çıktı.
Bu sonuç istatistiksel açıdan dikkat çekici olabilir. Fakat fark yalnızca 0.3 mmHg ise, bunun gerçek hayattaki önemi başka bir sorudur.
Başka bir araştırmada p yine < 0.01 olabilir ama fark 15 mmHg olabilir.
İki sonuç da istatistiksel olarak anlamlı görünebilir; fakat pratik sonuçları aynı değildir.
Amerikan İstatistik Derneği de p değerinin etkinin büyüklüğünü veya pratik önemini ölçmediğini özellikle vurguluyor. Default
Bu yüzden iyi bir araştırmayı değerlendirirken yalnızca:
“p kaç?”
diye sormak yerine şunlara da bakmak gerekiyor:
- Etki büyüklüğü ne?
- Güven aralığı ne kadar geniş?
- Örneklem kaç kişi?
- Araştırma nasıl tasarlandı?
- Sonuç başka çalışmalarda tekrarlandı mı?
- Kaç farklı hipotez test edildi?
- Veri toplama yöntemi güvenilir mi?
- Sonuç gerçek hayatta anlamlı bir değişiklik yaratıyor mu?
İstatistiğin olgun tarafı biraz burada başlıyor.
Örneklem Büyüklüğü P Değerini Nasıl Etkiler?
Burada forumlarda sık sık ortaya çıkan ilginç bir durum var.
Çok büyük örneklemlerde son derece küçük farklar bile düşük p değerleri üretebilir.
Örneğin milyonlarca gözlem içeren bir veri setinde iki grubun ortalaması arasında çok küçük bir fark bulunabilir ve p değeri 0.001'in altına inebilir.
Bu, “bulunan fark çok büyük” demek değildir.
Tam tersine, büyük örneklem küçük farkları bile daha hassas biçimde tespit etmeye yardımcı olabilir.
Küçük örneklemde ise gerçekten önemli bir fark bulunmasına rağmen yeterli istatistiksel güç olmadığı için p değeri 0.01'in üzerinde kalabilir.
Dolayısıyla:
küçük p = büyük etki
eşitliği kurulamaz.
İstatistiksel anlamlılık ile pratik anlamlılık arasındaki ayrım tam olarak burada önem kazanıyor.
Kadınlar ve Erkekler Açısından Farklı Bakışlar Olabilir mi?
Bu konuda kadınlar “empati odaklı”, erkekler “sonuç odaklı” diye kesin kategoriler oluşturmak bilimsel açıdan sağlıklı olmaz. İnsanların istatistiksel sonuçları yorumlama biçimi cinsiyetten çok eğitim, meslek, kültür, kişisel deneyim ve bireysel düşünme tarzıyla değişebilir.
Bununla birlikte forum tartışmasını zenginleştirecek iki farklı yaklaşım hayal edebiliriz.
Bir kişi daha stratejik ve sonuç odaklı düşünüp:
“p < 0.01, karar vermek için yeterince güçlü bir sinyal mi?”
diye sorabilir.
Başka bir kişi ise daha toplumsal bir perspektiften:
“Bu istatistiksel olarak anlamlı fark gerçek insanların hayatında ne değiştirecek?”
diye yaklaşabilir.
Her iki soru da değerlidir.
Örneğin bir sağlık araştırmasında yalnızca istatistiksel anlamlılığa odaklanmak, hastaların yaşam kalitesini gözden kaçırabilir. Öte yandan yalnızca kişisel deneyimlere odaklanmak da sistematik verilerin sağlayabileceği bilgiyi göz ardı edebilir.
Dolayısıyla kadın ve erkeklerin tek tip düşünme biçimlerine sahip olduğu varsayımı yerine, aynı veri üzerinde farklı insanların farklı sorular sorabileceğini kabul etmek daha anlamlıdır.
Bence iyi forum tartışması da tam burada başlıyor.
Ekonomi, Sağlık ve Günlük Hayatta P < 0.01
P değeri yalnızca akademik makalelerde karşımıza çıkmıyor.
Ekonomide bir politika değişikliğinin işsizlik oranıyla ilişkisi araştırılabilir.
Tıpta yeni bir tedavinin sonuçları incelenebilir.
Psikolojide belirli bir davranış ile başka bir değişken arasındaki ilişki test edilebilir.
Eğitimde farklı öğretim yöntemleri karşılaştırılabilir.
Pazarlamada yeni reklam kampanyasının satışlarla ilişkisi araştırılabilir.
Fakat her durumda aynı soru geçerli:
İstatistiksel olarak anlamlı olan şey gerçekten önemli mi?
Bir şirketin reklam kampanyasında p = 0.004 bulunması kulağa etkileyici gelebilir. Fakat satışlardaki artış sadece %0.1 ise, şirketin pazarlama bütçesi açısından bunun anlamı ayrıca hesaplanmalıdır.
Benzer şekilde bir sağlık araştırmasında p < 0.01 bulunması, tedavinin otomatik olarak herkes için faydalı olduğu anlamına gelmez.
İstatistik bir karar destek aracıdır; kararın kendisi değildir.
ASA da bilimsel veya iş/politika kararlarının yalnızca belirli bir p eşiğinin geçilip geçilmesine dayandırılmaması gerektiğini vurguluyor. magazine.amstat.org+1
P < 0.01 Çıkınca Araştırma Kesinleşmiş Olur mu?
Hayır.
Bir araştırmanın p < 0.01 olması, araştırmayı otomatik olarak kusursuz hale getirmez.
Örneğin araştırmacı aynı veri üzerinde çok sayıda test gerçekleştirmiş olabilir. Çok sayıda hipotez test edildiğinde, sırf tesadüf nedeniyle bazı sonuçların küçük p değerleri üretmesi mümkün hale gelir.
Ayrıca örneklem seçimi, ölçüm yöntemi, eksik veriler, model varsayımları ve araştırmanın tasarımı da sonuçların yorumlanmasını etkiler.
Bu nedenle modern bilimde tekrarlanabilirlik konusu oldukça önemli hale geldi.
ASA'nın p değerleri üzerine açıklamasında belirsizlik, değişkenlik, çoklu testler ve tekrarlanabilirlik gibi konuların birlikte değerlendirilmesi gerektiği vurgulanıyor. magazine.amstat.org
Yani tek bir p değeri, araştırmanın bütün hikâyesini anlatmaz.
P < 0.01 Gelecekte Daha Az mı Kullanılacak?
İstatistiksel analiz giderek daha karmaşık hale geliyor. Büyük veri, yapay zekâ, çoklu modelleme ve sürekli veri üretimi klasik p değeri yorumlarının sınırlarını daha görünür hale getiriyor.
Bu, p değerinin tamamen ortadan kalkacağı anlamına gelmiyor.
Daha olası gelişme, p değerinin tek başına karar verme aracı olmaktan ziyade başka göstergelerle birlikte değerlendirilmesi.
Gelecekte araştırma sonuçlarında şu kombinasyonu daha sık görmek şaşırtıcı olmayacaktır:
p değeri + etki büyüklüğü + güven aralığı + örneklem büyüklüğü + önceden belirlenmiş analiz planı + bağımsız tekrar çalışmaları
Bu yaklaşım aslında daha sağlıklı bir bilimsel iletişim biçimi sunuyor.
Çünkü okuyucu yalnızca “istatistiksel olarak anlamlı mı?” sorusunun cevabını değil, “etki ne kadar büyük, belirsizlik ne kadar ve sonuç ne kadar güvenilir?” sorularının cevaplarını da görebiliyor.
Forumda Tartışmaya Değer Birkaç Soru
Burada konu bence istatistikten çıkıp bilim kültürüne kadar uzanıyor.
Bir araştırmada p = 0.009 olduğunda, p = 0.011 olan başka bir araştırmadan gerçekten çok farklı bir bilimsel hikâye mi anlatıyoruz?
Bir çalışmada p < 0.01 bulunması sizi ikna etmeye yeter mi, yoksa etki büyüklüğü ve güven aralığını görmeden sonuç hakkında yorum yapmak istemez misiniz?
Büyük veri çağında milyonlarca gözlem kullanıldığında, istatistiksel anlamlılık ile gerçek hayattaki önem arasındaki fark daha da büyür mü?
Bilim insanlarının sonuçlarını “anlamlı/anlamsız” gibi iki kutuplu ifadeler yerine daha ayrıntılı biçimde aktarması daha mı yararlı olur?
Ve belki en temel soru:
Bir sonucun istatistiksel olarak güçlü görünmesi ile insanların hayatında gerçekten önemli olması arasındaki farkı nasıl ölçmeliyiz?
Sonuç: P < 0.01'i Tek Başına Okumamak Gerekir
“p < 0.01” gördüğümüzde aklımıza gelmesi gereken ilk şey “%99 kesinlik” olmamalı.
Bu ifade, sıfır hipotezi doğru varsayıldığında gözlenen sonuç kadar veya daha uç bir sonucun elde edilmesinin düşük olasılıklı olduğunu gösteren bir istatistiksel değerlendirmedir. NIST Computer Security Resource Center+1
0.01 eşiği, 0.05'e göre daha katı bir anlamlılık düzeyidir. Ancak düşük p değeri tek başına etkinin büyük, önemli, nedensel veya bilimsel olarak kesin olduğunu göstermez.
Asıl güçlü yorum, p değerini araştırmanın tamamıyla birlikte okumaktan geçiyor.
Bir makalede p < 0.01 gördüğümüzde bence en güzel refleks şu olmalı:
“Tamam, burada sıfır hipoteziyle uyumsuz görünen bir sonuç var. Peki etki ne kadar büyük, belirsizlik ne kadar, çalışma nasıl yapıldı ve başka araştırmalar bunu destekliyor mu?”
Çünkü bilimsel düşünmenin asıl gücü tek bir sayıya hayran olmakta değil; o sayının hangi soruya, hangi varsayımlarla ve hangi veriler üzerinden cevap verdiğini sorgulamakta yatıyor.
Ve belki de p değerinin bize öğrettiği en güzel şey bu: İstatistik, kesinlik üretmekten çok belirsizliği daha dürüst biçimde konuşmanın yollarından biridir.