Neden bu ikisi birlikte
İki yöntem farklı sorulara cevap veriyor gibi görünse de arka planda aynı motoru kullanıyor: toplam değişkenliği, açıklanabilen ve açıklanamayan kısımlarına ayırmak.
SST (toplam kareler toplamı) = SSR
(modelin açıkladığı) + SSE (açıklanamayan artık).
Regresyonda "model" bir doğrudur; ANOVA'da "model" grup ortalamalarıdır. Her ikisinde de test,
açıklanan kısmın açıklanamayana oranına — yani F istatistiğine — bakar.
Hipotez testi sayfasında anlatılan t testi yalnızca iki grubu karşılaştırabilir. Üç veya daha fazla grup söz konusu olduğunda akla ilk gelen çözüm, grupları ikişerli olarak karşılaştırmak oluyor; ancak bu yaklaşım istatistiksel olarak hatalıdır. Dört grup için altı ayrı test yapmak gerekir ve her testte %5 yanlış anlamlılık riski alındığında, en az birinde yok yere anlamlılık bulma olasılığı %26'ya kadar çıkar. ANOVA aynı soruyu tek bir testle cevaplayarak bu birikimi ortadan kaldırır.
Basit doğrusal regresyon
Veriye y = b₀ + b₁x biçiminde bir doğru uydurur. Buradaki b₁ eğimdir ve x bir birim arttığında y'nin ne kadar değiştiğini gösterir; b₀ ise doğrunun y eksenini kestiği noktadır.
Katsayılar en küçük kareler yöntemiyle belirlenir: her gözlemin doğrudan sapması alınır, kareleri toplanır ve bu toplamı en küçük yapan doğru seçilir. Kare almanın nedeni burada da eksi ve artı sapmaların birbirini götürmesini engellemektir.
| Büyüklük | Formülü | Anlamı |
|---|---|---|
| b₁ | Sxy ÷ Sxx | Eğim |
| b₀ | ȳ − b₁x̄ | Kesim |
| r² | SSR ÷ SST | y'deki değişkenliğin modelce açıklanan oranı |
| s | √MSE | Tahminin standart hatası — y biriminde |
Regresyon — çözümlü örnek
Günlük gönderi adedi ve kurye mesai saati
12 günlük veri: gönderi adedi (x) ve toplam kurye çalışma saati (y).
Sxx = 649.691,7 · Syy = 4.010,25 · Sxy = 50.172,5
b₁ = 50.172,5 ÷ 649.691,7 = 0,077225
b₀ = 126,75 − 0,077225 × 1.579,17 = 4,799
Model: mesai saati = 4,799 + 0,077225 × gönderi adedi
ANOVA tablosu
| Kaynak | Kareler toplamı | sd | Kareler ortalaması | F |
|---|---|---|---|---|
| Regresyon (açıklanan) | 3.874,576 | 1 | 3.874,576 | 285,58 |
| Artık (açıklanamayan) | 135,674 | 10 | 13,5674 | |
| Toplam | 4.010,250 | 11 |
F = 3.874,576 ÷ 13,5674 = 285,58 · Fkritik(0,05; 1; 10) = 4,965
p = 1,11 × 10⁻⁸ ⇒ model anlamlı
s = √13,5674 = 3,683 saat · t(b₁) = 0,077225 ÷ 0,00457 = 16,90
Yorumlama
Eğim: gönderi adedi 1.000 arttığında mesai 77,23 saat artıyor. Yani gönderi başına yaklaşık 4,63 dakika kurye zamanı.
Kesim: b₀ = 4,80 saat. Matematiksel olarak "sıfır gönderide 4,8 saat" demek ama bu yorum yapılmamalı — veri aralığı 1.180–1.930 arası, sıfır bu aralığın çok dışında. Kesim noktası burada sadece doğrunun konumunu belirleyen bir sabittir.
r² = 0,9662: mesai saatindeki değişkenliğin %96,6'sı gönderi adediyle açıklanıyor. Kalan %3,4 hava, trafik, adres yoğunluğu gibi modele girmeyen etkenler.
s = 3,683 saat: tahminin tipik sapması. Model 120 saat dediğinde gerçek değerin kabaca 113–128 aralığında olmasını bekleriz.
x = 2.100 → tahmin = 166,97 saat ← ekstrapolasyon
Tek yönlü ANOVA
Üç veya daha fazla grubun ortalamalarının birbirine eşit olup olmadığını tek bir testle sınar. Adındaki "varyans analizi" ifadesi yanıltıcı gelebilir; test ortalamaları karşılaştırır, bunu yaparken varyansları kullanır.
H₀: tüm grup ortalamaları eşittir. H₁: en az biri diğerlerinden farklıdır.
Testin mantığı iki değişkenliğin oranına dayanır: gruplar arasındaki fark, grupların kendi içindeki doğal dağılıma kıyasla belirgin biçimde büyükse, o farkın tesadüfle açıklanması zorlaşır. F istatistiği tam olarak bu oranı hesaplar.
Önemli sınırlama: ANOVA "bir fark var" der, hangi grubun farklı olduğunu söylemez. Bunun için Tukey HSD gibi bir çoklu karşılaştırma testi gerekir.
ANOVA — çözümlü örnek
Dört şubenin teslim süresi karşılaştırması
Her şubeden 6 ölçüm (gün cinsinden teslim süresi).
| Şube | n | Ortalama |
|---|---|---|
| A | 6 | 3,350 |
| B | 6 | 4,150 |
| C | 6 | 3,400 |
| D | 6 | 3,983 |
| Genel | 24 | 3,721 |
| Kaynak | KT | sd | KO | F |
|---|---|---|---|---|
| Gruplar arası | 2,9612 | 3 | 0,9871 | 35,36 |
| Gruplar içi (hata) | 0,5583 | 20 | 0,02792 | |
| Toplam | 3,5196 | 23 |
F = 0,9871 ÷ 0,02792 = 35,36
Fkritik(0,05; 3; 20) = 3,098 · p = 3,45 × 10⁻⁸
η² (etki büyüklüğü) = 2,9612 ÷ 3,5196 = 0,8414
Karar: 35,36 > 3,098 ve p ≪ 0,05. H₀ reddedilir — şubeler arasında teslim süresi bakımından anlamlı fark var.
η² = 0,8414: teslim süresindeki değişkenliğin %84,1'i hangi şubede olunduğuyla açıklanıyor. Bu çok yüksek bir etki büyüklüğü ve şubeler arası uygulama farkının ciddi olduğunu gösteriyor.
Sonraki adım: Ortalamalara bakıldığında B (4,150) ve D (3,983) diğer ikisinden belirgin yüksek. Ama bu göz kararıdır; hangi çiftlerin gerçekten farklı olduğunu söylemek için Tukey HSD gerekir. Ardından kök neden analizi: B şubesinde ne farklı yapılıyor?
Sık karşılaşılan hatalar
- Veri aralığı dışına tahmin yapmak. Model yalnızca gözlenen aralıkta geçerlidir.
- Yüksek r²'yi nedensellik sanmak. r² = 0,97 ilişkinin güçlü olduğunu söyler, x'in y'ye sebep olduğunu değil.
- Artıkları incelememek. Artıkların x'e karşı grafiği örüntü gösteriyorsa ilişki doğrusal değildir; r² yüksek olsa bile model yanlıştır.
- ANOVA yerine ikişerli t testi yapmak. 4 grup için 6 test, yanlış anlamlılık riskini %5'ten %26'ya çıkarır.
- ANOVA'dan sonra durmak. ANOVA hangi grubun farklı olduğunu söylemez; çoklu karşılaştırma testi gerekir.
- Etki büyüklüğüne bakmamak. Büyük örneklemde küçük ve önemsiz farklar da anlamlı çıkar; η² veya r² olmadan tablo eksiktir.