Özkan Yılmaz

Konular / Gelişim / Öğrenmeyi ölçmek

Öğrenmeyi ölçmek

Harcanan saat bir girdi ölçüsüdür, öğrenildiğini göstermez. Sertifika da bir sınavı geçtiğini gösterir. İkisi de yetkinliğin kanıtı değil; kanıt, ortaya çıkan çıktıdır.

Neden ölçmek gerekiyor

Öğrenme, ilerlemenin kendiliğinden görünmediği alanlardan biridir. Bir kitabı bitirmek, bir eğitime katılmak ya da bir konuyu okumuş olmak, o konuda bir şey yapabildiğin anlamına gelmez — ama ikisi de aynı "tamamlandı" hissini üretir. Bu his, ilerlemenin en yaygın yanılsamasıdır.

Ölçüm iki işe yarıyor. Birincisi, gerçekten ilerleme olup olmadığını gösteriyor. İkincisi ve daha önemlisi, ilerlemenin durduğu noktayı görünür kılıyor; plato dönemi ancak ölçüldüğünde fark ediliyor.

Girdi ölçüleri neden yetmiyor

En kolay ölçülen şeyler girdi tarafındadır: kaç saat çalışıldı, kaç sayfa okundu, kaç eğitime katılındı. Bunlar takip edilmesi kolay olduğu için yaygın kullanılıyor ama hiçbiri öğrenmeyi ölçmüyor.

Girdi ve çıktı ölçülerinin karşılaştırması.
ÖlçüTürüNeyi gösterirNeyi göstermez
Harcanan saatGirdiAyrılan kaynakO sürede ne öğrenildiği
Tamamlanan eğitim sayısıGirdiKatılımAktarılan bilginin kullanılabilirliği
Okunan kaynak sayısıGirdiMaruz kalmaHatırlama ve uygulayabilme
Üretilen çıktıÇıktıFiilen yapılabilen

Aradaki farkı gösteren en net örnek, aynı eğitime katılmış iki kişidir. İkisinin de girdi ölçüsü aynıdır: sekiz saat, bir sertifika. Ancak biri ertesi hafta öğrendiğini kendi verisine uygularken diğeri hiç açmaz. Girdi ölçüsü bu ikisini ayırt edemiyor.

Dört ölçüm seviyesi

Eğitim değerlendirmesinde yaygın kullanılan Kirkpatrick modeli, ölçümü dört seviyeye ayırıyor. Model kurumsal eğitim için geliştirilmiş olsa da kişisel öğrenmeye de doğrudan uygulanabiliyor.

SeviyeNe ölçerNasıl ölçülürÖlçüm zorluğu
1Tepki — memnuniyetEğitim sonu anketiÇok kolay
2Öğrenme — bilgi artışıÖncesi ve sonrası sınavKolay
3Davranış — işe aktarımSahada gözlem, üretilen çıktıZor
4Sonuç — iş üzerindeki etkiKPI değişimiÇok zor
Kurumsal eğitimlerin büyük çoğunluğu birinci seviyede ölçülür ve orada kalır. Memnuniyet anketi ölçmesi en kolay, karar açısından ise en az bilgi veren seviyedir; eğitimi beğenmiş olmak onu kullanacağını göstermez. Üçüncü seviye ise ölçülmesi zor olduğu için çoğu zaman hiç denenmez, oysa eğitimin işe yarayıp yaramadığını söyleyen seviye tam olarak odur.

Çıktı temelli ölçüm

Kişisel öğrenmede uygulanabilir en pratik yaklaşım, her öğrenme kalemini bir çıktıya bağlamaktır. Çıktı, öğrenildiğini kanıtlayan somut bir üründür ve varlığı tartışmaya kapalıdır.

Aynı konu, iki farklı tamamlanma tanımı

KonuBelirsiz tanımÇıktı temelli tanım
Power BI"Power BI öğrenmek"Kendi verimden beslenen, haftalık güncellenen bir pano yayında
Hipotez testi"İstatistik çalışmak"Bir iyileştirme öncesi–sonrası verisine t testi uygulanmış, sonuç raporlanmış
BPMN"Süreç modelleme öğrenmek"3 süreç modellenmiş ve ekip tarafından doğrulanmış
ISO 19011"İç denetçi olmak"1 iç denetim yürütülmüş, bulgular yazılmış ve kapatılmış

Sağ sütundaki tanımların ortak özelliği, tamamlanıp tamamlanmadığının bakılarak görülebilmesidir. "Power BI öğrendim" cümlesi tartışmaya açıktır; yayında bir pano varsa ya vardır ya yoktur.

İkinci özellik, çıktının aynı zamanda bir geri bildirim kaynağı üretmesi. Pano yayına alındığında onu kullanan biri çıkıyor ve eksikleri söylüyor; kitap okunduğunda böyle bir mekanizma oluşmuyor.

Çıktı tanımının üç şartı: gözlemlenebilir · tarihli · birine gösterilebilir

Üçüncü şart, çıktının kişisel bir dosyada kalmasını engelliyor. Gösterilebilir olması hem geri bildirim üretiyor hem de standardı yükseltiyor; kimseye gösterilmeyecek bir çalışma genellikle yarıda bırakılıyor.

Sertifika neyi kanıtlar

Sertifika, öğrenmenin kanıtı olarak en sık kullanılan belge ve tam olarak neyi kanıtladığı konusunda ciddi bir belirsizlik var.

Sertifika türüKanıtladığıKanıtlamadığı
Katılım belgesiEğitimde bulunulduğuÖğrenildiği
Sınav sonucuBelirli bir gün belirli soruların cevaplanabildiğiUygulanabildiği
Uygulamalı değerlendirmeGözlem altında bir işin yapılabildiğiFarklı koşullarda da yapılabildiği
Akredite personel belgelendirmeTanımlı bir yetkinlik şemasına göre değerlendirildiğiBelge tarihinden sonraki gelişme veya gerileme

Son satır ISO/IEC 17024 kapsamındaki personel belgelendirmeye karşılık geliyor ve dördü içinde en güçlüsü, çünkü değerlendirme kriterleri bağımsız bir şema tarafından tanımlanıyor ve belgelendiren kuruluş da akredite ediliyor. Yine de hiçbir sertifika, alındıktan sonraki dönemde yetkinliğin korunduğunu göstermiyor; periyodik yenileme şartlarının varlık nedeni de bu.

Sertifikanın asıl işlevi öğrenmeyi ölçmek değil, üçüncü taraflara sinyal vermektir. İşveren, müşteri veya denetçi karşısında bir dayanak sağlar. Bu işlevi meşrudur ama kişisel gelişimi ölçmek için kullanıldığında yanıltıcı olur; sınavı geçmekle o işi yapabilmek farklı şeylerdir.

Sık karşılaşılan hatalar

Harcanan saati ilerleme sanmak. Süre bir girdi ölçüsüdür ve o sürede ne yapıldığını göstermez. Aynı saat sayısı çok farklı sonuçlar üretebilir.

Tamamlanmayı belirsiz tanımlamak. "Öğrenmek" bitiş koşulu içermeyen bir hedeftir. Her kalem gözlemlenebilir bir çıktıya bağlanmalıdır.

Sertifikayı yetkinlik kanıtı saymak. Sertifika belirli bir tarihte belirli bir değerlendirmeyi geçtiğini gösterir; işi yapabildiğini değil.

Yalnızca birinci seviyede ölçmek. Eğitimden memnun kalmak, o eğitimin işe yaradığını göstermez. Davranış seviyesinde ölçüm zordur ama karar açısından anlamlı olan tek seviyedir.

Çıktıyı kimseye göstermemek. Gösterilmeyen çalışma geri bildirim üretmez ve standardı yükseltmez; ayrıca yarıda bırakılma olasılığı da belirgin biçimde yüksektir.

Ölçümü yalnızca başlangıçta yapmak. İlerleme dönem dönem ölçülmediğinde plato fark edilmez ve aynı seviyede yıllar geçebilir.