Entropi, bilgi teorisinden ödünç alınmış bir fikre dayanır: bir
ölçütteki değerler seçenekler arasında ne kadar düzensiz/öngörülemez
dağılıyorsa, o ölçüt o kadar fazla bilgi taşır. Tersine, bütün seçenekler
neredeyse aynı değeri alıyorsa (düzenli/öngörülebilir) o ölçüt kararı
hemen hiç etkilemez.
1 · Oran normalizasyonu (CRITIC/SD'nin min-max'ından FARKLI)
fayda: pij = xij ⁄ Σi xij
maliyet: pij = (1⁄xij) ⁄ Σi (1⁄xij)
Her sütun, toplamı 1 olan bir olasılık dağılımına çevrilir —
maliyet ölçütünde önce tersi (1⁄x) alınıp öyle normalize edilir, ki büyük
maliyetin küçük "olasılık" alması sağlansın. Bu adım yalnızca pozitif
değerlerle çalışır — sıfır ya da negatif bir hücre varsa hesap
yapılamaz.
2 · Entropi ve ayırt edicilik
ej = −(1 ⁄ ln m) · Σi pij·ln(pij) dj = 1 − ej
Bütün seçenekler bir ölçütte eşit pay alıyorsa (pij = 1/m,
tekdüze dağılım) entropi tam olarak 1 çıkar — bu, bilgi teorisinde
"maksimum belirsizlik" durumudur ve ölçüt hiçbir seçeneği diğerinden
ayırmadığı anlamına gelir; dj = 0 olur, ağırlığı tam olarak
sıfır çıkar. Aynı sonuca CRITIC/SD'de "sabit sütun" kontrolüyle özel
bir kod yazılarak ulaşılırken, burada formülün kendisinden kendiliğinden
çıkar.
3 · Ağırlık
wj = dj ⁄ Σk dk
Düşük entropili (yani ayırt edici) ölçütler yüksek ağırlık alır.
Neyi göremez?
Standart Sapma gibi Entropi de ölçütlere tek tek bakar; ölçütler
arası ilişkiyi hesaba katmaz. Ayrıca CRITIC/SD'nin aksine negatif ya
da sıfır değerlerle çalışmaz — bir ölçütte hiç negatif değer yoksa
bu bir kısıtlama değildir (fiyat, puan, kapasite gibi çoğu gerçek
ölçüt zaten pozitiftir).
Bu sayfada hangi sayı kesir, hangisi ondalık?
Oran (pij) tam kesirlidir — xij pozitif
olduğu için bölme hiçbir zaman sıfıra gitmez. Ama e, d ve ağırlığın
kendisi ln (doğal logaritma) içerdiği için zorunlu olarak
irrasyoneldir; 50 haneli Decimal.ln() ile hesaplanır — aynı
hassasiyet deseni Decimal.sqrt()'ta da (CRITIC/SD'nin σ'sı)
kullanılır.