Wahrscheinlichkeitsrechnung, Statistik. Quelle S mit Symbolen s1, ..., sn. si hat Wahrscheinlichkeit P(si)=pi. . Informationsgehalt von si:. Gesamtentropie der Quelle: . Voraussetzung: Quelle stationär und gedächtnislos.

Notes:


http://wol.ra.phy.cam.ac.uk/pub/mackay/info-theory/course.html