Informationstheorie

• Wahrscheinlichkeitsrechnung, Statistik

• Quelle S mit Symbolen s1, ..., sn

• si hat Wahrscheinlichkeit P(si)=pi

• Informationsgehalt von si:

• Gesamtentropie der Quelle:

• Voraussetzung: Quelle stationär und gedächtnislos

Notes: