Quellencodierungstheorem

• Shannon 1948:

  • Eine Quelle mit Entropie HQ kann mit beliebig hoher Wahrscheinlichkeit mit einem Code mit Entropie HK minimal grösser als HQ codiert werden, aber nicht mit einem Code mit kleinerer Entropie als HQ

• Kompression besser als Entropie unmöglich

• Tricks?

Notes: