Digitale AV-Technik
Prof. Uwe Hahne
Sommersemester 2026

Digitale AV-Technik - Aufgabenblatt 03¶

Aufgabe 01¶

Welche Nachrichten enthalten mehr Information? Bringen Sie sie in eine Reihenfolge und begründen Sie ihre Wahl.

"In Los Angeles scheint die Sonne."
"Es schneit in Dubai".
"Es regnet in Furtwangen."

dotted lines

Aufgabe 02¶

Wie hoch ist die Entropie dieser Nachrichten? Berechnen Sie diese mit der Formel

\[ H(X) = \sum_{i=1}^{n} P(x_i)I(x_i) = - \sum_{i=1}^{n} P(x_i) \log_2 P(x_i) \]

"AABBCCDD"
"AAAABCCD"
"AAAAAAAA"

dotted lines

Aufgabe 03¶

Was ist eine gute binäre Codierung dieser Nachrichten? Welche Bitcodes ergeben sich für jedes Zeichen?

"AABBCCDD"
"AAAABCCD"

Hinweise: Das Alphabet besteht nur aus den Zeichen A, B, C und D. Betrachten Sie jede Nachricht einzeln. Verwenden Sie zur Darstellung der Bitcodes Binärbaume. Dabei soll ein Ast immer für die 0 stehen und der andere Ast für die 1. Achten Sie darauf, dass nur an den Blättern des Baumes die Bitcodes stehen, damit ein präfixfreier Code entsteht.

dotted lines

Binärbaum

Aufgabe 04¶

Lesen Sie die folgenden Definitionen bzw. Erklärungen und besprechen Sie diese mit ihren Nachbarn:

Shannons Quellencodierungssatz

Gegeben eine kategoriale Zufallsvariable \(X\) über einem endlichen Quellalphabet \(\mathcal{X}\) und einem Codealphabet \(\mathcal{A}\), gilt für alle eindeutig dekodierbaren Codes \(C : \mathcal{X} \rightarrow \mathcal{A}^*\):

\[ E[\vert C(X)\vert] \geq H(X) \]

In Worten ausgedrückt: der Erwartungswert der Codewortlänge (\(E(\vert C(X)\vert)\)) ist größer oder gleich der Entropie (\(H\)). Der Erwartungswert der Codewortlänge von \(X\) unter einem Code \(C\) - also die mittlere Codewortlänge - gibt an, wie effizient man die Information in \(X\) komprimieren kann. Wenn \(C\) im Durchschnitt kurze Codewörter für jedes aus \(X\) gezogene Symbol erzeugt, dann können wir diese effizienter kommunizieren.

Shannons Quellencodierungssatz besagt, dass die Entropie von \(X\) in gewisser Weise der wahre Informationsgehalt der Zufallsvariablen ist, weil es keinen Code \(C\) gibt, der es ermöglicht, \(X\) über die Entropie von \(X\) hinaus zu komprimieren.

Vereinfacht ausgedrückt:

Angenommen, wir haben eine Nachricht, die aus Symbolen eines bestimmten Alphabets besteht, und wir wollen diese Symbole mit einem Code darstellen. Ein guter Code ist so gestaltet, dass jedes Codewort eindeutig einem Symbol zugeordnet ist, sodass man die Nachricht problemlos wieder entschlüsseln kann.

Shannons Satz besagt, dass die durchschnittliche Länge der Codewörter, die wir für die Symbole der Nachricht verwenden, nicht kürzer sein kann als die Entropie der Nachricht. Die Entropie ist ein Maß dafür, wie viel Information in der Nachricht steckt.

Wenn unser Code besonders effizient ist und kurze Codewörter erzeugt, nähert sich die durchschnittliche Länge der Codewörter der Entropie der Nachricht an. Aber: Wir können die Symbole nicht beliebig weiter komprimieren. Die Entropie ist die untere Grenze – kein Code kann die Nachricht so stark komprimieren, dass die durchschnittliche Länge der Codewörter kleiner ist als die Entropie.

Quelle/Inspiration: Matthew Bernstein

Das beschreibt also, dass die Entropie einer Nachricht die Grenze dafür ist, wie gut wir sie komprimieren können. Wir können den Code effizient gestalten, aber es gibt ein Limit, wie stark wir die Nachricht verkürzen können. Hat ihr Code aus der Aufgabe 03 diese Grenze erreicht? Ist es ein optimaler Code? Vergleichen Sie dazu die durchschnittliche Codelänge mit der in Aufgabe 02 errechneten Entropie.

dotted lines