Vorlesung 03 - Informationstheorie¶
Datum: 30.03.2026
Ziele¶
- Signalverarbeitung: Grundlagen und Techniken
- Informationstheorie: Was ist ein Bit?
Drehbuch¶
| Was | Dauer | Material |
|---|---|---|
| Wiederholung und Ergänzung: YouTube Couldn't Exist Without Communications & Signal Processing: | 15 min | YouTube Crash Course Engineering #42 |
| Informationstheorie: Was ist ein Bit? | 15 min | DAVT-03-Information.pdf bis Folie 10 und 3Blue1Brown Video |
| Aufgabenblatt 03 Aufgaben 01 und 02 bearbeiten | 20 min | DAVT-Aufgabenblatt03.md |
| Informationstheorie: Was ist Entropie? | 10 min | DAVT-03-Information.pdf Folien 11-15 |
| Übersicht der Perspektiven | 10 min | DAVT-03-Information.pdf Folien 16 - Ende |
| Aufgabenblatt 03 Aufgaben 03 und 04 bearbeiten | 20 min | DAVT-Aufgabenblatt03.md |
Ergebnisse¶
Tafelbilder¶
Oft werden eine feste Zahl an Bits pro Zeichen verwendet, z.B. 8 Bits für ASCII oder 16 Bits für Unicode. In diesem Fall würde jedes Zeichen mit der gleichen Anzahl an Bits codiert, z.B. A=00, B=01, C=10, D=11. Das führt zu einer Gesamtzahl von 82=16 Bits für die Nachricht "AAAABCCD". Codiert man aber die Zeichen mit einer variablen Anzahl an Bits, z.B. A=0, B=10, C=110, D=111, dann könnte die Nachricht "AAAABCCD" mit nur 14 + 22 + 32 = 14 Bits codiert werden. Das ist effizienter, da häufigere Zeichen mit weniger Bits codiert werden. Allerdings muss man darauf achten, dass die Codierung eindeutig decodierbar ist, d.h. dass kein Codewort ein Präfix eines anderen Codeworts ist. In diesem Fall ist die Codierung präfixfrei, da kein Codewort mit einem anderen Codewort beginnt. Das ermöglicht eine eindeutige Decodierung der Nachricht.
Hier ist nochmal die Idee der präfixfreien Codes visualisiert.
Was man verstanden haben sollte¶
- Ich weiß, dass Nachrichten aus Zeichen bestehen, die mit einem Alphabet codiert werden.
- Ich verstehe, dass Information in Nachrichten steckt und dass der Informationsgehalt eines Zeichens von seiner Auftrittswahrscheinlichkeit abhängt.
- Ich kenne die formale Definition des Informationsgehalts eines Zeichens und kann ihn berechnen.
- Ich verstehe die Bedeutung von Bits als Maßeinheit für den Informationsgehalt.
- Ich verstehe den Zusammenhang zwischen präfixfreien Codes und Binärbäumen.