Vorlesung 03 - Informationstheorie

Datum: 20.10.2025

Ziele

• Signalverarbeitung: Grundlagen und Techniken
• Informationstheorie: Was ist ein Bit?

Drehbuch

Was	Dauer	Material
Wiederholung und Ergänzung: YouTube Couldn't Exist Without Communications & Signal Processing:	10 min	YouTube Crash Course Engineering #42
Informationstheorie: Was ist ein Bit?	30 min	DAVT-03-Information.pdf bis Folie 10 und 3Blue1Brown Video
Aufgabenblatt 03 bearbeiten	10 min	DAVT-Aufgabenblatt03.pdf
Informationstheorie: Was ist Entropie?	10 min	DAVT-03-Information.pdf Folien 11-15
Übersicht der Perspektiven	10 min	DAVT-03-Information.pdf Folien 16 - Ende

Ergebnisse

Tafelbilder

Wir haben verschiedene Möglichkeiten betrachtet, wie man die Zeichen eines Alphabets codieren kann, um Nachrichten zu übertragen.

Wir haben dabei entdeckt, dass ein Code präfixfrei sein sollte, damit die Nachricht eindeutig decodiert werden kann. Wenn man einen Binärbaum verwendet, um die Codierung darzustellen, dann sind präfixfreie Codes solche, bei denen nur Blätter des Baumes als Codewörter verwendet werden.

Um den Informationsgehalt eines Zeichens zu berechnen, benötigen wir die Auftrittswahrscheinlichkeit des Zeichens. Je seltener ein Zeichen auftritt, desto mehr Information steckt in diesem Zeichen. Der Logarithmus hilft uns dabei, diese Beziehung mathematisch zu beschreiben: \(\log_{2}\left({2^6}\right)=6\)

Was man verstanden haben sollte

• Ich weiß, dass Nachrichten aus Zeichen bestehen, die mit einem Alphabet codiert werden.
• Ich verstehe, dass Information in Nachrichten steckt und dass der Informationsgehalt eines Zeichens von seiner Auftrittswahrscheinlichkeit abhängt.
• Ich kenne die formale Definition des Informationsgehalts eines Zeichens und kann ihn berechnen.
• Ich verstehe die Bedeutung von Bits als Maßeinheit für den Informationsgehalt.
• Ich verstehe den Zusammenhang zwischen präfixfreien Codes und Binärbäumen.