Vorlesung 03 Informationstheorie

Termin

Montag, 31.03.2025 in Raum i0.14

Ziele

• Signale als Funktionen
• Informationstheorie: Was ist ein Bit?

Drehbuch

Was	Dauer	Material
Wiederholung: Signale als Funktionen	5 min	DAVT-02-SignaleSysteme.pdf
Hörquiz zu Signalen als Funktionen	20 min	MIT lecture (OCW) or YouTube (start at 32:56)
Optional: Bilderquiz	15 min	MIT lecture (OCW) or YouTube (start at 42:05)
Informationstheorie: Was ist ein Bit?	30 min	DAVT-03-Information.pdf bis Folie 10 und 3Blue1Brown Video
Informationstheorie: Was ist Entropie?	10 min	DAVT-03-Information.pdf Folien 11-15
Übersicht der Perspektiven	10 min	DAVT-03-Information.pdf Folien 16 - Ende

Ergebnisse

Es gibt im wesentlichen zwei Herausforderungen für die Kodierung von Signalen:

Herausforderung	Kompression	Fehlerkorrektur
Wikipedia	Datenkompression	Fehlerkorrekturverfahren
Ziel	Effizienz	Verlässlichkeit
Theorien	Shannons Quellencodierungssatz (verlustfrei)	Kanalcodierung
	Rate-Distortion-Theorie (verlustbehaftet)	Kanalkapazität
Algorithmen	Huffman-Code	Hamming Code
	Arithmetische Codierung, CABAC	Reed-Solomon Code
	Lempel-Ziv-Welch	Turbo-Code
Praxis	Bilder: JPEG, GIF
	Video: MPEG-AVC/H.264, H.265, AV1	DVB
	Audio: mp3, aac	GSM

Nächste Woche: Aufgabenblatt 03 - Information DAVT-A03-Information.pdf

Tafelbilder

Ergebnisse der Quizfragen

Gemeinsam konnte jeweils die richtige Arbeit erarbeitet werden. Wir waren also nicht schlechter als die MIT Studierenden. Lösungen finden sich jeweils im Video.

Was man verstanden haben sollte

Es ist wichtig, sich nochmal klar zu machen, wie Signale mathematisch beschrieben werden und wie man diese manuípuliert. Sowohl in einer Dimension in Bezug auf die Zeit, als auch in mehreren Dimensionen (z.B. Bilder).

Außerdem kann es sich lohnen Vorlesungen von Eliteuniversitäten anzuschauen. Auch dort wird nur mit Wasser gekocht und nichts grundlegend anderes gelehrt.