Eine sanfte Einführung in die Informationstheorie

Die Informationstheorie ist die Wissenschaft vom Messen, Speichern und zuverlässigen Übertragen von Information — und sie begann mit einer einzigen Arbeit von Claude Shannon aus dem Jahr 1948. Ihre Ideen treiben still alles an, vom Signal deines Handys bis zur Fehlerkorrektur in einem QR-Code.

Vor 1948 war "Information" ein unscharfes, alltägliches Wort. Dann veröffentlichte ein Ingenieur der Bell Labs namens Claude Shannon eine Arbeit, die ihm eine präzise mathematische Bedeutung gab und fast über Nacht ein ganzes Fachgebiet begründete. Dieser sanfte Rundgang behandelt seine großen Ideen — das Bit, die Entropie, die Kanalkapazität, das Rauschen und die Redundanz — und zeigt, wie sie direkt dazu führen, dass ein beschädigter QR-Code trotzdem scannt. 🐾

Wer begründete die Informationstheorie?

Claude Shannon begründete die Informationstheorie mit seiner Arbeit "A Mathematical Theory of Communication" von 1948. Darin tat er etwas Bemerkenswertes: Er trennte die Bedeutung einer Nachricht von der Menge der Information, die sie trägt, und zeigte, dass sich diese Menge messen, vorhersagen und technisch gestalten lässt.

Diese Trennung war der Schlüssel, der das digitale Zeitalter aufschloss. Indem Shannon Information als messbare Ressource behandelte — wie Energie oder Masse — machte er es möglich, präzise darüber nachzudenken, wie viel sich durch einen Draht quetschen, auf einer Scheibe speichern oder in ein kleines schwarz-weißes Quadrat drucken lässt.

Was ist ein Bit?

Shannon gab uns das Bit als die fundamentale Informationseinheit. Ein Bit ist die Informationsmenge in einer einzigen Wahl zwischen zwei gleich wahrscheinlichen Ausgängen — ein Wurf einer fairen Münze, eine mit Ja oder Nein beantwortete Frage.

Das ist eine subtile, mächtige Idee: Information wird daran gemessen, wie viel Ungewissheit sie beseitigt. Die Antwort auf eine 50/50-Frage zu erfahren gibt dir genau ein Bit. Das Bit ist heute die universelle Währung der digitalen Welt, und es ist dasselbe Bit, das als dunkles oder helles Quadrat in einem QR-Code erscheint — siehe Binär, Bits und Bytes, wie Bits sich zu allem anderen aufbauen.

Was ist Entropie?

Entropie ist in Shannons Sinne ein Maß für Ungewissheit — wie unvorhersehbar eine Nachricht im Durchschnitt ist. Je ungewisser oder überraschender die Ausgänge, desto höher die Entropie und desto mehr Information trägt jede Nachricht.

Ein anschauliches Beispiel: Wenn ein Freund immer "bin unterwegs" schreibt, tragen diese Nachrichten fast keine Information, weil du sie vorhersagen kannst. Sind seine Nachrichten aber unvorhersehbar, sagt dir jede etwas wirklich Neues — höhere Entropie. Die Entropie setzt eine harte Untergrenze dafür, wie stark man Daten komprimieren kann: Man kann eine Nachricht nicht unter ihre Entropie quetschen, ohne Information zu verlieren.

Entropie misst Überraschung. Eine Nachricht, die du hättest erraten können, trägt wenig Information; eine, die du nicht hättest erraten können, trägt viel. Genau deshalb komprimiert sich vorhersehbarer Text so gut.

Was ist ein Kanal und was ist Rauschen?

Shannon modellierte Kommunikation als das Senden einer Nachricht durch einen Kanal — jedes Medium, das Information vom Sender zum Empfänger trägt. Eine Telefonleitung, eine Funkverbindung, ein Glasfaserkabel und sogar ein gedruckter QR-Code, der von einer Kamera gelesen wird, sind allesamt Kanäle.

Das Problem ist, dass reale Kanäle verrauscht sind. Rauschen ist alles, was das Signal unterwegs verfälscht: Rauschen auf einer Leitung, Störungen in der Luft, ein Fleck auf einem gedruckten Etikett. Rauschen ist der Grund, warum Nachrichten verstümmelt ankommen, und damit umzugehen ist eines der zentralen Probleme, das Shannon zu lösen antrat.

Was ist die Kanalkapazität?

Eines von Shannons tiefsten Ergebnissen ist die Kanalkapazität: Jeder Kanal hat eine maximale Rate, mit der Information zuverlässig durch ihn gesendet werden kann, egal wie clever deine Codierung ist. Schiebst du Daten schneller als die Kapazität, werden Fehler unvermeidlich; bleibst du darunter, kannst du — erstaunlicherweise — die Fehlerrate so niedrig treiben, wie du willst.

Das war damals eine verblüffende Behauptung. Sie besagte, dass Rauschen dich nicht zwingt, Fehler zu akzeptieren; es begrenzt nur deine Geschwindigkeit. Unterhalb der Kapazität ist nahezu perfekte Kommunikation über einen verrauschten Kanal möglich. Der Haken — und das Schöne — ist das Wie: mit Redundanz.

Wie ermöglicht Redundanz Zuverlässigkeit?

Hier ist Shannons praktischste Gabe. Er zeigte, dass man durch das Hinzufügen sorgfältig strukturierter Redundanz — zusätzlicher Information über die nackte Nachricht hinaus — Daten gegen Rauschen schützen und sie selbst nach Verfälschung wiederherstellen kann. Das ist das theoretische Fundament unter allen fehlerkorrigierenden Codes.

Redundanz klingt verschwenderisch, aber sie ist der Preis der Zuverlässigkeit, und Shannon bewies, dass der Preis es wert ist. Ein wenig Zusätzliches, gut gewählt, lässt einen Empfänger Fehler erkennen und sogar reparieren, ohne je eine erneute Übertragung zu verlangen. Die praktischen Verfahren, die dieses Versprechen einlösen — von Hamming-Codes bis zu Reed–Solomon-Codes — sind technische Antworten auf Shannons theoretische Frage.

Wie hängt die Informationstheorie mit QR-Codes zusammen?

Ein QR-Code ist eine winzige, gedruckte Verkörperung von Shannons Ideen. Die Information wird in Bits gemessen — sichtbar als dunkle und helle Module. Der "Kanal" ist der Code, der in der Welt sitzt, und eine Kamera, die ihn liest, und das Rauschen ist alles, was schiefgehen kann: Kratzer, Flecken, schlechtes Licht, ein in die Mitte gesetztes Logo.

Um dieses Rauschen zu überstehen, tragen QR-Codes Redundanz genau so, wie Shannon es vorschrieb. Zusätzliche Fehlerkorrekturdaten sind ins Raster eingewoben, sodass die ursprüngliche Nachricht selbst dann rekonstruiert werden kann, wenn ein Teil des Codes verloren ist. Das Ergebnis: Ein QR-Code kann ein Stück von sich verlieren und trotzdem dekodieren — eine direkte, alltägliche Demonstration zuverlässiger Kommunikation über einen verrauschten Kanal. Die Mechanik ist in QR-Code-Fehlerkorrektur dargelegt.

Shannons Konzept	Im QR-Code
Bit	Ein dunkles oder helles Modul
Kanal	Der gedruckte Code und die scannende Kamera
Rauschen	Kratzer, Flecken, Blendung, ein Logo
Redundanz	Fehlerkorrektur-Codewörter im Raster

Warum ist die Informationstheorie noch immer wichtig?

Shannons Rahmenwerk erklärte nicht nur die Technik seiner Zeit — es setzte seither die Grundregeln für all das. Jedes Mal, wenn du ein Video streamst, das puffert statt einzufrieren, ein Gespräch führst, das klar bleibt, während die Balken schwinden, oder einen Code bei schwachem Licht scannst, profitierst du von Ingenieuren, die innerhalb der von ihm definierten Grenzen arbeiten. Das Bit, die Entropie und die Kanalkapazität sind keine Abstraktionen, die Staub ansetzen; sie sind die Maßstäbe, nach denen Modems, Speicher und Codes noch immer entworfen und beurteilt werden. Sie zu verstehen gibt dir eine Linse auf die gesamte digitale Welt: Information ist eine messbare Ressource, Rauschen ist der Feind, und clevere Redundanz ist der zuverlässige Weg zum Sieg.

Informationstheorie in einem Satz

Shannons Informationstheorie misst Information in Bits, quantifiziert Ungewissheit als Entropie, setzt ein zuverlässiges Tempolimit namens Kanalkapazität und zeigt, dass Redundanz das Rauschen zähmt — genau das Rezept, das einen zerkratzten QR-Code seine Nachricht trotzdem übermitteln lässt.

Willst du ein Stück Informationstheorie in der Hand halten? Du kannst mit QR Puppy einen kostenlosen QR-Code erstellen und Bits, Kanäle und Redundanz am Werk sehen.

Häufig gestellte Fragen

Wer erfand die Informationstheorie und wann?

Claude Shannon begründete sie in seiner Arbeit "A Mathematical Theory of Communication" von 1948. Dieses eine Werk führte das Bit, die Entropie und die Kanalkapazität ein und schuf das Fachgebiet praktisch mit einem Schlag.

Was ist Entropie einfach ausgedrückt?

Es ist ein Maß für Ungewissheit oder Überraschung in einer Nachricht. Hoch vorhersehbare Nachrichten haben niedrige Entropie und tragen wenig Information, unvorhersehbare haben hohe Entropie und tragen mehr — weshalb sich vorhersehbare Daten auch gut komprimieren.

Was ist die Kanalkapazität?

Die maximale Rate, mit der Information zuverlässig durch einen Kanal gesendet werden kann. Bleib darunter, und du kannst Fehler mit guter Codierung so selten machen, wie du willst; überschreite sie, und Fehler werden unvermeidlich, egal wie clever du bist.

Wie hilft Redundanz gegen Rauschen?

Strukturierte Zusatzinformation hinzuzufügen lässt einen Empfänger Verfälschungen ohne erneute Übertragung erkennen und reparieren. Shannon bewies, dass genau das zuverlässige Kommunikation über verrauschte Kanäle möglich macht, und es ist die Grundlage jedes fehlerkorrigierenden Codes.

Was hat die Informationstheorie mit QR-Codes zu tun?

Ein QR-Code ist Shannons Modell in physischer Form: Bits sind Module, der Kanal ist der Code plus eine Kamera, Rauschen ist Schaden, und Redundanz ist die Fehlerkorrekturdaten. Deshalb scannt ein teilweise beschädigter Code trotzdem.