Shannons Informationstheorie

Claude Elwood Shannon:
A Mathematical Theory of Communication (1948)

Schematische Darstellung:

- Die Nachrichtenquelle (Information Source), Mensch oder Maschine, wählt aus einem Repertoire von Nachrichten eine Nachricht aus.
- Der Sender codiert die ausgewählte Nachricht in Signale, die im Kanal übermittelbar werden.
- Der Kanal IST das Medium, in dem Signale Formen bilden (zum Beispiel, elektromagnetische Wellen, elektrische Impulse im Draht). Es gibt immer eine Störung der Signale (Noise).
- Der Empfänger (Receiver), Mensch oder Maschine) decodiert die Signale und schreibt sie um in Nachrichten.
- Das Nachrichtenziel können Menschen oder Maschinen sein.

Shannon: A Mathematical Theory of Communication

Für die Überlegungen einer “theory of communication”, also einer Informationstheorie, ist im technischen Kontext die “Bedeutung” einer Nachricht irrelevant. Shannon schreibt:

“The fundamental problem of communication is that of reproducing at one point either exactly or approximately a message selected at another point. Frequently the messages have meaning; that is they refer to or are correlated according to some system with certain physical or conceptual entitiers. These semantic aspects of communication are irrelevant to the engineering problem. The significant aspect is that the actual message is one selected from a set of possible messages.”

Claude E. Shannon, A Mathematical Theory of Communication (1948)
Volltext (pdf)