Une douce introduction à la théorie de l'information

La théorie de l'information est la science qui consiste à mesurer, stocker et transmettre de façon fiable l'information — et elle a commencé par un unique article de Claude Shannon en 1948. Ses idées font discrètement fonctionner tout, du signal de votre téléphone à la correction d'erreurs à l'intérieur d'un QR code.

Avant 1948, « information » était un mot flou du langage courant. Puis un ingénieur des Bell Labs nommé Claude Shannon a publié un article qui lui a donné un sens mathématique précis et, presque du jour au lendemain, a fondé tout un domaine. Cette visite en douceur couvre ses grandes idées — le bit, l'entropie, la capacité de canal, le bruit et la redondance — et montre comment elles mènent tout droit à la raison pour laquelle un QR code endommagé se scanne encore. 🐾

Qui a fondé la théorie de l'information ?

Claude Shannon a fondé la théorie de l'information avec son article de 1948, « A Mathematical Theory of Communication ». Il y a fait une chose remarquable : il a séparé le sens d'un message de la quantité d'information qu'il transporte, et a montré que cette quantité pouvait être mesurée, prédite et maîtrisée.

Cette séparation a été la clé qui a ouvert l'ère numérique. En traitant l'information comme une ressource mesurable — comme l'énergie ou la masse — Shannon a rendu possible de raisonner avec précision sur la quantité que l'on peut faire passer dans un fil, stocker sur un disque ou imprimer dans un petit carré de noir et blanc.

Qu'est-ce qu'un bit ?

Shannon nous a donné le bit comme unité fondamentale de l'information. Un bit est la quantité d'information contenue dans un seul choix entre deux issues également probables — un jet de pièce équilibrée, une réponse par oui ou par non tranchée.

C'est une idée subtile et puissante : l'information se mesure à la quantité d'incertitude qu'elle supprime. Apprendre la réponse à une question à 50/50 vous donne exactement un bit. Le bit est aujourd'hui la monnaie universelle du monde numérique, et c'est le même bit qui apparaît comme un carré sombre ou clair dans un QR code — voyez binaire, bits et bytes pour comprendre comment les bits s'assemblent pour former tout le reste.

Qu'est-ce que l'entropie ?

L'entropie, au sens de Shannon, est une mesure de l'incertitude — à quel point un message est imprévisible en moyenne. Plus les issues sont incertaines ou surprenantes, plus l'entropie est élevée, et plus chaque message transporte d'information.

Un exemple intuitif : si un ami vous envoie toujours « j'arrive », ces messages ne transportent presque aucune information car vous pouvez les prédire. Mais si ses messages sont imprévisibles, chacun vous apprend quelque chose de véritablement nouveau — entropie plus élevée. L'entropie fixe un plancher strict à la compression des données : vous ne pouvez pas comprimer un message en dessous de son entropie sans perdre de l'information.

L'entropie mesure la surprise. Un message que vous auriez pu deviner transporte peu d'information ; un message que vous ne pouviez pas deviner en transporte beaucoup. C'est toute la raison pour laquelle un texte prévisible se compresse si bien.

Qu'est-ce qu'un canal et qu'est-ce que le bruit ?

Shannon a modélisé la communication comme l'envoi d'un message à travers un canal — tout support qui transporte de l'information de l'émetteur au récepteur. Une ligne téléphonique, une liaison radio, un câble à fibre optique, et même un QR code imprimé lu par un appareil photo sont tous des canaux.

L'ennui, c'est que les vrais canaux sont bruités. Le bruit est tout ce qui corrompt le signal en chemin : des parasites sur une ligne, des interférences dans l'air, une tache sur une étiquette imprimée. Le bruit est la raison pour laquelle les messages arrivent brouillés, et le maîtriser est l'un des problèmes centraux que Shannon s'est attaché à résoudre.

Qu'est-ce que la capacité de canal ?

L'un des résultats les plus profonds de Shannon est la capacité de canal : chaque canal a un débit maximal auquel l'information peut y être transmise de façon fiable, quelle que soit l'astuce de votre codage. Poussez les données plus vite que la capacité et les erreurs deviennent inévitables ; restez en dessous et — chose stupéfiante — vous pouvez rendre le taux d'erreur aussi bas que vous le souhaitez.

C'était une affirmation stupéfiante à l'époque. Elle disait que le bruit ne vous force pas à accepter des erreurs ; il ne limite que votre vitesse. En dessous de la capacité, une communication quasi parfaite sur un canal bruité est possible. Le hic — et la partie magnifique — c'est comment vous y parvenez : avec de la redondance.

Comment la redondance permet-elle la fiabilité ?

Voici le don le plus pratique de Shannon. Il a montré qu'en ajoutant une redondance soigneusement structurée — des informations supplémentaires au-delà du message brut — vous pouvez protéger les données contre le bruit et les récupérer même après corruption. C'est le socle théorique sous tous les codes correcteurs d'erreurs.

La redondance semble du gaspillage, mais c'est le prix de la fiabilité, et Shannon a prouvé que ce prix vaut la peine d'être payé. Un peu de supplément, bien choisi, permet à un récepteur de détecter et même de réparer les erreurs sans jamais demander de renvoi. Les schémas pratiques qui tiennent cette promesse — des codes de Hamming aux codes Reed–Solomon — sont les réponses d'ingénierie à la question théorique de Shannon.

Quel est le lien entre la théorie de l'information et les QR codes ?

Un QR code est une minuscule incarnation imprimée des idées de Shannon. L'information s'y mesure en bits — visibles sous forme de modules sombres et clairs. Le « canal », c'est le code posé dans le monde et un appareil photo qui le lit, et le bruit, c'est tout ce qui peut mal tourner : rayures, taches, mauvais éclairage, un logo déposé au milieu.

Pour survivre à ce bruit, les QR codes transportent de la redondance exactement de la manière prescrite par Shannon. Des données de correction d'erreurs supplémentaires sont tissées dans la grille afin que le message d'origine puisse être reconstruit même quand une partie du code est perdue. Résultat : un QR code peut perdre un morceau de lui-même et se décoder quand même — une démonstration directe et quotidienne d'une communication fiable sur un canal bruité. Les mécanismes sont exposés dans la correction d'erreurs des QR codes.

Concept de Shannon	Dans un QR code
Bit	Un module sombre ou clair
Canal	Le code imprimé et l'appareil photo qui le scanne
Bruit	Rayures, taches, reflets, un logo
Redondance	Mots de code de correction d'erreurs dans la grille

Pourquoi la théorie de l'information compte-t-elle encore ?

Le cadre de Shannon n'a pas seulement expliqué la technologie de son époque — il a fixé les règles de base de toute celle qui a suivi. Chaque fois que vous regardez une vidéo qui met en mémoire tampon au lieu de se figer, que vous passez un appel qui reste clair alors que les barres de signal faiblissent, ou que vous scannez un code sous une faible lumière, vous bénéficiez d'ingénieurs travaillant dans les limites qu'il a définies. Le bit, l'entropie et la capacité de canal ne sont pas des abstractions qui prennent la poussière ; ce sont les étalons de mesure par lesquels les modems, le stockage et les codes sont encore conçus et jugés. Les comprendre vous donne une clé de lecture de tout le monde numérique : l'information est une ressource mesurable, le bruit est l'ennemi, et une redondance astucieuse est le moyen fiable de gagner.

La théorie de l'information en une phrase

La théorie de l'information de Shannon mesure l'information en bits, quantifie l'incertitude sous forme d'entropie, fixe une limite de vitesse fiable appelée capacité de canal, et montre que la redondance dompte le bruit — la recette exacte qui permet à un QR code éraflé de délivrer quand même son message.

Envie de tenir un morceau de théorie de l'information dans votre main ? Vous pouvez créer un QR code gratuit avec QR Puppy et voir à l'œuvre les bits, les canaux et la redondance.

Questions fréquentes

Qui a inventé la théorie de l'information et quand ?

Claude Shannon l'a fondée dans son article de 1948, « A Mathematical Theory of Communication ». Ce seul travail a introduit le bit, l'entropie et la capacité de canal, et a créé de fait le domaine d'un seul coup.

Qu'est-ce que l'entropie en termes simples ?

C'est une mesure de l'incertitude ou de la surprise dans un message. Les messages très prévisibles ont une faible entropie et transportent peu d'information, tandis que les imprévisibles ont une entropie élevée et en transportent davantage — ce qui explique aussi pourquoi les données prévisibles se compressent bien.

Qu'est-ce que la capacité de canal ?

Le débit maximal auquel l'information peut être transmise de façon fiable à travers un canal. Restez en dessous et vous pouvez rendre les erreurs aussi rares que vous le souhaitez avec un bon codage ; dépassez-le et les erreurs deviennent inévitables, quelle que soit votre astuce.

Comment la redondance aide-t-elle contre le bruit ?

Ajouter des informations supplémentaires structurées permet à un récepteur de détecter et de réparer la corruption sans renvoi. Shannon a prouvé que c'est ce qui rend possible une communication fiable sur des canaux bruités, et c'est la base de tout code correcteur d'erreurs.

Quel rapport la théorie de l'information a-t-elle avec les QR codes ?

Un QR code est le modèle de Shannon rendu physique : les bits sont des modules, le canal est le code plus un appareil photo, le bruit est le dommage, et la redondance est la donnée de correction d'erreurs. C'est pourquoi un code en partie endommagé se scanne encore.