À retenir
- Le bit est l'unité de mesure de base de l'information.
- L'entropie mesure le degré d'incertitude ou de richesse d'un message.
- Le bruit représente les perturbations qui peuvent altérer le message durant son transport.
La théorie de l'information est la science qui étudie comment quantifier, compresser et transmettre des données de manière fiable à travers un canal (comme un câble ou des ondes). On peut la comparer aux règles d'un service postal ultra-efficace qui chercherait à réduire la taille des lettres sans en perdre le sens, tout en s'assurant qu'elles arrivent intactes malgré les intempéries.
Étymologie
Le terme provient de l'anglais Information Theory, popularisé par le mathématicien Claude Shannon en 1948. Il a transformé le concept flou d'« information » en une grandeur physique et mathématique mesurable.
Exemples d'usage
- La compression ZIP : Utiliser moins de bits pour représenter la même information en supprimant les répétitions inutiles.
- Le streaming vidéo : Ajuster la qualité des données envoyées selon la capacité de la connexion internet.
- Les codes correcteurs d'erreurs : Ajouter un petit surplus d'information (redondance) pour qu'un fichier reste lisible même si quelques données sont corrompues pendant le transfert.
Cas d'usage
Elle intervient partout où des données circulent : dans le développement d'algorithmes de compression (MP3, JPEG), dans la conception des réseaux Wi-Fi et 5G pour lutter contre les parasites, en cryptographie pour mesurer le secret d'un message, et même en intelligence artificielle pour aider les machines à apprendre.
Bonnes pratiques
Pour un développeur ou un administrateur réseau, il est essentiel de comprendre le compromis entre la vitesse de transmission et la fiabilité. Plus un canal est « bruyant » (parasites), plus on doit ajouter de données de contrôle, ce qui ralentit le débit utile.
Synonymes
Conseil
Pour bien débuter, ne voyez pas l'information comme du « sens », mais comme une réduction de l'incertitude. Si je vous dis qu'il fera jour demain, l'information est faible (c'est certain). Si je vous donne les numéros du loto, l'information est maximale car c'était totalement imprévisible.
Questions fréquentes
C'est quoi l'entropie en informatique ?
C'est une mesure de l'imprévisibilité. Plus un message contient des informations surprenantes ou variées, plus son entropie est élevée.
Pourquoi dit-on que Shannon est le père de l'ère numérique ?
Parce qu'il a prouvé que toute information (texte, son, image) peut être réduite à des 0 et des 1 et transmise sans erreur si on utilise les bonnes mathématiques.