Les mathématiques de l'information

La naissance de la théorie de l'information ou la force d'une idée simple

Alain Chenciner, IMCCE et Paris-Diderot

11 mai 2017

De nombreuses fautes de frappe n’empêchent pas de reconnaı̂tre sans ambiguı̈té un texte pourvu que la forme altérée ressemble plus au texte initial qu’à tout autre texte admissible. Jointe à une utilisation systématique de la loi des grands nombres qui implique la propriété d’équipartition asymptotique (AEP), cette simple remarque est à la base de la découverte par Claude Shannon de la limite H < C aux performances de tout code correcteur permettant une transmission fiable d’information par un canal “bruité” (i.e. faisant des erreurs) ainsi que de l’existence d’un code permettant d’approcher arbitrairement près de cette limite qui, restée longtemps virtuelle, est pratiquement atteinte aujourd’hui par les turbocodes. Toutes deux de nature probabiliste, l’entropie H d’une source de messages et la capacité C d’un canal de transmission sont définies par Shannon dans l’article qu’il publie en 1948 dans la revue des “Bell labs”, l’année même où, dans les mêmes Bell labs, JohnBardeen, Walter Brattain et William Shockley font la première démonstration du fonctionnement d’un transistor. Ainsi, des deux découvertes simultanées dont est né le monde d’information dans lequel nous vivons, l’une est de pure mathématique et même de la pire espèce, un théorème d’existence !

Les vidéos de ce cycle peuvent être retrouvée en cliquant sur ce lien

On retrouve le texte de Shannon "A Mathematical Theory of Communication" ici.