Entropie de Shannon

L'entropie de Shannon, ou plus simplement entropie, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou fournie par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un sign…