Télécommunications · Écoles d'ingénieurs — INPT

Théorie de l'information et codage de source

Le cours expliqué simplement, les questions que tous les élèves se posent et des exercices type examen national. Programme marocain, gratuit.

📘 Fiche de cours

L'essentiel du cours

La théorie de l'information, fondée par Claude Shannon, mesure la quantité d'information apportée par un événement de probabilité $p_i$ : $I(x_i) = -\log_2(p_i)$ (en bits). L'entropie $H(X)$ d'une source discrète est : $H(X) = \sum_{i=1}^{n} p_i \log_2\left(\frac{1}{p_i}\right)$ Le codage de source vise à réduire la redondance. Un code est dit "optimal" si sa longueur moyenne $L = \sum p_i l_i$ est proche de $H(X)$ . L'efficacité est définie par $\eta = \frac{H(X)}{L}$ .

Méthodes à maîtriser

Calcul de l'entropie : Toujours vérifier que $\sum p_i = 1$ .
Construction de l'arbre de Huffman : Regrouper les deux probabilités les plus faibles, sommer, et répéter jusqu'à obtenir une racine à 1.
Vérification de l'inégalité de Kraft : $\sum 2^{-l_i} \leq 1$ pour un code préfixe.

Exemples corrigés

Exemple : Source avec $P(A)=0.5, P(B)=0.25, P(C)=0.25$ . $H(X) = 0.5 \log_2(2) + 0.25 \log_2(4) + 0.25 \log_2(4) = 0.5(1) + 0.25(2) + 0.25(2) = 1.5$ bits/symbole.

Erreurs fréquentes

Oublier que $\log_2(x) = \frac{\ln(x)}{\ln(2)}$ .
Confondre longueur moyenne $L$ et longueur maximale.
Penser qu'un code est optimal sans vérifier que $L \geq H(X)$ .

L'essentiel du cours

La théorie de l'information, fondée par Claude Shannon, mesure la quantité d'information apportée par un événement de probabilité $p_i$ : $I(x_i) = -\log_2(p_i)$ (en bits). L'entropie $H(X)$ d'une source discrète est : $$H(X) = \sum_{i=1}^{n} p_i \log_2\left(\frac{1}{p_i}\right)$$ Le codage de source vise à réduire la redondance. Un code est dit "optimal" si sa longueur moyenne $L = \sum p_i l_i$ est proche de $H(X)$. L'efficacité est définie par $\eta = \frac{H(X)}{L}$.

Méthodes à maîtriser

Calcul de l'entropie : Toujours vérifier que $\sum p_i = 1$.
Construction de l'arbre de Huffman : Regrouper les deux probabilités les plus faibles, sommer, et répéter jusqu'à obtenir une racine à 1.
Vérification de l'inégalité de Kraft : $\sum 2^{-l_i} \leq 1$ pour un code préfixe.

Exemples corrigés

Exemple : Source avec $P(A)=0.5, P(B)=0.25, P(C)=0.25$. $H(X) = 0.5 \log_2(2) + 0.25 \log_2(4) + 0.25 \log_2(4) = 0.5(1) + 0.25(2) + 0.25(2) = 1.5$ bits/symbole.

Erreurs fréquentes

Oublier que $\log_2(x) = \frac{\ln(x)}{\ln(2)}$.
Confondre longueur moyenne $L$ et longueur maximale.
Penser qu'un code est optimal sans vérifier que $L \geq H(X)$.

🌉 Jisr : les mots du chapitre FR ⇄ AR

Tu as appris les sciences en arabe ? Touche un mot pour voir sa traduction et une explication en darija.

La question que tu n'oses pas poser en classe ? Pose-la à UstadZéro jugement, même en darija, même à minuit. Il t'explique pas à pas et corrige ta démarche. Gratuit.Commencer gratuitement

Défi flash : 4 questions

Sans compte

🎯 Théorie de l'information et codage de source

1/4

L'entropie d'une source binaire est maximale quand :

❓ Questions fréquentes

C'est quoi la différence entre entropie et information ?

L'information $I(x_i)$ concerne un événement précis (un symbole). L'entropie $H(X)$ est la moyenne de ces informations sur toute la source.

💡 À retenir : L'entropie mesure l'incertitude globale de la source.

L'information $I(x_i)$ concerne un événement précis (un symbole). L'entropie $H(X)$ est la moyenne de ces informations sur toute la source.

💡 À retenir : L'entropie mesure l'incertitude globale de la source.

kifach n7seb l'entropie ila kan chi symbole 3ndo probabilité 0 ?

Si $p_i = 0$ , alors $p_i \log_2(1/p_i)$ tend vers 0. On considère donc que ce symbole n'apporte aucune information et on l'ignore dans la somme.

💡 À retenir : $\lim_{p \to 0} p \log_2(1/p) = 0$ .

Si $p_i = 0$, alors $p_i \log_2(1/p_i)$ tend vers 0. On considère donc que ce symbole n'apporte aucune information et on l'ignore dans la somme.

💡 À retenir : $\lim_{p \to 0} p \log_2(1/p) = 0$.

wach l'codage de Huffman dima 3ndou nafs l'efficacité ?

Non, l'efficacité dépend de la distribution des probabilités. Si les probabilités sont des puissances de 2 (ex: 0.5, 0.25, 0.25), l'efficacité est de 100%. Sinon, elle est inférieure.

💡 À retenir : Huffman est optimal, mais pas toujours parfait.

chnou houwa l'code préfixe exactement ?

C'est un code où aucun mot de code n'est le début (préfixe) d'un autre. Cela permet de décoder le message sans ambiguïté au fur et à mesure de la réception.

💡 À retenir : Pas de virgule nécessaire entre les mots.

kifach n3ref wach l'code li drt optimal ?

Tu calcules $L = \sum p_i l_i$ et tu compares avec $H(X)$ . Si $H(X) \leq L < H(X) + 1$ , le code est très bon.

💡 À retenir : L'optimalité est atteinte quand $L = H(X)$ .

Tu calcules $L = \sum p_i l_i$ et tu compares avec $H(X)$. Si $H(X) \leq L < H(X) + 1$, le code est très bon.

💡 À retenir : L'optimalité est atteinte quand $L = H(X)$.

Est-ce que l'entropie peut être négative ?

Non, car $p_i$ est compris entre 0 et 1, donc $\log_2(1/p_i)$ est positif ou nul.

💡 À retenir : L'entropie est toujours positive ou nulle.

Non, car $p_i$ est compris entre 0 et 1, donc $\log_2(1/p_i)$ est positif ou nul.

💡 À retenir : L'entropie est toujours positive ou nulle.

Est-ce que le codage de source change la quantité d'information ?

Non, le codage de source (sans perte) ne change pas l'information contenue, il change juste la manière de la représenter pour gagner de la place.

💡 À retenir : C'est une compression, pas une modification du message.

Pourquoi on utilise log2 et pas log{10} ?

Parce qu'en télécommunications, on travaille avec des systèmes binaires (0 et 1). Le bit est l'unité naturelle.

💡 À retenir : 1 bit = 1 choix binaire.

wach l'inégalité de Kraft hiya li kat-3tina l'optimalité ?

Non, Kraft donne la condition nécessaire et suffisante pour qu'un code soit préfixe. L'optimalité est un critère supplémentaire lié à la longueur moyenne.

💡 À retenir : Être préfixe est une condition, pas une garantie d'optimalité.

Si j'ai 4 symboles équiprobables, quelle est l'entropie ?

$H(X) = \log_2(4) = 2$ bits/symbole.

💡 À retenir : Pour $N$ symboles équiprobables, $H(X) = \log_2(N)$ .

$H(X) = \log_2(4) = 2$ bits/symbole.

💡 À retenir : Pour $N$ symboles équiprobables, $H(X) = \log_2(N)$.

Est-ce que le codage de Shannon-Fano est toujours meilleur que Huffman ?

Non, Huffman est toujours optimal pour une source donnée, alors que Shannon-Fano peut parfois donner une longueur moyenne plus grande.

💡 À retenir : Huffman est la référence en codage de source.

Comment choisir entre codage fixe et codage variable ?

On utilise le codage fixe pour la simplicité (vitesse), et le codage variable (Huffman) pour la compression (économie de bande passante).

💡 À retenir : Le choix dépend du compromis complexité/efficacité.

✍️ Exercices type examen national

Exercice 1

Une source émet 4 symboles $\{A, B, C, D\}$ avec les probabilités suivantes : $P(A)=0.5, P(B)=0.25, P(C)=0.125, P(D)=0.125$ .

Calculer l'entropie $H(X)$ .
Construire le code de Huffman.
Calculer la longueur moyenne $L$ et l'efficacité $\eta$ .

Exercice 1

Une source émet 4 symboles ${A, B, C, D}$ avec les probabilités suivantes : $P(A)=0.5, P(B)=0.25, P(C)=0.125, P(D)=0.125$.

Calculer l'entropie $H(X)$.
Construire le code de Huffman.
Calculer la longueur moyenne $L$ et l'efficacité $\eta$.

Voir la correction détaillée : inscription gratuite

Exercice 2

Soit une source binaire avec $P(0)=0.9$ et $P(1)=0.1$ .

Calculer $H(X)$ .
Pourquoi un codage simple (1 bit par symbole) est-il inefficace ici ?

Exercice 2

Soit une source binaire avec $P(0)=0.9$ et $P(1)=0.1$.

Calculer $H(X)$.
Pourquoi un codage simple (1 bit par symbole) est-il inefficace ici ?

Voir la correction détaillée : inscription gratuite

Exercice 3

Vérifier si le code $\{0, 10, 110, 111\}$ respecte l'inégalité de Kraft.

Exercice 3

Vérifier si le code ${0, 10, 110, 111}$ respecte l'inégalité de Kraft.

Voir la correction détaillée : inscription gratuite

Un prof de Télécommunications pour aller plus loin

Les cours du soir avec des profs vérifiés arrivent : inscris-toi pour être prévenu(e) en premier.

Être prévenu(e) gratuitement

Autres chapitres de Télécommunications

Introduction aux systèmes de télécommunications Analyse et traitement des signaux déterministes Processus aléatoires et bruit dans les systèmes de communication Modulation analogique (AM, FM, PM)Échantillonnage et quantification Modulations numériques en bande de base Modulations numériques sur porteuse (ASK, FSK, PSK, QAM)Codage de canal et correction d'erreurs Propagation des ondes électromagnétiques et lignes de transmission Techniques d'accès multiple (FDMA, TDMA, CDMA, OFDMA)Architecture des réseaux mobiles (2G, 3G, 4G, 5G)Communications par satellites Communications optiques