BCE Maths appliquées ESSEC ECE 2019, épreuve 2Sujet, corrigé et rapport du jury

Lundi 6 mai 2019, de 8 h. à 12 h.

La présentation, la lisibilité, l'orthographe, la qualité de la rédaction, la clarté et la précision des raisonnements entreront pour une part importante dans l'appréciation des copies.
Les candidats sont invités à encadrer dans la mesure du possible les résultats de leurs calculs.
Aucun document n'est autorisé. L'utilisation de toute calculatrice et de tout matériel électronique est interdite. Seule l'utilisation d'une règle graduée est autorisée.
Si au cours de l'épreuve, un candidat repère ce qui lui semble être une erreur d'énoncé, il la signalera sur sa copie et poursuivra sa composition en expliquant les raisons des initiatives qu'il sera amené à prendre.

Un modèle probabiliste d'une expérience aléatoire représente dans un certain sens le désordre qui intervient dans l'expérience et il est donc naturel que des outils soient introduits qui permettent de mesurer l'intensité de ce désordre. C'est le cas de la notion d'entropie qui fait l' objet du présent problème. On considèrera différentes situations et notamment la façon dont on mesure l'information que deux variables aléatoires s'apportent mutuellement.
Dans la première partie on étudie le cas plus simple techniquement de variables dont la loi admet une densité. Les deuxièmes et troisièmes parties sont consacrées au cas discret. Dans la deuxième partie, on introduit les différentes notions d'entropie pour le cas de variables discrètes et dans la troisième partie, on examine comment on peut mesurer l'information apportée mutuellement par deux variables aléatoires.
Toutes les variables aléatoires intervenant dans le problème sont définies sur un espace probabilisé ( Ω, A, P ). Pour toute variable aléatoire Y, on notera E(Y) son espérance lorsqu'elle existe.

Montrer que h(X) = − E(log_2 f(X)).
3) Soit X une variable aléatoire de densité f de support I, intervalle de ℝ d'extrémités a et b. On suppose que X admet une entropie différentielle.
(a) Soit c un réel, et soit Y la variable aléatoire définie par Y = c + X.
i) Déterminer une densité de Y.
ii) Justifier l'existence de l'entropie différentielle h(Y), et la déterminer en fonction de h(X).
(b) Soit α un réel strictement positif, et soit Z la variable aléatoire définie par Z = αX.
i) Déterminer une densité de Z.
ii) Justifier l'existence de l'entropie différentielle h(Z), et la déterminer en fonction de h(X).
4) On détermine dans cette question l'entropie différentielle de quelques variables aléatoires suivant des lois classiques.
(a) Soit a > 0. On considère X une variable aléatoire de loi uniforme sur [0, a].
i) Donner une densité de X.
ii) Justifier l'existence de l'entropie différentielle h(X), et la déterminer.
iii) Déterminer une condition nécessaire et suffisante sur a pour que h(X) > 0.
(b) On considère Y une variable aléatoire de loi normale centrée réduite. Montrer que Y admet une entropie différentielle et que h(Y) = 1/2log_2(2πe).
(c) On considère Z une variable aléatoire de loi exponentielle de paramètre λ(λ > 0). Justifier l'existence de l'entropie différentielle h(Z) et la déterminer.
(d) Soit f la fonction définie sur ℝ par f(x) = 1/2λe^(− λ|x|)(λ > 0).
i) Montrer que f est une densité de probabilité sur ℝ.
ii) Soit W une variable aléatoire de densité f. Justifier l'existence de l'entropie différentielle h(W) et la déterminer.
5) On dit qu'un couple (X, Y) de variables aléatoires est un couple gaussien centré si, pour tout (α, β) ∈ ℝ^2, αX + βY est une variable de loi normale centrée, c'est-à-dire qu'il existe γ ∈ ℝ et une variable aléatoire Z de loi normale centrée réduite tels que αX + βY a même loi que γZ. On considère un tel couple ( X, Y ) et on note σ^2 la variance de X. On suppose que σ^2 > 0.
(a) Montrer que X suit une loi normale centrée.
(b) Calculer h(X).
(c) On suppose désormais que X et Y suivent la même loi normale centrée de variance σ^2 et on admet que les propriétés de l'espérance des variables discrètes se généralisent aux variables aléatoires quelconques.
i) Montrer que E(XY) existe.
ii) Montrer de plus que pour tout réel λ, λ^2 E(Y^2) + 2λE(XY) + E(X^2) ≥ 0.
iii) En déduire que E(XY)^2 ≤ E(X^2)E(Y^2).
iv) On pose ρ = E(XY)/σ^2. Montrer que ρ ∈ [ − 1, 1].
v) Que vaut ρ si X et Y sont indépendantes?
(d) On suppose |ρ| < 1. On appelle entropie jointe du couple ( X, Y ) le réel

i) A quelle condition h(X, Y) est-elle nulle?
ii) L' information mutuelle de X et Y est définie par

Calculer I(X, Y).
iii) Montrer que I(X, Y) ≥ 0.
iv) Quelle est la limite de I(X, Y) quand ρ tend vers 1 ?

Soit A un ensemble fini non vide. On dit que X est une variable aléatoire dont la loi est à support A, si X est à valeurs dans A et si pour tout x ∈ A, P(X = x) > 0.
6) Soit X une variable aléatoire de loi à support {0, 1, 2, …, n} où n est un entier naturel. On appelle entropie de X le réel

(a) On définit la fonction g : {0, …, n} → ℝ en posant g(k) = log_2 P(X = k) pour k élément de {0, 1, …, n}. Montrer que H(X) = − E(g(X)).
(b) Montrer que H(X) ≥ 0.
(c) Soit p un réel tel que 0 < p < 1. On suppose dans cette question que X suit la loi de Bernoulli B(p).
i) Calculer H(X) en fonction de p. On note ψ la fonction qui, à p, associe H(X).
ii) Montrer que ψ est concave sur ]0, 1[.
iii) Déterminer la valeur p_0 où ψ est maximale.
(d) On suppose dans cette question que la loi de X est à support {0, 1, 2, 3} avec les probabilités

Calculer H(X).
7) On souhaite écrire une fonction en Scilab pour calculer l'entropie d'une variable aléatoire X dont le support de la loi est de la forme A = {0, 1, …, n} où n est un entier naturel. On suppose que le vecteur P de Scilab est tel que pour tout k de A, P(k + 1) = P(X = k). Compléter la fonction ci-dessous d'argument P qui renvoie l'entropie de X, c'est-à-dire − ∑_(k = 0)^n P(X = k)log_2 P(X = k).

function h = Entropie(P)
    ...
endfunction

Si nécessaire, on pourra utiliser l'instruction length (P) qui donne le nombre d'éléments de P .
On souhaite maintenant démontrer quelques inégalités concernant l'entropie.
8) On commence par une inégalité générale, appelée Inégalité de Jensen.
(a) Soit N ≥ 2. Soit X une variable aléatoire de loi à support {x_1, x_2, …, x_N} où les x_i sont des éléments distincts de ℝ_+. On pose P(X = x_i) = p_i. Montrer que pour tout 1 ≤ i ≤ N, on a p_i < 1.

On désire démontrer par récurrence la propriété suivante
P(N) :
Pour toute φ fonction convexe sur ℝ_+, si X une variable aléatoire de loi à support A ⊂ ℝ_+avecCardA = N, on a E(φ(X)) ≥ φ(E(X)).
(b) Montrer que P(2) est vraie.
(c) Soit N ≥ 3. On suppose que P(N − 1) est vérifiée. Soit X une variable aléatoire de loi à support A = {x_1, x_2, …, x_N} où les x_i sont des éléments distincts de ℝ_+. On pose P(X = x_i) = p_i. Pour i tel que 1 ≤ i ≤ N − 1, on pose p_i^′ = (p_i)/(1 − p_N).
i) Montrer que ∑_(i = 1)^(N − 1)p_i^′ = 1 et 0 < p_i^′ < 1 pour 1 ≤ i ≤ N − 1.
ii) Soit Y une variable aléatoire de loi à support {x_1, …, x_(N − 1)} telle que P(Y = x_i) = p_i^′ pour 1 ≤ i ≤ N − 1. Montrer que ∑_(i = 1)^(N − 1)p_i^′ φ(x_i) ≥ φ(∑_(i = 1)^(N − 1)p_i^′ x_i).
iii) Montrer que E(φ(X)) ≥ φ(E(X)).
(d) Montrer que si φ est concave sur ℝ_+, on a E(φ(X)) ≤ φ(E(X)).
9) Soit X une variable aléatoire de loi à support {0, 1, …, n}. On pose, pour k tel que 0 ≤ k ≤ n, p_k = P(X = k).
(a) Montrer que ∑_(k = 0)^n p_k log_2 1/((n + 1)p_k) ≤ log_2∑_(k = 0)^n(p_k)/((n + 1)p_k) = 0.
(b) Montrer que ∑_(k = 0)^n p_k log_2[(n + 1)p_k] = log_2(n + 1) − H(X).
(c) Montrer que H(X) ≤ log_2(n + 1).
(d) On suppose que X suit la loi uniforme sur {0, 1, …, n}. Calculer H(X).
10) Soient X et Y deux variables aléatoires de même loi à support {0, 1, …, n}. On suppose en outre X et Y indépendantes.
(a) Montrer que P(X = Y) = ∑_(k = 0)^n(P(X = k))^2.
(b) On pose v(k) = P(X = k) pour tout k élément de {0, 1, …, n}. Montrer que

(c) En déduire que 2^(− H(X)) ≤ P(X = Y).
(d) Donner un exemple de loi où l'inégalité précédente est une égalité.

Soient X et Y deux variables aléatoires de lois à support {0, 1, …n}. On appelle entropie jointe de X et Y le réel

avec la convention 0log_2 0 = 0.
11)
(a) On définit la fonction g : {0, 1, …, n}^2 → ℝ ∪ { − ∞} en posant pour (k, j) ∈ {0, 1, …, n}^2

Montrer que H(X, Y) = − E(g(X, Y)).
(b) Montrer que H(X, Y) = H(Y, X).
(c) Pour tout k tel que 0 ≤ k ≤ n, on pose

On appelle entropie conditionnelle de Y sachant X le réel

Montrer que H(X, Y) = H(X) + H(Y/X).
(d) Montrer que pour tout couple de variables aléatoires X et Y de lois à support {0, 1, …n}, on a

(on lit dans la k-ième colonne et la j-ième ligne la valeur de P([X = k] ∩ [Y = j]) ).
(a) Déterminer la loi de X et montrer que H(X) = 7/4.
(b) Déterminer la loi de Y et calculer H(Y).
(c) Montrer que H(X/Y) = 11/8.
(d) Que vaut H(Y/X) ?
(e) Calculer H(X, Y).
13) Soient X et Y deux variables aléatoires de lois à support {0, 1, …, n}. On appelle information mutuelle de X et de Y le réel

(a) Montrer que I(X, Y) = I(Y, X).
(b) Montrer que I(X, Y) = H(X) − H(X/Y).
(c) Montrer que I(X, X) = H(X).
(d) Que vaut I(X, Y) si X et Y sont indépendantes?
14) Soient X et Y deux variables aléatoires de lois à support {0, 1, …, n}. On fixe 0 ≤ k ≤ n. Pour 0 ≤ j ≤ n, on pose p_j = (P([X = k] ∩ [Y = j]))/(P(X = k)). On suppose que p_j > 0 pour tout 0 ≤ j ≤ n et on pose x_j = (P(X = k)P(Y = j))/(P([X = k] ∩ [Y = j])).
(a) Montrer que ∑_(j = 0)^n p_j = 1.
(b) Soit Z_k une variable aléatoire de loi à support {x_0, …, x_n} dont la loi est donnée par P(Z_k = x_j) = p_j pour 0 ≤ j ≤ n. Montrer que

(c) En déduire que I(X, Y) ≥ 0.