\documentclass[10pt]{article}
\usepackage[french]{babel}
\usepackage[utf8]{inputenc}
\usepackage[T1]{fontenc}
\usepackage{amsmath}
\usepackage{amsfonts}
\usepackage{amssymb}
\usepackage[version=4]{mhchem}
\usepackage{stmaryrd}
\usepackage{bbold}

\title{Conception : ESSEC BS }

\author{OPTION ÉCONOMIQUE}
\date{}


\begin{document}
\maketitle


\section*{MATHÉMATIQUES II}
Lundi 6 mai 2019, de 8 h. à 12 h.

La présentation, la lisibilité, l'orthographe, la qualité de la rédaction, la clarté et la précision des raisonnements entreront pour une part importante dans l'appréciation des copies.\\
Les candidats sont invités à encadrer dans la mesure du possible les résultats de leurs calculs.\\
Aucun document n'est autorisé. L'utilisation de toute calculatrice et de tout matériel électronique est interdite. Seule l'utilisation d'une règle graduée est autorisée.\\
Si au cours de l'épreuve, un candidat repère ce qui lui semble être une erreur d'énoncé, il la signalera sur sa copie et poursuivra sa composition en expliquant les raisons des initiatives qu'il sera amené à prendre.

Un modèle probabiliste d'une expérience aléatoire représente dans un certain sens le désordre qui intervient dans l'expérience et il est donc naturel que des outils soient introduits qui permettent de mesurer l'intensité de ce désordre. C'est le cas de la notion d'entropie qui fait l' objet du présent problème. On considèrera différentes situations et notamment la façon dont on mesure l'information que deux variables aléatoires s'apportent mutuellement.\\
Dans la première partie on étudie le cas plus simple techniquement de variables dont la loi admet une densité. Les deuxièmes et troisièmes parties sont consacrées au cas discret. Dans la deuxième partie, on introduit les différentes notions d'entropie pour le cas de variables discrètes et dans la troisième partie, on examine comment on peut mesurer l'information apportée mutuellement par deux variables aléatoires.\\
Toutes les variables aléatoires intervenant dans le problème sont définies sur un espace probabilisé ( \(\Omega, \mathcal{A}, \mathbf{P}\) ). Pour toute variable aléatoire \(Y\), on notera \(E(Y)\) son espérance lorsqu'elle existe.

\section*{Première partie : Entropie différentielle d'une variable à densité}
\begin{enumerate}
  \item La fonction logarithme de base 2 , notée \(\log _{2}\), est définie sur \(\mathbb{R}_{+}^{*}\) par \(\log _{2}(x)=\frac{\ln x}{\ln 2}\).\\
(a) Montrer que pour tout \((x, y)\) élément de \(\mathbb{R}_{+}^{*} \times \mathbb{R}_{+}^{*}\), on a \(\log _{2}(x y)=\log _{2} x+\log _{2} y\).\\
(b) Vérifier que pour tout réel \(\alpha, \log _{2}\left(2^{\alpha}\right)=\alpha\).\\
(c) Montrer que la fonction \(\log _{2}\) est concave sur \(\mathbb{R}_{+}^{*}\).
  \item Soit \(X\) une variable aléatoire réelle à densité, et soit \(f\) une densité de \(X\). On appelle support de \(f\) l'ensemble \(I=\{x \in \mathbb{R}, f(x)>0\}\), et on suppose que \(I\) est un intervalle de \(\mathbb{R}\) d'extrémités \(a\) et \(b\) ( \(a<b, a\) et \(b\) finis ou infinis). L' entropie différentielle de \(X\) est, sous réserve d'existence, le réel
\end{enumerate}

\[
h(X)=-\int_{a}^{b} f(x) \log _{2} f(x) d x
\]

Montrer que \(h(X)=-E\left(\log _{2} f(X)\right)\).\\
3) Soit \(X\) une variable aléatoire de densité \(f\) de support \(I\), intervalle de \(\mathbb{R}\) d'extrémités \(a\) et \(b\). On suppose que \(X\) admet une entropie différentielle.\\
(a) Soit \(c\) un réel, et soit \(Y\) la variable aléatoire définie par \(Y=c+X\).\\
i) Déterminer une densité de \(Y\).\\
ii) Justifier l'existence de l'entropie différentielle \(h(Y)\), et la déterminer en fonction de \(h(X)\).\\
(b) Soit \(\alpha\) un réel strictement positif, et soit \(Z\) la variable aléatoire définie par \(Z=\alpha X\).\\
i) Déterminer une densité de \(Z\).\\
ii) Justifier l'existence de l'entropie différentielle \(h(Z)\), et la déterminer en fonction de \(h(X)\).\\
4) On détermine dans cette question l'entropie différentielle de quelques variables aléatoires suivant des lois classiques.\\
(a) Soit \(a>0\). On considère \(X\) une variable aléatoire de loi uniforme sur \([0, a]\).\\
i) Donner une densité de \(X\).\\
ii) Justifier l'existence de l'entropie différentielle \(h(X)\), et la déterminer.\\
iii) Déterminer une condition nécessaire et suffisante sur a pour que \(h(X)>0\).\\
(b) On considère \(Y\) une variable aléatoire de loi normale centrée réduite. Montrer que \(Y\) admet une entropie différentielle et que \(h(Y)=\frac{1}{2} \log _{2}(2 \pi \mathbf{e})\).\\
(c) On considère \(Z\) une variable aléatoire de loi exponentielle de paramètre \(\lambda(\lambda>0)\). Justifier l'existence de l'entropie différentielle \(h(Z)\) et la déterminer.\\
(d) Soit \(f\) la fonction définie sur \(\mathbb{R}\) par \(f(x)=\frac{1}{2} \lambda \mathrm{e}^{-\lambda|x|}(\lambda>0)\).\\
i) Montrer que \(f\) est une densité de probabilité sur \(\mathbb{R}\).\\
ii) Soit \(W\) une variable aléatoire de densité \(f\). Justifier l'existence de l'entropie différentielle \(h(W)\) et la déterminer.\\
5) On dit qu'un couple \((X, Y)\) de variables aléatoires est un couple gaussien centré si, pour tout \((\alpha, \beta) \in \mathbb{R}^{2}\), \(\alpha X+\beta Y\) est une variable de loi normale centrée, c'est-à-dire qu'il existe \(\gamma \in \mathbb{R}\) et une variable aléatoire \(Z\) de loi normale centrée réduite tels que \(\alpha X+\beta Y\) a même loi que \(\gamma Z\). On considère un tel couple ( \(X, Y\) ) et on note \(\sigma^{2}\) la variance de \(X\). On suppose que \(\sigma^{2}>0\).\\
(a) Montrer que \(X\) suit une loi normale centrée.\\
(b) Calculer \(h(X)\).\\
(c) On suppose désormais que \(X\) et \(Y\) suivent la même loi normale centrée de variance \(\sigma^{2}\) et on admet que les propriétés de l'espérance des variables discrètes se généralisent aux variables aléatoires quelconques.\\
i) Montrer que \(E(X Y)\) existe.\\
ii) Montrer de plus que pour tout réel \(\lambda, \lambda^{2} E\left(Y^{2}\right)+2 \lambda E(X Y)+E\left(X^{2}\right) \geq 0\).\\
iii) En déduire que \(E(X Y)^{2} \leq E\left(X^{2}\right) E\left(Y^{2}\right)\).\\
iv) On pose \(\rho=E(X Y) / \sigma^{2}\). Montrer que \(\rho \in[-1,1]\).\\
v) Que vaut \(\rho\) si \(X\) et \(Y\) sont indépendantes?\\
(d) On suppose \(|\rho|<1\). On appelle entropie jointe du couple ( \(X, Y\) ) le réel

\[
h(X, Y)=\log _{2}\left(2 \pi \mathbf{e} \sigma^{2} \sqrt{1-\rho^{2}}\right)
\]

i) A quelle condition \(h(X, Y)\) est-elle nulle?\\
ii) L' information mutuelle de \(X\) et \(Y\) est définie par

\[
I(X, Y)=h(X)+h(Y)-h(X, Y)
\]

Calculer \(I(X, Y)\).\\
iii) Montrer que \(I(X, Y) \geq 0\).\\
iv) Quelle est la limite de \(I(X, Y)\) quand \(\rho\) tend vers 1 ?

\section*{Deuxième partie : Généralités sur l'entropie des variables discrètes}
Soit \(A\) un ensemble fini non vide. On dit que \(X\) est une variable aléatoire dont la loi est à support \(A\), si \(X\) est à valeurs dans \(A\) et si pour tout \(x \in A, P(X=x)>0\).\\
6) Soit \(X\) une variable aléatoire de loi à support \(\{0,1,2, \ldots, n\}\) où \(n\) est un entier naturel. On appelle entropie de \(X\) le réel

\[
H(X)=-\sum_{k=0}^{n} P(X=k) \log _{2} P(X=k) .
\]

(a) On définit la fonction \(g:\{0, \ldots, n\} \rightarrow \mathbb{R}\) en posant \(g(k)=\log _{2} P(X=k)\) pour \(k\) élément de \(\{0,1, \ldots, n\}\). Montrer que \(H(X)=-E(g(X))\).\\
(b) Montrer que \(H(X) \geq 0\).\\
(c) Soit \(p\) un réel tel que \(0<p<1\). On suppose dans cette question que \(X\) suit la loi de Bernoulli \(\mathcal{B}(p)\).\\
i) Calculer \(H(X)\) en fonction de \(p\). On note \(\psi\) la fonction qui, à \(p\), associe \(H(X)\).\\
ii) Montrer que \(\psi\) est concave sur \(] 0,1[\).\\
iii) Déterminer la valeur \(p_{0}\) où \(\psi\) est maximale.\\
(d) On suppose dans cette question que la loi de \(X\) est à support \(\{0,1,2,3\}\) avec les probabilités

\[
P(X=0)=1 / 2 ; P(X=1)=1 / 4 ; P(X=2)=P(X=3)=1 / 8 .
\]

Calculer \(H(X)\).\\
7) On souhaite écrire une fonction en Scilab pour calculer l'entropie d'une variable aléatoire \(X\) dont le support de la loi est de la forme \(A=\{0,1, \ldots, n\}\) où \(n\) est un entier naturel. On suppose que le vecteur P de Scilab est tel que pour tout \(k\) de \(A, \mathrm{P}(\mathrm{k}+1)=P(X=k)\). Compléter la fonction ci-dessous d'argument P qui renvoie l'entropie de \(X\), c'est-à-dire \(-\sum_{k=0}^{n} P(X=k) \log _{2} P(X=k)\).

\begin{verbatim}
function h = Entropie(P)
    ...
endfunction
\end{verbatim}

Si nécessaire, on pourra utiliser l'instruction length \((\mathrm{P})\) qui donne le nombre d'éléments de P .\\
On souhaite maintenant démontrer quelques inégalités concernant l'entropie.\\
8) On commence par une inégalité générale, appelée Inégalité de Jensen.\\
(a) Soit \(N \geq 2\). Soit \(X\) une variable aléatoire de loi à support \(\left\{x_{1}, x_{2}, \ldots, x_{N}\right\}\) où les \(x_{i}\) sont des éléments distincts de \(\mathbb{R}_{+}\). On pose \(P\left(X=x_{i}\right)=p_{i}\). Montrer que pour tout \(1 \leq i \leq N\), on a \(p_{i}<1\).

On désire démontrer par récurrence la propriété suivante\\
\(\mathcal{P}(N)\) :\\
Pour toute \(\varphi\) fonction convexe sur \(\mathbb{R}_{+}\), si \(X\) une variable aléatoire de loi à support \(A \subset \mathbb{R}_{+} \operatorname{avec} \operatorname{Card} A=N\), on a \(E(\varphi(X)) \geq \varphi(E(X))\).\\
(b) Montrer que \(\mathcal{P}(2)\) est vraie.\\
(c) Soit \(N \geq 3\). On suppose que \(\mathcal{P}(N-1)\) est vérifiée. Soit \(X\) une variable aléatoire de loi à support \(A=\left\{x_{1}, x_{2}, \ldots, x_{N}\right\}\) où les \(x_{i}\) sont des éléments distincts de \(\mathbb{R}_{+}\). On pose \(P\left(X=x_{i}\right)=p_{i}\). Pour \(i\) tel que \(1 \leq i \leq N-1\), on pose \(p_{i}^{\prime}=\frac{p_{i}}{1-p_{N}}\).\\
i) Montrer que \(\sum_{i=1}^{N-1} p_{i}^{\prime}=1\) et \(0<p_{i}^{\prime}<1\) pour \(1 \leq i \leq N-1\).\\
ii) Soit \(Y\) une variable aléatoire de loi à support \(\left\{x_{1}, \ldots, x_{N-1}\right\}\) telle que \(P\left(Y=x_{i}\right)=p_{i}^{\prime}\) pour \(1 \leq i \leq N-1\). Montrer que \(\sum_{i=1}^{N-1} p_{i}^{\prime} \varphi\left(x_{i}\right) \geq \varphi\left(\sum_{i=1}^{N-1} p_{i}^{\prime} x_{i}\right)\).\\
iii) Montrer que \(E(\varphi(X)) \geq \varphi(E(X))\).\\
(d) Montrer que si \(\varphi\) est concave sur \(\mathbb{R}_{+}\), on a \(E(\varphi(X)) \leq \varphi(E(X))\).\\
9) Soit \(X\) une variable aléatoire de loi à support \(\{0,1, \ldots, n\}\). On pose, pour \(k\) tel que \(0 \leq k \leq n\), \(p_{k}=P(X=k)\).\\
(a) Montrer que \(\sum_{k=0}^{n} p_{k} \log _{2} \frac{1}{(n+1) p_{k}} \leq \log _{2} \sum_{k=0}^{n} \frac{p_{k}}{(n+1) p_{k}}=0\).\\
(b) Montrer que \(\sum_{k=0}^{n} p_{k} \log _{2}\left[(n+1) p_{k}\right]=\log _{2}(n+1)-H(X)\).\\
(c) Montrer que \(H(X) \leq \log _{2}(n+1)\).\\
(d) On suppose que \(X\) suit la loi uniforme sur \(\{0,1, \ldots, n\}\). Calculer \(H(X)\).\\
10) Soient \(X\) et \(Y\) deux variables aléatoires de même loi à support \(\{0,1, \ldots, n\}\). On suppose en outre \(X\) et \(Y\) indépendantes.\\
(a) Montrer que \(P(X=Y)=\sum_{k=0}^{n}(P(X=k))^{2}\).\\
(b) On pose \(v(k)=P(X=k)\) pour tout \(k\) élément de \(\{0,1, \ldots, n\}\). Montrer que

\[
2^{E\left(\log _{2} v(X)\right)} \leq E\left(2^{\log _{2} v(X)}\right)=E(v(X))
\]

(c) En déduire que \(2^{-H(X)} \leq P(X=Y)\).\\
(d) Donner un exemple de loi où l'inégalité précédente est une égalité.

\section*{Troisième partie : Entropie jointe et information mutuelle de deux variables discrètes}
Soient \(X\) et \(Y\) deux variables aléatoires de lois à support \(\{0,1, \ldots n\}\). On appelle entropie jointe de \(X\) et \(Y\) le réel

\[
H(X, Y)=-\sum_{k=0}^{n} \sum_{j=0}^{n} P([X=k] \cap[Y=j]) \log _{2} P([X=k] \cap[Y=j])
\]

avec la convention \(0 \log _{2} 0=0\).\\
11)\\
(a) On définit la fonction \(g:\{0,1, \ldots, n\}^{2} \rightarrow \mathbb{R} \cup\{-\infty\}\) en posant pour \((k, j) \in\{0,1, \ldots, n\}^{2}\)

\[
g(k, j)=\log _{2} P([X=k] \cap[Y=j]) .
\]

Montrer que \(H(X, Y)=-E(g(X, Y))\).\\
(b) Montrer que \(H(X, Y)=H(Y, X)\).\\
(c) Pour tout \(k\) tel que \(0 \leq k \leq n\), on pose

\[
H(Y / X=k)=-\sum_{j=0}^{n} P_{[X=k]}(Y=j) \log _{2} P_{[X=k]}(Y=j) .
\]

On appelle entropie conditionnelle de \(Y\) sachant \(X\) le réel

\[
H(Y / X)=\sum_{k=0}^{n} P(X=k) H(Y / X=k) .
\]

Montrer que \(H(X, Y)=H(X)+H(Y / X)\).\\
(d) Montrer que pour tout couple de variables aléatoires \(X\) et \(Y\) de lois à support \(\{0,1, \ldots n\}\), on a

\[
H(X)-H(X / Y)=H(Y)-H(Y / X) .
\]

\begin{enumerate}
  \setcounter{enumi}{11}
  \item On considère dans cette question deux variables aléatoires de lois à support \(\{0,1,2,3\}\). On suppose que la loi conjointe de \((X, Y)\) est donnée par le tableau suivant
\end{enumerate}

\begin{center}
\begin{tabular}{c|cccc}
 & \(k\) & 0 & 1 & 2 \\
\(j\) &  & 3 &  &  \\
\hline
0 & \(1 / 8\) & \(1 / 16\) & \(1 / 32\) & \(1 / 32\) \\
1 & \(1 / 16\) & \(1 / 8\) & \(1 / 32\) & \(1 / 32\) \\
2 & \(1 / 16\) & \(1 / 16\) & \(1 / 16\) & \(1 / 16\) \\
3 & \(1 / 4\) & 0 & 0 & 0 \\
\end{tabular}
\end{center}

(on lit dans la \(k\)-ième colonne et la \(j\)-ième ligne la valeur de \(P([X=k] \cap[Y=j])\) ).\\
(a) Déterminer la loi de \(X\) et montrer que \(H(X)=7 / 4\).\\
(b) Déterminer la loi de \(Y\) et calculer \(H(Y)\).\\
(c) Montrer que \(H(X / Y)=11 / 8\).\\
(d) Que vaut \(H(Y / X)\) ?\\
(e) Calculer \(H(X, Y)\).\\
13) Soient \(X\) et \(Y\) deux variables aléatoires de lois à support \(\{0,1, \ldots, n\}\). On appelle information mutuelle de \(X\) et de \(Y\) le réel

\[
I(X, Y)=\sum_{k=0}^{n} \sum_{j=0}^{n} P([X=k] \cap[Y=j]) \log _{2} \frac{P([X=k] \cap[Y=j])}{P(X=k) P(Y=j)} .
\]

(a) Montrer que \(I(X, Y)=I(Y, X)\).\\
(b) Montrer que \(I(X, Y)=H(X)-H(X / Y)\).\\
(c) Montrer que \(I(X, X)=H(X)\).\\
(d) Que vaut \(I(X, Y)\) si \(X\) et \(Y\) sont indépendantes?\\
14) Soient \(X\) et \(Y\) deux variables aléatoires de lois à support \(\{0,1, \ldots, n\}\). On fixe \(0 \leq k \leq n\). Pour \(0 \leq j \leq n\), on pose \(p_{j}=\frac{P([X=k] \cap[Y=j])}{P(X=k)}\). On suppose que \(p_{j}>0\) pour tout \(0 \leq j \leq n\) et on pose \(x_{j}=\frac{P(X=k) P(Y=j)}{P([X=k] \cap[Y=j])}\).\\
(a) Montrer que \(\sum_{j=0}^{n} p_{j}=1\).\\
(b) Soit \(Z_{k}\) une variable aléatoire de loi à support \(\left\{x_{0}, \ldots, x_{n}\right\}\) dont la loi est donnée par \(P\left(Z_{k}=x_{j}\right)=p_{j}\) pour \(0 \leq j \leq n\). Montrer que

\[
E\left(\log _{2} Z_{k}\right) \leq 0
\]

(c) En déduire que \(I(X, Y) \geq 0\).


\end{document}