\documentclass[10pt]{article}
\usepackage[french]{babel}
\usepackage[utf8]{inputenc}
\usepackage[T1]{fontenc}
\usepackage{amsmath}
\usepackage{amsfonts}
\usepackage{amssymb}
\usepackage[version=4]{mhchem}
\usepackage{stmaryrd}
\usepackage{bbold}

\begin{document}
\section*{Option économique}
\section*{MATHEMATIQUES II}
Lundi 12 mai 2003 de 8h à 12h

La présentation, la lisibilité, l'orthographe, la qualité de la rédaction, la clarté et la précision des raisonnements entreront pour une part importante dans l'appréciation des copies.\\
Les candidats sont invités à encadrer dans la mesure du possible les résultats de leurs calculs.\\
Ils ne doivent faire usage d'aucun document ; l'utilisation de toute calculatrice et de tout matériel électronique est interdite. Seule l'utilisation d'une règle graduée est autorisée.\\
Si au cours de l'épreuve un candidat repère ce qui lui semble être une erreur d'énoncé, il le signalera sur sa copie et poursuivra sa composition en expliquant les raisons des initiatives qu'il sera amené à prendre.

L'objectif du problème est d'étudier les rudiments de la théorie de la communication - ou théorie de l'information - introduite en 1948 par Claude Shannon.

\section*{Définitions et notations}
\((\Omega, \mathcal{A}, P)\) désigne un espace probabilisé.\\
\(\varphi\) est la fonction définie sur \(] 0,1]\) par \(x \mapsto \varphi(x)=-\frac{\ln (x)}{\ln (2)}\).\\
Pour un événement \(A\) de probabilité non nulle, on pose \(i(A)=\varphi(P(A))\).\\
\(h\) est la fonction définie sur [ 0,1 ] par

\[
h(0)=0 \quad \text { et pour } x \in] 0,1], \quad h(x)=-x \frac{\ln (x)}{\ln (2)}
\]

Pour une variable aléatoire \(X\) discrète définie sur ( \(\Omega, \mathcal{A}, P\) ) à valeurs réelles, on pose sous réserve d'existence :

\[
H(X)=\sum_{x \in X(\Omega)} h(P(X=x))
\]

Si \(X\) est à valeurs dans un ensemble fini \(\left\{x_{1}, x_{2}, \ldots, x_{n}\right\}\), alors \(H(X)\) existe et, en notant \(p_{k}=P\left(X=x_{k}\right)\), on a:

\[
H(X)=\sum_{k=1}^{n} h\left(P\left(X=x_{k}\right)\right)=\sum_{k=1}^{n} h\left(p_{k}\right)
\]

Remarque : En théorie de l'information, \(i(A)\) est appelé incertitude de l'événement \(A\) et \(H(X)\) est l'incertitude moyenne - ou entropie - de \(X\).

\section*{Partie I Incertitude des événements}
I. \(1^{\circ}\) ) On choisit une carte au hasard dans un jeu de 32 cartes.

Soit \(A\) l'événement « la carte tirée est la dame de cœur».\\
Que valent \(P(A)\) et \(i(A)\) ?\\
I. \(2^{\circ}\) ) Soit \(n \in \mathbb{N}^{*}\). On lance \(n\) fois une pièce équilibrée.\\
\(A\) est l'événement « obtenir \(n\) fois PILE ». Préciser \(i(A)\).\\
I. \(3^{\circ}\) ) Vérifier les points suivants :\\
(i) Pour un événement \(\Omega^{\prime}\) quasi-certain : \(i\left(\Omega^{\prime}\right)=0\).\\
(ii) Si \(A\) et l'événement contraire \(\bar{A}\) sont équiprobables, alors \(i(A)=1\).\\
(iii) Si \(A\) et \(B\) sont indépendants pour la probabilité \(P\) et si \(P(A \cap B) \neq 0\), alors \(i(A \cap B)=i(A)+i(B)\).\\
I.4') Préciser \(i\left(A_{1} \cap A_{2} \cap \ldots \cap A_{n}\right)\) quand les événements \(A_{1}, A_{2}, \ldots, A_{n}\) sont mutuellement indépendants et \(P\left(A_{1} \cap A_{2} \cap \ldots \cap A_{n}\right) \neq 0\).\\
En déduire une nouvelle démonstration de \(\mathrm{I} .2^{\circ}\) ).\\
I. \(5^{\circ}\) ) Soit \(A\) et \(B\) deux événements tels que \(A \subset B\) et \(P(A) \neq 0\). Comparer \(i(A)\) et \(i(B)\).\\
I. \(6^{\circ}\) ) Que vaut \(\lim _{x \rightarrow 0^{+}} \varphi(x)\) et quelle interprétation peut-on donner de ce résultat?

\section*{Partie II Incertitude d'une variable aléatoire discrète}
II. \(1^{\circ}\) ) Soit \(n \in \mathbb{N}^{*}\). Si \(U_{n}\) suit la loi uniforme sur \(\{1,2, \ldots, n\}\), que vaut \(H\left(U_{n}\right)\) ?\\
II. \(2^{\circ}\) ) Si on suppose \(P(Z=1)=1 / 4, P(Z=2)=1 / 4\) et \(P(Z=3)=1 / 2\), que vaut \(H(Z)\) ?

Comparer \(H(Z)\) et \(H\left(U_{3}\right)\).\\
II. \(3^{\circ}\) ) On se propose de simuler informatiquement une variable aléatoire.

On supposera que random(3) fournit au hasard un nombre élément de \(\{1,2,3\}\) et que random(2) fournit au hasard un élément de \(\{1,2\}\)

\begin{verbatim}
program ESSEC2003
var
    ini,y : integer;
begin
    ini:=random(3);
    if ini=3 then y:=random(2) ; else y:=3 ;
end ;
\end{verbatim}

On appelle \(Y\) le contenu de y après exécution du programme ESSEC2003.\\
Donner la loi de \(Y\), calculer son espérance \(E(Y)\) et son incertitude \(H(Y)\).\\
II. \(4^{\circ}\) ) Vérifier que \(h\) est continue et positive sur [ 0,1 ].

Est-elle dérivable en 0 ? Étudier \(h\) et dessiner sa courbe représentative .\\
II. \(5^{\circ}\) ) Soit \(X\) une variable aléatoire à valeurs dans un ensemble fini.

Montrer que \(H(X) \geqslant 0\) avec égalité si, et seulement si, \(X\) est quasi-certaine.

\section*{Partie III Maximalité de l'entropie}
III. \(1^{\circ}\) ) Étude pour \(n=2\).

Pour \(x \in[0,1]\), on pose \(h_{2}(x)=h(x)+h(1-x)\).\\
a) Pour \(x \in[0,1]\), on a clairement \(h_{2}(x)=h_{2}(1-x)\). Que signifie ce résultat quant à la courbe de \(h_{2}\) dans un repère orthonormé?\\
b) Étudier \(h_{2}\) et donner son graphe.\\
c) Soit \(X\) une variable aléatoire suivant une loi de Bernoulli de paramètre \(p \in] 0,1[\). Montrer que \(H(X) \leqslant 1\) avec égalité si, et seulement si, \(p=1 / 2\).\\
III. \(2^{\circ}\) ) Étude pour \(n=3\).\\
a) Soit \(\mathcal{O}\) l'ensemble des \((x, y) \in] 0,1\left[^{2}\right.\) vérifiant \(1-x-y>0\) et \(h_{3}\) la fonction définie sur \(\mathcal{O}\) par :

\[
h_{3}:(x, y) \mapsto h(x)+h(y)+h(1-x-y)
\]

On admet que \(\mathcal{O}\) est un ouvert. Montrer que \(h_{3}\) admet au plus un extremum sur \(\mathcal{O}\).\\
b) Justifier par un argument de convexité :

\[
\text { pour tout } u>0, \quad \ln (u) \leqslant u-1
\]

\begin{itemize}
  \item Dans la suite, on pourra utiliser sans démonstration que \(\ln (u)=u-1\) si, et seulement si, \(u=1\).\\
c) En déduire que \(h_{3}\) admet un maximum global sur \(\mathcal{O}\).
  \item On pourra utiliser (1) pour \(1 /(3 x)\) et pour \(1 /(3 y)\) entre autres.\\
d) Soit \(X\) une variable aléatoire à valeurs dans \(\left\{x_{1}, x_{2}, x_{3}\right\}\). Montrer que :\\
\(H(X) \leqslant \ln (3) / \ln (2)\) avec égalité si, et seulement si, \(X\) suit la loi uniforme sur \(\left\{x_{1}, x_{2}, x_{3}\right\}\)\\
III. \(3^{\circ}\) ) Soit \(n \in \mathbb{N} \backslash\{0,1\}\). Soit \(X\) une variable aléatoire à valeurs dans \(\left\{x_{1}, x_{2}, \ldots, x_{n}\right\}\). On pose \(p_{k}=P\left(X=x_{k}\right)\).\\
a) Dans cette question on suppose que pour tout \(k \in\{1,2, \ldots, n\}, p_{k}>0\).
\end{itemize}

En utilisant (1) pour les \(\frac{1}{n p_{k}}\), montrer que :\\
\(H(X) \leqslant \ln (n) / \ln (2)\) avec égalité si, et seulement si, \(X\) suit la loi uniforme sur \(\left\{x_{1}, x_{2}, \ldots, x_{n}\right\}\).\\
b) Vérifier que la conclusion du a) est encore vraie en supprimant la condition « \(p_{k}>0\) pour tout \(k \in\{1,2, \ldots, n\}\) ».\\
III. \(4^{\circ}\) ) Soit \(\left.p \in\right] 0,1\) [ et \(G\) une variable aléatoire suivant une loi géométrique de paramètre \(p\).

On pose \(m=E(G)\) et pour \(k \in \mathbb{N}^{*}, p_{k}=P(G=k)\).\\
a) Rappeler la valeur de \(m\), montrer que \(H(G)\) existe et la calculer.\\
b) Soit \(X\) une variable aléatoire telle que \(X(\Omega)=\mathbb{N}^{*}, E(X)=m\) et \(H(X)\) existe.

Pour \(k \in \mathbb{N}^{*}\), on pose \(q_{k}=P(X=k)\) et on supposera \(q_{k}>0\).\\
En utilisant (1) vérifier que pour tout \(k \in \mathbb{N}^{*}\), on a :\\
\(q_{k} \ln (p)+(k-1) q_{k} \ln (1-p)-q_{k} \ln \left(q_{k}\right) \leqslant p_{k}-q_{k}\)\\
et établir : \(H(X) \leqslant H(G)\) avec égalité si, et seulement si, \(X\) suit la même loi que \(G\).

\section*{Partie IV Incertitude d'une variable aléatoire continue}
Pour une variable aléatoire \(X\) admettant une densité \(f\) continue sur \(\mathbb{R}\) éventuellement privé d'un nombre fini de points, on dit que \(X\) admet une incertitude quand l'intégrale \(\int_{-\infty}^{+\infty} h(f(x)) \mathrm{d} x\) converge.\\
Dans ce cas, la valeur de l'intégrale \(H(X)=\int_{-\infty}^{+\infty} h(f(x)) \mathrm{d} x\) est appelée incertitude de \(X\).\\
IV. \(1^{\circ}\) ) Cas des lois normales\\
a) Soit \(Y_{0}\) une variable aléatoire suivant une loi normale centrée réduite.

Montrer que \(H\left(Y_{0}\right)\) existe et calculer \(H\left(Y_{0}\right)\).\\
b) Soit \(Y\) une variable aléatoire suivant une loi normale de moyenne \(m\) et d'écart type \(\sigma>0\).\\
Montrer que \(H(Y)\) existe et calculer \(H(Y)\).\\
IV. \(2^{\circ}\) ) Soit \(\lambda>0\) et \(X_{0}\) une variable aléatoire suivant une loi exponentielle de paramètre \(\lambda\). On désignera par \(f_{0}\) la densité de \(X_{0}\).\\
a) Montrer que \(H\left(X_{0}\right)\) existe et calculer \(H\left(X_{0}\right)\) en fonction de \(\lambda\).\\
b) Soit \(X\) une variable aléatoire à valeurs dans \(\mathbb{R}_{+}^{*}\), admettant une densité \(f\). On suppose que \(H(X)\) existe et que \(X\) admet une espérance égale à \(\frac{1}{\lambda}\).\\
Montrer que :

\[
H\left(X_{0}\right)=-\frac{1}{\ln (2)} \int_{0}^{+\infty} f(x) \ln \left(f_{0}(x)\right) \mathrm{d} x
\]

En utilisant (1) montrer que \(H(X) \leqslant H\left(X_{0}\right)\).


\end{document}