\documentclass[10pt]{article}
\usepackage[french]{babel}
\usepackage[utf8]{inputenc}
\usepackage[T1]{fontenc}
\usepackage{amsmath}
\usepackage{amsfonts}
\usepackage{amssymb}
\usepackage[version=4]{mhchem}
\usepackage{stmaryrd}
\usepackage{bbold}

\begin{document}
OPTION : SCIENTIFIQUE

\section*{MATHEMATIQUES II}
Mardi 10 Mai 2005, de 8 h. à 12 h.

La présentation, la lisibilité, l'orthographe, la qualité de la rédaction, la clarté et la précision des raisonnements entreront pour une part importante dans l'appréciation des copies.\\
Les candidats sont invités à encadrer dans la mesure du possible les résultats de leurs calculs.\\
Ils ne doivent faire usage d'aucun document : l'utilisation de toute calculatrice et de tout matériel électronique est interdite.\\
Seule l'utilisation d'une règle graduée est autorisée.

Dans tout le problème, \(n\) et \(r\) désignent des entiers strictement positifs. On note \(\mathcal{M}_{n, r}(\mathbb{R})\), l'ensemble des matrices rectangulaires à \(n\) lignes et \(r\) colonnes à coefficients réels. Pour \(n=r\), on pose \(\mathcal{M}_{n}(\mathbb{R})=\mathcal{M}_{n, n}(\mathbb{R})\). Pour tout entier \(n\) de \(\mathbb{N}^{*}\), on identifie \(\mathbb{R}^{n}\) et \(\mathcal{M}_{n, 1}(\mathbb{R})\).\\
La transposée d'une matrice \(A\) appartenant à \(\mathcal{M}_{n, r}(\mathbb{R})\) est notée \({ }^{t} A\). On pourra également la noter \(A^{T}\).\\
On étudie dans ce problème, quelques propriétés du modèle linéaire, qui constitue l'instrument de base de l'économétrie.

\section*{Partie I. Trace et matrices aléatoires}
Pour toute matrice \(M\) appartenant à \(\mathcal{M}_{n}(\mathbb{R})\), on appelle trace de \(M\), notée \(\operatorname{tr}(M)\), la somme de ses coefficients diagonaux ; ainsi, si \(M=\left(m_{i, j}\right)_{1 \leqslant i, j \leqslant n}, \operatorname{tr}(M)=\sum_{i=1}^{n} m_{i, i}\).\\
On rappelle les trois résultats suivants (que les candidats n'ont pas à démontrer) :

\begin{itemize}
  \item l'application tr qui, à toute matrice \(M\) de \(\mathcal{M}_{n}(\mathbb{R})\), associe sa trace, est une application linéaire de \(\mathcal{M}_{n}(\mathbb{R})\) dans \(\mathbb{R}\);
  \item si \(A\) est une matrice de \(\mathcal{M}_{n, r}(\mathbb{R})\) et \(B\) une matrice de \(\mathcal{M}_{r, n}(\mathbb{R})\), alors \(\operatorname{tr}(A B)=\operatorname{tr}(B A)\);
  \item si \(M\) et \(N\) sont deux matrices semblables de \(\mathcal{M}_{n}(\mathbb{R})\), alors \(\operatorname{tr}(M)=\operatorname{tr}(N)\).
\end{itemize}

\begin{enumerate}
  \item Soit \(M\) une matrice de \(\mathcal{M}_{n}(\mathbb{R})\) possédant \(q\) valeurs propres ( \(1 \leqslant q \leqslant n\) ) notées \(\lambda_{1}, \lambda_{2}, \ldots, \lambda_{q}\). Pour tout entier \(i\) de \(\llbracket 1, q \rrbracket\), on désigne par \(n_{i}\) la dimension du sous-espace propre associé à la valeur propre \(\lambda_{i}\).\\
a) On suppose que la matrice \(M\) est diagonalisable sur \(\mathbb{R}\). Montrer que \(\operatorname{tr}(M)=\sum_{i=1}^{q} n_{i} \lambda_{i}\).\\
b) On suppose que la matrice \(M=\left(m_{i, j}\right)_{1 \leqslant i, j \leqslant n}\) de \(\mathcal{M}_{n}(\mathbb{R})\) est symétrique. Montrer les égalités suivantes :
\end{enumerate}

\[
\operatorname{tr}\left({ }^{t} M M\right)=\operatorname{tr}\left(M^{2}\right)=\sum_{i=1}^{q} n_{i} \lambda_{i}^{2}=\sum_{i=1}^{n} \sum_{j=1}^{n} m_{i, j}^{2}
\]

\begin{enumerate}
  \setcounter{enumi}{1}
  \item Pour tout entier \(i\) de \(\llbracket 1, n \rrbracket\) et pour tout entier \(j\) de \(\llbracket 1, r \rrbracket\), on considère des variables aléatoires réelles \(Z_{i, j}\) définies sur un espace probabilisé ( \(\Omega, \mathcal{A}, \mu\) ). On définit la matrice aléatoire \(Z\), à \(n\) lignes et \(r\) colonnes, en associant à tout \(\omega\) de \(\Omega\), la matrice :
\end{enumerate}

\[
Z(\omega)=\left(\begin{array}{ccc}
Z_{1,1}(\omega) & \ldots & Z_{1, r}(\omega) \\
\vdots & \ddots & \vdots \\
Z_{n, 1}(\omega) & \ldots & Z_{n, r}(\omega)
\end{array}\right)=\left(Z_{i, j}(\omega)\right)_{\substack{1 \leqslant i \leqslant n \\
1 \leqslant j \leqslant r}}
\]

On suppose que les \(n r\) variables aléatoires \(Z_{i, j}\) admettent une espérance \(E\left(Z_{i, j}\right)\), et on définit l'espérance de la matrice \(Z\), notée \(E(Z)\), comme la matrice de \(\mathcal{M}_{n, r}(\mathbb{R})\) dont les éléments sont les espérances \(E\left(Z_{i, j}\right)\), soit \(E(Z)=\left(E\left(Z_{i, j}\right)\right)_{\substack{1 \leqslant i \leqslant n \\ 1 \leqslant j \leqslant r}}\).\\
Si \(Z\) et \(W\) sont deux matrices aléatoires à \(n\) lignes et \(r\) colonnes admettant chacune une espérance, et si \(\lambda\) est réel, on remarquera que \(E(\lambda Z+W)=\lambda E(Z)+E(W)\).\\
Dans le cas où \(n=r\), on appelle trace de \(Z\), notée \(\operatorname{tr}(Z)\), la variable aléatoire définie par \(\operatorname{tr}(Z)=\sum_{i=1}^{n} Z_{i, i}\) et si \(n=r=1\), la matrice aléatoire \(Z\) coïncide avec la variable aléatoire \(Z\) et on a \(\operatorname{tr}(Z)=Z\).\\
Dans le cas où \(r=1\) et \(n\) est quelconque, si \(T={ }^{t}\left(T_{1} \ldots T_{n}\right)\) et \(W={ }^{t}\left(W_{1} \ldots W_{n}\right)\) sont deux vecteurs aléatoires de \(\mathbb{R}^{n}\), et si \(\lambda\) est un réel quelconque, on définit le vecteur aléatoire \(\lambda T+W\) de \(\mathbb{R}^{n}\) par

\[
\lambda T+W={ }^{t}\left(\lambda T_{1}+W_{1} \ldots \lambda T_{n}+W_{n}\right)
\]

a) Soit \(Z\) une matrice aléatoire à \(n\) lignes et \(r\) colonnes admettant une espérance \(E(Z)\). On considère une matrice \(A\) de \(\mathcal{M}_{r, n}(\mathbb{R})\). Montrer que \(E(A Z)=A E(Z)\). Soit \(B\) un élément de \(\mathcal{M}_{r, q}(\mathbb{R})\), avec \(q \in \mathbb{N}^{*}\). Montrer que \(E(Z B)=E(Z) B\).\\
b) Soit \(Z\) une matrice aléatoire à \(n\) lignes et \(n\) colonnes admettant une espérance \(E(Z)\). Établir les deux égalités : \(E\left({ }^{t} Z\right)={ }^{t}(E(Z))\) et \(E(\operatorname{tr}(Z))=\operatorname{tr}(E(Z))\).\\
3. Dans cette question, \(Y\) désigne un vecteur aléatoire de \(\mathbb{R}^{n}\), noté \(Y=\left(\begin{array}{c}Y_{1} \\ \vdots \\ Y_{n}\end{array}\right)\), admettant une espérance \(E(Y)\) et une matrice de variance-covariance notée \(V(Y)\).\\
On rappelle que \(V(Y)=E\left[(Y-E(Y)) \times{ }^{t}(Y-E(Y))\right]\).\\
On admet que la définition et les propriétés de la matrice de variance-covariance \(V(Y)\) d'un vecteur aléatoire discret restent valables pour un vecteur aléatoire dont les composantes sont des variables aléatoires quelconques (discrètes ou à densité).\\
Ainsi, en supposant que pour tout \(i\) de \(\llbracket 1, n \rrbracket\) et pour tout \(j\) de \(\llbracket 1, n \rrbracket\), la variable aléatoire \(Y_{i} Y_{j}\) possède un moment d'ordre 1 au moins, on définit la covariance de \(Y_{i}\) et \(Y_{j} \operatorname{par} \operatorname{cov}\left(Y_{i}, Y_{j}\right)=E\left(Y_{i} Y_{j}\right)-E\left(Y_{i}\right) E\left(Y_{j}\right)\), et si \(Y_{i}\) et \(Y_{j}\) sont indépendantes, alors \(\operatorname{cov}\left(Y_{i}, Y_{j}\right)=0\).\\
a) Montrer que, pour tout vecteur aléatoire \(Y\) de \(\mathbb{R}^{n}, V(Y)=E\left(Y^{t} Y\right)-E(Y) E\left({ }^{t} Y\right)\).\\
b) Soit \(B\) une matrice de \(\mathcal{M}_{r, n}(\mathbb{R})\). Justifier l'égalité \(V(B Y)=B V(Y)^{t} B\).\\
c) Soit \(A\) une matrice de \(\mathcal{M}_{n}(\mathbb{R})\). On pose \(m=E(Y)\) et \(J=V(Y)\). Établir les égalités :\\
\(E\left({ }^{t} Y A Y\right)=\operatorname{tr}\left(A \cdot E\left(Y^{t} Y\right)\right)\) et \(E\left({ }^{t} Y A Y\right)=\operatorname{tr}(A J)+{ }^{t} m A m\).

\section*{Partie II. Le modèle linéaire}
Dans les parties II.A et II.B, \(n\) et \(k\) sont deux entiers donnés qui vérifient \(1 \leqslant k<n\). L'espace vectoriel \(\mathbb{R}^{n}\) est muni de sa structure euclidienne canonique. Toutes les variables aléatoires considérées sont définies sur un espace probabilisé ( \(\Omega, \mathcal{A}, \mu\) ) et admettent des moments d'ordre au moins 2 .\\
On considère un échantillon de \(n\) individus extrait d'une population donnée. Ces individus sont décrits à l'aide de \(k\) variables statistiques réelles (caractères) \(C_{1}, C_{2}, \ldots, C_{k}\).\\
Pour tout entier \(j\) de \(\llbracket 1, k \rrbracket\), chaque caractère \(C_{j}\) fait l'objet de \(n\) observations notées \(x_{1, j}, \ldots, x_{n, j}\). On définit ainsi une application linéaire \(f\) de \(\mathbb{R}^{k}\) dans \(\mathbb{R}^{n}\), dont la matrice dans les bases canoniques de \(\mathbb{R}^{k}\) et \(\mathbb{R}^{n}\) est la matrice \(X=\left(x_{i, j}\right)_{\substack{1 \leqslant i \leqslant n \\ 1 \leqslant j \leqslant k}}\) de \(\mathcal{M}_{n, k}(\mathbb{R})\). On suppose que le rang de \(X\) est égal à \(k\).\\
Soit \(U=\left(\begin{array}{c}U_{1} \\ \vdots \\ U_{n}\end{array}\right)\) un vecteur aléatoire de \(\mathbb{R}^{n}\), dont les composantes \(U_{1}, \ldots, U_{n}\) sont des variables aléatoires réelles définies sur ( \(\Omega, \mathcal{A}, \mu\) ), mutuellement indépendantes et de même loi. On suppose que \(E(U)=0_{n}\) et \(V(U)=\sigma^{2} I_{n}\), où \(0_{n}\) désigne le vecteur nul de \(\mathbb{R}^{n}, I_{n}\) la matrice identité de \(\mathcal{M}_{n}(\mathbb{R})\) et \(\sigma\) un réel strictement positif inconnu.\\
Soit \(\alpha=\left(\begin{array}{c}\alpha_{1} \\ \vdots \\ \alpha_{k}\end{array}\right)\) un vecteur non nul de \(\mathbb{R}^{k}\) dont les composantes \(\alpha_{1}, \ldots, \alpha_{k}\) sont inconnues ( \(\alpha\) est un paramètre vectoriel)

On considère un vecteur aléatoire non nul, \(Y=\left(\begin{array}{c}Y_{1} \\ \vdots \\ Y_{n}\end{array}\right)\) de \(\mathbb{R}^{n}\) tel que, pour tout \(i\) de \(\llbracket 1, n \rrbracket\), la variable aléatoire \(Y_{i}\) définie sur \((\Omega, \mathcal{A}, \mu)\) s'écrit \(Y_{i}=\sum_{j=1}^{k} x_{i, j} \alpha_{j}+U_{i}\).\\
Sous forme matricielle, le modèle linéaire s'écrit \(Y=X \alpha+U\). On s'intéresse dans cette partie II, à l'étude de quelques propriétés de ce modèle, liées à l'estimation des paramètres inconnus \(\alpha_{1}, \alpha_{2}, \ldots, \alpha_{k}\) et \(\sigma^{2}\).\\
Pour cela, on désigne par \(y\) et on note \(y=\left(\begin{array}{c}y_{1} \\ \vdots \\ y_{n}\end{array}\right)\), le vecteur non nul de \(\mathbb{R}^{n}\) qui représente la réalisation sur l'échantillon considéré du vecteur aléatoire \(Y\); ainsi, pour tout \(i\) de \(\llbracket 1, n \rrbracket, y_{i}\) est la réalisation de la variable aléatoire \(Y_{i}\).\\
Soit \(u=\left(\begin{array}{c}u_{1} \\ \vdots \\ u_{n}\end{array}\right)\) le vecteur de \(\mathbb{R}^{n}\), dit vecteur d'écart, défini par \(u=y-X \alpha\).

\section*{A. Quelques résultats algébriques}
\begin{enumerate}
  \item On considère l'endomorphisme \(h\) de \(\mathbb{R}^{k}\) dont la matrice \(H\), dans la base canonique de \(\mathbb{R}^{k}\), est définie par \(H={ }^{t} X X\).\\
a) Montrer que \(H\) est une matrice symétrique réelle de \(\mathcal{M}_{k}(\mathbb{R})\).\\
b) En étudiant le noyau de \(h\), montrer que le rang de \(h\) est égal à \(k\). En déduire que la matrice \(H\) est inversible. On notera \(H^{-1}\) son inverse.
  \item Dans cette question, on veut trouver, en fonction de \(y\) et \(X\), les vecteurs \(\alpha\) de \(\mathbb{R}^{k}\) qui minimisent \(\|u\|\). Montrer que ce problème admet une unique solution \(\widehat{\alpha}\) définie par \(\widehat{\alpha}=\left(\begin{array}{c}\widehat{\alpha_{1}} \\ \vdots \\ \widehat{\alpha_{n}}\end{array}\right)=H^{-1}{ }^{t} X y\).
  \item Soit \(p\) le projecteur orthogonal de \(\mathbb{R}^{n}\) sur le sous-espace vectoriel engendré par les colonnes de la matrice \(X\). On note \(P\) la matrice de \(p\) dans la base canonique de \(\mathbb{R}^{n}\).\\
a) Montrer que \(p(y)=X \hat{\alpha}\). En déduire que \(P=X H^{-1}{ }^{t} X\). Vérifier que \(P=P^{2}={ }^{t} P\).\\
b) Établir que le rang de \(P\) et la trace de \(P\) sont égaux. Quelle est leur valeur commune?\\
c) Montrer que les colonnes de \(X\) constituent une base de vecteurs propres de la matrice \(P\), associés à la valeur propre 1.\\
d) Montrer qu'il existe une matrice \(S\) de \(\mathcal{M}_{n}(\mathbb{R})\), orthogonale, telle que \(P=S D^{t} S\), où \(D=\left(d_{i, j}\right)_{1 \leqslant i, j \leqslant n}\) est la matrice diagonale définie par :
\end{enumerate}

\[
\left\{\begin{array}{cc}
d_{i, i}=1 & \text { si } 1 \leqslant i \leqslant k \\
d_{i, j}=0 & \text { sinon }
\end{array}\right.
\]

Préciser les \(k\) premières colonnes de \(S\).\\
4. Soit \(\widehat{u}\) le vecteur de \(\mathbb{R}^{n}\) défini par \(\widehat{u}=y-X \widehat{\alpha}\).\\
a) On pose \(Q=I_{n}-P\). Montrer que \(\widehat{u}=Q u\). Vérifier que \(Q=Q^{2}={ }^{t} Q\). Calculer la trace de \(Q\).\\
b) Exprimer \({ }^{t} \widehat{u} \widehat{u}\) et \({ }^{t} y Q y\) en fonction de \(Q\) et \(u\).\\
5. Par définition, on dit qu'une matrice \(A\) symétrique réelle d'ordre \(n\) est positive, si pour tout vecteur \(z\) de \(\mathbb{R}^{n}\), on a \(t_{z} A z \geqslant 0\).\\
a) Montrer que \(A\), symétrique réelle, est positive si et seulement si ses valeurs propres sont positives ou nulles.\\
b) Soit \(L\) une matrice appartenant à \(\mathcal{M}_{n, k}(\mathbb{R})\). Établir que \({ }^{t} L L\) est symétrique réelle positive.

\section*{B. Estimation des paramètres \(\alpha_{1}, \alpha_{2}, \ldots, \alpha_{k}\) et \(\sigma^{2}\)}
\begin{enumerate}
  \item Soit \(\widehat{G}\) le vecteur aléatoire de \(\mathbb{R}^{k}\) défini par: \(\widehat{G}=H^{-1}{ }^{t} X Y\).\\
a) Établir que \(E(Y)=X \alpha\), et que \(V(Y)=\sigma^{2} I_{n}\). En déduire que \(E(\widehat{G})=\alpha\) ( \(\widehat{G}\) est un estimateur sans biais de \(\alpha\), tandis que \(\widehat{\alpha}\) est une estimation sans biais de \(\alpha\) ).\\
b) Montrer que \(V(\widehat{G})=\sigma^{2} H^{-1}\).
  \item On veut montrer dans cette question, que dans l'ensemble des estimateurs sans biais du paramètre \(\alpha\), de la forme \({ }^{t} B Y\), où \(B\) est une matrice quelconque, non nulle de \(\mathcal{M}_{n, k}(\mathbb{R})\), l'estimateur \(\widehat{G}\) est optimal dans le sens suivant : tout autre estimateur \(G^{*}\) sans biais du paramètre \(\alpha\), de la forme \({ }^{t} B Y\) est tel que la matrice \(V\left(G^{*}\right)-V(\widehat{G})\) est positive.\\
Soit \(B\) une matrice non nulle de \(\mathcal{M}_{n, k}(\mathbb{R})\). On considère le vecteur aléatoire \(\widehat{C}={ }^{t} B Y\)\\
a) Quelle condition doit satisfaire la matrice \(B\) pour que, pour tout vecteur \(\alpha\) de \(\mathbb{R}^{k}, \widehat{C}\) soit un estimateur sans biais de \(\alpha\) ?\\
b) En supposant cette condition vérifiée, on pose \({ }^{t} F={ }^{t} B-H^{-1}{ }^{t} X\). Calculer \({ }^{t} F X\), et montrer que la matrice \(V(\widehat{C})-V(\widehat{G})\) est positive.
  \item On désigne par \(\widehat{U}\) le vecteur aléatoire de \(\mathbb{R}^{n}\) défini par \(\widehat{U}=\left(\begin{array}{c}\widehat{U_{1}} \\ \vdots \\ \widehat{U_{n}}\end{array}\right)=Y-X \widehat{G}\).\\
a) Montrer que \(\widehat{U}=Q U\).\\
b) Déterminer \(E(\widehat{U})\) et \(V(\widehat{U})\). Les variables aléatoires \(\widehat{U_{1}}, \ldots, \widehat{U_{n}}\) sont-elles indépendantes?\\
c) Montrer que \({ }^{t} \widehat{U} \widehat{U}=\sum_{i=1}^{n} \widehat{U}_{i}{ }^{2}={ }^{t} U Q U={ }^{t} Y Q Y\).\\
d) Calculer \(E\left({ }^{t} \widehat{U} \widehat{U}\right)\). En déduire que la variable aléatoire \(s_{n}\) définie par \(s_{n}=\frac{{ }^{t} \widehat{U} \widehat{U}}{n-k}=\frac{{ }^{t} Y Q Y}{n-k}\) est un estimateur sans biais de \(\sigma^{2}\).
\end{enumerate}

\section*{C. Étude d'une suite d'estimateurs}
Dans cette partie, \(k\) est fixé dans \(\mathbb{N}^{*}\). On veut montrer que la suite d'estimateurs \(\left(s_{n}\right)_{n \geqslant k+1}\) de \(\sigma^{2}\), est convergente.\\
On suppose que, pour tout \(i\) de \(\llbracket 1, n \rrbracket\), la variable aléatoire \(U_{i}\) possède des moments d'ordre 3 et 4 avec \(E\left(U_{i}^{3}\right)=0\) et \(E\left(U_{i}^{4}\right)=3 \sigma^{4}\). On pose \(Q=\left(q_{i, j}\right)_{1 \leqslant i, j \leqslant n}\).

\begin{enumerate}
  \item Établir que \({ }^{t} U Q U=\sum_{i=1}^{n} \sum_{j=1}^{n} q_{i, j} U_{i} U_{j}\).
  \item Montrer que \(E\left[\left({ }^{t} U Q U\right)^{2}\right]=\sigma^{4}\left[(\operatorname{tr}(Q))^{2}+2 \operatorname{tr}\left(Q^{2}\right)\right]\). En déduire que \(E\left[\left(^{t} U Q U\right)^{2}\right]=\sigma^{4}(n-k)(n-k+2)\).
  \item Calculer la variance \(V\left(s_{n}\right)\) de la variable aléatoire \(s_{n}\). Conclure.
\end{enumerate}

\end{document}