Classes de similitude et rang

Résolution.

1. Soit $k$ l'indice de nilpotence de $u$. On considère la suite des noyaux $K_i = \ker(u^i)$ pour $i \in \{0, \dots, k\}$. On sait que pour un endomorphisme nilpotent, la suite est strictement croissante jusqu'à l'indice $k$ :
   $$\{0\} = K_0 \subsetneq K_1 \subsetneq K_2 \subsetneq \dots \subsetneq K_k = E$$
   En particulier, pour tout $i \in \{1, \dots, k-1\}$, on a $\dim K_{i+1} \geq \dim K_i + 1$. Par une récurrence immédiate, on en déduit :
   $$\dim K_k \geq \dim K_1 + (k-1)$$
   Or, $\dim K_k = n$ et par le théorème du rang, $\dim K_1 = \dim \ker(u) = n - \operatorname{rg}(u)$. En injectant ces relations, on obtient :
   $$n \geq n - \operatorname{rg}(u) + k - 1$$
   Ce qui se simplifie immédiatement en :
   $$\boxed{k \leq \operatorname{rg}(u) + 1}$$

2. Soit $u$ nilpotent de rang 1. D'après la question précédente, son indice de nilpotence $k$ vérifie $k \leq 1 + 1 = 2$. Comme $u \neq 0$ (car son rang est 1), on a nécessairement $k = 2$. Ainsi, $u^2 = 0$ et $\operatorname{im}(u) \subset \ker(u)$. Comme $\operatorname{rg}(u) = 1$, soit $e_1$ un vecteur non nul engendrant $\operatorname{im}(u)$. Puisque $e_1 \in \operatorname{im}(u)$, il existe $x \in E$ tel que $u(x) = e_1$. Notez que $x \notin \ker(u)$ car $e_1 \neq 0$. Puisque $e_1 \in \ker(u)$, on a $u(e_1) = 0$. La famille $(e_1, x)$ est libre car $x \notin \ker(u)$ et $e_1 \in \ker(u) \setminus \{0\}$. On complète $e_1$ en une base $(e_1, e_2, \dots, e_{n-1})$ de $\ker(u)$. Alors la famille $\mathcal{B} = (e_1, e_2, \dots, e_{n-1}, x)$ est une base de $E$. Dans cette base, la matrice de $u$ est :
   $$M = \operatorname{Mat}_{\mathcal{B}}(u) = \begin{pmatrix} 0 & \dots & 0 & 1$$
   \vdots & & \vdots & 0
   \vdots & & \vdots & \vdots
   0 & \dots & 0 & 0 \end{pmatrix}
   Cette matrice ne dépend que de $n$. Ainsi, tout endomorphisme nilpotent de rang 1 est semblable à cette matrice $M$, et par transitivité, deux tels endomorphismes sont semblables entre eux.

3. 1. Le polynôme $P = X^2(X-1)$ est annulateur de $u$. Les noyaux $\ker(u^2)$ et $\ker(u-id)$ sont en somme directe et leur somme est $E$ par le lemme des noyaux :
      $$E = \ker(u^2) \oplus \ker(u-id)$$
      Soient $u_0$ et $u_1$ les restrictions de $u$ à ces deux sous-espaces. $u_1$ est l'identité sur $E_1 = \ker(u-id)$, donc $\operatorname{rg}(u_1) = \dim E_1$. $u_0$ est nilpotent d'indice 2 sur $E_0 = \ker(u^2)$. Le rang de $u$ est la somme des rangs des restrictions :
      $$\operatorname{rg}(u) = \operatorname{rg}(u_0) + \operatorname{rg}(u_1) = \operatorname{rg}(u_0) + \dim E_1$$
      Comme $X^2$ est le polynôme minimal de $u_0$, $u_0 \neq 0$, donc $\operatorname{rg}(u_0) \geq 1$. De même, comme $X-1$ divise le polynôme minimal, $E_1 \neq \{0\}$, donc $\dim E_1 \geq 1$. Puisque $\operatorname{rg}(u) = 2$, la seule possibilité entière est $\dim E_1 = 1$ et $\operatorname{rg}(u_0) = 1$. Ainsi, $E_1$ est de dimension 1 et $u_{|E_1} = id$. $E_0$ est de dimension $n-1$ et $u_{|E_0}$ est un nilpotent de rang 1. D'après la question 2, la structure de $u_{|E_0}$ est unique à similitude près. La classe de similitude de $u$ est donc entièrement déterminée par ces invariants dimensionnels fixes, ce qui prouve que $u$ et $v$ sont semblables.

   2. Ici $u$ est nilpotent de rang 2. D'après la question 1, son indice $k$ vérifie $k \leq 2+1 = 3$. Cas 1 : $k = 3$. Il existe $x \in E$ tel que $u^2(x) \neq 0$. La famille $(u^2(x), u(x), x)$ est libre. Soit $V = \operatorname{Vect}(u^2(x), u(x), x)$. On a $\dim V = 3$. Le rang de $u_{|V}$ est 2. Comme $\operatorname{rg}(u) = 2$, on a $\operatorname{im}(u) \subset V$. Alors $\ker(u)$ est de dimension $n-2$. On remarque que $u^2(x) \in \ker(u) \cap V$. On peut compléter $u^2(x)$ en une base de $\ker(u)$ par des vecteurs $(e_4, \dots, e_n)$. Alors $(u^2(x), u(x), x, e_4, \dots, e_n)$ forme une base de $E$. Dans cette base, la matrice de $u$ est fixe (un bloc de taille 3 et des colonnes nulles). Cas 2 : $k = 2$. On a $u^2 = 0$, donc $\operatorname{im}(u) \subset \ker(u)$. Puisque $\operatorname{rg}(u) = 2$, $\operatorname{im}(u)$ est un plan inclus dans l'hyperplan (ou moins) $\ker(u)$ de dimension $n-2$. Soit $(f_1, f_2)$ une base de $\operatorname{im}(u)$. Il existe $(x_1, x_2)$ tels que $u(x_1) = f_1$ et $u(x_2) = f_2$. La famille $(f_1, f_2, x_1, x_2)$ est libre. On complète $(f_1, f_2)$ en une base $(f_1, f_2, e_3, \dots, e_{n-2})$ de $\ker(u)$. Alors $(f_1, f_2, e_3, \dots, e_{n-2}, x_1, x_2)$ est une base de $E$ où la matrice de $u$ est fixée. Dans les deux cas, la matrice ne dépend que de $k$ et $n$, donc $u$ et $v$ sont semblables.