Caractérisations et propriétés des matrices nilpotentes

Résolution.

1. Étude des équivalences de la nilpotence.

   $(i) \implies (ii)$ : Si $A$ est nilpotente, il existe $p \in \mathbb{N}^*$ tel que $A^p = 0$. Si $\lambda$ est une valeur propre de $A$, alors $\lambda^p$ est valeur propre de $A^p = 0$, donc $\lambda = 0$. $(ii) \implies (iii)$ : $A$ est une matrice à coefficients complexes, elle est donc trigonalisable. Ses coefficients diagonaux sont ses valeurs propres. Si la seule valeur propre est $0$, alors $A$ est semblable à une matrice triangulaire supérieure dont la diagonale est nulle. $(iii) \implies (iv)$ : Soit $T$ une telle matrice. Un calcul par blocs ou une récurrence montre que $T^n = 0$. Par similitude, on en déduit :

   $$\boxed{A^n = 0}$$

   $(iv) \implies (i)$ : C'est la définition même de la nilpotence (le polynôme $X^n$ est annulateur).

   $(ii) \iff (v)$ : Soient $\lambda_1, \dots, \lambda_n$ les valeurs propres de $A$ comptées avec multiplicité. On sait que $\operatorname{Tr}(A^k) = \sum_{i=1}^n \lambda_i^k$. Si toutes les valeurs propres sont nulles, les traces sont évidemment nulles. Réciproquement, si $\operatorname{Tr}(A^k) = 0$ pour $k \in \{1, \dots, n\}$, les identités de Newton assurent que les polynômes symétriques élémentaires des $(\lambda_i)$ sont nuls. Ainsi, le polynôme caractéristique de $A$ est :

   $$\boxed{\chi_A(X) = X^n}$$
   Ce qui implique que la seule valeur propre est $0$.

2. Application au commutateur $[A,B] = B$.

   Montrons par récurrence sur $k \in \mathbb{N}^*$ que $AB^k - B^k A = k B^k$. L'initialisation est donnée par l'énoncé pour $k=1$. Supposons la propriété vraie au rang $k$. Alors :

   $$AB^{k+1} - B^{k+1}A = (AB^k - B^k A)B + B^k(AB - BA)$$
   D'après l'hypothèse de récurrence et l'énoncé :
   $$AB^{k+1} - B^{k+1}A = (kB^k)B + B^k(B) = (k+1)B^{k+1}$$
   En prenant la trace de cette égalité, on obtient :
   $$\operatorname{Tr}((k+1)B^{k+1}) = \operatorname{Tr}(AB^{k+1} - B^{k+1}A) = 0$$
   Car la trace d'un commutateur est toujours nulle. Comme $k+1 \neq 0$, on en déduit que $\operatorname{Tr}(B^{k+1}) = 0$ pour tout $k \ge 0$. D'après la question 1, on conclut :
   $$\boxed{B \text{ est nilpotente}}$$

3. Existence d'un vecteur propre commun.

   Si $A$ et $B$ commutent ($\lambda = \mu = 0$), le résultat est un classique du cours (deux endomorphismes qui commutent sur un $\mathbb{C}$-espace vectoriel ont un vecteur propre commun).

   Supposons $(\lambda, \mu) \neq (0,0)$. Posons $C = \lambda A + \mu B = [A, B]$. D'après la relation de l'énoncé :

   $$[A, C] = [A, \lambda A + \mu B] = \mu [A, B] = \mu C$$
   Si $\mu \neq 0$, la question 2 appliquée à $(A/\mu, C)$ montre que $C$ est nilpotente. Si $\mu = 0$, alors $C = \lambda A$, et $[A, B] = \lambda A$ impose que $A$ est nilpotente (d'après la question 2 encore), donc $C$ est nilpotente.

   Dans tous les cas, $C$ est nilpotente et $C \neq 0$ (si $C=0$, on retombe sur le cas commutant). Soit $V = \ker C$. Comme $C$ est nilpotente, $V \neq \{0\}$. Montrons que $V$ est stable par $A$ et $B$. Soit $x \in V$ :

   $$C(Ax) = ACx - [A, C]x = 0 - \mu Cx = 0 \implies Ax \in V$$
   $$C(Bx) = BCx - [B, C]x = 0 - (-\lambda) Cx = 0 \implies Bx \in V$$
   Les restrictions de $A$ et $B$ à $V$ commutent car $[A, B]_{|V} = C_{|V} = 0$. $A_{|V}$ et $B_{|V}$ étant des endomorphismes d'un espace de dimension finie sur $\mathbb{C}$ qui commutent, ils possèdent un vecteur propre commun.
   $$\boxed{\text{Il existe } x \neq 0 \text{ tel que } Ax = \alpha x \text{ et } Bx = \beta x}$$