Hyperplans et matrices nilpotentes de taille 2

Résolution.

1. Soit $V = \{ M \in \mathcal{M}_2(\mathbb{C}) \mid \text{Tr}(M) = 0 \}$ le sous-espace des matrices de trace nulle. On sait que :
   $$\dim(V) = 2^2 - 1 = 3$$
   Soit $\phi$ une forme linéaire non nulle telle que $H = \ker \phi$. Considérons la restriction de $\phi$ à $V$, notée $\phi_{|V}$. Premier cas : $\phi_{|V}$ est la forme nulle. Alors $V \subset H$. Or $V$ contient des matrices nilpotentes non nulles, par exemple $E_{12} = \begin{pmatrix} 0 & 1$
   0 & 0 \end{pmatrix}. Dans ce cas, $H$ contient bien une matrice nilpotente non nulle. Second cas : $\phi_{|V}$ n'est pas nulle. Alors $\ker(\phi_{|V}) = H \cap V$ est un sous-espace de $V$ de dimension :
   $$\dim(H \cap V) = \dim(V) - 1 = 2$$
   Soit $(M_1, M_2)$ une base de $H \cap V$. Une matrice $M \in H \cap V$ s'écrit $M = xM_1 + yM_2$ avec $(x,y) \in \mathbb{C}^2$. Puisque $M \in V$, $M$ est nilpotente si et seulement si $\det(M) = 0$. L'application $q : (x,y) \mapsto \det(xM_1 + yM_2)$ est une forme quadratique sur $\mathbb{C}^2$. En écrivant explicitement $M = \begin{pmatrix} a(x,y) & b(x,y)$
   c(x,y) & -a(x,y) \end{pmatrix}, on a :
   $$q(x,y) = -a(x,y)^2 - b(x,y)c(x,y)$$
   C'est un polynôme homogène de degré 2 en $x$ et $y$, de la forme $\alpha x^2 + \beta xy + \gamma y^2$. Sur $\mathbb{C}$, un tel polynôme admet toujours une racine $(x_0, y_0) \neq (0,0)$ d'après le théorème fondamental de l'algèbre (en fixant $y=1$ ou $x=1$). Il existe donc $M_0 = x_0 M_1 + y_0 M_2 \in H \cap V$ telle que $M_0 \neq 0$ et $\det(M_0) = 0$. Comme $\text{Tr}(M_0) = 0$, on en déduit :
   $$\boxed{M_0 \text{ est une matrice nilpotente non nulle appartenant à } H}$$

2. 1. Supposons par l'absurde que la famille $(I_2, A, B)$ soit libre. Alors $W = \text{Vect}(I_2, A, B)$ est un sous-espace vectoriel de $\mathcal{M}_2(\mathbb{C})$ de dimension 3. C'est donc un hyperplan de $\mathcal{M}_2(\mathbb{C})$. D'après la question 1, il existe une matrice $N \in W$ telle que $N$ soit nilpotente et $N \neq 0$. Or, par hypothèse, toute combinaison linéaire de $A$ et $B$ est diagonalizable. Soit $M = \lambda A + \mu B + \nu I_2 \in W$. $M$ est diagonalizable car elle est la somme d'une matrice diagonalizable ($\lambda A + \mu B$) et d'une matrice qui commute avec elle ($\nu I_2$). Ainsi, $N$ est à la fois nilpotente et diagonalizable. Le seul endomorphisme à la fois nilpotent et diagonalizable est l'endomorphisme nul. D'où $N = 0$, ce qui contredit $N \neq 0$. Par conséquent :
      $$\boxed{(I_2, A, B) \text{ est liée}}$$
   2. Puisque la famille est liée, il existe $(\alpha, \beta, \gamma) \in \mathbb{C}^3 \setminus \{(0,0,0)\}$ tel que :
      $$\alpha I_2 + \beta A + \gamma B = 0$$
      Si $\beta = \gamma = 0$, alors $\alpha I_2 = 0$, donc $\alpha = 0$, ce qui est exclu. On peut donc supposer, par exemple, que $\beta \neq 0$. Alors :
      $$A = -\frac{\alpha}{\beta} I_2 - \frac{\gamma}{\beta} B$$
      On calcule alors le produit $AB$ :
      $$AB = \left( -\frac{\alpha}{\beta} I_2 - \frac{\gamma}{\beta} B \right) B = -\frac{\alpha}{\beta} B - \frac{\gamma}{\beta} B^2$$
      Et le produit $BA$ :
      $$BA = B \left( -\frac{\alpha}{\beta} I_2 - \frac{\gamma}{\beta} B \right) = -\frac{\alpha}{\beta} B - \frac{\gamma}{\beta} B^2$$
      On constate que $AB = BA$. Le raisonnement est identique si $\gamma \neq 0$. On conclut :
      $$\boxed{A \text{ et } B \text{ commutent}}$$