Commutation et nilpotence d'endomorphismes

Résolution.

1. Cas particulier $n=3$. Notons $H = \text{Mat}(h)$. La relation $uh - hu = -2u$ se traduit par $MH - HM = -2M$. En posant $H = (h_{i,j})_{1 \le i,j \le 3}$, le calcul du commutateur donne :
   $$MH - HM = \begin{pmatrix} h_{21} & h_{22}-h_{11} & h_{23}-h_{12}$$
   h_{31} & h_{32}-h_{21} & h_{33}-h_{22}
   0 & -h_{31} & -h_{32} \end{pmatrix}
   En identifiant avec $-2M = \begin{pmatrix} 0 & -2 & 0$
   0 & 0 & -2
   0 & 0 & 0 \end{pmatrix}, on obtient le système : $h_{21}=0, h_{31}=0, h_{32}=0$ (matrice triangulaire supérieure), et :
   $$h_{22}-h_{11} = -2,   h_{33}-h_{22} = -2,   h_{23}-h_{12} = 0$$
   On en déduit que $h$ existe et sa matrice est de la forme :
   $$\boxed{ H = \begin{pmatrix} c+4 & b & a$$
   0 & c+2 & b
   0 & 0 & c \end{pmatrix}   \text{avec } (a,b,c) \in \mathbb{R}^3 }
   Pour $v$, comme $u$ et $v$ commutent et que $u$ est un bloc de Jordan (endomorphisme cyclique), $v$ est nécessairement un polynôme en $u$. Soit $v = x \text{Id} + y u + z u^2$. La relation $vh - hv = -2v$ devient :
   $$y(uh-hu) + z(u^2h - hu^2) = -2(x \text{Id} + y u + z u^2)$$
   Sachant que $uh-hu = -2u$ et $u^2h - hu^2 = u(uh-2u) - hu^2 = (hu-2u)u - 2u^2 - hu^2 = -4u^2$, on a :
   $$-2yu - 4zu^2 = -2x \text{Id} - 2yu - 2zu^2$$
   Par liberté de $(\text{Id}, u, u^2)$, on identifie : $-2x = 0$ et $-4z = -2z$, d'où $x=0$ et $z=0$. Finalement :
   $$\boxed{ v = k u   \text{avec } k \in \mathbb{R} }$$

2. Cas général.
   1. Par linéarité de la trace et la propriété $\text{Tr}(uh) = \text{Tr}(hu)$ :
      $$\text{Tr}(-2u) = \text{Tr}(uh - hu) = \text{Tr}(uh) - \text{Tr}(hu) = 0$$
      On en conclut que :
      $$\boxed{ \text{Tr}(u) = 0   \text{et}   \text{Tr}(v) = 0 }$$

   2. Raisonnons par l'absurde. Si $u$ était inversible, alors :
      $$u^{-1}(uh - hu) = u^{-1}(-2u) \implies h - u^{-1}hu = -2 \text{Id}$$
      En prenant la trace :
      $$\text{Tr}(h) - \text{Tr}(u^{-1}hu) = \text{Tr}(-2 \text{Id}) \implies \text{Tr}(h) - \text{Tr}(h) = -2n$$
      D'où $0 = -2n$, ce qui est impossible car $n \ge 1$. Donc :
      $$\boxed{ u \notin \text{GL}(E)   \text{et}   v \notin \text{GL}(E) }$$

   3. Soit $x \in \text{Ker}(u)$. On a $u(x) = 0$. Alors :
      $$u(h(x)) = (uh - hu)(x) + h(u(x)) = -2u(x) + h(0) = 0 + 0 = 0$$
      Ainsi $h(x) \in \text{Ker}(u)$. Le raisonnement est identique pour $v$.
      $$\boxed{ h(\text{Ker } u) \subset \text{Ker } u   \text{et}   h(\text{Ker } v) \subset \text{Ker } v }$$

   4. Montrons par récurrence sur $k$ que $u^k \circ h - h \circ u^k = -2k u^k$. L'initialisation est donnée pour $k=1$. Supposons la propriété vraie au rang $k$.
      $$u^{k+1}h - hu^{k+1} = u(u^k h) - hu^{k+1} = u(hu^k - 2k u^k) - hu^{k+1}$$
      $$= (uh)u^k - 2k u^{k+1} - hu^{k+1} = (hu - 2u)u^k - 2k u^{k+1} - hu^{k+1} = -2(k+1)u^{k+1}$$
      La propriété est donc démontrée :
      $$\boxed{ \forall k \in \mathbb{N},   [u^k, h] = -2k u^k }$$

   5. Par linéarité, si $P(X) = \sum a_k X^k$, alors :
      $$P(u)h - hP(u) = \sum a_k (u^k h - h u^k) = \sum a_k (-2k u^k) = -2u \sum k a_k u^{k-1}$$
      On reconnaît la dérivée formelle du polynôme :
      $$\boxed{ P(u) \circ h - h \circ P(u) = -2u \circ P'(u) }$$

   6. Soit $\pi_u$ le polynôme minimal de $u$. Comme $\pi_u(u) = 0$, la relation précédente donne :
      $$0 \circ h - h \circ 0 = -2u \circ \pi_u'(u) \implies u \circ \pi_u'(u) = 0$$
      Le polynôme $\pi_u$ doit donc diviser le polynôme $X \pi_u'(X)$. Notons $d = \text{deg}(\pi_u)$. Comme $X \pi_u'$ et $\pi_u$ ont le même degré et le même coefficient de tête multiplié par $d$, on a nécessairement $X \pi_u' = d \pi_u$. Les seuls polynômes vérifiant cette équation différentielle sont de la forme $cX^d$. Puisque $\pi_u$ est unitaire, on en conclut :
      $$\boxed{ \pi_u(X) = X^d   \text{avec } d \le n }$$
      Ceci prouve que l'endomorphisme $u$ est nilpotent.