Équation matricielle avec transposition et diagonalisabilité

Résolution.

1. Cas symétrique
   1. Si $M = M^T$, l'équation devient $M^2 + M - I_n = 0$. Le polynôme $P(X) = X^2 + X - 1$ est donc un polynôme annulateur de $M$. Calculons son discriminant : $\Delta = 1^2 - 4(1)(-1) = 5$. Les racines de $P$ sont $\lambda_1 = \frac{-1+\sqrt{5}}{2}$ et $\lambda_2 = \frac{-1-\sqrt{5}}{2}$. Ces racines sont réelles et distinctes. Comme $M$ admet un polynôme annulateur scindé à racines simples sur $\mathbb{C}$ (et même sur $\mathbb{R}$), $M$ est diagonalisable.
      $$\boxed{M \text{ est diagonalisable}}$$

   2. Les valeurs propres possibles de $M$ sont les racines de $P$. Puisque $0$ n'est pas racine de $P$ ($P(0) = -1 \neq 0$), $0$ n'est pas valeur propre de $M$. On en déduit immédiatement que :
      $$\boxed{\det(M) \neq 0}$$
      Soit $m$ la multiplicité de la valeur propre $\lambda_1$. Comme $M$ est diagonalisable, la multiplicité de $\lambda_2$ est $n-m$. La trace est alors :
      $$\operatorname{Tr}(M) = m \left( \frac{-1+\sqrt{5}}{2} \right) + (n-m) \left( \frac{-1-\sqrt{5}}{2} \right)$$
      En réorganisant les termes :
      $$\operatorname{Tr}(M) = \frac{-m + m\sqrt{5} - n - n\sqrt{5} + m + m\sqrt{5}}{2} = \frac{-n + (2m-n)\sqrt{5}}{2}$$
      Supposons par l'absurde que $\operatorname{Tr}(M) = 0$. Alors $n = (2m-n)\sqrt{5}$. Si $2m-n \neq 0$, alors $\sqrt{5} = \frac{n}{2m-n} \in \mathbb{Q}$, ce qui est impossible. Si $2m-n = 0$, alors $n=0$, ce qui est exclu pour une matrice d'ordre $n \geq 1$. Par conséquent :
      $$\boxed{\operatorname{Tr}(M) \neq 0}$$

2. Cas général
   1. Partons de la relation $M^T = I_n - M^2$. En transposant, on a $M = I_n - (M^T)^2$. Injectons la première expression dans la seconde :
      $$M = I_n - (I_n - M^2)^2 = I_n - (I_n - 2M^2 + M^4)$$
      Ce qui donne $M = 2M^2 - M^4$, soit :
      $$M^4 - 2M^2 + M = 0$$
      Le polynôme $Q(X) = X^4 - 2X^2 + X$ annule $M$. Factorisons $Q$ :
      $$Q(X) = X(X^3 - 2X + 1)$$
      On remarque que $1$ est racine évidente de $X^3 - 2X + 1$. Par division euclidienne :
      $$Q(X) = X(X-1)(X^2 + X - 1)$$
      Les racines de $Q$ sont $\{0, 1, \frac{-1+\sqrt{5}}{2}, \frac{-1-\sqrt{5}}{2}\}$. Ces quatre racines sont distinctes deux à deux.
      $$\boxed{Q(X) = X(X-1)(X^2+X-1) \text{ est scindé à racines simples}}$$

   2. Comme $M$ admet un polynôme annulateur scindé à racines simples sur $\mathbb{C}$, on conclut :
      $$\boxed{M \text{ est diagonalisable}}$$

3. Inversibilité La matrice $M$ est inversible si et seulement si $\det(M) \neq 0$, ce qui équivaut à $\det(M^T) \neq 0$. D'après la relation initiale, $M^T = I_n - M^2 = (I_n - M)(I_n + M)$. Par multiplicativité du déterminant :
   $$\det(M^T) = \det(I_n - M) \det(I_n + M)$$
   Les valeurs propres de $M$ sont parmi les racines de $Q$ trouvées précédemment : $\{0, 1, \frac{-1\pm\sqrt{5}}{2}\}$. On constate que $-1$ n'est pas une valeur propre possible pour $M$. Ainsi, la matrice $I_n + M$ est toujours inversible ($\det(I_n + M) \neq 0$). Dès lors, $\det(M^T) = 0$ si et seulement si $\det(I_n - M) = 0$. Ceci revient à dire que $1$ est valeur propre de $M$. Par contraposée, $M^T$ (et donc $M$) est inversible si et seulement si $1$ n'est pas valeur propre de $M$.
   $$\boxed{M \in GL_n(\mathbb{C}) \iff 1 \notin \operatorname{sp}(M)}$$