Propriétés de réduction des produits AB et BA

Résolution.

1. Rappelons qu'une matrice est trigonalisable sur $\mathbb{K}$ si et seulement si son polynôme caractéristique est scindé sur $\mathbb{K}$. Supposons sans perte de généralité que $n \ge p$. Établissons d'abord la relation entre les polynômes caractéristiques $\chi_{AB}$ et $\chi_{BA}$. Considérons la matrice par blocs $M = \begin{pmatrix} XI_n & A$
   B & I_p \end{pmatrix} \in \mathcal{M}_{n+p}(\mathbb{K}(X)). En utilisant les formules du déterminant par blocs, si le bloc en bas à droite est inversible (ce qui est le cas ici car $I_p$ est inversible), on a :
   $$\det \begin{pmatrix} XI_n & A$$
   B & I_p \end{pmatrix} = \det(I_p) \det(XI_n - A(I_p)^{-1}B) = \det(XI_n - AB)
   D'autre part, en supposant $X \neq 0$ pour que le bloc $XI_n$ soit inversible :
   $$\det \begin{pmatrix} XI_n & A$$
   B & I_p \end{pmatrix} = \det(XI_n) \det(I_p - B(XI_n)^{-1}A) = X^n \det(I_p - \frac{1}{X}BA)
   En factorisant par $\frac{1}{X}$ dans le dernier déterminant (qui porte sur une matrice de taille $p$) :
   $$X^n \det(I_p - \frac{1}{X}BA) = X^n \left( \frac{1}{X} \right)^p \det(XI_p - BA) = X^{n-p} \chi_{BA}(X)$$
   On en déduit l'égalité polynomiale valable pour tout $X \neq 0$, donc pour tout $X$ :
   $$\boxed{\chi_{AB}(X) = X^{n-p} \chi_{BA}(X)}$$
   Sens direct : Si $BA$ est trigonalisable, alors $\chi_{BA}$ est scindé sur $\mathbb{K}$. Comme $\chi_{AB}$ est le produit de $\chi_{BA}$ et de $X^{n-p}$, et que $X^{n-p}$ est scindé (ses racines sont nulles et $0 \in \mathbb{K}$), alors $\chi_{AB}$ est scindé. Ainsi, $AB$ est trigonalisable. Sens réciproque : Si $AB$ est trigonalisable, alors $\chi_{AB}$ est scindé sur $\mathbb{K}$. Les racines de $\chi_{BA}$ forment un sous-ensemble des racines de $\chi_{AB}$ (avec la possible exception de la multiplicité de 0). Puisque toutes les racines de $\chi_{AB}$ sont dans $\mathbb{K}$, il en va de même pour celles de $\chi_{BA}$. Donc $\chi_{BA}$ est scindé et $BA$ est trigonalisable.

2. La réponse est négative. La diagonalisabilité n'est pas conservée en général. Considérons le contre-exemple suivant avec $n=p=2$ et $\mathbb{K} = \mathbb{R}$ :
   $$A = \begin{pmatrix} 0 & 1$$
   0 & 0 \end{pmatrix}   \text{et}   B = \begin{pmatrix} 1 & 0
   0 & 0 \end{pmatrix}
   Calculons les produits $AB$ et $BA$ :
   $$AB = \begin{pmatrix} 0 & 1$$
   0 & 0 \end{pmatrix} \begin{pmatrix} 1 & 0
   0 & 0 \end{pmatrix} = \begin{pmatrix} 0 & 0
   0 & 0 \end{pmatrix}
   $$BA = \begin{pmatrix} 1 & 0$$
   0 & 0 \end{pmatrix} \begin{pmatrix} 0 & 1
   0 & 0 \end{pmatrix} = \begin{pmatrix} 0 & 1
   0 & 0 \end{pmatrix}
   La matrice $AB$ est la matrice nulle, elle est donc diagonalisable. La matrice $BA$ est une matrice nilpotente non nulle ($BA \neq 0$ mais $(BA)^2 = 0$). Son spectre est $\{0\}$. Si elle était diagonalisable, elle serait semblable à la matrice nulle, ce qui impliquerait $BA = 0$. C'est absurde, donc $BA$ n'est pas diagonalisable.
   $$\boxed{\text{L'équivalence est fausse pour la diagonalisabilité.}}$$