Caractérisation et topologie du rang

Résolution.

1. Sens direct : Supposons que $\text{rg}(M) = k \geq r$. Par définition du rang, il existe $k$ colonnes de $M$ qui forment une famille libre. En sélectionnant $r$ de ces colonnes parmi les $k$, on forme une matrice $C \in \mathcal{M}_{n,r}(\mathbb{R})$ de rang $r$. Puisque le rang des lignes d'une matrice est égal au rang de ses colonnes, la matrice $C$ possède $r$ lignes linéairement indépendantes. En sélectionnant ces $r$ lignes dans $C$, on obtient une matrice carrée $S \in \mathcal{M}_r(\mathbb{R})$. Cette matrice $S$ est de rang $r$, donc :
   $$\boxed{S \text{ est une matrice extraite de } M \text{ et } \det(S) \neq 0}$$

   Sens réciproque : Supposons qu'il existe une matrice extraite $S \in \mathcal{M}_r(\mathbb{R})$ inversible. Les $r$ colonnes de $S$ sont linéairement indépendantes dans $\mathbb{R}^r$. Les $r$ colonnes de $M$ dont sont issues les colonnes de $S$ sont donc également linéairement indépendantes dans $\mathbb{R}^n$ (si une combinaison linéaire de ces colonnes était nulle, elle le serait a fortiori sur les lignes extraites). On en déduit immédiatement que :

   $$\boxed{\text{rg}(M) \geq r}$$

2. Pour tout choix d'indices de lignes $I = \{i_1, \dots, i_r\}$ et de colonnes $J = \{j_1, \dots, j_r\}$, on définit l'application "mineur" :
   $$\phi_{I,J} : M \in \mathcal{M}_n(\mathbb{R}) \longmapsto \det(M_{I,J})$$
   où $M_{I,J}$ est la matrice extraite correspondante. L'application $\phi_{I,J}$ est une fonction polynomiale des coefficients de la matrice, elle est donc continue sur $\mathcal{M}_n(\mathbb{R})$. D'après la question précédente, on a :
   $$\mathcal{O}_r = \bigcup_{I,J} \{M \in \mathcal{M}_n(\mathbb{R}) \mid \phi_{I,J}(M) \neq 0\} = \bigcup_{I,J} \phi_{I,J}^{-1}(\mathbb{R}^*)$$
   Comme $\mathbb{R}^*$ est un ouvert de $\mathbb{R}$ et que $\phi_{I,J}$ est continue, chaque ensemble $\phi_{I,J}^{-1}(\mathbb{R}^*)$ est un ouvert de $\mathcal{M}_n(\mathbb{R})$. L'ensemble $\mathcal{O}_r$, étant une réunion finie d'ouverts, est lui-même un ouvert.
   $$\boxed{\mathcal{O}_r \text{ est un ouvert de } \mathcal{M}_n(\mathbb{R})}$$

3. Soit $\mathcal{F}_r = \{M \in \mathcal{M}_n(\mathbb{R}) \mid \text{rg}(M) \leq r\}$. Cet ensemble est le complémentaire de $\mathcal{O}_{r+1}$ (si $r < n$). D'après la question 2, $\mathcal{O}_{r+1}$ est ouvert, donc $\mathcal{F}_r$ est fermé (pour $r=n$, $\mathcal{F}_n = \mathcal{M}_n(\mathbb{R})$ est aussi fermé). Comme $\mathcal{R}_r \subset \mathcal{F}_r$, par passage à l'adhérence :
   $$\overline{\mathcal{R}_r} \subset \mathcal{F}_r$$
   Montrons l'inclusion réciproque. Soit $A \in \mathcal{F}_r$, notons $k = \text{rg}(A) \leq r$. Il existe des matrices inversibles $P, Q \in GL_n(\mathbb{R})$ telles que $A = P J_k Q$, où $J_k$ est la matrice dont les $k$ premiers coefficients diagonaux valent 1 et les autres 0. Pour tout $p \in \mathbb{N}^*$, définissons la matrice $J^{(p)} \in \mathcal{M}_n(\mathbb{R})$ par :
   $$J^{(p)} = J_k + \sum_{i=k+1}^r \frac{1}{p} E_{i,i}$$
   La matrice $J^{(p)}$ est de rang exactement $r$. Posons $A_p = P J^{(p)} Q$. Comme $P$ et $Q$ sont inversibles, $\text{rg}(A_p) = \text{rg}(J^{(p)}) = r$. Donc $A_p \in \mathcal{R}_r$. De plus, par continuité du produit matriciel :
   $$\lim_{p \to +\infty} A_p = P \left( \lim_{p \to +\infty} J^{(p)} \right) Q = P J_k Q = A$$
   Ainsi, $A$ est limite d'une suite d'éléments de $\mathcal{R}_r$, donc $A \in \overline{\mathcal{R}_r}$. On conclut que :
   $$\boxed{\overline{\mathcal{R}_r} = \{M \in \mathcal{M}_n(\mathbb{R}) \mid \text{rg}(M) \leq r\}}$$