Dérivabilité et discontinuité dense

Résolution.

1. Étude de la fonction $g$. Pour $x \neq 0$, $g$ est le produit et la composée de fonctions de classe $C^\infty$, donc $g$ est dérivable sur $[-1, 0[ \cup ]0, 1]$. On a :
   $$\forall x \neq 0,   g'(x) = 2x \sin\left(\frac{1}{x}\right) - \cos\left(\frac{1}{x}\right)$$
   En $x=0$, étudions le taux d'accroissement :
   $$\frac{g(h) - g(0)}{h} = \frac{h^2 \sin(1/h)}{h} = h \sin\left(\frac{1}{h}\right)$$
   Comme $|\sin(1/h)| \le 1$, on a $|h \sin(1/h)| \le |h|$, d'où par encadrement :
   $$\lim_{h \to 0} \frac{g(h) - g(0)}{h} = 0$$
   Ainsi, $g$ est dérivable en $0$ et $\boxed{g'(0) = 0}$. Continuité de $g'$ : $g'$ est continue sur $[-1, 1] \setminus \{0\}$ par opérations usuelles. Cependant, la fonction $x \mapsto \cos(1/x)$ n'admet pas de limite en 0. Comme $2x \sin(1/x) \to 0$ quand $x \to 0$, $g'(x)$ n'a pas de limite en 0.
   $$\boxed{g' \text{ est discontinue uniquement en } 0}$$

2. Étude de la fonction $f$.

   Rappelons que $\mathbb{Q} \cap [0, 1]$ est dénombrable et infini, il existe donc bien une bijection $n \mapsto q_n$ de $\mathbb{N}^*$ vers $\mathbb{Q} \cap [0, 1]$. Posons $u_n(x) = \frac{g(x-q_n)}{n^2}$ pour $x \in [0, 1]$. Chaque $u_n$ est dérivable sur $[0, 1]$ d'après la question précédente, et $u_n'(x) = \frac{g'(x-q_n)}{n^2}$. Convergence de la série : On a $|g(x)| = |x^2 \sin(1/x)| \le 1$ sur $[-1, 1]$. Ainsi, $\|u_n\|_\infty \le \frac{1}{n^2}$, ce qui assure la convergence normale (et donc simple) de $\sum u_n$ sur $[0, 1]$. Convergence de la série des dérivées : On a vu que $g'(x) = 2x \sin(1/x) - \cos(1/x)$ pour $x \neq 0$ et $g'(0)=0$. Sur l'intervalle d'étude, $|g'(x)| \le 2|x| + 1 \le 3$ car $x \in [-1, 1]$. Ainsi, $\forall x \in [0, 1]$ :

   $$|u_n'(x)| \le \frac{3}{n^2}$$
   La série $\sum u_n'$ converge normalement sur $[0, 1]$. D'après le théorème de dérivation des séries de fonctions, $f$ est dérivable sur $[0, 1]$ et :
   $$\boxed{\forall x \in [0, 1],   f'(x) = \sum_{n=1}^{+\infty} \frac{g'(x-q_n)}{n^2}}$$

   Continuité de $f'$ : Soit $x_0 \in [0, 1] \setminus \mathbb{Q}$. Pour tout $n \in \mathbb{N}^*$, $x_0 - q_n \neq 0$. Comme $g'$ est continue sur $\mathbb{R}^*$, chaque fonction $x \mapsto g'(x-q_n)$ est continue en $x_0$. Par convergence normale (donc uniforme) de la série de fonctions $\sum u_n'$, la somme $f'$ est continue en $x_0$. Soit maintenant $x_0 = q_k \in \mathbb{Q}$. On peut décomposer la somme :

   $$f'(x) = \frac{g'(x-q_k)}{k^2} + \sum_{n \neq k} \frac{g'(x-q_n)}{n^2}$$
   Notons $H(x) = \sum_{n \neq k} \frac{g'(x-q_n)}{n^2}$. Pour tout $n \neq k$, $q_n \neq q_k$, donc $x \mapsto g'(x-q_n)$ est continue en $q_k$. Par convergence uniforme de cette série (reste d'une série normalement convergente), $H$ est continue en $q_k$. Cependant, $x \mapsto \frac{g'(x-q_k)}{k^2}$ est discontinue en $q_k$ (car $g'$ est discontinue en 0). Par somme d'une fonction continue et d'une fonction discontinue, $\boxed{f' \text{ est discontinue en } q_k}$.