Définition

On dit qu'un système d'équations linéaires est 'sur-déterminé' si le nombre des équations dépasse le nombre des inconnues.
Avant de continuer à développer ce sujet, commençons par une remarque importante.
dans tout système il y a trois paramètres:
Il n'y a, a priori, aucune raison pour que le rang du système soit égal au nombre de lignes, ni au nombre d'inconnues. On a simplement toujours r≤max(m,n).
Les cas intéressants pour la notion de système sur-déterminés sont les cas où r=n, c'est à dire le rang est exactement égal au nombre d'inconnues. Dans le cas contraire par élimination de lignes on peut toujours se ramener à un système sous-déterminé pour lequel la théorie de la résolution a déjà été vue dans le paragraphe précédent.
Nous supposerons donc que nous sommes dans le cas où m>n et r=n.
En outre, quitte à permuter les équations, nous pouvons supposer que les n premières lignes du système sont indépendantes. Dans ce cas la théorie générale nous dit:
Soit les conditions de compatibilité sont vérifiées auquel cas on est ramené à un système de Cramer.
Soit les conditions de compatibilité ne sont pas vérifiées auquel cas il n'y a aucune solution.
Nous allons maintenant nous ramener au second cas, où faute de trouver des solutions nous allons nous efforcer de trouver des 'pseudo-solutions' en un sens que nous allons préciser immédiatement.

Pseudo-solutions

Nous nous plaçons ici résolument dans le cas d'un espace vectoriel E euclidien ou hermitien, muni d'une forme hermitienne définie positive (produit scalaire) et donc de la norme correspondante ||X||=√(X.X). K est ici ℝ ou ℂ.
Nous commençons par un résultat important:
Soit F un sous-espace de E et X un vecteur de E on désigne par pF(X) la projection orthogonale de X sur F. Alors pF(X) est le vecteur Y de F tel que la ||X-Y|| soit minimale.
La preuve résulte du théorème de Pythagore. Si Y est un vecteur de F,
||X-Y||2=||X-pF(X)||2+||Y-pF(X)||2
Considérons maintenant le sous-espace F de Km correspondant à l'image de l'endomorphisme u ayant A pour matrice dans la base canonique. F est un sous-espace de dimension n dans l'espace Km en bijection avec Kn par u.
Nous appelerons 'pseudo-solution' (au sens des moindres carrés) tout vecteur X de Kn rendant minimale ||AX-B|| ( ou bien, ce qui revient au même le carré de cette norme).
Toute pseudo-solution correspond donc aux vecteurs X de Kn tels que u(X) est la projection orthogonale de B sur u(Kn).
Comme u réalise une bijection de Kn sur u(Kn) on voit que:
Il existe une seule pseudo-solution au sens des moindres carrés pour tout système sur-déterminé; cette pseudo-solution est image par l'application linéaire réciproque u-1 : u(Kn) → Kn du vecteur projection orthogonale de B sur u(Kn).

Calcul pratique

Le calcul pratique d'une pseudo-solution, bien que ne présentant aucune difficulté théorique particulière, peut s'avérer (très) long et techniquement difficile. En pratique, on a recours à des bibliothèques spécialisées permettant de calculer la pseudo-inverse de Moore-Penrose de la matrice A du système. Cette pseudo-inverse est caractérisée par un certain nombre de propriétés, et nous renvoyons le lecteur interessé aux références de la page de liens. Nous nous contenterons ici d'affirmer que la pseudo solution est l'image de B par la pseudo-inverse de Moore-Penrose, et nous donnerons un exemple de calcul à l'aide d'un programme Python utilisant le module linalg de la bibliothèque Scipy.
Traitons l'exemple simple ci-après:
x+y=1
x-y=-1
x+2y=4
Correspondant à un système sur-déterminé de rang 2. On cherche donc à minimiser la quantité (x+y-1)2 +(x-y+1)2 +(x+2y-4)2
Soit à minimiser 3x2 +6y2 +4xy-8x-20y+18
On annule donc les dérivées partielles par rapport à x et y (conditions nécessaires pour un extemum local donc absolu).
On tombe alors sur le système:
3x+2y=4
3y+x=5
qui donne comme solution x=2/7 et y=11/7.
Voici la résolution de ce système avec la pseudo-inverse de Moore-Penrose

Café Python