Méthode itérative

En analyse numérique, une méthode itérative est un procédé algorithmique utilisé pour résoudre un problème, par exemple la recherche d’une solution d’un système d'équations ou d’un problème d’optimisation. En débutant par le choix d’un point initial considéré comme une première ébauche de solution, la méthode procède par itérations au cours desquelles elle détermine une succession de solutions approximatives raffinées qui se rapprochent graduellement de la solution cherchée. Les points générés sont appelés des itérés.

Comparaison

Les méthodes itératives contrastent avec les méthodes directes qui résolvent le problème en une seule étape (par exemple la solution d'un système linéaire Ax = b obtenue en calculant la matrice inverse de A).

Les méthodes itératives se substituent avantageusement aux autres lorsque :

• celles-ci sont inapplicables, coûteuses ou simplement inconnues ;
• le problème est mal conditionné ou comprend un grand nombre de variables, car les solutions successives limitent la propagation des erreurs.

Par contre, la question de la vitesse de convergence (ou encore d’une éventuelle divergence) reste cruciale : c’est l’objet d’un vaste champ d’investigations de l’analyse numérique.

Exemples

Voici quelques exemples de méthodes itératives :

• Résolution d'équation f(x) = 0 :
  • méthode du point fixe,
  • Méthode de Newton,
  • Méthode de la sécante,
  • Méthode des parties proportionnelles ;

• Algorithme de Gauss-Newton ou de Levenberg-Marquardt, utilisé pour la solution aux moindres carrés de problèmes comportant plus d'équations que d'inconnues ; voir Régression non linéaire ;

• Résolution d'un système linéaire :
  • Méthode de Jacobi.
  • Méthode de Gauss-Seidel,
  • Méthode SOR (successive over-relaxation) ;

• Calcul de valeurs propres :
  • Méthode de la puissance itérée,
  • Méthode de Jacobi.