Regressionsanalysen sind Techniken, mit denen für eine Gleichung y = f(x) die Parameter so angeglichen werden, dass minimale Abweichungen zwischen experimentellen und kalkulierten Werten entstehen. Für diesen Fall wird die gewichtete Summe der Fehlerquadrate (SSQ oder chi-Quadrat genannt) minimiert. Zur Wichtung dient die Varianz (sigma) des Datenpunktes; je größer diese ausfällt, desto weniger trägt der betreffende Punkt zur Analyse bei:
Die Regressionsanalyse ist die leistungsfähigste Methode zur Datenanalyse. Am Beispiel der Enzymkinetik, setzt sie allerdings voraus, dass nur y (Reaktionsgeschwindigkeit) und nicht x (Substratkonzentration) einem Fehler unterliegt.
Lineare Regression lässt sich nur auf lineare oder linearisierbare Funktionen anwenden. Um bei der Enzymkinetik zu bleiben: die vertraute Lineweaver-Burk-Beziehung v = Vmax x [S] / (Km + [S]) ist zwar eine algebraisch korrekte Umformung der Michaelis-Menten-Gleichung, ihre Anwendung liefert aber nur korrekte Ergebnisse, wenn die Messwerte fehlerfrei sind. Dies ergibt sich aus der Tatsache, dass sich die Realität nur mit einer erweiterten Michaelis-Menten-Beziehung
mit ei als Fehlerparameter, beschreiben lässt. Diese Gleichung lässt sich nicht mehr linearisieren, woraus sich die Forderung nach nichtlinearer Regressionsanalyse ergibt.
Nichtlineare Regression ermöglicht die Anpassung von Daten an jede Gleichung der Form y = f(x). Da diese Gleichungen Kurven definieren, werden die Begriffe nichtlineare Regression und "curve fitting" zumeist synonym gebraucht. Bei nichtlinearen Gesetzmäßigkeiten ergibt sich eine Komplikation dadurch, dass die zu optimierenden Parameter nicht direkt ermittelt werden können: alle Kalkulationen gehen zwangsläufig von Schätzwerten aus, so dass jede nichtlineare Regressionsanalyse ein iteratives Verfahren darstellt. Ob diese Schätzwerte vernünftig waren, zeigt sich im nachhinein dadurch, dass verschiedene Anfangsschätzungen zum gleichen Endergebnis führen.
Das Verfahren geht ursprünglich auf Gauss zurück. Aktuelle Programme arbeiten häufig mit dem Algorithmus nach Marquart, der sich bei größerer Abweichung der Schätzwerte als toleranter erweist.
Standardanalysen setzen normalerweise voraus, dass Fehler einer Normalverteilung folgen. Ausreißer lassen sich allerdings aufgrund eines Algorithmus nach Mosteller und Tukey (1977) unterdrücken. Dies wird durch Anwendung eines weiteren Wichtungsfaktors (1 für Punkte geringer Abweichung, 0 für extreme Ausreißer) erreicht und als "bisquare weighting" bezeichnet.