Methode der kleinsten Quadrate
Dieser Artikel scheint thematisch einem anderen Artikel zu gleichen, bzw. es könnte sich um einen getrennten Artikel zu einem synonymen Begriff handeln. Scheuen Sie sich nicht, die Artikel inhaltlich an der aus Ihrer Sicht geeignetsten Stelle zusammenzubringen oder ggf. besser voneinander zu trennen. Verlinken Sie die Artikel ggf. sinnvoll miteinander. Kommentieren Sie schließlich bitte auf der Seite Artikel zum gleichen Thema den Doppeleintrag als erledigt!Der Doppeleintrag befindet sich unter: Lineare Regression Regressionsanalyse OLS Lineare Regressionsanalyse-- 20:40, 19. Jul 2004 (CEST)
Die Methode der kleinsten Quadrate (auch kleinsten Fehlerquadrate) dient dazu, im Rahmen einer Ausgleichsrechnung (Ausgleich zwischen den Messwerten und den erwarteten Rechenwerten) den Wert von Parametern so zu bestimmen, dass die Summe der Fehlerquadrate (Quadrat der Differenz zwischen dem Messwert und dem erwarteten Rechenwert) minimiert wird. Eine weit verbreitete Anwendung stellt die lineare Regressionsanalyse dar. Das Least Square-Kriterium ist das am häufigsten verwendete Fit (Numerik)- oder Schätzer (Statistik)-Kriterium.
Die Modellkurve ym(x;p) soll n empirischen Daten y(xi) angepasst werden, hierbei sind die Modellparameter p gesucht. Es wird nun angenommen, daß die Messfehler normalverteilt sind. Dies führt direkt auf folgendes Kriterium: Die Summe der quadratischen Abweichungen zwischen Kurve und Daten muss minimiert werden. In Formelschreibweise:
es geht also darum, die euklidische Norm des Differenzvektors zu minimieren. Dieser Ansatz wurde von Carl Friedrich Gauß entwickelt und er nutzte ihn, um die Bahn des Asteroiden Ceres zu bestimmen, der daraufhin wiedergefunden werden konnte.
In der Ökonometrie und Statistik sind besonders multivariate lineare Least Squares, so genannte OLS-Schätzer gebräuchlich, die leicht durch das Lösen eines linearen Gleichungssystems ermittelt werden können.
Die Form des Ausgleichsproblems wird durch die Modellfunktion bestimmt. Nimmt man einen linearen Ansatz ym(x;a,b)=ax+b, wobei a und b die Parameter p sind, so erhält man ein lineares Ausgleichsproblem. Dieses kann numerisch durch Lösen der sogenannten Normalgleichungen gelöst werden. Häufig ist dies keine empfehlenswerte Herangehensweise, da sie fehleranfällig ist. Eine stabilere Alternative bietet die QR-Zerlegung mittels des Householder-Verfahrens.
Wählt man eine nichtlineare Modellfunktion, zum Beispiel ym(x;a,b,c)=ax^2+bx+c, so heißt auch das Ausgleichsproblem nichtlinear. Eine numerische Lösung erfolgt iterativ mittels des Gauß-Newton-Verfahrens.
Formelzeichen | ||||
---|---|---|---|---|
Messwert | gemessene Entfernung | gemessene Zeit | Entfernung Zeit | Entfernung² |
Einheit | Kilometer | Sekunden | KilometerSekunden | Kilometer² |
1 | 2,1 | 5,1 | 10,71 | 4,41 |
2 | 1,9 | 4,9 | 9,31 | 3,61 |
3 | 1,985 | 5,15 | 10,2275 | 3,940225 |
Summen | 5,985 | 15,15 | 30,24275 | 11,960225 |
Gesucht sei die wahrscheinliche Geschwindigkeit oder die wahrscheinliche Zeit pro Wegeinheit (mit ).
Die Summe der Fehlerquadrate ist dann:
Die erste Ableitung der obigen Gleichung nach , die gleich Null gesetzt wird, um das Minimum zu suchen, lautet:
Diese Gleichung wird nach T aufgelöst:
Man muss also die Summe der Produkte tm und sm durch die Summe der Quadrate der gemessenen Entfernungen teilen. Das Ergebnis hat die Einheit Zeit/Weg (hier 2,528610457 Sekunden/Kilometer) bzw. der Kehrwert davon ist die Gesuchte Geschwindigkeit v mit der Einheit Weg/Zeit (hier 0,395474122 Kilometer/Sekunde).