Diskussion:Methode der kleinsten Quadrate

Versionsgeschichten der Artikel, aus denen Methode der kleinsten Quadrate zusammengesetzt worden ist

Versionsgeschichte von: Lineare Regression

• (Aktuell) (Letzte) 22:20, 29. Aug 2004 DaTroll (Redirect Regressionsanalyse)
• (Aktuell) (Letzte) 12:45, 13. Aug 2004 83.64.137.106 (Determinationskoeffizent)
• (Aktuell) (Letzte) 02:37, 2. Aug 2004 Zwobot K (Head - Bot: konvertiere/korrigiere HTML)
• (Aktuell) (Letzte) 18:37, 29. Jul 2004 83.64.137.106 (Determinationskoeffizent)
• (Aktuell) (Letzte) 18:36, 29. Jul 2004 83.64.137.106 (Determinationskoeffizent)
• (Aktuell) (Letzte) 18:34, 29. Jul 2004 83.64.137.106 (Determinationskoeffizent $R^{2}$)
• (Aktuell) (Letzte) 18:33, 29. Jul 2004 83.64.137.106 (Determinationskoeffizent)
• (Aktuell) (Letzte) 18:33, 29. Jul 2004 83.64.137.106 ($R^{2}$ : Determinationskoeffizent)
• (Aktuell) (Letzte) 17:51, 29. Jul 2004 83.64.137.106 ($R^{2}$ : Determinationskoeffizent)
• (Aktuell) (Letzte) 17:50, 29. Jul 2004 83.64.137.106 (R^2 Determinationskoeffizent)
• (Aktuell) (Letzte) 17:24, 29. Jul 2004 83.64.137.106 (Berechnung der Ausgleichsgeraden)
• (Aktuell) (Letzte) 09:31, 20. Jul 2004 DaTroll (Doppeleintrag: Lineare Regressionsanalyse)
• (Aktuell) (Letzte) 09:27, 20. Jul 2004 DaTroll (OLS auch Doppeleintrag)
• (Aktuell) (Letzte) 20:42, 19. Jul 2004 DaTroll (Doppeleintrag: Methode der kleinsten Quadrate, Regressionsanalyse)
• (Aktuell) (Letzte) 18:49, 15. Jul 2004 Kku K
• (Aktuell) (Letzte) 21:53, 11. Jul 2004 Philipendula K
• (Aktuell) (Letzte) 18:37, 11. Jul 2004 Gowilei (Bezeichnungen)
• (Aktuell) (Letzte) 17:46, 11. Jul 2004 Gowilei K
• (Aktuell) (Letzte) 19:56, 9. Jul 2004 Gowilei (Inhalt hinzugefügt)
• (Aktuell) (Letzte) 00:58, 18. Jun 2004 Philipendula (Verlinkung. Ich hoffe, das war mit linearer Korrelation gemeint.)
• (Aktuell) (Letzte) 17:57, 7. Mai 2004 Zwobot K (Echoray - robot Ergänze:nl)
• (Aktuell) (Letzte) 23:28, 22. Apr 2004 PyBot K
• (Aktuell) (Letzte) 16:14, 20. Apr 2004 Wurblzap K (Links zu OLS, Kleinste-Quadrate-Methode und Regression)
• (Aktuell) (Letzte) 10:49, 11. Apr 2004 Pm (weblinkformat)
• (Aktuell) (Letzte) 17:53, 3. Jan 2004 Wipape K (fix wiki)
• (Aktuell) (Letzte) 17:51, 3. Jan 2004 Wipape K (+weblink)
• (Aktuell) (Letzte) 11:59, 18. Nov 2003 Kku K (Wiederhergestellt zur letzten Änderung von Kku)
• (Aktuell) (Letzte) 08:46, 18. Nov 2003 80.132.189.179
• (Aktuell) (Letzte) 18:55, 23. Okt 2003 Kku (stub)

Versionsgeschichte von: Regressionsanalyse

• (Aktuell) (Letzte) 00:11, 30. Aug 2004 Philipendula (Lineare Regression eingearbeitet)
• (Aktuell) (Letzte) 22:59, 29. Aug 2004 Philipendula K (Beitrag der einzelnen Regressoren zur Erklärung von y)
• (Aktuell) (Letzte) 22:55, 29. Aug 2004 DaTroll K (Abgrenzung zu Methode der kleinsten Quadrate)
• (Aktuell) (Letzte) 22:52, 29. Aug 2004 Philipendula K (Schätzen und Testen im KLR)
• (Aktuell) (Letzte) 22:50, 29. Aug 2004 DaTroll K
• (Aktuell) (Letzte) 22:34, 29. Aug 2004 Philipendula
• (Aktuell) (Letzte) 00:26, 29. Aug 2004 Philipendula (Neue Strukturierung des Komplexes Regression)
• (Aktuell) (Letzte) 11:32, 28. Jul 2004 130.36.95.102
• (Aktuell) (Letzte) 10:35, 21. Jul 2004 Juergen Bode (link)
• (Aktuell) (Letzte) 10:18, 20. Jul 2004 Juergen Bode (Zuordnung)
• (Aktuell) (Letzte) 09:35, 20. Jul 2004 DaTroll (Doppeleintrag: Lineare Regressionsanalyse)
• (Aktuell) (Letzte) 09:26, 20. Jul 2004 DaTroll (OLS auch Doppeleintrag)
• (Aktuell) (Letzte) 08:03, 20. Jul 2004 Juergen Bode
• (Aktuell) (Letzte) 07:29, 20. Jul 2004 Juergen Bode
• (Aktuell) (Letzte) 20:45, 19. Jul 2004 DaTroll (Doppeleintrag: Methode der kleinsten Quadrate, Lineare Regression)
• (Aktuell) (Letzte) 13:53, 17. Jul 2004 Philipendula (Verbale Abschwächung + Verlinkung)
• (Aktuell) (Letzte) 17:18, 15. Jul 2004 Kku
• (Aktuell) (Letzte) 17:14, 15. Jul 2004 Kku (==, en:)
• (Aktuell) (Letzte) 00:21, 22. Jun 2004 RolandD K (Kategorisiert)
• (Aktuell) (Letzte) 22:45, 12. Mai 2004 62.204.120.158
• (Aktuell) (Letzte) 13:54, 2. Mai 2004 JakobVoss K (+Signifikanztest)
• (Aktuell) (Letzte) 13:30, 2. Mai 2004 JakobVoss K (+Korrelationskoeffizient)
• (Aktuell) (Letzte) 13:12, 2. Mai 2004 JakobVoss K (Siehe auch: Konfidenzintervall, Bestimmtheitsmaß)
• (Aktuell) (Letzte) 15:41, 9. Mär 2004 193.24.32.36
• (Aktuell) (Letzte) 15:40, 9. Mär 2004 193.24.32.39
• (Aktuell) (Letzte) 08:18, 20. Feb 2004 Juergen Bode
• (Aktuell) (Letzte) 22:44, 19. Feb 2004 80.138.150.59 (+ Weblinks)
• (Aktuell) (Letzte) 18:00, 22. Jan 2004 ErikDunsing K
• (Aktuell) (Letzte) 12:12, 2. Jan 2004 Juergen Bode
• (Aktuell) (Letzte) 12:08, 2. Jan 2004 Juergen Bode
• (Aktuell) (Letzte) 12:07, 2. Jan 2004 Juergen Bode
• (Aktuell) (Letzte) 12:06, 2. Jan 2004 Juergen Bode
• (Aktuell) (Letzte) 03:54, 29. Okt 2003 Michael Schubart K
• (Aktuell) (Letzte) 19:00, 23. Okt 2003 Kku (linx)
• (Aktuell) (Letzte) 11:07, 20. Sep 2003 Caramdir (Formeln mit TeX)
• (Aktuell) (Letzte) 16:13, 18. Sep 2003 Juergen Bode K
• (Aktuell) (Letzte) 16:10, 18. Sep 2003 Juergen Bode K
• (Aktuell) (Letzte) 14:03, 18. Sep 2003 Juergen Bode K
• (Aktuell) (Letzte) 14:02, 18. Sep 2003 Juergen Bode K
• (Aktuell) (Letzte) 13:58, 18. Sep 2003 Juergen Bode
• (Aktuell) (Letzte) 13:48, 18. Sep 2003 Juergen Bode

Versionsgeschichte von: OLS

• (Aktuell) (Letzte) 09:27, 20. Jul 2004 DaTroll (Doppeleintrag: Methode der kleinsten Quadrate, Regressionsanalyse, lineare Regression)
• (Aktuell) (Letzte) 18:45, 25. Feb 2004 Croco97
• (Aktuell) (Letzte) 18:44, 25. Feb 2004 Croco97
• (Aktuell) (Letzte) 17:53, 25. Feb 2004 80.128.75.225
• (Aktuell) (Letzte) 15:54, 22. Feb 2004 Triebtäter
• (Aktuell) (Letzte) 23:22, 14. Feb 2004 Blaubart

Versionsgeschichte von: Lineare Regressionsanalyse

• Aktuell) (Letzte) 08:37, 31. Aug 2004 BWBot K (Bananeweizen - Bot: ausser -> außer)
• (Aktuell) (Letzte) 00:15, 22. Jun 2004 Weede K
• (Aktuell) (Letzte) 19:21, 22. Apr 2004 Weede (Im alternativen "lineare Regression" werden nichtlineare Ansatzfunktionen verschwiegen.)
• (Aktuell) (Letzte) 17:53, 22. Apr 2004 164.133.154.130
• (Aktuell) (Letzte) 17:20, 22. Apr 2004 164.133.154.130

Least Square

• (Aktuell) (Letzte) 16:34, 26. Apr 2004 DaTroll (Redirect)
• (Aktuell) (Letzte) 16:21, 26. Apr 2004 G K (link)
• (Aktuell) (Letzte) 18:41, 25. Feb 2004 Croco97

Lieber Freund, wenn die Entfernung in km gemessen wird, dann auch so berechnet wird, kann die Geschwindigkeit nicht in m/s herauskommen. 81.173.150.53 12:45, 30. Apr 2004 (CEST)

Verständnisfrage

Was soll eigentlich in dem Zahlenbeispiel das m? Steht das für gemessen? Man könnte das doch auch weglassen, oder man müsste es wenigstens tiefstellen. --Philipendula 12:28, 29. Aug 2004 (CEST)

Ich denke schon. Das Beispiel ist schon ewig alt und gefällt mir auch nicht besonders gut. Viele Gruesse --DaTroll 13:17, 29. Aug 2004 (CEST)

Nicht das Beispiel, sondern m sollte man weglassen. --Philipendula 19:31, 29. Aug 2004 (CEST)

Neustrukturierung von Regression

Es muss noch verwurstet werden:

Der alte Inhalt von Regressionsanalyse (jetzt auf der Diskussionsseite zwischengelagert): vor allem nichtlineare Regression problematisiert. Emzymkinetik. Algorithmus nach Marquart. Resistente Verfahren. Sollte zu Kleinste Quadrate

Lineare Regression: betrifft zu 90% deskriptive lineare Regression. Es ist natürlich die Frage, wo packen wir die hin. Bei mir ist schon ein einfaches Zahlenbeispiel mit kurzer mathematisch-statistischer Erläuterung dazu. Es wäre vielleicht angebracht, bei den Kleinsten Quadraten einen eigenen Abschnitt zu linearer Regression zu machen.

OLS: Mal schaun.

Lineare Regressionsanalyse: Bringt das numerische Verfahren zur Lösung einer linearen Einfachregression und Vorschläge für nichtlineare Regressionsansätze (Polynomregression + Fouriersche Reihen). Sollte auch wieder zu Kleinste Quadrate.

Bei Methode der kleinsten Quadrate sollte man vielleicht das t durch x ersetzen, weil t doch als Zeiteinheit schon belegt ist.

--Philipendula 12:42, 29. Aug 2004 (CEST)

Lineare Regressionsanalyse ist IMHO völlig unverständlich, weil der Artikel eine schlechte Notation hat. Deswegen ist es hier auch t: um von x abzugrenzen und damit es, wenn man das Gleichungssystem als Ax=b schreibt, keine Verwirrung gibt. Viele Gruesse --DaTroll 13:20, 29. Aug 2004 (CEST)

Schon wieder ein Missverständnis. Ich sollte mich wirklich etwas präziser ausdrücken ;-): Es handelte sich bei dem "t" um das t in dem Zeit-Weg-Beispiel. Für das Beispiel ist es ja ok., aber für die allgemeine Darstellung braucht es das x. Das mit den Fourierschen Reihen ist schon in Ordnung.

Ansonsten: Der erste Teil mit der konkreten Herleitung wäre brauchbar. Allerdings würde ich die Mittelwerte weglassen, es geht analytisch auch ohne.

Der Teil mit der nichtlinearen Regression ist von der Notation her wohl wirklich etwas unklar. Heißt es, dass jedes Nj eine, z.B. "polynomische", Funktion aus verschiedenen X-Variablen darstellt? Allgemein müsste das denkbar sein, wenn die Kombinationen nicht zu abenteuerlich sind, könnte man vielleicht auch Ergebnisse rauskriegen.

Der Teil mit der Fourierschen Analyse ist ganz ordentlich. Wie so oft, würde ein Beispiel Wunder wirken.

Außerdem bezieht sich der Autor implizit auf Probleme wie Multikollinearität und/oder Überbestimmtheit des Gleichungssystems und schlägt als Lösung Forward-Regression und Backward-Regression vor. Statistisch würde man hier testen, ob eine weitere ins Modell genommene Variable einen wesentlichen Beitrag zur Regression leistet.

Solle wir ihn neilasse? Wie sollen wir jezt weiter vorgehen? Die verbliebenen Artikel verteilen? Oder killen? Die ersten Schläge habe ich mir schon abgeholt (Diskussion:Regressionsanalyse). Wer macht was? Hast Du überhaupt Zeit dazu? Ich könnte zeitlich was übernehmen. Viele Grüße --Philipendula 20:05, 29. Aug 2004 (CEST)

Ich hab hierzu mal auf Diskussion:Regressionsanalyse geantwortet. Was den speziellen Artikel hier angeht: das Beispiel und seine Notation würde ich als letztes überarbeiten, wenn der Rest steht. Was das tatsächliche Tuen angeht: ich habe zur Zeit selten länger am Stück Zeit für die Wikipedia und betätige mich momentan eher als Ausputzer. Wenn es Dir also in den Fingern juckt, dann mach einfach. Ich würde mich freuen. Viele Gruesse --DaTroll 22:40, 29. Aug 2004 (CEST)

OK. --Philipendula 22:45, 29. Aug 2004 (CEST)

Neuer MQK-Artikel

Die neue Fassung ist von mir aus, bis auf einige Kleinigkeiten, die ich noch entdeckt habe, fertig. Sie wirkt teilweise etwas inhomogen und sperrig, was daran liegt, dass eben verschiedene Artikel, so gut es geht, ausgeschlachtet wurden.

DaTroll: Wenn du mal Zeit haben solltest, lies es mal kritisch durch. Was ich noch ansprechen wollte:

• Kann bei den Fourierschen Reihen bei der Minimierung auch das Mittel weggelassen werden? Numerisch hat es eigentlich keine Auswirkung. Vielleicht gibts da was Mathematisch-Physikalisches, was ich nicht blicke.
• Mir ist die Bedeutung von $\min _{x}\|Ax-b\|_{2}$ bei

$\min _{\alpha ,\beta }\|{\begin{pmatrix}t_{1}&1\\\vdots &\vdots \\t_{n}&1\end{pmatrix}}{\begin{pmatrix}\alpha \\\beta \end{pmatrix}}-{\begin{pmatrix}y_{1}\\\vdots \\y_{n}\end{pmatrix}}\|_{2}=\min _{x}\|Ax-b\|_{2}.$

nicht ganz klar. Bezieht sich das auf das System der Normalgleichungen? Oder ist es das überbestimmte Gleichungssystem?

• Könnte man nicht doch x statt t nehmen? Beim Ansatz mit mehreren Variablen müsste man sonst t_1i, t_2i usw. schreiben. Ist das üblich? Wenn ja, ändere ich meine "xe" in t um.
• Bei einem Artikel stand "Angewandt als Systemidentifikation ist die Methode der kleinsten Quadrate in Verbindung mit Modellversuchen für Ingenieure ein Ausweg aus der paradoxen Situation, dass man etwas berechnen muss, was man gar nicht berechnen kann." Wie könnte man das übersetzen (muss man es?).

Jürgen Bode: Bist Du soweit zufrieden? Oder muss noch etwas geändert werden? Falls Dein Beitrag hier zu sehr untergeht, könntest Du ja überlegen, doch einen eigenen Beitrag zu Enzymkinetik zu verfassen.

Viele Grüße --Philipendula 10:28, 31. Aug 2004 (CEST)

Das System der Normalgleichungen folgt aus dem, was Du hier ansprichst. Was ich hingeschrieben habe, ist das ueberbestimmte lineare Gleichunggsystem. Ich hab noch mal was dazu in den Artikel geschrieben, bitte guck mal, ob das jetzt verstaendlicher ist. Ach ja, eine Frage: die Variable t ist doch nicht gegeben, sondern die Hauptvariable? (irgendwo im ersten Abschnitt hast du das so geschrieben).

Was x und t angeht: ich komme halt aus der numerischen linearen Algebra, wo man in diesem Kontext einfach ein ueberbestimmtes lineares Gleichungssystem betrachtet. Und lineare Gleichungssysteme heissen nun mal Ax=b :-) Mit den multivariaten Sachen habe ich mich nie richtig befasst: vom Standpunkt der linearen Algebra aus macht das halt keinen Unterschied. Viele Gruesse --DaTroll 11:05, 31. Aug 2004 (CEST)

Mit der linearen Algebra habe ich ja auch keine Probleme. Wir müssen uns nur einigen, ob wir im Regressionsmodell als Notation x oder t verwenden. Man könnte doch statt Ax=b auch Xβ=y schreiben oder kriegen Mathematiker dann Schrei(b)krämpfe? Rein algebraisch ist der multivariate Fall ja genau das. Wenn du in dem Artikel etwas weiterscrollst, entdeckst Du

"Hat man mehrere unabhängige Modellvariablen x₁, ... x_q, erhält man eine lineare Funktion der Art

$y_{m}(x_{1};...x_{q};\beta _{0},\beta _{1},\cdots ,\beta _{q},)=\beta _{0},+\beta _{1}x_{1}+\cdots ,\beta _{q}x_{q}$.

Die Minimierung der Quadratsumme der Residuen ergibt wieder ein lineares System von Normalgleichungen

${\vec {X}}^{T}{\vec {X}}={\vec {X}}^{T}{\vec {y}}\;,$

das bei Regularität der (qxq)-Matrix auf der linken Seite gelöst werden kann."

Da hatte ich ja eigentlich schon das Selbe in Grün geschrieben (nur bei der Notation von y=f(x) hatte ich noch einen Fehler). Meine xj sind die j-ten Spalten "Deiner" Koeffizientenmatrix A. Wie gesagt, ich müsste dann die xj in tj ändern, wobei natürlich t1 ein Einserspaltenvektor ist. Noch mal meine Frage: Ist das üblich, mehrere Vektoren tj zu betrachten? Im Bronstein ist übrigens immer von den Variablen x die Rede.

Zu fest vorgegeben: Was meinst Du mit Hauptvariable? Das mit dem fest vorgegeben bei t ist stochastisch gemeint. Es bedeutet, t kann stochastisch nicht variieren (auch wenn es das faktisch könnte), dagegen variiert y als Zufallsvariable. Es gehört eigentlich nicht hierher, war ein bisschen als Zugeständnis an unsere Ingenieure gedacht, die meistens Stochastik und Rechnerei vermischen.

Viele Grüße --Philipendula 14:01, 31. Aug 2004 (CEST)

$A^{T}Ax=A^{T}b.$ oder auch ${\vec {X}}^{T}{\vec {X}}={\vec {X}}^{T}{\vec {y}}\;,$ ist glaube ich, beim Fall mit mehr als zwei Parametern besser aufgehoben, weil es ja oben nur eine (2x2)-Matrix ergibt, die eigentlich niemandem weh tut. Pfeile können meinetwegen weg, ich hasse sie sowieso. Man müsste sie dann nur ganz oben auch entfernen.

Was ist nun: x oder t??? Siehe obiger Beitrag von meiner einer!

Viele Grüße (;-))--Philipendula 13:29, 1. Sep 2004 (CEST)

Eins nach dem anderen :-) Also ich bin fuer t. x ist halt im Denken als Variable gepraegt. Da man es hier darum geht, die Modellparameter zu bestimmen, sind die Modellparameter die Unbekannten und sollten also solche deutlich als x sichtbar sein. Dann muss die Funktionsvariable einen anderen Namen haben, halt t. Ich weiss, dass das in der Statistik total unueblich ist man dementsprechend bei X^TX als Gleichungssystemmatrix landet. Es hat beides seine Berechtigung. Wir sollten uns wohl an der Frage orientieren, wer hier haeufiger nachguckt: Leute mit statistischem oder Leute mit numerischen Hintergrund? Tja, keine Ahnung. Ich hol mal ne dritte Meinung ein. Viele Gruesse --DaTroll 13:41, 1. Sep 2004 (CEST)

DaTroll hat mich gebeten, meinen Senf dazuzugeben. Nun denn, schnell und oberflächlich:

• Glückwunsch zu dem, was Ihr als Text erstellt habt. Gut strukturiert und klar geschrieben.
• Bei den Formeln herrscht, wie Ihr selbst am besten wisst, groteskes Durcheinander.
  • Ich persönlich bin f(x;p) gewohnt. Wenn ich aber Eure Diskussion recht verstanden und es eine Community gibt, die f(t;x) schreibt, dann sollte man auf x ganz verzichten - zumindest in den allgemein formulierten Teilen; bei den Beispielen fände ich einen Wechsel in einem Variablennamen (aber keine Permutation) hinnehmbar.
  • Ich fände f besser als y_m (wenn letzteres, müsste man y_{\rm m} schreiben).

Weiterhin frohes Schaffen wünscht Weialawaga 14:26, 1. Sep 2004 (CEST)

DaTroll: Wenn Du ohne $\min _{x}\|Ax-b\|_{2}$ nicht leben kannst, müsstest Du aber konsequenterweise auch die Elemente von A aij nennen, die Komponenten von b bi und die von x xj. Sonst gibt das ein hoffnungsloses Durcheinander. Ich setze das gern um. Es ist für mich keine Notationsart lebenswichtig. Die Beispiele jedoch muss man von Fall zu Fall betrachten :-). --Philipendula 18:42, 1. Sep 2004 (CEST)

Das sehe ich genauso. Ich würde für "X" plädieren (nicht "t"). Die Elemente einer Matrix A erwarte ich als aij, die Elemente des Vektors b als bj. Meine Herkunft ist - wie ihr daran seht - nicht die Statistik;-) -- tsor 21:39, 1. Sep 2004 (CEST)

Mhmh, vier Leute, und vier Meinungen :-) Dann mach ich mal einen Vorschlag. Ich halte diesen Artikel fuer den, in dem ausfuehrlich irgendwann auf die numerischen Aspekte eingegangen werden soll. Im linearen Teil geht es dann nur um lineare Algebra und die liebste Kombination der drei Buchstaben A, b und x ist fuer so jemanden halt Ax=b. Deswegen schlage ich folgendes vor:

Wir haben eine Modellfunktion f(t, x_1, x_2, ..., x_q) (q Parameter x_i). Diese wollen wir den Datenpunkten (t_1,b_1), (t_2,b_2), ..., (t_n,b_n) anpassen. Die Matrix A ist dann halt die Matrix wie sie da steht, nicht mit Eintraegen a_ij. Dann schreibt man einen Kommentar dazu, dass die Notation in der Statistik anders ist. Im multivariaten Fall macht man ein Beispiel mit zwei Variablen: f(t,s,x_1,x_2, ...,x_n). s ist noch frei, den Uebergang zu noch mehr Variablen muss der Leser dann selbst schaffen.

Und ganz nebenbei ist mir aufgefallen, dass mein Beispiel fuer nichtlineare Regression grosser Unsinn war, aber den hat Philippendula ja zum Glueck schon entfernt :-) Was meint ihr? Viele Gruesse --DaTroll 11:33, 2. Sep 2004 (CEST)

(Kann mich nicht erinnern, was entfernt zu haben. Schau mal lieber, ob's nicht noch dasteht.) Gut, dann mache ich es, wie gewünscht. :-) --Philipendula 11:43, 2. Sep 2004 (CEST)

Artikel jetzt CD-fähig

Also ich habe die x in t umgewandelt, die betas in x. Ich habe den linearen Teil noch ein wenig präzisiert, auch auf die Gefahr von Redundanz hin. Aber bei Doppel-Indizes kann es nicht schaden. Die Beispiele habe ich mal so gelassen. Bei meinem Beispiel (mit der polynomialen Regression) müsste ich sonst neue Grafiken machen, was mich gar nicht recht freut.

Als weiteres To-Do: Zeit-Weg-Beispiel entrümpeln. Die Grafik ganz oben ersetzen durch eine, die von der Notation her übereinstimmt. Irgendwie wäre noch ein "echtes", nichtlineares iterativ gerechnetes Beispiel supi!

Aber wenn jetzt der Snapshot oder wie das auch immer heißt, gemacht wird, brauchen wir uns nicht schämen. Danke an alle, die mitgearbeitet haben, vor allem an DaTroll. --Philipendula 14:28, 2. Sep 2004 (CEST)

Ich hab gerade gelesen, dass der Snapshot am 1.9. in der Fruehe gemacht wurde :-( Die Version von dem Artikel die da jetzt drauf ist, duerfte wie Kraut und Rueben aussehen. Oder wird wegen des Doppeleintragtags gar nicht reingenommen. Mhmh --DaTroll 14:34, 2. Sep 2004 (CEST)

Na super! Richtig toll. Aber ich habe schon Schlimmeres erlebt. Wenn nach dem Snapshot das Zeug erst manuell durchgefieselt wird, könnte doch eigentlich eine Chance bestehen, beide Artikel nachträglich reinzukriegen, oder? Kennst Du jemand von den Verantwortlichen? Wenn nicht, ist es auch nicht tragisch. Die erste Version der CD ist wahrscheinlich ohnehin grauenhaft. Gräm dich nicht, die Artikel sind relativ gut geworden, das ist auch was wert. Bei der nächsten CD sind sie dann 100%ig. Eigentlich muss ich jetzt sogar grinsen. So ein Chaos ist richtig filmreif! :-) Viele Grüße --Philipendula 17:09, 2. Sep 2004 (CEST)

Partielle Ableitungen, erstes Beispiel

Hi Philippendula, bei der Herleitung der Normalgleichungen aus dem Minimierungsproblem hast Du geschrieben, dass man das mittels partieller Ableitungen macht. Ich sehe das nicht: mein Problem:

$\|Ax-b\|_{2}=(Ax-b)^{T}(Ax-b)=x^{T}A^{T}Ax-2x^{T}A^{T}b+b^{t}b$.

Ableiten ergibt dann halt: $A^{T}Ax=2A^{T}b$. Also irgendwo ein Faktor 2 zuviel. Ichdenke, dass man auf jedenfall den Projektionssatz braucht. Oder uebersehe ich was? Dann noch was zu Deinem ersten Beispiel: kannst Du da die Notation nicht noch mehr an den Text anpassen? Das ist mit den Bildern etwas schwierig, aber vielleicht ein bisschen? Ich verstehe auch nicht, wieso x_3 multikollinear sein soll. Viele Gruesse --DaTroll 14:13, 3. Sep 2004 (CEST)

Hallo DaTroll,

mit partiell Ableiten meinte ich natürlich bezüglich der Parameter xj, wenn man die Normalgleichungen komponentenweise hinschreibt. Für das Ableiten der obigen Form erhält Du für

$x^{T}(A^{T}A)x$ den Ausdruck $2(A^{T}A)x$ und für $(2b^{T}A)x$ entsprechend $2b^{T}A$.

Alles klaro? Ich habe mal die 2. Form transponiert hingeschrieben, dann passt sie besser zur ersten.

Mein Fehler:$x^{T}(A^{T}A)x$ ist abgeleitet natürlich $2(A^{T}A)x$. Da fehlte mir der Faktor zwei :-) Viele Gruesse --DaTroll 19:10, 3. Sep 2004 (CEST)

Wegen des Beispiels schau ich mal. Viele Grüße --Philipendula 18:24, 3. Sep 2004 (CEST)

Hallo DaTroll. So, Beispiel geändert. Das mit der Variablen t3 hat SPSS ungefragt gemacht, und ich konnte es ihm nicht ausreden. SPSS ist zwar mächtig, aber manchmal schrecklich schwerfällig. Dieses Mal habe ich Minitab genommen, das ist etwas flexibler (In diesem Sinn könnte man SPSS als Schlachtschiff und Minitab als Zerstörer bezeichnen ;-)). Aber ich habe die Erkenntnisse von Spss bezügl. t3 übernommen. Wahrscheinlich könnte man sogar noch eine Variable entfernen. Die Variablen sind halt alle hochkorreliert: Z.B. ist die Korrelation zwi. t2 und t3 0,991 und zwi. t3 und t4 0,994. Die Eigenwerte von A sind bei 4 Variablen 349,919, 0,039, 0,000 0,000 0,000. (Bei 3 Variablen haut es einen auch noch nicht um, aber das behalte ich für mich).

Ein paar Gedanken hätte ich noch:

1. Wenn Du schon Anfälle von Didaktik bekommst, indem Du die einfachen LQ vor die multiplen schiebst: Sollte man beim einfachen linearen LQ noch direkt ein Rechenbeispiel mit einfügen, wie das Sektbeispiel bei Regressionsanalyse?
2. Die Grafik in der Einleitung passt von der Notation nicht mehr.
3. Ich suche noch nach einer griffigen Bezeichnung für t. Dich irritiert offensichtlich die Bezeichnung Variable: Datenvariable? In RA sagt man beispielsweise Regressor oder exogene oder unabhängige Variable.
4. Ich habe beim linearen Verfahren von q Variablen und Parametern gesprochen. Es sind aber + Absolutglied q+1 Parameter. Das ist eleganter, weil dann das Absolutglied als Vektor t0 läuft. Aber dann müsste man in der Einleitung von q+1 Datenvektoren sprechen, was irgendwie blöd ist.

Viele Grüße --Philipendula 14:26, 4. Sep 2004 (CEST)

Ich habe noch ein Problem mit Deinem Beispiel und das haengt wirklich mit dem Wort Variable zusammen: t^3 ist fuer mich keine Variable, sondern eine Variable hoch drei (oder meinst Du t_3, dann ist es aber kein polynomialer Ansatz mehr). Variablen sind t und die x_i. Bzw. in meinem Verstaendnis sind die x_i Parameter und die t eine Variable. Die Regression wird zur Bestimmung der x_i durchgefuehrt. Viele Gruesse --DaTroll 10:30, 8. Sep 2004 (CEST)

Der Ansatz ist

$y\approx x_{0}+x_{1}t+x_{2}t^{2}+x_{3}t^{3}+x_{4}t^{4}$

In der Regressionsanalyse wird t^3 als eine neue Variable interpretiert, ähnlich wie das Vorgehen bei der biquadratischen Gleichung, wo ja auch "x^2" als eine neue Variable definiert wird. Nimmt man t^3 raus, bleibt als Ansatz

$y\approx x_{0}+x_{1}t+x_{2}t^{2}+x_{4}t^{4}$

Ansonsten gehen wir konform: t ist (Daten)variable und x ist der gesuchte Parameter. Oder reden wir komplett aneinander vorbei? Der Begriff Variable für t scheint Dir eh nicht zu gefallen, hast Du da einen besseren Vorschlag? Viele Grüße --Philipendula 10:46, 8. Sep 2004 (CEST)

Nein, wir reden nicht aneinander vorbei :-) Nein, Variable ist schon OK. Aber ich wuerde nie t^3 als Variable bezeichnen. Ich wuerde es anders formulieren: man stellt fest, dass t^3 im Ansatz nicht gebraucht wird, die Daten also durch Weglassen auch nicht schlechter modelliert werden. Also streicht man den Parameter x_3 und entsprechend t^3. t^3 als Variable zu bezeichnen finde ich sehr verwirrend. Viele Gruesse --DaTroll 11:29, 8. Sep 2004 (CEST)

In der Regressionsanalyse ist es halt eine Variable, deshalb denke ich in dieser Kategorie. Oder man nennt es Regressor. Ich formuliere es mal in Deinem Sinn um. :-) --Philipendula 12:21, 8. Sep 2004 (CEST)

Naja, so ganz ging das nicht. Da ja die t^j alle einen signifikanten Beitrag leisteten, werden eigentlich alle benötigt. t3 wird nur wegen Multikollinearität rausgeschmissen! Das muss so erwähnt werden, sonst stimmt das mit dem Output nicht überein. Aber vielleicht passt es so, wie ich es geändert habe. --Philipendula 12:36, 8. Sep 2004 (CEST)

Habe die Multikollinearität im Beispiel doch rausgeschmissen. Das lenkt nur vom Beispiel ab. --Philipendula 23:16, 8. Sep 2004 (CEST)

Kuddelmuddel Ausgleichsrechnung, Pseudo Inverse

Der Artikel hier spielt die Rolle eines Artikels zur Ausgleichsrechnung, wobei ich persönlich mal für mich recherchieren müsste, ob damit auch andere, als 2-Norm Minimierungen gemeint sind. Es fehlt der an dieser Stelle übliche Hinweis auf Pseudoinverse, der momentan nur in Inverse Matrix kurz angerissen wird, und zur Moore-Penrose-Inversen $A^{+}=(A^{t}A)^{-1}A^{t}$. Eindruck: Das Thema wird von Numerikern, Stochastikern (Satz von Gauss-Markov) und Physikern gepflegt, der Artikel zeigt auch das entsprechende Durcheinander in der Bezeichnungsweise und Notation. --Marc van Woerkom 11:55, 27. Sep 2004 (CEST)

Dass der Artikel interdisziplinär gepflegt wird, täuscht Dich nicht. Er wurde in ziemlich mühseliger Kleinarbeit von 6 Artikeln zu einem zusammengefasst, was schlimmer ist, als einen neuen zu schreiben, denn jeder der ehemaligen Autoren möchte sich ja wiederfinden. Bau halt den Artikel über inverse Matrix bezüglich der Pseudoinversen aus. Erklär dort, für was man sie braucht, ev. mit Zahlenbeispiel. Wenn Du meinst, dass die Nennung des Begriffs Moore-Penrose-Inverse der Wahrheitsfindung dient ;-), kannst Du ihn ja in Regressionsanalyse parken, die das statistische Pendant zu diesem Artikel darstellt. Da Dich die unterschiedliche Notation stört: Wir haben uns bemüht, bei der theoretischen Erläuterung eine einheitliche Notation zu wählen. Die Beispiele stammen von den früheren Autoren. Hier wurde deren Notation beibehalten. Das größte Durcheinander an Notation hat eigentlich das von Dir eingebrachte Beispiel gebracht. Es wäre schön, wenn Du es erkennbar als Regressionsansatz formulieren könntest und auch ein Zahlenbeispiel dazu rechnen. --Philipendula 12:28, 27. Sep 2004 (CEST)

Die theoretische Erläuterung finde ich eher unschön und unübersichtlich, was die Dimensionen angeht. Ist halt Geschmackssache. Z.B. gefällt mir persönlich ein schlichter Fettdruck für Vektoren, oder gar keine Auszeichnung besser, als ein Vektorpfeil. --Marc van Woerkom 14:17, 27. Sep 2004 (CEST)

Ich kann den Einwand nicht ganz verstehen. Der Artikel ist extra so angelegt, dass sowohl Numeriker als auch Stochastiker als auch Anwender hier ihre Sichtweise widerfinden. Etwas anderes halte ich auch nicht fuer sinnvoll. Der allgemeinere Artikel ist wie Philipendula schon sagte: Regressionsanalyse. Was die Pseudoinverse angeht, so fehlt das natuerlich noch. Wie auch viel von der mathematischen Loesungstheorie (Singulaerwertzerlegung etc.) Da gehts mathematische aber schon ziemlich in die Tiefe.

Noch eine kleine Anmerkung: das Beispiel zur Tomographie finde ich nicht gelungen. So wie es jetzt dasteht, fehlt fast komplett der Zusammenhang zu diesem Artikel. Bis jetzt beschreibt das nur eine lineare Modellierung des Vorganges. Viele Gruesse --DaTroll 12:52, 27. Sep 2004 (CEST)

DaTroll: Ausgleichsrechnung haben wir noch nicht eingebaut. Viele Grüße --Philipendula 12:31, 27. Sep 2004 (CEST)

Mhmpf. Ja, dann muessen wir da nochmal ran :-( --DaTroll 12:47, 27. Sep 2004 (CEST)

Es ist halt ein Beispiel für eine Anwendung von linearer Ausgleichsrechnung. Ich kann aber gerne eine Beispielsrechnung dazu tun, damit man mal sieht, wie das Verfahren dann selbst in diesem Fall abläuft. Mit dem Beispiel haben wir seinerzeit in Aachen Maschbauer im Numerikpraktikum gequält. Ich habe es aus dem Gedächtnis reproduziert. Es fehlt auch noch ein nettes Bildchen, welches die Einteilung des Gebietes und einen Strahl dadurch zeigt. (Mache ich nachher, wenn ich Zeit habe). Wobei mir bei der Gelegenheit einfällt: Kann man eigentlich Java Applets für Beispiele in die Wikipedia laden, oder ist das Overkill?

--Marc van Woerkom 14:17, 27. Sep 2004 (CEST)

Ich habe mir jetzt nochmal die Regressionsanalyse angeschaut. Sehr speziell schon auf die Problematik der Statistiker zugeschnitten. Was tun, wenn die gleiche mathematische Technik in sehr vielen Gebieten unter anderem Namen, mit gewissen Problemstellungen auftaucht? Um die Verwirrung komplett zu machen, weise ich auch auf Approximationstheorie hin. Das Beispiel mit dem Bäumchen könnte man aus der Sicht eines E-Technikers auch unter Abtastung und Rekonstruktion aufführen. Eine Enzyklopädie zu machen, ist gar nicht so einfach. --Marc van Woerkom 14:47, 27. Sep 2004 (CEST)

Physiker und Ingenieure benutzen fast ausschliesslich (und mit guten Gruenden) die Methode der kleinsten Quadrate

Interessant wäre ja zu wissen, warum es eine gute Methode ist. Steht dazu hier etwas? --Marc van Woerkom 18:11, 27. Sep 2004 (CEST)

und sind hier prima aufgehoben. Deswegen ist Regressionsanalyse fuer Statistiker. Die Anwender sagen immer "Ausgleichsrechnung", "Regression" aber meinen nichts anderes als eben diese Methode hier. Approximationstheorie ist ein viel weiterer Begriff (Least Squares ist nur ein spezielles Approximationsverfahren).

Mir ist der Zusammenhang Approximationstheorie vs Regressionsanalyse noch nicht klar. Ist letztere nur Approximation von Funktionen im Kontext statistischer Probleme? --Marc van Woerkom 18:11, 27. Sep 2004 (CEST)

Rekonstruktion auch (Least Squares ist ein spezielles Verfahren, dass man zur Rekonstruktion nutzen kann) und Abtastung auch (Abtastung ergibt Daten, die man mit Least Squares weiterverarbeiten kann, aber auch mit voellig anderen Dingen). Deswegen ist das Beispiel mit den Baeumen hier bisher auch so unpassend: es beschreibt eine Modellierung, die dann Daten liefert, die man dann weiterverwursten kann in einer Regressionsanalyse (und da z.B. mit Least Squares). Viele Gruesse --DaTroll 16:31, 27. Sep 2004 (CEST)

Ich habe das ja absichtlich hinter der multilinearen Regression als Beispiel für ein mit dieser Methode lösbares Problem angeführt. Man kann Beispiele für Probleme, die man ins Verfahren steckt, also auch Beispiele für die Durchführung des Verfahrens, also eine Musterrechnung, angeben. Sind nicht beide wichtig? --Marc van Woerkom 18:11, 27. Sep 2004 (CEST)

Ich antworte mal hier auf alle drei Beitraege. Der Least-Squares-Schaetzer ist BLUE, also der Best Linear Unbiased Estimator, kurz gesagt er ist in einem weitreichenden Sinne optimal. Das fehlt leider noch komplett im Artikel. Regressionsanalyse ist fuer mich Approximation im Kontext endlich vieler statistischer Daten. Approximationstheorie beinhaltet zusaetzlich vor allem die Approximation von Funktionen.

Ansonsten hast Du Recht. Ein Beispiel, wo komplett die Modellierung und die Auswertung gemacht wird, klingt gut. Viele Gruesse --DaTroll 11:05, 28. Sep 2004 (CEST)

Gut dann stecke ich noch etwas Arbeit rein. Wenn es hinterher nicht passt, bin ich auch nicht böse. Ich habe wahrscheinlich keine Zeit dafür, der Gedanke liegt hier nahe, ein Java Applet zu basteln. Wie geht die Wikipedia mit rich content, wie Java Applets, Flash Animationen, GIF Animationen, MP3 und Video Dateien um? (Wobei ich ja schon froh bin, dass TeX erlaubt ist). --Marc van Woerkom 13:13, 28. Sep 2004 (CEST)

Animierte GIFs sind kein Problem, bei den anderen habe ich keine Ahnung. Ich persoenlich halte z.B. von Flash in der Wikipedia gar nichts, da das ja den Betrachter zwingt, sich noch ein weiteres Programm zu installieren. Viele Gruesse --DaTroll 16:16, 28. Sep 2004 (CEST)

Kleinst-Quadrat Methode

Mir ist das Verfahren auch schon als Kleinst-Quadrat Methode untergekommen, wobei ich jetzt nicht genau weiss, wie man dies dann korrekt schreibt. (Zusammenschreibung? Trennung? Bindestriche?) --Marc van Woerkom 12:00, 27. Sep 2004 (CEST)

Vermutlich orthografisch korrekt mit Bindestrichen. --Philipendula 12:29, 27. Sep 2004 (CEST)

BLUE

Warum Norm2? Ich bin momentan zu kommod, darüber etwas nachzulesen, weil über das Warum selten was zu finden ist. BLUE selber ist ja wieder ein Begriff aus der Schätztheorie, also stochastisch motiviert. Rein numerisch könnte man es vielleicht so begründen:

• Die Quadrierung verhindert, dass positive und negative Abweichungen saldiert werden
• Große Abweichungen des Messwertes von der Ausgleichsgeraden werden durch das Quadrat stark gewichtet, kleine nur schwach. (Wenn man davon ausgeht, dass in einer großen Abweichung entsprechend wertvolle Information steckt, ist das erwünscht, wenn es nur ein Ausreißer ist, eher nicht)
• Die Ableitung des Quadrats ergibt eine lineare Funktion, was fein ist.
• Die Ausgleichsgerade (oder -hyperebene)kann häufig analytisch berechnet werden. (deshalb ist die Summe der absoluten Abweichungen weniger doll).
• Die Quadratsumme entspricht der Varianz als Maß für Informationsgehalt.

Wenn gewünscht, kann ich das noch einbauen. Ich habe es nur mal hier ins Unreine gedacht, weil ich mich dann weniger gifte, wenn es wieder weg muss ;-).

Viele Grüße --Philipendula 17:55, 28. Sep 2004 (CEST)

Das klingt aber sehr heuristisch, also mathematisch nicht so überzeugend. Nicht, dass ich es derzeit bessr könnte. Meine Schnappstheorie war ja, dass die meisten Energiefunktionale quadratische Formen sind, von $E_{\mbox{kin}}={\frac {m}{2}}v^{2}$ bis zu den Feldenergien, z.B. $E_{\mbox{em}}={\frac {\epsilon _{0}}{2}}E^{2}+{\frac {1}{2\mu _{0}}}B^{2}$ (oder so ähnlich). Und in der Natur oft ein energetisches Minimum angestrebt wird. :-) Danke für den Versuch, ich muss es eh mal nachlesen. --Marc van Woerkom 00:31, 29. Sep 2004 (CEST)

War auch heuristisch gemeint. Theoretisch kriegt man es z.B. über die BLUE-Eigenschaft. --Philipendula 00:34, 29. Sep 2004 (CEST)

Historisches

Ich habe ein paar Links mit (legalen) Scans der Originalarbeiten unter den Artikel Satz von Gauß-Markow gesetzt. --Marc van Woerkom 21:27, 11. Okt 2004 (CEST)

Oma-Beispiel

Soll unser Oma auch ein Beispiel für mehrere unabhängige Datenvariablen kriegen? Ich hätte noch Tiefgang und Knoten anzubieten. --Philipendula 14:11, 12. Okt 2004 (CEST)

Ich denke wir haben genug Beispiele. Was hast Du eigentlich mit Kriegsschiffen? Viele Gruesse --DaTroll 11:33, 13. Okt 2004 (CEST)

Statistiker sind froh um alles, was sie an Daten kriegen können, vor allem metrisch skalierte Daten sind i.a. rar. Da mein Mann sich für Seekriegsgeschichte interessiert, hat er mir diese Daten gegeben. In der Vorlesung kriege ich damit immer Männeraugen zum Glänzen, vor allem, weil es da die kompletten Daten mit Namen der Schiffe usw. gibt. ;-). Das Beispiel oben hatte ich ehrlich gesagt nur eingefügt, weil das Baumtomographie-Beispiel für unser Oma vielleicht etwas schwerverdaulich war. Viele Grüße --Philipendula 12:43, 13. Okt 2004 (CEST)

Ausgleichungsrechnung

Dieser Artikel ist etwas allgemeiner als Methode der kleinsten Quadrate. Hier geht es auch um andere Verfahren als nur die Quadratsumme der Residuen. Zudem werden hier allgemeine Überlegungen zur Konstruktion mathematischer Modelle und deren Struktur angestellt. Ich glaube, man sollte ihn lassen. Ich habe noch ein paar Links verstreut und ihn etwas umformuliert. --Viele Grüße --Philipendula 23:16, 12. Okt 2004 (CEST)

Noch was zu erledigen

Oben ist immer noch der ominöse Satz, den ich aus einem der Aufsatzvorgänger entnommen hatte: ...Ingenieure ein Ausweg aus der paradoxen Situation, "dass man etwas berechnen muss, was man gar nicht berechnen kann". Ich wusste nicht, was das konkret heißen soll. Vielleicht kann jemand das übersetzen. --Philipendula 18:26, 14. Okt 2004 (CEST)

Ich verstehe darunter folgendes: ein Ingenieur untersucht ein Phaenomen, ist aber nicht in der Lage fuer das Phaenomen eine mathematische Beschreibung zu geben. Er kann also nichts ausrechnen, haette aber gerne eine mathematische Beschreibung. Also macht er eine Regressionsanalyse. Besonders toll ist der Satz nicht :-) --DaTroll 13:08, 15. Okt 2004 (CEST)

Noch mal therapiert

1. Einleitung noch mal umformuliert. Regression ist laut Stochastischem Lexikon von Müller in der Tat die stochastische Bezeichnung.
2. Ominösen Ingenieurssatz übersetzt
3. Ridgeregression gegen Multikollinearität

Überlegung: Führen eigentlich Vorwärts- und Rückwärtsselektion nicht zu weit? Ist das Baumtomographie-Beispiel nicht etwas zu schwierig? --Philipendula 12:16, 25. Okt 2004 (CEST)

Ja, der Ingenieurssatz ist jetzt viel besser. Ich hab die anfängliche Erklärung nochmal geändert. Ich finde sie jetzt verständlicher, aber so richtig zufrieden bin ich immer noch nicht. Was ist denn Vorwärts- und Rückwärtsselektion?

• Forward- und Backward-Regression Guckst du hier

Ansonsten: Deine Tabelle für das Schiffsbeispiel ist noch irgendwie komisch: in der ersten Zeile gibt es bei mir einen Zeilenumbruch bei t_i-\bar{t}.

• Bei mir auch. Da muss ich mal einen Hilferuf starten.

Ausserdem vermisse ich noch eine Erläuterung der Größen.

• Was muss denn wie erläutert werden?

Und wo sind Tiefgang und Knoten aus der Einleitung des Beispiels hin?

• Die hatte ich mal vorsorglich mit eingebracht, falls das Beispiel noch für den multiplen Fall aufgebohrt werden sollte. Die können raus.

Viele Gruesse --DaTroll 00:13, 26. Okt 2004 (CEST)

Ach ja: Das Baumbeispiel könnte von mir aus ersatzlos gestrichen werden. Aber was Marc dazu sagt?

• Weiß nicht.

--DaTroll 00:15, 26. Okt 2004 (CEST)

• • Viele Grüße --Philipendula 00:40, 26. Okt 2004 (CEST)

Dauerwelle und Tönung:

• Was heißt eigentlich Auslenkung einer Feder? Ist das die Dehnung?
• Die Wahl dieser Modellfunktion geschieht mittels Annahmen über die Lösung des betrachteten Problems. Diesen Satz verstehe ich nicht so recht. Könnte es sein: ...über die Lösungsmethode des betrachteten Problems?
• "Zunächst ist nicht klar, wie man zwei verschiedene Approximationen bezüglich ihrer Güte vergleichen soll. Gauß und Lagrange hatten die Idee, Annahmen über die Messfehler zu machen. Sind diese normalverteilt mit gleicher Varianz, so gibt es theoretisch keine Ausreißer. Das Kriterium zur Bestimmung der Approximation sollte dieses also wiederspiegeln und so gewählt werden, dass große Abweichungen von der Modellfunktion viel stärker bestraft werden als kleine."

Irgend etwas missfällt mir da. Wie wäre es damit:

• "Zunächst ist nicht klar, wie man zwei verschiedene Approximationen bezüglich ihrer Güte vergleichen soll. Gauß und Lagrange hatten die Idee, Annahmen über die Messfehler zu machen. Sind diese normalverteilt mit gleicher Varianz, so gibt es theoretisch in den Messfehlern keine Ausreißer, die numerische Probleme hervorrufen können. Unter dieser Verteilungsannahme sollte das Kriterium zur Bestimmung der Approximationsmethode so gewählt werden, dass große Abweichungen von der Modellfunktion viel stärker bestraft werden als kleine."

• Ja, und dann noch was, was wieder mal den Graben zwischen Physikern/Ingenieuren/Mathematikern und dem Rest der Welt offenbart ;-): Mir gefällt die Bezeichnung Messfehler für Residuen überhaupst nicht. Da geht man immer von Naturgesetzen aus, die bloß nicht korrekt gemessen werden. Für Fragestellungen wie Messung eines IQ, Gewinn, Länge - Breite des Schiffes (was ja nicht naturgesetzlich vorgeschrieben ist, sondern der Willkür des Erbauers unterliegt) ist Messfehler inadäquat. Man verwendet hier Residuen als Ausdruck einer zufälligen Restgröße, die bei der Anpassung übrig bleibt.

Viele Grüße --Philipendula 12:39, 26. Okt 2004 (CEST)

i) Genau, mit Auslenkung einer Feder meine ich die Dehnung. Ich ziehe mit irgendeiner Kraft und dann verlaengert sich die Feder.

ii) Nein, Loesungsmethode waere nicht das, was ich meine: ich habe ein Problem, zu dem ich keine genau mathematische Darstellung der Loesung kenne.

Aus irgendwie geartetem Wissen (Gefuehl, Empirie, Mathematik) habe ich aber ein ungefaehres Gefuehl, wie sie aussieht. Das stecke ich in die Modellfunktion: sprich ob das letztlich ein Polynom, eine Exponentialfunktion etc. sein soll. Vielleicht etwas zu pessimistisch formuliert?

• Nö, letztlich geht man ja praktisch so vor. Wie wäre es mit etwas in Sinne von: Für die Wahl dieser Modellfunktion geht man im Allgemeinen von einem vermuteten Funktionstyp aus, was im Fall einer unabhängigen Variablen t meistens unproblematisch ist, und passt diese Funktion mittels der Parameter optimal an die Daten an.

iii) Der Absatz soll dazu dienen, verstaendlich zu machen, wieso man das Quadrat der Residuen nimmt und nicht vielleicht einfach den Betrag. Da ist das mit den numerischen Probleme unnoetig kompliziert, finde ich.

• Wenn es nur darum geht, die Quadratsumme zu minimieren, wird aber die Normalverteilungsannahme nicht benötigt. Das war es, was mich irritiert hat, weil mir nicht klar war, wie diese beiden Aspekte zusammenpassen sollen. Das mit den numerischen Problemen war nur als Erläuterung, warum Normalverteilung. Ich schau mir das noch mal an.

iv) Ich sehe, was Du meinst. Das mit den Messfehlern laesst sich ja aber noch abschwaechen, indem man das beispielhafter darstellt. Haben wir eigentlich irgendwo schon eine Betrachtung, wozu man Regressionsanalyse macht (also nicht nur: wir haben Daten und wollen die verwursten)

• Ich gehe davon aus, dass du hier Methode der Kleinsten Qu. meinst. Da gibt es natürlich die verschiedensten Motivationen. Es kann das Aufdecken von Naturgesetzen, der Erdwärmetransport durch Meeressedimente o.ä., sein, es können gewünschte Erkenntnisse im wirtschaftlich oder sozialen Bereich sein, etwa die Erstellung einer Preis-Absatz-Funktion, die Abhängigkeit der Gesamtzufriedenheit eines Kunden von bestimmten Einzelnoten (wobei wir hier das Problem ordinalskalierter Daten haben - was vom Thema abweicht), es kann aber schlicht auch "wir haben Daten und wollen die verwursten" sein, etwa beim Data Mining in großen Kundendatenbanken, wo man versucht, mit verschiedenen Verfahren auf verborgene Strukturen zu stoßen.

Ne, ich meinte das grundsaetzlich. Vielen ist glaube ich nicht so recht klar, welche Moeglichkeiten das ganze bietet. So ein Abschnitt ist aber vermutlich besser in Regressionsanalyse aufgehoben.

v) Ein Artikel ist mir noch aufgefallen: Kollinearität. Das ist doch eigentlich Multikollinearitaet in Gruen oder nicht?

• Ja, scheint es ziemlich zu treffen.

vi) Den Abschnitt ueber Forward und Backward-Regression finde ich gut. Wie wichtig das ist, kann ich aber nicht beurteilen.

• Na, lasse mir in drin.

Viele Gruesse --DaTroll 13:51, 26. Okt 2004 (CEST)

Ist Dir lieber, wenn ich Ümlaute als Uemlaute usw. schreibe?

Viele Grüße --Philipendula 14:36, 26. Okt 2004 (CEST)

Ich habe mal Deine Anmerkungen versucht, einzupflegen. Wie Du Deine Umlaute schreibst, ueberlasse ich Dir ;-) Ich sitze halt den Grossteil des Tages an einer amerikanischen Tastatur, da muss man sich halt behelfen. Viele Gruesse --DaTroll 17:23, 26. Okt 2004 (CEST)

Ach ja: kennst du eigentlich: Wikipedia:Review/Naturwissenschaft_&_Technik#Methode_der_kleinsten_Quadrate.2C_11._Oktober? Viele Gruesse --DaTroll 13:12, 27. Okt 2004 (CEST)

Danke, kannte ich noch nicht. Offensichtlich ist das Ganze noch zu abgehoben. Ich glaube, ich könnte da noch einen wesentlichen Omaschub leisten, aber da müsste ich mit dem Hackebeil ran und alles, was formal ist, einer Nasenoperation unterziehen. Allerdings gibt es da ein Problem: Möglicherweise fallen dann entscheidende Beiträge der Vorautoren unter den Tisch. Ich kann ja mal einen Vorschlag machen. Zur Not kann man ihn reverten. Allerdings weiß ich nicht, ob ich diese Woche noch dazu komme. Viele Grüße --Philipendula 16:51, 27. Okt 2004 (CEST)

Anregungen aufgegriffen

• Beispiel für lineare Einfachregression nach oben
• Mittelwert als Formel
• Baumdoktor nach unten. Die Symbole sind nicht erklärt. Es wird auch nicht sofort ersichtlich, wie sich das Modell als MKQ-Modell anwenden lässt.

--Philipendula 16:51, 29. Okt 2004 (CEST)