Exkurs: Koeffizientenbestimmung bei linearen Regressionen

Dr.-Ing. Hans-Markus Callsen-Bracker


Bei der linearen Regression versucht man den stochastischen Zusammenhang zwischen zwei Zufallsvariablen - nennen wir sie x und y - mit Hilfe einer Gerade zu approximieren. Die Geradengeleichung könnte z. B. lauten. Die Gerade soll so gelegt werden, dass sie die erwartete quadrierte Abweichung zwischen dem von der Gerade vorhergesagten Wert und der Realisation minimiert. Mathematisch gilt es die folgende Zielfunktion zu minimieren:


Im Weiteren multiplizieren wir die Klammer aus und erhalten:





Da wir diesen Erwartungswert minimieren wollen, leiten wir nach β und α ab, und setzten die Ableitungen gleich Null. Beginnen wir mit der Ableitung nach β




(1)

Ebenso muss die Ableitung nach α gleich Null sein:



Damit ergibt sich für die Konstante α:

(2)

Jetzt muss nur noch Gleichung (2) in Gleichung (1) eingesetzt werden:







Sollte der Erwartungswert von x gleich Null sein E(x)=0 oder die Kovarianz zwischen den beiden Zufallszahlen x und y Null sein, ist die Konstante α einfach gleich dem Erwartungswert von y:



Falls also kein stochastischer Zusammenhang zwischen den beiden Zufallsvariablen x und y herrscht, ist das beste "Modell" für y einfach E(y).

Suche