Skip to forum
Benachrichtigungen
Alles löschen

tricky problem bei regression

13 Beiträge
8 Benutzer
0 Reactions
1,503 Ansichten
radience
Joined: 22.02.2007

Hallo habe ne einigermaßen tricky Frage zur OLS-Regression.
also Y^ = ß0 + ß1*x1 + ß2*x2 ...
Was würde passieren wenn man die durch die Regression geschätzte unabhängige Variable Y^ nochmal in der Regression als abhängige Variable x3 einbringen würde.

also dann Y^ = ß0 +ß1*x1 +ß2*x2 + ß3*Y^

Würde das den Erklärungsgehalt (R²) des Modells erhöhen?

Meine Idee wäre, da Y^ genau auf der Regressionsgeraden liegt, bleiben SST(sum squared total) und SSR(sum squared residual) gleich und damit auch R²?

jemand ne Idee ob das so richtig ist?


Antwort
Zitat
12 replies
goethe
Joined: 11.04.2005

wenns wirklich so einfliesst kannst du auch Y wieder nach links bringen und alles durch
1+ß3 teilen

Y^ = (ß0 +ß1*x1 +ß2*x2 +...)\(1+b3) oder?

d.h. du hättest nichts gewonnen.


Antwort
Zitat

vielleicht verstehe ich jetzt das ganze falsch, aber wenn du Y auf Y regressierst, wirst du ein beta von 1 bekommen, ein r-quared von 1 und aus die maus.

die veränderung von y erklärt die veränderung von y halt perfekt...;)


Antwort
Zitat
radience
Joined: 22.02.2007

Original von marc0506
vielleicht verstehe ich jetzt das ganze falsch, aber wenn du Y auf Y regressierst, wirst du ein beta von 1 bekommen, ein r-quared von 1 und aus die maus.

die veränderung von y erklärt die veränderung von y halt perfekt...;)

Ja das wär der Fall wenn man das echte Y nehmen würde, hier geht es aber um das von der Regression selbst geschätzte Y(dach).
Was goethe schreibt ist glaub ich richtig, aber dass hilft mir nicht weiter um den Einfluss auf R² festzustellen :(


Antwort
Zitat

bekommst da nicht ein multikollinearitätsproblem, weil sich y-dach ja perfekt als vektor von x1 und x2 darstellen lässt?


Antwort
Zitat
rchrd
Joined: 28.06.2009

müsste sich, wenn ich dich richtig verstehe um eine autoregression handeln...
https://en.wikipedia.org/wiki/Autoregressive_model

wird z.b. im finanzwesen bei zinsentwicklungen angenommen.


Antwort
Zitat
pmatze
Joined: 06.03.2010

Original von marc0506
bekommst da nicht ein multikollinearitätsproblem, weil sich y-dach ja perfekt als vektor von x1 und x2 darstellen lässt?

this

wenn du zunächst Y durch x1 und x2 regressierst und diese regression dann für eine neue verwendest hast du am ende ja:
Y=ß0+ß1x1+ß2x2+ß3(ßa+ßbx1+ßcx2)+e
wenn man das auflöst sieht man, man hat 4 unbekannte und 3 bekannte. das lässt sich dann nicht lösen, bzw so das du ein beliebiges ß3 hast und am ende das gleiche ergebnis wie in der ersten regression.


Antwort
Zitat
radience
Joined: 22.02.2007

das leuchtet mir alles ein aber was hat das nun für den Erklärungsgehalt des Modells R² zur Folge. Eigentlich erhöht sich R² ja automatisch wenn man weitere erklärende Variablen hinzufügt. Kann es in diesem Fall sein das R² gleichbleibt?


Antwort
Zitat
pmatze
Joined: 06.03.2010

Original von radience
das leuchtet mir alles ein aber was hat das nun für den Erklärungsgehalt des Modells R² zur Folge. Eigentlich erhöht sich R² ja automatisch wenn man weitere erklärende Variablen hinzufügt. Kann es in diesem Fall sein das R² gleichbleibt?

ja also eig sollte dir dein programm mit dem du das ganze berechnest eine fehlermeldung ausspucken.
wenn nicht sollte es gleichbleiben.


Antwort
Zitat
JollyRoger183
Joined: 03.02.2007

Was mir zu dem Thema noch einfällt wäre "overfitting"...

Theoretisch willst du R² ja gar nicht so groß wie möglich kriegen.
Wenn du 10 x-y paare hättest und 10 variablen für deine Regression einfließen liest hättest du ein R² von 1.0, weil du ja jeden y-wert perfekt hervorsagen könntest.

Wie du schon sagtest bist du ja eigentlich daran itneressiert ^y vorherzusagen.

DU weißt dass dein Modell niemals perfekt die Wirklichkeit vorhersagen kann - da ist immer rauschen und fehler mit dabei.

Deshalb sammelst du Daten und versuchst mit wenigen Prediktoren (Anstieg und Schnittpunkt mit y-achse) aben so gut wie möglich Vorhersagen für noch nicht gemessene Punkte zu machen.


Antwort
Zitat
str1fenhoernchen
Joined: 23.10.2010

Noch eine kurze Anschlussfrage meinerseits.
Wie sollte den das Verhältnis zun Messpunkten zu prognostizierten Punkten sein? Bzw bei einer Zeitreihe das Verhältnis der Zeiträume zur Ermittlung der Regressionskoeffizienten und der Projektion.

Hat da jmd nen Literaturtipp? Scheine irgendwie zu blöd zum suchen zu sein :/


Antwort
Zitat
JollyRoger183
Joined: 03.02.2007

Die Differenz aus Messpunkten und prognostizierten Punkten nennt man ja Residuen (engl. residuals)... diese sollten normal verteilt sein.

Also die meisten mit wenig abstand und manche mit mehr.

Wenn deine Regressionsgerade durch eine linear verlaufende Punktwolke verläuft erhälst du das auch.

Wenn das Phänomen das du untersuchst aber hyperbolisch oder exponentiell ist wirst du das an den Residuen sehen, wenn du da versuchst eine Lineare regression durch zu legen.

Die Zeitabstände oder X-werte (also die independent variable) muss nicht normal verteilt sein, sollte aber den Messbereich gut abdecken. Wenn du nur im Januar und Dezember misst, wird es schwer vorhersagen über den Verlauf im Sommer treffen zu können.


Antwort
Zitat
NAGLER
Joined: 20.07.2007

Original von rchrd
müsste sich, wenn ich dich richtig verstehe um eine autoregression handeln...
https://en.wikipedia.org/wiki/Autoregressive_model

wird z.b. im finanzwesen bei zinsentwicklungen angenommen.

autoregressionen beschreiben stochastische prozesse, wenn die realisierung einer zufallsvariable abhängig von der realisierung der vorherigen ist. das ist hier vermutlich nicht der fall.

Original von radience
das leuchtet mir alles ein aber was hat das nun für den Erklärungsgehalt des Modells R² zur Folge. Eigentlich erhöht sich R² ja automatisch wenn man weitere erklärende Variablen hinzufügt. Kann es in diesem Fall sein das R² gleichbleibt?

wenn du Yhat wieder als regressionsvariable verwendest, würdest du den gleichen R^2 alleine dadurch bekommen, wenn du Y = 0*(andere faktoren)+1*Yhat wählst. durch die möglichkeiten, die anderen faktoren nun erneut (wenn auch total im widerspruch zum vorherigen schritt) an die daten anzupassen, erreichst du also einen mindestens ebenso hohen R^2 wie im ersten schritt.
wie weit man mit dem prozedere kommt, weiß ich nicht. verwertbare informationen gewinnt man dadurch aber nicht.


Antwort
Zitat