Ressourcen für empirische Methoden

Multiple Regression


entscheidbaum


1. Einführung
2. Vorgehensweise
3. Multiple Regression mit SPSS
4. SPSS-Befehle
5. Literatur

1. Einführung

Die multiple Regressionsanalyse ist ein multivariates, strukturprüfendes Analyseverfahren und kommt insbesondere in der empirischen Sozialforschung sowie in der Marktforschung häufig zum Einsatz. Im Gegensatz zur einfachen, linearen Regressionsanalyse (LINK) kann bei der multiplen Regression in einem Modell mehr als nur eine unabhängige Variable berücksichtigt werden. Mittels multipler Regressionsanalyse können unter anderem Wirkungszusammenhänge dargestellt und quantifiziert (Ursachenanalyse), sowie die Ausprägung der abhängigen Variable vorhergesagt werden (Prognostik).

Bei der multiplen Regression können beispielsweise folgende Fragestellungen untersucht werden:

Inwieweit wird eine abhängige Variable von mehreren unabhängigen Variablen gemeinsam vorhergesagt?
Welchen zusätzlichen Vorhersagewert hat eine bestimmte unabhängige Variable, wenn der Einfluss von weiteren unabhängigen Variablen auf eine abhängige Variable bereits berücksichtigt worden ist?
Weisen unabhängige Variablen Interaktionseffekte auf, bzw. haben sie einen gemeinsamen Einfluss auf eine abhängige Variable, der über die jeweiligen separaten Einflüsse hinausgeht?

2. Vorgehensweise

Der Ablauf einer Regressionsanalyse kann in fünf Schritten zusammengefasst werden. Diese werden im Folgenden beschrieben.

2.1 Formulierung des Regressionsmodells

Bei der Formulierung des Regressionsmodells spielen fachliche und theoretische Überlegungen eine wichtige Rolle; dabei werden Annahmen über Ursache-Wirkungs-Beziehungen gemacht. Vor der Durchführung einer Regressionsanalyse muss dementsprechend die Entscheidung getroffen werden, welcher/welche Faktor/en als abhängige und welche als unabhängige Variable(n) ins Modell einfliessen. Für die Berechnung einer multiplen Regression soll die abhängige Variable mindestens intervallskaliert sein.

In der empirischen Sozialforschung sowie in der Marktforschung kommt eine monokausale Beziehung selten vor. In der Regel wird eine bestimmte abhängige Variable von zahlreichen unabhängigen Variablen beeinflusst (Abbildung 1). Deswegen handelt es sich bei der multiplen Regression um ein äusserst wichtiges statistisches Verfahren.

Abbildung 1: Abhängige Variable wird von mehreren Faktoren beeinflusst

Abbildung 1: Abhängige Variable wird von mehreren Faktoren beeinflusst

Folgende Fragestellung dient als Beispiel zur Berechnung einer multiplen Regression:

Welche Faktoren beeinflussen die durchschnittliche Lebenserwartung in verschiedenen Ländern?

Das entsprechende Modell könnte so aussehen:

Abbildung 2: Beispielmodell

Abbildung 2: Beispielmodell

2.2 Schätzung der Regressionsfunktion

In diesem Abschnitt wird aufgrund von empirischen Daten eine bestimmte Regressionsfunktion geschätzt. Die Tabelle 1 zeigt die sechs erwähnten Variablen aus dem Jahr 2008 von 70 Ländern. Die Daten stammen von der Weltbank.

Tabelle 1: Weltbankdaten aus dem Jahr 2008

Tabelle 1: Weltbankdaten aus dem Jahr 2008

Im vorliegenden Fall lassen sich die Daten nicht als Diagramm darstellen, da es mehr als eine unabhängige Variable gibt.
Die Gleichung der Regressionsgeraden mit mehreren Variablen wird im Allgemeinen wie folgt dargestellt:

Abbildung 3: Regressionsgerade

Abbildung 3: Regressionsgerade

wobei
y = Schätzung der abhängigen Variable
0 = y-Achsenabschnitt
k = Steigung der Geraden für Variable k
xk= unabhängige Variable k
u= Fehlerterm

Beim Beispiel gehen folgende nicht standardisierte Koeffizienten in die Regressionsgleichung ein (siehe Kapitel 3: „Multiple Regression mit SPSS“):

y = 78,57049 + 0.00067×1 -1,18351×2 + 0,00003×3 – 0.16343×4- 0.74931×5

wobei
y= Life expectancy at birth, total (years)
x1 = Health expenditure per capita (current US$)
x2 = Prevalence of HIV, total (% of population ages 15-49)
x3 = Electric power consumption (kWh per capita)
x4 = Employees, agriculture, male (% of male employment)
x5 = Fertility rate, total (births per woman)

Die Regressionsgleichung mit standardisierten Koeffizienten kann folgendermassen dargestellt werden:

y = 0.258×1 – 0.538×2 + 0.038×3 – 0.407×4 – 0.073×5

Wie die Gleichungen zeigen, weist der Koeffizient der unabhängigen Variable UV1 („Health expenditure per capita“) ein positives Vorzeichen auf. Mit anderen Worten ist in denjenigen Ländern, die pro Person mehr Geld für das Gesundheitswesen ausgeben, die durchschnittliche Lebenserwartung tendenziell grösser, als in Ländern, die weniger dafür zahlen. Erfährt UV1 („Health expenditure per capita“) eine Erhöhung um eine Einheit, erhöht sich die abhängige Variable („Life expectancy at birth“) um 0.258 Einheiten, wenn alle andere unabhängige Variablen konstant bleiben (Ceteris-paribus-Bedingung). Der Koeffizient der zweiten unabhängigen Variable UV2 („Prevalence of HIV“) weist ein negatives Vorzeichen auf. Je grösser die Prävalenz von HIV-Erkrankten in den verschiedenen Ländern, desto kleiner die durchschnittliche Lebenserwartung. Der Koeffizient der dritten unabhängigen Variable UV3 („Electric power consumption“) weist ein positives Vorzeichen auf. Die Vorzeichen der Koeffizienten der vierten UV4 („Employees in agriculture“) und der fünften unabhängigen Variablen UV5 („Fertility rate“) sind beide negativ. Die Betrachtung der Grösse der standardisierte Koeffizienten zeigt, dass der Einfluss von UV3 („Electric power consumption“) und UV5 („Fertility rate“) auf die abhängige Variable wesentlich kleiner ist als der Einfluss der anderen Variablen. Erst durch die Standardisierung können die Koeffizienten innerhalb der Gleichung verglichen werden. Wird ausschliesslich die obere Regressionsgleichung betrachtet, könnte fälschlicherweise der Schluss gezogen werden, dass UV5 einen grösseren Einfluss als UV4 und insbesondere als UV1 hat. Anhand der Betrachtung der standardisierten Gleichung lässt sich jedoch erkennen, dass der Einfluss von UV5 auf die unabhängige Variable minimal ist.

Die Koeffizienten aus verschiedenen Gleichungen können nur dann verglichen werden, wenn das identische Modell an unterschiedlichen Stichproben überprüft wurde und die Variablen auf dieselbe Art und Weise erfasst wurden.

2.3 Prüfung der Regressionsfunktion

In diesem Abschnitt wird die Güte der Schätzung einer bestimmten Regressionsfunktion geprüft: Es wird untersucht, wie gut das Modell tatsächlich ist. Hierfür werden das Bestimmtheitsmass R2 und die F-Statistik berechnet.

2.3.1 Das Bestimmtheitsmass R2

Das Bestimmtheitsmass R2 stellt das erste Gütemass dar. Es gibt das Verhältnis zwischen der erklärten und der Gesamtvarianz an und lässt erkennen, wie gut die Regressionsgerade zu den empirischen Daten passt.

Dabei wird die Güte des Modells nicht mittels R2-Wert bewertet, sondern mittels des von SPSS angegebenen korrigierten R2-Werts, der die Anzahl Prädiktoren mitberücksichtigt. Steigt die Anzahl der Prädiktoren, wird R2 künstlich erhöht, da dieser auch durch die Aufnahme von unbedeutenden Regressoren steigt und dadurch nie kleiner wird.

Der R2-Wert liegt immer zwischen 0 und 1. Bei perfektem linearem Zusammenhang wird R2 gleich 1 und die gesamte Varianz wird durch das Modell aufgeklärt. Je kleiner der Wert wird, desto weniger Varianz wird durch die Gleichung aufgeklärt.

Der korrigierte R2-Wert liegt im Beispiel bei 0.772 ((siehe Kapitel 3: „Multiple Regression mit SPSS“). Dies bedeutet, dass das Modell 77.2% der Varianz erklären kann.

Nach Cohen (1992) kann die Stärke des Effekts folgendermassen eingeordnet werden:

Tabelle 2: Effektstärken nach Cohen (1992)

Tabelle 2: Effektstärken nach Cohen (1992)

Wobei die Beziehung zwischen f2 und R² wird durch Folgende Formel beschrieben:

Abbildung 4: Formel zu R2

Abbildung 4: Formel zu R2

Die R2-Werte können nach Cohen (1992) folgendermassen eingeordnet werden:

Tabelle 3: Effektstärken in R2 nach Cohen (1992)

Tabelle 3: Effektstärken in R2 nach Cohen (1992)

Bei einem R2-Wert von 0.772 kann von einem grossen Effekt ausgegangen werden.

2.3.1 F-Statistik

Die F-Statistik gibt an, ob das Bestimmtheitsmass R2 durch Zufall entstanden ist. Dabei wird auch der Umfang der Stichprobe Rechnung getragen. Es handelt sich um eine Varianzanalyse, die das Verhältnis von erklärter Varianz (Regression) zur nicht erklärter Varianz (Residuen) berechnet.

Für das Beispiel gibt SPSS eine F-Statistik von 47,601 und eine Signifikanz (p-Wert) von .000 an (siehe Kapitel 3: „Multiple Regression mit SPSS“). Dieser Wert ist kleiner als .050 und deshalb signifikant. Es kann davon ausgegangen werden, dass der Zusammenhang der Variablen nicht durch Zufall entstanden ist.

2.4 Prüfung der Regressionskoeffizienten

In diesem Abschnitt wird der Beitrag der unabhängigen Variablen zum Gesamtmodell geprüft.

Tabelle 4 zeigt eine Übersicht über die Variablen, die dazu gehörigen Regressionskoeffizienten und Signifikanzniveaus. Die Koeffizienten sind wichtig, um den Einfluss der einzelnen Variablen einzuschätzen. Es kann vorkommen, dass nach der Überprüfung der Koeffizienten es angebracht ist, bestimmte unabhängige Variablen aus dem Modell zu entfernen („stepwise regression“):

Tabelle 4: Regressionskoeffizienten der Beispieldaten (UV: Life expectancy at birth)

Tabelle 4: Regressionskoeffizienten der Beispieldaten (UV: Life expectancy at birth)

Ist der ausgegebenen p-Wert kleiner als .050, kann von einem signifikanten Regressionskoeffizienten ausgegangen werden. Im vorliegenden Beispiel trifft dies für die dritte unabhängige Variable UV3 („Electric power consumption“) und die fünfte unabhängige Variable UV5 („Fertility rate“) nicht zu. Es ist angebracht, diese Variablen aus dem Modell zu entfernen. Anhand von diesem Beispiel kann gezeigt werden, dass das Modell insgesamt zwar signifikant sein kann, dass es aber trotzdem wichtig ist, die einzelnen Regressionskoeffizienten separat zu betrachten.

Bei der Entfernung von bestimmten Variablen aus dem Modell führt dies zu einer Veränderung der Regressionskoeffizienten der anderen Variablen.

2.5 Prüfung der Modellvoraussetzungen / Residuenanalyse

In diesem Abschnitt wird geprüft, ob die Residuen keine Autokorrelation aufweisen und keine Multikollinearität besteht. Sind die Validitätskriterien des Modells erfüllt, so kann die inhaltliche Interpretation folgen. Ist dies nicht der Fall, muss das Modell verworfen werden.

2.5.1 Heteroskedastizität

Für die Durchführung einer Regressionsanalyse wird zudem vorausgesetzt, dass die Residuen der gemessenen Daten die gleiche Varianz aufweisen. Dies wird Homoskedastizität genannt und kann durch Betrachten der Residuen überprüft werden. Folgendes Diagramm kann in SPSS mit den Beispieldaten erstellt werden:

Abbildung 5: Prüfung auf Homoskedastizität

Abbildung 5: Prüfung auf Homoskedastizität

Auf der x-Achse ist die Regression der standardisierten, geschätzen Werte der abhängigen Variable aufgetragen, auf der y-Achse die standardisierten Residuen. Heteroskedastizität liegt dann vor, wenn durch die Betrachtung des Diagramms ein Zusammenhang beider Variablen, bzw. ein bestimmtes Muster erkennbar wird. Da dies im Beispiel nicht der Fall ist, kann von Homoskedastizität ausgegangen werden.

2.5.2 Autokorrelation

Für die Durchführung einer Regressionsanalyse wird ausserdem vorausgesetzt, dass keine Korrelation der Residuen vorliegt. In SPSS kann mittels Durbin-Watson-Test das Vorhandensein einer Autokorrelation überprüft werden.

Der Durbin-Watson-Wert kann Ausprägungen zwischen 0 und 4 annehmen. Dabei gilt Folgendes: Ein Wert von 0 deutet auf eine vollständig positive Autokorrelation, ein Wert von 2 auf keine Autokorrelation und einen Wert von 4 auf eine vollständige negative Autokorrelation hin.

Für die Beispieldaten gibt SPSS einen Durbin-Watson-Wert von 2.011 aus (siehe Kapitel 3: „Multiple Regression mit SPSS“). Es kann demnach davon ausgegangen werden, dass keine Autokorrelation vorliegt.

2.5.3 Multikollinearität

Bei einer multiplen Regression wird zudem vorausgesetzt, dass keine Multikollinearität vorliegt, bzw. sich die unabhängigen Variablen nicht als lineare Funktion einer anderen unabhängigen Variable darstellen lassen. Ein bestimmtes Mass an Multikollinearität liegt bei erhobenen Daten meistens vor, es soll allerdings darauf geachtet werden, dass sie nicht zu gross ist.

Eine sehr grosse Multikollinearität kann dazu führen, dass das die Regression signifikant wird, jedoch keiner der Regressionskoeffizienten einzeln betrachtet dieses Resultat erreicht. Zusätzlich können sich in diesem Fall Regressionskoeffizienten der unabhängigen Variablen stark verändern, wenn weitere zum Modell hinzugefügt oder entfernt werden.

Die Korrelationsmatrix aller unabhängigen Variablen kann ein erster Hinweis auf das Vorhandensein von Multikollinearität liefern. Da in dieser Matrix allerdings nur paarweise Korrelationen dargestellt sind, kann auf diese Weise Multikollinearität nicht ausgeschlossen werden.

Mittels SPSS können zwei Statistiken berechnet werden, mit denen die Variablen auf Multikollinearität überprüft werden können: Der Toleranzwert und der Varianzinflationsfaktor. Der Toleranzwert dient der Einschätzung, ob lineare Abhängigkeiten mit anderen Prädiktoren bestehen und wird folgendermassen berechnet:

Abbildung 6: Toleranzwert

Abbildung 6: Toleranzwert

wobei
= Bestimmtheitsmass der Regression der unabhängigen Variablen Xj auf die unabhängigen Variablen der Regressionsfunktion

Der Varianzinflationsfaktor stellt den Kehrwert des Toleranzwertes dar:

Abbildung 7: Varianzinflationsfaktor

Abbildung 7: Varianzinflationsfaktor

In der Literatur wird folgende Faustregel beschrieben: Der Toleranzwert soll nicht kleiner als 0.250 und der Varianzinflationsfaktor nicht grösser als 5.000 sein. Sind die Werte kleiner, bzw. grösser liegt nach diesen Autoren keine Multikollinearität vor. SPSS berücksichtigt bei der Durchführung der Regressionsanalyse die Multikollinearität nicht. Liegt Multikollinearität vor, ist es angebracht, die Regressionsanalyse erneut zu berechnen und dabei nur die erwünschten Variablen zu berücksichtigen.

Für das vorliegende Beispiel liegen die Toleranzwerte zwischen 0.434 und 0.857 und die Varianzinflationsfaktorwerte zwischen 1.1167 und 2.306 (siehe Kapitel 3: „Multiple Regression mit SPSS“). Es kann demnach davon ausgegangen werden, dass keine Multikollinearität vorliegt.

2.6 Auswahl des Regressionsmodells

Anhand dieses Beispiels zeigt sich, dass es mit den vorhandenen Variablen nicht nur eine Möglichkeit gibt, die Regressionsgleichung zu berechnen.

Beispielsweise könnte man eine bestimmte Variable aus der Gleichung ausschliessen und nur mit 3 oder 2 unabhängigen Variablen weiterrechnen. Logischerweise gibt es bei der Berücksichtigung von mehr Variablen auch mehr mögliche Modelle.

Bei der Standardeinstellung in SPSS werden alle unabhängigen Variablen in die Regressionsgleichung einbezogen (siehe das Dialogfenster „Lineare Regression“ unter „Methode: Einschluss“). Es können natürlich mit SPSS alle möglichen Gleichungen berechnet und die dazugehörige Modelle verglichen werden, was jedoch bei wachsender Anzahl Variablen mit viel Aufwand verbunden sein kann. SPSS bietet verschiedene Möglichkeiten zum einfacheren Vergleich mehrerer Modelle, beispielsweise die Methode der schrittweisen Regressionsanalyse (siehe im SPSS-Dialogfenster „Lineare Regression“ unter „Methode: Schrittweise“), bei der die Variablen nacheinander in das Modell aufgenommen werden.

Dabei wird zunächst die unabhängige Variable mit der höchsten bivariaten Korrelation mit der abhängigen Variable ins Modell aufgenommen, dann die Variable mit der zweithöchsten Korrelation, und so weiter, bis keine Variable mehr signifikante Korrelationen aufweist.

Es kann durchaus sein, dass SPSS ein bestimmtes Modell als optimale Lösung vorschlägt, welches sich jedoch theoretisch, bzw. inhaltlich nicht gut begründen lässt, da es sich um eine mathematische Analyse handelt. In solchen Fällen ist es empfehlenswert, ein „mathematisch“ nicht-optimales Modell zu bevorzugen, auch wenn dadurch nicht gleich viel Varianz aufgeklärt wird.

Mit SPSS kann man auch Blöcke von unabhängigen Variablen nacheinander in die Regressionsgleichung aufnehmen. So könnte im Beispiel zunächst UV1 („Health expenditure per capita“) und UV2 („Prevalence of HIV“) als Block 1 und dann UV3 („Electric power consumption“), UV4 („Employees in agriculture“) und UV5 („Fertility rate“) als Block 2 aufgenommen werden. Jede einzelne Variable kann aber auch als eigener Block aufgenommen werden. SPSS gibt zunächst die Regressionsgleichung und die zugehörigen Werte für Block 1 aus, danach für alle Variablen aus Block 1 und 2 zusammen, dann für Block 1, 2 und 3 usw. Auf diese Weise kann überprüft werden, wie sich die Regressionsgleichung bzw. -werte verändern, wenn eine oder mehr Variablen zum Modell hinzufügt werden. Wird „Änderung in R-Quadrat“ (unter „Statistiken“) ausgewählt, so gibt SPSS den Zuwachs in R-Quadrat an, welchen die zusätzliche Variable und/oder der zusätzliche Block an Variablen dem Modell liefern.

Ausserdem wird angegeben, ob es sich um einen signifikanten Zuwachs handelt. Die Reihenfolge, in der die Variablen bzw. Blöcke hinzugefügt werden, kann manuell festgelegt werden. Es ist angebracht, zunächst die theoretisch am besten begründbaren Variablen in die Blöcke einzutragen.

Innerhalb der Blöcke kann wiederum die Methode frei gewählt werden. So ist es beispielsweise möglich, bei 6 unabhängigen Variablen, zunächst 3 Variablen zusammen mit der Methode „Einschluss“, danach 3 Variablen mit der Methode „Schrittweise“ von SPSS in die Gleichung aufnehmen. So können auf verschiedene Arten, Modelle verglichen werden. Auch hier soll aber nicht ohne Plan vorgegangen werden, vielmehr sollten nur theoretisch und inhaltlich gut begründbare Modelle ausgewählt werden.

3. Multiple Regression mit SPSS

SPSS rechnet auch dann eine Regressionsgleichung, wenn die Voraussetzungen für die Regressionsanalyse nicht erfüllt sind. Bevor der inhaltlicher Interpretation einer Regressionsanalyse ist unbedingt darauf zu achten, dass alle Voraussetzungen korrekt erfüllt sind.

3.1 Modell mit fünf unabhängigen Variablen

Die folgenden Abbildungen stammen aus dem SPSS-Output des erwähnten Beispiels.

Abbildung 8: Bestimmtheitsmass und Durbin-Watson-Statistik

Abbildung 8: Bestimmtheitsmass und Durbin-Watson-Statistik

In der rot markierten Spalte von Abbildung 8 ist das korrigierte R2 und in der blau markierten Spalte die Durbin-Watson-Statistik zu sehen. Der korrigierte R2-Wert des Modells beträgt 0.772. 77.2% der Varianz der abhängigen Variable („Life expectancy at birth“) wird durch dieses Modell erklärt.

Abbildung 9: F-Statistik mit p-Wert

Abbildung 9: F-Statistik mit p-Wert

In Abbildung 9 ist der F-Wert und das dazugehörige Signifikanzniveau zu sehen. Der F-Test zeigt, dass das Modell als Ganzes statistisch signifikant ist.

Abbildung 10: Regressionskoeffizienten, p-Werte, Toleranzwerte und Varianzinflationsfaktorwerte

Abbildung 10: Regressionskoeffizienten, p-Werte, Toleranzwerte und Varianzinflationsfaktorwerte

In Abbildung 10 sind die Regressionskoeffizienten der Regressionsgeraden und der standardisierten Regressionsgleichung abgebildet.

Der mit „Konstante“ bezeichnete Wert in der roten Spalte stellt den Y-Achsenabschnitt. Zudem sind in der roten Spalte die Steigungen der einzelnen Variablen abgebildet. In der blau markierten Spalte stehen die standardisierten Regressionskoeffizienten. Die standardisierte Gerade hat keinen Y-Achsenabschnitt und deshalb auch keinen Wert unter „Konstante“. In der grünen Spalte sind die p-Werte der Regressionskoeffizienten abgebildet. In den gelb markierten Spalten lassen sich die Toleranz- und die Varianzinflationsfaktorwerte zur Überprüfung auf Multikollinearität ablesen.

3.1 Modell mit drei unabhängigen Variablen

Die folgenden Abbildungen stammen aus dem SPSS-Output für das Modell mit nur drei Variablen. Die unabhängigen Variablen UV3 („Electric power consumption“) und UV5 („Fertility rate“) wurden wegen des nicht-signifikanten Regressionskoeffizienten aus dem Modell entfernt.

Abbildung 11: Bestimmtheitsmass und Durbin-Watson-Statistik (Beispiel mit 3 unabhängige Variablen)

Abbildung 11: Bestimmtheitsmass und Durbin-Watson-Statistik (Beispiel mit 3 unabhängige Variablen)

In Abbildung 11 ist zu sehen, dass der korrigierte R2-Wert des Modells 0.774 beträgt. 77.4% der Varianz der abhängigen Variable („Life expectancy at birth“) wird durch dieses Modell erklärt.

Abbildung 12: F-Statistik mit p-Wert (Beispiel mit 3 unabhängige Variablen)

Abbildung 12: F-Statistik mit p-Wert (Beispiel mit 3 unabhängige Variablen)

Der F-Test in Abbildung 12 zeigt, dass das Modell mit drei unabhängigen Variablen als Ganzes statistisch signifikant ist.

Abbildung 13: Regressionskoeffizienten, p-Werte, Toleranzwerte und Varianzinflationsfaktorwerte (Beispiel mit 3 unabhängige Variablen)

Abbildung 13: Regressionskoeffizienten, p-Werte, Toleranzwerte und Varianzinflationsfaktorwerte (Beispiel mit 3 unabhängige Variablen)

In Abbildung 13 ist zu sehen, dass im Modell mit drei unabhängigen Variablen alle Regressionskoeffizienten signifikant sind.

4. SPSS-Befehle

SPSS-Datensatz: Verwendeter Beispieldatensatz zum Multiple-Regression.sav

Klicksequenz: Analysieren  > Regression > Linear > abhängige und unabhängige Variablen definieren

Syntax: REGRESSION

Multikollinearität: Im Regressionsfenster „Statistik“ > „Kollinearitätsdiagnose” auswählen

Autokorrelation: Im Regressionsfenster „Statistik“ > „Durbin-Watson“ auswählen

Diagramm Heteroskedastizität: Im Regressionsfenster „Diagramme“ auswählen > *ZRESID auf die y-Achse, *ZPRED auf die x-Achse

5. Literatur

Cohen, J. (1992). A power primer. Psychological Bulletin, 112, 155-159.
Field, A. (2009). Discovering statistics using SPSS. London: Sage Publications, Inc.
Tabachnick, G.G. & Fidell, L.S. (2007). Using Multivariate Statistics. Boston: Pearson Educational

top