Satz von Gauß-Markow

In der Stochastik ist der Satz von Gauß-Markow (auch Gauß-Markow-Theorem, Gauß-Markov-Theorem oder Gauß-Markoff-Theorem genannt) ein mathematischer Satz über die Klasse der linearen erwartungstreuen Schätzfunktionen. Er stellt eine theoretische Rechtfertigung der Methode der kleinsten Quadrate dar und ist nach den Mathematikern Carl Friedrich Gauß und Andrei Andrejewitsch Markow benannt. Allerdings hat Markow den –anfänglich wenig beachteten– Teil der Arbeit von Gauß lediglich wiederentdeckt. Da Markows eigener Beitrag minimal war, scheint es naheliegender, dass der Satz einfach Satz von Gauß heißen sollte. Diese Bezeichnung hat sich allerdings nicht durchgesetzt. Der Satz besagt, dass in einem linearen Regressionsmodell, in dem die Störgrößen einen Erwartungswert von Null und eine konstante Varianz haben sowie unkorreliert sind (Annahmen des klassischen linearen Regressionsmodells), der Kleinste-Quadrate-Schätzer – vorausgesetzt er existiert – ein minimalvarianter linearer erwartungstreuer Schätzer bzw. Beste Lineare Erwartungstreue Schätzfunktion, kurz BLES (englisch Best Linear Unbiased Estimator, kurz BLUE) ist. Minimalvariant bzw. „beste“ bedeutet in diesem Fall, dass er –innerhalb der Klasse der linearen erwartungstreuen Schätzer– die „kleinste“ Kovarianzmatrix aufweist. Die Störgrößen müssen nicht notwendigerweise normalverteilt sein. Sie müssen im Fall der verallgemeinerten Kleinste-Quadrate-Schätzung auch nicht unabhängig und identisch verteilt sein.

Formulierung des Satzes

In Worten lautet dieser Satz: Der Kleinste-Quadrate-Schätzer ist beste lineare erwartungstreue Schätzfunktion, wenn die zufälligen Störgrößen (die folgenden Formeln beziehen sich auf die einfache lineare Regression):

• unkorreliert sind:

$\operatorname {Cov} (\varepsilon _{i},\varepsilon _{j})=\operatorname {E} [(\varepsilon _{i}-\operatorname {E} (\varepsilon _{i}))((\varepsilon _{j}-\operatorname {E} (\varepsilon _{j}))]=\operatorname {E} (\varepsilon _{i}\varepsilon _{j})=0\quad \forall i\neq j,\;i=1,\dotsc ,n,\;j=1,\dotsc ,n$.

unabhängige Zufallsvariablen sind immer auch unkorreliert. Man spricht in diesem Zusammenhang auch von Abwesenheit von Autokorrelation.

• im Mittel Null sind: $\operatorname {E} (\varepsilon _{i})=0\quad i=1,\ldots ,n$: Dies kann so interpretiert werden, dass angenommen wird dass das betrachtete Modell im Mittel dem wahren Modell entspricht.
• eine endliche konstante Varianz haben (Homoskedastizität):$\forall i:\operatorname {Var} (\varepsilon _{i})=\operatorname {Var} (Y_{i})=\sigma ^{2}=\mathrm {konst.} <\infty$

wenn die Varianz der Residuen (und somit die Varianz der erklärten Variablen selbst) für alle Ausprägungen der Regressoren gleich ist, liegt Homoskedastizität bzw. Varianzhomogenität vor.

Alle oben genannten Annahmen über die Störgrößen lassen sich so zusammenfassen:

$\forall i:\varepsilon _{i}\;{\sim }\;(0,\sigma ^{2})$,

das heißt alle Störgrößen folgen der Verteilung $\varepsilon _{i}\;{\sim }\;(0,\sigma ^{2})$ mit Erwartungswert $\operatorname {E} (\varepsilon _{i})=0$ und der Varianz $\operatorname {Var} (\varepsilon _{i})=\sigma ^{2}$. Hierbei ist die Verteilung anfangs nicht näher spezifiziert.

Diese Annahmen werden auch als Gauß-Markow-Annahmen bezeichnet. In der Ökonometrie wird der Satz von Gauß-Markow oft abweichend dargestellt und es werden weitere Annahmen getroffen.

Allgemeine Formulierung des Satzes von Gauß-Markow (regulärer Fall)

Als Ausgangslage betrachten wir ein typisches multiples lineares Regressionsmodell mit gegebenen Daten $\{y_{i},x_{ij}\}_{i=1,\dots ,n;j=1,\dots ,k}$ für $n$ statistische Einheiten und $k$ Regressoren. Der Zusammenhang zwischen der abhängigen Variablen und den unabhängigen Variablen kann wie folgt dargestellt werden

$y_{i}=\beta _{0}+x_{i1}\beta _{1}+x_{i2}\beta _{2}+\ldots +x_{ik}\beta _{k}+\varepsilon _{i}=\mathbf {x} _{i}^{\top }{\boldsymbol {\beta }}+\varepsilon _{i},\quad i=1,2,\dotsc ,n$.

In Matrixnotation auch

${\begin{pmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{pmatrix}}_{(n\times 1)}\quad =\quad {\begin{pmatrix}1&x_{11}&x_{12}&\cdots &x_{1k}\\1&x_{21}&x_{22}&\cdots &x_{2k}\\\vdots &\vdots &\vdots &\ddots &\vdots \\1&x_{n1}&x_{n2}&\cdots &x_{nk}\end{pmatrix}}_{(n\times p)}\quad \cdot \quad {\begin{pmatrix}\beta _{0}\\\beta _{1}\\\vdots \\\beta _{k}\end{pmatrix}}_{(p\times 1)}\quad +\quad {\begin{pmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\vdots \\\varepsilon _{n}\end{pmatrix}}_{(n\times 1)}$

mit $p=k+1$. In kompakter Schreibweise

$\mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}$.

Hier stellt ${\boldsymbol {\beta }}$ einen Vektor von unbekannten Parametern dar (bekannt als Regressionskoeffizienten), die mithilfe der Daten geschätzt werden müssen. Des Weiteren wird angenommen, dass die Störgrößen im Mittel Null sind: $\operatorname {E} [{\boldsymbol {\boldsymbol {\varepsilon }}}]=\mathbf {0}$, was bedeutet, dass wir davon ausgehen können, dass unser Modell im Mittel korrekt ist. Hierbei nimmt man von der Datenmatrix $\mathbf {X} \in \mathbb {R} ^{n\times p}$ an, dass sie vollen (Spalten-)Rang hat, das heißt, es gilt ${\mbox{Rang}}({\boldsymbol {X}})=p\;$ bzw. $\Pr \!{\big [}\,\operatorname {Rang} (\mathbf {X} )=p\,{\big ]}=1$. Insbesondere ist dann $\mathbf {X} ^{\top }\mathbf {X}$ eine reguläre, also invertierbare Matrix. Deshalb spricht man hier vom regulären Fall (s. Überschrift). Ferner erwartet man für die Kovarianzmatrix der Störgrößen, dass ${\mbox{Cov}}({\boldsymbol {\varepsilon }})=\mathbb {E} \left({\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\top }\right)=\sigma ^{2}\mathbf {I} _{n}$ gilt. Die Gauß-Markow-Annahmen lassen sich im multiplen Fall also zusammenfassen als

${\boldsymbol {\varepsilon }}\;\sim \;(\mathbf {0} ,\sigma ^{2}\mathbf {I} _{n})$

wobei der Erwartungswert der Störgrößen der Nullvektor $\mathbf {0}$ und die Kovarianzmatrix den Erwartungswert des dyadischen Produkts der Störgrößen

$\mathbf {\Sigma } =\operatorname {E} ({\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\top })={\begin{pmatrix}\sigma ^{2}&0&\cdots &0\\0&\sigma ^{2}&\ddots &\vdots \\\vdots &\ddots &\ddots &0\\0&\cdots &0&\sigma ^{2}\end{pmatrix}}_{(n\times n)}=\sigma ^{2}\mathbf {I} _{n}$ darstellt.

Diese Annahme ist die Homoskedastizitätsannahme im multiplen Fall. Durch obige Spezifikation des linearen Modells erhält man damit für den Zufallsvektor $\mathbf {y}$

$\mathbf {y} \;\sim \;(\mathbf {X} {\boldsymbol {\beta }},\sigma ^{2}\mathbf {I} _{n})$.

Durch diese Annahmen erhält man:

1. Dass der Kleinste-Quadrate-Schätzer für den wahren Parametervektor ${\boldsymbol {\beta }}$, der $\mathbf {b} =\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y}$ lautet, ein minimalvarianter linearer erwartungstreuer Schätzer ist.
2. Dass die Kovarianzmatrix des Kleinste-Quadrate-Schätzers ${\mbox{Cov}}(\mathbf {b} )=\sigma ^{2}(\mathbf {X} ^{\top }\mathbf {X} )^{-1}$ ist.
3. Dass die geschätzte Varianz der Störgrößen ${\hat {\sigma }}^{2}={\frac {{\boldsymbol {\hat {\varepsilon }}}^{\top }{\hat {\boldsymbol {\varepsilon }}}}{T-K}}$ ein erwartungstreuer Schätzer für die unbekannte Varianz der Störgrößen $\sigma ^{2}$ ist.

Minimalvarianter linearer erwartungstreuer Schätzer

Minimalvarianter

Der minimalvariante, bzw. „der Beste“ Schätzer zeichnet sich dadurch aus, dass er die „kleinste“ Kovarianzmatrix (bzgl. der Loewner-Halbordnung) aufweist (ist somit minimalvariant). Ein Schätzer der diese Eigenschaft aufweist wird deshalb auch minimalvarianter oder effizienter Schätzer genannt. Bei zusätzlicher Annahme von Erwartungstreue spricht man auch vom minimalvarianten erwartungstreuen Schätzer.

Jeder Schätzer aus der Klasse der linearen erwartungstreuen Schätzer lässt sich darstellen als

${\overline {\boldsymbol {\beta }}}=\mathbf {A} \mathbf {y} \;$ (Linearität)

mit der $(p\times n)$-Matrix $\mathbf {A} \neq \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }$. Ein Beispiel für ein Schätzer diese Klasse ist der Kleinste-Quadrate-Schätzer $\mathbf {b}$.

Die Eigenschaft der Erwartungstreue besagt, dass

$\operatorname {E} ({\overline {\boldsymbol {\beta }}})={\boldsymbol {\beta }}$.

Unter den oben genannten Voraussetzungen gilt dann, für alle $(p\times 1)$ Vektoren $\mathbf {R} _{1}$, die Ungleichung:

$\operatorname {Var} (\mathbf {R} _{1}^{\top }\mathbf {b} )\;\leq \;\operatorname {Var} (\mathbf {R} _{1}^{\top }{\overline {\boldsymbol {\beta }}})$ (Effizienzeigenschaft),

wobei $\mathbf {b}$ der Kleinste-Quadrate-Schätzer ist, also der Schätzer der mittels der Kleinste-Quadrate-Schätzung ermittelt wurde. Diese Effizienzeigenschaft kann auch umgeschrieben werden in

$\mathbf {R} _{1}^{\top }\operatorname {Cov} [\mathbf {b} ]\mathbf {R} _{1}\;\leq \;\mathbf {R} _{1}^{\top }\operatorname {Cov} [{\overline {\boldsymbol {\beta }}}]\mathbf {R} _{1}$

oder

$\mathbf {R} _{1}^{\top }\left(\operatorname {Cov} [{\overline {\boldsymbol {\beta }}}]-\operatorname {Cov} [\mathbf {b} ]\right)\mathbf {R} _{1}\;\geq \;0$.

Diese Eigenschaft wird positiv semidefinit genannt (siehe auch Kovarianzmatrix als Effizienzkriterium). Wenn also obige Ungleichung zutrifft, dann kann man sagen, dass $\mathbf {b}$ besser ist als ${\overline {\boldsymbol {\beta }}}$.

Linearität

Für den Kleinste-Quadrate-Schätzer gilt, dass er ebenfalls linear ist

$\mathbf {b} =\underbrace {(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }} _{:=\mathbf {A} }\mathbf {y} =\mathbf {A} \mathbf {y}$.

Die obige Ungleichung besagt, dass nach dem Satz von Gauß-Markow $\mathbf {b}$, BLUE (Best Linear Unbiased Estimator) bzw. ein minimalvarianter linearer erwartungstreuer Schätzer ist, das heißt in der Klasse der linearen erwartungstreuen Schätzern ist er derjenige Schätzer, der die kleinste Varianz bzw. Kovarianzmatrix besitzt. Für diese Eigenschaft der Schätzfunktion $\mathbf {b}$ braucht keine Verteilungsinformation der Störgröße vorzuliegen. Eine Steigerung der BLUE-Eigenschaft stellt die sogenannte BUE-Eigenschaft (engl. Best Unbiased Estimator) dar, bei der eine Beschränkung auf lineare Schätzer nicht gegeben ist. Oft stellt der Maximum-Likelihood-Schätzer eine Lösung dar, die BUE ist. Tatsächlich ist der Kleinste-Quadrate-Schätzer $\mathbf {b}$ bei normalverteilten Störgrößen ein Maximum-Likelihood-Schätzer und mit dem Satz von Lehmann-Scheffé kann die BUE-Eigenschaft nachgewiesen werden.

Beweis

Gegeben, dass der wahre datengenerierende Prozess durch ein lineares Modell beschrieben wird, gilt es den Kleinste-Quadrate-Schätzer mit allen anderen linearen Schätzern zu vergleichen. Um einen Vergleich anstellen zu können beschränkt man sich in der Analyse auf die Klasse der linearen und erwartungstreuen Schätzer. Jeder beliebige Schätzer dieser Klasse, neben dem Kleinste-Quadrate Schätzer $\mathbf {b}$, kann dargestellt werden als

${\overline {\boldsymbol {\beta }}}=\mathbf {A} \mathbf {y} \;$ mit $\mathbf {A} \neq \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }$.

Falls $\mathbf {A} =\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }$ erhält man den Kleinste-Quadrate-Schätzer $\mathbf {b} =(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {y}$. Die Klasse aller linearen Schätzer ist somit gegeben durch

${\overline {\boldsymbol {\beta }}}=\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} +\mathbf {A} \mathbf {y} -\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} =\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} +\underbrace {(\mathbf {A} -\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top })} _{\mathbf {C} }\mathbf {y} =\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} +\mathbf {C} \mathbf {y}$, wobei die Matrix $\mathbf {C}$ gegeben ist durch $\mathbf {C} =\mathbf {A} -\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }$

Nun gilt es Restriktionen für $\mathbf {C}$ zu finden die sicherstellen, dass ${\overline {\boldsymbol {\beta }}}$ erwartungstreu ist. Ebenfalls muss die Kovarianzmatrix von ${\overline {\boldsymbol {\beta }}}$ gefunden werden. Der Erwartungswert von ${\overline {\boldsymbol {\beta }}}$ ergibt

${\begin{aligned}\mathbb {E} ({\overline {\boldsymbol {\beta }}})&=\mathbb {E} (\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }(\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }})+\mathbf {C} (\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}))\\&=\mathbb {E} (\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {X} {\boldsymbol {\beta }}+\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }{\boldsymbol {\varepsilon }}+\mathbf {C} \mathbf {X} {\boldsymbol {\beta }}+\mathbf {C} {\boldsymbol {\varepsilon }})\\&={\boldsymbol {\beta }}+\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\underbrace {\mathbb {E} ({\boldsymbol {\varepsilon }})} _{\mathbf {0} }+\mathbf {C} \mathbf {X} {\boldsymbol {\beta }}+\mathbf {C} \underbrace {\mathbb {E} ({\boldsymbol {\varepsilon }})} _{\mathbf {0} }\\&={\boldsymbol {\beta }}+\mathbf {C} \mathbf {X} {\boldsymbol {\beta }}\end{aligned}}$

D. h. ${\overline {\boldsymbol {\beta }}}$ ist dann und nur dann erwartungstreu, wenn $\mathbf {C} \mathbf {X} =\mathbf {0}$, also gilt $\mathbb {E} ({\overline {\boldsymbol {\beta }}})={\boldsymbol {\beta }}\Longleftrightarrow \mathbf {C} \mathbf {X} =\mathbf {0} \Longleftrightarrow \mathbf {C} =\mathbf {0}$, da die Datenmatrix stets als fest und von Null verschieden angenommen wird.

Es folgt für die Kovarianzmatrix von ${\overline {\boldsymbol {\beta }}}$:

${\begin{aligned}\mathbf {\Sigma } _{\overline {\boldsymbol {\beta }}}&=\operatorname {Cov} ({\overline {\boldsymbol {\beta }}})=\mathbb {E} \left\{\left[{\overline {\boldsymbol {\beta }}}-\mathbb {E} ({\overline {\boldsymbol {\beta }}})\right]\left[{\overline {\boldsymbol {\beta }}}-\mathbb {E} ({\overline {\boldsymbol {\beta }}})\right]^{\top }\right\}\\&=\mathbb {E} \left\{\left[\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }{\boldsymbol {\varepsilon }}+\mathbf {C} {\boldsymbol {\varepsilon }}\right]\left[\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }{\boldsymbol {\varepsilon }}+\mathbf {C} {\boldsymbol {\varepsilon }}\right]^{\top }\right\}\\&=\mathbb {E} \left\{\left[\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }{\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\top }\mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}+\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }{\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\top }\mathbf {C} ^{\top }+\mathbf {C} {\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\top }\mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}+\mathbf {C} {\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\top }\mathbf {C} ^{\top }\right]\right\}\\&=\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\sigma ^{2}\mathbf {I} _{n}\mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}+\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\sigma ^{2}\mathbf {I} _{n}\mathbf {C} ^{\top }+\mathbf {C} \sigma ^{2}\mathbf {I} _{n}\mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}+\mathbf {C} {\boldsymbol {\sigma }}^{2}\mathbf {I} _{n}\mathbf {C} ^{\top }\\&=\sigma ^{2}\left[\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}+\mathbf {C} \mathbf {C} ^{\top }\right]\end{aligned}}$

Daraus folgt

$\mathbf {\Sigma } _{\overline {\boldsymbol {\beta }}}-\mathbf {\Sigma } _{\mathbf {b} }=\sigma ^{2}\mathbf {C} \mathbf {C} ^{\top }$

Diese Matrix wird immer positiv semidefinit sein, – unabhängig wie $\mathbf {C}$ definiert ist – da eine Matrix multipliziert mit ihrer eigenen transponierten immer positiv semidefinit ist.

Singulärer Fall, schätzbare Funktionen

Wir betrachten nun den sog. singulären Fall, d.h. es gilt ${\mbox{Rang}}({\boldsymbol {X}})<p\;$. Dann ist auch $\mathbf {X} ^{\top }\mathbf {X}$ nicht von vollem Rang, also nicht invertierbar. Der oben angegebene Kleinste-Quadrate-Schätzer $\mathbf {b}$ existiert nicht. Man sagt, ${\boldsymbol {\beta }}$ ist nicht schätzbar bzw. nicht identifizierbar.

Der singuläre Fall tritt dann ein, wenn $n<p$, oder wenn nur in $q<p$ verschiedenen Regressoreinstellungen beobachtet wird, oder wenn lineare Abhängigkeiten in der Datenmatrix ${\boldsymbol {X}}$ vorliegen.

Sei nun ${\mbox{Rang}}({\boldsymbol {X}})=m<p$. Dann sind bestenfalls $m$-dimensionale Linearformen ${\boldsymbol {\gamma }}={\boldsymbol {A}}{\boldsymbol {\beta }}$ schätzbar, wobei ${\boldsymbol {A}}$ eine $(m\times p)$-Matrix ist.

Schätzbarkeitskriterium

${\boldsymbol {\gamma }}={\boldsymbol {A}}{\boldsymbol {\beta }}$ mit einer $(s\times p)$-Matrix ${\boldsymbol {A}},s\leq m$ ist schätzbar genau dann, wenn es eine $(s\times n)$-Matrix ${\boldsymbol {C}}$ gibt, so dass ${\boldsymbol {C}}{\boldsymbol {X}}={\boldsymbol {A}}$ gilt, d.h. wenn jeder Zeilenvektor von ${\boldsymbol {A}}$ eine Linearkombination der Zeilenvektoren von ${\boldsymbol {X}}$ ist. Siehe z.B.

Wesentlich eleganter kann das Schätzbarkeitskriterium mit Pseudoinversen formuliert werden. Dabei heißt ${\boldsymbol {B}}^{-}$ Pseudoinverse von ${\boldsymbol {B}}$, wenn ${\boldsymbol {B}}{\boldsymbol {B}}^{-}{\boldsymbol {B}}={\boldsymbol {B}}$ gilt.

${\boldsymbol {\gamma }}={\boldsymbol {A}}{\boldsymbol {\beta }}$ mit einer $(s\times p)$-Matrix ${\boldsymbol {A}},s\leq m$ ist schätzbar genau dann, wenn ${\boldsymbol {A}}({\boldsymbol {X}}^{T}{\boldsymbol {X}})^{-}{\boldsymbol {X}}^{T}{\boldsymbol {X}}={\boldsymbol {A}}$. Dabei ist $({\boldsymbol {X}}^{T}{\boldsymbol {X}})^{-}$ eine beliebige Pseudoinverse von ${\boldsymbol {X}}^{T}{\boldsymbol {X}}$. Siehe z.B.

Beispiel

Für die quadratische Regressionsgleichung $\ y=\beta _{0}+\beta _{1}x+\beta _{2}x^{2}+\epsilon \$ wurden $\ n=4\$ Beobachtungen bei $\ x_{1}=0,\ x_{2}=0,\ x_{3}=1,\ x_{4}=1\$ durchgeführt. Damit ergibt sich

${\boldsymbol {X}}={\begin{pmatrix}1&0&0\\1&0&0\\1&1&1\\1&1&1\end{pmatrix}}\ ;\ \operatorname {Rang} ({\boldsymbol {X}})=2$.

Dann ist

${\boldsymbol {\gamma }}={\begin{pmatrix}\beta _{0}\\\beta _{1}+\beta _{2}\end{pmatrix}}={\boldsymbol {A}}{\boldsymbol {\beta }}\ ;\ {\boldsymbol {A}}={\begin{pmatrix}1&0&0\\0&1&1\end{pmatrix}}\ ;\ {\boldsymbol {\beta }}={\begin{pmatrix}\beta _{0}\\\beta _{1}\\\beta _{2}\end{pmatrix}}$

schätzbar, weil die Zeilenvektoren von ${\boldsymbol {A}}$ Linearkombinationen der Zeilenvektoren von ${\boldsymbol {X}}$ sind. Beispielsweise ist der zweite Zeilenvektor von ${\boldsymbol {A}}$ gleich der Differenz aus drittem und erstem Zeilenvektor von ${\boldsymbol {X}}$.

Hingegen ist

${\boldsymbol {\gamma }}={\begin{pmatrix}\beta _{0}+\beta _{1}\\\beta _{2}\end{pmatrix}}={\boldsymbol {A}}{\boldsymbol {\beta }}\ ;\ {\boldsymbol {A}}={\begin{pmatrix}1&1&0\\0&0&1\end{pmatrix}}$

nicht schätzbar, weil sich keiner der Zeilenvektoren von ${\boldsymbol {A}}$ als Linearkombination der der Zeilenvektoren von ${\boldsymbol {X}}$ darstellen lässt.

Satz von Gauß-Markow im singulären Fall

Sei ${\boldsymbol {\gamma }}={\boldsymbol {A}}{\boldsymbol {\beta }}$ schätzbar. Dann ist

${\boldsymbol {g}}={\boldsymbol {A}}({\boldsymbol {X}}^{T}{\boldsymbol {X}})^{-}{\boldsymbol {X}}^{T}{\boldsymbol {y}}$

bester linearer erwartungstreuer Schätzer für ${\boldsymbol {\gamma }}$, wobei $({\boldsymbol {X}}^{T}{\boldsymbol {X}})^{-}$ eine beliebige Pseudoinverse zu ${\boldsymbol {X}}^{T}{\boldsymbol {X}}$ ist.

Der Schätzer ${\boldsymbol {g}}$ kann auch ohne Pseudoinverse ausgedrückt werden:

${\boldsymbol {g}}={\boldsymbol {A}}{\boldsymbol {b}}$

Dabei ist ${\boldsymbol {b}}$ eine beliebige Lösung des Normalgleichungssystems ${\boldsymbol {X}}{\boldsymbol {X}}^{T}{\boldsymbol {b}}={\boldsymbol {X}}^{T}{\boldsymbol {y}}$.

Verallgemeinerte Kleinste-Quadrate-Schätzung

Die verallgemeinerte Kleinste-Quadrate-Schätzung (VKQ-Schätzung), die von Aitken entwickelt wurde, erweitert der Satz von Gauß-Markow auf den Fall, bei dem der Vektor der Störgrößen eine nichtskalare Kovarianzmatrix hat, d. h. es gilt $\mathbf {\Sigma } \neq \sigma ^{2}\mathbf {I} _{n}$. Der VKQ-Schätzer ist ebenfalls BLUE.

Siehe auch

• BLUP (engl. Best Linear Unbiased Prediction)
• BUE (engl. Best Unbiased Estimator)
• Gleichmäßig bester erwartungstreuer Schätzer
• Lokal minimaler Schätzer

Weblinks

• Carolus Fridericus Gauss: Theoria combinationis observationum erroribus minimis obnoxiae. In: Commentationes Societatis Regiae Scientiarum Gottingensis recentiores – Classis Physicae, Band 5 (1819–1822), Henricus Dieterich, Göttingen 1823, S. 33–90 (Göttinger Digitalisierungszentrum).
• A. A. Markoff: Wahrscheinlichkeitsrechnung. 2. Auflage, 1912 (Cornell University Library); siehe insb. Kapitel 7
• Earliest Known Uses of Some of the Words of Mathematics (G) zur Herkunft des Namens

Literatur

• George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T.C. Lee. Introduction to the Theory and Practice of Econometrics. John Wiley & Sons, New York, Chichester, Brisbane, Toronto, Singapore, ISBN 978-0471624141, second edition 1988