Kernregression

Dieser Artikel wurde auf der Qualitätssicherungsseite des Portals Mathematik eingetragen. Dies geschieht, um die Qualität der Artikel aus dem Themengebiet Mathematik auf ein akzeptables Niveau zu bringen. Bitte hilf mit, die Mängel dieses Artikels zu beseitigen, und beteilige dich bitte an der Diskussion! (Artikel eintragen)

Unter Kernel-Regression versteht man eine Reihe nichtparametrischer statistischer Methoden, bei denen die Abhängigkeit einer zufälligen Größe von Ausgangsdaten mittels Kerndichteschätzung geschätzt werden. Die Art der Abhängigkeit, dargestellt durch die Regressionskurve, wird im Gegensatz zur linearen Regression nicht als linear festgelegt. Der Vorteil ist eine bessere Anpassung an die Daten im Falle nichtlinearer Zusammenhänge. Abhängig davon, ob die Ausgangsdaten selbst zufällig sind oder nicht, unterscheidet man zwischen Random-Design- und Fixed-Design-Ansätzen. Das grundlegende Verfahren wurde 1964 unabhängig voneinander von Geoffrey Watson und Elizbar Nadaraya vorgeschlagen.

Univariate Kernel-Regression

Kerndichteschätzer

Dotplot, Histogramm und Kerndichteschätzer der Variablen LSTAT des Boston Housing Datensatzes.

Ein Kerndichteschätzer ${\hat {f}}$ zur Bandweite $h>0$ ist eine Schätzung der unbekannten Dichtefunktion $f$ einer Variablen. Ist $x_{1},\ldots ,x_{n}$ eine Stichprobe, $K$ ein Kern, so ist die Kerndichteschätzung definiert als:

${\hat {f}}(x)={\frac {1}{n}}\sum _{j=1}^{n}K_{h}(x-x_{j})={\frac {1}{nh}}\sum _{j=1}^{n}K\left({\frac {x-x_{j}}{h}}\right)$.

Wie die Grafik rechts zeigt, ist die Wahl der Bandbreite $h$ ist entscheidend für die Qualität der Approximation.

→ Hauptartikel: Kerndichteschätzer

Typische Kerne mit
unbeschränktem Träger		Träger $[-1;1]$
Kern	$K(u)\,$	Kern	$K(u)I(|u|\leq 1)$
Gauß	${\tfrac {1}{\sqrt {2\pi }}}\exp(-{\tfrac {1}{2}}u^{2})$	Uniform	${\tfrac {1}{2}}$
Cauchy	${\tfrac {1}{\pi (1+u^{2})}}$	Dreieck	$(1-|u|)$
Picard	${\tfrac {1}{2}}\exp(-|u|)$	Kosinus	${\tfrac {\pi }{4}}\cos({\tfrac {\pi }{2}}u)$
		Epanechnikov (p=1) Quartic (p=2) Triweight (p=3)	$C_{p}(1-u^{2})^{p}$ $C_{p}=3/4$ $C_{p}=15/16$ $C_{p}=35/32$

Nadaraya-Watson-Schätzer

Lineare Regression (schwarz) und Nadaraya-Watson-Schätzer mit verschiedenen Bandweiten (rot: mittel, grün: groß und blau: klein)

Der Nadaraya-Watson-Schätzer schätzt eine unbekannte Regressionsfunktion $m(x)$ aus den Beobachtungsdaten $(x_{1},y_{1}),...,(x_{n},y_{n})$ als

${\hat {m}}(x)={\frac {\sum _{i=1}^{n}y_{i}K_{h}(x-x_{i})}{\sum _{i=1}^{n}K_{h}(x-x_{i})}}$

mit $K_{h}(u)=1/hK(u/h)$ und einem Kern $K$ und einer Bandweite $h>0$. Die Funktion $K_{h}$ ist dabei eine Funktion, die Beobachtungen nahe $x$ ein großes Gewicht und Beobachtungen weit entfernt von $x$ ein kleines Gewicht zuordnet. Die Bandweite legt fest, in welchem Bereich um $x$ die Beobachtungen ein großes Gewicht haben.

Während die Wahl des Kerns meist recht frei erfolgen kann, hat die Wahl der Bandweite einen großen Einfluß auf die Glattheit des Schätzers. Die Grafik rechts zeigt, dass eine große Bandweite (grün) zur einer glatteren Schätzung führt als die Wahl einer kleinen Bandweite (blau).

Ableitung

Die Idee des Nadaraya-Watson-Schätzers beruht darauf, dass die unbekannte Regressionsfunktion

$Y=m(X)$

mit Hilfe des bedingten Erwartungswertes durch die gemeinsame Dichte $f(x,y)$ und die Randdichte $f_{X}(x)$ dargestellt wird.

$m(x)=E(Y|X=x)=\int y{\frac {f(x,y)}{f_{X}(x)}}dy={\frac {\int f(x,y)dy}{f_{X}(x)}}$

Die unbekannten Dichten $f(x,y)$ und $f_{X}(x)$ werden mit Hilfe einer Kerndichteschätzung geschätzt. Zur Berechnung der gemeinsamen Dichte aus den Beobachtungen wird ein bivariater Kerndichteschätzer mit Produktkern $K(x,y)=K(x)K(y)$ und Bandweiten $g$ und $h$ genutzt:

${\hat {f}}_{g,h}(x,y)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}(x-x_{i})K_{g}(y-y_{i})$.

Es folgt

$\int y\left({\frac {x-x_{i}}{h}}\right)dy={\frac {1}{n}}\sum _{i=1}^{n}y_{i}K_{h}(x-x_{i})$

und mittels Kerndichteschätzung für $f_{X}(x)$ der Nadaraya-Watson-Schätzer.

Eigenschaften

Gewichte $W_{hi}(x)$ für verschiedene $x$, $i$ und Bandweiten $h$.

1. Wie im Fall der linearen Regression kann der Nadaraya-Watson-Schätzer auch als Linearkombination der $y_{i}$ mit Gewichtsfunktionen $W_{hi}$ geschrieben werden:

${\hat {m}}(x)=\sum _{i=1}^{n}y_{i}W_{hi}(x)$.

Damit ist der Nadaraya-Watson-Schätzer das (lokal) gewichtete Mittel der Beobachtungswerte $y_{i}$, es gilt

${\tfrac {1}{n}}\sum _{i=1}^{n}W_{hi}(x)=1$.

Die Grafik rechts zeigt die Gewichte für verschiedene Werte von $x$ (blau: $x=10$, grün: $x=20$, rot: $x=30$). Der Dotplot unterhalb von Null zeigt die Daten der erklärenden Variable. Je größer die Bandweite ist (durchgezogene Linie vs. gestrichelte Linie) desto mehr Beobachtungen um $x$ haben ein Gewicht ungleich Null. Je weniger Daten zu Verfügung stehen (rechts), desto stärker müssen die verfügbaren Beobachtungen gewichtet werden.

2. Der mittlere quadratische Abweichung ergibt sich approximativ als

$MSE({\hat {m}}(x))\approx \underbrace {h^{4}B^{2}} _{Bias^{2}}+\underbrace {{\tfrac {1}{nh}}V} _{Varianz}$

mit $B$ und $V$ unabhängig von $n$ und $h$. Damit ist die Konvergenz langsamer als bei der linearen Regression, d.h. mit der gleichen Zahl von Beobachtungen kann der Vorhersagewert in der linearen Regression präziser geschätzt werden als beim Nadaraya-Watson-Schätzer.

Dabei ist die Verzerrung des Nadaraya-Watson-Schätzers

$Bias^{2}({\hat {m}}(x))={\frac {h^{4}}{4}}\left(m''(x)+2{\frac {m'(x)f'_{X}(x)}{f_{X}(x)}}\mu _{2}^{2}(K)\right)$

mit $m'(x)$ und $m''(x)$ die erste bzw. zweite Ableitung der unbekannten Regressionfunktion, $f'_{X}(x)$ die erste Ableitung der Dichte $f_{X}(x)$ und $\mu _{2}(K)=\int u^{2}K(u)du$.

Und die Varianz des Schätzers

$Var({\hat {m}}(x))={\frac {1}{nh}}{\frac {\sigma ^{2}(x)}{f_{X}(x)}}|K|_{2}^{2}$

mit $\sigma ^{2}(x)=Var(Y|X=x)$ und $|K|_{2}=\int K^{2}(u)du$.

Gasser-Müller-Schätzer

Im Fixed-Design-Fall mit $a=x_{1}\leq x_{2}\leq ...\leq x_{n}=b$ ist die Dichte $f_{X}(x)$ bekannt, muss also nicht geschätzt werden. Dies vereinfacht sowohl die Berechnungen als auch die mathematische Behandlung des Schätzers. Für diesen Fall wurde der Gasser-Müller-Schätzer definiert als

${\hat {m}}^{GM}(x)=\sum _{i=1}^{n}y_{i}W_{hi}^{GM}(x)$

mit

$W_{hi}^{GM}(x)=n\int _{s_{i-1}}^{s_{i}}K_{h}(x-u)du$

und $s_{0}=a$, $s_{n+1}=b$ und $s_{i}=(x_{i}+x_{i-1})/2$.

Literatur

• Wolfgang Härdle, Marlene Müller, Stefan Sperlich, Axel Werwatz: Nonparametric and Semiparametric Models. Springer Verlag, Berlin, Heidelberg 2004 (hu-berlin.de).