Parzen-Tree Estimator

Tree-structured Parzen Estimator (kurz Parzen-Tree Estimator oder PTE) sind Schätzer, die unter anderem in der bayesschen Hyperparameteroptimierung verwendet werden, um eine Approximation $p(y|x)$ einer eigentlichen gesuchten Zielfunktion $f:{\mathcal {X}}\to \mathbb {R}$ zu konstruieren (${\mathcal {X}}$ ist der Konfigurationsraum, $x$ eine Menge von Hyperparameter und $y=f(x)$ ein Score der Zielfunktion). Das Ziel ist es, mit Hilfe der $p(y|x)$ die besten Hyperparameter $x$ zu finden, welche später dann in $f$ eingesetzt werden.

Die Funktion $p(y|x)$ wird auch Surrogatsfunktion genannt und wird nicht direkt modelliert, stattdessen wendet man den Satz von Bayes an

$p(y|x)={\frac {p(x|y)p(y)}{p(x)}}$

und modelliert $p(x|y)$ und $p(y)$. Für $p(y)$ gibt es keine spezifische Anforderungen.

Die Funktion $p(x|y)$ wird durch Einführung eines Schwellwertes $y^{*}$ in zwei Dichten aufgeteilt, so dass diese nicht mehr von $y$ abhängen

$p(x|y)={\begin{cases}l(x)&{\text{ falls }}y<y^{*}\\g(x)&{\text{ falls }}y\geq y^{*}.\end{cases}}$

Der Schwellwert $y^{*}$ ist dabei ein $\alpha$-Quantil, das heisst $P(y\leq y^{*})=\alpha$. Die Funktion $l(x)$ wird mit den Observationen $\{x_{i}\}$ konstruiert, für die $f(x_{i})<y^{*}$ gilt. Die restlichen Observationen, für die $f(x_{k})>y^{*}$ gilt, werden für $g(x)$ verwendet.