Parzen-Tree Estimator

Tree-structured Parzen Estimator (kurz Parzen-Tree Estimator) schätzen (gegeben eine Menge an Stichproben $\{({\vec {x}}_{1},f_{1})\dots ({\vec {x}}_{j},f_{j})\}$), wie wahrscheinlich ein Funktionswert $f$ bei vorgegebenen Merkmalen ${\vec {x}}$ auftritt: ${\hat {p}}(f|{\vec {x}})$.

Dazu werden baumartig, je Feature $i$, zwei Kerndichteschätzungen der geschätzten Dichten ${\hat {p}}_{h}(x_{i}|f)$, ${\hat {p}}_{l}(x_{i}|f)$ für „hohe“ Beobachtungen $h$ und „niedrige“ Beobachtungen $l$ von $f$ konstruieren. Diese werden benutzt um über den Satz von Bayes ${\hat {p}}_{h}(f|x_{i})$, ${\hat {p}}_{l}(f|x_{i})$ und daraufhin ${\hat {p}}(f|x_{i})={\mathcal {N}}{\begin{cases}{\hat {p}}_{h}(f|x_{i}){\text{ für }}f\geq f_{h}\\{\hat {p}}_{l}(f|x_{i}){\text{ für }}f<f_{h}\end{cases}}$ (mit Normierungskonstante ${\mathcal {N}}$ und Entscheidungsgrenze $f_{h}$) zu bestimmen.

Anwendung

Tree-structured Parzen Estimator finden z.B. in der Bayes’schen Optimierung in der Hyperparameteroptimierung eine Anwendung.