Tensorregression

Diese Baustelle befindet sich fälschlicherweise im Artikelnamensraum. Bitte verschiebe die Seite oder entferne den Baustein {{Baustelle}}.

Dieser Artikel ist im Entstehen und noch nicht Bestandteil der freien Enzyklopädie Wikipedia.

Solltest du über eine Suchmaschine darauf gestoßen sein, bedenke, dass der Text noch unvollständig sein und Fehler oder ungeprüfte Aussagen enthalten kann. Wenn du Fragen zum Thema hast, nimm Kontakt mit den Autoren auf.

Als Tensorregression bezeichnet man in der Statistik ein Regressionsmodell basierend auf Tensoren, bei dem entweder der Regressor, der Regressand oder beides Tensoren sind. Tensorregressionen werden vor allem für hochdimensionale Daten verwendet, da Tensoren eine natürliche Darstellung solcher Daten sind. Bei hochdimensionalen Daten besitzt der Koeffiziententensor meistens einen viel höheren Rang als der Regressor und der Regressand, weshalb man - ähnlich wie bei der Regression mit reduziertem Rang - häufig die Annahme trifft, dass der Koeffiziententensor einen tiefen Rang basierend auf einer Tensorzerlegung besitzt. Bekannte solche Zerlegungen sind die Candecomp/Parafac-Zerlegung (CP), die Tucker-Zerlegung, die Tensor-Singulärwertzerlegung (t-SVD) und die Tensor-Train-Zerlegung (TT).

Tensorregression

Im Artikel wird die Tensorregression auf den reellen Zahlen mit dem Tensorprodukt $\otimes :=\otimes _{\mathbb {R} }$ definiert, das Konzept lässt sich aber auch auf allgemeine Vektorräumen respektive Moduln definieren.

In der allgemeinen Form sind Tensordaten $\{{\mathcal {X}}_{n},{\mathcal {Y}}_{n}\}_{1\leq n\leq N}$ gegeben, dann ist das Tensorregressionsmodell von der Form

${\mathcal {Y}}_{n}=f({\mathcal {X}}_{n},{\mathcal {B}})+{\mathcal {E}}_{n},$

wobei

${\mathcal {Y}}_{n}\in \bigotimes _{i=1}^{M}\mathbb {R} ^{Q_{i}},\quad {\mathcal {X}}_{n}\in \bigotimes _{i=1}^{L}\mathbb {R} ^{P_{i}},\quad {\mathcal {B}},\quad {\mathcal {E}}_{n}\in \bigotimes _{i=1}^{M}\mathbb {R} ^{Q_{i}}$

Tensoren und $Q_{1},\dots ,Q_{M},P_{1},\dots ,P_{L}$ natürliche Zahlen sind.

Tensorzerlegungen

Für einen beliebigen Tensor $T$ sucht man eine Zerlegung eines Tensors ${\widehat {T}}$, welche $T$ am besten approximiert

${\mathcal {L}}(T)=\min \limits _{\widehat {T}}\|T-{\widehat {T}}\|_{F},$

wobei wir hier die Frobenius-Norm gewählt haben. Zwei populäre Wahlen sind die Candecomp/Parafec-Zerlegung (kurz CP-Zerlegung) und die Tucker-Zerlegung. Die Tucker-Zerlegung ist eine Form einer höher-dimensionalen Hauptkomponentenanalyse und wird auch HOSVD für englisch higher-order singular value decomposition genannt.

CP-Zerlegung

Sei $T\in \mathbb {R} ^{Q_{1}}\otimes \cdots \otimes \mathbb {R} ^{Q_{D}}$ ein Tensor. Eine CP-Zerlegung für ein $p\in \mathbb {N}$ ist eine Rang-$p$-Zerlegung von $T$ in Elementartensoren

$T=\sum \limits _{k=1}^{p}\lambda _{k}v_{k}^{(1)}\otimes \cdots \otimes v_{k}^{(D)},$

wobei $v_{k}^{(i)}=(v_{k,1}^{(i)},\dots ,v_{k,Q_{i}}^{(i)})^{T}\in \mathbb {R} ^{Q_{i}}$ Vektoren und $\lambda _{k}\in \mathbb {R}$ Gewichte sind. Die minimale Zahl

$\operatorname {rank} (T)=\min \left\{p\in \mathbb {N} \colon T=\sum \limits _{k=1}^{p}v_{k}^{(1)}\otimes \cdots \otimes v_{k}^{(D)}\right\}$

nennt man den Rang von $T$ und er ist invariant unter Basiswechsel. Die Berechnung des Rangs ist jedoch NP-schwer.

Tucker-Zerlegung

Die Tucker-Zerlegung (oder auch HOSVD) zerlegt einen Tensor $T\in \mathbb {R} ^{Q_{1}}\otimes \cdots \otimes \mathbb {R} ^{Q_{D}}$ in einen Kern-Tensor $G\in \mathbb {R} ^{R_{1}}\otimes \cdots \otimes \mathbb {R} ^{R_{D}}$ und $D$ Faktor-Matrizen $A_{1},\dots ,A_{D}$ mit $A_{i}\in \mathbb {R} ^{Q_{i}\times R_{i}}$

$T=G\times A_{1}\times \cdots \times A_{D}$

oder

$T=\sum \limits _{j_{1}=1}^{R_{1}}\sum \limits _{j_{2}=1}^{R_{2}}\cdots \sum \limits _{j_{D}=1}^{R_{D}}g_{i_{1},i_{2},\dots ,i_{D}}a_{j_{1}}^{(1)}\otimes a_{j_{2}}^{(2)}\otimes \cdots \otimes a_{j_{D}}^{(D)}$

wobei $a_{j_{k}}^{(k)}\in \mathbb {R} ^{Q_{k}}$ für $k=1,\dots ,d$ und $j_{k}=1,\dots ,R_{k}$ Vektoren sind und $g_{i_{1},i_{2},\dots ,i_{D}}\in \mathbb {R}$. Die Parameter $(R_{1},\dots ,R_{D})$ nennt man Tucker-Ränge.

Regressionsmodelle

Verallgemeinerte lineare Tensorregression regression

Eine erste Verallgemeinerung der verallgemeinerten linearen Modelle stammt von Zhou et al(2013), welche die CP-Zerlegung verwendeten.

Die Kopplungsfunktion

${\begin{aligned}g(\mu )&=\alpha +\gamma ^{T}Z+\langle {\mathcal {B}},{\mathcal {X}}\rangle \\&=\alpha +\gamma ^{T}Z+\langle \sum \limits _{k=1}^{p}v_{k}^{(1)}\otimes \cdots \otimes v_{k}^{(D)},{\mathcal {X}}\rangle \end{aligned}}$

Eine Möglichkeit, solche Modelle zu definieren ist durch die Häufig werden dabei klassische Regressionsmodelle