Autoenkoder

	Definicja intuicyjna
	Autoenkoder to sieć neuronowa ucząca się „skompresowanej” wersji danych.

Autoenkoder, autokoder^[1] – sieć neuronowa złożona z pary koder-dekoder^[2]. Autokoder uczy się dwóch funkcji: funkcji kodowania, która przekształca dane wejściowe i funkcji dekodowania, która odtwarza dane wejściowe z zakodowanej reprezentacji. Autokoder uczy się efektywnej reprezentacji (kodowania) zbioru danych, zwykle w celu redukcji wymiaru, aby generować osadzenia o mniejszej liczbie wymiarów do późniejszego wykorzystania przez inne algorytmy uczenia maszynowego^[2].

Aplikacje

Redukcja wymiarów

Redukcja wymiarów była jedną z pierwszych aplikacji głębokiego uczenia^[3].

Zmniejszenie wymiarów może poprawić wydajność zadań takich jak klasyfikacja. Cechą charakterystyczną redukcji wymiarowości jest umieszczanie semantycznie powiązanych przykładów blisko siebie^[3].

Analiza głównych składowych

Rekonstrukcja obrazów o rozmiarze 28x28 pikseli przez autoenkoder z rozmiarem kodu równym dwa (warstwa ukryta o długości dwóch jednostek) oraz rekonstrukcja z dwóch pierwszych głównych składników analizy głównych składowych

Najprostsze autoenkodery — zwłaszcza liniowe i bez nieliniowych aktywacji — są blisko powiązane z analizą głównych składowych^[4].

Wyszukiwanie informacji i optymalizacja wyszukiwarek

Redukcja wymiaru daje korzyści dla procesów wyszukiwani informacji , co oznacza, że wyszukiwanie może stać się bardziej efektywne w pewnych typach przestrzeni niskowymiarowych^[5].

Wykrywanie anomalii

Innym zastosowaniem autoenkoderów jest wykrywanie anomalii^[6]^[7].

Przypisy

↑ AurélienA. Géron AurélienA., Uczenie maszynowe z użyciem Scikit-Learn i TensorFlow, Wydanie II, aktualizacja do modułu TensorFlow 2, Gliwice: Helion, 2020, s. 551, ISBN 978-83-283-6002-0 [dostęp 2025-04-22] (pol.).
↑ ^a ^b GabrielG. Rodewald GabrielG., Autoenkodery. Podstawy budowy wydajnych modeli uczenia maszynowego, „Zeszyty Naukowe Warszawskiej Wyższej Szkoły Informatyki”, nr 26, 2022, DOI: 10.26348/znwwsi.26.21, ISSN 1896-396X [dostęp 2025-04-14] (pol.).
↑ ^a ^b Deep Learning [online], www.deeplearningbook.org [dostęp 2025-04-14] .
↑ EladE. Plaut EladE., From Principal Subspaces to Principal Components with Linear Autoencoders, „arXiv”, 2018, DOI: 10.48550/arXiv.1804.10253, arXiv:1804.10253 [dostęp 2025-04-14] .
↑ RuslanR. Salakhutdinov RuslanR., GeoffreyG. Hinton GeoffreyG., Semantic hashing, „International Journal of Approximate Reasoning”, 50 (7), Special Section on Graphical Models and Information Retrieval, 2009, s. 969–978, DOI: 10.1016/j.ijar.2008.11.006, ISSN 0888-613X [dostęp 2025-04-14] .
↑ ChongCh. Zhou ChongCh., Randy C.R.C. Paffenroth Randy C.R.C., Anomaly Detection with Robust Deep Autoencoders, „Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining”, KDD '17, New York, NY, USA: Association for Computing Machinery, 2017, s. 665–674, DOI: 10.1145/3097983.3098052, ISBN 978-1-4503-4887-4 [dostęp 2025-04-14] .
↑ MayuM. Sakurada MayuM., TakehisaT. Yairi TakehisaT., Anomaly Detection Using Autoencoders with Nonlinear Dimensionality Reduction, „Proceedings of the MLSDA 2014 2nd Workshop on Machine Learning for Sensory Data Analysis”, MLSDA'14, New York, NY, USA: Association for Computing Machinery, 2014, s. 4–11, DOI: 10.1145/2689746.2689747, ISBN 978-1-4503-3159-3 [dostęp 2025-04-14] .

[1] AurélienA. Géron AurélienA., Uczenie maszynowe z użyciem Scikit-Learn i TensorFlow, Wydanie II, aktualizacja do modułu TensorFlow 2, Gliwice: Helion, 2020, s. 551, ISBN 978-83-283-6002-0 [dostęp 2025-04-22] (pol.).

[:0-2] GabrielG. Rodewald GabrielG., Autoenkodery. Podstawy budowy wydajnych modeli uczenia maszynowego, „Zeszyty Naukowe Warszawskiej Wyższej Szkoły Informatyki”, nr 26, 2022, DOI: 10.26348/znwwsi.26.21, ISSN 1896-396X [dostęp 2025-04-14] (pol.).

[:1-3] Deep Learning [online], www.deeplearningbook.org [dostęp 2025-04-14] .

[4] EladE. Plaut EladE., From Principal Subspaces to Principal Components with Linear Autoencoders, „arXiv”, 2018, DOI: 10.48550/arXiv.1804.10253, arXiv:1804.10253 [dostęp 2025-04-14] .

[5] RuslanR. Salakhutdinov RuslanR., GeoffreyG. Hinton GeoffreyG., Semantic hashing, „International Journal of Approximate Reasoning”, 50 (7), Special Section on Graphical Models and Information Retrieval, 2009, s. 969–978, DOI: 10.1016/j.ijar.2008.11.006, ISSN 0888-613X [dostęp 2025-04-14] .

[6] ChongCh. Zhou ChongCh., Randy C.R.C. Paffenroth Randy C.R.C., Anomaly Detection with Robust Deep Autoencoders, „Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining”, KDD '17, New York, NY, USA: Association for Computing Machinery, 2017, s. 665–674, DOI: 10.1145/3097983.3098052, ISBN 978-1-4503-4887-4 [dostęp 2025-04-14] .

[7] MayuM. Sakurada MayuM., TakehisaT. Yairi TakehisaT., Anomaly Detection Using Autoencoders with Nonlinear Dimensionality Reduction, „Proceedings of the MLSDA 2014 2nd Workshop on Machine Learning for Sensory Data Analysis”, MLSDA'14, New York, NY, USA: Association for Computing Machinery, 2014, s. 4–11, DOI: 10.1145/2689746.2689747, ISBN 978-1-4503-3159-3 [dostęp 2025-04-14] .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

Paradygmaty	Uczenie nadzorowane Uczenie nienadzorowane Uczenie przez wzmacnianie Uczenie samonadzorowane
Problemy	Klasyfikacja Regresja Redukcja wymiaru Klasteryzacja Wykrywanie anomalii Inferencja gramatyki Uczenie multimodalne
Uczenie nadzorowane (Klasyfikacja, Regresja)	Drzewa klasyfikacyjne Uczenie zespołowe Agregacja Las losowy K najbliższych sąsiadów Regresja liniowa Naiwny klasyfikator bayesowski Sieć neuronowa Regresja logistyczna Perceptron Maszyna wektorów nośnych
Klasteryzacja	Grupowanie hierarchiczne Algorytm centroidów DBSCAN Inferencja gramatyki
Redukcja wymiaru	Analiza czynnikowa Korelacja kanoniczna Liniowa analiza dyskryminacyjna Analiza głównych składowych
Sieć neuronowa	Autoenkoder Uczenie głębokie Jednokierunkowa sieć neuronowa Model dyfuzyjny Rekurencyjna sieć neuronowa LSTM Sieć generatywna GAN Sieć Kohonena Konwolucyjna sieć neuronowa Transformator