PyTorch ist eine auf Maschinelles Lernen ausgerichtete Open-Source-Programmbibliothek für die Programmiersprache Python, basierend auf der in Lua geschriebenen Bibliothek Torch, die bereits seit 2002 exisitert aber seit 2017 nicht mehr gepflegt wird.[2][3][4] Entwickelt wurde PyTorch von dem Facebook-Forschungsteam für künstliche Intelligenz.[5][6][7] Die Non-Profit-Organisation OpenAI gab Ende Januar 2020 bekannt auf PyTorch für Maschine Learning zusetzten.[8]
| PyTorch
| |
|---|---|
| |
| Basisdaten
| |
| Entwickler | Adam Paszke, Sam Gross, Soumith Chintala, Gregory Chanan |
| Erscheinungsjahr | 2016 |
| Aktuelle Version | 2.7.0[1] (23. April 2025) |
| Betriebssystem | Linux, MacOS, Windows |
| Programmiersprache | Python, C, CUDA |
| Lizenz | Open Source |
| pytorch.org | |
Funktionen und Versionsgeschichte
Mit der Programmbibliothek lassen sich zum einen mit GPUs beschleunigte Tensor-Analysen erstellen und zum anderen Neuronale Netze auf Basis eines bandbasierten Autograd-Systems erstellen. Dabei lassen sich bewährte Python-Bibliotheken wie NumPy, SciPy und Cython nutzen. Beim Deep Learning zeichnet sich die Programmbibliothek durch viel Flexibilität und eine hohe Geschwindigkeit aus.[9] ONNX zum Austausch von Modellen mit anderen Programmbibliotheken wird unterstützt. TorchScript-Dokumente können durch einen Compiler in PyTorch-Modelle umgewandelt werden. TorchScript kann unabhängig von Python ausgeführt werden und ist seit der Version 1.2 in PyTorch enthalten.[10][11]
Die im Oktober 2019 erschienene 1.3-Version ermöglicht die Nutzung von PyTorch auf den mobilen Plattformen Android und iOS (PyTorch Mobile). Ein 8-Bit-Quantisierungsmodell soll ebenfalls das Deployment auf Servern und Edge-Geräten effizienter gestalten. Da die traditionelle Implementierung von Tensoren Mängel auswies, können Tensoren seit der Version auch als Named Tensors benannt werden.[12] Mit der Version 1.4 von Januar 2020 wurde Pruning für künstliche neuronale Netze und ein paralleles Training von Modellen mit Remote Procedure Call ergänzt. Des Weiteren wurde eine Anbindung zu Java hinzugefügt.[13] Seit der Version 1.5, die Mitte April 2020 erschienen ist, wird TorchServe als Open Source-Server für PyTorch verwendet. Neben Facebook ist dabei auch der Cloud-Anbieter Amazon Web Services (kurz: AWS) an dem Dienst beteiligt. Ebenfalls lässt sich seit der Version eine C++-Frontend-API verwenden.[14]
Bibliotheken und Plattformen
PyTorch setzt sich aus mehreren Bibliotheken und Plattformen zusammen, die für Maschinelles Lernen eingesetzt werden. Nachfolgend eine Liste der einzelnen Elemente von PyTorch mit einer Übersicht der wichtigsten Funktionen:[15]
Wichtige Bibliotheken in PyTorch für Maschinelles Lernen sind torchvision für die Bilderkennung, torchtext für die Texterkennung und torchaudio für die Sprach- und Audioerkennung.[11]
Beispiel
Im folgende Beispiel soll die Funktionsweise der Bibliothek an einem einfachen Beispiel gezeigt werden
import torch
dtype = torch.float
device = torch.device("cpu") # Hiermit werden alle Berechnungen auf der CPU ausgeführt
# device = torch.device("cuda:0") # Hiermit werden alle Berechnungen auf der GPU ausgeführt
# Erstellung eines Tensors und Befüllung des Tensors mit Zufallszahlen
a = torch.randn(2,3,device=device,dtype=dtype)
print(a) # Ausgabe des Tensors A
# Ausgabe: tensor([[-1.1884, 0.8498, -1.7129],
# [-0.8816, 0.1944, 0.5847]])
# Erstellung eines Tensors und Befüllung des Tensors mit Zufallszahlen
b = torch.randn(2,3,device=device,dtype=dtype)
print(b) # Ausgabe des Tensors B
# Ausgabe: tensor([[ 0.7178, -0.8453, -1.3403],
# [ 1.3262, 1.1512, -1.7070]])
print(a*b) # Ausgabe einer Multiplikation der beiden Tensoren
# Ausgabe: tensor([[-0.8530, -0.7183, 2.58],
# [-1.1692, 0.2238, -0.9981]])
print(a.sum()) # Ausgabe der Summe aller Elemente im Tensor A
# Ausgabe: tensor(-2.1540)
print(a[1,2]) # Ausgabe des Elements in der dritten Spalte der zweiten Zeile
# Ausgabe: tensor(0.5847)
print(a.min()) # Ausgabe des Minimumwertes im Tensor A
# Ausgabe: tensor(-1.7129)
Weblinks
Literatur
Deutsch
- Tariq Rashid: Neuronale Netze selbst programmieren: Ein verständlicher Einstieg mit Python, O'Reilly, 2017, ISBN 9783960101031
- Delip Rao, Brian McMahan: Natural Language Processing mit PyTorch: Intelligente Sprachanwendungen mit Deep Learning erstellen, Dpunkt.Verlag, 2019, ISBN 9783960091189
- Sebastian Raschka: Machine Learning mit Python: das Praxis-Handbuch für Data Science, Predictive Analytics und Deep Learning, mitp Verlags, 2017, ISBN 9783958454231
- Ramon Wartala: Praxiseinstieg Deep Learning: Mit Python, Caffe, TensorFlow und Spark eigene Deep-Learning-Anwendungen erstellen, O'Reilly, 2018, ISBN 9783960101574
Englisch
- Chitra Vasudevan: Concepts and Programming in PyTorch, Chitra Vasudevan, 2018, ISBN 9789388176057
- Sherin Thomas, Sudhanshu Passi: PyTorch Deep Learning Hands-On: Build CNNs, RNNs, GANs, reinforcement learning, and more, quickly and easily, Packt Publishing Ltd, 2019, ISBN 9781788833431
- Pradeepta Mishra: PyTorch Recipes: A Problem-Solution Approach, Apress, 2019 ISBN 9781484242582
- Samuel Burns: Python Deep Learning: Develop Your First Neural Network in Python Using Tensorflow, Keras, and Pytorch, Independently Published, 2019, ISBN 9781092562225
- Vishnu Subramanian: Deep Learning with PyTorch: A practical approach to building neural network models using PyTorch, Packt Publishing, 2018, ISBN 9781788626071
- Hyatt Saleh: Applied Deep Learning with PyTorch: Demystify neural networks with PyTorch, Packt Publishing, 2019, ISBN 9781789807059
- Eli Stevens, Luca Antiga: Deep Learning with Pytorch, MANNING PUBN, 2019, ISBN 9781617295263
- David Julian: Deep Learning with PyTorch Quick Start Guide: Learn to train and deploy neural network models in Python, Packt Publishing, 2018, ISBN 9781789539738
Einzelnachweise
- ↑ Release 2.7.0. 23. April 2025 (abgerufen am 27. April 2025).
- ↑ Serdar Yegulalp: Facebook brings GPU-powered machine learning to Python. In: InfoWorld. (infoworld.com [abgerufen am 26. Januar 2018]).
- ↑ Ben Lorica: Why AI and machine learning researchers are beginning to embrace PyTorch. In: O'Reilly Media. 3. August 2017 (oreilly.com [abgerufen am 26. Januar 2018]).
- ↑ Nikhil Ketkar: Introduction to PyTorch. In: Deep Learning with Python. Apress, Berkeley, CA, 2017, ISBN 978-1-4842-2765-7, S. 195–208, doi:10.1007/978-1-4842-2766-4_12 (springer.com [abgerufen am 26. Januar 2018]).
- ↑ Mo Patel: When two trends fuse: PyTorch and recommender systems. In: O'Reilly Media. 7. Dezember 2017 (oreilly.com [abgerufen am 26. Januar 2018]).
- ↑ John Mannes: Facebook and Microsoft collaborate to simplify conversions from PyTorch to Caffe2. In: TechCrunch. (techcrunch.com [abgerufen am 26. Januar 2018]).
- ↑ Tech giants are using open source frameworks to dominate the AI community | VentureBeat. Abgerufen am 26. Januar 2018 (amerikanisches Englisch).
- ↑ heise online: Machine Learning: OpenAI setzt künftig auf Facebooks PyTorch. Abgerufen am 18. Mai 2020.
- ↑ Alexander Neumann: PyTorch: Ein Deep-Learning-Framework von Facebook. Abgerufen am 26. Januar 2018 (deutsch).
- ↑ Was ist ONNX (Open Neural Network Exchange)? Abgerufen am 30. August 2019.
- ↑ a b heise online: Machine Learning: PyTorch 1.2 verbessert Scripting und Export. Abgerufen am 30. August 2019.
- ↑ heise online: Machine Learning: PyTorch 1.3 setzt auf Mobilgeräte. Abgerufen am 14. Oktober 2019.
- ↑ heise online: Machine Learning: PyTorch 1.4 öffnet sich für Java. Abgerufen am 18. Mai 2020.
- ↑ heise online: Machine Learning: TorchServe dient PyTorch 1.5 als neuer Open-Source-Server. Abgerufen am 18. Mai 2020.
- ↑ PyTorch. Abgerufen am 30. August 2019 (englisch).
- ↑ https://www.bigdata-insider.de/was-ist-horovod-a-846416/. Abgerufen am 30. August 2019.