Tensor Processing Unit - Versionsgeschichte

Aka: Tippfehler entfernt, deutsch

2024-10-25T16:06:56Z

← Nächstältere Version		Version vom 25. Oktober 2024, 18:06 Uhr
Zeile 1:		Zeile 1:
	[[Datei:TPU v4.png\|~~thumb\|right~~\|TPUs der vierten Generation. Die farbigen Schläuche führen die Kühlflüssigkeit zu den vier ASICs]]		[[Datei:TPU v4.png\|mini\|TPUs der vierten Generation. Die farbigen Schläuche führen die Kühlflüssigkeit zu den vier ASICs]]
	'''Tensor Processing Units''' ('''TPUs'''), auch '''[[Tensor]]-Prozessoren''', sind [[Anwendungsspezifische integrierte Schaltung\|anwendungsspezifische Chips]] zur Beschleunigung von [[Maschinelles Lernen\|maschinellem Lernen]]. TPUs werden vor allem genutzt, um Daten in [[Künstliches neuronales Netz\|künstlichen neuronalen Netzen]] zu verarbeiten (siehe [[Deep Learning]]).		'''Tensor Processing Units''' ('''TPUs'''), auch '''[[Tensor]]-Prozessoren''', sind [[Anwendungsspezifische integrierte Schaltung\|anwendungsspezifische Chips]] zur Beschleunigung von [[Maschinelles Lernen\|maschinellem Lernen]]. TPUs werden vor allem genutzt, um Daten in [[Künstliches neuronales Netz\|künstlichen neuronalen Netzen]] zu verarbeiten (siehe [[Deep Learning]]).

Zeile 19:		Zeile 19:

	=== Dritte Generation ===		=== Dritte Generation ===
	[[Datei:Tensor Processing Unit 3.0.jpg\|alternativtext=TPUv3 Karte\|mini\|TPUv3-Karte]]		[[Datei:Tensor Processing Unit 3.0.jpg\|alternativtext=TPUv3-Karte\|mini\|TPUv3-Karte]]
	Die dritte Generation von Googles TPU (''TPU 3.0'') wurde auf der [[Google I/O#2018\|Google I/O 2018]] vorgestellt. Die TPUs besitzen 4 MXUs mit je 8 GiB Arbeitsspeicher (32 GiB je TPU).<ref name="tnp_TPU3" /> Die Netzwerktopologie der TPUs ist ebenfalls in Form eines 2D-[[Torus]] ausgelegt. Die Racks besitzen zudem eine [[Wasserkühlung]], mit der die TPUs gekühlt werden.<ref name="tnp_TPU3" /> TPU 3.0-Pods bestehen aus 8 Racks mit insgesamt 1024 TPUs und 256 Server-CPUs. Die Rechenleistung eines Pod liegt bei knapp über 100 PFLOPS.<ref name="tnp_TPU3" />		Die dritte Generation von Googles TPU (''TPU 3.0'') wurde auf der [[Google I/O#2018\|Google I/O 2018]] vorgestellt. Die TPUs besitzen 4 MXUs mit je 8 GiB Arbeitsspeicher (32 GiB je TPU).<ref name="tnp_TPU3" /> Die Netzwerktopologie der TPUs ist ebenfalls in Form eines 2D-[[Torus]] ausgelegt. Die Racks besitzen zudem eine [[Wasserkühlung]], mit der die TPUs gekühlt werden.<ref name="tnp_TPU3" /> TPU 3.0-Pods bestehen aus 8 Racks mit insgesamt 1024 TPUs und 256 Server-CPUs. Die Rechenleistung eines Pod liegt bei knapp über 100 PFLOPS.<ref name="tnp_TPU3" />

2A00:6020:50DC:5D00:0:0:0:1: Typo färbig -> farbig

2024-09-23T09:03:20Z

Typo färbig -> farbig

← Nächstältere Version		Version vom 23. September 2024, 11:03 Uhr
Zeile 1:		Zeile 1:
	[[Datei:TPU v4.png\|thumb\|right\|TPUs der vierten Generation. Die ~~färbigen~~ Schläuche führen die Kühlflüssigkeit zu den vier ASICs]]		[[Datei:TPU v4.png\|thumb\|right\|TPUs der vierten Generation. Die farbigen Schläuche führen die Kühlflüssigkeit zu den vier ASICs]]
	'''Tensor Processing Units''' ('''TPUs'''), auch '''[[Tensor]]-Prozessoren''', sind [[Anwendungsspezifische integrierte Schaltung\|anwendungsspezifische Chips]] zur Beschleunigung von [[Maschinelles Lernen\|maschinellem Lernen]]. TPUs werden vor allem genutzt, um Daten in [[Künstliches neuronales Netz\|künstlichen neuronalen Netzen]] zu verarbeiten (siehe [[Deep Learning]]).		'''Tensor Processing Units''' ('''TPUs'''), auch '''[[Tensor]]-Prozessoren''', sind [[Anwendungsspezifische integrierte Schaltung\|anwendungsspezifische Chips]] zur Beschleunigung von [[Maschinelles Lernen\|maschinellem Lernen]]. TPUs werden vor allem genutzt, um Daten in [[Künstliches neuronales Netz\|künstlichen neuronalen Netzen]] zu verarbeiten (siehe [[Deep Learning]]).

Troubled asset: konziser

2024-03-29T11:44:20Z

konziser

← Nächstältere Version		Version vom 29. März 2024, 13:44 Uhr
Zeile 1:		Zeile 1:
	[[Datei:TPU v4.png\|thumb\|right\|TPUs der vierten Generation. Die färbigen Schläuche führen die Kühlflüssigkeit zu den vier ASICs]]		[[Datei:TPU v4.png\|thumb\|right\|TPUs der vierten Generation. Die färbigen Schläuche führen die Kühlflüssigkeit zu den vier ASICs]]
	'''Tensor Processing Units''' ('''TPUs'''), auch '''[[Tensor]]-Prozessoren''', sind [[Anwendungsspezifische integrierte Schaltung\|anwendungsspezifische Chips]] ~~um Anwendungen im~~ ~~Rahmen~~ von [[Maschinelles Lernen\|maschinellem Lernen]] ~~zu beschleunigen~~. TPUs werden vor allem genutzt, um Daten in [[Künstliches neuronales Netz\|künstlichen neuronalen Netzen]], ~~vgl.~~ [[Deep Learning]]~~, zu verarbeiten~~.		'''Tensor Processing Units''' ('''TPUs'''), auch '''[[Tensor]]-Prozessoren''', sind [[Anwendungsspezifische integrierte Schaltung\|anwendungsspezifische Chips]] zur Beschleunigung von [[Maschinelles Lernen\|maschinellem Lernen]]. TPUs werden vor allem genutzt, um Daten in [[Künstliches neuronales Netz\|künstlichen neuronalen Netzen]] zu verarbeiten (siehe [[Deep Learning]]).

	Die von [[Google Inc.\|Google]] entwickelten TPUs wurden speziell für die Softwaresammlung [[TensorFlow]]<ref name="tf"/> entworfen. TPUs sind die Basis für alle Google Services, ~~welche~~ maschinelles Lernen einsetzen, und wurden auch in den [[AlphaGo]]-Maschine-vs.-Mensch-Wettkämpfen ~~mit~~ ~~einem~~ der weltbesten [[Go (Spiel)\|Go]]-Spieler, ~~[[Lee Sedol]], zum Einsatz gebracht~~.<ref>{{Internetquelle\|url=https://www.heise.de/newsticker/meldung/Google-I-O-2016-Tensor-Prozessoren-halfen-beim-Go-Sieg-3210953.html \|titel=Google I/O 2016: "Tensor-Prozessoren" halfen beim Go-Sieg – heise online \|autor=Christof Windeck \|werk=heise.de \|datum=2016-05-19 \|zugriff=2016-11-23}}</ref>		Die von [[Google Inc.\|Google]] entwickelten TPUs wurden speziell für die Softwaresammlung [[TensorFlow]]<ref name="tf"/> entworfen. TPUs sind die Basis für alle Google Services, die maschinelles Lernen einsetzen, und wurden auch in den [[AlphaGo]]-Maschine-vs.-Mensch-Wettkämpfen gegen [[Lee Sedol]], einen der weltbesten [[Go (Spiel)\|Go]]-Spieler, eingesetzt.<ref>{{Internetquelle\|url=https://www.heise.de/newsticker/meldung/Google-I-O-2016-Tensor-Prozessoren-halfen-beim-Go-Sieg-3210953.html \|titel=Google I/O 2016: "Tensor-Prozessoren" halfen beim Go-Sieg – heise online \|autor=Christof Windeck \|werk=heise.de \|datum=2016-05-19 \|zugriff=2016-11-23}}</ref>
	== Generationen der Tensor Processing Units ==		== Generationen der Tensor Processing Units ==
	=== Erste Generation ===		=== Erste Generation ===

86.111.153.241: Typos

2024-03-28T21:37:10Z

Typos

← Nächstältere Version		Version vom 28. März 2024, 23:37 Uhr
Zeile 5:		Zeile 5:
	== Generationen der Tensor Processing Units ==		== Generationen der Tensor Processing Units ==
	=== Erste Generation ===		=== Erste Generation ===
	Die erste Generation von Googles TPU wurde auf der [[Google I/O#2016\|Google I/O 2016]] vorgestellt und speziell entworfen, um die Anwendung eines bereits trainierten [[Künstliches neuronales Netz\|künstlichen neuronalen Netzwerks]] zu unterstützen bzw. zu beschleunigen.<ref name="supercharge" /> Dies wurde u. a. durch eine geringere Präzision im Vergleich zu normalen [[CPU]]s oder [[Grafikprozessor\|GPUs]] und ~~einer~~ Spezialisierung auf Matrizenoperationen erreicht.		Die erste Generation von Googles TPU wurde auf der [[Google I/O#2016\|Google I/O 2016]] vorgestellt und speziell entworfen, um die Anwendung eines bereits trainierten [[Künstliches neuronales Netz\|künstlichen neuronalen Netzwerks]] zu unterstützen bzw. zu beschleunigen.<ref name="supercharge" /> Dies wurde u. a. durch eine geringere Präzision im Vergleich zu normalen [[CPU]]s oder [[Grafikprozessor\|GPUs]] und eine Spezialisierung auf Matrizenoperationen erreicht.

	Die TPU besteht aus einem [[Systolischer Array\|systolischen Array]] mit einer 256×256-8-Bit-Matrizenmultiplikationseinheit (MMU), welche von einem Mikroprozessor mit einem [[Complex Instruction Set Computer\|CISC]]-Befehlsatz angesteuert wird. Der Chip wurde in einem 28-nm-Prozess gefertigt und taktet mit 700 MHz bei einer [[Thermal Design Power]] von 28 bis 40 W. Die TPU besitzt 28 MiB Arbeitsspeicher am Chip. Zudem sind 4-MiB-32-Bit-[[Akkumulator (Computer)\|Akkumulatoren]] verbaut, welche die Ergebnisse der Matrizenmultiplikationseinheit übernehmen. Die TPU kann [[Matrizenmultiplikation]]en, [[Faltung (Mathematik)\|Faltungen]] und [[Künstliches Neuron#Aktivierungsfunktionen\|Aktivierungsfunktionen]], sowie Datentransfer zum Hostsystem über [[PCI Express\|PCIe]] 3.0 oder zum DDR3 DRAM, welcher sich am Board befindet, ausführen.		Die TPU besteht aus einem [[Systolischer Array\|systolischen Array]] mit einer 256×256-8-Bit-Matrizenmultiplikationseinheit (MMU), welche von einem Mikroprozessor mit einem [[Complex Instruction Set Computer\|CISC]]-Befehlsatz angesteuert wird. Der Chip wurde in einem 28-nm-Prozess gefertigt und taktet mit 700 MHz bei einer [[Thermal Design Power]] von 28 bis 40 W. Die TPU besitzt 28 MiB Arbeitsspeicher am Chip. Zudem sind 4-MiB-32-Bit-[[Akkumulator (Computer)\|Akkumulatoren]] verbaut, welche die Ergebnisse der Matrizenmultiplikationseinheit übernehmen. Die TPU kann [[Matrizenmultiplikation]]en, [[Faltung (Mathematik)\|Faltungen]] und [[Künstliches Neuron#Aktivierungsfunktionen\|Aktivierungsfunktionen]] sowie Datentransfer zum Hostsystem über [[PCI Express\|PCIe]] 3.0 oder zum DDR3 DRAM, welcher sich am Board befindet, ausführen.

	=== Zweite Generation ===		=== Zweite Generation ===
Zeile 16:		Zeile 16:
	Die TPUs der zweiten Generation sind in Form der [[Google Compute Engine]], einem [[Cloud Computing\|Cloud]]-Angebot von Google, nutzbar.		Die TPUs der zweiten Generation sind in Form der [[Google Compute Engine]], einem [[Cloud Computing\|Cloud]]-Angebot von Google, nutzbar.

	Um die Speicherbandbreite der Architektur zu erhöhen kommt [[High Bandwidth Memory\|HBM]]-Speicher zum Einsatz.<ref>{{Internetquelle \|url=https://cloud.google.com/tpu/docs/system-architecture?hl=de \|titel=Systemarchitektur {{!}} Cloud TPU \|abruf=2020-01-12 \|sprache=de}}</ref>		Um die Speicherbandbreite der Architektur zu erhöhen, kommt [[High Bandwidth Memory\|HBM]]-Speicher zum Einsatz.<ref>{{Internetquelle \|url=https://cloud.google.com/tpu/docs/system-architecture?hl=de \|titel=Systemarchitektur {{!}} Cloud TPU \|abruf=2020-01-12 \|sprache=de}}</ref>

	=== Dritte Generation ===		=== Dritte Generation ===

Wdwd: +Abbildung TPUv4

2023-08-22T20:12:14Z

+Abbildung TPUv4

← Nächstältere Version		Version vom 22. August 2023, 22:12 Uhr
Zeile 1:		Zeile 1:
			[[Datei:TPU v4.png\|thumb\|right\|TPUs der vierten Generation. Die färbigen Schläuche führen die Kühlflüssigkeit zu den vier ASICs]]
	'''Tensor Processing Units''' ('''TPUs'''), auch '''[[Tensor]]-Prozessoren''', sind [[Anwendungsspezifische integrierte Schaltung\|anwendungsspezifische Chips]] um Anwendungen im Rahmen von [[Maschinelles Lernen\|maschinellem Lernen]] zu beschleunigen. TPUs werden vor allem genutzt, um Daten in [[Künstliches neuronales Netz\|künstlichen neuronalen Netzen]], vgl. [[Deep Learning]], zu verarbeiten.		'''Tensor Processing Units''' ('''TPUs'''), auch '''[[Tensor]]-Prozessoren''', sind [[Anwendungsspezifische integrierte Schaltung\|anwendungsspezifische Chips]] um Anwendungen im Rahmen von [[Maschinelles Lernen\|maschinellem Lernen]] zu beschleunigen. TPUs werden vor allem genutzt, um Daten in [[Künstliches neuronales Netz\|künstlichen neuronalen Netzen]], vgl. [[Deep Learning]], zu verarbeiten.

Aka: Abkürzung korrigiert, Datumsformat im Einzelnachweis korrigiert, Leerzeichen in Überschrift, Kleinkram

2023-04-06T14:15:31Z

Abkürzung korrigiert, Datumsformat im Einzelnachweis korrigiert, Leerzeichen in Überschrift, Kleinkram

← Nächstältere Version		Version vom 6. April 2023, 16:15 Uhr
Zeile 22:		Zeile 22:

	=== Vierte Generation ===		=== Vierte Generation ===
	Die vierte Generation von Googles TPU (''TPU v4'') wurde von Google im Dezember 2021 vorgestellt.<ref>{{Internetquelle \|url=https://cloud.google.com/blog/topics/tpus/google-showcases-cloud-tpu-v4-pods-for-large-model-training \|titel=Google showcases Cloud TPU v4 Pods for large model training {{!}} \|abruf=2022-04-11 \|sprache=de}}</ref>		Die vierte Generation von Googles TPU (''TPU v4'') wurde von Google im Dezember 2021 vorgestellt.<ref>{{Internetquelle \|url=https://cloud.google.com/blog/topics/tpus/google-showcases-cloud-tpu-v4-pods-for-large-model-training \|titel=Google showcases Cloud TPU v4 Pods for large model training {{!}} \|abruf=2022-04-11 \|sprache=de}}</ref>

	Mit den sogenannten SparseCores und Optical Circuit Switches (OCS) kann der TPU v4 interne Verbindungen dynamisch rekonfigurieren und skalieren. Das optische Netzwerk kann außerdem an die Struktur des berechneten KI-Modells angepasst werden. Die Sicherheit soll durch die Trennung der Racks auf Netzwerkebene erhöht werden. Der OCS ist verhältnismäßig günstig, da er unter fünf Prozent der Gesamtkosten der TPU ausmacht. Bei der Leistungsaufnahme schlägt das optische Netzwerk mit unter drei Prozent ebenfalls kaum zu Buche.<ref>golem.de, Johannes Hiltscher: [https://www.golem.de/news/google-erklaert-tpu-v4-ki-supercomputer-mit-flexiblem-optischen-netz-2304-173234-2.html Google erklärt TPU v4: KI-Supercomputer mit flexiblem optischen Netz], 5. April 2023</ref>		Mit den sogenannten SparseCores und Optical Circuit Switches (OCS) kann der TPU v4 interne Verbindungen dynamisch rekonfigurieren und skalieren. Das optische Netzwerk kann außerdem an die Struktur des berechneten KI-Modells angepasst werden. Die Sicherheit soll durch die Trennung der Racks auf Netzwerkebene erhöht werden. Der OCS ist verhältnismäßig günstig, da er unter fünf Prozent der Gesamtkosten der TPU ausmacht. Bei der Leistungsaufnahme schlägt das optische Netzwerk mit unter drei Prozent ebenfalls kaum zu Buche.<ref>golem.de, Johannes Hiltscher: [https://www.golem.de/news/google-erklaert-tpu-v4-ki-supercomputer-mit-flexiblem-optischen-netz-2304-173234-2.html Google erklärt TPU v4: KI-Supercomputer mit flexiblem optischen Netz], 5. April 2023</ref>

	Die TPU v4 hat dank einer Umstellung auf eine 7-nm-Fertigung und einer Transistorzahl von 22 Milliarden eine mehr als doppelt so hohe Rechenleistung von 275 TFLOPS bei [[bfloat16]] und [[int8]]. Trotzdem ist sie mit einer Größe von nur 600 mm² kleiner und verbraucht maximal 192 Watt, was im Vergleich zur TPU v3 eine Einsparung darstellt.<ref>{{Internetquelle\|autor=Norman P. Jouppi u.a. \|url=https://arxiv.org/abs/2304.01433 \|titel=TPU v4: An Optically Reconfigurable Supercomputer for Machine Learning with Hardware Support for Embeddings \|werk=[[arxiv.org]] \| sprache=en \|datum=2023-04-04 \|abruf=2023-04-06 \|abruf-verborgen=1}} {{DOI\|10.48550/arXiv.2304.01433}}</ref>		Die TPU v4 hat dank einer Umstellung auf eine 7-nm-Fertigung und einer Transistorzahl von 22 Milliarden eine mehr als doppelt so hohe Rechenleistung von 275 TFLOPS bei [[bfloat16]] und [[int8]]. Trotzdem ist sie mit einer Größe von nur 600 mm² kleiner und verbraucht maximal 192 Watt, was im Vergleich zur TPU v3 eine Einsparung darstellt.<ref>{{Internetquelle\|autor=Norman P. Jouppi u. a. \|url=https://arxiv.org/abs/2304.01433 \|titel=TPU v4: An Optically Reconfigurable Supercomputer for Machine Learning with Hardware Support for Embeddings \|werk=[[arxiv.org]] \| sprache=en \|datum=2023-04-04 \|abruf=2023-04-06 \|abruf-verborgen=1}} {{DOI\|10.48550/arXiv.2304.01433}}</ref>

	== Tabellarische Übersicht über einzelne TPU-Parameter==		== Tabellarische Übersicht über einzelne TPU-Parameter ==
	{\| class="wikitable"		{\| class="wikitable"
	\|+Tensor Processing Units<ref name=Cloud-System-Architecture>{{Cite web \|title=System Architecture {{!}} Cloud TPU \|url=https://cloud.google.com/tpu/docs/system-architecture-tpu-vm \|access-date=2022-12-11 \|website=Google Cloud \|language=en}}</ref><ref name='TPU_memory'>{{cite news\|last1=Kennedy\|first1=Patrick\|title=Case Study on the Google TPU and GDDR5 from Hot Chips 29\|url=https://www.servethehome.com/case-study-google-tpu-gddr5-hot-chips-29/\|access-date=23 ~~August 2017~~\|publisher=Serve The Home\|date=22 ~~August 2017~~}}</ref><ref>{{Internetquelle\|autor= \|url=https://cloud.google.com/blog/products/ai-machine-learning/google-breaks-ai-performance-records-in-mlperf-with-worlds-fastest-training-supercomputer?hl=en \|titel=Google wins MLPerf benchmark contest with fastest ML training supercomputer – Google Cloud Blog \|werk=cloud.google.com \| sprache=en \|datum=2020-07-30 \|abruf=2023-04-06}}</ref>		\|+Tensor Processing Units<ref name=Cloud-System-Architecture>{{Cite web \|title=System Architecture {{!}} Cloud TPU \|url=https://cloud.google.com/tpu/docs/system-architecture-tpu-vm \|access-date=2022-12-11 \|website=Google Cloud \|language=en}}</ref><ref name='TPU_memory'>{{cite news\|last1=Kennedy\|first1=Patrick\|title=Case Study on the Google TPU and GDDR5 from Hot Chips 29\|url=https://www.servethehome.com/case-study-google-tpu-gddr5-hot-chips-29/\|access-date=2017-08-23\|publisher=Serve The Home\|date=2017-08-22}}</ref><ref>{{Internetquelle\|autor= \|url=https://cloud.google.com/blog/products/ai-machine-learning/google-breaks-ai-performance-records-in-mlperf-with-worlds-fastest-training-supercomputer?hl=en \|titel=Google wins MLPerf benchmark contest with fastest ML training supercomputer – Google Cloud Blog \|werk=cloud.google.com \| sprache=en \|datum=2020-07-30 \|abruf=2023-04-06}}</ref>
	! !! TPU v1 !! TPU v2 !! TPU v3 !! TPU v4 !! Edge v1		! !! TPU v1 !! TPU v2 !! TPU v3 !! TPU v4 !! Edge v1
	\|-		\|-
Zeile 65:		Zeile 65:
	== Literatur ==		== Literatur ==
	* Norman P. Jouppi, Cliff Young, Nishant Patil, David Patterson: ''[https://cacm.acm.org/magazines/2018/9/230571-a-domain-specific-architecture-for-deep-neural-networks/fulltext A domain-specific architecture for deep neural networks.]'' In: ''Communications of the ACM.'' 61, 2018, S. 50, {{DOI\|10.1145/3154484}}.		* Norman P. Jouppi, Cliff Young, Nishant Patil, David Patterson: ''[https://cacm.acm.org/magazines/2018/9/230571-a-domain-specific-architecture-for-deep-neural-networks/fulltext A domain-specific architecture for deep neural networks.]'' In: ''Communications of the ACM.'' 61, 2018, S. 50, {{DOI\|10.1145/3154484}}.
	* {{Internetquelle\|autor=Norman P. Jouppi u.a. \|url=https://arxiv.org/abs/2304.01433 \|titel=TPU v4: An Optically Reconfigurable Supercomputer for Machine Learning with Hardware Support for Embeddings \|werk=[[arxiv.org]] \| sprache=en \|datum=2023-04-04 \|abruf=2023-04-06 \|abruf-verborgen=1}} {{DOI\|10.48550/arXiv.2304.01433}}		* {{Internetquelle\|autor=Norman P. Jouppi u. a. \|url=https://arxiv.org/abs/2304.01433 \|titel=TPU v4: An Optically Reconfigurable Supercomputer for Machine Learning with Hardware Support for Embeddings \|werk=[[arxiv.org]] \| sprache=en \|datum=2023-04-04 \|abruf=2023-04-06 \|abruf-verborgen=1}} {{DOI\|10.48550/arXiv.2304.01433}}

	== Weblinks ==		== Weblinks ==

질량 분석: /* Tabellarische Übersicht über einzelne TPU-Parameter */ form

2023-04-06T06:35:53Z

Tabellarische Übersicht über einzelne TPU-Parameter: form

← Nächstältere Version		Version vom 6. April 2023, 08:35 Uhr
Zeile 31:		Zeile 31:
	{\| class="wikitable"		{\| class="wikitable"
	\|+Tensor Processing Units<ref name=Cloud-System-Architecture>{{Cite web \|title=System Architecture {{!}} Cloud TPU \|url=https://cloud.google.com/tpu/docs/system-architecture-tpu-vm \|access-date=2022-12-11 \|website=Google Cloud \|language=en}}</ref><ref name='TPU_memory'>{{cite news\|last1=Kennedy\|first1=Patrick\|title=Case Study on the Google TPU and GDDR5 from Hot Chips 29\|url=https://www.servethehome.com/case-study-google-tpu-gddr5-hot-chips-29/\|access-date=23 August 2017\|publisher=Serve The Home\|date=22 August 2017}}</ref><ref>{{Internetquelle\|autor= \|url=https://cloud.google.com/blog/products/ai-machine-learning/google-breaks-ai-performance-records-in-mlperf-with-worlds-fastest-training-supercomputer?hl=en \|titel=Google wins MLPerf benchmark contest with fastest ML training supercomputer – Google Cloud Blog \|werk=cloud.google.com \| sprache=en \|datum=2020-07-30 \|abruf=2023-04-06}}</ref>		\|+Tensor Processing Units<ref name=Cloud-System-Architecture>{{Cite web \|title=System Architecture {{!}} Cloud TPU \|url=https://cloud.google.com/tpu/docs/system-architecture-tpu-vm \|access-date=2022-12-11 \|website=Google Cloud \|language=en}}</ref><ref name='TPU_memory'>{{cite news\|last1=Kennedy\|first1=Patrick\|title=Case Study on the Google TPU and GDDR5 from Hot Chips 29\|url=https://www.servethehome.com/case-study-google-tpu-gddr5-hot-chips-29/\|access-date=23 August 2017\|publisher=Serve The Home\|date=22 August 2017}}</ref><ref>{{Internetquelle\|autor= \|url=https://cloud.google.com/blog/products/ai-machine-learning/google-breaks-ai-performance-records-in-mlperf-with-worlds-fastest-training-supercomputer?hl=en \|titel=Google wins MLPerf benchmark contest with fastest ML training supercomputer – Google Cloud Blog \|werk=cloud.google.com \| sprache=en \|datum=2020-07-30 \|abruf=2023-04-06}}</ref>
	! !! ~~TPUv1~~ !! ~~TPUv2~~ !! ~~TPUv3~~ !! ~~TPUv4~~ !! Edge v1		! !! TPU v1 !! TPU v2 !! TPU v3 !! TPU v4 !! Edge v1
	\|-		\|-
	\| Einführungsdatum \|\| 2016 \|\| 2017 \|\| 2018 \|\| 2021 \|\| 2018		\| Einführungsdatum \|\| 2016 \|\| 2017 \|\| 2018 \|\| 2021 \|\| 2018

질량 분석: /* Tabellarische Übersicht über einzelne TPU-Parameter */ rf

2023-04-06T06:35:05Z

Tabellarische Übersicht über einzelne TPU-Parameter: rf

← Nächstältere Version		Version vom 6. April 2023, 08:35 Uhr
Zeile 30:		Zeile 30:
	== Tabellarische Übersicht über einzelne TPU-Parameter==		== Tabellarische Übersicht über einzelne TPU-Parameter==
	{\| class="wikitable"		{\| class="wikitable"
	\|+Tensor Processing Units<ref name=Cloud-System-Architecture>{{Cite web \|title=System Architecture {{!}} Cloud TPU \|url=https://cloud.google.com/tpu/docs/system-architecture-tpu-vm \|access-date=2022-12-11 \|website=Google Cloud \|language=en}}</ref><ref name='TPU_memory'>{{cite news\|last1=Kennedy\|first1=Patrick\|title=Case Study on the Google TPU and GDDR5 from Hot Chips 29\|url=https://www.servethehome.com/case-study-google-tpu-gddr5-hot-chips-29/\|access-date=23 August 2017\|publisher=Serve The Home\|date=22 August 2017}}</ref><ref>[https://cloud.google.com/blog/products/ai-machine-learning/google-breaks-ai-performance-records-in-mlperf-with-worlds-fastest-training-supercomputer ~~Stay~~ ~~tuned,~~ ~~more~~ ~~information~~ on ~~TPU~~ v4 is ~~coming~~ ~~soon],~~ ~~retrieved~~ 2020-08-06.</ref>		\|+Tensor Processing Units<ref name=Cloud-System-Architecture>{{Cite web \|title=System Architecture {{!}} Cloud TPU \|url=https://cloud.google.com/tpu/docs/system-architecture-tpu-vm \|access-date=2022-12-11 \|website=Google Cloud \|language=en}}</ref><ref name='TPU_memory'>{{cite news\|last1=Kennedy\|first1=Patrick\|title=Case Study on the Google TPU and GDDR5 from Hot Chips 29\|url=https://www.servethehome.com/case-study-google-tpu-gddr5-hot-chips-29/\|access-date=23 August 2017\|publisher=Serve The Home\|date=22 August 2017}}</ref><ref>{{Internetquelle\|autor= \|url=https://cloud.google.com/blog/products/ai-machine-learning/google-breaks-ai-performance-records-in-mlperf-with-worlds-fastest-training-supercomputer?hl=en \|titel=Google wins MLPerf benchmark contest with fastest ML training supercomputer – Google Cloud Blog \|werk=cloud.google.com \| sprache=en \|datum=2020-07-30 \|abruf=2023-04-06}}</ref>
	! !! TPUv1 !! TPUv2 !! TPUv3 !! TPUv4 !! Edge v1		! !! TPUv1 !! TPUv2 !! TPUv3 !! TPUv4 !! Edge v1
	\|-		\|-

질량 분석: /* Tabellarische Übersicht über einzelne TPU-Parameter */ rf

2023-04-06T06:34:04Z

Tabellarische Übersicht über einzelne TPU-Parameter: rf

← Nächstältere Version		Version vom 6. April 2023, 08:34 Uhr
Zeile 30:		Zeile 30:
	== Tabellarische Übersicht über einzelne TPU-Parameter==		== Tabellarische Übersicht über einzelne TPU-Parameter==
	{\| class="wikitable"		{\| class="wikitable"
	\|+Tensor Processing Units<ref name=Cloud-System-Architecture>{{Cite web \|title=System Architecture {{!}} Cloud TPU \|url=https://cloud.google.com/tpu/docs/system-architecture-tpu-vm \|access-date=2022-12-11 \|website=Google Cloud \|language=en}}</ref><ref name='TPU_memory'>{{cite news\|last1=Kennedy\|first1=Patrick\|title=Case Study on the Google TPU and GDDR5 from Hot Chips 29\|url=https://www.servethehome.com/case-study-google-tpu-gddr5-hot-chips-29/\|access-date=23 August 2017\|publisher=Serve The Home\|date=22 August 2017}}</ref>		\|+Tensor Processing Units<ref name=Cloud-System-Architecture>{{Cite web \|title=System Architecture {{!}} Cloud TPU \|url=https://cloud.google.com/tpu/docs/system-architecture-tpu-vm \|access-date=2022-12-11 \|website=Google Cloud \|language=en}}</ref><ref name='TPU_memory'>{{cite news\|last1=Kennedy\|first1=Patrick\|title=Case Study on the Google TPU and GDDR5 from Hot Chips 29\|url=https://www.servethehome.com/case-study-google-tpu-gddr5-hot-chips-29/\|access-date=23 August 2017\|publisher=Serve The Home\|date=22 August 2017}}</ref><ref>[https://cloud.google.com/blog/products/ai-machine-learning/google-breaks-ai-performance-records-in-mlperf-with-worlds-fastest-training-supercomputer Stay tuned, more information on TPU v4 is coming soon], retrieved 2020-08-06.</ref>
			! !! TPUv1 !! TPUv2 !! TPUv3 !! TPUv4 !! Edge v1
	! !! TPUv1 !! TPUv2 !! TPUv3 !! TPUv4<ref name=Cloud-System-Architecture/><ref>[https://cloud.google.com/blog/products/ai-machine-learning/google-breaks-ai-performance-records-in-mlperf-with-worlds-fastest-training-supercomputer Stay tuned, more information on TPU v4 is coming soon], retrieved 2020-08-06.</ref> !! Edge v1
	\|-		\|-
	\| Einführungsdatum \|\| 2016 \|\| 2017 \|\| 2018 \|\| 2021 \|\| 2018		\| Einführungsdatum \|\| 2016 \|\| 2017 \|\| 2018 \|\| 2021 \|\| 2018

질량 분석: /* Generationen der Tensor Processing Units */ - wl

2023-04-06T05:27:21Z

Generationen der Tensor Processing Units: - wl

← Nächstältere Version		Version vom 6. April 2023, 07:27 Uhr
Zeile 6:		Zeile 6:
	Die erste Generation von Googles TPU wurde auf der [[Google I/O#2016\|Google I/O 2016]] vorgestellt und speziell entworfen, um die Anwendung eines bereits trainierten [[Künstliches neuronales Netz\|künstlichen neuronalen Netzwerks]] zu unterstützen bzw. zu beschleunigen.<ref name="supercharge" /> Dies wurde u. a. durch eine geringere Präzision im Vergleich zu normalen [[CPU]]s oder [[Grafikprozessor\|GPUs]] und einer Spezialisierung auf Matrizenoperationen erreicht.		Die erste Generation von Googles TPU wurde auf der [[Google I/O#2016\|Google I/O 2016]] vorgestellt und speziell entworfen, um die Anwendung eines bereits trainierten [[Künstliches neuronales Netz\|künstlichen neuronalen Netzwerks]] zu unterstützen bzw. zu beschleunigen.<ref name="supercharge" /> Dies wurde u. a. durch eine geringere Präzision im Vergleich zu normalen [[CPU]]s oder [[Grafikprozessor\|GPUs]] und einer Spezialisierung auf Matrizenoperationen erreicht.

	Die TPU besteht aus einem [[Systolischer Array\|systolischen Array]] mit einer 256×256-8-Bit-[[Matrizenmultiplikationseinheit]] (MMU), welche von einem Mikroprozessor mit einem [[Complex Instruction Set Computer\|CISC]]-Befehlsatz angesteuert wird. Der Chip wurde in einem 28-nm-Prozess gefertigt und taktet mit 700 MHz bei einer [[Thermal Design Power]] von 28 bis 40 W. Die TPU besitzt 28 MiB Arbeitsspeicher am Chip. Zudem sind 4-MiB-32-Bit-[[Akkumulator (Computer)\|Akkumulatoren]] verbaut, welche die Ergebnisse der Matrizenmultiplikationseinheit übernehmen. Die TPU kann [[Matrizenmultiplikation]]en, [[Faltung (Mathematik)\|Faltungen]] und [[Künstliches Neuron#Aktivierungsfunktionen\|Aktivierungsfunktionen]], sowie Datentransfer zum Hostsystem über [[PCI Express\|PCIe]] 3.0 oder zum DDR3 DRAM, welcher sich am Board befindet, ausführen.		Die TPU besteht aus einem [[Systolischer Array\|systolischen Array]] mit einer 256×256-8-Bit-Matrizenmultiplikationseinheit (MMU), welche von einem Mikroprozessor mit einem [[Complex Instruction Set Computer\|CISC]]-Befehlsatz angesteuert wird. Der Chip wurde in einem 28-nm-Prozess gefertigt und taktet mit 700 MHz bei einer [[Thermal Design Power]] von 28 bis 40 W. Die TPU besitzt 28 MiB Arbeitsspeicher am Chip. Zudem sind 4-MiB-32-Bit-[[Akkumulator (Computer)\|Akkumulatoren]] verbaut, welche die Ergebnisse der Matrizenmultiplikationseinheit übernehmen. Die TPU kann [[Matrizenmultiplikation]]en, [[Faltung (Mathematik)\|Faltungen]] und [[Künstliches Neuron#Aktivierungsfunktionen\|Aktivierungsfunktionen]], sowie Datentransfer zum Hostsystem über [[PCI Express\|PCIe]] 3.0 oder zum DDR3 DRAM, welcher sich am Board befindet, ausführen.

	=== Zweite Generation ===		=== Zweite Generation ===