Tensor Processing Unit
De Tensor Processing Unit (TPU) of tensorverwerkingseenheid is een AI-accelerator die door Google is ontwikkeld.[1] Het is een applicatiespecifiek geïntegreerd circuit (ASIC) ontworpen speciaal voor het machinaal leren van kunstmatige neurale netwerken, met name bedoeld voor gebruik van Google's eigen TensorFlow-software.[2] Google begon de TPU's intern te gebruiken in 2015 en stelde ze in 2018 beschikbaar voor gebruik door derden, zowel als onderdeel van zijn cloudinfrastructuur als door een kleinere versie van de chip te koop aan te bieden.[3]
Overzicht
De tensor processing unit werd in mei 2016 aangekondigd op Google I/O, toen het bedrijf zei dat de TPU al meer dan een jaar in hun datacenters werd gebruikt.[4] De chip is speciaal ontworpen voor Google's TensorFlow-framework, een wiskundebibliotheek die wordt gebruikt voor machine learning-toepassingen zoals neurale netwerken. Echter gebruikte Google ook in 2017 nog steeds traditionele CPU's en GPU's voor andere vormen van machine learning.
De TPU's van Google zijn gemaakt op basis van een gesloten ontwerp. Sommige modellen zijn in de handel verkrijgbaar en op 12 februari 2018 meldde The New York Times dat Google "andere bedrijven zou toestaan toegang tot die chips te kopen via zijn cloud computing-service." Google heeft gezegd dat ze werden gebruikt in de AlphaGo versus Lee Sedol-serie van Go-spellen tussen mens en machine,[1] evenals in het AlphaZero-systeem, dat Chess, Shogi en Go-programma's produceerde die alleen de spelregels leerden kennen en toch veel bestaande en handmatig geprogrammeerde softwarematige spelers kon verslaan. Google heeft ook TPU's gebruikt voor Google Street View-tekstverwerking en kon alle bekende tekst in de Street View-database in minder dan vijf dagen vinden. Voor Google Photos kan een individuele TPU meer dan 100 miljoen foto's per dag verwerken. Het wordt ook gebruikt in RankBrain waarmee Google zoekresultaten levert.
Vergeleken met een grafische verwerkingseenheid (GPU), is een TPU ontworpen om een hoog volume aan lageprecisie-berekeningen te verwerken met meer invoer/uitvoer bewerkingen per verbruikte eenheid energie. Verdere verschillen zijn het ontbreken van hardware voor texture-mapping en rasterisation. De TPU ASIC's zijn gemonteerd in een koellichaam, dat volgens Norman Jouppi in een harde-schijfsleuf in een datacenterrek past. Verschillende soorten processors zijn geschikt voor verschillende soorten machine learning-modellen en TPU's zijn zeer geschikt voor convolutionele neuralen netwerken, terwijl GPU's voordelen hebben voor sommige volledig verbonden neurale netwerken en CPU's op hun beurt weer voordelen kunnen hebben bij Recurrent Neural Networks.
Producten
| TPU v1 | TPU v2 | TPU v3 | TPU b4 | TPU v5e | TPU v5p | TPU v6e | TPU v7 | |
|---|---|---|---|---|---|---|---|---|
| Introductiedatum | 2016 | 2017 | 2018 | 2021 | 2023 | 2023 | 2024 | 2025 |
| Fabricageproces | 28 nm | 16 nm | 16 nm | 7 nm | ||||
| Die-grootte (mm2) | 331 | < 625 | < 700 | < 400 | 300-350 | |||
| On-chip geheugen (MiB) | 28 | 32 | 32 | 144 | ||||
| Kloksnelheid (MHz) | 700 | 700 | 940 | 1050 | ||||
| Geheugen (GB) | 8 GB DDR3 | 16 GB HBM | 32 GB HBM | 32 GB HBM | 16 GB HBM | 95 GB HBM | 32 GB HBM | 192 GB HBM |
| Geheugenbandbreedte (GB/s) | 34 | 600 | 900 | 1200 | 819 | 2765 | 1640 | 7370 |
| TDP (W) | 75 | 280 | 450 | 175 | ||||
| TOPS (Tera-operaties per seconde) | 92 (int8)[5] | 180 (bf16)[6] | 123 (bf16)[7] | 275 (bf16)
275 (int8)[8] |
197 (bf16)
393 (int8) |
459 (bf16)
918 (int8) |
918 (bf16)
1836 (int8)[9] |
4614 (fp8) |
TPU v1
In mei 2016 kondigde Google zijn eerste generatie Tensor Processing Unit aan. Google zei dat ze al meer dan een jaar TPU's in hun datacenters gebruikten. Hierbij had Google bevonden dat deze systemen een orde van grootte betere prestaties per watt leverden bij machine-learning toepassingen.
TPU v2
In mei 2017 kondigde Google de tweede generatie TPUs aan, naast de beschikbaarheid van de TPU's in Google Compute Engine. De tweede generatie TPU's leveren tot 180 teraflops aan prestaties, en wanneer georganiseerd in clusters van 64 TPU's, bieden ze gezamenlijk tot 11,5 petaflops.
TPU v3
In mei 2018 kondigde Google de derde generatie TPU's aan die tot 420 teraflops aan prestaties en 128 GB werkgeheugen met hoge bandbreedte leveren. Cloud TPU v3 Pods bieden 100+ petaflops aan prestaties en 32 TB werkgeheugen.
In februari 2018 maakte Google bekend dat de TPU's in bèta beschikbaar werden op het Google Cloud Platform.
TPU v4
In mei 2021 kondigde Google de vierde generatie TPU's aan, die in een cloud pod met 4096 TPU's meer dan een exaflops aan rekenkracht zouden kunnen leveren. De individuele chips zouden twee keer zo snel zijn als die van de derde generatie.[10]
TPU v5e
In juni 2021 onthulde Google de vijfde generatie TPU's aan, de eerste generatie die ontworpen is met behulp van een nieuwe toepassing van Deep Reinforcement learning.[11]
TPU v5p
In december 2023 kondigde Google de TPU v5p aan.[12], die bijna twee keer zo snel is als TPU v4,[13]. Op basis daarvan en de relatieve prestaties van TPU v4 ten opzichte van de A100, werd er gezegd dat de TPU v5p even snel of zelfs sneller is dan een H100.[14]
TPU v6e
In mei 2024 kondigde Google tijdens de Google I/O-conferentie de TPU v6e aan, die eind oktober 2024 beschikbaar kwam in preview.[15] Google claimde een prestatieverbetering van 4,7 keer ten opzichte van TPU v5e,[16] dankzij grotere matrixvermenigvuldigings-units en een verhoogde kloksnelheid. De capaciteit en bandbreedte van High Bandwidth Memory (HBM) zijn ook verdubbeld. Een pod kan tot 256 TPU v6e-eenheden bevatten.[17]
TPU v7
In april 2025, tijdens de Google Cloud Next-conferentie, onthulde Google de TPU v7. Deze nieuwe chip, genaamd Ironwood, zal beschikbaar zijn in twee configuraties: een cluster met 256 chips en een cluster met 9.216 chips. Ironwood heeft een piek rekenprestatie van 4.614 TFLOP/s per TPU.[18]
Zie ook
- TensorFlow, een softwarebibliotheek en framework voor Machine Learning doeleinden.
- ↑ a b Bakker, Jasper, Zelfontworpen Google-processor helpt AI vooruit. www.computable.nl (26 mei 2016). Geraadpleegd op 26 februari 2022.
- ↑ (en) Cloud Tensor Processing Units (TPUs). Google Cloud. Geraadpleegd op 26 februari 2022.
- ↑ Soeteman, Krijn, Google gebruikt eigen deep-learning-chip voor kunstmatige intelligentie. Tweakers (19 mei 2016). Geraadpleegd op 26 februari 2022.
- ↑ (en) Osborne, Joe, Google's Tensor Processing Unit explained: this is what the future of computing looks like. TechRadar (22 augustus 2016). Geraadpleegd op 26 februari 2022.
- ↑ (en) Sato, An in-depth look at Google’s first Tensor Processing Unit (TPU). Google (12 mei 2017). Geraadpleegd op 9 juli 2025.
- ↑ (en) Dean, Build and train machine learning models on our new Google Cloud TPUs. Google (27 mei 2017). Geraadpleegd op 9 juli 2025.
- ↑ (en) TPU v3. Google. Geraadpleegd op 9 juli 2025.
- ↑ (en) TPU v4. Google. Geraadpleegd op 9 juli 2025.
- ↑ (en) TPU v6e. Google. Geraadpleegd op 9 juli 2025.
- ↑ van Miltenburg, Google claimt dat tpu v4-pods exaflops aan rekenkracht bieden. Tweakers (19 mei 2021). Geraadpleegd op 26 februari 2022.
- ↑ Mirhoseini, Azalia, Goldie, Anna (1 juni 2021). A graph placement methodology for fast chip design. Nature 594 (7962): 207–212. PMID 35361999. DOI: 10.1038/s41586-022-04657-6. Geraadpleegd op 4 juni 2023.
- ↑ Enabling next-generation AI workloads: Announcing TPU v5p and AI Hypercomputer (6 december 2023). Geraadpleegd op 9 april 2024.
- ↑ Vahdat, Amin, Enabling next-generation AI workloads: Announcing TPU v5p and AI Hypercomputer (6 december 2023). Geraadpleegd op 8 april 2024.
- ↑ Afifi-Sabet, Keumars, Google is rapidly turning into a formidable opponent to BFF Nvidia — the TPU v5p AI chip powering its hypercomputer is faster and has more memory and bandwidth than ever before, beating even the mighty H100. TechRadar (23 december 2023). Geraadpleegd op 8 april 2024.
- ↑ Lohmeyer, Mark, Powerful infrastructure innovations for your AI-first future (30 oktober 2024).
- ↑ Velasco, Alan, Google Cloud Unveils Trillium, Its 6th-Gen TPU With A 4.7X AI Performance Leap. HotHardware. HotHardware (15 mei 2024). Geraadpleegd op 15 mei 2024.
- ↑ Introducing Trillium, sixth-generation TPUs. Google Cloud Blog. Geraadpleegd op 17 mei 2024.
- ↑ Wiggers, Kyle, Ironwood is Google's nieuwste AI-versnellingschip. TechCrunch (9 april 2025). Geraadpleegd op 10 april 2025.
- Dit artikel of een eerdere versie ervan is een (gedeeltelijke) vertaling van het artikel Tensor Processing Unit op de Engelstalige Wikipedia, dat onder de licentie Creative Commons Naamsvermelding/Gelijk delen valt. Zie de bewerkingsgeschiedenis aldaar.