Naar inhoud springen

Tensor Processing Unit

Uit Wikipedia, de vrije encyclopedie
De printervriendelijke versie wordt niet langer ondersteund en kan weergavefouten bevatten. Werk uw browserbladwijzers bij en gebruik de gewone afdrukfunctie van de browser.
Tensor Processing Unit v3

De Tensor Processing Unit (TPU) of tensorverwerkingseenheid is een AI-accelerator die door Google is ontwikkeld.[1] Het is een applicatiespecifiek geïntegreerd circuit (ASIC) ontworpen speciaal voor het machinaal leren van kunstmatige neurale netwerken, met name bedoeld voor gebruik van Google's eigen TensorFlow-software.[2] Google begon de TPU's intern te gebruiken in 2015 en stelde ze in 2018 beschikbaar voor gebruik door derden, zowel als onderdeel van zijn cloudinfrastructuur als door een kleinere versie van de chip te koop aan te bieden.[3]

Overzicht

De tensor processing unit werd in mei 2016 aangekondigd op Google I/O, toen het bedrijf zei dat de TPU al meer dan een jaar in hun datacenters werd gebruikt.[4] De chip is speciaal ontworpen voor Google's TensorFlow-framework, een wiskundebibliotheek die wordt gebruikt voor machine learning-toepassingen zoals neurale netwerken. Echter gebruikte Google ook in 2017 nog steeds traditionele CPU's en GPU's voor andere vormen van machine learning.

De TPU's van Google zijn gemaakt op basis van een gesloten ontwerp. Sommige modellen zijn in de handel verkrijgbaar en op 12 februari 2018 meldde The New York Times dat Google "andere bedrijven zou toestaan toegang tot die chips te kopen via zijn cloud computing-service." Google heeft gezegd dat ze werden gebruikt in de AlphaGo versus Lee Sedol-serie van Go-spellen tussen mens en machine,[1] evenals in het AlphaZero-systeem, dat Chess, Shogi en Go-programma's produceerde die alleen de spelregels leerden kennen en toch veel bestaande en handmatig geprogrammeerde softwarematige spelers kon verslaan. Google heeft ook TPU's gebruikt voor Google Street View-tekstverwerking en kon alle bekende tekst in de Street View-database in minder dan vijf dagen vinden. Voor Google Photos kan een individuele TPU meer dan 100 miljoen foto's per dag verwerken. Het wordt ook gebruikt in RankBrain waarmee Google zoekresultaten levert.

Vergeleken met een grafische verwerkingseenheid (GPU), is een TPU ontworpen om een hoog volume aan lageprecisie-berekeningen te verwerken met meer invoer/uitvoer bewerkingen per verbruikte eenheid energie. Verdere verschillen zijn het ontbreken van hardware voor texture-mapping en rasterisation. De TPU ASIC's zijn gemonteerd in een koellichaam, dat volgens Norman Jouppi in een harde-schijfsleuf in een datacenterrek past. Verschillende soorten processors zijn geschikt voor verschillende soorten machine learning-modellen en TPU's zijn zeer geschikt voor convolutionele neuralen netwerken, terwijl GPU's voordelen hebben voor sommige volledig verbonden neurale netwerken en CPU's op hun beurt weer voordelen kunnen hebben bij Recurrent Neural Networks.

Producten

TPU v1 TPU v2 TPU v3 TPU b4 TPU v5e TPU v5p TPU v6e TPU v7
Introductiedatum 2016 2017 2018 2021 2023 2023 2024 2025
Fabricageproces 28 nm 16 nm 16 nm 7 nm
Die-grootte (mm2) 331 < 625 < 700 < 400 300-350
On-chip geheugen (MiB) 28 32 32 144
Kloksnelheid (MHz) 700 700 940 1050
Geheugen (GB) 8 GB DDR3 16 GB HBM 32 GB HBM 32 GB HBM 16 GB HBM 95 GB HBM 32 GB HBM 192 GB HBM
Geheugenbandbreedte (GB/s) 34 600 900 1200 819 2765 1640 7370
TDP (W) 75 280 450 175
TOPS (Tera-operaties per seconde) 92 (int8)[5] 180 (bf16)[6] 123 (bf16)[7] 275 (bf16)

275 (int8)[8]

197 (bf16)

393 (int8)

459 (bf16)

918 (int8)

918 (bf16)

1836 (int8)[9]

4614 (fp8)

TPU v1

In mei 2016 kondigde Google zijn eerste generatie Tensor Processing Unit aan. Google zei dat ze al meer dan een jaar TPU's in hun datacenters gebruikten. Hierbij had Google bevonden dat deze systemen een orde van grootte betere prestaties per watt leverden bij machine-learning toepassingen.

TPU v2

In mei 2017 kondigde Google de tweede generatie TPUs aan, naast de beschikbaarheid van de TPU's in Google Compute Engine. De tweede generatie TPU's leveren tot 180 teraflops aan prestaties, en wanneer georganiseerd in clusters van 64 TPU's, bieden ze gezamenlijk tot 11,5 petaflops.

TPU v3

In mei 2018 kondigde Google de derde generatie TPU's aan die tot 420 teraflops aan prestaties en 128 GB werkgeheugen met hoge bandbreedte leveren. Cloud TPU v3 Pods bieden 100+ petaflops aan prestaties en 32 TB werkgeheugen.

In februari 2018 maakte Google bekend dat de TPU's in bèta beschikbaar werden op het Google Cloud Platform.

TPU v4

In mei 2021 kondigde Google de vierde generatie TPU's aan, die in een cloud pod met 4096 TPU's meer dan een exaflops aan rekenkracht zouden kunnen leveren. De individuele chips zouden twee keer zo snel zijn als die van de derde generatie.[10]

TPU v5e

In juni 2021 onthulde Google de vijfde generatie TPU's aan, de eerste generatie die ontworpen is met behulp van een nieuwe toepassing van Deep Reinforcement learning.[11]

TPU v5p

In december 2023 kondigde Google de TPU v5p aan.[12], die bijna twee keer zo snel is als TPU v4,[13]. Op basis daarvan en de relatieve prestaties van TPU v4 ten opzichte van de A100, werd er gezegd dat de TPU v5p even snel of zelfs sneller is dan een H100.[14]

TPU v6e

In mei 2024 kondigde Google tijdens de Google I/O-conferentie de TPU v6e aan, die eind oktober 2024 beschikbaar kwam in preview.[15] Google claimde een prestatieverbetering van 4,7 keer ten opzichte van TPU v5e,[16] dankzij grotere matrixvermenigvuldigings-units en een verhoogde kloksnelheid. De capaciteit en bandbreedte van High Bandwidth Memory (HBM) zijn ook verdubbeld. Een pod kan tot 256 TPU v6e-eenheden bevatten.[17]

TPU v7

In april 2025, tijdens de Google Cloud Next-conferentie, onthulde Google de TPU v7. Deze nieuwe chip, genaamd Ironwood, zal beschikbaar zijn in twee configuraties: een cluster met 256 chips en een cluster met 9.216 chips. Ironwood heeft een piek rekenprestatie van 4.614 TFLOP/s per TPU.[18]

Zie ook

  • TensorFlow, een softwarebibliotheek en framework voor Machine Learning doeleinden.