AI-modellen bestaan voor een groot deel uit rekenwerk met grote tabellen getallen, zogenaamde matrices. Het gaat om enorme aantallen relatief eenvoudige berekeningen, vooral vermenigvuldigen en optellen, die grotendeels tegelijk kunnen worden uitgevoerd. Een gewone processor kan dat ook, maar niet erg efficiënt. Daarom zijn er chips die beter geschikt zijn voor dit soort werk. Op deze pagina lees je welke dat zijn en waarom.
CPU, GPU en NPU
De processor (CPU) is een alleskunner. Hij heeft een beperkt aantal krachtige rekenkernen die snel van taak kunnen wisselen. Voor AI is dat meestal niet de snelste optie, al kan een CPU kleinere modellen prima draaien.
De GPU, de chip op een videokaart, is oorspronkelijk gemaakt om beelden te berekenen. Daarvoor heeft hij duizenden eenvoudigere rekenkernen die parallel werken. Dat blijkt ook zeer geschikt voor AI. Moderne GPU’s hebben vaak extra rekeneenheden die speciaal zijn ontworpen voor de matrixberekeningen van neurale netwerken. Grote AI-modellen worden daarom vrijwel altijd getraind op grote aantallen GPU’s of vergelijkbare chips in datacenters.
Een NPU (neural processing unit) is een chip of deel van een chip dat specifiek is gemaakt voor het uitvoeren van neurale netwerken. NPU’s zitten steeds vaker in processors voor laptops en telefoons. Ze zijn minder flexibel dan een GPU, maar zeer zuinig. Dat is handig voor AI-functies die vaak of continu draaien, zoals achtergrondvervaging in videogesprekken of spraakherkenning.
Waarom geheugen zo belangrijk is
Een AI-model moet tijdens het gebruik in het geheugen staan. Hoe groter het model, hoe meer geheugen nodig is. Bij een videokaart gaat het om het eigen videogeheugen (VRAM); bij systemen met gedeeld geheugen om het gewone werkgeheugen. Ook de snelheid waarmee gegevens uit het geheugen kunnen worden gelezen, de geheugenbandbreedte, bepaalt hoe snel een model antwoord geeft.
Rekenkracht uitdrukken
Fabrikanten drukken de AI-rekenkracht van een chip vaak uit in TOPS: biljoenen bewerkingen per seconde. Dat getal geeft een indicatie, maar is lastig te vergelijken, omdat het afhangt van de rekenprecisie waarmee gemeten is. In de praktijk spelen ook geheugen, software en de manier waarop een model is geoptimaliseerd een grote rol. Meer over het meten van prestaties lees je bij Prestaties en benchmarks.
In de artikelen hieronder lees je wat een NPU is, waarom GPU’s zo geschikt zijn voor AI, wat TOPS betekent en waarom geheugen zo’n grote rol speelt.