Veel AI-toepassingen gebruik je via internet: je invoer gaat naar een server, daar rekent een model en het antwoord komt terug. Maar steeds meer AI draait ook direct op je eigen computer, laptop of telefoon. Dat heet lokale AI of on-device AI. Op deze pagina lees je hoe dat werkt, wat je ervoor nodig hebt en wat de voor- en nadelen zijn.
AI die al in je apparaat zit
Je gebruikt waarschijnlijk al lokale AI zonder het te merken. Denk aan het herkennen van gezichten in je fotobibliotheek, ruisonderdrukking van je microfoon, achtergrondvervaging bij videobellen of het omzetten van spraak naar tekst. Besturingssystemen en programma’s gebruiken daarvoor de processor, de grafische chip of een NPU. Computers met een krachtige NPU worden soms als “AI-pc” aangeduid.
Zelf een model draaien
Je kunt ook zelf een AI-model op je computer installeren, bijvoorbeeld een taalmodel of een beeldgenerator. Er zijn programma’s die dat eenvoudig maken, en open modellen die je mag downloaden en gebruiken. Belangrijk zijn:
- Geheugen: het model moet in het werkgeheugen of videogeheugen passen. Grotere modellen vragen meer geheugen.
- Rekenkracht: een videokaart met voldoende videogeheugen maakt lokale AI veel sneller. Zonder werkt het vaak ook, maar trager.
- Opslag: modelbestanden kunnen groot zijn, dus je hebt voldoende vrije ruimte nodig.
Om modellen kleiner te maken, worden ze vaak gekwantiseerd: de getallen in het model worden met minder precisie opgeslagen. Het model wordt daardoor kleiner en sneller, met meestal een beperkt kwaliteitsverlies.
Lokaal of in de cloud?
Lokale AI heeft een paar duidelijke voordelen. Je gegevens hoeven je apparaat niet te verlaten, wat goed is voor je privacy. Het werkt ook zonder internetverbinding, en je bent niet afhankelijk van een dienst die kan veranderen of verdwijnen. Daar staat tegenover dat de modellen die thuis passen meestal kleiner en minder capabel zijn dan de grootste modellen in de cloud. Ook zorg je zelf voor updates en instellingen.
Veilig gebruik
Download modellen en software alleen uit betrouwbare bronnen, net als bij andere programma’s en apps. Gebruik je een clouddienst, lees dan wat er met je invoer gebeurt; zie Privacy online. In de artikelen hieronder lees je hoe je lokaal een model draait, wat een AI-pc is en hoe lokale AI zich verhoudt tot AI in de cloud.