De Mac Studio in de meterkast en wat eronder ligt

Een long-read over de verleiding van lokaal AI-hosten, de rekensom die lijkt te kloppen en de vraag die eronder hoort te liggen.

Een groepschat vol goede intenties

In een WhatsApp-groep met twee bevriende ondernemers ging het onlangs over het zelf hosten van grote taalmodellen. Het begon met een link naar een Beelink mini-pc en eindigde enkele uren later bij een nieuwe Mac Studio van vijfduizend euro en een terugverdientijd van zeven maanden. Tussen die twee punten lag een overtuigende redenering, gebouwd op reële frustraties en bijeengeharkte kennis. Niemand in de groep had kwade bedoelingen, niemand was dom of onwetend, en toch kwam er uit de optelsom iets wat bij nadere beschouwing niet klopte.

Ik was een van de drie aan tafel. Hoewel ik in die draad een sceptische positie innam, moest ik achteraf toegeven dat ook ik onderweg een technische claim had gepost die niet klopte. Dat kwam niet door onwetendheid, want als je me er rustig naar vraagt weet ik beter. Ik typte op een donderdagochtend in een WhatsApp-groep iets wat net genoeg klopte om de discussie te laten doorgaan. Dat is ongeveer het niveau waarop dit soort aankoopbeslissingen in de praktijk genomen wordt.

Die ervaring is het startpunt voor deze long-read, want de discussie die wij hadden wordt nu in ontelbaar veel kringen gevoerd. Je hoort haar bij zelfstandigen die Claude of ChatGPT intensief gebruiken en zien wat dat per maand kost, en bij ontwikkelaars die een Mac Studio op hun bureau zien staan en zich afvragen of ze daarmee van hun abonnement af kunnen. In toenemende mate hoor je haar ook binnen organisaties, waar mensen met enthousiasme en een half begrepen artikel over Apple Silicon bij hun IT-afdeling binnenlopen met een voorstel dat op het eerste gezicht logisch klinkt.

De verleiding en waarom ze echt is

Laten we de positie van de mensen die deze stap overwegen serieus nemen. Hun frustratie is reëel en hun redenering plausibel, en het zou onfair zijn de discussie te openen met een karikatuur.

Wie intensief gebruikmaakt van een frontier-model zoals Claude of GPT-5 merkt al snel dat de kosten oplopen. Een Pro-abonnement van twintig euro per maand volstaat voor incidenteel gebruik, maar wie serieus werkt met agentische workflows, grote codebases of lange contextvensters komt vrijwel onvermijdelijk uit bij pay-per-token-API-gebruik. Een creditcard die aan het eind van de maand voller is dan verwacht, is een terugkerende ervaring. Dat je dan gaat denken dat het goedkoper moet kunnen, is menselijk.

Tegelijkertijd heeft Apple Silicon de afgelopen jaren iets bijzonders mogelijk gemaakt. Omdat CPU en GPU op deze chips het geheugen delen (de zogenaamde unified memory) kan een Mac Studio met 128 of 192 gigabyte geheugen modellen draaien waarvoor je op een klassieke pc een datacenter-GPU van tienduizenden euro's nodig zou hebben. De tools zijn volwassen geworden: Ollama, LM Studio, MLX, llama.cpp. Installatie kost een middag in plaats van een weekend. Een open-weight model zoals Llama 3.3 70B of DeepSeek draait daadwerkelijk op zo'n machine.

Dan volgt de rekensom. Vier zware gebruikers betalen elk honderd à tweehonderd euro per maand aan een Claude-abonnement, samen zevenhonderd euro per maand. Een nieuwe Mac Studio van vijfduizend euro is daarmee in zeven maanden terugverdiend, en ook daarna blijft het ding nog jaren staan. Op papier een no-brainer. Hier stoppen de meeste discussies, want de som klopt, de hardware werkt en de case is rond. Alleen meet die som niet wat ze denkt te meten.

Wat de rekensom niet meet

De terugverdientijd van zeven maanden veronderstelt dat de Mac Studio het Claude-gebruik daadwerkelijk vervangt, en die aanname houdt geen stand. Frontier-modellen zoals Claude Opus of GPT-5 zijn niet uitwisselbaar met de open-weight modellen die op een Mac Studio draaien. Het kwaliteitsverschil is niet marginaal: het zijn verschillende producten met een oppervlakkig vergelijkbare interface. Wie denkt dat je het ene tegen het andere kunt inruilen, behandelt ze als fungibel. Een hamer en een elektrische boor zien er ook allebei uit als een stuk gereedschap, en toch zijn ze niet inwisselbaar.

Het scherpst voelbaar wordt dit bij serieus, iteratief werk: code schrijven waarbij meerdere bestanden tegelijk doordacht moeten worden, agents die over langere taken redeneren, complex analytisch werk met grote context. Daar zit het verschil niet in tien procent maar in aard. Een goed lokaal 70B-model produceert een antwoord dat lokaal correct is maar het grotere geheel mist. Een frontier-model houdt de samenhang vast. Wie dit aan den lijve heeft ervaren weet wat ik bedoel, en wie het nooit echt heeft vergeleken vermoedt dat het meevalt.

Daar komt bij dat de ervaring van werken met een frontier-model niet alleen in het model zit. Ze zit ook in de agentische infrastructuur eromheen: de manier waarop Claude Code of vergelijkbare tools meerdere bestanden tegelijk kunnen lezen en wijzigen, shell-commando's uitvoeren, zelfstandig debuggen en een project als geheel begrijpen. Een lokaal model installeren is één ding. Die hele omgeving nabouwen is een apart project, en een dat aan de voorkant zelden realistisch wordt ingeschat.

Het tempo is de derde factor. Een lokaal 70B-model op een Mac Studio produceert globaal acht tot vijftien tokens per seconde, Claude zestig tot honderd. Op papier is dat een factor vijf tot tien, in de praktijk zwaarder omdat iteratief werk in cycli gaat. Als elke cyclus drie keer zo lang duurt, verschuift het werkritme fundamenteel. Mensen die dit serieus proberen rapporteren vrijwel zonder uitzondering dat ze binnen twee weken terug zijn bij hun frontier-abonnement, en de reden is het tempo en niet de kwaliteit.

Een tussenstap: wat er onder de motorkap gebeurt

Om de discussie in eigen kring scherper te kunnen voeren is enige technische achtergrond nodig. Iedereen hoeft geen expert te worden, maar de meeste aankoopbeslissingen struikelen over terminologie die net verkeerd begrepen wordt.

Een groot taalmodel bestaat uit miljarden parameters: getallen die tijdens training geleerd zijn en samen de 'kennis' van het model vormen. Voor elke vraag die je stelt moeten al die parameters door het geheugen. Voor een 70B-model betekent dat ongeveer veertig tot vijftig gigabyte aan gewichten in geheugen, afhankelijk van compressie, en voor een 405B-model vier à vijf keer zoveel. Voor frontier-modellen zoals Claude Opus of GPT-5, waarvan de precieze groottes niet openbaar zijn, is het vermoedelijk aanzienlijk meer.

Hieruit volgt de eerste harde grens: je kunt geen model draaien dat groter is dan het beschikbare geheugen. Een Mac Studio met 64 gigabyte draait Llama 70B maar net en laat geen ruimte voor grotere modellen of lange context. Een Mac Studio met 192 gigabyte heeft die ruimte wel. Dat is het eerste verschil dat telt.

Het tweede verschil is snelheid. Hoe sneller het geheugen de parameters door de chip kan verplaatsen (de memory bandwidth), hoe meer tokens per seconde je krijgt. Dat leidt tot een praktische observatie: een tweedehands M1 Ultra Studio met 128 gigabyte geheugen en 800 gigabyte per seconde bandbreedte is voor LLM-werk feitelijk sneller dan een nieuwe M4 Max Studio met 64 gigabyte en 546 gigabyte per seconde, ook al is de M4-chip drie generaties nieuwer. Voor alle andere toepassingen wint de M4, voor deze specifieke toepassing niet.

Het derde verschil is wat je niet nodig hebt. Veel mensen nemen aan dat de Neural Engine in Apple Silicon de reden is dat Macs zo geschikt zijn voor LLM-werk, maar dat is feitelijk onjuist. Ollama, llama.cpp en MLX, de tools die lokaal LLM-werk mogelijk maken, gebruiken de Neural Engine helemaal niet. Ze draaien op de GPU via Metal. Apple Silicon is populair uitsluitend vanwege de unified memory. Dit onderscheid is niet academisch, want het bepaalt welke Mac je koopt. Wie een M4 koopt in plaats van een oudere Ultra 'vanwege de betere Neural Engine' baseert die keuze op een verkeerd beeld van wat er onder de motorkap gebeurt.

Wie de werkelijke variabelen begrijpt (geheugengrootte, memory bandwidth, aantal GPU-cores) kan scherper kiezen en komt vaak uit op een andere configuratie dan de marketing suggereert.

De vraag die bijna niemand stelt

Alles wat hierboven staat over kwaliteit, tempo en hardware is relevant, maar behandelt een tweede-orde-vraag. De eerste-orde-vraag is een andere en wordt in de meeste gesprekken overgeslagen: wat ga je er concreet mee doen?

Wat je ermee zou kunnen doen helpt niet, want dat antwoord is altijd 'van alles'. Wat je ermee wilt experimenteren is legitiem, maar iets anders dan een business case. De concrete vraag is: welke taak, met welk volume, onder welke kwaliteitseis, ga je daadwerkelijk uitvoeren op deze machine?

Bij die vraag valt veel weg. Dagelijkse productiviteit (mails, rapporten, samenvattingen, brainstormen) draait prima op een frontier-abonnement van twintig euro per maand. Coding op serieus niveau vereist een frontier-model, eveneens via abonnement. Voor die twee samen, die voor de meeste kenniswerkers het leeuwendeel van hun AI-gebruik vormen, is de Mac Studio simpelweg niet het juiste antwoord.

Er zijn categorieën waar lokaal hosten bijzonder nuttig is, en die zijn het waard om scherp te onderscheiden. Wie grote volumes tekst moet classificeren of transformeren (duizenden documenten samenvatten, productbeschrijvingen in batch genereren, embeddings bouwen voor een eigen zoeksysteem) komt op een breakeven-punt waar lokaal goedkoper is dan API. Wie eigen data om juridische of regulatoire redenen niet buiten de deur mag of wil hebben, heeft lokaal hosten als serieuze optie. En wie wil leren, wil experimenteren met fine-tuning of agents wil bouwen die in lange loops werken zonder tokenangst, vindt in lokaal een waardevol speelveld.

Geen van die use cases is hetzelfde als 'ik wil af van mijn Claude-abonnement'. De vraag die telt is welke taak deze machine rechtvaardigt, los van Claude. Dat verschil bepaalt of een uitgave van enkele duizenden euro's nuttig besteed is, of dat het apparaat na twee maanden enthousiast gebruik grotendeels stof vangt terwijl het abonnement gewoon weer actief is geworden.

Van keukentafel naar bestuurskamer

Dit zou een privé-aangelegenheid kunnen zijn: een groep enthousiastelingen die thuis spullen koopt en daar plezier aan beleeft. Hetzelfde denkpatroon speelt nu echter ook in serieuze organisaties, waar het meer kost dan een Mac Studio en waar de gevolgen verder reiken dan een stoffig apparaat in de meterkast.

In veel bedrijven en instellingen wordt gesproken over het 'zelf gaan hosten' van AI. De motieven zijn vaak oprecht: datasoevereiniteit, compliance, onafhankelijkheid van grote Amerikaanse aanbieders, controle over kosten. Die motieven zijn te respecteren en in bepaalde gevallen dwingend. Daaronder ligt soms hetzelfde patroon als in mijn WhatsApp-groep: de aanname dat lokaal hosten een directe substitutie is voor frontier-API-gebruik, zonder dat de use case scherp is gespecificeerd en zonder dat het verschil tussen frontier-kwaliteit en open-weight-kwaliteit expliciet is gemaakt.

In grote organisaties is dat patroon duurder. Het gaat dan om een gespecialiseerd GPU-cluster van enkele tonnen, een AI-platform-team dat onderhoud moet plegen, en een portfolio van toepassingen dat achterblijft bij de verwachting, omdat het lokale model simpelweg niet doet wat het bedoelde frontier-model zou hebben gedaan.

Voor programma- en projectmanagers die dit type discussie in hun opdrachtgeversorganisaties meemaken, is de les dezelfde als voor de groepschat. De eerste vraag is welke taak er ligt, voordat het over hardware gaat. De tweede is welk kwaliteitsniveau die taak werkelijk vereist, voordat het over een model gaat. Pas als die twee vragen eerlijk beantwoord zijn, is de derde vraag (zelf hosten of uitbesteden, open-weight of frontier, on-premises of cloud) productief te beantwoorden.

In veel gevallen blijkt die uitkomst een hybride te zijn: frontier-modellen via een hyperscaler onder bestaande cloud-contracten voor het werk dat hoge kwaliteit vraagt, aangevuld met lokaal gehoste open-weight modellen voor specifieke taken waar data-soevereiniteit of volume het rechtvaardigt. Dat is een nuchterder antwoord dan 'wij gaan zelf hosten', en het heeft als bijkomend voordeel dat het daadwerkelijk werkt.

De WhatsApp-groep als slechte raadgever

Er is een kleine knipoog die in deze long-read niet mag ontbreken, al was het maar om mezelf eraan te herinneren. De groepschat is een slechte plek om technische aankoopbeslissingen van duizenden euro's te nemen. Dat klinkt vanzelfsprekend, maar precies daar worden ze genomen, of in elk geval ingeleid.

De dynamiek is herkenbaar. Iemand post een link, iemand anders reageert enthousiast, een derde corrigeert en iemand rekent door. De anderen typen iets wat ongeveer klopt maar niet helemaal. Gaandeweg verschuift de toon van sceptisch naar 'misschien toch interessant'. Tegen die tijd leest niemand nog kritisch mee en bouwt iedereen voort op wat ervoor staat. Voor je het weet heb je een Mac Studio in je winkelmand staan.

De mensen in zulke groepen zijn niet dom. Ik had in mijn eigen draad de claim geplaatst die technisch niet klopte, niet uit onkunde maar omdat je op een mobiele telefoon, tussen twee vergaderingen door, iets typt dat goed genoeg lijkt. Dat is de werkelijke kwaliteit van ad hoc-kennisuitwisseling: net rijp genoeg om de discussie verder te laten dwalen.

Je hoeft de groepschat niet te vermijden, maar een aankoopbeslissing van enige omvang kun je het beste uit de groepschat tillen en ergens anders rustig doordenken. Liefst met iemand die je tegengas durft te geven, of met een instrument dat je dwingt om je use case eerlijk te formuleren. Dat kost twintig minuten. Een verkeerde aankoop kost duizenden euro's en een half jaar leerproces.

Wat wel een goede beslissing is

Zelf ben ik er na dit hele denkwerk nog niet uit of ik die tweedehands Mac Studio ga kopen. Ik weet wel dat ik de vraag nu anders stel dan aan het begin van die donderdagochtend. Het is niet langer 'vervangt dit mijn Claude-abonnement', want het antwoord daarop is nee. De vraag is nu: 'zijn er concrete taken waarvoor ik deze capaciteit serieus ga inzetten?' Daar heb ik nog geen sluitend antwoord op, en dat is de plek om te staan voordat er iets besteld wordt.

Voor wie zichzelf of zijn organisatie op vergelijkbaar terrein ziet staan, is dat misschien de bruikbaarste les van dit verhaal. De vraag is welke taak, met welk volume en onder welke kwaliteitseis, deze investering daadwerkelijk gaat dragen. Welk apparaat, welk model of welk abonnement komt daarna.

Pas als die vraag eerlijk beantwoord is, is elke vervolgvraag productief te beantwoorden. Zonder dat antwoord is elke aankoop een gok, of die nu duizenden euro's kost of honderdduizenden.