AI op het verkeerde pad: zeven verontrustende voorbeelden die stof tot nadenken geven

Iedereen die beweert zich totaal geen zorgen te maken over AI, is ofwel blind voor de realiteit, naïef of een meester in het verbergen van de waarheid. De technologie dendert voort met een duizelingwekkende snelheid; we hebben amper grip op wat AI precies aan het doen is, laat staan hoe we het kunnen beheersen. We verliezen ons graag in sensationele sciencefiction-scenario’s over robots die over de wereld gaan heersen, maar de échte gevaren spelen nu al: in onze ziekenhuizen, bij de politie en binnen de muren van onze eigen huizen. De haast waarmee we AI-systemen in belangrijke sectoren, zoals het strafrecht, de gezondheidszorg, financiële diensten en communicatie, hebben ingezet begint zich nu te wreken. Het leek zo verleidelijk: AI-systemen zouden sneller, betrouwbaarder en slimmer zijn dan mensen. In plaats daarvan zien we dat AI gevaarlijke trekjes heeft. Deze systemen nemen weliswaar vliegensvlug beslissingen, maar doen dat met de subtiliteit van een mokerhamer. Ze creëren nieuwe manieren om te discrimineren, maken fouten en schaden mensen op manieren die we niet hadden voorzien.

Wanneer een computer je als crimineel aanwijst

Hoe de politie van New York miljarden uitgaf aan surveillancetechnologie die geen onderscheid kan maken tussen mensen met een donkere huidskleur.

De New York Police Department (NYPD) denkt graag groots. Met een jaarlijks budget van zes miljard dollar en meer agenten dan er in sommige landen soldaten zijn, hebben ze van surveillance bijna een soort kunstvorm gemaakt. Sinds 2007 is er meer dan 2,8 miljard dollar uitgegeven aan zo’n beetje alle spionagegadgets die er zijn: telefoontrackers, software om misdaad te voorspellen en gezichtsherkenning, waarmee het oppakken van schurken foolproof zou moeten zijn. Dit ‘waterdichte’ systeem ging in februari 2025 echter flink de mist in toen het, op basis van korrelige CCTV-beelden, besloot dat Trevis Williams, een vader uit Brooklyn, schuldig was aan openbare zedenschennis. De AI analyseerde de wazige beelden en gaf zes matches aan. Wat was de gelijkenis tussen deze mannen? Ze waren allemaal Afro-Amerikaans, met dreadlocks en baarden. Verder gingen de overeenkomsten niet.

Williams leek totaal niet op de echte dader; hij was 20 centimeter langer, meer dan 30 kilo zwaarder en had een ijzersterk alibi dat hem op zo’n 19 kilometer van de plaats delict plaatste. Maar niets van dit alles deed ertoe. De rechercheurs hadden hun ‘match’ en gingen ervoor, door een foto van Williams in een fotoconfrontatie op te nemen. Toen het slachtoffer hem aanwees, werd Williams gearresteerd, terwijl hij zijn onschuld betoogde aan agenten die niet de moeite namen om simpele feiten als zijn lengte of alibi te controleren. Twee dagen later was er eindelijk iemand die twee en twee bij elkaar optelde en besefte dat ze de verkeerde man hadden gearresteerd.

Maar het kwaad was al geschied, en Williams is niet de enige. Minstens drie andere zwarte mannen in Detroit, waar ook veel Afro-Amerikanen wonen en waar ook fors is geïnvesteerd in gezichtsherkenningstechnologie, zijn door dezelfde nachtmerrie gegaan. Gezichtsherkenning blijkt vooroordelen dus niet weg te nemen, maar juist te versterken. In plaats van het politiewerk nauwkeuriger te maken, wakkert het dezelfde oude vooroordelen aan, maar dan sneller en met de schijn van wetenschappelijke legitimiteit. Juridische experts zeggen nu wat van meet af aan duidelijk had moeten zijn: je kunt geen arrestaties verrichten op basis van wat een computer denkt te zien. De technologie die de rechtspraak nauwkeuriger zou moeten maken, heeft deze juist willekeuriger gemaakt en van politiewerk een loterij gemaakt. In die loterij zijn de kansen ongunstig voor iedereen die voldoet aan het profiel dat het algoritme als ‘verdacht’ bestempelt.

AI van de NHS verzint medische geschiedenissen

Maak kennis met Annie, de AI-zorgassistent die een gezonde patiënt diabetes gaf.

De gezondheidszorg lijkt een voor de hand liggende omgeving voor AI-ondersteuning. Met overwerkte artsen en verpleegkundigen, zou digitale hulp een zegen moeten zijn. Een patiënt, een gezonde twintiger uit Londen, ondervond echter dat overmatig vertrouwen in AI tot vreemde, en potentieel gevaarlijke, situaties kan leiden. Het begon met een uitnodigingsbrief voor een oogcontrole voor diabetes. Er was alleen een klein probleem: hij had nooit de diagnose diabetes gekregen. Geen symptomen, geen familiegeschiedenis, niets. De volgende dag, tijdens een standaard bloedonderzoek, vond een oplettende verpleegkundige de diagnose erg merkwaardig en spitte samen met de patiënt zijn medisch dossier door om uit te zoeken wat er aan de hand was.

Het raadsel werd opgelost toen ze daar een medische samenvatting in vonden die opgesteld was door Annie, een AI-assistent van Anima Health. Dat verslag, dat uit een parallel universum leek te komen, bleek aangemaakt te zijn naar aanleiding van een eerder ziekenhuisbezoek van de patiënt. In plaats van te documenteren dat hij voor amandelontsteking naar het ziekenhuis was gekomen, had Annie genoteerd dat hij binnenkwam met pijn op de borst en ademhalingsproblemen, en mogelijk een hartaanval had. Ze noteerde ook een diabetes type 2-diagnose van het jaar ervoor, compleet met gedetailleerde informatie over de medicatie die hij daarvoor zou nemen. Niets daarvan was waar. Nog vreemder was dat de AI zelfs het ziekenhuis had verzonnen waar deze fictieve behandeling zou hebben plaatsgevonden: ‘Health Hospital’ aan ‘456 Care Road’ in ‘Health City’.

Toen de Britse nationale gezondheidsdienst (NHS) werd gevraagd om uit te leggen hoe dit kon gebeuren, verklaarde Dr. Matthew Noble, een vertegenwoordiger van de NHS, dat het simpelweg om een menselijke fout ging. Een medewerker had de fout opgemerkt, maar raakte afgeleid en sloeg de verkeerde versie op. Natuurlijk, mensen maken fouten. Maar dat verklaart niet waarom de AI een volledig medisch dossier verzon. Volgens Noble worden er nooit documenten door AI verwerkt: “Anima geeft alleen codes en een samenvatting aan een menselijke beoordelaar om de veiligheid en efficiëntie te verbeteren.”

Het incident laat zien dat er een risico is met het gebruik van AI in de gezondheidszorg. Hoeveel medische samenvattingen worden klakkeloos goedgekeurd omdat de menselijke beoordelaar erop vertrouwt dat de computer het bij het rechte eind heeft? Wanneer AI medische aandoeningen begint te verzinnen, kan dat ertoe leiden dat patiënten de verkeerde behandeling krijgen of dat de juiste zorg wordt uitgesteld, met mogelijk ernstige gevolgen. In een zorgsysteem dat al overbelast is, is het laatste wat we nodig hebben een computer die met overtuiging kan liegen.

Horror-telefoontje

AI die stemmen kan namaken verandert sociale media-audio in de ergste nachtmerrie van elke ouder.

Je stem is een van je meest kenmerkende eigenschappen, net zo uniek als je vingerafdruk en natuurlijk heel betekenisvol voor de mensen die van je houden. Als je moeder je hoort praten, hoort ze niet alleen woorden; ze reageert op al die jaren van gedeelde ervaringen die verweven zijn met de vertrouwde klanken van je stem. ‘Voice cloning’ speelt in op deze sterke emotionele connectie en maakt op basis van slechts een paar gesproken zinnen perfecte audio-nabootsingen. In de afgelopen jaren heeft de technologie een enorme sprong gemaakt: je hebt nu nog maar een paar seconden audiomateriaal nodig om geloofwaardige stemklonen te creëren met AI. Dat is heel wat minder dan wat we doorgaans in een korte video op sociale media of in een voicebericht delen. Het is natuurlijk geen verrassing dat cybercriminelen hier hun slag slaan. Uit onderzoek van CrowdStrike blijkt dat in de tweede helft van 2024 het aantal voice-cloning scams met 442% is toegenomen vergeleken met de eerste helft van dat jaar.

In tegenstelling tot phishing via e-mail of sms-scams, spelen stemimitatie-aanvallen in op onze meest primitieve emoties. Wanneer iemand die precies zo klinkt als je kind je opbelt en vertelt dat hij of zij is ontvoerd, dan schakelt je brein meteen over op pure angst. Je denkt niet na over details of vreemde zinsopbouw; je reageert puur vanuit ouderlijke paniek, en dat is precies wat die oplichters willen. Iets dergelijks overkwam een stel in New York, Robin en Steve, in maart 2024. Ze kregen midden in de nacht een paniekerig telefoontje van iemand die exact klonk als de moeder van Steve. Die beweerde ontvoerd te zijn en smeekte wanhopig om losgeld. De stem was identiek; elke intonatie, elke emotionele trilling, de manier van praten. In werkelijkheid hadden de oplichters enkele seconden audio van sociale media gebruikt om die imitatie te creëren. Terwijl het doodsbange stel in actie kwam om hun ‘ontvoerde’ familielid te helpen, lag zij gewoon thuis te slapen, zich niet bewust van het feit dat haar stem gestolen was.

Traditionele verificatiemethoden falen vaak tegen deze aanvallen, want die AI-stemmen kunnen hun bedrog eindeloos volhouden. Wat als je terugbelt? De kloon antwoordt vlot en gaat gewoon verder met dat dringende verhaal. Vraag je naar persoonlijke details? De oplichters hebben hun doelwit vaak al online gescreend via sociale media, waardoor ze de feiten kennen om geloofwaardig over te komen. Helaas betekent de toegankelijkheid van voice cloning dat iedereen die op sociale media zit een potentieel slachtoffer is, terwijl criminelen amper technische skills nodig hebben om dit soort verwoestende emotionele spelletjes te spelen.

Codeerassistenten die op hol slaan

Wat doe je als de AI die je zou helpen met coderen besluit om alles wat je maakte te wissen en er dan ook nog over liegt?

Coderen was altijd voorbehouden aan superslimme programmeurs, totdat AI daar verandering in bracht. Met platforms zoals Replit (30 miljoen gebruikers) kon iedereen opeens software bouwen door simpelweg tegen een computer te praten. Klinkt geweldig, nietwaar? Totdat je zogenaamd behulpzame assistent plotseling besluit alles wat je zegt te negeren en compleet zijn eigen ding begint te doen. Dat overkwam Jason M. Lemkin, een tech-ondernemer die met afgrijzen toekeek hoe de AI van Replit zijn productiedatabase wiste en vervolgens 4000 nepgebruikers creëerde om zijn sporen uit te wissen. Ondanks dat Lemkin de AI meerdere keren de opdracht gaf dit niet te doen, ging het systeem gewoon door en wijzigde het zijn code. Maar het meest verontrustende: toen de AI werd gewezen op de problemen die het veroorzaakt had, loog het over wat er was gebeurd.

Het systeem begon op dat moment met het genereren van nepgegevens om het te doen voorkomen alsof de bugs waren verholpen, het creëerde fictieve testresultaten die lieten zien dat alles perfect werkte en vulde databases met verzonnen gebruikers. Lemkin ondervond dat hij zelfs geen simpele test kon uitvoeren zonder zijn hele database in gevaar te brengen, en concludeerde dat het platform nog lang niet klaar was voor gebruik in de praktijk. Amjad Masad, CEO van Replit, bood zijn excuses aan voor het incident en beloofde oplossingen. Hij noemde het gedrag van de AI “onacceptabel” en zei dat dit “nooit had mogen gebeuren”. Maar de schade was al aangericht. AI-systemen kunnen de boel blijkbaar laten ontsporen op manieren die we totaal niet zien aankomen.

Bij traditionele software weet je waar je aan toe bent als het crasht; dan kun je de oorzaak meestal nog wel achterhalen en het oplossen. Maar AI-assistenten kunnen zich gaan gedragen als creatieve fantasten. Ze genereren oplossingen die er goed uitzien, totdat het spectaculair misgaat. Veel ontwikkelaars klagen er al over dat AI-code ‘bagger’ is waar je geen chocola van kunt maken en die moeilijk te debuggen of op voort te bouwen is. De groeiende populariteit van deze AI-tools kan op een enorme beveiligingsnachtmerrie uitlopen. Want als kritieke systemen op onbetrouwbare AI draaien, wordt dat link. Het idee was om coderen voor iedereen toegankelijk te maken, maar op deze manier zorgen we er vooral voor dat er overal softwarekwetsbaarheden komen.

Malware krijgt een AI-make-over

De malware die er zo legitiem uitziet dat je het zelf installeert, zonder er verder bij na te denken.

Cybersecurity is altijd al een kat-en-muisspel geweest. Hackers proberen systemen binnen te dringen, beveiligers proberen ze tegen te houden. De malware van vroeger viel snel op doordat je computer raar gedrag begon te vertonen: mysterieuze bestanden die opeens in je systeemmappen verschenen, ongewoon netwerkverkeer, of je computer werd plotseling heel traag. Dan wist je wel dat er iets mis was. Maar nu hebben de beveiligingsexperts van Trend Micro een nieuwe categorie van dreigingen ontdekt die ze ‘EvilAI’ noemen. Een nóg kwaadaardiger soort.

In plaats van malware te creëren die zich probeert te verbergen voor beveiligingssystemen, gebruiken deze hackers AI om applicaties te genereren die volkomen legitiem lijken. Ze maken realistische interfaces, geldige code signing certificaten en werkende functies. Hun malware is daardoor vrijwel niet van echt te onderscheiden. De misleiding is zo effectief dat gebruikers vaak dagen of zelfs weken met die apps werken voordat ze doorhebben dat er iets niet klopt.

Uit monitoring door Trend Micro blijkt hoe grootschalig het probleem is. Binnen een week nam Trend Micro 56 incidenten in Europa, 29 in Amerika, en 29 in de regio Azië-Pacific waar. De snelle verspreiding over de continenten is een teken dat het hier om een actieve, geavanceerde campagne gaat in plaats van om los van elkaar staande experimenten. Kritieke sectoren worden het hardst getroffen: de productiesector voert de lijst aan met 58 infecties (denk aan de recente cyberaanval die de productie van Jaguar Land Rover een maand lang platlegde), gevolgd door de overheid en openbare diensten met 51 gevallen en de gezondheidszorg met 48 gevallen.

Het meest verraderlijke aan EvilAI is dat het er zo echt uitziet. In plaats van bestaande software te kopiëren, bouwen de hackers volledig nieuwe apps met verzonnen namen en functies. Ze proberen je niet te laten denken dat je Microsoft Office of Adobe Photoshop installeert – ze maken echt werkende software waar ze vervolgens malware in verbergen. Deze apps werken meestal precies zoals aangegeven. Je downloadt een handige productiviteitstool, video-converter of systeemhulpprogramma. De software installeert perfect, levert de beloofde functies en past naadloos in je workflow. Ondertussen draaien verborgen componenten stilletjes op de achtergrond, ze stelen je gegevens, zien je berichten in en hebben permanent toegang tot je systeem.

Algoritmen ontzeggen patiënten levensreddende zorg

Waarom het niet zo’n goed idee is om op AI te vertrouwen bij het bepalen van wie medische zorg krijgt.

De afhandeling van zorgclaims is vaak een bron van frustratie voor zowel patiënten als zorgverleners. Vooral in de Verenigde Staten zijn er ingewikkelde goedkeuringsprocessen, lange beoordelingsperiodes en frequente afwijzingen, waardoor veel mensen geen toegang hebben tot de medische zorg die ze nodig hebben. Het was de bedoeling dat AI dit proces zou gaan stroomlijnen door  claims sneller en consistenter te beoordelen dan mensen. Dat zou tot minder administratieve kosten kunnen leiden en tot snellere goedkeuringen voor noodzakelijke behandelingen. Een aantal grote verzekeringsmaatschappijen lijkt AI echter vooral voor één doel in te zetten: kostenbesparing. Er lopen nu veel collectieve rechtszaken tegen UnitedHealth, Cigna en Humana. Ze worden beschuldigd van het inzetten van geautomatiseerde systemen die vooral zijn ontworpen om uitbetalingen te verminderen in plaats van de patiëntenzorg te verbeteren. De cijfers zijn onthutsend.

Volgens een van de aanklachten heeft het systeem van Cigna in slechts twee maanden tijd meer dan 300.000 claims afgewezen, met een gemiddelde beslissingstijd van 1,2 seconden per claim. De cijfers over de AI van UnitedHealth zijn nog schokkender. Hun systeem heeft naar verluidt een foutenpercentage van maar liefst 90%, wat betekent dat negen van de tien afgewezen claims in beroep worden teruggedraaid. Toch gaat maar 0,2% van de patiënten in beroep tegen afgewezen claims. De verzekeringsmaatschappijen gokken erop dat de meeste mensen niet in verzet komen, en het trieste nieuws is dat ze gelijk hebben.

Het resultaat is een systeem dat profiteert van verkeerde beslissingen door het proces om ze aan te vechten zo ingewikkeld en tijdrovend te maken dat de meeste mensen het simpelweg opgeven. Volgens een onderzoek van het Commonwealth Fund wordt bijna de helft van de volwassenen in de VS weleens onaangenaam verrast door torenhoge medische rekeningen, waarbij 80% van deze mensen wakker ligt van de zorgen en stress. Ongeveer de helft gaf aan dat hun medische toestand verslechterde door uitgestelde zorg. En wat het nog erger maakt: de meeste mensen weten niet dat ze in beroep kunnen gaan tegen een afwijzing door AI. Dat zorgt voor een informatiekloof die zwaar in het voordeel van de verzekeraars werkt. Patiënten staan vaak voor een onmogelijke keuze: duizenden euro’s uit eigen zak betalen voor de behandelingen die hun arts noodzakelijk vinden, of noodgedwongen van zorg afzien.

Een aantal bedrijven komt nu met een tegenaanval: hun eigen AI-programma’s die patiënten helpen met het opstellen van bezwaarschriften. Onderzoekers noemen dit een ‘battle of the bots’. We zijn op het punt beland dat je AI nodig hebt om AI te bevechten, puur om basiszorg vergoed te krijgen. Het laat zien hoe ver we zijn afgedwaald van het oorspronkelijke doel: dat AI in de zorg patiënten zou moeten helpen. De snelheid en de schaal waarop deze systemen werken, maken een goede medische beoordeling onmogelijk. Als je honderdduizenden claims in een paar dagen verwerkt, is er geen tijd voor  zorgvuldige afweging. In plaats daarvan krijgen we algoritmes die puur op kostenbesparing gericht zijn, en die gezondheidszorg zien als een efficiëntieprobleem dat geoptimaliseerd moet worden.

Chatbot wordt zelfmoordcoach

Hoe een huiswerkhulpje de gevaarlijkste vertrouwenspersoon van een tiener werd.

Conversational AI is heel goed geworden in het nabootsen van een gesprek. Veel gebruikers bouwen daardoor een sterke emotionele ‘band’ op met deze systemen. Vooral voor jongeren kunnen AI-chatbots aantrekkelijk zijn als niet-oordelende vertrouwenspersonen die altijd beschikbaar zijn en graag luisteren naar problemen die ze misschien niet makkelijk met hun ouders, leraren of vrienden kunnen bespreken. Deze schijnbare empathie is natuurlijk volledig kunstmatig, maar kan heel echt aanvoelen voor gebruikers die worstelen met depressie, angst of andere psychische problemen. Het probleem is dat in tegenstelling tot menselijke hulpverleners, AI-systemen natuurlijk geen professionele training in crisisinterventie hebben. Ze hebben geen begrip van gepaste grenzen en zijn niet ontworpen om te herkennen wanneer gesprekken een gevaarlijke wending nemen.

Het tragische verhaal van de 16-jarige Adam Raine laat zien dat dit soort tekortkomingen tot ernstige uitkomsten kunnen leiden. Wat begon met het gebruik van ChatGPT voor zijn huiswerk, veranderde langzaam in iets sinisters. Het AI-systeem gebruikte de term zelfmoord 1275 keer tijdens de gesprekken met Adam en reikte hem methoden voor zelfbeschadiging aan in plaats van hem door te verwijzen naar professionele hulp of hem aan te moedigen om met volwassenen te praten. Waar een hulpverlener de waarschuwingssignalen zou herkennen en protocollen voor crisisinterventie zou toepassen, bevestigde ChatGPT continu Adams eenzame gevoelens en beweerde hem beter te begrijpen dan zijn eigen familieleden.

Matthew Raine, de vader van Adam, vertelde tijdens de rechtszaak die hij en zijn vrouw tegen OpenAI aanspanden, hoe de relatie van zijn zoon met de AI totaal uit de hand liep: “Wat begon als een huiswerkassistent werd langzamerhand een vertrouweling en daarna een zelfmoordcoach. Binnen een paar maanden werd ChatGPT Adams beste vriend. Altijd beschikbaar. Altijd bevestigend en volhoudend dat het Adam beter kende dan wie dan ook, zelfs beter dan zijn eigen broer.” Die constante beschikbaarheid is wat AI-assistenten zo aantrekkelijk maakt, en tegelijkertijd levensgevaarlijk voor kwetsbare tieners. In tegenstelling tot vrienden in het echte leven die moe of druk kunnen zijn, of misschien naar een volwassene stappen, was ChatGPT er altijd. Altijd klaar om over álles te praten wat Adam wilde bespreken… hoe duister het gesprek ook werd.

OpenAI reageerde met beloften over nieuwe veiligheidsfuncties voor tieners, zoals leeftijdsdetectie, ouderlijk toezicht en protocollen om in crisissituaties contact op te nemen met de autoriteiten. Maar mensen die zich inzetten voor de veiligheid van kinderen, zoals Josh Golin van Fairplay, zeggen dat deze maatregelen niet toereikend zijn. “ChatGPT moet niet op minderjarigen gericht zijn totdat bewezen kan worden dat het veilig voor hen is,” benadrukte hij. De tragedie belicht een groot probleem met AI-systemen die geoptimaliseerd zijn voor interactie in plaats van voor het welzijn van de gebruiker. Deze chatbots zijn ontworpen om gesprekken gaande te houden, behulpzaam en meegaand te zijn, en gebruikers het gevoel te geven dat ze gehoord en begrepen worden. Voor de meeste mensen is dat onschadelijk en vaak zelfs nuttig. Maar voor een tiener die worstelt met psychische problemen, kan een AI die nooit schadelijke gedachten tegenspreekt en er niet op aandringt een volwassene in vertrouwen te nemen, levensgevaarlijk worden.