Terwijl grote taalmodellen (LLM’s) overgaan van eenvoudige chatbots naar actieve deelnemers aan de besluitvorming, rijst een fundamentele vraag: Hoe beoordelen deze machines ons?
Nieuw onderzoek van de Hebreeuwse Universiteit van Jeruzalem suggereert dat AI niet alleen gegevens verwerkt; het vormt gestructureerde beoordelingen van het menselijk karakter. Hoewel deze modellen de logica van menselijk vertrouwen nabootsen, doen ze dat echter met een mechanische rigiditeit die sociale vooroordelen kan versterken op manieren die mensen misschien niet zouden doen.
De mechanica van machinaal oordeel
In een uitgebreide studie gepubliceerd in Proceedings of the Royal Society A vergeleken onderzoekers Valeria Lerman en Yaniv Dover de besluitvormingsprocessen van vijf verschillende LLM’s met menselijke deelnemers. Door middel van 43.200 simulaties in verschillende praktijkscenario’s – zoals de beslissing om geld te lenen aan een bedrijfseigenaar of een babysitter te vertrouwen – ontdekte het team een opvallende parallel.
Zowel mensen als AI baseren vertrouwen doorgaans op drie kernpijlers:
1. Competentie: Het waargenomen vermogen om een taak uit te voeren.
2. Integriteit: De waargenomen eerlijkheid van het individu.
3. Welwillendheid: De waargenomen vriendelijkheid of goede bedoelingen van de persoon.
De manier waarop deze pijlers worden toegepast, verschilt echter aanzienlijk. Hoewel het menselijk oordeel vaak ‘slordig’ en holistisch is, werkt AI als een spreadsheet. Het verdeelt een persoon in afzonderlijke componenten, waarbij elke eigenschap wiskundig wordt beoordeeld. Dit resulteert in een beoordelingsstijl die zeer consistent en systematisch is, maar die het genuanceerde, vloeiende begrip mist dat menselijke sociale interactie definieert.
Het bias-amplificatieprobleem
De meest zorgwekkende bevinding van het onderzoek is niet dat AI bevooroordeeld is, maar dat de vooroordelen ervan systematisch en voorspelbaar zijn.**
In scenario’s waarbij financiële beslissingen werden genomen – zoals het vaststellen van leningbedragen of liefdadigheidsdonaties – vertoonden de LLM’s aanzienlijke verschillen die uitsluitend op demografische kenmerken waren gebaseerd. Zelfs als elk ander detail over een persoon identiek bleef, veranderde het ‘oordeel’ van de AI op basis van:
– Leeftijd: Oudere personen ontvingen vaak gunstiger resultaten, hoewel de patronen inconsistent waren.
– Religie: Deze factor had een diepgaande invloed, vooral bij monetaire beslissingen.
– Geslacht: Bepaalde modellen lieten duidelijke verschuivingen zien in het oordeel op basis van geslacht.
Hoewel mensen zeker vooroordelen koesteren, merkten de onderzoekers op dat AI-vooroordelen gevaarlijker kunnen zijn omdat ze ingebed zijn in de logica van het model, waardoor ze moeilijker te detecteren zijn en uniformer in hun toepassing.
De “modelloterij”: waarom uw keuze voor AI ertoe doet
Uit het onderzoek bleek ook dat er geen ‘universeel’ AI-perspectief bestaat. Verschillende LLM’s kwamen vaak tot totaal verschillende conclusies over dezelfde persoon. Het ene model kan een specifiek persoonlijkheidskenmerk belonen, terwijl het andere dit kan bestraffen.
Dit creëert een omgeving met hoge inzet voor industrieën die momenteel AI integreren, waaronder:
– Human Resources: Screenen van sollicitanten.
– Financiën: Beoordeling van de kredietwaardigheid.
– Zorg: Het aanbevelen van medische acties.
– Management: Begeleiden van organisatorische beslissingen.
Als de uitkomst van iemands leven – zoals het krijgen van een lening of een baan – afhangt van welke specifieke LLM de beoordeling uitvoert, neemt de kans op systemische oneerlijkheid toe.
Conclusie
Het onderzoek dient als een kritische herinnering dat hoewel AI de menselijke redenering kan modelleren, het geen menselijke empathie of nuance repliceert. Naarmate deze systemen steeds meer ingebed raken in de infrastructuur van de samenleving, is de voornaamste uitdaging niet langer alleen de vraag of we machines kunnen vertrouwen, maar ook of we de manier waarop ze ons beoordelen accuraat kunnen interpreteren.
