Bias in de gezondheidszorg is gevaarlijk. Maar dat geldt ook voor ‘eerlijkheid’-algoritmen

Wat we hier hebben beschreven, is in feite een best case-scenario, waarin het mogelijk is om eerlijkheid af te dwingen door eenvoudige wijzigingen aan te brengen die van invloed zijn op de prestaties van elke groep. In de praktijk kunnen rechtvaardigheidsalgoritmen zich veel radicaler en onvoorspelbaarder gedragen. Uit dit onderzoek bleek dat de meeste algoritmen in computervisie de eerlijkheid verbeterden door alle groepen te schaden, bijvoorbeeld door de herinnering en nauwkeurigheid te verminderen. Anders dan in onze hypothese, waarin we de schade hebben verminderd die door één groep is geleden, is het mogelijk dat het afvlakken van de situatie iedereen direct slechter af maakt.

Nivellering naar beneden loopt in strijd met de doelstellingen van algoritmische rechtvaardigheid en bredere gelijkheidsdoelstellingen in de samenleving: het verbeteren van resultaten voor historisch benadeelde of gemarginaliseerde groepen. Het verlagen van de prestaties van goed presterende groepen komt niet vanzelfsprekend ten goede aan slechter presterende groepen. Bovendien kan afvlakking historisch benadeelde groepen rechtstreeks schaden. De keuze om een ​​voordeel te schrappen in plaats van het met anderen te delen, toont een gebrek aan bezorgdheid, solidariteit en bereidheid om van de gelegenheid gebruik te maken om het probleem daadwerkelijk op te lossen. Het stigmatiseert historisch achtergestelde groepen en verstevigt de afgescheidenheid en sociale ongelijkheid die in de eerste plaats tot een probleem hebben geleid.

Wanneer we AI-systemen bouwen om beslissingen te nemen over het leven van mensen, coderen onze ontwerpbeslissingen impliciete waardeoordelen over wat prioriteit moet krijgen. Nivellering naar beneden is een gevolg van de keuze om eerlijkheid uitsluitend te meten en te herstellen in termen van ongelijkheid tussen groepen, terwijl nut, welvaart, prioriteit en andere goederen die centraal staan ​​in kwesties van gelijkheid in de echte wereld worden genegeerd. Het is niet het onvermijdelijke lot van algoritmische eerlijkheid; het is eerder het resultaat van het kiezen van de weg van de minste wiskundige weerstand, en niet om overkoepelende maatschappelijke, juridische of ethische redenen.

Om verder te gaan hebben we drie opties:

• We kunnen doorgaan met het inzetten van bevooroordeelde systemen die ogenschijnlijk slechts één bevoorrecht segment van de bevolking ten goede komen, terwijl anderen ernstig worden geschaad.
• We kunnen rechtvaardigheid blijven definiëren in formalistische wiskundige termen, en AI inzetten die minder nauwkeurig is voor alle groepen en actief schadelijk is voor sommige groepen.
• We kunnen actie ondernemen en eerlijkheid bereiken door ‘te nivelleren’.

Wij geloven dat opklimmen de enige moreel, ethisch en wettelijk aanvaardbare weg voorwaarts is. De uitdaging voor de toekomst van eerlijkheid in AI is om systemen te creëren die inhoudelijk eerlijk zijn, niet alleen procedureel eerlijk door middel van nivellering. Nivellering is een complexere uitdaging: het moet gepaard gaan met actieve stappen om de echte oorzaken van vooroordelen in AI-systemen uit te roeien. Technische oplossingen zijn vaak slechts een pleister op een kapot systeem. Het verbeteren van de toegang tot gezondheidszorg, het samenstellen van meer diverse datasets en het ontwikkelen van tools die specifiek gericht zijn op de problemen waarmee historisch achtergestelde gemeenschappen worden geconfronteerd, kan helpen om substantiële rechtvaardigheid te realiseren.

Dit is een veel complexere uitdaging dan simpelweg een systeem aanpassen om twee getallen gelijk te maken tussen groepen. Het kan niet alleen aanzienlijke technologische en methodologische innovatie vereisen, waaronder het vanaf de grond opnieuw ontwerpen van AI-systemen, maar ook substantiële sociale veranderingen op gebieden zoals toegang tot en uitgaven voor gezondheidszorg.

Hoe moeilijk het ook is, deze heroriëntatie op “eerlijke AI” is essentieel. AI-systemen nemen levensveranderende beslissingen. Keuzes over hoe ze eerlijk moeten zijn, en voor wie, zijn te belangrijk om eerlijkheid te beschouwen als een eenvoudig wiskundig probleem dat moet worden opgelost. Dit is de status-quo die heeft geresulteerd in eerlijkheidsmethoden die gelijkheid bereiken door middel van nivellering. Tot nu toe hebben we methoden ontwikkeld die wiskundig eerlijk zijn, maar die niet aantoonbaar ten goede kunnen komen aan kansarme groepen.

Dit is niet genoeg. Bestaande tools worden behandeld als een oplossing voor algoritmische eerlijkheid, maar tot dusver maken ze hun belofte niet waar. Hun moreel duistere effecten zorgen ervoor dat ze minder snel worden gebruikt en kunnen echte oplossingen voor deze problemen vertragen. Wat we nodig hebben, zijn systemen die eerlijk zijn door middel van nivellering, die groepen met slechtere prestaties helpen zonder anderen willekeurig te schaden. Dit is de uitdaging die we nu moeten oplossen. We hebben AI nodig die inhoudelijk, niet alleen wiskundig, eerlijk is.