Platforms kunnen optimaliseren voor statistieken die verder gaan dan betrokkenheid

Sociale media, nieuws, muziek-, winkel- en andere sites vertrouwen allemaal op aanbevelingssystemen: algoritmen die personaliseren wat elke individuele gebruiker ziet. Deze systemen worden grotendeels aangestuurd door voorspellingen van wat elke persoon zal klikken, leuk vinden, delen, kopen, enzovoort, meestal afgekort als ‘betrokkenheid’. Deze reacties kunnen nuttige informatie bevatten over wat belangrijk voor ons is, maar – zoals het bestaan ​​van clickbait bewijst – alleen omdat we erop klikken, betekent niet dat het goed is.

Veel critici beweren dat platforms niet moeten proberen de betrokkenheid te maximaliseren, maar in plaats daarvan moeten optimaliseren voor een zekere mate van langetermijnwaarde voor gebruikers. Sommige mensen die voor deze platforms werken, zijn het daarmee eens: Meta en andere socialemediaplatforms werken bijvoorbeeld al een tijdje aan het opnemen van meer directe feedback in aanbevelingssystemen.

De afgelopen twee jaar hebben we samengewerkt met Meta-medewerkers – evenals onderzoekers van de Universiteit van Toronto, UC Berkeley, MIT, Harvard, Stanford en KAIST, plus vertegenwoordigers van non-profitorganisaties en belangenorganisaties – om onderzoek te doen dat deze vooruitgang bevordert pogingen. Dit omvat een experimentele wijziging in de feed-rangschikking van Facebook – voor gebruikers die ervoor kiezen om deel te nemen aan ons onderzoek – om het gedurende een periode van enkele maanden te laten reageren op hun feedback.

Dit is hoe ons onderzoek, dat later dit jaar van start gaat, zal werken: Gedurende drie maanden zullen we deelnemers herhaaldelijk vragen naar hun ervaringen op de Facebook-feed met behulp van een enquête die gericht is op het meten van positieve ervaringen, waaronder tijd online doorbrengen met vrienden en goed advies krijgen . (Onze enquête is een aangepaste versie van de eerder gevalideerde Online Social Support Scale.) Vervolgens proberen we de relatie te modelleren tussen wat er in de feed van een deelnemer stond, bijvoorbeeld welke bronnen en onderwerpen ze hebben gezien, en hun antwoorden in de loop van de tijd. Met behulp van dit voorspellende model voeren we het experiment opnieuw uit, dit keer proberen we de inhoud te selecteren waarvan we denken dat deze in de loop van de tijd tot de beste resultaten zal leiden, zoals gemeten door de terugkerende enquêtes.

Ons doel is om te laten zien dat het technisch mogelijk is om algoritmen voor contentselectie aan te sturen door gebruikers te vragen naar hun ervaringen over een langere periode, in plaats van in de eerste plaats te vertrouwen op hun onmiddellijke online reacties.

We suggereren niet dat Meta, of een ander bedrijf, prioriteit moet geven aan de specifieke enquêtevragen die we gebruiken. Er zijn veel manieren om de impact en waarde van aanbevelingen op de lange termijn te beoordelen, en er is nog geen consensus over welke statistieken moeten worden gebruikt of hoe concurrerende doelen in evenwicht moeten worden gebracht. Het doel van deze samenwerking is veeleer om te laten zien hoe, potentieel, elk enquêtemeting kan worden gebruikt om inhoudsaanbevelingen te sturen naar gekozen langetermijnresultaten. Dit kan worden toegepast op elk aanbevelingssysteem op elk platform. Hoewel betrokkenheid altijd een belangrijk signaal zal zijn, zal dit werk zowel het principe als de techniek vaststellen voor het opnemen van andere informatie, inclusief gevolgen op langere termijn. Als dit werkt, kan het de hele branche helpen om producten te bouwen die tot betere gebruikerservaringen leiden.

Een studie als de onze is nog nooit eerder gedaan, deels vanwege het ernstige wantrouwen tussen de onderzoekers die bestuderen hoe aanbevelingssystemen kunnen worden verbeterd en de platforms die ze gebruiken. Onze ervaring leert hoe moeilijk het is om zo’n experiment te organiseren en hoe belangrijk het is om dat te doen.