Kunstig intelligens transformerer vores verden, og finansielle tjenester er ingen undtagelse. AI er ved at omforme den personlige banksektor, men hvor står den i øjeblikket med hensyn til ligestilling mellem kønnene, gennemsigtighed og retfærdighed?
Når nogen ansøger om et lån i dag, er der en voksende chance for, at ingen mennesker nogensinde læser deres ansøgning. En datadrevet algoritme afgør, om de kvalificerer sig, hvor meget de kan låne, og hvor risikable de betragtes, ofte i løbet af få sekunder og uden forklaring, der stille og roligt former økonomiske muligheder på måder, de fleste mennesker aldrig ser, men føler i deres hverdag.
Disse systemer præsenteres normalt som neutrale værktøjer:hurtigere end mennesker, mere konsekvente, mindre tilbøjelige til fordomme.
I en sektor, der længe har været kritiseret for uigennemsigtighed og skævhed, er dette løfte tiltalende og ofte gentaget i industrien og politiske debatter. Men det løfte hviler på en skrøbelig antagelse, sjældent ekspliciteret, at de data, disse systemer lærer af, afspejler alles liv lige meget.
En nylig rapport fra EU's Agentur for Grundlæggende Rettigheder, baseret på feltarbejde i fem medlemslande, undersøgte, hvordan højrisiko AI-systemer styres under EU's AI-lov på områder som beskæftigelse, offentlige ydelser og retshåndhævelse. Den fandt en slående kløft mellem juridiske ambitioner og praksis:Mens risikoen for diskrimination er bredt anerkendt, mangler udbydere og installatører ofte værktøjer, ekspertise og vejledning til at vurdere dem systematisk. Selvevalueringer er tilbøjelige til at være inkonsekvente, og tilsynet er stadig tyndt.
Dette er et vigtigt spørgsmål. Når de data, der fodrer disse systemer, ikke formår at fange virkeligheden af kvinders økonomiske liv med samme dybde og nøjagtighed som mænds, er resultatet ikke kun en teknisk mangel, men en strukturel forvrængning, en der former, hvem der får adgang til kredit, på hvilke vilkår og med hvilke langsigtede konsekvenser. For at AI-drevet finansiering skal være retfærdig, skal kvinder først være "synlige" i de data, som disse systemer er afhængige af.
Algoritmer bedømmer ikke retfærdighed eller spørger, om et resultat giver mening, men estimerer, hvad der med størst sandsynlighed er korrekt baseret på de data, de er givet, tegner mønstre og projicerer dem fremad. Når data er ufuldstændige eller forvrænget, hviler systemets konklusioner på vaklende antagelser fra starten.
Hvis kvinder er underrepræsenteret, dårligt målt eller aldrig analyseret adskilt fra mænd, kan systemet ikke se ulige resultater, og hvad det ikke kan se, kan det ikke rette op på. Bias bliver simpelthen ført videre og gjort rutine.
Denne dynamik er let at gå glip af, når diskussioner forbliver på niveau med modeller og regulering, men dens virkninger bliver tydelige, så snart automatiserede systemer observeres i praksis. På tværs af forskellige lande viser beviser, hvor hurtigt ulighed kan indlejres i algoritmiske beslutninger, ikke fordi systemer er designet til at diskriminere, men fordi de trofast gengiver de forvrængninger, der allerede er til stede i de data, de lærer af.
Kenya tilbyder en sigende illustration. Ifølge offentliggjorte undersøgelser tilbød en meget brugt digital lånealgoritme konsekvent kvinder mindre lån end mænd, i nogle tilfælde med mere end en tredjedel, på trods af stærkere tilbagebetalingsevne. Systemet udskilte ikke kvinder med vilje:det lærte simpelthen af data formet af langvarige sociale og økonomiske uligheder og anvendte derefter disse mønstre i stor skala.
Det, der betyder noget i dette eksempel, er ikke Kenya selv, men hvad sagen synliggør. Algoritmen gjorde præcis, hvad den var designet til at gøre, ved at lære af tidligere adfærd og anvende disse mønstre konsekvent, men uden evnen til at skelne mellem kvinders og mænds resultater, var der ingen måde at opdage, at ulighed blev reproduceret i realtid. Problemet var ikke automatisering, men blindhed.
Det er her, kønsopdelte data bliver afgørende. Ved at sortere finansielle data efter køn kan regulatorer, finansielle institutioner og teknologidesignere afdække virkningerne af automatiserede systemer, identificere, hvem der har adgang til finansiering og udpege områder, hvor resultaterne begynder at divergere. Uden den synlighed forbliver kønsforskelle skjulte, og skjulte huller har for vane at blive permanente. I digital økonomi er data "en piges bedste ven", ikke som et slogan, men som en praktisk betingelse for ansvarlighed.
De fleste finansielle institutioner registrerer allerede en kundes køn som en del af den grundlæggende identifikation. På papiret er informationen der, indlejret i rutinerapportering og basale kunderegistre. I praksis er registrering af en variabel dog ikke det samme som at bruge den. I mange lande optræder kundens køn i databaser, men bliver aldrig analyseret, rapporteret eller overvåget af tilsynsførende, herunder i kernetilsynsrammer såsom tilsynsrapportering. Alt for ofte eksisterer dataene allerede, men de indsamles, arkiveres og ignoreres derefter stille og roligt. Problemet ligger ikke i, hvad der kan gøres, men i hvad der gøres.
Billedet ser meget anderledes ud i lande, der ofte antages at have færre ressourcer. I dele af Latinamerika og Afrika har regulatorer krævet kønsopdelt rapportering i årevis og offentliggør regelmæssigt data om kønsforskelle i finanssektoren.
I Chile har de finansielle myndigheder sporet kønsforskelle i udlån og indlån i mere end to årtier og har udgivet regelmæssige kønsopdelte økonomiske statistikker.
I Mexico kombinerer tilsynsmyndigheder bankdata med nationale husstandsundersøgelser for at forstå, hvordan kvinder og mænd bruger finansielle tjenester, og hvordan de klarer sig som låntagere.
Den synlighed har haft praktiske konsekvenser. I Mexico viste tilsynsdata, at kvinders lån var mindre, men mindre risikable, beviser, der førte til ændringer i reglerne for hensættelse af tab på udlån.
I Chile afslørede dataene, at lige adgang til konti ikke udmøntede sig i lige resultater inden for opsparing eller forsikring, hvilket førte til mere målrettede politiske reaktioner. Når først disse huller blev synlige, blev de langt sværere at ignorere.
Set fra dette perspektiv ligner situationen i mange højindkomstøkonomier mindre en teknisk forsinkelse og mere som en institutionel tøven. I store dele af Europa forbliver kønsdata frivillige eller fragmenterede på trods af avancerede datainfrastrukturer, et svigt ikke af teknisk kapacitet, men af institutionelt valg. Mit kommende politikpapir "Data Are a Girl's Best Friends:Tackling Digital Financial Inequality Through Sex-Disaggregated Data", der skal udgives i maj, undersøger dette.
Efterhånden som kunstig intelligens bliver dybere indlejret i finansiel beslutningstagning, bliver det valg sværere at forsvare. I en tid, hvor Europa implementerer EU's AI-lov og diskuterer, hvordan man regulerer algoritmisk beslutningstagning i finanssektoren, rejser fraværet af systematiske kønsdata et grundlæggende spørgsmål:hvordan kan retfærdighed overvåges, hvis de data, der er nødvendige for at opdage ulighed, aldrig bliver analyseret?
At synliggøre kvinder i data er ikke symbolsk. Uden det er rimelig finansiering ikke meget mere end et krav.
En ugentlig e-mail på engelsk med ekspertise fra forskere og forskere. Det giver en introduktion til mangfoldigheden af forskning, der kommer ud af kontinentet, og overvejer nogle af de centrale spørgsmål, som europæiske lande står over for. Få nyhedsbrevet!