Förra veckan gjorde nyvalda amerikanska rep. Alexandria Ocasio-Cortez rubriker när hon sa som en del av det fjärde årliga MLK Now-evenemanget att ansiktsigenkänningsteknologier och algoritmer "alltid har dessa rasiella ojämlikheter som blir översatta, eftersom algoritmer fortfarande är gjorda av människor, och dessa algoritmer är fortfarande kopplade till grundläggande mänskliga antaganden. De är bara automatiserade. Och automatiserade antaganden - om du inte fixar förspänningen, automatiserar du bara förspänningen. "
Betyder det att algoritmer, som teoretiskt bygger på de objektiva sanningarna i matematik, kan vara "rasistiska?" Och i så fall, vad kan man göra för att ta bort denna förspänning?
Det visar sig att utmatningen från algoritmer verkligen kan ge partiska resultat. Datavetare säger att datorprogram, neurala nätverk, maskininlärningsalgoritmer och artificiell intelligens (AI) fungerar eftersom de lär sig hur de ska uppträda utifrån de data de får. Programvara är skriven av människor, som har partiskhet, och träningsdata genereras också av människor som har partiskhet.
De två stadierna i maskininlärning visar hur denna förspänning kan krypa till en till synes automatiserad process. I det första steget, träningsstadiet, lär sig en algoritm baserat på en uppsättning data eller på vissa regler eller begränsningar. Det andra steget är inferenssteget, där en algoritm tillämpar vad den har lärt sig i praktiken. Det andra steget avslöjar en algoritmes förspänningar. Till exempel, om en algoritm tränas med bilder av bara kvinnor som har långt hår, kommer det att tro att alla med kort hår är en man.
Google kom berömmt under brand under 2015 då Google Foton märkte svarta människor som gorillor, troligtvis för att det var de enda mörkhudiga varelserna i träningsuppsättningen.
Och partiskhet kan krypa in genom många vägar. "Ett vanligt misstag är att utbilda en algoritm för att göra förutsägelser baserade på tidigare beslut från partiska människor," berättade Sophie Searcy, en äldre datavetare vid datavetenskapens utbildning bootcamp Metis, till Live Science. "Om jag gör en algoritm för att automatisera beslut som tidigare gjorts av en grupp låneansvariga, kanske jag tar den enkla vägen och utbildar algoritmen i tidigare beslut från dessa låneförvaltare. Men då, naturligtvis, om de låneförvaltarna var partiska, då algoritmen jag bygger kommer att fortsätta de fördomarna. "
Searcy citerade exemplet COMPAS, ett förutsägbart verktyg som används över hela det amerikanska straffrättssystemet för dömning, som försöker förutsäga var brott kommer att inträffa. ProPublica utförde en analys på COMPAS och fann att verktyget, efter att ha kontrollerat för andra statistiska förklaringar, överskattade risken för recidivism för svarta svarande och konsekvent underskattade risken för vita svarande.
För att hjälpa till att bekämpa algoritmiska fördomar, sa Searcy till Live Science, bör ingenjörer och datavetare bygga mer mångfaldiga datamängder för nya problem, liksom att försöka förstå och mildra förspänningen inbyggd i befintliga datamängder.
Först och främst, säger Ira Cohen, en datavetare vid förutsägande analysföretag Anodot, bör ingenjörer ha en utbildningsuppsättning med relativt enhetlig representation av alla befolkningstyper om de utbildar en algoritm för att identifiera etniska eller könsattribut. "Det är viktigt att representera tillräckliga exempel från varje befolkningsgrupp, även om de är en minoritet i den totala befolkningen som undersöks," sa Cohen till Live Science. Slutligen rekommenderar Cohen att man letar efter fördomar i en testuppsättning som inkluderar personer från alla dessa grupper. "Om noggrannheten för ett visst lopp är statistiskt signifikant lägre än de andra kategorierna, kan algoritmen ha en förspänning, och jag skulle utvärdera träningsdata som användes för det," sa Cohen till LiveScience. Om till exempel algoritmen korrekt kan identifiera 900 av 1 000 vita ansikten, men korrekt upptäcker endast 600 av 1 000 asiatiska ansikten, kan algoritmen ha en förspänning "mot" asiater, tilllade Cohen.
Att ta bort förspänningar kan vara oerhört utmanande för AI.
Till och med Google, som anses vara en föregångare i kommersiell AI, kunde tydligen inte komma med en heltäckande lösning på sitt gorillaproblem från 2015. Wired fann att istället för att hitta ett sätt för sina algoritmer att skilja mellan färger och gorillaer, blockerade Google helt enkelt dess algoritmer för bildigenkänning från att identifiera gorillaer alls.
Googles exempel är en bra påminnelse om att utbildning av AI-programvara kan vara en svår övning, särskilt när programvara inte testas eller utbildas av en representativ och mångfaldig grupp människor.
