Föreställ dig en värld där konstgjorda intelligenta algoritmer fattar beslut som påverkar din vardag. Föreställ dig nu att de är fördomade.
Det här är den värld vi redan lever i, säger datavetare, Harvard PhD och författare Cathy O'Neil. (Läs del en av vår diskussion med Dr O'Neil här). Vi satte oss ned med den nominerade National Book Award för att ta reda på vad vi kan göra om fördomar i big data-era. CT: Är AI fördomar?
CO: Varje algoritm som inte uttryckligen har gjorts rättvis bör antas vara skadad. För som människor är vi fördomar. Om vi erkänner det och vi skapar dessa algoritmer med våra värden och våra data, bör vi inte anta att något magiskt har hänt för att göra saker rättvisa. Det finns ingen magi där.
CT: Var får algoritmer data?
CO: Det beror på algoritmen. Ibland sociala medier, för saker som politisk marknadsinriktning eller reklam eller vinstdrivande högskolor och rovdjursutlåning - men mycket av uppgifterna samlas inte in på sociala medier eller ens online.
Datainsamling binds alltmer i verkligheten, som att få ett jobb, jobba på ditt jobb, gå på college eller gå i fängelse. Dessa saker är inte saker vi kan kringgå med sekretesslagar. Det är maktfrågor, där de personer som riktas in av algoritmerna inte har någon makt, och de människor som samlar in informationen och bygger och distribuerar algoritmerna har all makt. Du har inga integritetsrättigheter om du är en kriminell åtalad, du har inga integritetsrättigheter på ditt jobb och du har inte mycket i vägen för sekretessrättigheter om du söker ett jobb eftersom om du inte besvarar de frågor som din framtida arbetsgivare har ställt dig, kommer du sannolikt inte att få jobbet.
Vi bör tänka mindre på integritet och mer om makt när det gäller algoritmer och skadan [de kan orsaka].
CT: Vad kan vi göra för att göra det bättre?
CO: Vi kan erkänna att dessa algoritmer inte i sig är perfekta och testa dem för deras brister. Vi bör ha pågående revisioner och övervakare - särskilt för viktiga beslut som att anställa, straffutföra eller bedöma människor på deras jobb - för att se till att algoritmerna agerar på samma sätt som vi vill att de ska göra, inte på något slags diskriminerande eller orättvisa sätt.
Ailsa Johnson / © Culture Trip
CT: Vilka är de bästa och värsta scenarierna för den datadrivna framtiden?
CO: Det värsta fallet är vad vi har nu - att vi alla blint förväntar oss att algoritmer ska vara perfekta, även om vi borde veta bättre nu. Och vi förökar tidigare orättvisa och orättvisa. Och vi fortsätter att ignorera bristerna i dessa algoritmer.
Det bästa fallet är att vi erkänner att dessa algoritmer inte i sig är bättre än människor. Vi bestämmer vad vi vill ha som människor, vad vi strävar efter. Hur vi vill att samhället ska se ut och vi lär ut dessa värden. Om vi gör det framgångsrikt kan dessa algoritmer vara bättre än människor.
CT: Vilken roll kan vardagliga människor spela?
CO: Den viktigaste roll som en individ kan spela är att inte implicit lita på någon algoritm. Att ha en enorm mängd skepsis. Om du utvärderas på en algoritm frågar "Hur vet jag att det är rättvist, hur vet jag att det är till hjälp, hur vet jag att det är korrekt? Vad är felfrekvensen? För vem misslyckas denna algoritm? Misslyckas det kvinnor eller minoriteter? ' Ställ den typen av fråga.
Den andra saken, utöver skepsis, är att om du tror att en algoritm är orättvis mot dig eller andra människor är att organisera med dessa andra människor. Ett nytt exempel är lärare. De statistiska modellerna om mervärde lärare är fruktansvärda, nästan slumpmässiga nummergeneratorer. Men de användes för att bestämma vilka lärare som skulle få tjänstgöring och vilka lärare som skulle få sparken över hela USA.
Mitt förslag är att de ska få sin fackförening att driva tillbaka. Och detta hände på vissa platser. Men det är förvånande hur lite motstånd det fanns på grund av matematisk karaktär av poängsystemet.
CT: Hur kom du in på "big data"?
CO: Jag arbetade på Wall Street och bevittnade finanskrisen inifrån. Jag blev avsky över hur matematik användes för att antingen dra fördel av människor eller för att lura människor. Jag såg vilken typ av skada som kan komma från matematiska lögner, vad jag kallar "vapen av matematik".
Jag bestämde mig för att komma bort från det, så jag gick med i Occupy Wall Street och började arbeta som datavetare. Jag insåg sakta att vi såg felaktig och vilseledande hype kring vilseledande datalgoritmer som händer utanför Wall Street också, och att det kommer att leda till mycket skada. Skillnaden var att medan människor över hela världen märkte finanskrisen trodde jag inte att folk skulle märka bristerna i dessa big data-algoritmer, eftersom de vanligtvis händer på individnivå.
Läs en del av vår diskussion med Dr O'Neil här. Dr Cathy O'Neils bok, The Weapons of Math Destruction: How Big Data ökar ojämlikheten och hotar demokratin, finns nu tillgänglig.
