Hogyan működik a hatalom? Erre a kérdésre keresték a választ Michel Foucault kutatásai az 1970-es években, amikor a francia  filozófus elemezte azokat a technikákat, amelyekkel a hatalom osztályozza az embereket aszerint, hogy rendesek vagy deviánsok, bűnözők-e vagy az erényesek. Ma az egyén, állította Foucault, állandó felügyelet alatt áll, amelyet különböző intézmények, az iskola, a börtön, és olyan tudományok, mint a kriminológia és a pszichiátria gyakorolnak felette.

Ma az emberi magatartás sajátosságainak meghatározott modellek szerinti kategorizálásának funkcióját egyre inkább számítógépes rendszerekre bízzák, amelyek képesek tanulni (machine learning) az emberi magatartás mímelésével. A mesterséges intelligencia olyan kutatási terület, amellyel érdemes szembenézni, hogy meg lehessen érteni a foucault-i módszer alapján azokat a hatalmi mechanizmusokat, amelyeknek alá vagyunk vetve – írja a La Stampa.

Egyes eset, amely sok kérdést vetett fel, a COMPAS-nak nevezett szoftver, amelyet az amerikai bíróságok alkalmaznak abból a célból, hogy kiszűrjék a vádlottak és a rabok közül azokat, akik visszaesők lehetnek. A ProPublica non-profit szervezet, amely 2010-ben Pulitzer-díjat nyert az oknyomozó riport kategóriában, kimutatta, hogy az a szoftver, hogyan fokozhatja a faji diszkriminációt. A Floridában letartóztatott 10 ezer ember példáján keresztül bizonyította ezt. A COMPAS ugyanis kétszer annyi lehetséges visszaesőt választott ki a feketék közül, mint a fehérek esetében.

Az algoritmusoknak átadott hatalom az ember döntések helyettesítésére a társadalmi egyenlőtlenséget ilyen erősítéséhez vezethet. Ezt a Science-ben megjelent tanulmány is kimutatta. A kutató csapatot egy olyan eszköz ihlette, amelyet a pszichológiában alkalmaznak. Az eszköz neve  IAT (Implicit Association Test). Ezen keresztül értékelni lehet az asszociációt a szavak és a fogalmak között, amelyeket felidéznek anélkül, hogy az ember ennek tudatában lenne és fel lehet mérni, hogy milyen módon lehet az embereket irányítani választásaikban és preferenciáikban.

A kutatók hasonló módon próbálták megérteni, hogy lehet a mesterséges intelligenciát képessé tenni a WEAT-on (Word Embedding Association Test) keresztül a szavak és a  fogalmak asszociációjára. Az ilyen típusú teszthez rengeteg adat betáplálására van szükség.

Ehhez a kísérlethez a kutatók az on-line tartalmakból több milliárd szót választottak ki. A gép azt a feladatot kapta, hogy asszociálja a szavakat és fogalmakat, amelyek a nemekkel és a munkahelyekkel függnek össze. Az eredmény az lett, hogy a „férfi” szót a matematikával, a „nő” szót a családdal, a humanisztikus tevékenységekkel párosította. Innen már könnyen el lehet jutni ahhoz a következtetéshez, hogy ha ezeket az algoritmusokat életrajzok alapján történő kiválasztásra használnák egy állás meghirdetésénél, a férfijelöltek találnák alkalmasnak tudományos munkára.

Ezek az algoritmusok ilyen formán erősíthetik a nemek között egyenlőtlenséget, talán éppen azért, mert a beléjük táplált, a mindennapi szövegekből kivett adatok is szexizmust, rasszizmust tükröznek. Az egyik legnagyobb kihívás ezért az, hogy miként használjuk a mesterséges intelligenciát, hogy gátat szabjunk ezeknek a technikáknak, amelyekkel manipulálnak bennünket – vonja le a következtetést a La Stampa.