Epistemische Ungerechtigkeiten in und durch Algorithmen – ein Überblick

Abstract

Die Erkenntnis, dass Algorithmen diskriminieren, benachteiligen und ausschließen, ist mittlerweile weit verbreitet und anerkannt. Programme zur Verwendung im predictive policing, zur Berechnung von Rückfälligkeitswahrscheinlichkeiten bei Straftäter:innen oder zur automatischen Gesichtserkennung diskriminieren vor allem gegen nicht-Weiße Menschen. Im Zuge dieser Erkenntnis wird auch vereinzelt die Verbindung zu epistemischer Ungerechtigkeit hergestellt, wobei die meisten Beiträge die Verbindungen zwischen Algorithmen und epistemischer Ungerechtigkeit nicht im Detail analysieren. Dieser Artikel unternimmt einen Versuch, diese Lücke in der Literatur zu verkleinern. Dabei umreiße ich zunächst das Feld der Algorithmen, um so die Entitäten, die epistemisch ungerecht sein könnten, klar zu fassen und zu unterscheiden. Dann erläutere ich eine Auswahl von epistemischen Ungerechtigkeiten, die für die Analyse von ungerechten Algorithmen relevant sind. Schließlich führe ich epistemische Ungerechtigkeiten und Algorithmen zusammen und zeige anhand von drei Beispielen – automatische Geschlechtserkennung, Googles Suchmaschinen-Algorithmus, PredPol (predictive policing) – dass Algorithmen an testimonialer Ungerechtigkeit und hermeneutischer Ungerechtigkeit beteiligt sind. Sie tragen so zudem auf verschiedenen Ebenen zur Exklusion von marginalisierten Gruppen bei.

English version

It is widely acknowledged that algorithms discriminate against people, disadvantage them, and exclude them. Predictive policing, recidivism predictions, automatic facial recognition discriminate against non-Whites in particular. These insights have been mentioned in conjunction with epistemic injustice, but most contributions do not discuss the relation between algorithms and epistemic injustices in detail. This article attempts to reduce the gap in the literature. I start by outlining what algorithms are in order to capture those objects that can be epistemically unjust. Then I introduce varieties of epistemic injustice that are relevant for analyzing epistemically unjust algorithms. On that basis I examine three algorithms – automatic gender recognition, Google’s search engine algorithm, PredPol (predictive policing) – with respect to epistemic injustice. I argue that these algorithms contribute to varieties of testimonial and hermeneutical injustice and are part of different levels of exclusion of marginalized groups.