Voreingenommenheit ist, einfach ausgedrückt, eine unfaire Bevorzugung oder Voreingenommenheit einer Person oder Gruppe gegenüber einer anderen. Sie kann zu einer ungleichen Behandlung oder einem Mangel an Fairness bei der Entscheidungsfindung führen. Im Zusammenhang mit künstlicher Intelligenz und maschinellem Lernen liegt eine Voreingenommenheit vor, wenn das Computersystem auf der Grundlage der Daten, auf die es trainiert wurde, Entscheidungen trifft, die eine Gruppe oder ein Ergebnis gegenüber einer anderen Gruppe bevorzugen und damit bestehende Ungleichheiten oder Stereotypen widerspiegeln.
Beispiele für solche Verzerrungen sind KI-gestützte Strafverfolgungssoftware, die bei ähnlichen Verbrechen für schwarze Straftäter längere Haftstrafen empfiehlt als für weiße Straftäter, oder Gesichtserkennungssoftware, die weiße Gesichter besser erkennt als schwarze Gesichter. Diese Unzulänglichkeiten sind häufig auf soziale Ungleichheiten in den von diesen Systemen verwendeten Trainingsdaten zurückzuführen. Heutige KI-Systeme funktionieren in erster Linie als Musterreplikatoren, die große Datenmengen mithilfe neuronaler Netze verarbeiten, um Muster zu erkennen. Wenn die Trainingsdaten ein Ungleichgewicht enthalten, wie z. B. eine höhere Anzahl weißer Gesichter im Vergleich zu schwarzen Gesichtern oder historische Strafverfolgungsdaten, die ein Ungleichgewicht zwischen schwarzen und weißen Straftätern zeigen, können maschinelle Lernsysteme unbeabsichtigt diese Vorurteile erlernen und aufrechterhalten, wodurch Ungleichheiten automatisiert werden.