Erkennen von Voreingenommenheit in künstlicher Intelligenz
Lernziele
Nachdem Sie diese Lektion abgeschlossen haben, sind Sie in der Lage, die folgenden Aufgaben auszuführen:
- Beschreiben der Rolle von Daten bei der Entwicklung eines KI-Systems
- Verstehen des Unterschieds zwischen dem, was ethisch ist und dem, was gesetzeskonform ist
- Identifizieren der Arten von Voreingenommenheit, die in ein KI-System gelangen können
- Bestimmen von Einstiegspunkten, über die Voreingenommenheit in ein KI-System gelangen kann
Fokus auf künstlicher Intelligenz
Künstliche Intelligenz kann menschliche Intelligenz ergänzen, menschliche Fähigkeiten verbessern und umsetzbare Erkenntnisse liefern, die zu besseren Ergebnissen für unsere Mitarbeiter, Kunden, Partner und die Gesellschaft führen.
Wir glauben, dass die Vorteile von KI für alle zugänglich sein sollten, nicht nur für ihre Entwickler. Es reicht nicht aus, nur die technologischen Fähigkeiten von KI zur Verfügung zu stellen. Wir tragen auch eine wichtige Verantwortung dafür, dass alle unsere Kunden unsere KI sicher und uneingeschränkt nutzen können. Wir nehmen diese Verantwortung ernst und sind bestrebt, unseren Mitarbeitern, Kunden, Partnern und der Allgemeinheit die Instrumente zur Verfügung zu stellen, die benötigt werden, um KI sicher, präzise und ethisch einwandfrei zu entwickeln und zu nutzen.
Wie Sie im Modul zum Badge Künstliche Intelligenz – Grundlagen erfahren haben, ist künstliche Intelligenz ein Oberbegriff, der sich auf Bemühungen bezieht, Computern beizubringen, komplexe Aufgaben zu erfüllen und sich so zu verhalten, dass sie den Anschein menschlichen Handelns erwecken. Das Training für eine solche Aufgabe erfordert oft große Datenmengen, damit der Computer Muster in den Daten erkennen kann. Diese Muster bilden ein Modell, das ein komplexes System darstellt, so ähnlich wie bei einem Modell unseres Sonnensystems. Und mit einem guten Modell können Sie sinnvolle Prognosen erstellen (wie die Vorhersage der nächsten Sonnenfinsternis) oder Inhalte generieren (z. B. ein von einem Piraten geschriebenes Gedicht).
Wir wissen nicht immer, warum ein Modell eine bestimmte Vorhersage trifft oder Inhalte auf eine bestimmte Weise generiert. Frank Pasquale, Autor von The Black Box Society, beschreibt diesen Mangel an Transparenz als das Black Box-Phänomen. Während Unternehmen, die KI entwickeln, die Prozesse hinter ihren Systemen erklären können, ist es für sie schwieriger zu sagen, was in Echtzeit und in welcher Reihenfolge passiert, einschließlich wo Voreingenommenheit im Modell vorliegen kann. KI stellt besondere Herausforderungen dar, wenn es um Voreingenommenheit und faire Entscheidungen geht.
Was ist der Unterschied zwischen ethisch und gesetzeskonform?
In jeder Gesellschaft gibt es Gesetze, an die sich die Bürger halten müssen. Gelegentlich muss man jedoch über Gesetze hinausblicken, um ethisch vertretbare Technologie zu entwickeln. So schützen beispielsweise US-Bundesgesetze bestimmte Merkmale, die Sie bei Entscheidungen über Einstellung, Beförderung, Wohnungsvergabe, Kreditvergabe oder Krankenversicherung im Allgemeinen nicht berücksichtigen dürfen. Zu diesen geschützten Kategorien gehören Geschlecht, ethnische Zugehörigkeit, Alter, Behinderung, Hautfarbe, nationale Herkunft, Religion oder Glaube und genetische Informationen. Wenn Ihre KI-Modelle diese Merkmale verwenden, verstoßen Sie möglicherweise gegen geltendes Recht. Wenn Ihr KI-Modell eine Entscheidung trifft, bei der es legitim ist, mit diesen Merkmalen zu arbeiten, ist es vielleicht immer noch nicht ethisch vertretbar, diese Arten von Voreingenommenheit zuzulassen Fragen im Zusammenhang mit geschützten Klassen können auch in den Bereich des Datenschutzes und der Rechtmäßigkeit übergehen, weshalb wir empfehlen, unseren Trail Einführung in Datenschutzgesetze durchzuarbeiten, um mehr zu erfahren. Schließlich ist es auch wichtig, sich darüber im Klaren zu sein, wie Einstein-Produkte in Übereinstimmung mit unserer Richtlinie zur akzeptablen Nutzung verwendet werden können und dürfen.
Die gute Nachricht ist, dass KI eine Möglichkeit bietet, Voreingenommenheit systematisch anzugehen. Wenn Sie in der Vergangenheit erkannt haben, dass die Entscheidungsfindung in Ihrem Unternehmen zu einem voreingenommenen Ergebnis als Folge individueller Entscheidungen geführt hat, war es schwierig, den gesamten Prozess neu zu gestalten und diese inhärente Voreingenommenheit zu überwinden. Mit KI-Systemen haben wir jetzt die Möglichkeit, Fairness in das Design einfließen zu lassen und bestehende Verfahren zu verbessern.
Zusätzlich zur sorgfältigen Prüfung der rechtlichen und ethischen Auswirkungen Ihrer KI-Modelle sollten Sie prüfen, ob Ihr Modell mit der Verpflichtung Ihres Unternehmens zur Achtung und Förderung der Menschenrechte in Einklang steht. Sie sollten die internationalen Menschenrechtsgesetze und die Verantwortlichkeiten berücksichtigen, die die UNO zur Achtung der Menschenrechte seitens Unternehmen festgelegt hat. Dazu gehört ein Prozess der Sorgfaltsprüfung zur Bewertung der Auswirkungen auf die Menschenrechte, die Umsetzung der Bewertung und die Vermittlung, wie die Auswirkungen gehandhabt werden.
Zu suchende Arten von Voreingenommenheit
Voreingenommenheit manifestiert sich auf vielfältige Weise. Manchmal ist sie die Folge eines systemischen Fehlers. In anderen Fällen ist sie das Ergebnis gesellschaftlicher Vorurteile. Die Unterscheidung ist bisweilen unscharf. Mit diesen beiden Quellen von Voreingenommenheit im Hinterkopf, wollen wir einen Blick darauf werfen, wie Voreingenommenheit bzw. Verzerrung in ein KI-System gelangen kann.
Verzerrung bei der Messung oder im Datenset
Wenn Daten falsch bezeichnet, kategorisiert oder übermäßig vereinfacht werden, führt dies zu einer Messverzerrung. Eine Messverzerrung kann durch einen Fehler bei der Bezeichnung von Daten oder durch einen Computerfehler verursacht werden. Ein Merkmal, ein Faktor oder eine Gruppe kann in Ihrem Datenset über- oder unterrepräsentiert sein.
Nehmen wir ein harmloses Beispiel: ein Bilderkennungssystem für Katzen und Hunde. Die Trainingsdaten scheinen einfach genug zu sein, nämlich Fotos von Katzen und Hunden. Aber die Bildmenge enthält nur Fotos von schwarzen Hunden und entweder weißen oder braunen Katzen. Konfrontiert mit einem Foto eines weißen Hundes, kategorisiert die KI ihn als Katze. Obwohl die Trainingsdaten aus der Praxis selten so eindeutig sind, können die Ergebnisse genauso erstaunlich falsch sein – mit gravierenden Folgen.
Vergleich der Fehlertypen 1 und 2
Stellen Sie sich eine Bank vor, die KI zur Vorhersage einsetzt, ob ein Antragsteller ein Darlehen zurückzahlen wird. Wenn das System voraussagt, dass der Antragsteller in der Lage sein wird, das Darlehen zurückzuzahlen, dies aber nicht tut, handelt es sich um einen Fehler des Typs "Falsch positiv" oder Typ 1. Wenn das System voraussagt, dass der Antragsteller nicht in der Lage sein wird, das Darlehen zurückzuzahlen, dies aber tut, handelt es sich um einen Fehler des Typs "Falsch negativ" oder Typ 2. Banken möchten Kredite an Kreditnehmer vergeben, von denen sie überzeugt sind, dass sie sie zurückzahlen können. Um das Risiko zu minimieren, ist ihr Modell auf Fehler des Typs 2 ausgelegt. Dennoch schaden falsch negative Bewertungen Antragstellern, die das System fälschlicherweise als nicht rückzahlungsfähig einschätzt.
Voreingenommenheit durch Stereotype (Association Bias)
Daten, die gemäß Stereotypen bezeichnet werden, sind ein Beispiel der entsprechenden Voreingenommenheit. Wenn Sie in den meisten Online-Shops nach "Spielzeug für Mädchen" suchen, erhalten Sie eine endlose Auswahl an Kochspielzeug, Puppen, Prinzessinnen – alles in Rosa. Wenn Sie "Spielzeug für Jungen" suchen, sehen Sie Superhelden-Actionfiguren, Bausätze und Videospiele.
Bestätigungseffekt (Confirmation Bias)
Beim Bestätigungseffekt werden Daten basierend auf vorgefassten Ideen bezeichnet. Die Empfehlungen, die Sie beim Online-Einkauf sehen, spiegeln Ihre Kaufgewohnheiten wider, aber die Daten, die diese Einkäufe beeinflussen, spiegeln bereits wider, was die Menschen sehen und sich entscheiden, überhaupt zu kaufen. Sie können beobachten, wie Empfehlungssysteme Stereotypen verstärken. Wenn Superhelden nicht im Abschnitt "Spielzeug für Mädchen" einer Website erscheinen, wird ein Käufer wahrscheinlich nicht wissen, dass sie sich an anderer Stelle auf der Website befinden, geschweige denn sie kaufen.
Automatisierungseffekt (Automation Bias)
Durch den Automatisierungseffekt werden die Werte eines Systems anderen auferlegt. Nehmen wir zum Beispiel einen Schönheitswettbewerb, der 2016 mithilfe von KI entschieden wurde. Ziel war es, die schönsten Frauen mit einem gewissen Grad an Objektivität zu bestimmen. Die verwendete KI war jedoch hauptsächlich mit Bildern weißer Frauen trainiert worden und ihre erlernte Definition von "Schönheit" beinhaltete somit keine der eher bei People of Color auftretenden Merkmale. Die KI wählte daher hauptsächlich weiße Gewinnerinnen und übertrug damit eine Verzerrung der Trainingsdaten auf Ergebnisse in der realen Welt.
Der Automatisierungseffekt (Automation Bias) ist nicht auf KI beschränkt. Werfen Sie einen Blick auf die Geschichte der Farbfotografie. Ab Mitte der 1950er Jahre lieferte Kodak Fotolabore, die Filme anhand des Bilds einer hellhäutigen Mitarbeiterin namens Shirley Page entwickelten, das zur Kalibrierung von Hauttönen, Schatten und Licht verwendet wurde. Obwohl im Laufe der Zeit verschiedene Modelle zum Einsatz kamen, wurden die Bilder als "Shirley-Karten" bekannt. Shirleys Hautfarbe, unabhängig davon, wer sie war (und war anfangs sie immer weiß), galt als Standard. Lorna Roth, eine Medienprofessorin an der kanadischen Concordia University, erklärte NPR, dass die Käufer der Kameras, für die die Karten auf den Markt kamen, meist Weiße waren. Das sei der Grund gewesen, warum nicht eine breitere Palette von Hauttönen berücksichtigt wurde. In den 1970er Jahren begann Kodak mit dem Testen einer Vielzahl von Hauttönen und entwickelte Shirley-Karten für verschiedene ethnische Gruppen.
Gesellschaftliche Voreingenommenheit (Societal Bias)
Gesellschaftliche Voreingenommenheit reproduziert die Ergebnisse früherer Vorurteile gegenüber historisch ausgegrenzten Gruppen. Denken Sie an das "Redlining". In den 1930er Jahren wurden bestimmte Stadtteile im Rahmen einer föderalen Wohnungspolitik in Bezug auf ihre Attraktivität farblich gekennzeichnet. Die rot markierten wurden als gefährlich eingestuft. Die Banken verwehrten Minderheitengruppen, die in diesen rot markierten Vierteln wohnten, häufig den Zugang zu kostengünstigen Baufinanzierungen. Bis heute hat das Redlining die ethnische und wirtschaftliche Zusammensetzung bestimmter Postleitzahlbereiche beeinflusst, sodass Postleitzahlen ein Indikator für die ethnische Herkunft sein können. Wenn Sie Postleitzahlen als Datenpunkt in Ihr Modell aufnehmen, könnten Sie je nach Anwendungsfall versehentlich die ethnische Zugehörigkeit als Faktor in die Entscheidungsfindung Ihres Algorithmus einbeziehen. Denken Sie daran, dass es in den USA auch rechtswidrig ist, bei vielen Finanzierungsentscheidungen geschützte Kategorien wie Alter, ethnische Zugehörigkeit oder Geschlecht zu berücksichtigen.
Überrepräsentation der Überlebenden (Survivorship Bias)
Gelegentlich konzentriert sich ein Algorithmus auf die Ergebnisse derjenigen, die ausgewählt wurden oder die einen bestimmten Prozess "überlebt" haben, auf Kosten derjenigen, die nicht berücksichtigt wurden. Werfen wir einen Blick auf Einstellungspraktiken. Stellen Sie sich vor, Sie sind der Personalchef eines Unternehmens und möchten herausfinden, ob Sie Absolventen einer bestimmten Universität einstellen sollten. Sie sehen sich die aktuellen Mitarbeiter an, die von der einen oder anderen Universität eingestellt wurden. Aber was ist mit den Kandidaten, die nicht von dieser Universität angeworben wurden, oder die eingestellt und anschließend freigestellt wurden? Sie sehen den Erfolg nur derer, die "überlebt" haben.
Voreingenommenheit durch Interaktion (Interaction Bias)
Menschen erzeugen Voreingenommenheit durch Interaktion, wenn sie mit KI-Systemen interagieren oder absichtlich versuchen, diese zu beeinflussen und voreingenommene Ergebnisse zu erzielen. Ein Beispiel dafür ist, wenn Leute absichtlich versuchen, Chatbots eine unanständige Sprache beizubringen.
Wie gelangt Voreingenommenheit ins System?
Sie wissen, dass Voreingenommenheit über die Entwickler eines Produkts, durch Trainingsdaten (oder fehlende Informationen über alle Quellen, die zu einem Datenset gehören) oder aus dem gesellschaftlichen Kontext, in dem KI eingesetzt wird, in ein KI-System gelangen kann.
Annahmen
Vor dem Beginn der Entwicklung eines bestimmten Systems werden häufig Annahmen über Folgendes getroffen: was entwickelt werden soll und für wen und wie das System funktionieren soll, einschließlich welcher Art von Daten, die von wem gesammelt werden sollen. Das bedeutet nicht, dass die Urheber eines Systems böse Absichten haben. Aber als Menschen können wir nicht immer die Erfahrungen aller anderen verstehen oder vorhersagen, wie sich ein bestimmtes System auf andere auswirkt. Wir können versuchen zu begrenzen, dass unsere eigenen Annahmen in ein Produkt einfließen, indem wir verschiedene Interessengruppen und Teilnehmer von Anfang an in unsere Forschungs- und Entwicklungsprozesse einbeziehen. Wir sollten uns auch darum bemühen, dass kulturell diverse Teams an KI-Systemen arbeiten.
Trainingsdaten
KI-Modelle benötigen Trainingsdaten, und es ist einfach, schon mit dem Datenset Voreingenommenheit einzuführen. Wenn ein Unternehmen in der Vergangenheit Absolventen derselben Universitäten und Programme oder mit dem gleichen Geschlecht eingestellt hat, wird ein KI-System lernen, dass dies die besten Kandidaten sind. Das System wird keine Kandidaten empfehlen, die nicht diesen Kriterien entsprechen.
Modell
Die Faktoren, die Sie zum Trainieren eines KI-Modells verwenden, wie z. B. Hautfarbe, Geschlecht oder Alter, können zu Empfehlungen oder Prognosen führen, die gegenüber bestimmten, durch diese Merkmale definierten Gruppen voreingenommen sind. Sie müssen auch auf der Hut vor Einflussfaktoren sein, die als Stellvertreter für diese Merkmale fungieren. Der Vorname einer Person kann beispielsweise ein Stellvertreter für Geschlecht, ethnische Zugehörigkeit oder Herkunftsland sein. Aus diesem Grund verwenden Einstein-Produkte im Modell zur Bewertung von Leads und Opportunities keine Namen als Einflussfaktoren.
Menschliches Eingreifen (oder dessen Fehlen)
Wenn Trainingsdaten manuell bearbeitet werden, hat dies Einfluss auf das Verhalten des Modells und kann Voreingenommenheit entweder hinzufügen oder beseitigen. Wir könnten qualitativ minderwertige Daten oder überrepräsentierte Datenpunkte entfernen, Bezeichnungen hinzufügen oder Kategorien bearbeiten oder bestimmte Faktoren wie Alter und ethnische Herkunft ausschließen. Wir können auch das Modell so belassen, wie es ist, was je nach Umständen Raum für Voreingenommenheit lassen kann.
Die Beteiligten an einem KI-System sollten die Möglichkeit haben, Feedback zu dessen Empfehlungen zu geben. Dies kann implizit sein, d. h. das System empfiehlt ein Buch, das dem Kunden gefallen könnte, und der Kunde kauft es nicht, oder explizit sein, d. h. der Kunde gibt zu einer Empfehlung einen Daumen hoch. Dieses Feedback trainiert das Modell, mehr oder weniger von dem zu tun, was es gerade getan hat. Laut DSGVO müssen EU-Bürger auch in der Lage sein, falsche Informationen, die ein Unternehmen über sie hat, zu korrigieren und die Löschung ihrer Daten von diesem Unternehmen zu verlangen. Auch ohne gesetzliche Verpflichtung ist dies eine bewährte Vorgehensweise, da sie sicherstellt, dass Ihre KI Empfehlungen auf der Grundlage zuverlässiger Daten abgibt und das Vertrauen der Kunden sicherstellt.
KI kann Voreingenommenheit verstärken
Das Trainieren von KI-Modellen auf Grundlage voreingenommener Datensets verstärkt diese Tendenzen oft noch. In einem Beispiel wies ein aus Fotos bestehendes Datenset 33 % mehr Frauen als Männer auf, die mit Kochen beschäftigt waren, aber der Algorithmus erhöhte diese Voreingenommenheit auf 68 %. Weitere Informationen finden Sie im Abschnitt "Ressourcen" unter "Blogpost".
