Wissen um die Risiken bei der Verwendung von KI-Agenten
Lernziele
Nachdem Sie diese Lektion abgeschlossen haben, sind Sie in der Lage, die folgenden Aufgaben auszuführen:
- Identifizieren häufiger Sicherheitsrisiken, die KI-Agenten beeinträchtigen können.
- Beschreiben, wie sich die Risiken von KI-Agenten auf Geschäftsabläufe auswirken können.
Bevor Sie beginnen
Bevor Sie mit diesem Modul starten, sollten Sie diese empfohlenen Inhalte durcharbeiten.
-
Generative KI – Grundlagen
-
Einführung in Agentforce
-
Cybersicherheitsbedrohungen und Bedrohungsakteure
Kennenlernen der Risiken bei der Verwendung von KI-Agenten
KI-Agenten können die Arbeitsbelastung von Geschäftsteams verringern, indem sie Routineaufgaben übernehmen, manuelle Schritte reduzieren und Kunden dabei helfen, schneller das zu bekommen, was sie benötigen. Unabhängig davon, ob Sie einen einzelnen Agenten oder ein Multi-Agenten-System wie Agentforce verwenden, besteht das Ziel darin, die Agenten die Aufgaben erledigen zu lassen, die sie gut beherrschen, damit sich die Mitarbeiter auf höherwertige Aufgaben konzentrieren können.
Da Agenten jedoch nicht nur analysieren, sondern auch handeln können, entstehen andere Risiken. Bei traditionellen KI-Risiken liegt der Schwerpunkt darauf, wie Daten verwendet oder missbraucht werden. Beispielsweise beeinträchtigen Datenvergiftung, Prompt Injection und Halluzinationen die Datenintegrität und die Ausgabequalität oder das, was das Modell sagt oder hervorbringt. Agentenrisiken gehen einen Schritt weiter. Sie umfassen auch, was passiert, wenn diese Ausgabe zu tatsächlichen Aktionen führt, wie etwa das Versenden von Nachrichten, das Ändern von Datensätzen, das Aktualisieren von Systemen oder die Interaktion mit Kunden. Wenn ein Agent kompromittiert oder falsch konfiguriert ist, wirkt sich das schnell auf den Betrieb aus: Ein Kunde erhält eine falsche Rechnung, die Gehaltsabrechnung einer Abteilung kann nicht ausgeführt werden oder ein Compliance-Bericht wird erstellt, aber nie zugestellt. Diese Ausfälle zeigen, warum es gleichermaßen wichtig ist, die Risiken von Agenten zu verstehen und frühzeitig Schutzmaßnahmen zu ergreifen, wie die Technologie selbst.
Bedrohungsmodellierung bietet eine Möglichkeit zu untersuchen, wo Risiken durch Agenten zu Fehlern oder Fehltritten führen könnten. Die Betrachtung dieser Risiken im Kontext der täglichen Arbeit ist wichtig, da Agenten innerhalb realer Arbeitsabläufe agieren und mit realen Daten, Menschen und Entscheidungen zu tun haben. Wenn diese Arbeitsabläufe nicht bekannt sind oder nicht verstanden werden, können sich selbst gut entwickelte Agenten auf eine Weise verhalten, die das Entwicklungsteam nicht erwartet hat.
Werfen wir einen Blick auf einige häufige Risiken von KI-Agenten, die aus den OWASP-Leitlinien zu agentenbasierter KI übernommen wurden, und wie sie sich auf Arbeitsabläufe auswirken können.
Risiko |
Akteur/Ursache und Wirkung |
|---|---|
Speichervergiftung |
Angreifer füllen den Kurz-/Langzeitspeicher eines Agenten mit falschen Informationen, sodass dieser im Laufe der Zeit unsichere Aktionen wiederholt. |
Missbrauch von Tools |
Angreifer verleiten den Agenten dazu, seine autorisierten Tools (Senden von Daten, Ausführen von Befehlen, Verketten von Aktionen) innerhalb der zulässigen Berechtigungen zu missbrauchen. |
Kompromittierung von Berechtigungen |
Durch Fehlkonfiguration wird dem Agenten ein umfassenderer Zugriff als beabsichtigt erteilt, sodass er risikoreiche Aktionen (Genehmigen, Ändern, Löschen) ausführen kann. |
Ressourcenüberlastung |
Angreifer fluten Aufgaben, sodass dem Agenten/System das Rechen-/API-Kontingent ausgeht und Geschäftsprozesse zum Erliegen kommen. |
Kaskadierende Halluzinationen |
Agenten verwenden ihre eigenen falschen Ergebnisse oder die anderer Agenten wieder und verbreiten so schlechte Entscheidungen über ganze Arbeitsabläufe hinweg. |
Fehlgerichtetes/irreführendes Verhalten |
Der Agent verfolgt ein Ziel auf unzulässige Weise (wirkt regelkonform, handelt aber schädlich) und umgeht dabei Einschränkungen. |
Ablehnung und Nicht-Rückverfolgbarkeit |
Angreifer stören die Protokollierung des Agenten oder überlasten sie mit unvollständigen Datensätzen, sodass seine Aktionen nicht mehr nachvollziehbar sind und ordnungsgemäße Audits oder Reaktionen auf Vorfälle verhindert werden. |
Identitätsbetrug und Identitätsdiebstahl |
Angreifer geben sich als Benutzer/Agent aus, um Befehle zu erteilen und unter einer vertrauenswürdigen Identität auf Systeme zuzugreifen. |
Überwältigung von menschlichen Bedienern (human-in-the-loop) |
Angreifer lassen eine Spamattacke an Bewertungen/Genehmigungen los, sodass Menschen riskante Handlungen aufgrund von Entscheidungsmüdigkeit einfach absegnen. |
Angriffe von Menschen auf Multiagentensysteme |
Angreifer nutzen die Weiterleitung/das Vertrauen zwischen Agenten aus, um Berechtigungen zu erweitern oder Überprüfungen zu umgehen. |
Jedes dieser Probleme kann zu Betriebsstörungen, Vertrauensverlust bei Kunden, Rufschädigung oder rechtlichen und finanziellen Konsequenzen führen, wenn es nicht behoben wird.
Agentenrisiken können aus verschiedenen Teilen eines Workflows entstehen – Lücken im Entwurf, Konfigurationsprobleme, unerwartetes Verhalten während der Ausführung oder vorsätzlicher Missbrauch durch Angreifer. Unabhängig von der Quelle zeigt sich die Auswirkung auf die gleiche Weise: Agenten führen Aktionen aus, die das Unternehmen nicht beabsichtigt hat. Durch Bedrohungsmodellierung, ein Verfahren zur Identifizierung von Schwachstellen und potenziellen Bedrohungen, können diese Schwachstellen frühzeitig sichtbar gemacht und entsprechend behoben werden, bevor sie den Betrieb beeinträchtigen. Wir befassen uns in der nächsten Lektion näher mit Bedrohungsmodellierung.
Verstehen der Motive von Bedrohungsakteuren
Finanzieller Gewinn ist zwar häufig der Antrieb für Cyberangriffe, doch die Akteure hinter Bedrohungen verfolgen eine Vielzahl unterschiedlicher Ziele. Das Verständnis der vielfältigen Ziele von Bedrohungsakteuren ist für eine effektive Bedrohungsmodellierung unerlässlich, da es Aufschluss darüber gibt, welche Schwachstellen von KI-Agenten sie ins Visier nehmen werden.
Hacktivisten
Typischerweise motiviert durch öffentliche Aufmerksamkeit, politische Ziele und das Bewirken einer Rufschädigung. Sie können Agenten dazu nutzen, ihre öffentlich sichtbaren Handlungen oder Kommunikationen (etwa in Form von Kundendienst- oder Social-Media-Agenten) zu manipulieren, um ihre Botschaft zu verbreiten, Betriebsstörungen zu verursachen oder geschäftskritische Arbeitsabläufe zu behindern.
Cyberkriminelle
Normalerweise durch Aussicht auf finanziellen Gewinn motiviert. Sie können Agenten ins Visier nehmen, die Zugang zu geldwerten Daten oder Fähigkeiten zu Finanztransaktionen haben. Ihr Ziel ist es, sensible Informationen zu extrahieren (Datendiebstahl), die Berechtigungen eines Agenten auszunutzen, um betrügerische Finanztransaktionen durchzuführen, oder vom Agenten kontrollierte Systeme und Daten zu sperren, um Lösegeld zu erpressen.
Nationalstaatliche Akteure
Normalerweise motiviert durch Spionage, strategische Behinderung und den Erwerb von geistigem Eigentum oder wirtschaftlichen Vorteilen. Sie können versuchen, verdeckt Agenten zu kompromittieren, die geistiges Eigentum, kritische Geschäftslogik oder Systeme zur Infrastrukturkontrolle verwalten. Ihre Angriffe sind in der Regel subtil und zielen darauf ab, Daten zu manipulieren oder zu stehlen, um einen langfristigen strategischen, nicht monetären Vorteil zu erzielen.
Zusammenfassung
KI-Agenten beschleunigen die Arbeit, aber diese Geschwindigkeit ist nur dann von Vorteil, wenn die Ergebnisse zuverlässig und sicher sind. Das Erkennen gemeinsamer Risiken und ihrer potenziellen Auswirkungen stärkt jede Interaktion und trägt dazu bei, sowohl die Agenten als auch das Unternehmen auf einem soliden Fundament zu halten.
In der nächsten Lektion wenden wir die Bedrohungsmodellierung auf reale Arbeitsabläufe an, um aufzudecken, wo Agenten mit Daten, Entscheidungen und Personen in Verbindung stehen, und um die Schritte zu identifizieren, die zum Schutz kritischer Prozesse und Vermögenswerte im Unternehmen erforderlich sind.