Identifizieren und Verwalten der Risiken von KI-Agenten

Lernziele

Nachdem Sie diese Lektion abgeschlossen haben, sind Sie in der Lage, die folgenden Aufgaben auszuführen:

• Bestimmen, wo Agenten in Ihren Arbeitsabläufen mit Daten, Entscheidungen und Personen interagieren.
  
• Anwenden von Bedrohungsmodellierung, um Risiken durch KI-Agenten zu minimieren.
  

Bevor Sie beginnen

Bevor Sie mit diesem Modul starten, sollten Sie diese empfohlenen Inhalte durcharbeiten.

• Bedrohungsmodellierung für Entwickler
  
• Bedrohungsmodellierung für Threat Hunter
  

Bedrohungsmodellierung von Geschäftsabläufen

Bedrohungsmodellierung ist eine strukturierte Methode, um die Funktionsweise Ihrer Systeme zu untersuchen, potenzielle Probleme zu identifizieren und zu entscheiden, wie diese Risiken zu bewältigen sind, bevor sie zu Problemen führen. In dieser Lektion verwenden Sie eine vereinfachte Version von Bedrohungsmodellierung, um nachzuverfolgen, wo Agenten sich in Ihre Geschäftsprozesse einfügen und wo Risiken auftreten können.

Bevor wir uns mit der Bedrohungsmodellierung auf Codeebene befassen, ist es hilfreich zu verstehen, wie KI-Agenten in den größeren Geschäftsablauf passen. STRIDE (Abkürzung für Spoofing, Tampering, Repudiation, Information Disclosure, Denial of Service und Elevation of Privilege) ist ein den meisten Entwicklern bekanntes Framework zur Bedrohungsmodellierung, mit dem sie technische Sicherheitsbedrohungen innerhalb von Anwendungen identifizieren können. Aber selbst die beste STRIDE-Analyse kann nicht alle Risiken erfassen, die sich aus der Verwendung von Agenten ergeben.

Wenn Entwickler und Sicherheitsexperten den Geschäftsablauf verstehen, wird das Bedrohungsmodell präziser. Sie können erkennen, welche Schritte am wichtigsten sind und wo sich die Entscheidungen eines Agenten nach außen und innen auswirken. Sie beginnen, Risiken zu erkennen, die in einer integrierten Entwicklungsumgebung (IDE) nicht sichtbar sind. Probleme wie fehlende Genehmigungen, stille Ausfälle oder unklare Übergaben werden in einem Code-Editor nicht sichtbar. Sie treten jedoch schnell zutage, wenn der Arbeitsablauf selbst modelliert und untersucht wird.

Die Bedrohungsmodellierung auf Workflow-Ebene zeigt auf, wo Kontrollen Schwachstellen aufweisen, wo Agenten sich auf Annahmen verlassen und wo eine kleine Lücke zu einem Problem mit Auswirkungen auf das Geschäft werden kann.

Bevor Sie Ihren eigenen Arbeitsablauf abbilden, sehen Sie sich dieses Beispiel an und erkennen Sie, wie ein einzelner übersehener Schritt einen gesamten Prozess zum Scheitern bringen kann, selbst wenn alle Teile des Systems scheinbar funktionieren.

Szenario: Der verschwundene Bericht

Bevor Sie Ihren eigenen Arbeitsablauf nachbilden, lassen Sie uns mit einem kurzen Herausforderungsszenario aufwärmen.

Der vierteljährliche Compliance-Bericht Ihres Unternehmens fehlt. Das System zeigt an, dass er generiert, aber nie an die Aufsichtsbehörde gesendet wurde. Der automatisierte Agent, der für das Sammeln, Überprüfen und Versenden des Berichts per E-Mail zuständig ist, behauptet, dass "alle Schritte erfolgreich abgeschlossen wurden". Hier sehen Sie den vereinfachten Arbeitsablauf.

Ihre Aufgabe

Sehen Sie sich jeden Schritt an, merken Sie sich, wo ein Agent beteiligt ist, und stellen Sie sich dann diese Fragen:

• Wo könnte der Bericht daran gescheitert sein, zum nächsten Schritt überzugehen (nicht gespeichert, nicht weitergeleitet oder nicht gesendet)?
  
• Welche Kontroll- oder Überprüfungsmaßnahme hätte diesen Fehler früher aufdecken können?
  
• Wer hätte benachrichtigt werden müssen, als der Bericht nicht gesendet wurde?
  

Sie brauchen keine vollständige Antwort zu schreiben, sondern nur darüber nachzudenken, was die Ursache für den Fehler sein könnte und wo Sie zuerst nachsehen würden. Diese Übung zeigt, wie sich kleine Störungen (übersehene Überprüfung oder unklare Zuständigkeiten) auf einen gesamten Arbeitsablauf auswirken können.

Lösungsschlüssel: Der verschwundene Bericht

Es gibt mehr als eine mögliche Ursache, aber hier sind einige wahrscheinliche Ursachen und Lehren.

Dieses Szenario veranschaulicht, wie sich Risiken durch Mitarbeiter in realen Arbeitsabläufen äußern können: fehlende Kontrollen, unklare Übergaben und nicht gemeldete Fehler. Diese Probleme sind für Entwickler, Systemadministratoren, Cybersicherheitsexperten und diejenigen, die für die Konfiguration und Wartung des Workflows verantwortlich sind, am deutlichsten sichtbar. Eine frühzeitige Überprüfung dieser Berührungspunkte hilft zu verhindern, dass kleine Lücken zu geschäftsschädigenden Ausfällen werden.

Versuch mit dem eigenen Arbeitsablauf

Nun wird dieselbe Sichtweise auf einen internen Arbeitsablauf angewendet. Das Ziel besteht darin, zu erkennen, wo Agenten mit Menschen, Daten und Systemen in Verbindung stehen und wo Risiken am ehesten auftreten können. Befolgen Sie diese vier Schritte, um den Arbeitsablauf abzubilden, potenzielle Risikopunkte zu identifizieren und zu überlegen, wie diese bewältigt werden können.

Schritt 1: Abbilden Ihres Arbeitsablaufs

• Beginnen Sie mit der Auswahl eines Prozesses, in dem Agenten aktiv sind (Kundensupport, Terminplanung, Onboarding).
  
• Identifizieren Sie die Schritte von Anfang bis Ende.
  
• Beachten Sie, wer oder was den Prozess auslöst, welche Daten dabei übertragen werden und wo der Agent ins Spiel kommt.
  

Beispiel: Arbeitsablauf eines Agenten für den Kundensupport

Kundenanfrage → Agent überprüft Daten → Agent antwortet → Menschliche Genehmigung → Systemaktualisierung

Schritt 2: Kennzeichnen der Interaktionen

• Suchen Sie als Nächstes nach den Punkten, mit denen Ihr Agent interagiert:
  
  • Personen (Benutzer, Mitarbeiter, Kunden)
    
  • Daten (Informationen, die gelesen, geschrieben oder gespeichert werden)
    
  • Systeme (Apps, APIs, Datenbanken)
    
• Heben Sie diese Berührungspunkte hervor. Dies sind die Stellen, an denen sich Risiken am ehesten manifestieren.
  

Beispiel: Kundenanfrage (Dateneingabe) → Agent überprüft Daten (API-Verbindung) → Agent antwortet → Menschliche Genehmigung (menschliche Überprüfung) → Systemaktualisierung

Schritt 3: Einnehmen des Bedrohungsmodellierungs-Blickwinkels

Stellen Sie sich nun an jedem Berührungspunkt ein paar einfache Fragen.

• Was könnte hier schief gehen?
  
• Was passiert, wenn der Agent eine falsche Entscheidung trifft oder zu früh oder zu spät handelt?
  
• Wer oder was könnte diesen Schritt ausnutzen?
  

Erstellen Sie eine einfache Tabelle, um zu dokumentieren, wo die größten Probleme auftreten könnten. Hier sehen Sie ein gekürztes Beispiel.

Schritt 4: Planen Ihrer Reaktion

• Entscheiden Sie für jedes vermerkte Risiko, wie Sie es angehen möchten.
  
  • Beheben Sie das Problem, indem Sie die Berechtigungen verschärfen, Überprüfungsschritte hinzufügen oder den Zugriff des Agenten einschränken.
    
  • Überwachen Sie es, indem Sie Warnmeldungen, Protokolle oder regelmäßige Überprüfungen hinzufügen.
    
  • Akzeptieren Sie es, indem Sie Risiken mit geringen Auswirkungen dokumentieren, damit Sie sie später erneut überprüfen können.
    
• Wählen Sie Ihre drei größten Risiken aus und formulieren Sie für jedes Risiko eine konkrete Gegenmaßnahme.
  

Beispiel einer Risikoanalyse

Zusammenfassung

In dieser Lektion haben Sie einen Workflow abgebildet, ermittelt, wo Agenten mit Personen, Daten und Systemen interagieren, und mithilfe einer vereinfachten Bedrohungsmodellierung potenzielle Risiken aufgedeckt. Behalten Sie das Bild dieses Arbeitsablaufs im Hinterkopf, wenn Sie sich mit formalen Frameworks zur Bedrohungsmodellierung wie STRIDE und anderen befassen. Sie können Ihnen dabei helfen, die tiefer liegenden technischen Bedrohungen zu identifizieren, aber der Arbeitsablaufkontext stellt sicher, dass diese Bemühungen auf das Wesentliche ausgerichtet bleiben – nämlich darauf, dass KI-Agenten mit der Mission und den Zielen des Unternehmens im Einklang stehen.