Fördern von verantwortungsbewussten und ethischen Agenten

Lernziele

Nachdem Sie diese Lektion abgeschlossen haben, sind Sie in der Lage, die folgenden Aufgaben auszuführen:

Implementieren ethischer Red-Teaming- und Teststrategien
Entwickeln von Leitprinzipien und Normen für Ihre Organisation

Trailcast

Wenn Sie sich eine Audioaufzeichnung dieses Moduls anhören möchten, nutzen Sie den nachstehenden Player. Denken Sie nach dem Anhören dieser Aufzeichnung daran, zur jeweiligen Lektion zurückzukehren, sich die Ressourcen anzusehen und die zugehörigen Aufgaben zu absolvieren.

Leitprinzipien für verantwortungsvolle Agenten

Viele Unternehmen, die KI einführen, finden es hilfreich, Grundsätze für die verantwortungsvolle KI-Nutzung zu formulieren, bevor sie ihre KI-Strategie entwickeln. Mit einer Reihe von KI-Grundsätzen können Unternehmen ihren Standpunkt zu KI klar machen und die Auswirkungen der Technologie auf Mitarbeiter, Kunden und die Gesellschaft berücksichtigen. Sie können unsere Leitlinien als Inspiration für die Entwicklung Ihrer eigenen Leitlinien verwenden, die auf Ihren geschäftlichen Anforderungen und Anwendungsfällen basieren. Bedenken Sie, was Sicherheit für Ihren Anwendungsfall bedeutet. Gelten für Ihre Branche spezifische Gesetze, Vorschriften und Bestimmungen, die bestimmte Sicherheitsanforderungen vorschreiben?

Zur Auffrischung und als Starthilfe für die Festlegung Ihrer eigenen Leitprinzipien finden Sie hier das Leitprinzip von Salesforce für die Entwicklung vertrauenswürdiger KI.

Fehlerfreiheit
Sicherheit
Ehrlichkeit
Unterstützung
Nachhaltigkeit

Red-Teaming- und Teststrategien

Ein Red Team ist eine Gruppe von Experten, in der Regel Sicherheitsexperten und Experten für KI-Ethik, die versuchen, in die Systeme einer Organisation einzudringen, um Sicherheits- und andere Probleme zu finden und zu beheben, die zu unerwünschten Ergebnissen oder Folgen führen.

Red-Teaming kann definiert werden als ein "strukturierter Prozess zur Untersuchung von KI-Systemen und -Produkten mit dem Ziel, schädliche Fähigkeiten, Ergebnisse oder Infrastrukturbedrohungen zu identifizieren".

Drei Hände mit Lupen konzentrieren sich auf ein Warnschild mit einem Ausrufezeichen in einem Dreieck.

Testen ist ein Schlüsselaspekt, um Sicherheit zu gewährleisten und unbeabsichtigte Folgen zu vermeiden. ‌Hier sind einige wichtige Punkte, die Sie bedenken sollten.

Verstehen Sie, auf welche Schäden Sie testen möchten. Legen Sie die Ziele für die Tests fest und richten Sie diese an Ihren Geschäftszielen und Anwendungsfällen aus.
Stellen Sie das Team zusammen, das diese Tests durchführen soll. Sie können sowohl interne als auch externe Experten hinzuziehen, die sich gut auskennen und Erfahrung mit kontradiktorischem Denken und der Entwicklung von Angriffsstrategien für Tests haben.
Testen Sie regelmäßig, um sicherzustellen, dass Sie mit der sich weiterentwickelnden Technologie und dem kritischen Denken rund um KI und Agenten Schritt halten.

So gehen wir bei Salesforce Red-Teaming an. Salesforce nutzt sowohl manuelle als auch automatisierte Red-Team-Methoden, um die Sicherheit unserer KI-Produkte zu erhöhen. Wir testen auf missbräuchliche Verwendung, vorsätzliche Integritätsverletzungen wie Prompt Injection oder versehentlichen Missbrauch. Wir führen KI-Red-Teaming-Tests auf Toxizität, Voreingenommenheit und Sicherheit durch, um sicherzustellen, dass unsere Systeme auch bei böswilliger Nutzung oder gutartigem Missbrauch sicher sind.

Testart	Beschreibung
manuelle	Manuelles Testen nutzt die Kreativität, Erfahrung und das Fachwissen menschlicher Tester, um komplexe Angriffsstrategien zu entwickeln, die von automatisierten Systemen möglicherweise übersehen werden. Menschliche Tester können ihre Vorgehensweise außerdem an die jeweilige Umgebung, die Zielsetzung und einzelne Ziele anpassen, wodurch ihre Angriffe realistischer und passgenauer werden.
Automatisiert	Automatisierte Tests werden als Ergänzung und nicht als Ersatz für manuelle Tests und Bewertungen eingesetzt. Bei dieser Art von Tests werden Skripte, Algorithmen und Softwaretools verwendet, um in kurzer Zeit viele Angriffe oder Bedrohungen zu simulieren. Es untersucht auch die Risikooberfläche des Systems, indem es die Höhe des Risikos betrachtet.

Wir arbeiten mit externen und internen Experten zusammen, um Penetrationstests durchzuführen und die spezifischen Risiken und Anwendungsfälle von Agenten zu behandeln.

Einen umfassenderen Überblick hierzu erhalten Sie in unserem Blog zum verwantwortungsvollen Red-Teaming.

Benchmarking der Modelle

Durch den Vergleich unserer KI-Modelle mit Branchenstandards stellen wir sicher, dass ihre Leistung auf dem höchsten Niveau liegt. Wir sind sogar noch einen Schritt weiter gegangen und haben die ersten LLM-Benchmarks für CRM veröffentlicht. Diese Benchmarks haben wichtige Kennzahlen gemein, die uns helfen zu verstehen, wie gut ein KI-System funktioniert, und die auch unseren Kunden Informationen liefern.

Die Zukunft von Ethiktests

Das Test-, Evaluierungs- und Bewertungsteam bei Salesforce setzt sich dafür ein, das Vertrauen in unsere KI-Produkte und deren Sicherheit zu gewährleisten. Durch strenge Testverfahren, proaktives Red-Teaming und umfassendes Benchmarking sind wir bestrebt, die höchsten Standards von KI-Integrität aufrechtzuerhalten. Die Förderung einer Kultur der kontinuierlichen Verbesserung und Innovation ist Ausdruck unseres Bestrebens, KI-Lösungen anzubieten, denen unsere Kunden vertrauen können.

Richtlinien für die akzeptable Nutzung von KI

Salesforce hat eine Richtlinie zur akzeptablen Nutzung von KI (AI AUP) veröffentlicht, um sich an Branchenstandards und unsere Partner anzupassen und unsere Kunden zu schützen. Mehr erfahren Sie, wenn Sie unsere Richtlinien für die akzeptable Nutzung von KI durchlesen.

Die Salesforce AI AUP ist ein zentraler Bestandteil unserer Geschäftsstrategie. Aus diesem Grund haben wir uns vor ihrer Veröffentlichung die Zeit genommen, unseren Unterausschuss für ethische Nutzung sowie Partner, Branchenführer und Entwickler zu konsultieren. Damit wollen wir verantwortungsbewusste Innovationen fördern und die Menschen schützen, die unseren Produkten in Rahmen ihrer Entwicklung Vertrauen schenken. Die Salesforce AI AUP ist nur ein Ausgangspunkt, der sich auf die Verwendung von KI mit Salesforce-Produkten konzentriert. Erwägen Sie, eigene KI-Regeln oder -Grundsätze aufzustellen, um sicherzustellen, dass Ihr Unternehmen KI in einer Weise einsetzt, die den ethischen Werten Ihres Unternehmens entspricht.

Sicherheitsstandards für Agenten

Berücksichtigen Sie diese Sicherheitsmaßnahmen, um Sicherheitsstandards für die Zugriffskontrolle, den Datenschutz und den verantwortungsvollen Einsatz von Agenten in Ihrem Unternehmen zu entwickeln.

Kategorie	Geben Sie	Empfehlung
Zugriffssteuerung	Strenge Zugriffskontrollen	Implementieren Sie geeignete Zugriffskontrollen, um sicherzustellen, dass nur Personen mit einem Informationsbedarf und geschäftlichen Anforderungen berechtigt sind, mit generativen KI-Modellen und -Diensten zu interagieren. Bei der Entwicklung von Agenten sollten Sie den gesamten Umfang und alle möglichen Aktionen des Agenten umfassend identifizieren, um geeignete Ausführungskontexte zu bestimmen. Bei kritischen Aktionen sollten Sie in Betracht ziehen, Agenten innerhalb einzelner Service-Benutzerkontexte auszuführen, um detaillierte Zugriffskontrollen zu implementieren und potenzielle Sicherheitsrisiken zu minimieren.
Zugriffssteuerung	Überwachen und Überprüfen	Erstellen Sie Warnmeldungen und überwachen und prüfen Sie regelmäßig den Zugriff auf generative KI-Modelle und -Dienste, um unbefugte Nutzung zu erkennen und zu verhindern.
Datenschutz	Integritätskontrollen	Fügen Sie Integitätskontrollen sowohl für interne als auch für externe Daten hinzu. Befolgen Sie die richtigen Regeln für Anwendungssicherheit, Sicherung und Wiederherstellung sowie grundlegende Konfigurationen.
Verantwortliche Nutzung	Umgang mit Kundendaten	Unternehmen Sie Schritte für den ordnungsgemäßen Umgang mit Kundendaten. Achten Sie darauf, dass die Daten nur aus legitimen Gründen erhoben und verwendet werden und dass die betroffenen Personen ordnungsgemäß informiert werden und ihre Einwilligung erteilen.
	Transparenz gegenüber Kunden	Stellen Sie sicher, dass Dienste keine für Ihre Kunden unsichtbaren Rückschlüsse ziehen.
	Inhaltsmoderation	Stellen Sie einen Filter zur Inhaltsmoderation für generative KI-Dienste bereit und aktivieren Sie ihn standardmäßig, sofern verfügbar.
	Ethische Nutzung	Legen Sie Leitlinien für den ethischen Einsatz von generativer KI fest, um sicherzustellen, dass diese unter Wahrung der Privatsphäre und Sicherheit genutzt wird.

Von der Theorie zur Praxis

In diesem Modul haben wir uns ausführlich mit vertrauenswürdiger agentenbasierter KI befasst und erläutert, wie Salesforce vertrauenswürdige agentenbasierte KI entwickelt. Jetzt verstehen Sie die wichtigsten Risiken, die mit agentenbasierter KI verbunden sind, wie unerwartetes Verhalten, Voreingenommenheit und Datenverstöße. Sie haben auch etwas über die spezifischen Schutzvorkehrungen und Vertrauensmuster gelernt, die sicherstellen, dass KI-Agenten innerhalb sicherer und ethischer Parameter arbeiten. Sie verstehen, wie wichtig es ist, verantwortungsbewusste KI-Praktiken in Ihrem eigenen Unternehmen zu fördern, indem Sie ethisches Red-Teaming und Tests durchführen sowie eine Richtlinie zur akzeptablen Nutzung von KI einführen.

Mit diesem Wissen sind Sie auf dem besten Weg, KI-Agenten zu entwickeln, die nicht nur effektiv, sondern auch vertrauenswürdig und verantwortungsbewusst sind!

Geschätzte Zeit

Themen

Benötigen Sie Hilfe?

Agentforce – Ressourcen