Definieren der Leitlinien von Agenten

Lernziele

Nachdem Sie diese Lektion abgeschlossen haben, sind Sie in der Lage, die folgenden Aufgaben auszuführen:

Beschreiben der Leitlinien, die helfen, die Vertrauenswürdigkeit von Agentforce sicherzustellen
Identifizieren potenzieller Risiken, die mit Ihrem Agentforce-Projekt einhergehen
Definieren von Strategien zur Risikominderung für das Projekt

Trailcast

Wenn Sie sich eine Audioaufzeichnung dieses Moduls anhören möchten, nutzen Sie den nachstehenden Player. Denken Sie nach dem Anhören dieser Aufzeichnung daran, zur jeweiligen Lektion zurückzukehren, sich die Ressourcen anzusehen und die zugehörigen Aufgaben zu absolvieren.

Die Risiken autonomer KI

Autonome KI-Agenten sind unglaublich leistungsstarke Tools, die Ihrem Unternehmen Mehrwert bieten und die Kundenerfahrung verbessern können. Allerdings gehen mit ihnen Risiken einher. Zu diesen Risiken zählen Sicherheitsbedrohungen, Datenverstöße, Rufschädigung, finanzielle Verluste, Voreingenommenheit, Halluzinationen sowie Probleme hinsichtlich Transparenz und Rechenschaftspflicht.

Trotz der Risiken ist es möglich, autonome KI auf sichere Weise in Ihrem Unternehmen bereitzustellen. Mit der richtigen Planung und der Hilfe der Salesforce Platform können Sie einen ganzen Satz vertrauenswürdiger KI-Agenten entwickeln und implementieren.

Vertrauenswürdige KI-Agenten

In Trusted Agentic AI (Vertrauenswürdige agentenbasierte KI) erfahren Sie, dass eins der herausragenden Merkmale von Agentforce sein Schwerpunkt auf Leitlinien ist. Diese Leitlinien definieren die operativen Grenzen für jeden Agenten und legen fest, was er tun darf und was nicht. Sie können in natürlicher Sprache Richtlinien für das Verhalten des Agenten und seine Arbeitsweise festlegen.

Über die Sicherheitsvorkehrungen des KI-Agenten hinaus stellt die in die Salesforce Platform integrierte Einstein-Vertrauensebene sicher, dass die Handlungen des Agenten den Sicherheits- und Compliance-Standards Ihres Unternehmens folgen. Sie enthält Mechanismen für die Schadens- und Toxizitätserkennung, die verhindern, dass die Agenten unangemessene oder schädliche Aktivitäten ausführen.

Begleiten Sie in dieser Lektion Nora, wie sie gemeinsam mit dem KI-Rat von Coral Cloud die Risiken identifiziert, die mit ihrem Anwendungsfall für autonome KI verbunden sind, und einen Plan zur Bewältigung dieser Risiken entwickelt.

Governance nicht aus dem Blick verlieren

Die Salesforce-Leitlinien für KI-Agenten sind leistungsstark und robust, aber Nora ist sich bewusst, dass nicht alle Sicherheitsvorkehrungen von Coral Cloud in der Technologie selbst liegen. Was außerhalb der Technologie geschieht, ist ebenso wichtig.

Als Coral Cloud seine KI-Strategie entwickelte, führte das Team eine KI-Governance-Praxis ein, die ihm hilft, für seinen KI-Agenten eine umfassende Strategie zur Risikominimierung zu entwerfen.

Ein Beispiel für KI-Governance: Bei Coral Cloud schreibt der KI-Rat vor, dass alle neuen KI-Projekte einer Sicherheitsüberprüfung unterzogen werden. Dies ist ein Geschäftsprozess (keine technische Funktion), der hilft, die Organisation vor KI-Risiken zu schützen. Nora plant die Sicherheitsüberprüfung, damit das Unternehmen beginnen kann, sich eingehender mit den Sicherheitsvorkehrungen und der Governance des Projekts auseinanderzusetzen.

Einwände überwinden

In einigen Organisationen kann es schwierig sein, das Thema Risiko anzusprechen, da die Auffassung vorherrscht, dass Maßnahmen zur Risikominderung den Entwicklungsprozess verlangsamen. Es ist jedoch entscheidend, Risiken bereits im Voraus anzugehen, da das KI-Projekt sonst möglicherweise eingestellt wird, bevor es die Produktionsphase überhaupt erreicht.

Durch die Integration des Risikomanagements in die Konzeption und Prototypentwicklung von KI können Sie Ihre Projekte beschleunigen und sicherstellen, dass sie die erforderlichen ethischen, rechtlichen, behördlichen und sicherheitstechnischen Anforderungen erfüllen. Wenn Sie lernen, wie Sie Risiken für einen Anwendungsfall bewältigen, können Sie diese Erkenntnisse umgehend auf den nächsten Anwendungsfall und die später folgenden übertragen.

In weniger technischen Begriffen zu erläutern, was ein Agent ist und was er für Ihr Unternehmen leisten kann, kann Ihnen helfen, eine solide Grundlage zu schaffen. Diese Grundlage kann auf zukünftige Projekte anwendet werden und ermöglicht so im weiteren Verlauf eine reibungsärmere und erfolgreichere Implementierung von KI.

Risikodiskussion: das richtige Framing

Wie gehen Sie also Gespräche über Risiken an? Wir empfehlen, das PBTD-Framework (People, Business, Technology, and Data/Menschen, Geschäft, Technologie und Daten) zu verwenden, mit dem viele Unternehmen vertraut sind. Diese Kategorien und Überlegungen können Ihnen dabei helfen, mögliche Risiken und Bedenken im Zusammenhang mit Ihrem Agentforce-Projekt zu identifizieren.

Kategorie	Überlegungen
Menschen	Empowerment: Rollen und Zuständigkeiten, Einstellung, Schulung und Weiterbildung Kultur und Praxis: Auf Menschen bezogener KI-Entwurf, Änderungsmanagement, Einführung
Geschäft	Wert: Vorteile, Ziele, KPI und Kennzahlen Betrieb: Organisationsstruktur, Kapazitätsmanagement, Prozesse und Arbeitsabläufe, KI-Governance, DevOps-Strategie
Technologie	KI-Tools: KI-Infrastruktur, Anwendungen, APIs, Eingabeaufforderungen, Sicherheitsvorkehrungen KI-Modelle: Modellauswahl, Überlegungen zum Training, Verwaltung, Kosten
Daten	Qualität: Gebrauchstauglichkeit, Genauigkeit, Vollständigkeit, Zugänglichkeit, Aktualität und mehr Strategie: Datenmanagement, Infrastruktur, Governance, Analytik

Infografik mit den vier Quadranten des Menschen, Geschäft, Technologie und Daten-Frameworks.

Risiken und Bedenken identifizieren

Nora nutzt dieses Framework, um Risiken und Bedenken im Zusammenhang mit dem Coral Cloud-Anwendungsfall "Reservierungsverwaltung" zu erörtern. Stakeholder aus dem Coral Cloud-KI-Rat benennen die Risiken und Bedenken für jede Kategorie. Beachten Sie, dass diese Aufstellung nicht vollständig ist und jeder Anwendungsfall seine eigenen Risiken und Probleme mit sich bringt.

Kategorie	Risiken
Menschen	Ablehnung: Kunden möchten nicht mit dem Agenten sprechen, weil sie ihm nicht vertrauen oder weil sie sich nicht sicher sind, ob sie KI verwenden dürfen. Missbrauch: Kunden sind dem Agenten gegenüber feindlich eingestellt oder versuchen, ihn zu manipulieren. Kultur: Befürchtungen hinsichtlich der möglichen Auswirkungen von KI auf Dienstleistungsberufe beeinträchtigen die Arbeitsmoral der Mitarbeiter.
Geschäft	Passung: Der Aufgabenbereich des Agenten passt nicht richtig in die Unternehmensorganisation oder die Teamprozesse. Berichterstattung: Die aktuellen Team-KPIs werden durch die Einführung eines KI-Agenten, der einen Teil der Arbeit übernimmt, ungültig. Anreize: Vergütungs- und Belohnungsstrukturen werden durch die Umverteilung der Aufgaben der Mitarbeiter beeinflusst. Betrieb: Der Eskalationsprozess ist unklar, ineffizient oder frustrierend. Agentenleistung: Die anzuwendenden Unternehmensrichtlinien haben nicht den ordnungsgemäßen Einfluss auf die Antworten des KI-Agenten.
Technologie	Genauigkeit: Halluzinationen beeinträchtigen die Qualität der Antworten oder das Wissen ist unvollständig. Verlässlichkeit: Die Variabilität der vom Agenten generierten Antworten ist zu groß. Audit: Die Technik kann die Genauigkeit der Antworten des Agenten im Betrieb nicht nachverfolgen. Latenz: Der Agent kommt nicht zeitgerecht zu Antworten.
Daten	Zugriff: Datenberechtigungen werden nicht verstanden oder durchgesetzt; Daten werden möglicherweise für Kunden sichtbar. Datenschutz: Die angeforderten Daten können gemäß der Datenschutzrichtlinie nicht verwendet werden. Compliance: Es ist unklar, ob für die Daten vertragliche Beschränkungen seitens des Kunden gelten; beispielsweise besteht die Möglichkeit, dass die Daten das Land, in dem der Kunde ansässig ist, nicht verlassen dürfen. Zweckmäßigkeit: Die Daten sind nicht am Ziel des Agenten ausgerichtet oder die Datenrechte orientieren sich nicht am Anwendungsfall. Ethik: Verzerrungen in den Modelldaten führen möglicherweise zu unangemessenen Reaktionen.

Im Fall von Nora kann man sehen, wie die Einschränkungen in den Wissensartikeln ihres Unternehmens Einfluss auf ihre Einführungsstrategie haben können. Aber Coral Cloud könnte sich möglicherweise auch vielen der aufgeführten Risiken ausgesetzt sehen. Schließlich wird es kaum möglich sein, ein Fünf-Sterne-Erlebnis zu bieten, wenn sich ein Agent in seinen Antworten nicht an den Richtlinien des Urlaubsresorts orientiert oder die Mitarbeiter keine Möglichkeit haben, die Nützlichkeit der Agenten nachzuverfolgen.

Strategien zur Risikominimierung definieren

Nachdem der KI-Rat von Coral Cloud die Risiken und Bedenken katalogisiert hat, können Nora und ihr Team nun Strategien zur Risikominderung für jedes einzelne Risiko erarbeiten. Bei ihrer Entwicklung potenzieller Leitlinien kategorisieren sie sie im Einzelnen, um festzulegen, ob sie sich auf Menschen, Geschäft, Technologie oder Daten bezieht.

Hier sehen Sie Beispiele für mögliche Leitlinien für zwei der von Coral Cloud identifizierten Risiken.

Risikokategorie	Risiko	Potenzielle Leitlinien
Menschen	Ablehnung durch Kunden: Die Nutzer möchten nicht mit dem Agenten sprechen, weil sie ihm nicht vertrauen.	Personenleitlinie: Entwickeln Sie eine Kommunikationsstrategie: und führen Sie Informationsveranstaltungen für Kunden durch. Technologieleitlinie: Gestalten Sie den Agenten so, dass er jederzeit transparent in der Frage ist, dass es sich um KI handelt. Technologieleitlinie: Konfigurieren Sie eine Begrüßung für den Agenten, die die richtigen Erwartungen hinsichtlich seiner Fähigkeiten und der durch ihn gebotenen Hilfe weckt.
Geschäft	Eskalationsprobleme: Die Übergabe vom Agenten an Kundendienstmitarbeiter ist uneinheitlich, ineffizient oder für den Kunden frustrierend.	Geschäftliche Leitlinie: Definieren Sie die Kriterien und den Kontext für die Eskalation von der KI zu einem Kundendienstmitarbeiter. Technologieleitlinie: Konfigurieren Sie Agentforce so, dass eine Zusammenfassung der bisherigen Interaktion des Agenten an den Kundendienstmitarbeiter weitergeleitet wird. Technologieleitlinie: Beschreiben Sie in den Anweisungen für den Agenten klar und deutlich alle Schlüsselwörter, Formulierungen oder Anfragen, die eine Eskalation auslösen sollten.

Nora hat bereits einen Plan, um den Umfang der Implementierung ihres Reservierungsmanagements einzugrenzen. Außerdem kann sie Maßnahmen ergreifen, um Kunden, die einen Mitarbeiter nach dem Unternehmen fragen, die richtigen Erwartungen zu vermitteln. In diesem Fall könnte das so aussehen, dass der Begrüßung des Agenten eine Erklärung hinzugefügt wird, die klarstellt, dass dessen Zweck die Beantwortung von Fragen zur Reservierung ist. Und fügen Sie anderen Diensten einen Verweis auf die beste Quelle für Informationen hinzu.

Dokumentieren und experimentieren

Wenn Nora und der KI-Rat die Maßnahmen zur Risikominimierung abgeschlossen haben, dokumentieren sie die Risiken und Leitlinien für ihren Anwendungsfall. Die Erfassung der von Coral Cloud getroffenen Maßnahmen zur Risikominimierung ist für die Einhaltung gesetzlicher Vorschriften wichtig und für interne Audits nützlich.

Beachten Sie, dass Iteration ebenso wichtig ist wie Dokumentation. Zur Sicherstellung, dass Ihre technologiebezogenen Sicherheitsvorkehrungen wirksam sind, wechseln Sie in Ihre Sandbox-Umgebung und versuchen Sie, die Sicherheitsvorkehrungen in Agentforce zu konfigurieren. Probieren Sie es in der Praxis und testen Sie, wie sich die Leitlinien in verschiedenen Szenarien bewähren. Dieser Ansatz hilft Ihnen, etwaige Lücken oder Probleme frühzeitig zu erkennen und die erforderlichen Anpassungen vorzunehmen. Durch die Kombination von Dokumentation mit praktischen Experimenten können Sie Strategien zur Risikominderung für Ihren KI-Agenten entwickeln.

Mit einem etablierten vorläufigen Governance-Plan ist Nora nun bereit, sich einem weiteren wesentlichen Bestandteil des Projekts zu widmen: die Aufgaben zu beschreiben, die der Agent von Coral Cloud ausführen soll.

Geschätzte Zeit

Themen

Benötigen Sie Hilfe?

Agentforce – Ressourcen