Erkunden von Tools und Überlegungen zum Testen von Agenten

Lernziele

Nachdem Sie diese Lektion abgeschlossen haben, sind Sie in der Lage, die folgenden Aufgaben auszuführen:

• Erläutern der Bedeutung des Testens von Agenten
  
• Beschreiben der Tools, die Sie zum Testen Ihres Agenten verwenden können
  
• Erörtern von Überlegungen zum Testen von Agenten und Möglichkeiten, sie zu entschärfen.
  

Die neue Agentenerstellungs-Erfahrung kommt bald!

Agentforce wird überarbeitet! Auf der Dreamforce 2025 haben wir die neue Agentenerstellungs-Erfahrung angekündigt, die eventuell von den in diesem Badge beschriebenen Prozessen und Funktionen abweichen wird. Die neue Erfahrung wird voraussichtlich in den Wochen nach der Dreamforce als offene Beta-Version verfügbar sein. Die allgemeine Verfügbarkeit folgt kurz darauf. Die aktuelle Generatorerfahrung bleibt weiterhin verfügbar, damit zuvor erstellte Agenten weiterhin unterstützt werden. Weitere Informationen folgen in Kürze.

Bevor Sie beginnen

Bevor Sie mit diesem Modul starten, sollten Sie diese empfohlenen Inhalte durcharbeiten. Diese Module stellen die Wissensgrundlage dar, auf der dieses Modul aufbaut.

• Trailhead: Agentforce: Agentenplanung
  
• Trailhead: Agentforce Builder (Agentforce-Generator) – Grundlagen
  
• Trailhead: Die Einstein-Vertrauensebene
  

Einführung

Künstliche Intelligenz (KI) und der Aufstieg von KI-Agenten verändern unsere Sichtweise auf die Softwareentwicklung. In vielen Unternehmen sind genau dieselben Salesforce-Administratoren und -Entwickler, die jahrelang Salesforce-Lösungen verwaltet oder angepasst haben, nun mit der Entwicklung von Agentforce-Agenten betraut. Dies erfordert eine Veränderung ihrer Fähigkeiten, der von ihnen verwendeten Werkzeuge und ihrer Denkweise. Die bekannten und traditionellen Phasen des Application Lifecycle Management (ALM) – Ideenfindung, Konfiguration, Test, Bereitstellung und Beobachtung – gelten zwar auch für den Agent Development Lifecycle (ADL)-Prozess, doch die Einbeziehung generativer KI kann einige unerwartete Wendungen mit sich bringen, insbesondere im Hinblick auf das Testen von Agenten.

In diesem Modul lernen Sie die verfügbaren Tools zum Testen und zur Fehlerbehebung Ihrer Agenten kennen, erhalten Hinweise, die Ihnen beim Testen helfen, und erfahren Teststrategien, mit denen Sie die Antworten Ihrer Agenten genauer und vorhersehbarer machen können.

Gründe für das Testen

Wenn Sie den Badge Agentforce: Agentenplanung erworben haben, haben Sie Nora Alami von Coral Cloud Resorts dabei begleitet, wie sie einen Agenten geplant hat, der Kundenreservierungen erstellen und verwalten kann. Sie haben gelernt, Kriterien wie Zielgruppe, Umfang, Anwendungsfälle, Schutzplanken und die Aufgaben, die der Agent ausführen soll, zu definieren. Diese Spezifikationen entsprechen den Punkten, die Sie bei Ihren Tests überprüfen sollten, um sicherzustellen, dass die Leistung Ihres Agenten mit den von Ihnen vorgesehenen Aufgaben übereinstimmt.

Tools für Tests und Problembehandlung Ihres Agenten

Es kann eine Herausforderung sein, sicherzustellen, dass Ihr Agent präzise und vorhersehbar auf Benutzereingaben reagiert, insbesondere wenn man bedenkt, wie viele Benutzeranfragen Ihre Themen, Aktionen und Leitplanken bewältigen müssen. Bei so vielen Variablen kann die Ursache für eine ungenaue Antwort, eine Fehlermeldung oder eine Halluzination in einer Anweisung, einer Aktion, Daten oder einem Berechtigungssatz liegen. Aus diesem Grund bietet Ihnen Agentforce Studio zwei Testebenen, damit Sie sicher sein können, dass Ihr Agent zuverlässige und vorhersehbare Antworten liefern kann: manuelle Tests im Agentforce-Generator und Tests in großem Maßstab im Testcenter.

Test- und Problembehandlungs-Tools im Agentforce-Generator

Nachdem Sie Ihren Agenten in Agentforce Creator erstellt haben, können Sie ihn im Agentforce-Generator testen. Sie können Unterhaltungen im Bereich der Unterhaltungsvorschau ausprobieren, um zu sehen, wie sich Ihr Agent dabei schlägt. Sie können die Schritte, die zur Rückgabe der erhaltenen Antwort erforderlich waren, überprüfen, indem Sie die Details im Planzeichenbereich durchsehen. Außerdem können Sie die Ereignisprotokolle des Agenten überprüfen, um bestimmte Sitzungs- und Unterhaltungsdetails anzuzeigen.

Unterhaltungsvorschau (1): Es ist spannend, wenn Sie im Agentforce-Generator zu dem Schritt gelangen, an dem Sie im Bereich "Unterhaltungsvorschau" mit Ihrem Agenten ins Gespräch kommen können. Hier können Sie Unterhaltungen simulieren, die Ihre Benutzer mit Ihrem Agenten führen könnten, um zu sehen, ob er so reagiert, wie Sie es beabsichtigt haben. Anhand der generierten Antworten können Sie erkennen, ob Ihr Agent nützliche und relevante Antworten liefert, die richtigen Aktionen aufruft, ordnungsgemäß auf Ihre Geschäftsprozesse verweist und sich an die von Ihnen festgelegten Vorgaben hält.

Planzeichenbereich (2): Jedes Mal, wenn Sie eine Eingabe im Chat-Fenster der Unterhaltungsvorschau tätigen, wird das Feld in der Mitte, der sogenannte Planzeichenbereich, aktualisiert, um Ihnen zu zeigen, wie der Agent seine Antwort entwickelt hat. Der Planzeichenbereich zeigt die von Ihnen eingegebenen Anfangsdaten, das ausgewählte Thema, die aufgerufenen Aktionen und die verwendeten Anweisungen. Sie können auch die Argumentation sehen, die der Agent zur Generierung der Antwort verwendet hat, sowie alle relevanten Daten, die er verwenden durfte, um eine persönlichere und genauere Antwort zu geben.

Die Antwort und die Details, die Sie erhalten, helfen Ihnen dabei, genau zu bestimmen, wo Sie Ihren Agenten verfeinern können, damit er Antworten liefert, die mit Ihrem Plan übereinstimmen. Sie können eine Eingabe testen, Ihren Agenten überarbeiten und erneut testen. Aktualisieren Sie einfach das Fenster "Unterhaltungsvorschau" zwischen den Eingaben, um Ihre Änderungen zu übernehmen.

Erweiterte Ereignisprotokolle

Zwar verschwinden die Details Ihrer Interaktionen im Bereich "Unterhaltungsvorschau" bei jeder Aktualisierung Ihres Agenten, doch erfassen und speichern erweiterte Ereignisprotokolle die Interaktionen in einer Agentensitzung, sodass Sie den Ablauf einer Unterhaltung anzeigen können, um die Antworten Ihres Agenten zu verbessern. Um die erweiterten Ereignisprotokolle zu verwenden, aktivieren Sie die Einstellung in Agentforce Creator auf dem Bildschirm Customize your agent (Agent anpassen), indem Sie das Kontrollkästchen Keep a record of conversations with Enhanced Event Logs to review agent behavior (Unterhaltungen mit erweiterten Ereignisprotokollen aufzeichnen, um das Verhalten des Agenten zu überprüfen) aktivieren. Sie können die erweiterten Ereignisprotokolle auch später auf der Registerkarte "Details" in den Einstellungen Ihres Agenten aktivieren.

Der Zugriff auf erweiterte Ereignisprotokolle ist nach dem Start Ihres Agenten sehr nützlich, da Sie die Art der Unterhaltungen zwischen Ihren Benutzern und Ihren Agenten überprüfen können, einschließlich der Eingaben, die der Agent erhalten hat, und wie er darauf reagiert hat. Dies kann Ihnen dabei helfen, ein Problem zu lokalisieren und zu beheben oder Ihren Agenten so anzupassen, dass er auch unerwartete Eingaben verarbeiten kann. Ereignisprotokolle zeigen Ihnen, ob Sie zusätzliche Sicherheitsvorkehrungen treffen oder Ihre Anweisungen oder Aktionen verfeinern müssen, um gezieltere Reaktionen zu erreichen. Der Agentforce-Generator speichert Ereignisprotokolle 7 Tage lang, sodass Sie Gesprächsdaten und Sitzungsaktivitäten rückwirkend an einem Ort überprüfen können.

Testcenter

Nachdem Sie die Leistung Ihres Agenten im Agentforce-Generator optimiert haben, können Sie sie im Testcenter in einem Batch-Test überprüfen. Um über das Setup auf das Testcenter zuzugreifen, suchen Sie im Feld "Quick Find" (Schnellsuche) nach Testcenter und wählen es aus. Alternativ können Sie im Agentforce-Generator auf die Schaltfläche Batch Test (Batch-Test) oberhalb des Bereichs Unterhaltungsvorschau klicken.

Sie denken vielleicht: Ich habe meinen Agenten bereits im Agentforce-Generator getestet, warum muss ich jetzt noch Batch-Tests im Testcenter durchführen? Nun, es würde sehr lange dauern, sich alle Möglichkeiten auszudenken, wie ein Benutzer eine Frage stellen oder mit Ihrem Agenten interagieren könnte, und diese dann einzeln im Fenster "Unterhaltungsvorschau" zu testen. Das Testcenter vereinfacht das Testen, indem es Dutzende oder sogar Hunderte Szenarien auf einmal testet. Sie können beispielsweise eine CSV-Datei mit Testszenarien hochladen, die Sie in natürlicher Sprache verfasst haben, oder Sie können das Testcenter bitten, mithilfe von KI Testeingaben zu generieren, die für die Aufgaben Ihres Agenten relevant sind.

Wenn ein Batch-Test ausgeführt wird, zeigen die Ergebnisse die getestete Eingabe zusammen mit den erwarteten und tatsächlichen Themen und Aktionen, die sie aufgerufen hat, der erwarteten Antwort und für jede Eingabe, ob sie bestanden oder nicht bestanden hat. Wenn Sie weitere Informationen dazu benötigen, warum eine Testeingabe fehlgeschlagen ist, können Sie die Eingabe kopieren und im Agentforce-Generator in das Fenster der Unterhaltungsvorschau einfügen. Hier können Sie im Planzeichenbereich den Pfad überprüfen, den der Agent genommen hat, um zu der fehlgeschlagenen Antwort zu gelangen. Dies hilft Ihnen dabei, Ihre Anweisungen weiter zu verfeinern, was wiederum die Benutzererfahrung verbessert. Ausführliche Informationen zum Testcenter und zum Schreiben oder Generieren von Testszenarien finden Sie unter Agentforce: Testen von Agenten (englischsprachig).

Überlegungen zum Testen von Agenten

Bei traditionellen Anwendungstests haben Sie jedes Detail Ihrer Anwendung geplant, bevor Sie überhaupt mit der Entwicklung beginnen. Erfolg wird anhand vorhersehbarer und wiederholbarer Ergebnisse gemessen – die Vorgehensweise ist deterministisch. Ihre Lösung funktioniert entweder wie vorgesehen, oder sie tut es nicht. Andererseits erfordert die Entwicklung eines Agenten zwar ebenfalls ein gewisses Maß an Vorausplanung, aber Sie verfeinern, testen und überarbeiten Ihren Agenten während des Erstellungsprozesses. Agententests sind probabilistisch, was bedeutet, dass ihre Ergebnisse weniger vorhersehbar, einzigartig und manchmal überraschend sein können, da generative KI keine regelbasierte Logik aufweist. Die gleiche Eingabe kann viele verschiedene, aber dennoch korrekte Antworten, falsche Antworten oder sogar Halluzinationen hervorrufen. Es ist auch schwierig, alle Möglichkeiten der Interaktion eines Benutzers mit Ihrem Agenten vorherzusehen. Daher müssen Sie bei der Entwicklung verschiedene Szenarien berücksichtigen und testen. Auf diese Weise minimieren Sie Antworten, die nicht mit den Eingaben Ihrer Benutzer übereinstimmen oder ungenau sind.

Bestimmen, wann Ihr Agent reif für den produktiven Einsatz ist

Durch die probabilistische Natur des Agentenverhaltens wird es etwas unklar, wann Ihr Agent bereit für den produktiven Einsatz ist. Jedes Unternehmen muss seine eigene Basislinie für die Bestanden/Nicht bestanden-Rate in verschiedenen Szenarien festlegen. Es gibt keine allgemeingültige Antwort, und der gewünschte Grad an Präzision kann je nach Branche variieren. Ein guter Ausgangspunkt ist es, zu überlegen, wie genau ein Mensch dieselbe Aufgabe ausführen würde, zum Beispiel die Bearbeitung von Reservierungsanfragen, und dies als Basislinie zu verwenden. Dann können Sie darauf hinarbeiten, dass Ihr Agent dieses Maß an Genauigkeit erreicht oder sogar übertrifft.

Testen: immer in einer Sandbox

Das Testen Ihrer Agenten kann Ihre CRM-Daten verändern. Verwenden Sie das Testcenter daher immer in einer Sandbox-Umgebung und niemals in Ihrer Produktionsumgebung.

Verwenden mehrerer Kriterien zum Beurteilen Ihrer Antwort

Es sind wahrscheinlich einige Versuche erforderlich, um die gewünschten Antworten auf Ihre Eingaben im Bereich "Unterhaltungsvorschau" zu erhalten. Das Erstellen eines Agenten ist ein iterativer Vorgang. Um verschiedene Arten von Eingaben zu berücksichtigen, müssen Sie einige Überarbeitungen vornehmen – betreffend die Wortwahl, die Überprüfung von Berechtigungen, die Validierung von Daten oder das Hinzufügen weiterer Details oder Schutzplanken zu Ihren Anweisungen. Das Feedback, das Sie im Planzeichenbereich, in den Ereignisprotokollen oder im Testcenter erhalten, hilft Ihnen dabei, genau zu ermitteln, wo Sie die Themen, Aktionen oder Anweisungen Ihres Agenten verfeinern müssen, um Antworten zu erhalten, die näher an Ihrem gewünschten Genauigkeitsgrad liegen.

Hier sind einige wichtige Punkte, die Sie beim Testen Ihres Agenten berücksichtigen sollten, sowie Möglichkeiten, wie Sie diese angehen können.

Testkosten

Eine letzte Überlegung beim Testen sind die Kosten, die für die Ausführung der Tests anfallen. Das Testen Ihres Agenten im Testcenter kann Flex Credits, Unterhaltungsguthaben oder Einstein-Anforderungen verbrauchen und außerdem Data 360-Guthaben in Anspruch nehmen. Diese Anforderungen und Gutschriften sind abrechnungsfähige Nutzungsmetriken für generative KI, die Ihrem Unternehmen Kosten verursachen. Weitere Informationen finden Sie in der Hilfe-Dokumentation zu Nutzung und Abrechnung von Agentforce und generativer KI oder wenden Sie sich an Ihren Kundenbetreuer.

Nachbetrachtung

Agententests erfordern eine andere Denk- und Arbeitsweise als das Testen herkömmlicher Anwendungen. Wenn man alle Variablen berücksichtigt, die die Antworten Ihres Agenten beeinflussen können, ist es kein Wunder, dass erfolgreiche Agententests subjektiver sind als herkömmliche Softwaretests. Wenn Sie die Testtools von Agentforce beherrschen und wissen, wie Sie die Faktoren entschärfen können, die die Leistung der Agenten beeinträchtigen, können Sie schnell das gewünschte Maß an Genauigkeit erreichen. In der nächsten Lektion lernen Sie, wie wichtig es ist, eine Strategie für das Testen von Agenten zu entwickeln, um Ihre Tests zu leiten.

Ressourcen

• Trailhead: Agentforce Builder (Agentforce-Generator) – Grundlagen
• Blog: Ist Ihr Agent bereit für die Produktion?
• Salesforce-Hilfe: Auswerten der Qualität einer Antwort
• Salesforce-Hilfe: Nutzung und Abrechnung von Agentforce und generativer KI