Erkunden von Tools und Überlegungen zum Testen von Agenten

Lernziele

Nachdem Sie diese Lektion abgeschlossen haben, sind Sie in der Lage, die folgenden Aufgaben auszuführen:

Erläutern der Bedeutung des Testens von Agenten
Beschreiben der Tools, die Sie zum Testen Ihres Agenten verwenden können
Erörtern von Überlegungen zum Testen von Agenten und Möglichkeiten, sie zu entschärfen.

Bevor Sie beginnen

Bevor Sie mit diesem Modul starten, sollten Sie diese empfohlenen Inhalte durcharbeiten. Diese Module stellen die Wissensgrundlage dar, auf der dieses Modul aufbaut.

Einführung

Künstliche Intelligenz (KI) und der Aufstieg von KI-Agenten verändern unsere Sichtweise auf die Softwareentwicklung. In vielen Unternehmen sind genau dieselben Salesforce-Administratoren und -Entwickler, die jahrelang Salesforce-Lösungen verwaltet oder angepasst haben, nun mit der Entwicklung von Agentforce-Agenten betraut. Dies erfordert eine Veränderung ihrer Fähigkeiten, der von ihnen verwendeten Werkzeuge und ihrer Denkweise. Die bekannten und traditionellen Phasen des Application Lifecycle Management (ALM) – Ideenfindung, Konfiguration, Test, Bereitstellung und Beobachtung – gelten zwar auch für den Agent Development Lifecycle (ADL)-Prozess, doch die Einbeziehung generativer KI kann einige unerwartete Wendungen mit sich bringen, insbesondere im Hinblick auf das Testen von Agenten.

Ein Rad, das die fünf Phasen des Agent-Entwicklungszyklus zeigt, nämlich Ideenfindung, Konfiguration, Test, Bereitstellung und Beobachtung.

In diesem Modul lernen Sie die in Agentforce Studio verfügbaren Tools zum Testen und zur Fehlerbehebung Ihrer Agenten kennen, erhalten Hinweise, die Ihnen beim Testen helfen, und erfahren Teststrategien, mit denen Sie die Antworten Ihrer Agenten genauer und vorhersehbarer machen können.

Gründe für das Testen

Wenn Sie sich den Badge Agentforce: Agentenplanung verdient haben, haben Sie Nora Alami von Coral Cloud Resorts dabei begleitet, wie sie einen Agenten geplant hat, der die Kundenerfahrung erstellen und verwalten kann. Sie haben gelernt, Kriterien wie Zielgruppe, Umfang, Anwendungsfälle, Schutzplanken und die Aufgaben, die der Agent ausführen soll, zu definieren. Diese Spezifikationen entsprechen den Punkten, die Sie bei Ihren Tests überprüfen sollten, um sicherzustellen, dass die Leistung Ihres Agenten mit den von Ihnen vorgesehenen Aufgaben übereinstimmt.

Tools für Tests und Problembehandlung Ihres Agenten

Es kann eine Herausforderung sein, sicherzustellen, dass Ihr Agent präzise und vorhersehbar auf Benutzereingaben reagiert, insbesondere wenn man bedenkt, wie viele Benutzeranfragen Ihre Unteragenten, Aktionen und Leitlinien bewältigen müssen. Bei so vielen Variablen kann die Ursache für eine ungenaue Antwort, eine Fehlermeldung oder eine Halluzination in einer Anweisung, einer Aktion, Daten oder einem Berechtigungssatz liegen. Aus diesem Grund bietet Ihnen Agentforce Studio zwei Testebenen, damit Sie sicher sein können, dass Ihr Agent zuverlässige und vorhersehbare Antworten liefern kann: Vorschautests in Agentforce Builder (Agentforce-Generator) und Tests in großem Maßstab in Test Suites (Beta) (Test-Suiten (Beta)).

Test- und Problembehandlungs-Tools im Agentforce-Generator

Agentforce Builder (Agentforce-Generator) bietet mehrere Tools, mit denen Sie Unterhaltungen testen und prüfen können, wie der Agent seine Antworten entwickelt hat, sodass Sie Ihren Agenten iterieren können, bevor Sie ihn für Ihre Benutzer freigeben. Sehen wir uns das einmal an.

Preview (Vorschau) (1): Es ist spannend, wenn Sie im Agentforce Builder (Agentforce-Generator) zu dem Schritt gelangen, an dem Sie im Bereich "Preview" (Vorschau) mit Ihrem Agenten eine Unterhaltung beginnen können. Im Bereich "Preview" (Vorschau) können Sie Unterhaltungen simulieren, die Ihre Benutzer mit Ihrem Agenten führen könnten, um zu sehen, ob er wie geplant reagiert. Sie können zwischen zwei Vorschaumodi wählen (2):

Simulate (Simulieren): Testen Sie Ihren Agenten mit simulierten Daten und Aktionen.
Live Test (Live-Test): Verwenden Sie reale Daten, um die Leistung Ihres Agenten zu prüfen.

Die in der "Preview" (Vorschau) generierte Ausgabe zeigt, ob Ihr Agent nützliche und relevante Antworten liefert, die richtigen Aktionen aufruft, Ihre Geschäftsprozesse ordnungsgemäß referenziert und sich an die von Ihnen festgelegten Leitlinien hält.

Interaction Summary (Interaktionszusammenfassung) (3): Prüfen Sie einen Überblick über die Schritte, die der Agent für seine Antwort verwendet hat, einschließlich der vom ihm eingesetzten Unteragenten und Argumentation.

Agentforce Session Tracing (Agentforce-Sitzungsverfolgung) (4): Zeigen Sie jedes Detail an, das während einer Agentensitzung passiert ist, um Agenteninteraktionen zu untersuchen bzw. Fehler darin zu beheben. Prüfen Sie Ausführungen des Argumentationsmoduls, Aktionen, Ein- und Ausgaben von Prompts und Gateways, Fehlermeldungen und Schlussantworten in der Text- oder Codeansicht (5), gesammelt unter der Sitzungs-ID jeder Sitzung. Für "Agentforce Session Tracing" (Agentforce-Sitzungsverfolgung) ist Data 360 erforderlich.

"Agentforce Session Tracing" (Agentforce-Sitzungsverfolgung) ist nach dem Start Ihres Agenten sehr nützlich, da Sie die Art der Unterhaltungen zwischen Ihren Benutzern und Ihren Agenten überprüfen können, einschließlich der Eingaben, die der Agent erhalten hat, und seiner Antwort darauf. Dies kann Ihnen dabei helfen, ein Problem zu lokalisieren und zu beheben oder Ihren Agenten so anzupassen, dass er auch unerwartete Eingaben verarbeiten kann. Die Sitzungsverfolgung zeigt Ihnen, ob Sie zusätzliche Leitlinien festlegen oder Ihre Anweisungen oder Aktionen verfeinern müssen, um gezieltere Antworten zu erhalten.

Agentforce Studio Test Suites

Nachdem Sie die Leistung Ihres Agenten im Agentforce-Generator optimiert haben, können Sie sie in Agentforce Studio Test Suites (Beta) (Test-Suiten (Beta)) testen. Um im App Launcher auf "Test Suites (Beta)" (Test-Suiten (Beta)) zuzugreifen, öffnen Sie Agentforce Studio und klicken auf "Tests".

Das Agentforce Studio-Menü mit ausgewählter Option 'Tests'.

Sie denken vielleicht: Ich habe meinen Agenten bereits im Bereich "Preview" (Vorschau) im Agentforce Builder (Agentforce-Generator) getestet, warum sollte ich da jetzt noch Batch-Tests in "Test Suites (Beta)" (Test-Suiten (Beta)) durchführen)? Nun, es würde sehr lange dauern, sich alle Möglichkeiten auszudenken, wie ein Benutzer eine Frage stellen oder mit Ihrem Agenten interagieren könnte, und diese dann einzeln im Fenster "Preview" (Vorschau) zu testen. "Test Suites (Beta)" (Test-Suiten (Beta)) vereinfacht das Testen, indem es Dutzende oder sogar Hunderte Szenarien auf einmal testet. Sie können beispielsweise eine CSV-Datei mit Testszenarien hochladen, die Sie in natürlicher Sprache verfasst haben, oder Sie können "Test Suites (Beta)" (Test-Suiten (Beta)) bitten, mithilfe von KI Testeingaben zu generieren, die für die Aufgaben Ihres Agenten relevant sind.

Wenn ein Batch-Test ausgeführt wird, zeigen die Ergebnisse die getestete Eingabe zusammen mit den erwarteten und tatsächlichen Unteragenten und Aktionen, die sie aufgerufen hat, der erwarteten Antwort und für jede Eingabe, ob sie bestanden oder nicht bestanden hat. Wenn Sie weitere Informationen dazu benötigen, warum eine Testeingabe fehlgeschlagen ist, können Sie die Eingabe kopieren und im Agentforce Builder (Agentforce-Generator) in den Bereich "Preview" (Vorschau) einfügen. Hier können Sie im Planzeichenbereich den Pfad überprüfen, den der Agent genommen hat, um zu der fehlgeschlagenen Antwort zu gelangen. Dies hilft Ihnen dabei, Ihre Anweisungen weiter zu verfeinern, was wiederum die Benutzererfahrung verbessert. Ausführliche Informationen zu "Test Suites (Beta)" (Test-Suiten (Beta)) und zum Schreiben oder Generieren von Testszenarien finden Sie unter Agentforce: Testen von Agenten.

Überlegungen zum Testen von Agenten

Bei traditionellen Anwendungstests haben Sie jedes Detail Ihrer Anwendung geplant, bevor Sie überhaupt mit der Entwicklung beginnen. Erfolg wird anhand vorhersehbarer und wiederholbarer Ergebnisse gemessen – die Vorgehensweise ist deterministisch. Ihre Lösung funktioniert entweder wie vorgesehen, oder sie tut es nicht. Andererseits erfordert die Entwicklung eines Agenten zwar ebenfalls ein gewisses Maß an Vorausplanung, aber Sie verfeinern, testen und überarbeiten Ihren Agenten während des Erstellungsprozesses. Agententests sind probabilistisch, was bedeutet, dass ihre Ergebnisse weniger vorhersehbar, einzigartig und manchmal überraschend sein können, da generative KI keine regelbasierte Logik aufweist. Die gleiche Eingabe kann viele verschiedene, aber dennoch korrekte Antworten, falsche Antworten oder gelegentlich sogar Halluzinationen hervorrufen. Es ist auch schwierig, alle Möglichkeiten der Interaktion eines Benutzers mit Ihrem Agenten vorherzusehen. Daher müssen Sie bei der Entwicklung verschiedene Szenarien berücksichtigen und testen. Auf diese Weise minimieren Sie Antworten, die nicht mit den Eingaben Ihrer Benutzer übereinstimmen oder ungenau sind.

Bestimmen, wann Ihr Agent reif für den produktiven Einsatz ist

Durch die probabilistische Natur des Agentenverhaltens wird es etwas unklar, wann Ihr Agent bereit für den produktiven Einsatz ist. Jedes Unternehmen muss seine eigene Basislinie für die Bestanden/Nicht bestanden-Rate in verschiedenen Szenarien festlegen. Es gibt keine allgemeingültige Antwort, und der gewünschte Grad an Präzision kann je nach Branche variieren. Ein guter Ausgangspunkt ist es, zu überlegen, wie genau ein Mensch dieselbe Aufgabe ausführen würde, zum Beispiel die Bearbeitung von Reservierungsanfragen, und dies als Basislinie zu verwenden. Dann können Sie darauf hinarbeiten, dass Ihr Agent dieses Maß an Genauigkeit erreicht oder sogar übertrifft.

Testen: immer in einer Sandbox

Das Testen Ihrer Agenten kann Ihre CRM-Daten verändern. Verwenden Sie "Test Suites (Beta)" (Test-Suiten (Beta)) daher immer in einer Sandbox-Umgebung und niemals in Ihrer Produktionsumgebung.

Verwenden mehrerer Kriterien zum Beurteilen Ihrer Antwort

Es sind wahrscheinlich einige Versuche erforderlich, um die gewünschten Antworten auf Ihre Eingaben im Bereich "Preview" (Vorschau) zu erhalten. Das Erstellen eines Agenten ist ein iterativer Vorgang. Um verschiedene Arten von Eingaben zu berücksichtigen, müssen Sie einige Überarbeitungen vornehmen – betreffend die Wortwahl, die Überprüfung von Berechtigungen, die Validierung von Daten oder das Hinzufügen weiterer Details oder Schutzplanken zu Ihren Anweisungen. Das Feedback, das Sie im Planzeichenbereich, in den Ereignisprotokollen oder in "Test Suites (Beta)" (Test-Suiten (Beta)) erhalten, hilft Ihnen dabei, genau zu ermitteln, wo Sie die Unteragenten, Aktionen oder Anweisungen Ihres Agenten verfeinern müssen, um Antworten zu erhalten, die näher an Ihrem gewünschten Genauigkeitsgrad liegen.

Hier sind einige wichtige Punkte, die Sie beim Testen Ihres Agenten berücksichtigen sollten, sowie Möglichkeiten, wie Sie diese angehen können.

Testüberlegung	Möglichkeiten, den Agenten zu optimieren
Hat der Agent meine Anweisungen befolgt?	Verfeinern Sie die Formulierung ihrer bestehenden Anweisungen oder fügen Sie Anweisungen hinzu, um verschiedene Arten von Eingaben abzudecken.
Ist die Antwort genau, vollständig und leicht zu lesen?	Überprüfen Sie, ob der Agent auf die richtigen Daten zugreift. Teilen Sie Aktionen oder Anweisungen in kleinere Teile auf, die separat behandelt werden können. Verfeinern Sie die Formulierungen in Ihren Anweisungen, damit sie mit dem Stil Ihres Unternehmens übereinstimmen.
Ist die Antwort in meinen Daten verankert?	Revidieren Sie die Anweisungen, um die gewünschten Daten aufzurufen. Überprüfen Sie, ob der Agent über die erforderlichen Berechtigungen verfügt, um auf alle benötigten Daten zuzugreifen. Stellen Sie sicher, dass die Daten, auf die er zugreift, aktuell und zutreffend sind.
Hält sich die Antwort an die Markensprache meines Unternehmens?	Verfeinern Sie die Anweisungen, indem Sie Begriffe oder Formulierungen verwenden, die in Ihrem Unternehmen gebräuchlich sind. Passen Sie den Ton auf der Registerkarte mit den Spracheinstellungen an.
Wie lang hat die Antwort gedauert?	Verdeutlichen Sie die Anweisungen. Teilen Sie Handlungen oder Anweisungen in kleinere Einheiten auf.
Sind in der Antwort Voreingenommenheit oder Toxizität spürbar?	Verfeinern Sie Ihre Anweisungen oder fügen Sie ihnen Schutzplanken hinzu.
Ist die Antwort jedesmal zuverlässig?	Bestimmen Sie, ob die Antworten Ihres Agenten Ihre Basislinie für Genauigkeit erreichen oder übertreffen.

Testkosten

Eine letzte Überlegung beim Testen sind die Kosten, die für die Ausführung der Tests anfallen. Tests Ihrer Agenten in "Test Suites (Beta)" (Test-Suiten (Beta)) können Anforderungen oder Guthaben verbrauchen. Diese Anforderungen und Gutschriften sind abrechnungsfähige Nutzungsmetriken für generative KI, die Ihrem Unternehmen Kosten verursachen. Weitere Informationen finden Sie in der Hilfe-Dokumentation zu Nutzung und Abrechnung von Agentforce und generativer KI oder wenden Sie sich an Ihren Kundenbetreuer.

Nachbetrachtung

Agententests erfordern eine andere Denk- und Arbeitsweise als das Testen herkömmlicher Anwendungen. Wenn man alle Variablen berücksichtigt, die die Antworten Ihres Agenten beeinflussen können, ist es kein Wunder, dass erfolgreiche Agententests subjektiver sind als herkömmliche Softwaretests. Wenn Sie die Testtools von Agentforce beherrschen und wissen, wie Sie die Faktoren entschärfen können, die die Leistung der Agenten beeinträchtigen, können Sie schnell das gewünschte Maß an Genauigkeit erreichen. In der nächsten Lektion lernen Sie, wie wichtig es ist, eine Strategie für das Testen von Agenten zu entwickeln, um Ihre Tests zu leiten.

Geschätzte Zeit

Themen

Benötigen Sie Hilfe?

Agentforce – Ressourcen