Optimieren Ihrer Agenten mithilfe einer Teststrategie in fünf Schritten
Lernziele
Nachdem Sie diese Lektion abgeschlossen haben, sind Sie in der Lage, die folgenden Aufgaben auszuführen:
- Erläutern, warum es wichtig ist, über eine Teststrategie zu verfügen, bevor mit dem Testen begonnen wird.
- Beschreiben der aus fünf Schritten bestehenden Strategie zum Testen Ihrer Agenten.
Warum sollte man einer Teststrategie folgen?
Agententests sind die Grundlage für die Veröffentlichung von Agenten, die zuverlässig und vertrauenswürdig sind. Die Tools von Agentforce Studio bieten eine Vielzahl von Möglichkeiten, um sicherzustellen, dass Ihr Agent die Aufgaben verarbeitet, die Sie für ihn vorgesehen haben. Wie Sie in der letzten Lektion gelernt haben, kann es eine Herausforderung sein, die vielen Möglichkeiten gründlich zu testen, wie ein Benutzer mit einem Agenten interagieren kann. Angesichts der vielen Variablen ist es ratsam, vor Beginn eine Teststrategie festzulegen. In dieser Lektion lernen Sie, wie Sie Ihren Agenten testen, nachdem Sie ihn im Agentforce-Generator optimiert haben.
Eine Strategie zum Testen Ihrer Agenten in fünf Schritten
Die Test-Loop für KI-Agenten ist eine schrittweise Strategie, die Sie durch die Feinabstimmung Ihrer Agenten führt, damit sie für Ihre Benutzer bereit sind. Sie erstellen Testszenarien, wählen Auswertungskennzahlen aus und führen automatisierte Tests durch. Anschließend validieren Sie die Ergebnisse und nutzen das Feedback, um Teile Ihres Agenten weiter zu optimieren und dessen Genauigkeit und Leistung zu verbessern.
Schritt 1: Identifizieren von Testszenarien und Erstellen von Testdaten
Nachdem Sie verschiedene Benutzereingaben im Bereich "Unterhaltungsvorschau" manuell getestet und Ihren Agenten auf Grundlage dieser Antworten überarbeitet haben, können Sie Ihren Agenten im Testcenter einem Batch-Test unterziehen. Der erste Schritt bei Batch-Tests besteht darin, die Arten von Eingaben festzulegen, die Sie testen möchten. Sie können eigene Testszenarien erstellen und hochladen, indem Sie sie in natürlicher Sprache verfassen, oder Sie können das Testcenter bitten, Testfälle mithilfe von KI für Sie zu generieren, wobei die Metadaten Ihres Agenten und die Daten, auf die er zugreifen darf, verwendet werden. Unabhängig davon, ob Sie die Testszenarien selbst schreiben oder KI bitten, sie zu generieren, ist es nützlich zu wissen, was ein gutes Testszenario ausmacht. Deshalb sehen wir uns das jetzt an.
Als Sie Ihren Agenten geplant haben, haben Sie dessen Umfang und Fähigkeiten definiert. Unser Reservierungsagent umfasst beispielsweise diese Themen und Aktionen, die einige der Aufgaben und Tätigkeiten definieren, die der Agent im Zusammenhang mit Reservierungen ausführt.
- Das Thema Reservation Management (Reservierungsverwaltung) umfasst Aufgaben wie die Bestätigung von Reservierungen und Reiseplänen sowie die Erstellung neuer oder die Änderung bestehender Reservierungen.
- Die Aktion Create or Update Reservation (Reservierung erstellen oder aktualisieren) erstellt eine neue Reservierung, wenn noch keine vorhanden ist. Oder, falls eine Änderung an einer bestehenden Reservierung gemacht wird, aktualisiert sie den Datensatz des Gasts.
Um Ihnen bei der Erstellung guter Testszenarien zu helfen, überprüfen Sie im Agentforce-Generator die Themen Ihres Agenten, einschließlich der Felder "Klassifizierungsbeschreibung" und "Umfang", die die Fähigkeiten und Parameter beschreiben, innerhalb derer Ihr Agent arbeiten sollte. Überprüfen Sie auch jede Anweisung, die die Arbeitsweise des Agenten regelt. Schreiben Sie als Nächstes Eingaben (oder generieren Sie sie im Testcenter), die auf der Grundlage dieser Details getestet werden, um sicherzustellen, dass Ihr Agent in jedem Szenario zuverlässig funktioniert. Für das von uns beschriebene Thema "Reservation Management" (Reservierungsverwaltung) könnten beispielsweise die folgenden Testszenarien in Frage kommen.
- Ich würde gerne eine Reservierung tätigen.
- Haben Sie im Juli noch freie Termine?
- Ich muss meine Reservierung ändern.
- Ich würde gerne meine Reservierung bestätigen.
Sie benötigen eine Reihe von Szenarien, die alle Arten von Eingaben abdecken, um Ihren Agenten gründlich zu testen. Ein guter Satz von Testeingaben weist diese Attribute auf.
-
Volume (Umfang): Eine ausreichende Anzahl von Testfällen, um umfassende Abdeckung verschiedener Szenarien und Grenzfälle sicherzustellen.
-
Diversity (Vielfalt): Eine Vielzahl von Eingaben, Kontexten und Variationen, die die Anpassungsfähigkeit Ihres Agenten in realen Anwendungsfällen testen, einschließlich Eingaben, die nicht in den Aufgabenbereich des Agenten fallen oder die die Schutzvorkehrungen des Agenten herausfordern können.
-
Quality (Qualität): Klar definierte, genaue und relevante Testfälle, die auf die Zielsetzung des KI-Agenten abgestimmt sind.
Das Testcenter verwendet CSV-Dateien, um seine Testszenarien zu speichern. Wenn Sie Ihre eigenen Testeingaben schreiben, erstellen Sie Ihre eigene CSV-Datei. Wenn Sie die KI bitten, Testeingaben zu generieren, können Sie diese Tests in einer CSV-Datei herunterladen und bearbeiten. Das Video Testen eines KI-Agenten im Agentforce-Testcenter (englischsprachig) zeigt Ihnen, wie das Agentforce-Testcenter funktioniert.
Wir empfehlen Ihnen, mit dem Testen zu beginnen, indem Sie 10 oder 20 Testszenarien im Testcenter erstellen und anschließend die CSV-Datei herunterladen, um sie anhand der Parameter Ihres Agenten zu überprüfen. Dadurch können Sie Zeit sparen und diese Szenarien überarbeiten sowie weitere hinzufügen, um sie an die Art der Eingaben anzupassen, die Sie von Ihren Benutzern erwarten. Wenn sich die Leistung Ihres Agenten dann verbessert, können Sie größere Mengen an Testszenarien generieren.
Schritt 2: Festlegen von Auswertungsparametern
Die vom Testcenter generierten Testfälle enthalten Einstellungen, die Sie auswählen, während Sie durch die vier Bildschirme des Workflows "Neuer Test" geführt werden. Nachdem Sie grundlegende Informationen zu Ihrem Test angegeben haben, wie dessen Namen und den zu testenden Agenten, können Sie Kontextvariablen hinzufügen, die Informationen über den Benutzer oder den Gesprächskontext simulieren. Sie wählen außerdem aus, wie das Testcenter die Leistung und Qualität des Agenten bewertet. Es ist ratsam, alle Optionen der Bewertungskriterien zu testen, um sicherzustellen, dass Ihr Agent zuverlässig ist und gute Leistungen erbringt.
Klicken Sie unterhalb des blauen Kastens auf Next (Weiter) oder Previous (Zurück), um die vier Schritte anzuzeigen, die am Generieren von Agententestfällen beteiligt sind.
Wenn Sie den Workflow "Neuer Test" abschließen und auf Generate Test Cases (Testfälle generieren) klicken, wird eine Liste der Tests angezeigt, die den von Ihnen gewählten Kriterien entsprechen. Wenn Sie eine CSV-Datei mit von Ihnen erstellten Testeingaben hochgeladen haben, werden sie in der Liste angezeigt. Ein Testfall überprüft, wie der Agent Eingaben verarbeitet, die als Äußerungen bezeichnet werden. Jeder Testfall enthält diese Elemente:
-
Utterance (Äußerung): Die an den Agenten gerichtete Abfrage
-
Expected Topic (Erwartetes Thema): Das relevante Thema, das der Agent auswerten soll
-
Expected Actions (Erwartete Aktionen): Die verwandten Aktionen, die der Agent ausführen soll
-
Expected Response (Erwartete Antwort): Das gewünschte Ergebnis, in einfacher Sprache beschrieben
Schritt 3: Ausführen der Tests und Auswerten der Ergebnisse
Sobald Sie den Workflow "Neuer Test" abgeschlossen haben klicken Sie auf Run Test Suite (Test-Suite ausführen), um die Tests auszuführen und ihre Ergebnisse anzuzeigen. Überprüfen Sie die Testergebnisse in den Feldern Actual Topic (Tatsächliches Thema), Topic Test Result (Thementestergebnis), Actual Actions (Tatsächliche Aktionen), Action Test Result (Aktionstestergebnis) und Actual Response (Tatsächliche Antwort).
Schritt 4: Prüfen Ihrer Ergebnisse
Generierte Tests decken zwar viele Szenarien ab, dennoch ist es wichtig, dass ein Mensch die Antworten überprüft, um sicherzustellen, dass sie mit der Art und Weise übereinstimmen, wie der Agent reagieren sollte, und keine toxischen oder unerwünschten Ergebnisse hervorbringen. Die Überprüfung der Eingaben und Antworten in diesem Schritt kann auch übersehene Feinheiten aufdecken, wie z. B. Unstimmigkeiten im Tonfall oder kontextspezifische Ungenauigkeiten.
Schritt 5: Prüfung der Ergebnisse und Iteration
Vergessen Sie nicht, dass Testen ein iterativer Vorgang ist. Sie verwenden Testergebnisse, um Ihre Themen, Maßnahmen und Anweisungen zu verfeinern, bis Sie ein akzeptables Maß an Genauigkeit erreicht haben. Tests können auch dabei helfen, veraltete Daten aufzudecken, auf die Ihr Agent Zugriff hat, oder Berechtigungen, die angepasst werden müssen.
Erneutes Testen Ihrer Agenten
Agenten entwickeln sich weiter, und das Gleiche gilt für Ihr Unternehmen, daher sind erneute Tests wichtig, um Genauigkeit und Vertrauenswürdigkeit aufrecht zu erhalten. Es gibt viele Faktoren, die sich auf die Leistung Ihrer Agenten auswirken können, darunter Änderungen an den von Ihrem Agenten verwendeten Daten, Berechtigungen, Aktualisierungen seiner Themen, Aktionen, Prompts oder Änderungen an Features der verwandten Produkte oder an Geschäftsprozessen. Durch fortgesetzte Tests kann sich Ihr Agent weiterentwickeln und bleibt so auch bei sich ändernden Geschäftszielen relevant.
Nachbetrachtung
Testen ist die Grundlage für die Entwicklung zuverlässiger, effizienter und vertrauenswürdiger KI-Agenten. Durch Befolgen einer Teststrategie stellen Sie sicher, dass Ihre Agentforce-Agenten vertrauenswürdig sind und Ihren Benutzern hilfreich zur Seite stehen.
Szenario für das Quiz
Maria ist Agentforce-Administratorin bei einer großen Hotelkette, Global Stay Resorts. Sie wurde damit beauftragt, einen KI-Agenten zu optimieren, der für die Bearbeitung von Kundenreservierungen entwickelt wurde. Der Agent wurde manuell im Agentforce-Generator getestet, und Maria ist nun bereit, eine umfassendere Teststrategie zu implementieren, um dessen Zuverlässigkeit und Genauigkeit vor der vollständigen Einführung sicherzustellen. Sie konzentriert sich insbesondere darauf, verschiedene Benutzereingaben zu antizipieren und sicherzustellen, dass die Antworten des Agenten mit der Markenbotschaft und den Geschäftsprozessen des Unternehmens übereinstimmen.