Testen und Verbessern von Prompts

Lernziele

Nachdem Sie diese Lektion abgeschlossen haben, sind Sie in der Lage, die folgenden Aufgaben auszuführen:

• Anwenden eines sieben Schritte umfassenden Iterationszyklus zur Feinabstimmung von Prompts
  
• Testen von Prompts mit echten Daten
  
• Identifizieren und Beheben häufiger Prompt-Probleme
  
• Bereitstellen und Überwachen von Prompts in der Produktion
  
• Kontinuierliches Verbessern von Prompts auf Basis der Ergebnisse
  

Der sieben Schritte umfassende Iterationszyklus

Selbst die besten Rezepte durchlaufen mehrere Testrunden. Wenn Sie zum ersten Mal ein Soufflé backen, kann es zusammenfallen. Sie passen die Temperatur an, verfeinern die Technik und versuchen es erneut. Die Iteration von Prompts funktioniert auf genau dieselbe Weise. Selten ist gleich der erste Versuch perfekt – das ist völlig normal. Der folgende, aus sieben Schritten bestehende Zyklus bietet Ihnen einen wiederholbaren Prozess, um das gewünschte Ergebnis zu erzielen.

Das Testen und Verbessern von Prompts ist ein fortlaufender Prozess. Führen Sie diese sieben Schritte aus:

1. Schreiben: Erstellen Sie Ihren ersten Prompt unter Verwendung der sechs Komponenten.
   
2. Testen: Führen Sie ihn mit Beispieldaten und realen Szenarien aus.
   
3. Bewerten: Messen Sie die Ergebnisse anhand Ihrer Erfolgskriterien.
   
4. Probleme ermitteln: Identifizieren Sie, was funktioniert hat und was nicht.
   
5. Verfeinern: Passen Sie Ihren Prompt anhand des Gelernten an.
   
6. Erneut testen: Führen Sie den verfeinerten Prompt mit denselben Beispieldaten aus.
   
7. Bereitstellen: Sobald alles gut funktioniert, stellen Sie es in der Produktion bereit.
   

Arbeiten Sie diese Schritte der Reihe nach durch, scheuen Sie sich aber nicht, zurückzugehen. Iterieren ist kein Zeichen dafür, dass etwas schiefgelaufen ist, sondern eine Methode, aus guten Prompts großartige Prompts zu machen.

Beispiel E-Mail-Erstellung: Vom ersten Entwurf zum fertigen Ergebnis

So funktioniert der Iterationszyklus in der Praxis:

Erster Prompt (Version 1):

Write a follow-up email to a customer
Customer: Sarah
Issue: Billing problem
Status: Resolved

Testergebnis: Die E-Mail ist allgemein gehalten und wirkt nicht persönlich.

Verfeinerter Prompt (Version 2):

Write a follow-up email to Sarah who had a billing issue
Include:
- Apology
- Explanation of what happened
- What we did to fix it
Tone: Professional and empathetic

Testergebnis: Besser, aber es fehlen noch Details über die tatsächliche Lösung.

Endgültiger Prompt (Version 3):

Role: You are a customer service manager
Context: Sarah is a 2-year customer who experienced a billing error. We discovered we overcharged her $150 due to a system error on her third billing cycle. We've issued a full refund and applied a $50 loyalty credit.
Task: Write a follow-up email thanking her for her patience and restoring confidence
"""
Customer: Sarah
Issue: Billing error ($150 overcharge)
Our action: Full refund issued, $50 loyalty credit applied
Customer's response so far: Frustrated but cooperative
"""
Instructions:
- Start with a sincere apology
- Explain the root cause (system error on our part, not her mistake)
- Confirm the refund and loyalty credit
- Thank her for giving us a chance to fix it
- Mention one way we're improving our billing system
- Include a discount code for her next purchase (15% off)
Tone: Warm, professional, genuinely apologetic
Format: Email with subject line
Constraints: Keep body under 200 words

Endergebnis: Die E-Mail wirkt persönlich, ist konkret und zeigt echtes Bemühen, die gute Kundenbeziehung wiederherzustellen. Sarah fühlt sich wahrgenommen und wertgeschätzt.

Einschränkungen der Salesforce Platform

Vor der Bereitstellung lohnt es sich zu verstehen, wie Salesforce mit Prompt-Ausgaben umgeht. Der Feldtyp, auf den als Ziel wählen, wirkt sich direkt darauf aus, wie Sie Ihren Prompt gestalten. Ein Prompt, der eine Übersicht mit 500 Wörtern generiert, passt nicht in ein Standard-Textfeld. Wenn Sie diese Grenzen im Voraus kennen, ersparen Sie sich die nachträgliche Abänderung.

Beachten Sie beim Bereitstellen von Prompts in Salesforce die folgenden Feldbeschränkungen:

Textfeld

• Zeichenbeschränkung: 255 Zeichen
  
• Verwendung für: kurze Antworten, Übersichten, einzeilige Ausgaben
  
• Einschränkung: Nicht für umfangreiche Inhalte geeignet
  

Langer Textbereich

• Zeichenbeschränkung: 131.072 Zeichen (ca. 20.000 Wörter)
  
• Verwendung für: vollständige E-Mails, detaillierte Beschreibungen, Inhalte mit mehreren Absätzen
  
• Vorteil: ausreichend Platz für die meisten Anwendungsfälle
  

Rich-Text-Bereich

• Zeichenbeschränkung: 131.072 Zeichen
  
• Verwendung für: Inhalt mit Formatierung, Listen, Hervorhebungen
  
• Vorteil: unterstützt Fettdruck, Kursivschrift, Aufzählungspunkte und nummerierte Listen
  
• Ideal für: formatierte E-Mails, detaillierte Anleitungen, strukturierten Inhalt
  

Tipp zur Bereitstellung: Gestalten Sie Ihren Prompt mit dem Ziel-Feld im Blick. Bei der Bereitstellung in einem Textfeld sollte Ihre Beschränkung unter 255 Zeichen liegen.

Überwachung und kontinuierliche Verbesserung

Die Bereitstellung ist nicht die Ziellinie. Sie ist die Startlinie. Prompt Builder (Prompt-Generator) enthält integrierte Tools, mit denen Sie die Leistung nach der Liveschaltung überwachen können. Sie können Prompts mit echten Dateneingaben als Vorschau anzeigen, die Token-Nutzung verfolgen, die Antwortzeit überwachen und Ergebnisse über verschiedene Modelle oder Versionen hinweg vergleichen. Verwenden Sie diese Tools, um Probleme frühzeitig zu erkennen und Prompts kontinuierlich zu verfeinern.

Stellen Sie sich vor, Sie kosten Ihr Gericht bereits während des Kochens. Warten Sie nicht, bis es auf dem Teller liegt, um festzustellen, dass etwas schiefgelaufen ist.

Achten Sie auf diese Signale, die darauf hinweisen, dass ein Prompt Aufmerksamkeit benötigt:

• Ausgaben, die bei ähnlichen Eingaben inkonsistent sind
  
• Antworten, die zu allgemein wirken oder am Punkt vorbeigehen
  
• Ausgaben, die abgeschnitten oder gekürzt sind
  
• Antwortzeiten, die spürbar lang sind
  
• Feedback von Benutzern, dass die Ausgabe nicht nützlich ist
  

Wenn Sie Probleme feststellen, kehren Sie zurück, um Ihren Prompt zu verfeinern, und wiederholen den Vorgang.

Häufige Prompt-Probleme und deren Behebung

Selbst bei gut gemachten Prompts kann es zu Problemen kommen. Hier sind die häufigsten Probleme und wie Sie diese beheben können:

Bereitstellungs-Checkliste

Verwenden Sie diese Checkliste, bevor Sie einen Prompt in der Produktion bereitstellen, um sicherzustellen, dass er für den Einsatz in der Praxis bereit ist.

• Mit mindestens 20 repräsentativen Beispielen getestet
  
• Erfolgskriterien klar definiert und erfüllt
  
• Modell ausgewählt und getestet (nicht nur angenommen)
  
• Prompt folgt der Struktur aus sechs Komponenten
  
• Feldgrößenbeschränkungen überprüft
  
• Edge-Fälle identifiziert und behandelt
  
• Dokumentation für den Prompt erstellt
  
• Erfolgskennzahlen für die Überwachung definiert
  
• Plan zur Erfassung von Benutzer-Feedback vorhanden
  
• Plan für Überwachung und Optimierung festgelegt
  

Machen Sie nach der Bereitstellung die kontinuierliche Verbesserung zu einem festen Bestandteil Ihres Prozesses. Die besten Prompts entwickeln sich im Laufe der Zeit auf Basis der Verwendung in der Praxis weiter.