Grundlagen der Models API
Lernziele
Nachdem Sie diese Lektion abgeschlossen haben, sind Sie in der Lage, die folgenden Aufgaben auszuführen:
- Beschreiben, was man mit der Models API tun kann
- Erläutern, wann man die Models API verwendet
Einführung in die Models API
Die Models API bietet Apex-Klassen und REST-Endpunkte, die Ihre Anwendung mit großen Sprachmodellen (LLMs) von Salesforce-Partnern wie Anthropic, Google und OpenAI verbinden. Sie können jedes Salesforce-fähige Modell verwenden, das in Einstein Studio konfiguriert werden kann.
Es gibt vier Models API-Funktionen, die sowohl über REST-Endpunkte als auch über Apex-Methoden verfügbar sind. Sehen wir uns das genauer an.
Wichtige Funktionen der Models API
Bereich | Beschreibung |
|---|---|
Text generieren | Die Models API kann Text aus einem einzelnen Prompt anstelle einer gesamten Chat-Konversation generieren. Diese Fähigkeit ist nützlich für einfache, nicht unterhaltungsorientierte Aufgaben und zum Testen der Fähigkeiten eines Modells. |
Einbettungen generieren | Eine Einbettung ist eine numerische Darstellung eines Inhaltssegments. Manchmal wird eine Einbettung auch als Einbettungsvektor bezeichnet. Um die semantische Ähnlichkeit zwischen zwei Inhaltssegmenten zu messen, können Sie mathematische Operationen auf ihre Einbettungsvektoren anwenden, wie z. B. Kosinusähnlichkeit, euklidische Distanz oder Skalarprodukt. Einbettungen werden häufig für die abruferweiterte Generierung (RAG) und semantische Suchfunktionen verwendet. |
Chat generieren | Die Models API kann eine Nachricht für eine Chat-Unterhaltung generieren. Dies ermöglicht Ihnen, eine Liste von Nachrichten für das Modell zu verwenden, anstatt sich auf einen einzigen Prompt beschränken zu müssen. Jede Nachricht in der Liste stellt einen Teil des Unterhaltungsverlaufs dar. |
Feedback einreichen | Sie können Feedback zu jedem von der Models API generierten Text geben. Sie können diese in Data 360 gespeicherten Daten verwenden, um die Qualität der Antworten zu prüfen und anschließend Ihre Anfragen oder Modellkonfigurationen zu aktualisieren. |
Verwendung der Models API
Auf den ersten Blick ähnelt die Models API dem Prompt Builder (Prompt-Generator) von Einstein Generative AI (Generative KI von Einstein). Das Verbinden eines KI-Modells mit einer Salesforce-Organisation und die Kontextbildung für das Modell mit Salesforce-Daten lassen sich mit Prompt-Vorlagen einfach bewerkstelligen.
Die Models API wurde im Hinblick auf Flexibilität und Erweiterbarkeit entwickelt und ergänzt die bestehenden KI-Angebote von Salesforce für Entwickler. Prompt Builder (Prompt-Generator) und die Prompt Template Connect API eignen sich für die schnelle Prompt-Verwaltung, und Agentforce bietet eine interaktive Chat-Erfahrung. Die Models API bietet zusätzliche Funktionen wie Einbettungen und Chat-Generierungen mit Verlauf, die Entwicklern ermöglichen, benutzerdefinierte KI-Anwendungen zu entwerfen.
Sehen wir uns nun ein Praxisbeispiel für die Models API an.
DreamHouse Realty sucht eine Möglichkeit, seine Mitarbeiter über die lokalen und nationalen Bedingungen auf dem Immobilienmarkt auf dem Laufenden zu halten. Hauskäufer reagieren besser auf gezieltere Kommunikation. Diese kann DreamHouse Realty jedoch mit seinen Ressourcen nicht bieten. Jüngere Hauskäufer achten besonders auf allgemeine Bedingungen auf dem Immobilienmarkt und recherchieren selbst, um das für sie am besten geeignete Angebot zu finden. Wenn DreamHouse Realty gezielte Marktrecherchen mithilfe generativer KI erstellen kann, kann das Unternehmen das Vertrauen von Käufern und Verkäufern stärken.
Maria Garza ist Entwicklerin bei DreamHouse Realty. Sie erstellt ein internes Dashboard, das die Models API nutzt, um Daten aus einer externen Immobilienmarkt-API zu analysieren und für die Mitarbeiter von DreamHouse Realty zusammenzufassen. DreamHouse Realty plant, dieses Dashboard schließlich zu einem voll funktionsfähigen, KI-gestützten Hilfsmittel auszubauen. Das Dashboard wird Maklern nicht nur helfen, die Marktbedingungen zu verstehen, sondern wird durch Organisationsdaten auch die Verbindung zu ihren Kunden verbessern.
Derzeit legt Maria den Fokus ganz auf die allerersten Schritte: Das Einrichten ihrer Umgebung und das Erstellen eines einfachen Dashboards, das den Endpunkt chatGenerations der Models API nutzt.
Aufrechterhalten von Vertrauen
Da Vertrauen der wichtigste Grundwert von Salesforce ist, ist es entscheidend, dass Benutzerdaten bei der Einbindung von LLMs geschützt bleiben. Generative KI-Lösungen von Salesforce Einstein werden auf der Grundlage unserer fünf Grundsätze für vertrauenswürdige generative KI konzipiert, entwickelt und bereitgestellt.
- Fehlerfreiheit
- Sicherheit
- Transparenz
- Unterstützung
- Nachhaltigkeit
Salesforce hat zudem Vereinbarungen mit LLM-Anbietern wie OpenAI getroffen. Diese Vereinbarungen beinhalten Verpflichtungen zur Null-Datenaufbewahrung, sodass Sie generative KI nutzen können, ohne sich Sorgen machen zu müssen, dass Ihre privaten Daten von externen LLM-Anbietern gespeichert werden.
Alle Aufrufe der Models API durchlaufen die Einstein Trust Layer (Einstein-Vertrauensebene). Die Einstein Trust Layer (Einstein-Vertrauensebene) ist eine sichere, in die Salesforce Platform integrierte KI-Architektur. Es handelt sich dabei um eine Reihe von Vereinbarungen, Sicherheitstechnologien sowie Daten- und Datenschutzkontrollen, die dazu dienen, Ihr Unternehmen zu schützen, während Sie generative AI-Lösungen ausprobieren.
Bei Generierungsaufrufen an die Models API werden automatisch eine Datenmaskierung und Toxizitätsbewertung durchgeführt. Die API gibt ein Flag, das angibt, ob Toxizität erkannt wurde, zusammen mit Bewertungsinformationen zurück. Diese Informationen werden auch in Data 360 gespeichert. In Data 360 können Sie sich weitere Informationen zu Toxizitätsbewertungen, Datenmaskierung und Feedback-Daten ansehen.
Die Einstein Trust Layer (Einstein-Vertrauensebene) ist kein Ersatz für menschliches Urteilsvermögen. Wenn Sie generative KI-Ergebnisse mit Kunden teilen möchten, ist es wichtig, alle Antworten auf Genauigkeit, Verzerrungen und Toxizität zu prüfen.
Unterstützte Modelle
Die Models API unterstützt große Sprachmodelle (LLMs) von mehreren Anbietern, darunter Amazon Bedrock, Azure OpenAI, OpenAI und Vertex AI von Google.
Die Models API unterstützt die BYOLLM-Funktion (Bring Your Own LLM) von Einstein Studio. Mit BYOLLM können Sie ein Basismodell eines unterstützten Anbieters hinzufügen, Ihre eigene Instanz des Modells konfigurieren und sich mit Ihren eigenen Anmeldedaten mit dem Modell verbinden. Obwohl die Inferenz vom Modell des Kunden übernommen wird, wird die Anfrage weiterhin über die Models API weitergeleitet und die Funktionen der Trust Layer (Vertrauensebene) werden voll unterstützt.
Weitere Informationen zu den Modellen, die direkt über die Models API verfügbar sind und von der BYOLLM-Funktion von Einstein Studio unterstützt werden, finden Sie auf der Seite "Unterstützte Modelle" im Abschnitt "Ressourcen" dieser Lektion.
Nachdem Sie nun wissen, was die Models API ist und was sie kann, ist es Zeit, die Grundlagen für Ihre eigene Lightning-Webkomponente für die Models API zu legen!