Kennenlernen der Optimierung
Lernziele
Nachdem Sie diese Lektion abgeschlossen haben, sind Sie in der Lage, die folgenden Aufgaben auszuführen:
- Beschreiben der Optimierung
- Beschreiben der Mechanismen für die Optimierung
Bevor Sie beginnen
In diesem Badge kommen Begriffe und Konzepte vor, die in den Badges Verarbeitung natürlicher Sprache – Grundlagen, Große Sprachmodelle (LLMs) und Aufforderungen – Grundlagen behandelt werden. Es empfiehlt sich, diese Badges zuerst zu absolvieren.
Kurze Auffrischung zur Erinnerung
Große Sprachmodelle (LLMs) wie die GPT-Modelle von OpenAI sind riesige neuronale Netze, die darauf trainiert sind, von Menschen verfasste Texte zu verstehen und menschenähnliche Texte zu erstellen. Sie werden auf der Grundlage enorm großer Datenmengen trainiert, damit sie eine weit gefasste, allgemeine Wissensbasis bekommen.
Was bedeutet Optimierung?
Bei der Optimierung wird ein großes, breit angelegtes und allgemeines vortrainiertes Sprachmodell mit einem kleineren, spezifischen Datenset weiter trainiert (oder "optimiert"). Bezogen auf LLMs bedeutet dies, dass ein allgemeines Basismodell in ein spezialisiertes Modell für einen bestimmten Anwendungsfall umgewandelt wird. So kann das Modell für eine bestimmte Aufgabe spezialisiert werden. Bei der Optimierung ergänzt man ein vortrainiertes Modell und ändert seine Gewichtungen, damit man eine bessere Leistung erzielt.
Anders ausgedrückt: Angenommen, Sie haben einen digitalen Assistenten, der so ziemlich jedes Gericht gut kochen kann. Er kann zwar eine einfache Variante jedes Gerichts zubereiten, doch Sie wünschen sich ein tolles italienisches Gericht, das so zubereitet wird, wie Sie es von einem Urlaub in Venedig in Erinnerung haben. Dafür sollte der Assistent die Feinheiten der italienischen Küche beherrschen. Dazu statten Sie ihn mit weiteren italienischen Rezepten und Zubereitungstechniken aus und optimieren damit seine bestehenden Fähigkeiten. Das ist vergleichbar mit dem, was bei der Optimierung passiert.
Few-Shot-Lernen
Das Few-Shot-Lernen ist eine Art der Optimierung, bei der eine kleine Anzahl von aufgabenspezifischen Beispielen in der Aufforderung verwendet wird, sodass das Modell eine Aufgabe besser durchführen kann. Wir können dies bereits beim Aufforderungsdesign und dem Basis-LLM tun. Dazu fügen wir Anweisungen und manchmal auch mehrere Beispiele in eine Aufforderung ein. Wir "füttern" die Aufforderung also quasi vorab mit einem kleinen, für die Aufgabe relevanten Datenset.
Im Vergleich zum Few-Shot-Lernen bringt die Optimierung deutlich mehr Verbesserungen, da dabei mit einer viel größeren Zahl von Beispielen trainiert wird als in einer Aufforderung angegeben werden könnten. Dieses erweiterte Training kann die Leistung bei spezifischen Aufgaben verbessern. Nach der Optimierung eines Modells müssen Sie nicht mehr so viele Beispiele in der Aufforderung angeben. Das spart Kosten und verkürzt den Zeitaufwand für Anforderungen und Antworten.
Mechanismen für die Optimierung
Sehen wir uns nun einige der notwendigen Schritte zur Optimierung eines LLMs an.
Auswahl des spezialisierten Datensets
Der erste Schritt besteht darin, ein Datenset auszuwählen, das für die gewünschte spezifische Aufgabe repräsentativ ist. Dieses Datenset ist in der Regel viel kleiner als das Datenset, das für das anfängliche Training verwendet wurde. Konzentrieren Sie sich auf folgende Hauptbereiche.
- Das ausgewählte Datenset sollte mit der spezifischen Aufgabe bzw. dem Aufgabengebiet zu tun haben, die bzw. das für Sie relevant ist. Wenn Sie zum Beispiel ein Modell für medizinische Diagnosen auf der Grundlage von Patientenakten optimieren, sollte Ihr Datenset aus relevanten Arztberichten und den zugehörigen Diagnosen bestehen.
- Und wie gehabt gilt: Datenqualität ist auch bei spezialisierten Daten wichtig. Dies erfordert oftmals ein kleineres, gezielteres Datenset. Es ist dennoch wichtig, eine ausreichende Menge an Daten zu haben, um die Feinheiten der spezifischen Aufgabe abzubilden. Unstrukturierte Daten voller Fehler oder irrelevanter Informationen können den Optimierungsprozess behindern. Es ist daher entscheidend, die Daten vorzuverarbeiten und zu bereinigen.
Anpassen des Modells
Während die zentrale Architektur des zu optimierenden Modells gleich bleibt, können bestimmte Hyperparameter (wie die Lernrate) angepasst werden, um zu den Nuancen des neuen Datensets zu passen.
Fortsetzen des Trainings
Anstatt das Training bei Null zu beginnen, setzen Sie das Training des vortrainierten Modells mit dem neuen Datenset fort. Da das Modell bereits viel allgemeines Wissen gelernt hat, kann es die speziellen Inhalte des neuen Datensets schnell erfassen.
Anwenden von Regularisierungstechniken
Damit das Modell nicht zu stark an das neue Datenset angepasst wird (ein als "Überanpassung" bezeichnetes Phänomen), werden Techniken wie die Dropout- oder Weight Decay-Methode angewandt.
Zusammenfassung
Die Optimierung ist ein leistungsfähiges Instrument zur Anpassung großer, allgemeiner Modelle an spezifische Aufgaben. Wie bei jedem Instrument hängt der Erfolg jedoch von den verwendeten Techniken und den bei der Anwendung getroffenen Überlegungen ab. In der nächsten Lektion befassen wir uns mit der Frage, warum Sie Ihr LLM optimieren sollten.
Ressourcen