Ein großes Sprachmodell (Large Language Model, LLM) ist ein System zur Verarbeitung natürlicher Sprache (Natural Language Processing, NLP), das auf großen Mengen von Textdaten trainiert wird, um wahrscheinliche nächste Wörter und Sätze vorherzusagen.
- LLMs verwenden Deep-Learning-Techniken wie Transformatoren, um Texte zu erfassen und die statistischen Muster und Beziehungen zwischen Wörtern und größeren linguistischen Konzepten zu lernen.
- Je mehr Daten zur Verfügung gestellt werden, desto besser gelingt es ihnen, realistische, menschenähnliche Sprache und Texte zu erzeugen.
Beispiele für die Verwendung von LLMs:
- Textvervollständigung - Automatische Vervollständigung von Suchanfragen, E-Mails oder Dokumenten
- Texterstellung - Erstellen von originellen Aufsätzen, Codes, Gedichten und Dialogen
- Textzusammenfassung - Zusammenfassen und Herausdestillieren von Schlüsselinformationen aus Dokumenten
- Übersetzung - Übersetzen von Text zwischen Sprachen
- Beantwortung von Fragen - Antworten auf faktenbasierte Fragen geben
- Textklassifizierung - Kategorisierung von Dokumenten nach Thema, Stimmung, Spam-Erkennung
- Spracherkennung - Transkribieren von gesprochenem Audio in Text
Bekannte Beispiele für große Modelle sind GPT-3.5 und GPT-4 von OpenAI, Gopher von DeepMind, OPT von Meta und Constitutional AI von Anthropic.
LLM, die dem neuesten Stand der Technik entsprechen, können kohärente, genaue und kontextrelevante Texte produzieren und gleichzeitig die Möglichkeiten von KI-Assistenten erweitern. Risiken in Bezug auf Voreingenommenheit, Sicherheit und Missbrauch sind jedoch nach wie vor Gegenstand aktiver Forschungsbemühungen.