3. Large Language Models (LLMs)
Definition und Architektur: Large Language Models (LLMs) sind große, auf natürliche Sprache spezialisierte KI-Modelle. Sie gehören zur Klasse der sogenannten Foundation Models (GPAI-Modelle). Technisch gesehen ist die Transformer-Architektur der Kern moderner LLMs.
Funktion und Fähigkeiten: LLMs wurden darauf trainiert, menschliche Sprache zu verstehen und zu erzeugen. Sie sind in der Lage, Text sinnhaft fortzusetzen oder zu generieren, indem sie das nächste „Token“ (Zeichen, Wort oder Wortfolge) auf Basis stochastischer Korrelationen vorhersagen.
LLMs können eine Vielzahl von sprachbezogenen Aufgaben lösen (Generative KI), darunter:
- Textgenerierung (z.B. Fließtext, E-Mails).
- Übersetzung und Zusammenfassung.
- Frage-Antwort-Systeme und Dialogsysteme (Chatbots).
- Codegenerierung oder -erklärung.
Spezialisierte LLM-Typen:
- Reasoning-Modelle: Eine neue Generation von LLMs, die strukturiert und argumentierend arbeiten können. Wenn ein Nutzer eine Aufgabe stellt, formulieren diese Modelle zunächst einen Lösungsweg und klopfen diesen Schritt für Schritt ab. Beispiele sind DeepSeek R1 und Gemini DeepThink. Reasoning-Modelle nutzen häufig Reinforcement Learning im Training, um Lösungspfade zu optimieren.
- Foundation Models (GPAI-Modelle): Systemische KI-Modelle, die als Infrastruktur dienen, auf der andere Anwendungen aufbauen können.
- Retrieval Augmented Generation (RAG): Eine Methode, bei der das LLM auf externe Wissensdatenbanken oder firmeninterne Informationen zugreift, um aktuelle oder domänenspezifische Antworten zu generieren, ohne neu trainiert werden zu müssen.