Skip to content

Handout: Text generation with LLMs

Terminologie (NLP / LLM / GPT)

  • NLP (Natural Language Processing): Alles, was Computer mit Sprache machen können.
  • LLM (Large Language Model): KI-Systeme, die menschliche Sprache verstehen und generieren können.
  • GPT (Generative Pre-trained Transformer): Ein Typ von LLM, der sich auf Sprachgenerierung fokussiert.

“Generative Pre-trained” – was heißt das?

  • Ein LLM erzeugt Text, indem es das nächste Token vorhersagt.
  • Pre-training: Vortraining auf sehr großen Textmengen (Bücher, Websites, Artikel usw., typischerweise Milliarden Tokens).

Wie funktionieren LLMs technisch?

Der “Transformer” ist die Kernarchitektur, in der mehrere Verarbeitungsschritte kombiniert werden:

  • Tokenisierung: Input wird in Tokens aufgeteilt.
  • Embedding: Tokens → numerische Vektoren.
  • Attention / Informationsaustausch: Vektoren tauschen Informationen aus und werden kontextabhängig aktualisiert (Bedeutung im Kontext wird klarer).
  • MLPs (Feedforward/“Multi Layer Perceptrons”): Nichtlineare Transformationen verfeinern Repräsentationen.
  • Unembedding / Output: Aus dem finalen kontextreichen Vektor wird das nächste Token vorhergesagt; Tokens werden wieder zu Text zusammengesetzt.

Merksatz: Mehrere Durchläufe erzeugen immer “kontextreichere” Repräsentationen → daraus folgt die nächste Token-Vorhersage.

Übersetzung in andere Sprachen (wie LLMs das machen)

  • Übersetzung passiert nicht als reine Wörterbuch- oder Regelübersetzung.
  • Stattdessen: erst Kontext/Bedeutung erfassen, dann in der Zielsprache neu formulieren.
  • Kurz: erst Bedeutung verstehen, dann formulieren.

Beispiele für Chatbots

  • ChatGPT
  • Google Gemini
  • Meta AI
  • Microsoft Copilot
  • Deepseek

Vergleich verschiedener Modelle

  • Idee: gleiche Frage an verschiedene Systeme stellen und Antworten vergleichen (Qualität, Stil, Vollständigkeit usw.).
  • Praktische Beobachtung: Modelle unterscheiden sich sichtbar in Antwortstil und Detailtiefe (je nach Modellfamilie, Safety-Policies, Tooling, Kontextfenster etc.). (Interpretation/Beobachtungsrahmen; Details hängen von der konkreten Frage ab.)
  • Multimodale Modelle: Text + Bild + Audio
  • Persönlichere Chatbots: Emotionen, Tonfall, Stil
  • Spezialisierte Modelle: z.B. Medizin, Recht, Bildung

Quellen