Large Language Model (LLM)

Wie LLMs Text generieren

Ein LLM sagt iterativ das nächste Wort (Token) vorher, basierend auf dem bisherigen Kontext. Bei einer Suchanfrage werden zusätzlich relevante Web-Quellen mit Retrieval Augmented Generation (RAG) eingespeist — das Modell „liest" die Quellen, verfasst dann eine Antwort und kann die Quellen verlinken. Wichtig: LLMs verstehen nicht im menschlichen Sinne, sondern erzeugen statistisch wahrscheinliche Texte. Sie können faktisch falsch sein (Halluzinationen), was bei kritischen Themen Quellen-Belege umso wichtiger macht.

Pre-Training, Fine-Tuning, RLHF

• Pre-Training — das Modell wird auf riesigen Web-Korpora (Common Crawl, Wikipedia, GitHub, wissenschaftliche Paper) auf das Vorhersagen des nächsten Tokens trainiert. Hier landet die Domain-Wissensbasis.
• Fine-Tuning — gezieltes Nachtraining für spezifische Aufgaben (Code, Medizin, juristisch).
• RLHF (Reinforcement Learning from Human Feedback) — menschliche Bewerter bewerten Antworten, das Modell lernt, hilfreichere, freundlichere und sicherere Antworten zu geben.

Was das für GEO bedeutet

Wichtige Implikation: LLMs „kennen" Domains, die im Pre-Training oder im Fine-Tuning vorkommen, besser als unbekannte. Wer als Brand häufig in autoritativen Quellen (Wikipedia, Wikidata, große Verlage) zitiert wird, wird vom Modell intuitiv als „verlässlich" eingestuft. Brand-Building ist deshalb zum GEO-Hebel geworden: Eine Domain mit klarer Wikidata-Entity, Schema.org-Markup und konsistenter Author-Byline wird vom LLM mit höherer Wahrscheinlichkeit als zitierfähige Quelle eingestuft als eine technisch ähnliche Domain ohne diese Signale.