Majority Vote (LLM-Tracking)

Warum Majority Vote Pflicht ist

LLM-Antworten haben eine eingebaute „Temperature"-Variabilität — je höher, desto kreativer, desto unvorhersehbarer. Selbst bei Temperature 0 sind Antworten nicht 100 % identisch, weil die Modelle non-deterministische Sampling-Prozesse haben. Ein einmaliger Check kann eine Citation zeigen, der nächste die gleiche Citation nicht — ohne dass sich auf der Quelle etwas geändert hätte. Wer ohne Majority Vote trackt, baut Reports auf Zufalls-Schwankungen statt auf echten Sichtbarkeits-Trends.

Wie Majority Vote in der Praxis aussieht

Standard-Konfiguration: 3 Wiederholungen pro Suchanfrage pro Engine. Eine Quelle gilt als zitiert, wenn sie in 2 oder 3 Antworten erscheint. Bei 12 Tracking-Phrasen × 5 Engines × 3 Runs = 180 LLM-Anfragen pro Tracking-Lauf. Wer enger tracken will (z.B. 5 Wiederholungen pro Phrase = 3-von-5-Schwelle), bekommt belastbarere Werte, aber 5× statt 3× Aufwand.

Was Majority Vote NICHT löst

• Engine-Aktualisierungs-Effekte — wenn das Modell selbst geupdated wird, ändern sich Antworten systematisch.
• Regional und sprachlich — Antworten variieren je nach geografischer Region und Anfragensprache.
• Long-Tail-Phrasen mit wenig Quellen — wenn die Engine nur eine plausible Quelle kennt, ist die immer zitiert. Tracking wird langweilig, aber repräsentativ.
• Personalisierung — manche Engines personalisieren je User-Session. Tracking sollte mit anonymen, frischen Sessions laufen.