Das Modell verarbeitet und erzeugt Text Token für Token: Bei jedem Schritt berechnet es die Wahrscheinlichkeit für das nächste Token und hängt es an den bisherigen Text an. Diese Zerlegung ist auch der Grund, warum LLMs bei einfachem Buchstabieren oder Zählen manchmal patzen, etwa bei der Frage, wie oft ein Buchstabe in einem Wort vorkommt, das Modell sieht ja Token, keine Einzelbuchstaben.
Token sind zudem die Abrechnungseinheit der meisten KI-APIs: OpenAI, Anthropic und Google verrechnen nach Anzahl der Input- und Output-Token, meist getrennt und der Output teurer als der Input. Das sogenannte Kontextfenster eines Modells, oft 128.000 oder mehr Token, begrenzt, wie viel Text (Prompt plus bisherige Konversation plus Antwort) ein Modell gleichzeitig im Blick behalten kann. Bei einem RAG-System oder einer langen Chatbot-Konversation stößt man an dieses Limit schneller, als man denkt.
Für die Praxis heißt das: Wer ein KI-Budget plant, kalkuliert in Token, nicht in Wörtern, und ein zu langer Prompt oder eine zu lange Konversationshistorie kann sowohl die Kosten als auch das Kontextfenster sprengen. Kurze, präzise Prompts sind meist nicht nur besser für die Antwortqualität, sondern auch günstiger.
