Ich habe Semantik studiert, zwanzig Jahre bevor ich sie gebrauchen konnte. Das Fach stellt eine Frage, die harmlos klingt und es nicht ist: Wann bedeuten zwei Ausdrücke dasselbe?
Was verstehen Embeddings an Bedeutung falsch?
Embedding-Modelle beantworten die Frage nach Ähnlichkeit numerisch. Sie legen Text in einen Raum, in dem Abstand für Ähnlichkeit einsteht. Fast alles, was darüber geschrieben wird, handelt von der Mechanik: welches Modell, wie viele Dimensionen, welches Abstandsmaß. Kaum etwas handelt davon, welche Ähnlichkeit da eigentlich gemessen wird. Genau daran entscheidet sich, ob das System trägt.
Ähnlich ist nicht gleich ähnlich
„Der Tarif ist nicht erstattungsfähig“ und „für diesen Tarif ist keine Erstattung vorgesehen“ sind ähnlich in dem Sinn, den ein Retrieval-System braucht: dieselbe Bedeutung, andere Wörter. Damit kommt jedes brauchbare Modell zurecht.
„Der Tarif ist nicht erstattungsfähig“ und „der Tarif ist erstattungsfähig“ sind ebenfalls ähnlich, und zwar auf die Art, die einem das Genick bricht: fast dieselben Wörter, das Gegenteil an Bedeutung. Die Negation ist der klassische Fehlerfall, und sie fällt leise aus, weil die gefundene Stelle richtig aussieht, bis jemand sie genau liest.
Die Linguistik hat einen Begriff für den Abstand zwischen dem, was ein Satz sagt, und dem, wozu er benutzt wird. Retrieval-Systeme messen meist das Erste und werden nach dem Zweiten gefragt.
Kontext ist kein Metadatum
Das Zweite, was die Semantik beibringt: Bedeutung steckt nicht vollständig im Satz. „Das ist für diesen Partner nicht verfügbar“ sagt nichts, solange offen ist, welcher Partner, welches Produkt, welcher Vertrag gemeint ist. Ein System, das den Kontext als Filter hinter das Retrieval hängt, hat schon verloren. Die Suche selbst hätte es wissen müssen.
Deshalb passiert die interessante Entwurfsarbeit an einem Retrieval-System, bevor der erste Vektor berechnet wird. Was als Dokument gilt. Wo ein Dokument anfängt und wo es aufhört. Was mit ihm mitreist. Chunking ist kein Detail der Vorverarbeitung, sondern der Punkt, an dem entschieden wird, was das System überhaupt verstehen kann.
Warum das gesagt gehört
Nicht, weil es ein Linguistikstudium bräuchte. Das braucht es offensichtlich nicht.
Aber das Fach hat hundert Jahre an Fragen gearbeitet, auf die ein Retrieval-System in der dritten Woche stößt, und die Antworten sind aufgeschrieben. Mehrdeutigkeit, Referenz, Negation, Präsupposition, der Unterschied zwischen dem Gesagten und dem Gemeinten. Nichts davon steht in den Tutorials. Alles davon kommt im Betrieb vor.