Semantische Entropie in Large Language Models: Bedeutung über Wörter hinaus
In der Welt der großen Sprachmodelle (LLMs) wird oft untersucht, wie unsicher ein Modell beim Vorhersagen des nächsten Tokens ist — typischerweise mittels Shannon-Entropie über Wortwahrscheinlichkeiten. Doch diese Unsicherheit bezieht…