Der Attention-Mechanismus (wörtlich „Aufmerksamkeits-Mechanismus“) ist eine Methode in neuronalen Netzen, bei der das Modell gezielt die wichtigsten Teile einer Eingabe hervorhebt, anstatt alle Information gleich zu behandeln. Das funktioniert so:
- Gewichtung
- Das Modell bestimmt, wie stark es einem bestimmten Teil der Eingabe „aufmerksam“ sein soll. Das können z. B. einzelne Wörter in einem Satz oder Bildbereiche in einem Foto sein.
- Jedes Element erhält eine Art „Gewicht“ (Attention Score), das anzeigt, wie relevant es für den aktuellen Kontext ist.
- Verarbeitung
- Mithilfe dieser Gewichte werden die wichtigsten Informationen stärker betont und unwichtige Informationen eher unterdrückt.
- Dadurch kann das Netzwerk bessere Vorhersagen oder Übersetzungen liefern, weil es die Zusammenhänge zwischen den relevanten Teilinformationen klarer sieht.
- Vorteil
- Bei Texten: Dank der Attention kann ein Wort in einem Satz gezielt auf andere Wörter „schauen“, die weit entfernt stehen (z. B. um Pronomen korrekt zuzuordnen).
- Bei Bildern: Das Modell achtet intensiv auf bestimmte Bildausschnitte, z. B. wo sich ein Objekt befindet.
Kurz gesagt: Der Attention-Mechanismus sagt dem neuronalen Netz, wohin es „blicken“ soll, um die bedeutendsten Informationen zu erfassen, was zu präziseren und effizienteren Ergebnissen führt.
