Distillation

Eine Methode, bei der Wissen aus einem großen Modell in ein kleineres übertragen wird. Ein Lehrer-Modell erzeugt Ausgaben, die ein Schüler-Modell nachahmt. So entstehen kleinere, schnellere Modelle (wie GPT-4 Turbo).…