1. Neuronale Netze (Künstliche Neuronale Netze / Deep Learning)
Künstliche Neuronale Netze (KNN) sind stark von den biologischen neuronalen Netzwerken im menschlichen Gehirn inspiriert.
Definition und Aufbau:
- Das Prinzip ist die Grundlage des Deep Learning (DL), welches ein Teilgebiet des Maschinellen Lernens ist.
- DL-Modelle bestehen aus vielen, hintereinander geschalteten Schichten von Neuronen (daher „tief“ – Deep Learning).
- Ein typisches mehrschichtiges KNN besteht aus einer Eingabeschicht, einer oder mehreren verborgenen Schichten (Hidden Layers) und einer Ausgabeschicht.
- Jedes Neuron nimmt eingehende Werte auf und leitet diese weiter. Zwischen den Schichten existieren gewichtete Verbindungen. Die Stärke dieser Verbindung wird durch das sogenannte Kantengewicht ($\text{w}$) ausgedrückt.
Funktionsweise und Lernen:
- Ein Neuron summiert die eingehenden Werte, multipliziert sie mit seinen Gewichten und wendet eine Aktivierungsfunktion (wie ReLU oder Sigmoid) an. Diese Aktivierungsfunktionen sorgen für die Nichtlinearität des Netzes, die es ermöglicht, komplexe Zusammenhänge zu modellieren.
- Die Schichten ermöglichen es dem Netz, komplexe Merkmale in Stufen zu extrahieren: Niedrige Schichten erkennen einfache Muster, während höhere Schichten diese zu immer abstrakteren Merkmalen kombinieren.
Trainingsmechanismus (Backpropagation): Das Training erfolgt iterativ mit Beispieldaten:
- Vorwärtspropagation: Ein Trainingsbeispiel wird durch das Netz geleitet und ein Ergebnis berechnet.
- Fehlerberechnung: Dieses Ergebnis wird mit dem Soll-Wert (Ground Truth) verglichen, woraus ein Fehler (Loss) entsteht.
- Rückwärtspropagation (Backpropagation): Der Fehler wird von hinten nach vorne durch das Netz zurückgegeben. Dabei wird der Gradientenvektor des Fehlers berechnet.
- Gewichtsanpassung: Die Gewichte werden anschließend in kleinen Schritten mithilfe des Gradientenabstiegs aktualisiert, bis der Fehler minimal ist.
Spezielle Architekturen (Auswahl):
- Convolutional Neural Networks (CNNs): Spezialisiert für Bilder und Gitterdaten. Sie nutzen Faltungsfilter (Convolutions) und Pooling-Schichten, um lokale Bildmerkmale zu erkennen.
- Rekurrente neuronale Netze (RNNs): Verfügen über Rückkopplungen und ein Kurzzeitgedächtnis, weshalb sie sich für sequenzielle Daten wie Ton, Text oder Zeitreihen eignen.