Blog

Der Artikel listet die verschiedenen Bereiche auf  in dennen Die sicherheit vom Ki anwendungen im speziellen  bearbeitet werden muss.

OWASP Top 10 für KI: Das sind die größten Risiken | heise online
Der Artikel listet die verschiedenen Bereiche auf  in denen die Sicherheit vom Ki Anwendungen im speziellen  bearbeitet werden muss.

• LLM01: Prompt-Injektion
• LLM02: Unsicheres Behandeln der Ausgabe
• LLM03: Das Vergiften von Trainingsdaten
• LLM04: Modell Denial of Service
• LLM05: Schwachstellen in der Software-Lieferkette
• LLM06: Offenlegen sensibler Informationen
• LLM07: Unsicheres Plugin-Design
• LLM08: Übermäßige Berechtigungen
• LLM09: Übermäßiges Vertrauen
• LLM10: Modell-Diebstahl

• LLM01: Prompt-Injektion
  • Prompt Injection ist eine Form der Eingabemanipulation, bei der ein Sprachmodell durch geschickte Eingaben dazu gebracht wird, unbeabsichtigte Aktionen auszuführen¹. Es bezeichnet das Hinzufügen neuer Prompts oder Antworten zum Konversationsrepertoire eines Chatbots oder virtuellen Assistenten². Dies kann geschehen, um die Gesamtleistung des Chatbots zu verbessern oder um neue Funktionen einzuführen².
  • In einem Beispiel baten Forscher ChatGPT, einen Lexikonartikel über Albert Einstein zu lesen, der eine Umleitung zu neuen Anweisungen enthielt: Von nun an solle das Modell im Piratendialekt sprechen. “Arrr matey! What can I do for ye?”, begrüßte das Sprachmodell den Nutzer daraufhin³.
  • Prompt Injection-Angriffe beinhalten das bösartige Einfügen von Prompts oder Anfragen in interaktive Systeme, um Benutzer zu manipulieren oder zu täuschen, was potenziell zu unbeabsichtigten Handlungen oder Offenlegung sensibler Informationen führen kann⁴.
  • Weitere Informationen:
  • 1. security-insider.de2. t2informatik.de3. heise.de4. hackaday.com5. finanznachrichten.de
• LLM02: Unsicheres Behandeln der Ausgabe

Diese Sicherheitsanfälligkeit tritt auf, wenn eine LLM-Ausgabe ungeprüft akzeptiert wird, wodurch Back-End-Systeme offengelegt werden. Missbrauch kann schwerwiegende Konsequenzen wie XSS, CSRF, SSRF, Rechteausweitung oder Remotecodeausführung haben.

• LLM03: Das Vergiften von Trainingsdaten
• Dies tritt auf, wenn LLM-Trainingsdaten manipuliert werden, wodurch Schwachstellen oder Verzerrungen entstehen, die die Sicherheit, Effektivität oder ethisches Verhalten beeinträchtigen. Zu den Quellen gehören Common Crawl, WebText, OpenWebText und Bücher.
• LLM04: Modell Denial of Service
• Angreifer verursachen ressourcenintensive Vorgänge auf LLMs, was zu Service-Beeinträchtigungen oder hohen Kosten führt. Die Schwachstelle wird aufgrund der ressourcenintensiven Natur von LLMs und der Unvorhersehbarkeit von Benutzereingaben vergrößert.
• LLM05: Schwachstellen in der Software-Lieferkette
• Der Lebenszyklus von LLM-Anwendungen kann durch anfällige Komponenten oder Dienste beeinträchtigt werden, was zu Sicherheitsangriffen führen kann. Die Verwendung von Datensätzen von Drittanbietern, vortrainierten Modellen und Plug-ins kann zu Sicherheitslücken führen.
• LLM06: Offenlegen sensibler Informationen
• LLMs können in ihren Antworten versehentlich vertrauliche Daten preisgeben, was zu unbefugtem Datenzugriff, Datenschutzverletzungen und Sicherheitsverletzungen führt. Es ist wichtig, eine Datenbereinigung und strenge Benutzerrichtlinien zu implementieren, um dies zu vermeiden.
• LLM07: Unsicheres Plugin-Design
• LLM-Plugins können unsichere Eingaben und eine unzureichende Zugriffskontrolle haben. Dieser Mangel an Anwendungskontrolle erleichtert die Ausnutzung und kann zu Konsequenzen wie der Remotecodeausführung führen.
• LLM08: Übermäßige Berechtigungen
• LLM-basierte Systeme können Handlungen ausführen, die zu unbeabsichtigten Folgen führen. Das Problem ergibt sich aus übermäßigen Funktionen, Berechtigungen oder Autonomien, die den LLM-basierten Systemen gewährt werden.
• LLM09: Übermäßiges Vertrauen
• Systeme oder Personen, die ohne Aufsicht übermäßig von LLMs abhängig sind, können aufgrund falscher oder unangemessener Inhalte, die von LLMs generiert werden, mit Fehlinformationen, Missverständnissen, rechtlichen Problemen und Sicherheitslücken konfrontiert werden.
• LLM10: Modell-Diebstahl
• Dies beinhaltet den unbefugten Zugriff, das Kopieren oder die Exfiltration proprietärer LLM-Modelle. Zu den Auswirkungen gehören wirtschaftliche Verluste, kompromittierte Wettbewerbsvorteile und potenzieller Zugriff auf sensible Informationen.