Prompt Injection: KI-Chat-Assistenten sicher absichern

Wenn ein KI-Chat-Assistent Fragen von Besuchern entgegennimmt, Inhalte aus der eigenen Website liest und angebundene Aktionen auslöst, verarbeitet er ständig fremden Text. Genau darin liegt das Einfallstor für Prompt Injection: den Versuch, dem Assistenten über geschickt formulierte Eingaben oder versteckte Textbausteine neue Anweisungen unterzuschieben. Die OWASP Foundation führt Prompt Injection in der aktuellen Ausgabe 2026 ihrer Top 10 für LLM-Anwendungen als LLM01 und damit auf Platz 1 (OWASP), wie schon in der Ausgabe 2025 (OWASP). Der Grund ist strukturell: Ein Sprachmodell verarbeitet Daten und Anweisungen im selben Kanal, ohne klare Trennung zwischen dem, was es tun soll, und dem, was es nur lesen soll. Dieser Beitrag erklärt sachlich, was direkte und indirekte Angriffe unterscheidet, warum sich Prompt Injection nicht mit einem einzelnen Filter wegschalten lässt und welche Leitplanken einen Assistenten belastbar machen: Eingabefilter, Ausgabe-Prüfung, keine Geheimnisse im Prompt, klar begrenzte Rechte und ein wachsames Monitoring. Er grenzt das Thema bewusst vom Datenschutz ab, denn hier geht es nicht um die DSGVO, sondern um Angriffssicherheit. Eine absolute Sicherheit lässt sich dabei nicht zusichern, aber ein durchdachtes Konzept senkt das Risiko deutlich.

Grafik vergrößern

Beschriftungen der Abbildung

• Direkte Injection
• Anweisung im Eingabefeld
• Indirekte Injection
• Versteckt in Website-Inhalten
• Leitplanken
• Eingabefilter
• Ausgabe-Prüfung
• Keine Secrets im Prompt
• Monitoring & Logging
• Defense in Depth
• OWASP Platz 1
• Geschützter Assistent
• Fremde Anweisung erkannt
• Nur freigegebene Aktionen
• Keine Secrets im Kontext
• Auffälliges wird protokolliert
• Warum Absicherung zählt
• 25%
• GenAI-Apps mit Vorfällen
• pro Jahr bis 2028 (Gartner)
• 9%
• 2025: Ausgangswert der
• GenAI-Sicherheitsvorfälle (Gartner)
• 57%
• der Unternehmen in Deutschland
• setzen KI ein (Bitkom)
• Daten und Anweisungen trennen, Leitplanken einziehen, Auffälliges überwachen

Prompt Injection sicher absichern

Warum Prompt Injection ganz oben steht

Prompt Injection ist kein exotischer Sonderfall, sondern das am breitesten anerkannte Risiko generativer KI. In der aktuellen OWASP Top 10 für LLM-Anwendungen aus dem Jahr 2026 steht Prompt Injection als LLM01 an der Spitze der insgesamt zehn Risikokategorien (OWASP), gefolgt von Themen wie der Offenlegung sensibler Informationen als LLM02 und der Preisgabe verborgener Kontextinhalte wie des System-Prompts (Hidden Context Exposure) als LLM08 (OWASP), einer Kategorie, die in der Ausgabe 2025 noch System Prompt Leakage hieß. Dass ausgerechnet die Manipulation über Text ganz oben steht, hat einen einfachen Grund: Sie betrifft jede Anwendung, die überhaupt Text von außen entgegennimmt, und das tut ein Chat-Assistent seiner Natur nach. Auch das NIST beschreibt Prompt Injection in seiner Taxonomie zur adversarialen KI, NIST AI 100-2e2025 vom März 2025, als eigene Angriffsklasse und unterscheidet dort ausdrücklich direkte von indirekten Varianten (NIST).

Für einen Chat-Assistenten ist das keine akademische Frage. Er ist genau die Art von Anwendung, die laufend Text von außen aufnimmt: Fragen im Chatfenster, Inhalte aus der eigenen Website, Angaben aus einem Formular, mitunter Daten aus angebundenen Systemen. Jede dieser Quellen kann, gewollt oder ungewollt, Text enthalten, der wie eine Anweisung aussieht. Wie viele Unternehmen dieses Risiko inzwischen betrifft, zeigt die Verbreitung: In Deutschland setzen inzwischen 57 Prozent (Bitkom) der Unternehmen ab 20 Beschäftigten KI ein, nach 36 Prozent (Bitkom) im Vorjahr. Mit der Zahl der produktiven Assistenten wächst auch die Angriffsfläche, weshalb Sicherheit von Anfang an mitgedacht gehört.

Daten und Anweisungen im selben Kanal

Die eigentliche Ursache liegt tiefer als bei einem einzelnen Programmierfehler. Ein Sprachmodell erhält seinen System-Prompt, den Gesprächsverlauf und die Eingabe des Nutzers als einen zusammenhängenden Textstrom. Es gibt technisch keine harte Grenze, die sagt: Bis hierhin stehen verbindliche Anweisungen, ab hier folgt nur noch Material zum Lesen. Für das Modell ist beides Sprache. Das Bundesamt für Sicherheit in der Informationstechnik hat bereits 2023 in einer Cybersicherheitswarnung darauf hingewiesen, dass indirekte Prompt Injections eine intrinsische Schwachstelle anwendungsintegrierter KI-Sprachmodelle sind, also keine vorübergehende Kinderkrankheit, sondern eine Eigenschaft der Technologie (BSI).

Weil die Schwachstelle strukturell ist, lässt sie sich nicht mit einem einzelnen Filter abschalten. Sowohl das NIST als auch das BSI empfehlen deshalb keinen Einzelschutz, sondern ein gestaffeltes Vorgehen aus mehreren, sich ergänzenden Maßnahmen, oft als Defense in Depth bezeichnet (NIST, BSI). Der Anspruch ist dabei nicht, jeden denkbaren Angriff auszuschließen, sondern die Wahrscheinlichkeit und die möglichen Auswirkungen so weit zu senken, dass ein Assistent verantwortbar in Betrieb gehen kann. Genau dieses Denken in Ebenen zieht sich durch die folgenden Abschnitte.

Direkte und indirekte Angriffe

In der Taxonomie von OWASP und NIST werden zwei Grundformen unterschieden, die sich nicht im Ziel, wohl aber im Weg unterscheiden (OWASP, NIST). Beide wollen das Verhalten des Assistenten verändern, doch die eine kommt direkt über das Eingabefeld, die andere versteckt sich in Inhalten, die der Assistent nur liest.

Besonders tückisch ist die indirekte Variante, weil die Anweisung nicht vom sichtbaren Gesprächspartner kommt, sondern aus einer scheinbar harmlosen Quelle. Das NIST hat genau diese Ausweitung in seine Taxonomie AI 100-2e2025 aufgenommen und beschreibt indirekte Prompt Injection als Angriff, bei dem präparierte Inhalte in Datenquellen platziert werden, die ein System später liest und verarbeitet (NIST). Für einen Assistenten bedeutet das: Jede externe Quelle, aus der er Wissen zieht, sollte als potenziell manipuliert gelten und darf nicht ungeprüft wie ein Befehl behandelt werden. Wie sich ein Assistent stattdessen eng an geprüftes, kuratiertes Wissen bindet, ist deshalb nicht nur eine Frage der Antwortqualität, sondern auch der Sicherheit.

Was ein erfolgreicher Angriff anrichtet

Gelingt eine Prompt Injection, reichen die Folgen von harmlos bis heikel, je nachdem, welche Fähigkeiten und Zugriffe der Assistent hat. Die OWASP-Liste ordnet mehrere dieser Folgen eigenen Kategorien zu, was zeigt, wie eng die Risiken zusammenhängen (OWASP). Typisch sind vor allem diese Auswirkungen:

• Preisgabe von Informationen, die im System-Prompt oder im Kontext stehen, was der Kategorie Hidden Context Exposure als LLM08 entspricht, in der Ausgabe 2025 noch System Prompt Leakage (OWASP)
• Umgehen der definierten Regeln, Grenzen und Tonalität, oft als Jailbreak bezeichnet
• Auslösen unerwünschter Aktionen über angebundene Werkzeuge, was OWASP als Excessive Agency, LLM03, führt (OWASP)
• Ausgabe falscher, verzerrter oder manipulierter Auskünfte an Besucher
• Weiterreichen manipulierten Textes an nachgelagerte Systeme, wo er weiteren Schaden anrichten kann

Dass solche Vorfälle keine reine Theorie sind, zeigt der Blick nach vorn: Gartner erwartet, dass bis 2028 25 Prozent (Gartner) aller Unternehmens-Anwendungen mit generativer KI mindestens fünf kleinere Sicherheitsvorfälle pro Jahr verzeichnen, nach 9 Prozent (Gartner) im Jahr 2025. Für schwerwiegende Vorfälle rechnet Gartner bis 2029 mit einem Anstieg auf 15 Prozent (Gartner), ausgehend von 3 Prozent (Gartner) im Jahr 2025. Und bis 2028 sollen 50 Prozent (Gartner) der Aufwände von Unternehmen in der Reaktion auf Sicherheitsvorfälle auf Vorfälle mit selbst entwickelten KI-Anwendungen entfallen. Diese Richtung unterstreicht, dass Absicherung kein einmaliges Hinderungsthema ist, sondern zum laufenden Betrieb gehört.

Angriffssicherheit ist nicht Datenschutz

Prompt-Injection-Sicherheit und Datenschutz werden oft in einen Topf geworfen, sind aber zwei verschiedene Baustellen. Beim Datenschutz nach der DSGVO geht es darum, personenbezogene Daten rechtmäßig, sparsam und transparent zu verarbeiten, mit Rechtsgrundlage, Auftragsverarbeitung und Löschkonzept. Bei der Angriffssicherheit geht es um etwas anderes: um den Schutz vor gezielter Manipulation, also darum, dass sich der Assistent nicht durch eingeschleusten Text zu unerwünschtem Verhalten verleiten lässt. Ein Assistent kann vorbildlich DSGVO-konform gehostet sein und trotzdem anfällig für Prompt Injection bleiben, und umgekehrt. Beide Themen gehören zusammengedacht, aber nicht verwechselt. Worauf es beim Datenschutz konkret ankommt, behandelt der Beitrag zum DSGVO-konformen KI-Assistenten; die Frage der Kennzeichnung von KI im Chat wiederum ist Thema des EU AI Act und der Transparenzpflicht.

Leitplanken, die schützen

Weil es den einen Schalter nicht gibt, setzt eine belastbare Absicherung auf mehrere Ebenen, die zusammenwirken. Sowohl das BSI als auch OWASP empfehlen eine Kombination aus technischen und organisatorischen Maßnahmen statt einer einzelnen Wunderlösung (BSI, OWASP). Die folgenden sechs Leitplanken haben sich in der Praxis (Projekterfahrung) bewährt und greifen ineinander, sodass ein Angriff mehrere Hürden zugleich überwinden müsste.

Zwei dieser Leitplanken greifen besonders tief in die Bauweise eines Assistenten ein. Dass er nur klar definierte, freigegebene Aktionen ausführt und nicht pauschal Vollzugriff auf angebundene Systeme erhält, ist der Kern der Tool-Steuerung über Function Calling und wird auf der Seite zur Tool-Steuerung mit klaren Freigaben beschrieben. Dass er seine Antworten eng an geprüfte Inhalte bindet, statt frei zu formulieren, zeigt der Beitrag dazu, wie sich Halluzinationen über eine Wissensbasis vermeiden lassen, und die Seite zur Wissensbasis. Beide Bausteine verbessern zugleich die Antwortqualität und die Sicherheit.

Ungeschützt oder abgesichert: der Vergleich

Der Unterschied zwischen einem Assistenten ohne Leitplanken und einem abgesicherten Assistenten ist nicht kosmetisch, sondern betrifft jede Schicht der Verarbeitung. Die folgende Gegenüberstellung fasst zusammen, woran sich beide Ansätze unterscheiden.

So wichtig diese Leitplanken sind, so wichtig ist die ehrliche Einordnung: Auch ein abgesicherter Assistent bleibt nicht unangreifbar. Das NIST hält ausdrücklich fest, dass es nach heutigem Stand keinen narrensicheren Schutz gegen Prompt Injection gibt, weil die Schwachstelle in der Funktionsweise der Modelle wurzelt (NIST). Das Ziel ist deshalb eine deutliche Risikoreduktion, gepaart mit einer klaren Rückfalllinie: Wo etwas nicht eindeutig ist oder heikel wird, soll der Assistent an einen Menschen übergeben, statt zu raten. Wie eine saubere Übergabe an einen Mitarbeiter mit vollem Kontext funktioniert, beschreibt der zugehörige Beitrag.

So sichert XICBOT einen Assistenten ab

Bei XICBOT gehört die Absicherung zum Bau eines Assistenten dazu, nicht zu einem späteren Zusatz. Ein individuell trainierter Assistent hat hier einen Vorteil gegenüber einem beliebigen Baukasten-Chatbot, weil sich seine Regeln, Freigaben und Grenzen gezielt festlegen lassen; wo die Unterschiede liegen, zeigt der Beitrag zum individuell trainierten Assistenten gegenüber einem Standard-Chatbot. Die technische Integration in Ihre Website trennt die notwendigen Funktionen sauber, und die Daten liegen im Hosting in Deutschland. Auch dort, wo ein Assistent aktiv wird und etwa liegengebliebene Warenkörbe im Chat zurückholt, gilt dasselbe Prinzip: klar begrenzte Aktionen statt pauschaler Zugriff.

• Werden Eingaben gefiltert und auf verdächtige Muster geprüft?
• Werden fremde Inhalte als Material gelesen, nicht als Anweisung ausgeführt?
• Ist ausgeschlossen, dass Geheimnisse wie Schlüssel oder interne Daten im System-Prompt stehen?
• Erhält der Assistent nur klar definierte, freigegebene Aktionen statt Vollzugriff?
• Werden Ausgaben vor der Weitergabe an Besucher oder Systeme kontrolliert?
• Werden Auffälligkeiten protokolliert, ausgewertet und die Regeln nachgeschärft?
• Ist eine saubere Übergabe an einen Menschen vorgesehen, wenn etwas nicht eindeutig ist?

Dass Sicherheit bei KI-Anwendungen zum Standard wird, zeichnet sich ab: Bis 2028 sollen mehr als 50 Prozent (Gartner) der Unternehmen spezielle KI-Sicherheitsplattformen einsetzen, um KI-Anwendungen abzusichern. Zugleich nennen in der Bitkom-Befragung 2026 56 Prozent (Bitkom) der Unternehmen in Deutschland, die KI bereits einsetzen, rechtliche Verunsicherung als eines der größten Hindernisse. Ein Assistent mit durchdachten Leitplanken nimmt einen Teil dieser Unsicherheit, weil er nachvollziehbar zeigt, welche Maßnahmen greifen. Welche Absicherung zu Ihrem Einsatz passt, klären wir am besten gemeinsam im Erstgespräch über die Kontaktseite. Eine absolute Sicherheit lässt sich dabei nicht zusichern, wohl aber ein nachvollziehbares, mehrstufiges Konzept.

Häufige Fragen