kiagentensicherheitSecurity Check
Menü

Grundlagen

Angriffe

Werkzeuge

Unternehmen

Datenschutz

Recht

Mehr

Sicherheit für KI‑Agenten im Unternehmen

Wie Angriffe auf KI-Agenten ablaufen und mit welchen vier Regeln Sie Ihre Agenten schützen.

Alle ThemenDie vier Regeln

Prompt Injection

Versteckte Anweisungen in Mails übernehmen die Steuerung.

MCP-Server

Jeder Server erweitert, was ein Agent auslösen darf.

Schatten-KI

Teams nutzen Werkzeuge, die niemand freigegeben hat.

Vier Regeln für jeden Agenten im Betrieb

Die Checkliste, auf die jeder Angriffsweg auf dieser Seite hinausläuft.

Rechte begrenzennur nötige Werkzeuge

Jeder Agent bekommt nur die Werkzeuge für eine Aufgabe.

Freigaben einbauenMensch bestätigt

Zahlungen und Mails nach außen bestätigt ein Mensch.

Eingaben trennenfremd heißt Daten

Fremde Inhalte gelten als Daten und nie als Anweisung.

Protokollierenjeder Aufruf

Jeder Werkzeugaufruf wird gespeichert und ist nachprüfbar.

Was ist KI‑Agenten‑Sicherheit?

Ein KI-Agent liest Mails, Dokumente und Webseiten und löst über angebundene Werkzeuge Aktionen aus. KI-Agenten-Sicherheit sorgt dafür, dass er dabei nur tut, was er soll.

Bei einem Chatbot steht eine falsche Antwort auf dem Bildschirm. Bei einem Agenten wird daraus eine Aktion: eine Überweisung, eine Mail nach außen oder eine gelöschte Datei.

Deshalb setzt die Sicherheit an drei Stellen an: was der Agent liest, was er darf und wer seine Aktionen bestätigt.

Vier Angriffswege, die bei Agenten zuerst zählen

Jeder Weg nutzt eine Fähigkeit, für die Sie den Agenten eingeführt haben.

Prompt Injection über Mails

Ein Postfach-Agent liest mit und folgt versteckten Anweisungen.

Zu viele MCP-Server

Jede Anbindung erweitert die Angriffsfläche um neue Rechte.

Agenten ohne Sandbox

Ein Agent mit vollem Systemzugriff braucht Container und klare Grenzen.

Daten in fremden Werkzeugen

ChatGPT, Claude und Copilot verarbeiten Daten je nach Tarif.

So läuft eine Prompt Injection ab

Ein Agent fasst eingehende Mails zusammen. An jedem Schritt greift eine der vier Regeln.

  1. Die Mail kommt an

    Ein Angreifer versteckt eine Anweisung im Text, etwa in weißer Schrift.

    Fremde Inhalte als Daten markieren

  2. Der Agent liest mit

    Beim Zusammenfassen landet die versteckte Anweisung im Kontext des Modells.

    Eingaben von Anweisungen trennen

  3. Die Anweisung greift

    Das Modell hält den versteckten Text für einen Auftrag des Nutzers.

    Rechte auf die Aufgabe begrenzen

  4. Der Agent handelt

    Er leitet Daten weiter oder bereitet eine Zahlung an Fremde vor.

    Freigabe durch einen Menschen

Alles zu Prompt Injection · Quelle: Prompt Injection ist das erste Risiko der OWASP Top 10 für Anwendungen mit großen Sprachmodellen.

Alle Leitfäden nach Thema

Jeder Leitfaden erklärt ein Risiko an echten Abläufen und endet mit Maßnahmen, die Sie selbst umsetzen.

Bevor Ihr erster Agent live geht

Acht Fragen, die Sie vor dem Start beantworten sollten. Jede führt zum passenden Leitfaden.

  1. Welche Werkzeuge und MCP-Server darf der Agent nutzen, und wer hat sie geprüft?
  2. Welche Aktionen bestätigt ein Mensch, bevor der Agent sie ausführt?
  3. Welche fremden Inhalte liest der Agent, etwa Mails, Webseiten oder Dokumente?
  4. Wie trennen Sie Anweisungen von Daten, die der Agent verarbeitet?
  5. Läuft der Agent in einer Sandbox mit begrenztem Zugriff auf das System?
  6. Welche personenbezogenen Daten verarbeitet er, und auf welcher Rechtsgrundlage?
  7. Welche KI-Werkzeuge nutzt Ihr Team schon heute, ohne dass sie freigegeben sind?
  8. Wer ist verantwortlich, und wie wird jeder Werkzeugaufruf protokolliert?

Selbsttest · 12 Fragen

Wie sicher sind Ihre Agenten?

Der Selbsttest prüft in zwölf Fragen Rechte, Freigaben, Eingaben, Protokolle und Datenschutz. Im kostenlosen Security Check gehen wir Ihre Agenten mit Ihnen durch.

Security Check buchen Selbsttest starten

Neu im Blog

Alle Beiträge

Häufige Fragen

Kurze Antworten zur Sicherheit von KI-Agenten.

Was ist KI-Agenten-Sicherheit?

KI-Agenten-Sicherheit umfasst alle Maßnahmen, die verhindern, dass ein KI-Agent Daten preisgibt oder Aktionen ausführt, die niemand wollte.

Dazu gehören begrenzte Rechte, Freigaben durch Menschen, die Trennung von Anweisungen und fremden Inhalten sowie ein Protokoll jedes Werkzeugaufrufs.

Was ist Prompt Injection?

Bei einer Prompt Injection gibt Text in einer Eingabe, etwa in einer Mail, einem Dokument oder auf einer Webseite, dem Sprachmodell neue Anweisungen.

Bei Agenten mit Werkzeugen führt das zu echten Aktionen. Die OWASP Top 10 für Anwendungen mit großen Sprachmodellen führen Prompt Injection als erstes Risiko.

Was ist ein MCP-Server und wann wird er gefährlich?

Das Model Context Protocol (MCP) ist ein offener Standard, über den KI-Anwendungen an Datenquellen und Werkzeuge angebunden werden. Ein MCP-Server stellt einem Agenten solche Werkzeuge bereit.

Gefährlich wird er, wenn er ungeprüft eingebunden wird oder mehr Rechte hat, als die Aufgabe des Agenten braucht.

Was bedeutet Human in the Loop?

Ein Mensch bestätigt bestimmte Aktionen, bevor der Agent sie ausführt, etwa Zahlungen, Mails nach außen oder das Löschen von Daten.

So bleibt ein Fehler oder ein Angriff stehen, bevor er Folgen hat.

Was ist Schatten-KI?

Schatten-KI sind KI-Werkzeuge, die Mitarbeitende ohne Freigabe nutzen, etwa ein privates Chatbot-Konto für Kundendaten.

Das Risiko: Niemand im Unternehmen weiß, welche Daten wohin gehen. Eine Liste freigegebener Werkzeuge macht sichtbar, was erlaubt ist.

Darf ich ChatGPT, Claude oder Copilot im Unternehmen nutzen?

Das hängt vom Tarif, vom Vertrag zur Auftragsverarbeitung und von den Daten ab, die Ihr Team eingibt.

Legen Sie fest, welche Werkzeuge freigegeben sind und welche Daten nicht hineingehören, etwa Kundendaten oder Geschäftsgeheimnisse.

Was verlangt die KI-Verordnung von Unternehmen, die KI-Agenten nutzen?

Artikel 4 der KI-Verordnung (EU) 2024/1689 verlangt von Anbietern und Betreibern von KI-Systemen, Maßnahmen zu ergreifen, die die KI-Kompetenz ihres Personals fördern. Seit der Änderung durch die Verordnung (EU) 2026/1744 müssen sie dabei kein bestimmtes Niveau je Person garantieren.

Weitere Pflichten hängen davon ab, in welche Risikoklasse ein System fällt. Die Pflichten für Hochrisiko-Systeme gelten nach der Änderung später als ursprünglich geplant.

Kostenloser Security Check für Ihre KI‑Agenten

Everlast AI plant und baut KI-Agenten für Unternehmen. Im Gespräch gehen wir Ihre Agenten durch und klären, welche Rechte und Freigaben sie brauchen.

Termin buchen