KI-Bots erkennen und blockieren: Mit Myra bleiben Sie geschützt!

KI-Bots erhöhen Serverlast massiv

Solche automatisierten Anfragen erhöhen die Serverlast und Bandbreitennutzung von betroffenen Websites enorm und führen schlimmstenfalls sogar zu Einschränkungen oder Ausfällen. Beispielsweise berichtete der Git-Hosting-Service SourceHut Mitte März 2025 von „Störungen durch aggressive LLM Crawler“: Wie bei einem DDoS-Angriff waren die Server durch die immense Zahl Anfragen von KI-Crawlern zeitweise überlastet.

OpenAI und andere Entwickler von KI-Modellen beteuern zwar, dass ihre Crawler die Anweisungen der Seitenbetreiber in der robots.txt-Datei respektierten, die definieren, welche Bots welche Bereiche der Domain durchsuchen dürfen. Doch offenbar missachten einige KI-Bots diese Vorgaben ganz bewusst oder täuschen sogar einen anderen User Agent vor, um sich als regulärer Browser auszugeben.

WAF-Regeln zur Abwehr KI-basierter Bots und Crawler

Hier setzt die Myra WAF an und erlaubt mittels Verhaltensanalyse und Fingerprinting, solche Täuschungsversuche zu erkennen. Myra untersucht die Vertrauenswürdigkeit von Fingerprints mittels selbstlernender Algorithmen, die täglich hunderte Milliarden Datenpunkte analysieren. Mithilfe von Rate Limiting und einem fortschrittlichen Scoring lassen sich Anfragen einschränken oder blockieren. Außerdem ist es möglich, spezifische WAF-Regeln zu erstellen, um KI-Bots und Crawler gezielt auszusperren.

Mit der Myra WAF können Sie:

• Individuelle Bot-Sperren einrichten: Administratoren können vielfältige Regeln definieren, die auf spezifische User-Agent-Daten oder andere Bot-Merkmale abzielen.

• Bots zuverlässig identifizieren: Die WAF ermöglicht in Kombination mit dem Myra Bot Management eine eindeutige Erkennung von Bots via Fingerprints, sodass auch Bots blockiert werden können, die verschiedene IP-Adressen oder User Agents nutzen.

• Granulare Kontrolle behalten: Mit der WAF können Sie automatisierte Anfragen gezielt blockieren und auch Ausnahmen definieren, etwa für vertrauenswürdige Bots wie Suchmaschinen-Crawler.

Sammlungen von WAF-Regeln mit Tags verwalten

Die Myra WAF bietet auch die Möglichkeit, ganze Sammlungen von WAF-Regeln mithilfe von sogenannten Tags zu erstellen und zu verwalten. Diese Funktion erleichtert es Nutzern, ihre Sicherheitsrichtlinien effizient und konsistent über mehrere Domains hinweg anzuwenden.

Die Vorteile der Tags-Funktion:

• Zentrale Verwaltung: Nutzer können mehrere WAF-Regeln unter einem Tag gruppieren, beispielsweise „KI-Bots“, und diese Regeln schnell und einfach auf alle ihre Domains anwenden.

• Flexibilität bei der Anpassung: Tags erlauben es Administratoren, Änderungen an einer Regelgruppe vorzunehmen, die automatisch auf alle damit verknüpften Domains übertragen werden.

• Zeiteffizienz: Statt jede Domain individuell zu konfigurieren, können Nutzer mit Tags globale Sicherheitsrichtlinien definieren und pflegen.

Beispiel: Ein Unternehmen könnte einen Tag „KI-Crawler-Schutz“ erstellen, der Regeln zum Blockieren bestimmter KI-Crawler enthält. Dieser Tag wird dann auf alle Domains des Unternehmens angewendet – eine einfache und skalierbare Lösung für effektiven Schutz.

Mit der Myra Web Application Firewall (WAF) erhalten Sie ein leistungsstarkes Werkzeug zur Abwehr unerwünschter Anfragen durch KI-Bots und Crawlern, die Ihre Serverressourcen belasten und Ihre Betriebskosten erhöhen.