1. Sperren bei Shared-Hostern
Viele günstige Hosting-Tarife schützen sich gegen zu viele Abrufe. Das ist verständlich, trifft aber auch Suchmaschinen und KI-Crawler, die mehrere Seiten kurz hintereinander lesen.
Eigene Beobachtung: Bei zwei Websites auf einem verbreiteten Shared-Hosting-Tarif haben wir gemessen, dass der Server nach 17 schnellen Abrufen für etwa 29 Minuten nur noch mit Fehler 503 („nicht verfügbar“) antwortete – für alle Besucher, auch für Crawler.
- Fragen Sie Ihren Hoster, ob und ab wann solche Sperren greifen und ob bekannte Crawler ausgenommen werden können.
- Oder liefern Sie die Website über einen Dienst mit weltweitem Zwischenspeicher (CDN) aus. Die Domain kann beim bisherigen Anbieter bleiben.
- Langsame Server sind ein verwandtes Problem: Brechen Crawler wegen langer Ladezeiten ab, fehlen Seiten.
2. Bot-Schutz, der KI-Crawler blockiert
Dienste wie Cloudflare bieten Einstellungen gegen automatisierte Zugriffe. Sie sind nützlich, sollten aber bewusst gesetzt werden:
- KI-Bot-Regeln: Cloudflare unterscheidet in seinen neueren Einstellungen zwischen Crawlern für Suche, für Agenten und für Training. Die ältere Einstellung „Block AI bots“ zielt auf Trainings-Crawler. Seit dem 15.09.2026 gelten für neue Domains geänderte Voreinstellungen. Prüfen Sie, dass Such-Crawler erlaubt sind.
- Bot Fight Mode: gilt für die ganze Domain und lässt sich laut Cloudflare nicht über eigene Firewall-Regeln umgehen. Wer Ausnahmen braucht, muss auf andere Produkte ausweichen.
- Faustregel: Such- und Nutzer-Crawler (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot) immer zulassen. Ob Trainings-Crawler erlaubt sind, ist Ihre Geschäftsentscheidung.
3. E-Mail-Verschleierung
Cloudflare schaltet die „Email Address Obfuscation“ bei der Anmeldung automatisch ein. Sie ersetzt E-Mail-Adressen im Quelltext durch einen verschlüsselten Link; erst ein kleines Skript im Browser zeigt die echte Adresse. Das hält einfache Adress-Sammler ab – aber auch Crawler, die keine Skripte ausführen.
Eigene Beobachtung: Auf pickedfirst.ai war die Funktion zunächst aktiv. Im Quelltext stand statt unserer Adresse nur „[email protected]“. Für KI-Sichtbarkeit schalten wir sie darum aus.
Warum man diese Fallen selten bemerkt
Für Besucher im Browser sieht die Website ganz normal aus: Die E-Mail-Adresse erscheint, die Seite lädt, der Bot-Schutz greift nicht. Die Fallen treffen nur Crawler – und damit genau die Programme, über die KI-Assistenten Ihre Inhalte lesen.
Baukästen wie Wix, Jimdo oder Squarespace erlauben oft nicht, robots.txt oder llms.txt frei zu bearbeiten. Was dort möglich ist, beschreibt unser Umsetzungs-Kit für Ihr System.
Was davon auf Ihr Unternehmen zutrifft, prüfen wir im KI-Sichtbarkeits-Check konkret: an Ihrer Website, mit den Fragen Ihrer Kunden und im Vergleich mit Ihren Wettbewerbern.