robots.txt: die Tür für Crawler
Die robots.txt ist eine kleine Textdatei im Hauptverzeichnis Ihrer Website. Sie sagt Crawlern, welche Bereiche sie abrufen dürfen. Für KI-Sichtbarkeit zählt vor allem: Such-Crawler dürfen nicht ausgesperrt sein.
- Für Suchantworten
- OAI-SearchBot (ChatGPT), Claude-SearchBot (Claude), PerplexityBot (Perplexity), Googlebot und Bingbot. Sperren Sie diese aus, erscheinen Sie dort nicht.
- Abrufe im Auftrag der Nutzer
- ChatGPT-User, Claude-User, Perplexity-User: Sie rufen eine Seite ab, wenn ein Nutzer danach fragt. OpenAI und Perplexity weisen darauf hin, dass robots.txt-Regeln hier nicht immer greifen.
- Für das Training
- GPTBot, ClaudeBot, Google-Extended: Sie betreffen, ob Inhalte für das Training künftiger Modelle genutzt werden. Laut OpenAI sind die Einstellungen unabhängig – wer GPTBot sperrt, kann trotzdem in der ChatGPT-Suche erscheinen. Google-Extended wirkt laut Google nicht auf die Google-Suche.
Ob Sie das Training erlauben, ist eine Geschäftsentscheidung. Wir erlauben es auf pickedfirst.ai bewusst. Wichtig ist: Die robots.txt hält eine Seite nicht aus dem Google-Index heraus. Dafür braucht es die Angabe „noindex“.
Strukturierte Daten: Fakten in Maschinensprache
Strukturierte Daten sind ein unsichtbarer Block im Quelltext, der in einem festen Format (schema.org, meist als JSON-LD) sagt: Das ist eine Kanzlei, so heißt sie, hier ist sie, diese Leistungen bietet sie an. Google empfiehlt JSON-LD und schreibt, dass solche Daten beim Verstehen einer Seite helfen. Eine bessere Platzierung sagt Google nicht zu.
- Passend zum sichtbaren Text: Google weist ausdrücklich darauf hin, dass strukturierte Daten zum sichtbaren Inhalt passen müssen.
- Nichts erfinden: Keine Öffnungszeiten, Postleitzahlen oder Bewertungen eintragen, die es nicht gibt. Wer kein Ladengeschäft hat, braucht keinen Ladengeschäft-Eintrag.
- FAQ-Daten realistisch sehen: Seit August 2023 zeigt Google die aufklappbaren FAQ-Ergebnisse nur noch für bekannte Behörden- und Gesundheitsseiten. Für die meisten Unternehmen bringen FAQ-Daten bei Google also keine Sonderdarstellung. Der sichtbare Frage-Antwort-Text bleibt trotzdem nützlich.
Google schreibt zudem für AI Overviews und AI Mode: Besondere strukturierte Daten sind dafür nicht nötig. Ob andere KI-Assistenten strukturierte Daten gezielt auswerten, dokumentieren die Anbieter nicht. Wir setzen sie trotzdem, weil sie Fakten eindeutig machen und wenig kosten.
llms.txt: ein Vorschlag, kein Standard
Die llms.txt wurde 2024 von Jeremy Howard vorgeschlagen: eine Markdown-Datei im Hauptverzeichnis, die KI-Systemen in Kurzform erklärt, worum es auf der Website geht, mit Links zu den wichtigsten Seiten. Die Initiative nennt sich selbst einen Vorschlag; ein offizieller Standard ist sie nicht.
Google sagt für seine KI-Funktionen ausdrücklich, dass keine neuen maschinenlesbaren Dateien oder KI-Textdateien nötig sind. Dass ChatGPT, Gemini, Claude oder Perplexity eine llms.txt in ihren Antworten verlässlich auswerten, ist nach unserem Stand nicht belegt. Unser Check zieht darum keine Punkte ab, wenn sie fehlt. Wir legen trotzdem eine an (unsere llms.txt), weil sie in zehn Minuten fertig ist.
Was am meisten zählt
Nach unserer Erfahrung entscheidet zuerst die Erreichbarkeit: Eine Website, die Crawler aussperrt – in der robots.txt oder unbemerkt über Hoster und Bot-Schutz (siehe Hosting-Fallen) –, kann nicht genannt werden. Danach kommen klare, eindeutige Fakten. Die llms.txt ist eine kleine Ergänzung, keine Abkürzung.
Was davon auf Ihr Unternehmen zutrifft, prüfen wir im KI-Sichtbarkeits-Check konkret: an Ihrer Website, mit den Fragen Ihrer Kunden und im Vergleich mit Ihren Wettbewerbern.