Nachrichtengenerierung im Abo · Redaktionen, Blogs und Unternehmen

KI-Crawler-Check

Fügen Sie eine Seite Ihrer Website ein und sehen Sie, welche KI-Crawler Ihre robots.txt zulässt, ob eine Firewall sie abweist und ob die Seite Text und strukturierte Daten enthält, die sie ohne JavaScript lesen können. Kostenlos und ohne Anmeldung.

Wir rufen Ihre robots.txt, die Seite und einige öffentliche Dateien einmal ab und speichern das Ergebnis nicht.

Such-, Trainings- und Nutzer-Crawler sind verschieden

  • Such-Crawler entscheiden, ob Sie zitiert werden

    OAI-SearchBot (ChatGPT-Suche), Claude-SearchBot, PerplexityBot, Googlebot und Bingbot bauen die Indizes auf, aus denen KI-Antworten schöpfen. Sind sie gesperrt, können Ihre Seiten weder gefunden noch zitiert werden.

  • Trainings-Crawler sind eine eigene Entscheidung

    GPTBot, ClaudeBot, Google-Extended und CCBot sammeln Inhalte zum Trainieren von Modellen. OpenAI, Anthropic und Google betreiben sie getrennt von ihren Such-Crawlern, und Google sagt, dass Google-Extended die Suche nicht beeinflusst – Sie können also das Training sperren und trotzdem zitiert werden.

  • Nutzeranfragen funktionieren anders

    ChatGPT-User, Claude-User und Perplexity-User rufen eine Seite auf, wenn eine Person danach fragt. Weil ein Mensch die Anfrage gestellt hat, gilt die robots.txt laut den Anbietern unter Umständen nicht.

Was dieser Check prüft

  • Die robots.txt-Regeln für jeden Crawler

    Wir lesen Ihre robots.txt so wie die Crawler (RFC 9309): Eine Gruppe, die den Crawler nennt, gilt für ihn; sonst gilt die Gruppe „*“, und die spezifischste Regel gewinnt.

  • Sperren durch Firewall und CDN

    Wir rufen die Seite zweimal zusätzlich ab und geben uns dabei als OAI-SearchBot und ClaudeBot aus. Werden diese Anfragen abgelehnt, während die normale funktioniert, sperrt eine Firewall KI-Crawler möglicherweise selbst dann, wenn die robots.txt sie erlaubt.

  • Text ohne JavaScript

    KI-Crawler lesen das HTML, das Ihr Server sendet, und führen keine Skripte aus. Wir zählen die Wörter in diesem HTML, so wie sie es sehen.

  • Indexierung, strukturierte Daten, Sitemap und llms.txt

    Wir suchen nach noindex-Regeln, strukturierten JSON-LD-Daten, einer Sitemap und einer llms.txt-Datei: Signale, die Crawlern helfen, die Seite zu finden und zu verstehen.

Häufige Fragen

Häufige Fragen

Wie prüfe ich, ob ChatGPT meine Website crawlen kann?

Fügen Sie oben eine Seite in den Check ein. Er liest Ihre robots.txt für OAI-SearchBot, der die ChatGPT-Suche speist, und für GPTBot, der Trainingsdaten sammelt, und testet, ob Ihre Firewall eine Anfrage von OAI-SearchBot abweist.

Entfernt das Sperren von GPTBot meine Website aus ChatGPT?

Nein. GPTBot sammelt nur Inhalte fürs Training. Die ChatGPT-Suche nutzt OAI-SearchBot, den Sie getrennt erlauben können. Dieselbe Trennung gibt es bei Anthropic (ClaudeBot und Claude-SearchBot) und bei Google (Google-Extended und Googlebot).

Warum erlaubt meine robots.txt einen Crawler, aber der Check zeigt eine Firewall-Warnung?

Manche CDNs und Firewalls sperren KI-Crawler anhand ihres User-Agents, unabhängig von der robots.txt. Unsere Testanfrage nutzt den Namen des Crawlers, kommt aber von unserem Server; eine Firewall, die auch die IP-Adresse prüft, behandelt sie daher womöglich anders als den echten Crawler. Prüfen Sie das in den Einstellungen Ihres CDN oder Ihrer Firewall.

Brauche ich eine llms.txt-Datei?

Sie ist optional. llms.txt ist eine neue Konvention, um KI-Tools eine Zusammenfassung Ihrer Website zu geben, aber kein großes KI-Unternehmen hat gesagt, dass seine Crawler darauf angewiesen sind. robots.txt, lesbares HTML und strukturierte Daten zählen mehr.

Ist dieser Check kostenlos?

Ja, ohne Anmeldung. Wir rufen Ihre robots.txt, die Seite und einige öffentliche Dateien einmal pro Prüfung ab und speichern das Ergebnis nicht.

Weitere Ratgeber

So werden Sie von ChatGPT, Perplexity und anderen KI-Suchen zitiert

Nachprüfbare Aussagen, strukturierte Daten und klare Autorschaft in jedem Artikel.

Ratgeber lesen→

Bestraft Google KI-generierte Inhalte?

Was Google wirklich bestraft und wie Sie mit KI veröffentlichen, ohne sich anzugreifbar zu machen.

Ratgeber lesen→

Wie nutzt man KI für Nachrichten, ohne die Recherche anderer Medien zu übernehmen?

Ursprungsbeitrag nennen und verlinken, vom eigenen Material ausgehen und Medien ausschließen, die Sie nicht nutzen wollen.

Ratgeber lesen→