Kostenloses Tool
Ihre robots.txt wird nach RFC 9309 gelesen; angezeigt wird, welche Crawler von KI-Unternehmen erlaubt oder blockiert sind. Auch die llms.txt wird geprüft.
Die Ergebnisseite ist derzeit auf Englisch.
Geben Sie die Domain ein; das Ergebnis öffnet sich sofort. robots.txt ist eine Bitte, keine Durchsetzung; ist sie nicht lesbar, werden keine Regeln erfunden.