robots.txt-Regelparser
Fetch robots.txt and test whether specific URLs are allowed or blocked for any user-agent, including wildcard and path rules. Use it to debug crawler access and verify disallow rules.
Die Ergebnisse der Tools werden auf Englisch erzeugt.
Ähnliche Seiten
Serverproblem? Gehackte Website? Langsame Seite?
Kritische Störungen in 30 Minuten beantwortet — rund um die Uhr, 7 Tage die Woche.