Analizzatore regole robots.txt
Fetch robots.txt and test whether specific URLs are allowed or blocked for any user-agent, including wildcard and path rules. Use it to debug crawler access and verify disallow rules.
I risultati degli strumenti sono generati in inglese.
Pagine correlate
Problemi al server? Sito violato? Sito lento?
Incidenti critici gestiti in 30 minuti — 24 ore su 24, 7 giorni su 7.