Parser for robots.txt-regler
Fetch robots.txt and test whether specific URLs are allowed or blocked for any user-agent, including wildcard and path rules. Use it to debug crawler access and verify disallow rules.
Verktøyresultater genereres på engelsk.
Relaterte sider
Serverproblemer? Nettsted hacket? Langsom innlasting?
Kritiske problemer løst på 30 minutter — døgnåpent, 7 dager i uken.