robots.txt Rules Parser
Fetch robots.txt and test whether specific URLs are allowed or blocked for any user-agent, including wildcard and path rules. Use it to debug crawler access and verify disallow rules.
Työkalujen tulokset generoidaan englanniksi.
Aiheeseen liittyvät sivut
Ongelma palvelimella? Sivusto hakkeroitu? Lataus hidasta?
Kriittiset ongelmat ratkaistaan 30 minuutissa — ympäri vuorokauden, seitsemänä päivänä viikossa.