Parser pravidiel robots.txt
Fetch robots.txt and test whether specific URLs are allowed or blocked for any user-agent, including wildcard and path rules. Use it to debug crawler access and verify disallow rules.
Výsledky nástroja sú generované v angličtine.
Súvisiace stránky
Problém so serverom? Napadený web? Pomalé načítanie?
Kritické problémy vyriešime v 30 minútach — nonstop, 7 dní v týždni.