Parser de reguli robots.txt
Fetch robots.txt and test whether specific URLs are allowed or blocked for any user-agent, including wildcard and path rules. Use it to debug crawler access and verify disallow rules.
Rezultatele instrumentelor sunt generate în engleză.
Pagini corelate
Problemă la server? Site hackuit? Încărcare lentă?
Probleme critice soluționate în 30 de minute — nonstop, 7 zile pe săptămână.