Парсер правил robots.txt
Fetch robots.txt and test whether specific URLs are allowed or blocked for any user-agent, including wildcard and path rules. Use it to debug crawler access and verify disallow rules.
Результати інструментів генеруються англійською.
Схожі сторінки
Проблема із сервером? Зламаний сайт? Повільна сторінка?
Критичні інциденти — відповідь за 30 хвилин, цілодобово, 7 днів на тиждень.