Проверка robots.txt на списке URL
Показать применимые правила для выбранного робота, проверить тестовые адреса и объяснить результат.
Методика и примеры
Проверка robots.txt на списке URL
Разбирает группы robots, объединяет одинаково подходящие группы и выбирает самое специфичное совпадение; при равенстве allow имеет приоритет. Поддерживает * и завершающий$, показывает строку правила.
Входные данные примера
Основной источник
User-agent: * Disallow: /private/ Allow: /private/public$ Disallow: /*?secret=
Второй источник
[
{
"url": "https://example.test/private/a"
},
{
"url": "https://example.test/private/public"
},
{
"url": "https://example.test/a/"
}
]Результат примера
| Строка | URL | Разрешён | Правило | Строка robots |
|---|---|---|---|---|
| 1 | https://example.test/private/a | False | /private/ | 2 |
| 2 | https://example.test/private/public | True | /private/public$ | 3 |
| 3 | https://example.test/a/ | True | нет применимого запрета |
Показано строк: 3 из 3.
Локальная обработка: до2 млн символов или20 000 записей на источник; до50 000 строк результата. Тяжёлые операции имеют отдельные ограничения и отмену. Измеренный спрос и внешние данные не подставляются.
Проверка изменений robots перед релизом
Один и тот же список URL проверяется двумя версиями robots; показывает смену доступности и правила обеих сторон, не меняя сервер.
Входные данные примера
Основной источник
User-agent: * Disallow: /private/ Allow: /private/public$ Disallow: /*?secret=
Второй источник
User-agent: * Disallow: /private/ Allow: /private/public$ Disallow: /*?secret= Disallow: /a/
Третий источник
[
{
"url": "https://example.test/private/a"
},
{
"url": "https://example.test/private/public"
},
{
"url": "https://example.test/a/"
}
]Результат примера
| URL | A разрешён | B разрешён | Изменение | Правило A | Правило B |
|---|---|---|---|---|---|
| https://example.test/private/a | False | False | без изменений | /private/ | /private/ |
| https://example.test/private/public | True | True | без изменений | /private/public$ | /private/public$ |
| https://example.test/a/ | True | False | закрыт | нет применимого запрета | /a/ |
Показано строк: 3 из 3.
Локальная обработка: до2 млн символов или20 000 записей на источник; до50 000 строк результата. Тяжёлые операции имеют отдельные ограничения и отмену. Измеренный спрос и внешние данные не подставляются.