Сопоставление серверных логов и sitemap
По локальным логам показать обход известных страниц; роботов без проверки IP считать заявленными, не подтверждёнными.
Методика и примеры
Сопоставление серверных логов и sitemap
Агрегирует локальные строки логов по маршруту и заявленному UA, сопоставляет пути с sitemap. Не использует IP как доказательство подлинности робота.
Входные данные примера
Основной источник
[
{
"url": "https://example.test/a/",
"time": "2026-01-01T10:00:00Z",
"status": 200,
"ua": "Googlebot"
},
{
"url": "https://example.test/b/",
"time": "2026-01-01T10:01:00Z",
"status": 404,
"ua": "Mozilla"
}
]Второй источник
<?xml version="1.0"?><urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"><url><loc>https://example.test/</loc><lastmod>2026-01-02</lastmod></url><url><loc>https://example.test/b/</loc></url></urlset>
Результат примера
| path | declaredBot | inSitemap | requests | sourceRows |
|---|---|---|---|---|
| /a/ | заявлен UA | false | 1 | 1 |
| /b/ | прочий | true | 1 | 2 |
Показано строк: 2 из 2.
Локальная обработка: до2 млн символов или20 000 записей на источник; до50 000 строк результата. Тяжёлые операции имеют отдельные ограничения и отмену. Измеренный спрос и внешние данные не подставляются.