ToolVitoО проекте
Меню

Аудит внутренних ссылок по выгрузке краулера

Построить граф страниц, выявить сироты и слабосвязанные кластеры, экспортировать адресные рекомендации.

Рабочая область

Обработка на устройстве. Файлы и текст не отправляются в аналитику. Ctrl/Cmd+Enter — запуск.

Загрузка локальной обработки…

Настройки

Настройки содержат параметры, без исходных файлов. Автоматического сохранения нет.

Метод и ограничения

Строит направленный граф по вашей выгрузке, считает степени, компоненты слабой связности и BFS-расстояние от заданных входов. Страницы вне графа не считаются проверенными.

Локальная обработка: до2 млн символов или20 000 записей на источник; до50 000 строк результата. Тяжёлые операции имеют отдельные ограничения и отмену. Измеренный спрос и внешние данные не подставляются.

Методика и примеры

Аудит внутренних ссылок по выгрузке краулера

Строит направленный граф по вашей выгрузке, считает степени, компоненты слабой связности и BFS-расстояние от заданных входов. Страницы вне графа не считаются проверенными.

Входные данные примера

Основной источник

[
  {
    "url": "https://example.test/",
    "status": 200,
    "canonical": "https://example.test/",
    "indexable": true
  },
  {
    "url": "https://example.test/a/",
    "status": 200,
    "canonical": "https://example.test/a/",
    "indexable": true
  },
  {
    "url": "https://example.test/b/",
    "status": 404,
    "canonical": "https://example.test/b/",
    "indexable": true
  },
  {
    "url": "https://example.test/c/",
    "status": 200,
    "canonical": "https://example.test/c/",
    "indexable": true
  }
]

Второй источник

[
  {
    "from": "https://example.test/",
    "to": "https://example.test/a/"
  },
  {
    "from": "https://example.test/a/",
    "to": "https://example.test/b/"
  },
  {
    "from": "https://example.test/b/",
    "to": "https://example.test/a/"
  }
]

Результат примера

URLВходящихИсходящихГлубинаКомпонентаВывод
https://example.test/0101доступна
https://example.test/a/2111доступна
https://example.test/b/1121доступна

Показано строк: 3 из 4.

Локальная обработка: до2 млн символов или20 000 записей на источник; до50 000 строк результата. Тяжёлые операции имеют отдельные ограничения и отмену. Измеренный спрос и внешние данные не подставляются.

Проверка глубины клика в графе сайта

От входов вычисляет кратчайшее число ссылок BFS. Недостижимые страницы не получают искусственную глубину; компоненты и входящие рёбра помогают разобраться в причине.

Входные данные примера

Основной источник

[
  {
    "url": "https://example.test/",
    "status": 200,
    "canonical": "https://example.test/",
    "indexable": true
  },
  {
    "url": "https://example.test/a/",
    "status": 200,
    "canonical": "https://example.test/a/",
    "indexable": true
  },
  {
    "url": "https://example.test/b/",
    "status": 404,
    "canonical": "https://example.test/b/",
    "indexable": true
  },
  {
    "url": "https://example.test/c/",
    "status": 200,
    "canonical": "https://example.test/c/",
    "indexable": true
  }
]

Второй источник

[
  {
    "from": "https://example.test/",
    "to": "https://example.test/a/"
  },
  {
    "from": "https://example.test/a/",
    "to": "https://example.test/b/"
  },
  {
    "from": "https://example.test/b/",
    "to": "https://example.test/a/"
  }
]

Результат примера

URLВходящихИсходящихГлубинаКомпонентаВывод
https://example.test/0101доступна
https://example.test/a/2111доступна
https://example.test/b/1121доступна

Показано строк: 3 из 4.

Локальная обработка: до2 млн символов или20 000 записей на источник; до50 000 строк результата. Тяжёлые операции имеют отдельные ограничения и отмену. Измеренный спрос и внешние данные не подставляются.

Источники метода

Следующая задача