Поиск повторяющихся абзацев в наборе текстов
Найти точные и близкие повторы в локальных файлах, показать группы и степень сходства.
Методика и примеры
Поиск повторяющихся абзацев в наборе текстов
Абзацы разных локальных текстов сравниваются по точной нормализованной строке и Jaccard множеств токенов. Порог и регистр задаются явно. Похожие абзацы показываются вместе, автоматического удаления или вывода о заимствовании нет.
Ограничения
До 2 млн символов на источник; регулярные правила имеют таймаут и отмену. Поддерживаемые форматы и правила показаны на странице. Наборы правил не заменяют лингвистическую, юридическую или предметную проверку. Файлы и тексты не отправляются на сервер.
Проверяемый пример
Входные данные примера
Первый общий абзац. Другой абзац.
| Файл A | Абзац A | Файл B | Абзац B | Сходство, % | Метод | Текст A | Текст B |
|---|---|---|---|---|---|---|---|
| A | 1 | B | 1 | 100 | точный нормализованный | Первый общий абзац. | Первый общий абзац. |