Согласование разметки учебного корпуса
Сопоставить несколько аннотаций, показать разногласия, сохранить согласованные решения и историю.
Методика и примеры
Согласование разметки учебного корпуса
Сопоставляет метки оценщиков, показывает разногласия и историю изменения решений. Большинство не становится принятым автоматически; выгрузка содержит только явно согласованные записи.
Входные данные примера
Основной источник
[
{
"id": "r1",
"annotator": "A",
"label": "yes"
},
{
"id": "r1",
"annotator": "B",
"label": "no"
},
{
"id": "r2",
"annotator": "A",
"label": "yes"
},
{
"id": "r2",
"annotator": "B",
"label": "yes"
}
]Второй источник
[
{
"id": "r2",
"decision": "yes"
}
]Результат примера
| ID | Метки | Оценщики | Согласие | Принятое решение | Статус |
|---|---|---|---|---|---|
| r1 | yes | no | A: yes;B: no | разногласие | no | решение явно задано |
| r2 | yes | A: yes;B: yes | совпали | yes | решение явно задано |
Показано строк: 2 из 2.
Локальная обработка: до2 млн символов или20 000 записей на источник; до50 000 строк результата. Тяжёлые операции имеют отдельные ограничения и отмену. Измеренный спрос и внешние данные не подставляются.