Как сообщили журналистам, этот инструмент работает по тому же принципу, что и механизм определения дубликатов, действующий в настоящее время в «Яндекс.Новостях». Однако если в агрегаторе этот механизм должен способствовать увеличению посещаемости ресурсов с оригинальным контентом, то новый инструмент предназначен для выявления новостных агентств, использующих чужие материалы без лицензии.
«Поиск дубликатов» позволяет уточнить, имеются ли в новостях-дубликатах ссылки на оригинальные сообщения. Кроме того, можно выявить случаи, когда текст со ссылкой на какое-либо сообщение, опубликован раньше этого сообщения.
Следует отметить, что поле деятельности яндексовской утилита ограничено лишь партнёрами «Яндекс.Новостей», которые, бывают, заимствуют друг у друга тексты без предварительной договорённости. Что касается всех прочих копипастеров, то их, очевидно, придётся вылавливать каким-то другим способом.
