Лемматизацией называется механизм поискового алгоритма, который отвечает за формирование леммы.
Леммой называют неизмененную, первоначальную форму слова.
В русском языке леммой является существительное в именительном падеже и единственном числе. Для глаголов лемма – это инфинитив, неопределенная форма слова, которая отвечает на вопрос «что делать?». Быстрое и эффективное индексирование страниц поисковиком невозможно без использования лемматизации.
Чем эффективней индексирование, тем меньше времени оно занимает, следовательно, его скорость самым прямым образом зависит от того, сколько словоформ удастся проанализировать поисковой системе за определенный период времени. И наоборот, чем большее количество словоформ нужно обработать, тем медленнее будет идти индексация веб-страниц.
Чтобы снизить количество различных словоформ, в поисковый алгоритм внедряются специальные программы, осуществляющие лемматизацию – лемматизаторы. Данные программы не являются засекреченным ноу-хау поисковых систем, они достаточно распространены и различные лемматизаторы сегодня можно легко найти в интернете.
Конечно, многие из этих программ не могут похвастаться особой сложностью, тем не менее, они достаточно часто применяются вебмастерами для того, чтобы создать на сайте собственный поиск. Это очень удобно, так как далеко не все могут позволить себе воспользоваться услугами хостинга, который может производить обработку большого количества информации.
Следовательно, индексаторы малых поисковых систем, которые работают на отдельных сайтах, не могут быть слишком большими. Уменьшить их объем помогает механизм лемматизации, а за работоспособность всей конструкции отвечает программа-лемматизатор.
Кроме увеличения скорости индексации поисковики применяют лемматизацию для того, чтобы оценить уникальность контента сайта. Чтобы решить эту проблему, поисковая система сводит к исходным леммам все словоформы. Затем весь текст разбивается на шинглы и проверяется на совпадение.
Но все же основное назначение лемматизации – это улучшения релевантности поиска. Приведя все словоформы к леммам, поисковый алгоритм может отсеять все нерелевантные документы.
Лемматизация – это одна из прикладных дисциплин языкознания, она достаточно часто используется для морфологического анализа текстов, для чего все словоформы приводятся к их первоначальному виду.
