Семантический слой
Зачем использовать ИИ? Преимущества языковых моделей в распознавании контекста и преодолении лексической омонимии.
Если классические словарные базы (вроде Pymorphy) так хорошо определяют формы слов, почему бы не ограничиться только ими? Зачем усложнять архитектуру вызовом тяжелых и дорогих языковых моделей?
Ответ заключается в одной из главных проблем русского языка — омонимии и синтаксической многозначности.
Слепота классических парсеров
Обычный программный скрипт анализирует текст пословно. Он берет слово, заглядывает в базу данных и выдает результат. Давайте посмотрим на классический пример:
Для классического словаря слово «стекло» — это всегда загадка. Pymorphy честно вернет нам массив вероятностей: с вероятностью 70% это существительное среднего рода, а с вероятностью 30% — глагол прошедшего времени. Программа не знает, о каком именно предложении идет речь.
Суперспособность LLM (Контекст)
Здесь на сцену выходит искусственный интеллект. LLM обладает механизмом Attention (внимания). Модель не смотрит на слово «стекло» изолированно. Она анализирует весь вектор предложения целиком.
ИИ понимает, что в первом предложении рядом есть субъект «молоко» и обстоятельство направления «на пол», значит «стекло» выполняет роль действия (сказуемое, глагол). Во втором предложении есть активный субъект «Я» и действие «разбил», направленное на объект, следовательно «стекло» — это дополнение (существительное).
Роль ИИ в конвейере Razbor.org
Нейросеть применяется исключительно как мастер контекста. Ее задача: разметить структуру предложения, разбить его на предикативные части (clauses), определить синтаксическую роль каждого слова (подлежащее, сказуемое, дополнение) и сделать первичную ставку на часть речи. Точную академическую выверку (какой это падеж или склонение) ИИ не производит — это задача следующего слоя.