Triplet Extraction Pipeline with Fine-Tuned Models

[m0tbka]

Новый пайплайн для извлечения триплетов, основанный на работе нескольких специализированных легковесных моделей.
Ключевые изменения включают:

• Новый модуль ragu.triplet.pipeline, который управляет всем процессом извлечения.
• Разделение NLP-задач (NER, RE, NEN, Description) на отдельные микросервисы, определённые в docker-compose.yml.
• Сервис custom_service для работы с моделью RaguTeam/RAGU-lm.
• Обновлённую документацию и примеры для демонстрации работы нового пайплайна.

[AsphodelRem]

Есть некоторые замечания по коду. Часть из них пометил, как "на будущее" - можно поправить потом. Но некоторые лучше обсудить и исправить сейчас

[AsphodelRem]

1. У нас есть BatchGenerator в ragu/common/batch_generator
2. Хотелось бы избавиться от магического числа 5 в строке 92 (вынести в параметры)
3. Зачем нам (по крайней мере в этот момент) relation_type?
4. Все отношения лучше помечать как relations, а не relationships для консистентности с остальным кодом.
5. Строки 55-57 лучше переписать, пояснить, чем первый контекст отличается от второго и т.д.

[AsphodelRem]

1. Я так понимаю, здесь transformers используется для инференса ragu-lm? А почему не через vllm? Так ведь быстрее будет.
2. Тут лучше промпты переиспользовать из ragu/common/prompts (это, скорее, коментарий на будущее)

[AsphodelRem]

Не ломает ли добавление relationship_type ничего другого в коде? Если нет, то можем оставить

[AsphodelRem]

Это ведь уже есть в ragu/common/prompts/default_templates

[AsphodelRem]

Это больше замечание к архитектуре классов из pipeline, но я коммент оставлю здесь, т.к. тут наглядно видно, что не нравится.

А в чем ценность создавать пайплайн вот так:

ner_client = NERClient(NER_SERVICE_BASE_URL)
nen_client = NENClient(LLM_BASE_URL)
re_client = REClient(RE_SERVICE_BASE_URL)
description_client = DescriptionClient(LLM_BASE_URL)

# Create the pipeline steps in the correct order
steps = [
    NERStep(ner_client),
    NENStep(nen_client),
    EntityDescriptionStep(description_client),
    REStep(re_client),
    RelationDescriptionStep(description_client),
]

# Create the pipeline
pipeline = Pipeline(steps)

Как будто проще и логичнее сразу передавать url в pipeline, и там заводить экземпляры классов-клиентов (или steps). Вроде клиенты ни от чего, кроме url, не зависят.

Замечание на будущее, пока пусть остается так

[AsphodelRem]

Так ли он нам нужен? transformers в проде обычно не используют

[AsphodelRem]

Нужно подумать, как грамотно разнести зависимости по "подпакетам" (или extras). Сейчас есть два типа - дефолтный и local (pip install graph_ragu[local]).