Коротко
Автор сравнил обычный RAG, GraphRAG и агентный GraphRAG на вопросах об Олимпийских играх. На этой задаче структурированные графовые запросы резко повысили точность и снизили расход токенов, а агент дал дополнительную пользу лишь при неоднозначных многошаговых вопросах.
Контекст
Автор собрал практический проект для хакатона TigerGraph Agentic GraphRAG. Исходный корпус включал около 2 900 статей Википедии об олимпийских соревнованиях и 100 вопросов для оценки; в смешанных данных также оказалось около 760 отвлекающих статей о фильмах и компаниях.
Главное
- Корпус состоял примерно из 2 900 статей об олимпийских соревнованиях; для оценки использовали 100 вопросов и подготовили ещё 50 скрытых.
- Вопросы охватывали простые поиски, многошаговые связи, временные условия, агрегирование и поиск экстремумов.
- Около 760 статей-дистракторов относились к фильмам и компаниям, что могло сбивать текстовый поиск.
- В TigerGraph Savanna загрузили 2 187 вершин Event, сформированных из инфобоксов Википедии.
- RAG извлекал top 5 документов по сходству; GraphRAG выполнял один графовый запрос после планирования; агентный вариант мог уточнять поиск и проверять свидетельства.
- Точность и оценочный расход токенов на запрос: RAG — 18% и 1 573; GraphRAG — 92% и 247; Agentic GraphRAG — 100% и 1 295.
- RAG набрал 0% на задачах агрегации и поиска максимума, поскольку пяти документов недостаточно для надёжного подсчёта большого набора событий.
- При запросе о победителе на Beijing National Stadium 16 августа 2008 года агент разбирал несколько совпадений по дате; это подняло точность на многошаговых вопросах с 71% до 100%.
- Для Savanna 4.x используется endpoint
/gsql/v1/tokens; Auto Resume предотвращает ошибки HTTP 500 при приостановленной среде. - REST-вызовы установленных GSQL-запросов требуют передачи всех параметров; автор рекомендует задавать безопасные значения по умолчанию.
Как сделано
Автор извлёк данные из инфобоксов и создал вершины Event с полями вида спорта, года, сезона, места, даты, числа участников, стран и призёров. В TigerGraph Savanna загрузили 2 187 событий и настроили GSQL-запросы для фильтрации, подсчётов и поиска. Принципиальное решение: LLM строит план, но результат вычисляет графовая база.
Сравнивались три конвейера: RAG выбирал пять наиболее похожих документов; GraphRAG составлял план и выполнял один запрос к графу; Agentic GraphRAG использовал цикл оркестрации — оценивал достаточность найденных данных, при необходимости корректировал поиск, сверял данные по второму источнику и завершал работу при достаточной уверенности.
Для TigerGraph Savanna 4.x автор отмечает, что токен API получают через /gsql/v1/tokens, а не через старый /restpp/requesttoken. Также следует включить Auto Resume: при приостановленной рабочей среде API возвращает HTTP 500. Для установленных GSQL-запросов, вызываемых через REST, нужно передавать все параметры, поэтому автор советует задать значения по умолчанию, не меняющие результат.
Результаты
На 100 оценивавшихся вопросах RAG достиг 18% точности при примерных 1 573 токенах на запрос, GraphRAG — 92% при 247 токенах, агентный GraphRAG — 100% при 1 295 токенах. RAG не ответил правильно ни на один вопрос на агрегацию или поиск максимума. GraphRAG справился с 71% многошаговых вопросов, а агентный вариант — со всеми: он разрешал неоднозначность, уточняя совпадение по дате события. В статье также упоминаются 50 скрытых вопросов, но результаты по ним отдельно не приведены.
Ограничения
Оценка проведена на узком корпусе олимпийских событий и 100 вопросах; размер выборки ограничен, а результаты нельзя автоматически переносить на другие области. Расход токенов указан как оценочный, а сведений о стоимости, задержках и независимой проверке нет. Для 50 скрытых вопросов отдельные метрики не сообщаются. Не раскрыты детали реализации второго источника проверки и используемых моделей.
Что взять себе
- Для точных подсчётов и фильтрации структурированные данные и запросы к графу обычно надёжнее, чем генерация ответа по нескольким найденным фрагментам.
- Не стоит добавлять агентный цикл автоматически: в этом эксперименте он заметно увеличил расход токенов по сравнению с GraphRAG.
- Агент полезен там, где запрос неоднозначен: он может обнаружить несколько кандидатов и собрать дополнительное свидетельство для выбора.
- При переносе решения на TigerGraph Savanna 4.x проверьте endpoint токенов, Auto Resume и обязательные параметры GSQL REST-запросов.
Читать оригинал, если…
Откройте оригинал, если нужны код проекта, конкретные GSQL-запросы и детали реализации конвейеров в TigerGraph Savanna.