Bài báo: A Multi-Agent Framework for Factuality Hallucination Detection using Complex Knowledge Graph
Nhóm tác giả:
- Bùi Thị Thanh Tuyền – KHDL2024 – Đồng tác giả
Giảng viên hướng dẫn: PGS.TS. Quản Thành Thơ
Tóm tắt:
Large Language Models (LLMs) in Retrieval-Augmented Generation (RAG) systems frequently produce hallucinated responses that contradict or lack support from source documents. Existing hallucination detection methods rely on internal model states, token probabilities, or computationally expensive multi-sampling approaches, limiting their applicability to commercial black-box LLMs.
This paper introduces a novel multi-agent framework for detecting LLM factuality hallucinations through structured reasoning over a Complex Knowledge Graph (CKG). Our approach integrates vanilla knowledge graphs with event-centric representations to capture entities, events, temporal relations, and causal dependencies from context documents.
The framework employs three specialized agents: a Planner that generates verification strategies, a Reasoner that performs step-by-step logical inference, and an Executor that retrieves relevant graph information through entity-centric, event-centric, and multi-hop traversal operations.
We evaluate our method on the XSum annotated dataset and a newly constructed bilingual dataset (English and Vietnamese), called Compositional Reasoning Question-Answering (CoReQA) dataset, which consists of over 1,000 samples, spanning five domains (Physics, Novels, News, History, and Politics) with four reasoning complexity levels.
Experimental results on the CoReQA dataset demonstrate that our framework achieves 90.93% accuracy and 89.27% F1-score, substantially outperforming baseline methods, including retrieval-based and knowledge-graph-based approaches. Ablation studies confirm the critical contributions of both the planning mechanism and the hybrid graph structure for handling complex reasoning tasks involving entity disambiguation and temporal event ordering.
Bài báo được công bố tại hội nghị quốc tế:
The 17th FLINS Conference & the 21st ISKE Conference: Machine Learning and Knowledge Engineering for Decision Making (FLINS-ISKE 2026) là hội nghị khoa học quốc tế về học máy, trí tuệ tính toán, hệ thống thông minh, kỹ nghệ tri thức và các ứng dụng trong hỗ trợ ra quyết định.
FLINS là diễn đàn nghiên cứu quốc tế được hình thành từ năm 1994, hướng đến thúc đẩy các nghiên cứu nền tảng và ứng dụng về trí tuệ tính toán trong các hệ thống kỹ thuật phức tạp và hệ thống hỗ trợ ra quyết định. Trong khi đó, ISKE là diễn đàn dành cho các nhà nghiên cứu, giảng viên và chuyên gia công nghiệp trao đổi các kết quả khoa học và công nghệ mới trong lĩnh vực hệ thống thông minh và kỹ nghệ tri thức.
FLINS-ISKE 2026 được tổ chức tại Sydney, Australia và thuộc chuỗi hội nghị quốc tế được xếp hạng CORE Rank C.
Thông tin chi tiết tại: https://www.facebook.com/share/p/18R7PDjRKs/
Đông Xanh - Cộng tác viên truyền thông Trường Đại học Công nghệ Thông tin