Bài báo:
FRED: Unified Multimodal Fusion and Dynamic Temporal Reasoning with Semantic Query Expansion and Exclusionary Search
Học viên thực hiện:
• Nguyễn Trần Nhật Trung – TTNT2023
• Huỳnh Thái Bảo – TTNT2023
• Phạm Hải Đăng – TTNT2023
• Vũ Hiếu Thiên – KHMT2023
• Dương Thái Ý Nhi – KHMT2023
Giảng viên hướng dẫn:
• ThS. Cáp Phạm Đình Thăng
Tóm tắt:
Our proposed system introduces an innovative approach to interactive multimodal video retrieval, developed for the AI Challenge Ho Chi Minh City 2025. The system enhances both retrieval accuracy and user interaction through the integration of Large Language Models (LLMs) for semantic reasoning and query expansion, effectively addressing query ambiguities and improving contextual relevance. The retrieval framework is built upon Vision-Language Models (VLMs) to support text-to-video and image-based search, while incorporating auxiliary components such as Optical Character Recognition (OCR), Automatic Speech Recognition (ASR), and Object Detection to enrich multimodal understanding. These complementary signals enable the system to capture textual, auditory, and visual cues from videos, creating a more comprehensive search foundation. Furthermore, a dynamic temporal search mechanism evaluates frame-level relevance and temporal dependencies, providing adaptive and context-aware retrieval. Overall, the system demonstrates the effectiveness of combining multimodal perception with LLM-driven intelligence to improve the precision, adaptability, and interactivity of modern video retrieval systems.
"Chúng em xin chân thành cảm ơn thầy ThS. Cáp Phạm Đình Thăng đã hỗ trợ chúng em nghiên cứu và hoàn thành bài báo khoa học tại SOICT 2025 này."
The 14th International Symposium on Information and Communication Technology (SOICT 2025) là hội nghị khoa học quốc tế uy tín trong lĩnh vực Công nghệ Thông tin và Truyền thông. Hội nghị tập trung vào các hướng nghiên cứu trọng điểm như Artificial Intelligence, Computer Vision, Multimedia Processing, Data Science, Communication Networks và Cybersecurity. Các bài báo được chấp nhận và xuất bản trong kỷ yếu hội nghị, được lập chỉ mục trong Scopus, khẳng định uy tín học thuật của SOICT trong cộng đồng nghiên cứu quốc tế.
Thông tin chi tiết: https://www.facebook.com/share/p/14VmHXTkeeT/
