Bài báo: Enhancing Endoscopic Image Retrieval via Self-Supervised Learning and Large VLM-Based Re-ranking
Link bài báo: https://dl.acm.org/doi/abs/10.1145/3746027.3762082
Nhóm tác giả:
• Trần Nhật Khoa – 22520691 – Khoa học Máy tính 2022 – Chương trình Tài năng – Tác giả chính
• Lý Nguyên Thùy Linh – 22520766 – Khoa học Máy tính 2022 – Chương trình Tài năng – Đồng tác giả
• Hồ Khánh Duy – 22120076 – Nhóm ngành Máy tính và CNTT, Khoa Công nghệ Thông tin – Trường Đại học Khoa học Tự nhiên – ĐHQG-HCM – Đồng tác giả
Giảng viên hướng dẫn:
• TS. Lương Ngọc Hoàng
Tóm tắt:
Hệ thống truy xuất ảnh y khoa đóng vai trò quan trọng trong chẩn đoán và đào tạo lâm sàng, nhưng đặc biệt khó khăn với ảnh nội soi do dữ liệu gán nhãn hạn chế, thiếu mô hình tiền huấn luyện chuyên ngành và sự giống nhau tinh vi giữa các vùng giải phẫu.
Nghiên cứu này sử dụng học tương phản tự giám sát để huấn luyện một bộ mã hoá ảnh mạnh cho dữ liệu nội soi và dùng nó làm nền tảng cho các bài toán truy xuất. Với truy xuất văn bản–ảnh, nhóm áp dụng học tương phản đa phương thức để liên kết biểu diễn văn bản và hình ảnh dựa trên backbone này.
Để cải thiện hơn nữa, nhóm đề xuất một mô-đun reranking mới khai thác khả năng suy luận của các mô hình thị giác–ngôn ngữ lớn (như GPT-4o, Gemini). Cuối cùng, nghiên cứu phân tích và so sánh nhiều chiến lược truy xuất khác nhau, đưa ra các hiểu biết hữu ích cho ứng dụng lâm sàng.
"Nhóm chúng em xin chân thành cảm ơn Thầy TS. Lương Ngọc Hoàng đã tận tâm hướng dẫn, định hướng và hỗ trợ trong suốt quá trình thực hiện đề tài. Những góp ý chuyên môn sâu sắc và sự đồng hành của Thầy đã giúp nhóm hoàn thiện nghiên cứu và tích lũy nhiều kinh nghiệm quý báu"
The ACM International Conference on Multimedia (ACM MM) là hội nghị hàng đầu thế giới trong lĩnh vực Multimedia, quy tụ các nghiên cứu tiên phong về computer vision, multimedia retrieval, multimodal learning, generative AI, và các hệ thống multimedia hướng con người, với quy trình phản biện nghiêm ngặt và tầm ảnh hưởng học thuật rất cao.
Thông tin chi tiết: https://www.facebook.com/share/p/1BeUFeQYje/
