Vinh danh nhóm sinh viên có bài báo khoa học đăng tại Kỷ yếu Hội nghị “Conference and Labs of the Evaluation Forum” (CLEF 2023)

22/07/2023 - 09:50

Chúc mừng nhóm sinh viên Thái Minh Triết - Võ Tuấn Anh - Tiêu Kim Hảo - Bùi Nguyên Phương Linh có bài báo khoa học đăng tại Kỷ yếu Hội nghị “Conference and Labs of the Evaluation Forum” (CLEF 2023)

THÔNG TIN BÀI BÁO:

Bài báo: “UIT-Saviors at MEDVQA-GI 2023: Improving Multimodal Learning with Image Enhancement for Gastrointestinal Visual Question Answering”

- Sinh viên:

Thái Minh Triết (KHDL2019)

Võ Tuấn Anh (KHDL2019)

Tiêu Kim Hảo (KHDL2019)

Bùi Nguyên Phương Linh (KHDL2020).

- Chủ đề nghiên cứu: Hỏi đáp trực quan trên ảnh Y khoa.

- GVHD: TS. Nguyễn Tất Bảo Thiện.

Chấp nhận đăng tại Kỷ yếu Hội nghị “Conference and Labs of the Evaluation Forum” (CLEF 2023) nằm trong tuyển tập CEUR Workshop Proceedings được chỉ mục tại Scopus và Google Scholar.

THÔNG TIN HỘI NGHỊ:

Hội nghị CLEF là một hội nghị quốc tế thường niên cung cấp một diễn đàn đánh giá cho các nhà nghiên cứu trên thế giới trình bày giải pháp về các vấn đề liên quan đến truy xuất thông tin đa ngôn ngữ và đa phương tiện. Hàng năm, CLEF thúc đẩy các chiến dịch đánh giá các hệ thống truy xuất thông tin thông qua thử nghiệm trên các tác vụ được chia sẻ (shared-task) tổ chức bởi các phòng thí nghiệm trực thuộc như ImageClef, LifeCLEF, CheckThat!,… Hội nghị CLEF đã trải qua 23 lần tổ chức tại nhiều thành phố lớn trên thế giới như: Rome (Ý), Vienna (Áo), Budapest (Hungary), Valencia (Tây Ban Nha), Amsterdam (Hà Lan), Toulouse (Pháp),… Các báo cáo được chấp nhận tại CLEF sẽ được đăng trong Kỷ yếu Hội nghị thuộc tuyển tập CEUR Workshop Proceedings có chỉ mục tại Scopus và Google Scholar, và các kết quả tốt nhất sẽ được đề cử xuất bản trong tuyển tập Lecture Notes in Computer Science (Q3).

CLEF 2023 sẽ diễn ra từ ngày 18-21 tháng 9 năm 2023 tại Thessaloniki, Hi Lạp.

NỘI DUNG BÀI BÁO:

Trong những năm gần đây, trí tuệ nhân tạo (AI) đã có những bước tiến quan trọng trong nghiên cứu thuốc và chẩn đoán bệnh, trong đó có các ứng dụng về hỏi đáp trực quan trong lĩnh vực y khoa (MedVQA). Kết hợp các kỹ thuật trong Thị giác máy tính và Xử lý ngôn ngữ tự nhiên, hệ thống MedVQA có thể trợ giúp các chuyên gia bằng cách rút trích tự động phần thông tin liên quan từ hình ảnh dựa vào nội dung câu hỏi chẩn đoán và đưa ra câu trả lời cho tình trạng bệnh lý hiện hữu. Thách thức MEDVQA-GI 2023 tổ chức bởi ImageCleF, tập trung vào tác vụ hỏi đáp trực quan ở hệ tiêu hóa, bao gồm các hình ảnh nội soi dạ dày và nội soi đại trực tràng nhằm phát hiện và cảnh báo các dấu hiệu bệnh lý nguy cơ như viêm thực quản, polyp hay viêm loét đại tràng thông qua hỏi đáp. Nhóm chúng tôi tiếp cận Task 1 Visual Question Answering của thách thức thông qua xây dựng mô hình học tập đa thể thức kết hợp cùng quy trình tiền xử lý và nâng cao chất lượng ảnh nhằm cải thiện hiệu suất hỏi đáp trực quan trên ảnh nội soi đường tiêu hóa. Kiến trúc đa thể thức sử dụng mô hình pre-trained BERT để mã hóa văn bản kết hợp lần lượt cùng với các mô hình pre-trained thị giác khác nhau dựa trên mạng CNN và Transformer để rút trích đặc trưng từ ảnh nội soi. Kết quả nghiên cứu cho thấy sự vượt trội của các mô hình thị giác dựa trên Transformer và sự hiệu quả của quy trình tiền xử lý ảnh với 6/8 mô hình thị giác đạt hiệu suất cải thiện. Phương pháp tốt nhất của nghiên cứu là tổ hợp BERT-BeiT áp dụng tiền xử lý ảnh đạt độ chính xác 87.25% và 91.85% F1 trên tập phát triển, và đạt độ chính xác 82.01% trên tập kiểm tra cho hỏi đáp trực quan ở đường tiêu hóa.