Bài báo “A Multi-scale approach for Vietnamese Image Captioning in Healthcare Domain” do sinh viên Đỗ Gia Bảo và Bùi Cao Doanh thực hiện dưới sự hỗ trợ của giảng viên ThS. Võ Duy Nguyên
Tóm tắt bài báo:
Trong những năm gần đây khi các mô hình học sâu ngày càng phát triển, có thể mô phỏng lại nhiều tác vụ của con người thì cộng đồng nghiên cứu ngày càng dành sự chú ý và quan tâm đến các bài toán kết hợp giữa hai lĩnh vực Xử lý Ngôn ngữ Tự nhiên (Natural Language Processing) và Thị giác Máy tính (Computer Vision) như bài toán sinh câu mô tả ảnh tự động (Image Captioning - IC), bài toán tự động hỏi dáp dựa trên hình ảnh (Visual Question Answering - VQA). Trong các năm gần đây, những công trình nghiên cứu về bài toán này phần lớn đều sử dụng và đánh giá trên bộ dữ liệu MS-COCO. Trong nghiên cứu này, chúng tôi giải quyết bài toán trên bộ dữ liệu vieCap4H – bộ dữ liệu thuộc lĩnh vực Y tế - Chăm sóc sức khỏe được công bố tại cuộc thi “VLSP - vieCap4H Challenge”. Cụ thể, chúng tôi dựa trên mô hình baseline RSTNet, đề xuất thêm mô-đun TG2F giúp tăng cường khả năng biểu diễn ảnh và làm giàu thông tin đặc trưng bức ảnh đầu vào, cùng với đó là đề xuất thay đổi mô hình Transformer gốc bằng mô hình M2 Transformer giúp mô hình khai thác tốt đặc trưng ảnh từ low – level đến high – level. Những đề xuất của chúng tôi cho ra câu mô tả ảnh tự nhiên và chi tiết hơn.
Chúng tôi xin gửi lời cảm ơn đến Phòng thí nghiệm Truyền thông Đa phương tiện (MMLab) đã tạo điều kiện cho chúng tôi hoàn thành nghiên cứu.
Chúng tôi xin gửi lời cảm ơn đến Thầy ThS. Võ Duy Nguyên, khoa Khoa học & Kỹ thuật Thông tin và khoa Khoa học Máy tính đã tạo điều kiện cho chúng tôi trong quá trình thực hiện đề tài này.
NAFOSTED Conference on Information and Computer Science (NICS) là Hội nghị Quốc tế lĩnh vực Điện tử, Thông tin, Khoa học Máy tính và các lĩnh vực liên quan được bảo trợ bởi IEEE, IEEE Vietnam và được tổ chức hằng năm bởi Quỹ Phát triển Khoa học và Công nghệ Quốc gia (NAFOSTED) của Việt Nam. Hội nghị được tổ chức nhằm mục đích xây dựng một diễn đàn quốc tế bền vững, sáng tạo và thuận lợi dành cho các nhà nghiên cứu trình bày và thảo luận về những ý tưởng sáng tạo, tiến bộ trong những năm gần đây và định hướng tương lai trong việc giải quyết các thách thức trong lĩnh vực Điện tử, Thông tin, Khoa học Máy tính và các lĩnh vực liên quan.
Thông tin chi tiết: https://www.facebook.com/UIT.Fanpage/posts/pfbid0tw9qQVaNnGyUPB1DurE9VZf1z3ZdoJhBz3fazGEU4ngCLudBqRwrZfVbXj1mY35Ll
Hải Băng - Cộng tác viên Truyền thông trường Đại học Công nghệ Thông tin
