Bài báo “An Augmented Embedding Spaces Approach for Text-Based Image Captioning” được chấp nhận đăng tại Hội nghị khoa học quốc tế lần thứ 8 về Khoa học Thông tin và máy tính được bảo trợ bởi Quỹ NAFOSTED (The 2021 8th NAFOSTED Conference on Information and Computer Science (NICS)). Bài báo do sinh viên Bùi Cao Doanh và Trịnh Thị Thanh Trúc thực hiện dưới sự hướng dẫn của giảng viên ThS. Võ Duy Nguyên.
Tóm tắt bài báo: Bài toán sinh câu mô tả ảnh tự động (Image Captioning) là một chủ đề thú vị, vì nó là điểm giao của hai hướng nghiên cứu nổi tiếng là Thị giác máy tính và Xử lý ngôn ngữ tự nhiên. Các năm gần đây đã có nhiều công trình nghiên cứu về bài toán này, và đánh giá trên bộ dữ liệu tiêu chuẩn MS-COCO. Tuy nhiên, đôi khi việc dự đoán câu mô tả ảnh cần dựa vào các văn bản (nếu có) bên trong ảnh hơn là thông tin toàn cục. Trong nghiên cứu này, chúng tôi đi giải quyết bài toán sinh câu mô tả ảnh dựa trên các văn bản chứa trong ngữ cảnh (Scene-text based Image Captioning). Cụ thể, chúng tôi dựa trên phương pháp baseline M4C-Captioner đề xuất thêm hai mô-đun Objects-augmented để tăng cường thông tin vị trí không gian giữa các đối tượng trong ảnh và Grid features augmentation để tăng cường thông tin ngữ nghĩa toàn cục của ảnh. Sau thử nghiệm, chúng tôi chứng minh hai mô-đun đề xuất có hiệu quả khi đạt được kết quả 20.02% và 85.64% lần lượt với độ đo BLEU4 và CIDEr trên tập Test-standard của bộ dữ liệu TextCaps, cao hơn kết quả của baseline M4C-Captioner. Kết quả này hứa hẹn vẫn còn được cải thiện trong những nghiên cứu sắp tới.
Xin chân thành cảm ơn Phòng thí nghiệm Truyền thông Đa phương tiện (MMLab), Khoa Khoa học máy tính, Khoa Hệ thống thông tin và Nhóm nghiên cứu UIT-Together đã hỗ trợ, tạo điều kiện cho chúng tôi trong quá trình nghiên cứu này.
Thông tin chi tiết: https://www.facebook.com/UIT.Fanpage
Hải Băng - Cộng tác viên Truyền thông trường Đại học Công nghệ Thông tin
