Bài báo: "vieCap4H - VLSP 2021: Object AoA - Enhancing performance of Object Relation Transformer with Attention on Attention for Vietnamese image captioning”
Sinh viên thực hiện:
- Nguyễn Hiếu nghĩa - 19520178
- Võ Trần Đông Dương - 19520483
- Hà Minh Quân - 19522076
Giảng viên hướng dẫn: Th.S Nguyễn Văn Kiệt
Tóm tắt bài báo:
Các mô hình học sâu đã tiến một bước rất dài trong việc mô phỏng lại nhiều tác vụ của con người. Trong những năm gần đây, với những kết quả ấn tượng của các mô hình học sâu trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP) và thị giác máy tính (CV), cộng đồng nghiên cứu dần chú ý và dành sự quan tâm cho các bài toán kết hợp cả hai lĩnh vực NLP và CV như tự động mô tả nội dung hình ảnh (image captioning - IC), tự động hỏi đáp dựa trên hình ảnh (visual question answering – VQA). Trong đề tài này, chúng em đề xuất hướng thử nghiệm tăng cường thêm cho kiến trúc Object Relation Transformer (ORT) trong bài toán image captioning bằng kỹ thuật Attention on Attention (AoA) nhằm củng cố thông tin từ hình ảnh mà mô hình nhìn được, giúp ORT có khả năng hiểu được hình ảnh tốt hơn, cũng như sử dụng kỹ thuật AoA này giúp ORT tinh chỉnh được nội dung của câu mô tả gần hơn với những gì mà mô hình nhìn thấy được, cho ra câu mô tả tự nhiên và chi tiết hơn.
Nhóm nghiên cứu cảm ơn thầy Nguyễn Văn Kiệt đã hướng dẫn và đồng hành cùng chúng em trong quá trình thí nghiệm và công bố kết quả nghiên cứu này.
JCSCE (VNU Journal of Science: Computer Science and Communication Engineering) là tạp chí khoa học được thành lập năm 1985 để xuất bản các bài báo nghiên cứu trong nước và quốc tế về tất cả các lĩnh vực khoa học tự nhiên và công nghệ, khoa học xã hội và nhân văn. Kể từ đó, tạp chí đã phát triển về chất lượng, quy mô và phạm vi và bây giờ bao gồm hàng chục số báo liên quan đến nghiên cứu học thuật.
Mọi thông tin chi tiết xem tại: https://www.facebook.com/UIT.Fanpage/posts/pfbid02mzXcLXHTQvJHkP9p2J5GnU31EbmhxFWgw9DGEK2Lnyit1Htb13rtiYosBGRpZBNFl
Hạ Băng - Cộng tác viên Truyền thông trường Đại học Công nghệ Thông tin
