Nhóm sinh viên UIT có bài báo được chấp nhận tại Tạp chí JCSCE

08/05/2022 - 09:07

Bài báo: “Vietnamese and English-Vietnamese Textual Entailment based on Pre-trained Multilingual Language Models” được chấp nhận đăng tại Tạp chí JCSCE (VNU Journal of Science: Computer Science and Communication Engineering). Bài báo do sinh viên Hoàng Xuân Vũ, Nguyễn Văn Tài và Phan Thị Kim Khoa thực hiện dưới sự hướng dẫn của giảng viên ThS. Đăng Văn Thìn, TS. Dương Ngọc Hảo, TS. Nguyễn Lưu Thùy Ngân.

Tóm tắt bài báo:

- Suy luận ngôn ngữ tự nhiên (NLI) là một nhiệm vụ ngữ nghĩa cấp cao trong Xử lý ngôn ngữ tự nhiên - NLP, và nó mở rộng thêm những thách thức trong kịch bản đa ngôn ngữ. Trong những năm gần đây, các mô hình ngôn ngữ đa ngôn ngữ được đào tạo trước (ví dụ: mBERT, XLM-R, InfoXLM) đã đóng góp rất nhiều vào sự thành công trong việc đối phó với những thách thức này. Dựa trên về động lực đằng sau những thành tựu này, bài báo này mô tả cách tiếp cận của chúng tôi dựa trên việc tinh chỉnh các mô hình ngôn ngữ đa ngôn ngữ (XLM-R, InfoXLM) để giải quyết công việc được chia sẻ “Vietnamese and English-Vietnamese Textual Entailment” tại Hội thảo quốc tế lần thứ 8 về xử lý giọng nói và ngôn ngữ tiếng Việt (VLSP 2021). Chúng tôi nghiên cứu các kỹ thuật khác để cải thiện hiệu suất công việc của mình: Cross-validation, Pseudo-labeling (PL), Learning rate adjustment, and POS tagging. Tất cả các kết quả thử nghiệm đã chứng minh rằng cách tiếp cận của chúng tôi dựa trên mô hình InfoXLM đã đạt được kết quả cạnh tranh, xếp thứ 2 về đánh giá nhiệm vụ trong VLSP 2021 với 0,89 trong điều kiện của điểm F1 trên bộ thử nghiệm riêng.

- Xin gửi lời cảm ơn đến Phòng thí nghiệm truyền thông đa phương tiện đã tạo điều kiện cho chúng em hoàn thành nghiên cứu.

- Xin gửi lời cảm ơn đến anh Đặng Văn Thìn, thầy Dương Ngọc Hảo, Cô Nguyễn Lưu Thùy Ngân và các thành viên trong nhóm đã đồng hành cùng

chúng em trong quá trình nghiên cứu và công bố bài báo khoa học.

JCSCE (VNU Journal of Science: Computer Science and Communication) engineering là tạp chí khoa học được thành lập năm 1985 để xuất bản các bài báo nghiên cứu trong nước và quốc tế về tất cả các lĩnh vực khoa học tự nhiên và công nghệ, khoa học xã hội và nhân văn. Kể từ đó, tạp chí đã phát triển về chất lượng, quy mô và phạm vi và bây giờ bao gồm hàng chục số báo liên quan đến nghiên cứu học thuật.