Chúc mừng nhóm sinh viên UIT có bài báo khoa học được công bố tại Hội nghị quốc tế ICIIT 2026

T2, 02/02/2026 - 16:56

SDG4

Bài báo:

Vi-SignAI: A Large Language Model-Assisted Vietnamese Speech-to-Sign Language Translation System for Deaf Communication

Sinh viên thực hiện:

• Nguyễn Thị Lệ Trúc – MMTT2023.3 – Tác giả chính

• Lê Nhật Trinh Nguyên – MMTT2023.2 – Đồng tác giả

• Hoàng Quy Quỳnh Chi – Cao học CNTT 2025 – Đồng tác giả

Giảng viên hướng dẫn:

• TS. Nguyễn Tấn Hoàng Phước

• ThS. Bùi Thanh Bình

Tóm tắt:

Vietnamese Sign Language (VSL) remains largely underexplored in speech-to-sign research due to the lack of annotated corpora, the absence of gloss supervision, and linguistic challenges such as tonal variation and flexible syntax. Existing Vietnamese systems often rely on dictionary-based lookup or static animations, limiting the natural rhythm, emphasis, and non-manual expressions of generated signs.

Bài báo giới thiệu Vi-SignAI, hệ thống speech-to-sign đầu tiên cho tiếng Việt có khả năng nhận thức nhịp điệu (prosody-aware), trực tiếp sinh chuyển động khung xương 3D liên tục từ tín hiệu giọng nói. Hệ thống tích hợp liên kết text–video ở mức lexeme, trích xuất keypoint 3D đa phương thức, bộ dự đoán prosody dựa trên PhoBERT kết hợp tín hiệu ngôn ngữ và âm học, cùng mô-đun Transformer tích chập theo thời gian nhẹ để tinh chỉnh chuyển động. Kết quả thực nghiệm cho thấy hệ thống tạo ra chuyển động ký hiệu mượt mà, bám sát nhịp điệu, thể hiện tốt cường độ chuyển động và các dấu hiệu phi thủ công quan trọng mà không cần gloss annotation hay dữ liệu motion-capture, qua đó thiết lập một baseline end-to-end hiệu quả cho bài toán sinh ngôn ngữ ký hiệu tiếng Việt.

Thông tin Hội nghị ICIIT 2026:

ICIIT 2026 (The 11th International Conference on Intelligent Information Technology) là hội nghị khoa học quốc tế về Công nghệ Thông tin Thông minh, dự kiến tổ chức tại Đà Nẵng từ ngày 05–08/03/2026. Hội nghị được đồng tổ chức bởi Đại học FPT, Swinburne Việt Nam và HKCBEES, với sự hỗ trợ của các tổ chức học thuật trong và ngoài nước. Các bài báo được chấp nhận có thể được xuất bản trong kỷ yếu hội nghị của ACM hoặc tạp chí quốc tế liên quan, được lưu trữ trong ACM Digital Library và lập chỉ mục bởi Ei Compendex và Scopus.