Nguyễn Thái Huy - Tác giả chính bài báo khoa học được đăng tại Hội nghị Quốc tế SOICT 2023

27/10/2023 - 06:31

Bài báo: “Understanding the Role of Population Experiences in Proximal Distilled Evolutionary Reinforcement Learning”

Sinh viên thực hiện:

• Nguyễn Thái Huy – 20520547 – KHMT2020 – Tác giả chính

Giáo viên hướng dẫn

• TS. Lương Ngọc Hoàng

Tóm tắt bài báo:

Học tăng cường kết hợp tính toán tiến hóa (Evolutionary Reinforcement Learning – ERL) kết hợp tính hiệu quả của Học tăng cường (RL) và khả năng khai phá các kinh nghiệm mới từ quá trình tìm kiếm dựa trên quần thể của Tính toán tiến hóa. Các phương pháp này đã cho thấy những kết quả đầy triển vọng trên các tác vụ điều khiển liên tục nhưng thường bất ổn định. Một vài nghiên cứu chỉ ra rằng các kinh nghiệm thu được từ các cá thể trong quần thể có thể làm dẫn đến lệch phân phối trạng thái (state distribution) trong quá trình cập nhật trọng số cho tác tử RL. Gần đây, một phương pháp đã được đề xuất để giảm thiểu tác động của vấn đề này bằng cách phân chia các kinh nghiệm vào hai bộ nhớ riêng lẻ gồm bộ nhớ RL và bộ nhớ quần thể. Sau đó, khi cập nhật tác tử RL sẽ trộn các mẫu được lấy ra từ hai bộ nhớ này theo một tỉ lệ xác định trước. Tính hiệu quả của phương pháp này đã được kiểm chứng bằng thực nghiệm trên thuật toán ERL sử dụng Chiến lược tiến hóa (Evolution Strategies) để hỗ trợ một tác tử RL bên ngoài. Thế nhưng hiện tại vẫn chưa có nghiên cứu rõ ràng về sự tác động của phương pháp này trên ERL dựa trên Thuật giải di truyền (Genetic Algorithm - GA). Trong nghiên cứu này, chúng tôi phân tích tác động của các dữ liệu thu được đến từ quần thể GA tới tác tử RL và ảnh hưởng của phương pháp trộn mẫu trên một phương pháp ERL, cụ thể là Proximal Distilled Evolutionary Reinforcement Learning (PDERL).

Em xin gửi lời cảm ơn chân thành đến Thầy Lương Ngọc Hoàng đã tận tình hỗ trợ, hướng dẫn cũng như chỉ ra các hạn chế trong suốt thời gian nghiên cứu để giúp cho nội dung trở nên hoàn thiện và đầy đủ hơn.

SOICT (Symposium on Information and Communication Technology) là một hội nghị chuyên đề quốc tế bao phủ các lĩnh vực nghiên cứu quan trọng bao gồm Nền tảng AI và Dữ liệu lớn, Mạng truyền thông và Bảo mật, Xử lý ảnh và ngôn ngữ tự nhiên, Kĩ thuật phần mềm và Công nghệ số, Blockchain và các xu hướng nghiên cứu khác. Hội nghị hướng đến cung cấp một diễn đàn học thuật cho các nhà nghiên cứu và sinh viên, học viên có thể chia sẻ các công trình nghiên cứu mới nhất và xác định các thử thách của ngành khoa học máy tính trong tương lai. Ngoài ra, hội nghị sẽ bao gồm các bài phát biểu và hướng dẫn đến từ các diễn giả hàng đầu thế giới. Kỷ yếu SoICT 2023 sẽ được xuất bản và lưu trữ trong Thư viện số ACM như một phần của Chuỗi Kỷ yếu Hội nghị Quốc tế ACM (ICPS). SoICT 2023 sẽ được lập chỉ mục bởi DBLP, Ei Compendex, Scopus và Clarivate Analytics Web of Science (ISI Web of Science).