Bài báo: “Accelerating Gene-pool Optimal Mixing Evolutionary Algorithm for Neural Architecture Search with Synaptic Flow”
Link bài báo: https://dl.acm.org/doi/abs/10.1145/3583133.3596438
Sinh viên thực tập:
Trần Hữu Khoa – 20520222 – Khoa học Máy tính - Tác giả chính
Trương Mai Tấn Lực – 20520241 – Khoa học Máy tính - Đồng tác giả
Võ Khánh An – 19520007 – Khoa học Máy tính - Đồng tác giả
Giáo viên hướng dẫn: TS. Lương Ngọc Hoàng
Tóm tắt bài báo:
Các thuật toán tiến hóa (EAs) thường được sử dụng rộng rãi trong việc thiết kế các mạng neural học sâu (neural architecture search, viết tắt NAS) có hiệu năng cao. Thuật toán Gene-pool Optimal Mixing Evolutionary Algorithm (GOMEA) thông qua việc học và khai thác thông tin liên kết giữa các biến phụ thuộc có thể tạo ra các giải pháp tốt hơn một cách hiệu quả. Gene-pool Optimal Mixing (GOM) là phép lai ghép của GOMEA hoạt động theo cách tìm kiếm di truyền cục bộ, từng bước biến đổi các giải pháp hiện có trong quần thể hiện tại thành các giải pháp ứng viên tốt hơn. Cụ thể, ở mỗi bước, một nhóm liên kết sẽ được sử dụng để thay đổi đồng thời giá trị của các biến trong nhóm liên kết bằng cách sao chép giá trị từ một giải pháp ngẫu nhiên trong quần thể. Thay đổi chỉ được chấp nhận nếu như kiến trúc đã được biến đổi thể hiện hiệu suất tốt hơn. Tuy nhiên, việc kiểm tra cải thiện như vậy rất tốn kém về mặt tính toán, bởi mỗi kiến trúc đã thay đổi cần được huấn luyện qua nhiều epoch bằng thuật toán gradient descent để thu được các giá trị trọng số phù hợp rồi đánh giá trên tập dữ liệu validation nhằm tính toán chính xác hiệu suất của nó. Nếu thông tin liên kết được học đúng cách, GOM sẽ hiệu quả hơn so với các toán tử biến đổi ngẫu nhiên. Tuy nhiên, số lượng đánh giá ứng viên trên mỗi thế hệ của GOMEA cũng thường cao hơn các thuật toán tiến hóa khác. Gần đây, một phương pháp đánh giá hiệu suất không thông qua huấn luyện được gọi là Synaptic Flow, đã nổi lên như một phương tiện giúp giảm chi phí đánh giá của NAS. Trong nghiên cứu này, chúng tôi sử dụng Synaptic Flow để kiểm tra cải thiện trong GOM nhằm giảm chi phí đánh giá kiến trúc. Các thực nghiệm của chúng tôi cho thấy rằng GOMEA khi kết hợp với Synaptic Flow cho bài toán NAS (SF-GOMENAS) có thể thu được các kiến trúc đạt hiệu suất cao hơn chỉ với một chi phí tính toán nhỏ được thêm vào so với thuật giải di truyền cổ điển.
Source code của bài báo có thể xem tại: https://github.com/ELO-Lab/SF-GOMENAS
Chúng em xin gửi lời cám ơn đến giảng viên hướng dẫn – TS. Lương Ngọc Hoàng đã tận tình hướng dẫn và giúp đỡ chúng em trong quá trình nghiên cứu và công bố bài báo khoa học này.
The Genetic and Evolutionary Computation Conference (GECCO) là hội nghị trình bày các kết quả nghiên cứu mới nhất và chất lượng cao về tính toán di truyền và tiến hóa kể từ năm 1999. Các chủ đề bao gồm: genetic algorithms, genetic programming, ant colony optimization and swarm intelligence, evolutionary machine learning, evolutionary multiobjective optimization, evolutionary numerical optimization, neuroevolution, real world applications, theory, v.v. Late-breaking Abstracts Workshop của hội nghị GECCO 2023 mang đến cho các tác giả cơ hội trình bày các bài báo mô tả tóm tắt những phát triển mới nhất trong lĩnh vực tính toán di truyền và tiến hóa. Hội nghị năm nay được diễn ra tại tại Thủ đô Lisbon, Bồ Đào Nha từ ngày 15-19/7/2023.
Thông tin chi tiết: https://www.facebook.com/UIT.Fanpage/posts/pfbid0prNvXznu3m9SoknX1m4wvT8noTvJqdBaQkGR7tnKRYNBYD2CJHnQ7mpFNpdMpDCZl
Hải Băng - Cộng tác viên Truyền thông trường Đại học Công nghệ Thông tin
