Bài báo “Training-Free Multi-Objective and Many-Objective Evolutionary Neural Architecture Search with Synaptic Flow” do sinh viên Võ Khánh An và Phạm Ngọc Tân thực hiện dưới sự hướng dẫn của giảng viên TS. Lương Ngọc Hoàng và ThS. Nguyễn Bích Vân
Tóm tắt bài báo:
Bài toán Tìm kiếm kiến trúc mạng neural (neural architecture search - NAS) thường có chi phí tính toán rất lớn vì cần phải đánh giá nhiều kiến trúc ứng viên trong quá trình tìm kiếm. Việc đánh giá chính xác hiệu năng cho mỗi kiến trúc ứng viên đòi hỏi hàm trăm - hàng ngàn epoch huấn luyện để có được bộ trọng số thích hợp rồi đánh giá độ chính xác thực sự của kiến trúc đó. Thời gian gần đây, một chỉ số dự đoán hiệu năng không qua huấn luyện (training-free performance metric) là Synaptic Flow đã được đề xuất, có thể ước lượng hiệu năng các kiến trúc mạng neural một cách hiệu quả. Synaptic Flow được tính bằng cách sử dụng bộ trọng số khởi tạo ngẫu nhiên và giá trị của nó cho thấy có mức độ tương quan nhất định với độ chính xác trên tập test của mạng neural sau khi huấn luyện. Bên cạnh đó, khi thiết kế kiến trúc mạng neural trong thực tế, hiệu năng không phải là mục tiêu duy nhất mà các chỉ số về độ phức tạp của mạng (số lượng tham số, độ trễ,...) cũng cần phải được xem xét. Trong bài báo này, chúng tôi khảo sát các phương pháp mô hình hóa cho bài toán Tìm kiếm kiến trúc mạng neural đa mục tiêu (multi-objective NAS), trong đó mỗi mô hình liên quan đến một chỉ số hiệu năng và một chỉ số độ phức tạp. Ngoài ra, chúng tôi cũng khảo sát mô hình giải quyết bài toán Tìm kiếm kiến trúc mạng neural nhiều mục tiêu (many-objective NAS), bao gồm một chỉ số hiệu năng và bốn chỉ số độ phức tạp. Chúng tôi xem xét 02 chỉ số hiệu năng cho mỗi mô hình bài toán: độ chính xác của kiến trúc (đòi hỏi quá trình huấn luyện mạng) và Synaptic Flow (không qua huấn luyện). Chúng tôi sử dụng thuật toán NSGA-II để giải các bài toán Tìm kiếm kiến trúc mạng neural đã mô hình hóa, sau đó so sánh chất lượng của các kiến trúc thu được và hiệu quả của việc giải quyết từng mô hình. Kết quả thực nghiệm trên bộ benchmark NATS-Bench cho thấy những ưu điểm của phương pháp tiếp cận bài toán Tìm kiếm kiến trúc mạng neural nhiều mục tiêu bằng Thuật toán tiến hóa không qua huấn luyện (TF-MaOENAS) thu được các kiến trúc có hiệu năng cạnh tranh và chi phí tính toán hợp lý. Source code của bài báo có thể truy cập tại: https://github.com/ELO-Lab/TF-MaOENAS
Được biết sinh viên Võ Khánh An là cựu học sinh trường Trường THPT Chuyên Phan Ngọc Hiển, sinh viên Phạm Ngọc Tân là cựu học sinh trường THPT Chuyên Nguyễn Du - Đắk Lắk.
Thông tin chi tiết: https://www.facebook.com/UIT.Fanpage/posts/pfbid07LxxmjSvD7wbFhc32vAPSaERHCCjiVeT1chPGENFbRoFo9cBBcRyaDFSvQttasyol
Hải Băng - Cộng tác viên Truyền thông trường Đại học Công nghệ Thông tin
