Bài báo: “Training-Free Multi-Objective Evolutionary Neural Architecture Search via Neural Kernel and Number of Linear Regions” do sinh viên Đỗ Minh Tú lớp CNCL, Công nghệ Thông tin CLC định hướng Nhật Bản thực hiện. Bài báo được thực hiện dưới sự hướng dẫn của TS. Lương Ngọc Hoàng đã được chấp nhận đăng tại hội nghị ICONIP.
Kiến trúc mạng neural có ảnh hưởng đến hiệu năng của các mô hình Deep Learning (Học sâu). Hiện nay, các kiến trúc mạng neural thường được thiết kế dựa trên kinh nghiệm của chuyên gia hoặc dựa theo khuyến nghị từ những công trình nghiên cứu trước. Những kiến trúc này có thể cần được hiệu chỉnh sao cho phù hợp với từng trường hợp ứng dụng cụ thể. Việc hiệu chỉnh thường là thủ công, dựa trên trực giác, hoặc thử-sai, và tốn nhiều thời gian, đặc biệt là với các mô hình có độ phức tạp cao. Đây là động lực cho sự ra đời của các kỹ thuật Neural Architecture Search (NAS – Tìm kiếm kiến trúc mạng neural) nhằm tự động hóa quá trình thiết kế kiến trúc mạng neural. Bên cạnh mục tiêu tìm ra kiến trúc mạng neural có độ chính xác cao, những khía cạnh khác như độ phức tạp, chi phí tính toán của các kiến trúc cũng cần được xét tới. Do đó, NAS có thể được mô hình hóa thành bài toán Multi-Objective Optimization (Tối ưu hóa đa mục tiêu), và các phương pháp Evolutionary Computation (Tính toán tiến hóa) là công cụ phù hợp để giải quyết lớp bài toán này.
NAS trong thực tế thường đòi hỏi rất nhiều tài nguyên tính toán do mỗi kiến trúc đề xuất trong quá trình tìm kiếm đều cần được huấn luyện để đánh giá độ chính xác trên các bộ dữ liệu cụ thể. Tại ICLR 2021, Wuyang Chen và cộng sự đề xuất kết hợp 2 chỉ số condition number of neural tangent kernel và number of linear regions để ước lượng hiệu năng của các kiến trúc mạng neural chỉ với các bộ trọng số khởi tạo mà không cần huấn luyện các kiến trúc này. Nhóm nghiên cứu Evolutionary Learning & Optimization (ELO@UIT) đã tìm hiểu cách áp dụng thích hợp 2 chỉ số này cho bài toán NAS đa mục tiêu với Thuật toán tiến hóa. Kết quả nghiên cứu của nhóm sau đó được nhận đăng tại Hội nghị ICONIP 2021
International Conference on Neural Information Processing (ICONIP) là hội nghị khoa học và diễn đàn quốc tế cho người làm nghiên cứu, nhà khoa học, chuyên gia công nghệ trong các lĩnh vực Học sâu, Mạng neural nhân tạo, Khoa học thần kinh, và những chủ đề có liên quan khác, có thể trao đổi ý tưởng cũng như thành quả nghiên cứu thông qua việc trình bày các bài báo khoa học, tham gia các tutorials và workshops chia sẻ kinh nghiệm. ICONIP là hội nghị thường niên (tổ chức lần đầu tiên năm 1994 tại Seoul, Hàn Quốc) do Hiệp hội Asia Pacific Neural Network Society (APNNS) chủ trì. APNNS có mục tiêu tăng cường tương tác và khuyến khích hợp tác giữa những người làm nghiên cứu, nhà khoa học, chuyên gia công nghệ đang làm việc trong các lĩnh vực liên quan đến mạng neural trên thế giới và đặc biệt tại khu vực Châu Á – Thái Bình Dương.
Thông tin chi tiết: https://www.facebook.com/UIT.Fanpage/
Hải Băng - Cộng tác viên Truyền thông trường Đại học Công nghệ Thông tin
