Bài báo: Hybrid Spectral - Gradient Saliency Pruning: A combination of multiple filter scoring criteria
Link bài báo: https://ieeexplore.ieee.org/document/11494749
Nhóm tác giả:
- Nguyễn Việt An – KHBC2023 – Đồng tác giả
- Nguyễn Võ Chí Dũng – KHBC2023 – Đồng tác giả
Giảng viên hướng dẫn:
- ThS. Trần Hoàng Lộc
- ThS. Nguyễn Thanh Thiện
- PGS.TS. Vũ Đức Lung
Tóm tắt:
Các mạng nơ-ron tích chập, hay CNN, đã đạt được hiệu suất ấn tượng trong các bài toán nhận dạng hình ảnh, nhưng vẫn đòi hỏi chi phí tính toán lớn khi triển khai trên các thiết bị nhúng hoặc thiết bị biên.
Bài báo này giới thiệu Hybrid Spectral-Gradient Saliency Pruning, viết tắt là HSGSP, một framework cắt tỉa có cấu trúc nhằm kết hợp phân tích phổ và độ nổi bật dựa trên gradient từ dữ liệu để nén CNN một cách hiệu quả.
Phương pháp được đề xuất tích hợp một Frequency Relevance Network, viết tắt là FRN, có thiết kế nhẹ, dùng để học cách ước lượng mức độ quan trọng về mặt phổ của các bộ lọc tích chập thông qua tỷ lệ năng lượng theo các dải tần số. Điều này cho phép việc chấm điểm bộ lọc diễn ra nhanh và định hướng theo tác vụ. Một thước đo độ nổi bật lai được sử dụng để kết hợp mức độ liên quan phổ do FRN ước lượng với độ nhạy Taylor dựa trên gradient, qua đó đảm bảo rằng các bộ lọc chỉ được giữ lại khi chúng quan trọng cả về mặt phổ lẫn đối với nhiệm vụ học.
Ngoài ra, một lịch trình cắt tỉa lặp thích nghi sẽ tự động điều chỉnh mức độ cắt tỉa dựa trên phản hồi từ tập validation, giúp tránh cắt tỉa quá mức và duy trì sự ổn định của mô hình. Các thí nghiệm trên CIFAR-10 và CIFAR-100 sử dụng VGG-16BN cho thấy phương pháp này có thể giảm tới 90% số lượng tham số với mức suy giảm độ chính xác không đáng kể, đồng thời vượt trội so với các phương pháp cắt tỉa có cấu trúc gần đây.
Hơn nữa, khi triển khai trên Raspberry Pi 5, mô hình đã được cắt tỉa đạt tốc độ suy luận nhanh hơn 3,4 lần trong khi độ chính xác còn được cải thiện nhẹ. Khi cho phép đánh đổi tối đa 1% độ chính xác, mức tăng tốc tăng mạnh lên 7,5 lần. Kết quả cho thấy rằng việc kết hợp tín hiệu phổ với độ nổi bật dựa trên gradient là một hướng tiếp cận vững chắc và dễ diễn giải để triển khai CNN hiệu quả trên thực tế.
Mã nguồn triển khai chính thức của phương pháp này có tại:
https://github.com/locth/HSGSP.git
Bài báo được công bố tại tạp chí quốc tế:
IEEE Latin America Transactions là tạp chí khoa học uy tín của IEEE, công bố các nghiên cứu trong lĩnh vực kỹ thuật điện, điện tử, khoa học máy tính và các hướng ứng dụng công nghệ liên quan. Tạp chí có ISSN 1548-0992 thuộc danh mục SCIE, Web of Science và Scopus Q2 lĩnh vực Khoa học máy tính cũng như được lập chỉ mục trên hầu hết các cơ sở dữ liệu uy tín.
Thông tin chi tiết tại: https://www.facebook.com/share/p/14gvUKPkd7B/
Đông Xanh - Cộng tác viên truyền thông Trường Đại học Công nghệ Thông tin
