100 bài giảng về nhiều chủ đề của Machine Learning của GS. Mark Schmidt tại Univ. of British Columbia (UBC). Course phù hợp cho đối tượng ở mức độ intermediate về học máy và muốn có nền tảng toán khá chặt chẽ.
Đây là bộ sưu tập tài liệu khóa học từ các khóa học khác nhau mà tôi đã dạy về máy học tại UBC, bao gồm tài liệu từ hơn 100 bài giảng bao gồm một số lượng lớn các chủ đề liên quan đến máy học. Ký hiệu tương đối nhất quán giữa các chủ đề giúp dễ dàng nhìn thấy các mối quan hệ hơn và các chủ đề có nghĩa là được trải qua theo thứ tự (với độ khó tăng dần và các khái niệm được xác định ngay từ lần xuất hiện đầu tiên). Tôi đang đặt nó ở một nơi trong trường hợp mọi người thấy nó hữu ích cho mục đích giáo dục.
Phần 1: Khoa học máy tính 340
Tập hợp ghi chú đầu tiên chủ yếu là từ phiên bản mùa thu 2019 của CPSC 340, một khóa học về máy học và khai thác dữ liệu. Các bài đọc và bài tập liên quan có sẵn trên trang chủ của khóa học Mùa thu 2019. Ở những nơi có liên quan, tôi cũng đã đưa vào một số bài giảng từ các thuật ngữ trước trong các trường hợp tôi đề cập đến các chủ đề khác nhau.
Tôi đã đặt một "tiêu đề" cho mỗi bài giảng, nhưng thời lượng tôi dành cho mỗi chủ đề thường không chính xác bằng 50 phút. Điều này có nghĩa là hầu hết các chủ đề được trải rộng trên nhiều hơn hoặc ít hơn một bài giảng. Điều này không quan trọng nếu bạn xem qua các bài giảng theo thứ tự, nhưng nếu bạn "bỏ qua" một chủ đề nào đó, bạn có thể cần phải xem lại bài giảng trước / sau và có thể có tài liệu từ chủ đề trước đó.
Tôi đã tạo phiên bản đầu tiên của những ghi chú này vào năm 2015, nhưng Mike Gelbart cũng đã giảng dạy khóa học từ năm 2016 và đã có nhiều cải tiến. Mặc dù tôi chưa bao giờ ghi lại các bài giảng của mình cho khóa học này, nhưng các video về các bài giảng trong phần Mùa đông 2018 của khóa học này do Mike Gelbart giảng dạy đều có sẵn tại đây (tài liệu phần lớn giống nhau).
Trang trình bày thưởng : Nhiều bài giảng bao gồm "tài liệu thưởng", và các trang trình bày này có màu nền khác (màu cam trong trường hợp 340 trang trình bày). Các trang trình bày này bao gồm các chủ đề tiếp tuyến hoặc nâng cao hơn, và có thể nên bỏ qua nếu đây là lần đầu tiên bạn nhìn thấy tài liệu này. Cũng lưu ý rằng bài giảng kết thúc trên trang chiếu có tiêu đề "Tóm tắt", và thường là tất cả các trang chiếu sau trang này chỉ chứa các trang chiếu "tài liệu bổ sung".
1. Học tập có giám sát
- Tổng quan
- Phân tích dữ liệu khám phá
- Cây quyết định ( Ghi chú về ký hiệu Big-O )
- Các nguyên tắc cơ bản của việc học ( Hướng dẫn ký hiệu )
- Bộ phân loại xác suất ( Trang trình bày xác suất , Ghi chú về xác suất )
- Mô hình không tham số
- Phương pháp kết hợp
2. Học không giám sát
3. Mô hình tuyến tính
- Bình phương nhỏ nhất ( Ghi chú về Giải tích , Ghi chú về Đại số tuyến tính , Ghi chú về Đại lượng tuyến tính / bậc hai )
- Hồi quy phi tuyến
- Xuống dốc
- Hồi quy mạnh mẽ
- Lựa chọn tính năng
- Chính quy
- Chính quy hóa nhiều hơn
- Bộ phân loại tuyến tính
- Bộ phân loại tuyến tính khác
- Kỹ thuật tính năng
- Chuyển đổi
- Phương thức hạt nhân
- Stochastic Gradient
- Thúc đẩy
- MLE và MAP ( Ghi chú về Max và Argmax )
4. Mô hình nhân tố tiềm ẩn
- Phân tích thành phần chính
- Thêm PCA
- Yếu tố ma trận thưa thớt
- Hệ thống đề xuất
- Giảm kích thước phi tuyến
5. Học sâu
Phần 2: Khoa học dữ liệu 573 và 575
Bộ ghi chú thứ hai là từ một loạt các địa điểm khác mà tôi đã giảng bài, chủ yếu từ các khóa học trong chương trình Thạc sĩ Khoa học Dữ liệu, nhằm vào đối tượng mục tiêu đã quen thuộc với tài liệu trên.
Phần 3: Khoa học máy tính 440
Bộ ghi chú thứ ba chủ yếu là từ tháng 1 đến tháng 4 năm 2022 của CPSC 440, một khóa học về máy học được xây dựng dựa trên tài liệu trong CPSC 340. Kí hiệu trong khóa học này tương tự như CPSC 340, ngoại trừ việc chúng tôi chuyển sang sử dụng ký hiệu trên để tham khảo các ví dụ đào tạo (để các chỉ số phụ có thể tham chiếu đến các biến riêng lẻ). Các bài đọc và bài tập liên quan có sẵn trên trang chủ của khóa học .
A. Biến ngẫu nhiên nhị phân
- Ước tính mật độ nhị phân
- Phân phối Bernoulli
- Ước tính MAP
- Bộ phân loại tạo
- Bộ phân loại phân biệt đối xử
- Mạng thần kinh
- Đường cong đôi xuống
- Phân biệt tự động
- Mạng nơ-ron hợp pháp
- Tự động mã hóa
- Mạng hoàn toàn phù hợp
B. Biến ngẫu nhiên phân loại
- Ước lượng Monte Carlo
- Conjugate Priors
- Học Bayes
- Bayes theo kinh nghiệm
- Phân loại nhiều lớp
- Chúng ta học được gì?
- Mạng thần kinh tái diễn
- Bộ nhớ ngắn hạn dài hạn
- Chú ý và Người vận chuyển
C. Biến ngẫu nhiên Gaussian
- Gaussian đơn biến
- Gaussian đa biến (Động lực)
- Multivairate Gaussian (Định nghĩa)
- Học tiếng Gaussian
- Hồi quy tuyến tính Bayes
- Học từ cuối đến cuối
- Gia đình theo cấp số nhân
D. Mô hình Markov
- Markov Chains
- Học chuỗi Markov
- Thông qua
- Markov Chain Monte Carlo
- Các mô hình đồ họa theo chu kỳ được hướng dẫn
- Học mô hình đồ họa
- Mô hình Log-Linear
E. Mô hình tiềm ẩn-biến
- Mô hình hỗn hợp
- EM và KDE ( Ghi chú về EM )
- HMM và RBM ( Chuyển tiếp-Lùi cho HMM )
- Mô hình chủ đề và suy luận biến đổi
- VAE và GAN
Phần 4: Khoa học máy tính 540
Bộ ghi chú thứ tư là từ một loạt các nơi khác mà tôi đã giảng, chủ yếu là các sản phẩm trước đây của CPSC 540, nhằm vào đối tượng mục tiêu đã quen thuộc với tài liệu trên.
- Các nguyên tắc cơ bản của việc học
- Các nguyên tắc cơ bản khác về học tập
- Độ lồi ( Ghi chú về định mức )
- Nhiều lồi hơn
- Bao nhiêu dữ liệu?
- Các thuật toán nhanh hơn cho Học sâu?
- PCA xác suất, Phân tích nhân tố, Phân tích thành phần độc lập
- Suy luận trong các mô hình đồ họa
- SVM có cấu trúc
- Sự tối đa hóa kỳ vọng
- Bayes không tham số
- Mô hình hỗn hợp vô hạn
Phần 5: Học máy quy mô lớn
Bộ ghi chú thứ năm liên quan đến một trong những lĩnh vực nghiên cứu cốt lõi của tôi, đó là các thuật toán tối ưu hóa liên tục được thiết kế đặc biệt cho các bài toán máy học. Các ghi chú dưới đây chủ yếu là từ một loạt 13 bài giảng mà tôi đã giảng vào tháng 8 năm 2020 về chủ đề này.
- Tối ưu hóa lồi ( Ghi chú về tiêu chuẩn )
- Tiến trình giảm dần độ dốc ( Ghi chú về sự bất bình đẳng độ lồi , lưu ý về việc triển khai chất giảm độ cao )
- Sự hội tụ của Gradient Descent
- Hội tụ tuyến tính và siêu tuyến tính
- Phương pháp dưới cấp
- Projected-Gradient
- Proximal-Gradient
- Quy định có cấu trúc
- Tối ưu hóa Tọa độ
- Phương pháp Mirror Descent và Multi-Level
- Các thuật toán ngẫu nhiên
- Stochastic Subgradient
- Gradient Stochastic giảm phương sai
- Phương thức Kernel và Đối ngẫu Fenchel
- Học trực tuyến
- Mô hình vượt thông số
Phần 6: Nhóm đọc Machine Learning
Tập hợp các ghi chú cuối cùng là các chủ đề mà tôi chưa đề cập trong một khóa học chính thức, nhưng là nơi tôi đã đưa ra những cái nhìn tổng quan về nhóm đọc học máy của chúng tôi .
- Học máy song song và phân tán
- Học trực tuyến, chủ động và nhân quả
- Học tăng cường
- Tổng quan về các chủ đề lớn / đáng chú ý khác
Mọi thông tin chi tiết xem tại: https://www.cs.ubc.ca/~schmidtm/Courses/LecturesOnML/?fbclid=IwAR3mXphX_mRetxkOGTFAHOUCLB74nsqKJPNbZPyPW0YFyP-ZS28zSUc1xdA
Hạ Băng - Cộng tác viên Truyền thông trường Đại học Công nghệ Thông tin
