11-07-2022
100 bài giảng về nhiều chủ đề của Machine Learning của GS. Mark Schmidt tại Univ. of British Columbia (UBC). Course phù hợp cho đối tượng ở mức độ intermediate về học máy và muốn có nền tảng toán khá chặt chẽ.
Đây là bộ sưu tập tài liệu khóa học từ các khóa học khác nhau mà tôi đã dạy về máy học tại UBC, bao gồm tài liệu từ hơn 100 bài giảng bao gồm một số lượng lớn các chủ đề liên quan đến máy học. Ký hiệu tương đối nhất quán giữa các chủ đề giúp dễ dàng nhìn thấy các mối quan hệ hơn và các chủ đề có nghĩa là được trải qua theo thứ tự (với độ khó tăng dần và các khái niệm được xác định ngay từ lần xuất hiện đầu tiên). Tôi đang đặt nó ở một nơi trong trường hợp mọi người thấy nó hữu ích cho mục đích giáo dục.
Phần 1: Khoa học máy tính 340
Tập hợp ghi chú đầu tiên chủ yếu là từ phiên bản mùa thu 2019 của CPSC 340, một khóa học về máy học và khai thác dữ liệu. Các bài đọc và bài tập liên quan có sẵn trên trang chủ của khóa học Mùa thu 2019. Ở những nơi có liên quan, tôi cũng đã đưa vào một số bài giảng từ các thuật ngữ trước trong các trường hợp tôi đề cập đến các chủ đề khác nhau.
Tôi đã đặt một "tiêu đề" cho mỗi bài giảng, nhưng thời lượng tôi dành cho mỗi chủ đề thường không chính xác bằng 50 phút. Điều này có nghĩa là hầu hết các chủ đề được trải rộng trên nhiều hơn hoặc ít hơn một bài giảng. Điều này không quan trọng nếu bạn xem qua các bài giảng theo thứ tự, nhưng nếu bạn "bỏ qua" một chủ đề nào đó, bạn có thể cần phải xem lại bài giảng trước / sau và có thể có tài liệu từ chủ đề trước đó.
Tôi đã tạo phiên bản đầu tiên của những ghi chú này vào năm 2015, nhưng Mike Gelbart cũng đã giảng dạy khóa học từ năm 2016 và đã có nhiều cải tiến. Mặc dù tôi chưa bao giờ ghi lại các bài giảng của mình cho khóa học này, nhưng các video về các bài giảng trong phần Mùa đông 2018 của khóa học này do Mike Gelbart giảng dạy đều có sẵn tại đây (tài liệu phần lớn giống nhau).
Trang trình bày thưởng : Nhiều bài giảng bao gồm "tài liệu thưởng", và các trang trình bày này có màu nền khác (màu cam trong trường hợp 340 trang trình bày). Các trang trình bày này bao gồm các chủ đề tiếp tuyến hoặc nâng cao hơn, và có thể nên bỏ qua nếu đây là lần đầu tiên bạn nhìn thấy tài liệu này. Cũng lưu ý rằng bài giảng kết thúc trên trang chiếu có tiêu đề "Tóm tắt", và thường là tất cả các trang chiếu sau trang này chỉ chứa các trang chiếu "tài liệu bổ sung".
1. Học tập có giám sát
Tổng quan
Phân tích dữ liệu khám phá
Cây quyết định ( Ghi chú về ký hiệu Big-O )
Các nguyên tắc cơ bản của việc học ( Hướng dẫn ký hiệu )
Bộ phân loại xác suất ( Trang trình bày xác suất , Ghi chú về xác suất )
Mô hình không tham số
Phương pháp kết hợp
2. Học không giám sát
Phân cụm
Thêm cụm
Phát hiện ngoại vi
Tìm các mặt hàng tương tự
3. Mô hình tuyến tính
Bình phương nhỏ nhất ( Ghi chú về Giải tích , Ghi chú về Đại số tuyến tính , Ghi chú về Đại lượng tuyến tính / bậc hai )
Hồi quy phi tuyến
Xuống dốc
Hồi quy mạnh mẽ
Lựa chọn tính năng
Chính quy
Chính quy hóa nhiều hơn
Bộ phân loại tuyến tính
Bộ phân loại tuyến tính khác
Kỹ thuật tính năng
Chuyển đổi
Phương thức hạt nhân
Stochastic Gradient
Thúc đẩy
MLE và MAP ( Ghi chú về Max và Argmax )
4. Mô hình nhân tố tiềm ẩn
Phân tích thành phần chính
Thêm PCA
Yếu tố ma trận thưa thớt
Hệ thống đề xuất
Giảm kích thước phi tuyến
5. Học sâu
Học kĩ càng
Học sâu hơn
Mạng nơ-ron hợp pháp
CNN khác
Phần 2: Khoa học dữ liệu 573 và 575
Bộ ghi chú thứ hai là từ một loạt các địa điểm khác mà tôi đã giảng bài, chủ yếu từ các khóa học trong chương trình Thạc sĩ Khoa học Dữ liệu, nhằm vào đối tượng mục tiêu đã quen thuộc với tài liệu trên.
Học cấu trúc
Khai thác theo trình tự
Kiến thức cơ bản về Tensor
Học tập bán giám sát
Xếp hạng trang
Phần 3: Khoa học máy tính 440
Bộ ghi chú thứ ba chủ yếu là từ tháng 1 đến tháng 4 năm 2022 của CPSC 440, một khóa học về máy học được xây dựng dựa trên tài liệu trong CPSC 340. Kí hiệu trong khóa học này tương tự như CPSC 340, ngoại trừ việc chúng tôi chuyển sang sử dụng ký hiệu trên để tham khảo các ví dụ đào tạo (để các chỉ số phụ có thể tham chiếu đến các biến riêng lẻ). Các bài đọc và bài tập liên quan có sẵn trên trang chủ của khóa học .
A. Biến ngẫu nhiên nhị phân
Ước tính mật độ nhị phân
Phân phối Bernoulli
Ước tính MAP
Bộ phân loại tạo
Bộ phân loại phân biệt đối xử
Mạng thần kinh
Đường cong đôi xuống
Phân biệt tự động
Mạng nơ-ron hợp pháp
Tự động mã hóa
Mạng hoàn toàn phù hợp
B. Biến ngẫu nhiên phân loại
Ước lượng Monte Carlo
Conjugate Priors
Học Bayes
Bayes theo kinh nghiệm
Phân loại nhiều lớp
Chúng ta học được gì?
Mạng thần kinh tái diễn
Bộ nhớ ngắn hạn dài hạn
Chú ý và Người vận chuyển
C. Biến ngẫu nhiên Gaussian
Gaussian đơn biến
Gaussian đa biến (Động lực)
Multivairate Gaussian (Định nghĩa)
Học tiếng Gaussian
Hồi quy tuyến tính Bayes
Học từ cuối đến cuối
Gia đình theo cấp số nhân
D. Mô hình Markov
Markov Chains
Học chuỗi Markov
Thông qua
Markov Chain Monte Carlo
Các mô hình đồ họa theo chu kỳ được hướng dẫn
Học mô hình đồ họa
Mô hình Log-Linear
E. Mô hình tiềm ẩn-biến
Mô hình hỗn hợp
EM và KDE ( Ghi chú về EM )
HMM và RBM ( Chuyển tiếp-Lùi cho HMM )
Mô hình chủ đề và suy luận biến đổi
VAE và GAN
Phần 4: Khoa học máy tính 540
Bộ ghi chú thứ tư là từ một loạt các nơi khác mà tôi đã giảng, chủ yếu là các sản phẩm trước đây của CPSC 540, nhằm vào đối tượng mục tiêu đã quen thuộc với tài liệu trên.
Các nguyên tắc cơ bản của việc học
Các nguyên tắc cơ bản khác về học tập
Độ lồi ( Ghi chú về định mức )
Nhiều lồi hơn
Bao nhiêu dữ liệu?
Các thuật toán nhanh hơn cho Học sâu?
PCA xác suất, Phân tích nhân tố, Phân tích thành phần độc lập
Suy luận trong các mô hình đồ họa
SVM có cấu trúc
Sự tối đa hóa kỳ vọng
Bayes không tham số
Mô hình hỗn hợp vô hạn
Phần 5: Học máy quy mô lớn
Bộ ghi chú thứ năm liên quan đến một trong những lĩnh vực nghiên cứu cốt lõi của tôi, đó là các thuật toán tối ưu hóa liên tục được thiết kế đặc biệt cho các bài toán máy học. Các ghi chú dưới đây chủ yếu là từ một loạt 13 bài giảng mà tôi đã giảng vào tháng 8 năm 2020 về chủ đề này.
Tối ưu hóa lồi ( Ghi chú về tiêu chuẩn )
Tiến trình giảm dần độ dốc ( Ghi chú về sự bất bình đẳng độ lồi , lưu ý về việc triển khai chất giảm độ cao )
Sự hội tụ của Gradient Descent
Hội tụ tuyến tính và siêu tuyến tính
Phương pháp dưới cấp
Projected-Gradient
Proximal-Gradient
Quy định có cấu trúc
Tối ưu hóa Tọa độ
Phương pháp Mirror Descent và Multi-Level
Các thuật toán ngẫu nhiên
Stochastic Subgradient
Gradient Stochastic giảm phương sai
Phương thức Kernel và Đối ngẫu Fenchel
Học trực tuyến
Mô hình vượt thông số
Phần 6: Nhóm đọc Machine Learning
Tập hợp các ghi chú cuối cùng là các chủ đề mà tôi chưa đề cập trong một khóa học chính thức, nhưng là nơi tôi đã đưa ra những cái nhìn tổng quan về nhóm đọc học máy của chúng tôi .
Học máy song song và phân tán
Học trực tuyến, chủ động và nhân quả
Học tăng cường
Tổng quan về các chủ đề lớn / đáng chú ý khác
Mọi thông tin chi tiết xem tại: https://www.cs.ubc.ca/~schmidtm/Courses/LecturesOnML/?fbclid=IwAR3mXphX_mRetxkOGTFAHOUCLB74nsqKJPNbZPyPW0YFyP-ZS28zSUc1xdA
Hạ Băng - Cộng tác viên Truyền thông trường Đại học Công nghệ Thông tin
![[UIT - YOU ARE THE BEST] - Vinh danh sinh viên đã xuất sắc đạt chứng chỉ IELTS 6.0](/_next/image?url=%2Fmedia%2Fielts_478f9ab685.jpg&w=1536&q=75 "[UIT - YOU ARE THE BEST] - Vinh danh sinh viên đã xuất sắc đạt chứng chỉ IELTS 6.0")
