Trường hè Những tiến bộ gần đây về Học sâu (Summer School on Recent Advances in Deep Learning – RADL2023) do Viện Nghiên cứu cao cấp về Toán (Viện NCCCT) phối hợp cùng Trung tâm AI của Đại học Bách khoa Hà Nội và Viện AI của Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội tổ chức trong thời gian từ ngày 30/6 - 01/7/2023 tại Hà Nội, với gần 200 người tham dự trực tiếp và trực tuyến.

Phát biểu khai mạc Trường hè, GS Hồ Tú Bảo, Giám đốc Phòng thí nghiệm Khoa học Dữ liệu, Viện NCCCT - Trưởng ban Chương trình, giới thiệu tóm tắt về Trường hè RADL2023 và sự tiến bộ của lĩnh vực Học sâu (deep learning) nhờ một số mô hình tiên tiến, sức mạnh của các mô hình này và khả năng khai thác chúng trong các lĩnh vực khác nhau, tiêu biểu là xử lý ngôn ngữ tự nhiên và xử lý ảnh.

GS Hồ Tú Bảo phát biểu khai mạc Trường hè

Trường hè do những chuyên gia uy tín và có nhiều kinh nghiệm về deep learning trực tiếp giảng dạy: TS Trần Tuấn Anh– chuyên gia nghiên cứu tại VinAI Research; PGS Lê Anh Cường– Trường Đại học Tôn Đức Thắng; PGS Thân Quang Khoát– Trường Công nghệ Thông tin và Truyền thông, Đại học Bách Khoa Hà Nội; TS Trần Quốc Long– Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội; PGS Lê Hồng Phương– Trường Đại học Khoa học Tự nhiên, Đại học Quốc gia Hà Nội; PGS Quản Thành Thơ– Trường Đại học Bách Khoa, Đại học Quốc gia Thành phố Hồ Chí Minh; PGS Trần Thế Truyền– Đại học Deakin, Australia.

Khóa học mở đầu với bài giảng tổng quan của PGS Trần Thế Truyền về những tiến bộ gần đây của deep learning. Trong thời lượng ba tiếng đồng hồ, bài giảng đã cung cấp một bức tranh toàn cục cùng những xu thế mới của sự phát triển trong lĩnh vực đang rất sôi động này.

Giảng viên, Ban tổ chức và Học viên của Khoá học chụp ảnh sau buổi Khai mạc

PGSTrần Thế Truyền giảng bài trực tuyến từ Deakin University

Bài giảng thứ hai của PGS Quản Thành Thơ giới thiệu một cách sinh động về Transformer, mô hình nền tảng và phổ biến của deep learning với nhiều ưu điểm vượt trội trong những năm qua, cũng như các biến thể được phát triển cho lĩnh vực xử lý ngôn ngữ tự nhiên.

PGS Quản Thành Thơ, Trường Đại học Bách khoa, ĐHQG TP Hồ Chí Minh

TS. Trần Quốc Long, Trường ĐH Công nghệ, ĐHQG Hà Nội

Trong bài giảng cuối của ngày làm việc đầu tiên PGS Lê Hồng Phương giải thích về các mô hình ngôn ngữ lớn (large language models) và sự phát triển hiện nay. Mô hình ngôn ngữ lớn của deep learning là cốt lõi của những tiến bộ gần đây trong lĩnh vực này, như ChatGPT đang khuấy động tuần cầu thời gian qua.

TS Trần Quốc Long bắt đầu ngày thứ hai của Trường hè với chủ đề “Mô hình khuếch tán”, hướng nghiên cứu sôi động những năm qua của deep learning. Bài giảng dẫn giải từng bước từ phát triển các ý tưởng toán học đến mô hình khuếch tán một cách sinh động. Đây là cơ sở để TS. Trần Tuấn Anh trong bài giảng tiếp theo giới thiệu về tiến bộ trong ứng dụng các mô hình này cho xử lý ảnh, và đặc biệt các công nghệ mới “nhúng” văn bản vào quá trình tạo sinh của các loại dữ liệu khác (“Recent advances in Text-to-X generation” ).

Trần Tuấn Anh, chuyên gia nghiên cứu tại VinAI Research

Phần cuối của Trường hè gồm bài giảng “Reinforcement learning and deep reinforcement learning” của PGS Lê Anh Cường và bài giảng “Why do deep neural networks perform really well? A guarantee from normalization methods” của PGS Thân Quang Khoát.

Học tăng cường (reinforcement learning) được xem là một trong ba nhánh chính trong Học máy, là việc học có thưởng bên cạnh việc học với dữ liệu có nhãn và dữ liệu không nhãn. Gần đây học tăng cường đang là hướng được quan tâm nhiều nhất trong deep learning. Báo cáo của Trường hè về học tăng cường đã giới thiệu nhưng điều cơ bản và ứng dụng tiêu biểu của lĩnh vực quan trọng này.

Bài giảng cuối cùng của RADL2023 đề cập đến câu hỏi lớn trăn trở giới nghiên cứu bấy lâu nay, là tại sao deep learning lại có thể hiệu quả đến như vậy? Bài giảng bắt đầu với những đột phá gần đây và những thách thức lý thuyết của deep learning, tiếp theo với các khái niệm cơ bản về xấp xỉ, tối ưu và tổng quát hoá của lý thuyết học và việc phân tích các nguyên nhân thành công của deep learning cũng như các vấn đề chưa được giải quyết trong lĩnh vực này.
Một phần quan trọng của Trường hè là phân thảo luận của các giảng viên và Ban tổ chức với học viên. Rất nhiều câu hỏi và vấn đề đã được đặt ra từ người nghe và nhận được ý kiến trả lời và phân tích của các diễn giả.

Các diển gia tham gia phần thảo luận chung với học viên

Từ trái qua phải: PGS Thân Quang Khoát, TS Trần Quốc Long, GS Hồ Tú Bảo, PGS Lê Anh Cường, PGS Quản Thành Thơ, PGS Lê Hồng Phương

Một số hình ảnh tại Trường hè RADL2023