Knowledge Distillation
16 - 05 - 2024
Hôm nay mình sẽ giới thiệu về khái niệm về Knowledge Distillation (Chắt lọc Tri thức) trong machine learning. 1. Giới thiệu 2. Huấn luyện Distillation Knowledge Huấn luyện mô hình Student nhằm mục đích mô phỏng lại việc mô hình Teacher xử lý thông tin từ dữ liệu đầu vào. Do đó lúc này dữ liệu sẽ được đưa vào cùng lúc với mô hình Teacher và Student , điểm khác biệt mô hình Teacher sẽ được đặt ở trạng thái suy luận (tức không cập nhật tham số) và mô hình Student sẽ được đặt ở trạng thái huấn luyện. Đồng thời thay vì sử dụng nhãn là ground-truth như với các mô hình phân loại thông thường, chúng ta sẽ sử dụng output của mô hình Teacher để làm nhãn cho mô hình Student . Lúc này hàm loss của mô hình có dạng:
