VL-JEPA: Dạy Mô Hình Thị Giác-Ngôn Ngữ Ngừng "Nói" Mà Bắt Đầu "Suy Nghĩ"
Nếu bạn từng theo dõi AI hiện đại, hẳn bạn đã quen với công thức này: một mô hình thị giác-ngôn ngữ nhìn vào một bức ảnh hay video, rồi thuật lại những gì nó thấy. Nó sinh ra câu trả lời từng từ một, mỗi từ được điều kiện hóa bởi từ trước đó, tiến dần theo kiểu tự hồi quy (autoregressive) để tạo thành một câu hoàn chỉnh. Cách làm này đã cho hiệu quả đáng kinh ngạc — nó là nền tảng của mọi thứ từ GPT-4V đến LLaVA. Nhưng nếu suy nghĩ kỹ, đây là một cách khá vòng vo để thể hiện sự "hiểu biết": mô hình buộc phải diễn đạt mọi thứ thành câu chữ cụ thể, thay vì thực sự nắm bắt ý nghĩa trước khi diễn đạt. Ý tưởng cốt lõi: dự đoán ý nghĩa, không phải token VL-JEPA vượt qua vấn đề này bằng cách hoàn toàn không dự đoán văn bản trong quá trình huấn luyện. Thay vào đó, nó dự đoán một embedding liên tục biểu diễn ý nghĩa của câu trả lời. Một khi bạn ánh xạ "ngọn đèn sẽ tắt" và "căn phòng sẽ tối lại" vào một không gian ngữ nghĩa chung, chúng sẽ nằm gần nhau — nhiều câu trả lời hợp lệ khác nhau gộp lại thành một vùng thống nhất duy nhất thay vì nhiều vùng tách rời, khiến mục tiêu dự đoán trở nên dễ học hơn rất nhiều. Chỉ đến khi suy luận (inference), nếu bạn thực sự cần chữ hiện lên trên màn hình, một bộ giải mã nhẹ, riêng biệt mới chuyển embedding đã dự đoán trở lại thành văn bản. Các thành phần khớp với nhau như thế nào. Mô hình được huấn luyện trên các bộ ba dữ liệu — đầu vào thị giác, câu hỏi văn bản, và câu trả lời mục tiêu — và gồm bốn thành phần: Bộ dự đoán (predictor), thành phần chủ lực thực sự, nhận embedding thị giác cộng với câu hỏi văn bản đã được token hóa và dự đoán embedding của mục tiêu. Nó được khởi tạo từ 8 lớp transformer cuối cùng của Llama-3. 2-1B (khoảng 490 triệu tham số có thể huấn luyện), nhưng có một điều chỉnh: mặt nạ chú ý nhân quả (causal attention mask) bị tắt đi, để token thị giác và token câu hỏi có thể tự do chú ý lẫn nhau thay vì chỉ được nhìn về phía trước như thông thường. Y-Decoder không hoạt động trong giai đoạn huấn luyện chính, và chỉ được gọi đến khi suy luận để chuyển embedding đã dự đoán trở lại thành văn bản có thể đọc được.