Nếu bạn từng theo dõi AI hiện đại, hẳn bạn đã quen với công thức này: một mô hình thị giác-ngôn ngữ nhìn vào một bức ảnh hay video, rồi thuật lại những gì nó thấy. Nó sinh ra câu trả lời từng từ một, mỗi từ được điều kiện hóa bởi từ trước đó, tiến dần theo kiểu tự hồi quy (autoregressive) để tạo thành một câu hoàn chỉnh. Cách làm này đã cho hiệu quả đáng kinh ngạc — nó là nền tảng của mọi thứ từ GPT-4V đến LLaVA. Nhưng nếu suy nghĩ kỹ, đây là một cách khá vòng vo để thể hiện sự "hiểu biết": mô hình buộc phải diễn đạt mọi thứ thành câu chữ cụ thể, thay vì thực sự nắm bắt ý nghĩa trước khi diễn đạt.

Một nhóm nghiên cứu từ Meta FAIR, HKUST và NYU — trong đó có Yann LeCun, người khởi xướng khái niệm JEPA, với vai trò đồng tác giả — vừa giới thiệu một mô hình đi ngược lại lối mòn này. Mô hình có tên VL-JEPA — một mô hình thị giác-ngôn ngữ được xây dựng trên Kiến trúc Dự đoán Embedding Chung (Joint Embedding Predictive Architecture) — và đây thực sự là một cách tiếp cận hoàn toàn khác về việc mô hình nên dự đoán điều gì ngay từ đầu.

Ý tưởng cốt lõi: dự đoán ý nghĩa, không phải token

Hầu hết các VLM được huấn luyện để tái tạo lại hình thức bề mặt của câu trả lời. Hỏi một mô hình "điều gì sẽ xảy ra nếu tôi gạt công tắc đèn này xuống?", nó sẽ sinh ra từng từ theo nghĩa đen "ngọn đèn sẽ tắt," bị phạt ở mỗi bước nếu chọn sai từ. Vấn đề nằm ở đây: "ngọn đèn sẽ tắt" và "căn phòng sẽ tối lại" đều là những câu trả lời hoàn toàn đúng, nhưng trong không gian token thô, chúng gần như là hai chuỗi ký tự không liên quan gì đến nhau — chúng gần như không chia sẻ từ nào chung, nên đối với một hàm mất mát cross-entropy, đây là hai mục tiêu hoàn toàn tách biệt mà mô hình phải bằng cách nào đó khớp được cả hai. Được huấn luyện theo cách này, mô hình buộc phải tiêu tốn rất nhiều năng lực để mô hình hóa sự biến thiên bề mặt của ngôn ngữ — từ đồng nghĩa, cách diễn đạt, văn phong — ngay cả khi những biến thiên đó chẳng ảnh hưởng gì đến việc câu trả lời có đúng hay không.

VL-JEPA  vượt qua vấn đề này bằng cách hoàn toàn không dự đoán văn bản trong quá trình huấn luyện. Thay vào đó, nó dự đoán một embedding liên tục biểu diễn ý nghĩa của câu trả lời. Một khi bạn ánh xạ "ngọn đèn sẽ tắt" và "căn phòng sẽ tối lại" vào một không gian ngữ nghĩa chung, chúng sẽ nằm gần nhau — nhiều câu trả lời hợp lệ khác nhau gộp lại thành một vùng thống nhất duy nhất thay vì nhiều vùng tách rời, khiến mục tiêu dự đoán trở nên dễ học hơn rất nhiều. Chỉ đến khi suy luận (inference), nếu bạn thực sự cần chữ hiện lên trên màn hình, một bộ giải mã nhẹ, riêng biệt mới chuyển embedding đã dự đoán trở lại thành văn bản.

Các thành phần khớp với nhau như thế nào. Mô hình được huấn luyện trên các bộ ba dữ liệu — đầu vào thị giác, câu hỏi văn bản, và câu trả lời mục tiêu — và gồm bốn thành phần:

Hàm mất mát được sử dụng là InfoNCE — cùng mục tiêu đối lập (contrastive) mà CLIP đã phổ biến — áp dụng theo hai chiều giữa đầu ra của bộ dự đoán và đầu ra của Y-Encoder. Lựa chọn này quan trọng vì một lý do khá tinh tế: việc huấn luyện kiểu JEPA luôn cần một cơ chế nào đó để ngăn mô hình "gian lận" bằng cách sụp mọi embedding về cùng một điểm (một cách dễ dàng để đạt sai số dự đoán bằng 0 nhưng chẳng học được gì). InfoNCE tự nhiên tích hợp sẵn cơ chế này — về mặt toán học, nó được chia thành một thành phần căn chỉnh (alignment, kéo các cặp khớp nhau lại gần) và một thành phần đồng đều (uniformity, đẩy mọi thứ khác ra xa nhau), nên áp lực chống sụp đổ (anti-collapse) đến một cách tự nhiên thay vì phải gắn thêm một bộ điều chuẩn (regularizer) riêng.

Đây chính là triết lý JEPA đã từng xuất hiện trong I-JEPA (ảnh) và V-JEPA (video) của Meta: đừng tái tạo pixel thô hay token thô, hãy dự đoán biểu diễn (representation). VL-JEPA chỉ đơn giản là mở rộng ý tưởng này sang ranh giới thị giác-ngôn ngữ, và được huấn luyện theo hai giai đoạn — một giai đoạn tiền huấn luyện quy mô lớn, không có câu hỏi, trên dữ liệu chú thích (caption) để xây dựng sự căn chỉnh thị giác-ngôn ngữ, tiếp theo là một giai đoạn tinh chỉnh có giám sát (supervised fine-tuning) bổ sung khả năng hỏi-đáp.

Vì sao điều này quan trọng: hiệu quả và tốc độ

Kết quả trực tiếp, có thể đo lường được, chính là hiệu quả. Trong một so sánh được kiểm soát chặt chẽ — cùng một bộ mã hóa thị giác bị đóng băng, cùng dữ liệu huấn luyện, cùng kích thước batch và số vòng lặp, với khác biệt duy nhất là hàm mất mát được tính trong không gian token hay không gian embedding — VL-JEPA đã vượt lên trước mô hình sinh token cơ sở ngay từ sớm trong quá trình huấn luyện, và khoảng cách này tiếp tục nới rộng thêm. Sau khi thấy 15 triệu mẫu, VL-JEPA đạt điểm số gần gấp đôi mô hình không gian token trên cả điểm chú thích video (CIDEr) lẫn độ chính xác phân loại video, trong khi chỉ sử dụng khoảng một nửa số tham số có thể huấn luyện. Đây là một minh chứng khá trực tiếp rằng một phần đáng kể ngân sách tham số trong các VLM thông thường đang bị tiêu tốn để mô hình hóa nhiễu bề mặt không liên quan, thay vì ngữ nghĩa thực sự cần thiết cho nhiệm vụ.

Các mô hình tự hồi quy phải hoàn tất toàn bộ quá trình giải mã trước khi bạn nhận được bất kỳ đầu ra hữu dụng nào — không có đường tắt nào cả. Thiết kế của VL-JEPA tách rời hai thứ vốn thường bị "hàn chặt" với nhau trong một VLM: bước mã hóa-và-dự-đoán (tốn kém) biến video thành ý nghĩa, và bước giải mã (cũng tốn kém, nhưng theo cách riêng) biến ý nghĩa thành chữ. Vì hai bước này được tách rời, bạn có thể chạy phần đầu liên tục — tạo ra một luồng embedding ngữ nghĩa trực tiếp — và chỉ gọi đến phần sau khi thực sự cần văn bản.

Đó chính là phương pháp mà các nhà nghiên cứu gọi là giải mã chọn lọc (selective decoding). Trong thực tế, họ làm mượt luồng embedding (bằng average pooling đơn giản) và theo dõi phương sai (variance) trong một cửa sổ trượt để phát hiện khi nó vượt qua một ngưỡng nhất định — báo hiệu một sự thay đổi ngữ nghĩa thực sự đáng để giải mã, thay vì kích hoạt bộ giải mã theo lịch trình cố định bất kể có gì thay đổi hay không. Khi thử nghiệm trên các luồng video góc nhìn thứ nhất (egocentric) dài, cơ chế kích hoạt thích ứng này đạt chất lượng đầu ra tương đương với việc giải mã mỗi giây một lần, trong khi chỉ cần giải mã khoảng mỗi 2,85 giây một lần — giảm khoảng 2,85 lần số thao tác giải mã mà vẫn giữ nguyên chất lượng, và nó tiếp tục vượt trội trên toàn bộ dải tần số giải mã mà họ thử nghiệm, chứ không chỉ ở một điểm tối ưu duy nhất.

Một kiến trúc, nhiều nhiệm vụ

Vì VL-JEPA về cơ bản học một không gian embedding chung thay vì một pipeline sinh văn bản, cùng một mô hình đã huấn luyện có thể tự nhiên hỗ trợ các nhiệm vụ mà thông thường cần đến các kiến trúc riêng biệt — không cần thêm đầu tinh chỉnh (fine-tuning head), không cần can thiệp kiến trúc, chỉ đơn giản là những cách sử dụng khác nhau của cùng một tập embedding:

Trên tám bộ dữ liệu phân loại video và tám bộ dữ liệu truy xuất video, hiệu năng trung bình của VL-JEPA vượt qua các mô hình nền tảng mạnh như CLIP, SigLIP2 và Perception Encoder — và nó làm được điều này dù chỉ thấy một phần nhỏ số cặp dữ liệu huấn luyện mà các mô hình đó đã được huấn luyện trên. Trên bốn bộ dữ liệu VQA (GQA, TallyQA, POPE và POPEv2), nó có hiệu năng tương đương với các VLM sinh văn bản như InstructBLIP và QwenVL, dù chỉ có tổng cộng 1,6 tỷ tham số, một con số nhỏ hơn nhiều so với nhiều hệ thống cạnh tranh. Các nghiên cứu loại bỏ thành phần (ablation) trong bài báo củng cố lý do vì sao các lựa chọn thiết kế này quan trọng: bỏ giai đoạn tiền huấn luyện làm giảm hơn 20 điểm độ chính xác phân loại, Y-Encoder cần một hệ số nhân tốc độ học thấp hơn nhiều so với phần còn lại của mô hình trong giai đoạn đầu huấn luyện (tốc độ học đầy đủ thực ra lại gây hại), và thay InfoNCE bằng một hàm mất mát cosine hay L2 đơn thuần luôn khiến hiệu năng truy xuất và phân loại tệ hơn — vì những hàm mất mát đó không mang theo cơ chế đảm bảo chống sụp đổ được tích hợp sẵn như InfoNCE.

Ván cược lớn hơn

Đáng để nhìn rộng ra một chút. VL-JEPA là một phần của lập luận lớn hơn mà Yann LeCun và các cộng sự đã theo đuổi từ lâu: rằng dự đoán token tự hồi quy chỉ là một đường vòng, không phải đích đến, trên con đường xây dựng các hệ thống thực sự mô hình hóa thế giới. Canh bạc của họ với dòng mô hình JEPA là: nếu bạn huấn luyện một mô hình để dự đoán biểu diễn thay vì dữ liệu thô, nó buộc phải học được điều gì thực sự có thể dự đoán được và ổn định về mặt ngữ nghĩa — đồng thời loại bỏ những nhiễu không quan trọng.

Liệu canh bạc này có đem lại kết quả ở quy mô của các mô hình sinh văn bản hàng đầu hiện nay hay không vẫn còn là câu hỏi bỏ ngỏ. VL-JEPA là một kết quả nghiên cứu vững chắc, được kiểm soát cẩn thận, nhưng vẫn còn sớm — đây là một mô hình nghiên cứu 1,6 tỷ tham số, chứ chưa phải một hệ thống sản xuất đối đầu trực tiếp với các LLM đa phương thức lớn nhất. Chính kết luận của bài báo cũng thẳng thắn về điều này: mục tiêu không phải là đề xuất một sự thay thế toàn diện cho VLM, vì điều đó đòi hỏi phải kiểm nghiệm trên các nhiệm vụ như suy luận, sử dụng công cụ và hành vi tác tử (agentic) — những lĩnh vực mà các mô hình sinh token hiện nay vẫn đang vượt trội. Truy xuất và phân loại trông giống như bài toán hình học một khi bạn có một không gian tiềm ẩn tốt. Nhưng đối thoại mở và suy luận nhiều bước về một bức ảnh vẫn có vẻ cần đến một "người kể chuyện."

Dù thế nào đi nữa, VL-JEPA là một lời nhắc nhở hữu ích rằng "mô hình sinh văn bản lớn hơn" không phải là đòn bẩy duy nhất còn lại để kéo trong lĩnh vực AI đa phương thức. Đôi khi, bước đi thú vị hơn là đặt câu hỏi: rốt cuộc bạn đang thực sự dự đoán điều gì.