AI tạo sinh đang khiến cả thế giới trầm trồ — chatbot trò chuyện mượt như người thật, ảnh chân thực dựng lên chỉ từ vài dòng chữ, code tự viết chính mình. Nhưng nếu nhìn kỹ hơn một chút, phần lớn các mô hình này vẫn đang làm một việc rất "thợ": đoán từ tiếp theo, đoán pixel tiếp theo, mà chưa chắc đã thực sự "hiểu" cái mình đang tạo ra. Yann LeCun, Giám đốc Khoa học AI của Meta, đã nhắc đi nhắc lại suốt nhiều năm rằng: muốn máy móc thông minh thật sự, chúng cần học cách dự đoán trong không gian biểu diễn (representation space), chứ không phải dự đoán trực tiếp trên dữ liệu thô. Ý tưởng đó giờ đã có tên gọi chính thức: JEPA — Joint Embedding Predictive Architecture.
Bài viết này sẽ giải thích JEPA là gì, vì sao nó đi ngược lại lối mòn cũ, và vì sao nó có thể là mảnh ghép quan trọng cho thế hệ AI tiếp theo.
1. Vấn đề của việc "vẽ lại" từng pixel
Học tự giám sát (self-supervised learning) hiện nay chủ yếu chia làm hai trường phái. Một là các mô hình tạo sinh: học bằng cách tái tạo lại đầu vào, ví dụ MAE tô lại những mảnh ảnh bị che, hay các mô hình ngôn ngữ đoán từ kế tiếp — càng giống bản gốc càng tốt. Hai là các phương pháp đối chiếu (contrastive): kéo các góc nhìn khác nhau của cùng một vật lại gần nhau, đẩy mọi thứ còn lại ra xa.
Cả hai đều có cái giá phải trả. Mô hình tạo sinh tốn rất nhiều "chất xám" tính toán để lo những chi tiết chẳng liên quan gì đến việc nhận ra "đây là con chó" — kết cấu lông chính xác, ánh sáng, hạt nhiễu nền. Còn phương pháp đối chiếu thì cần khâu tăng cường dữ liệu (augmentation) rất tinh chỉnh, và dễ mắc kẹt trong việc coi mọi thứ không được ghép cặp là "sai", dù về ngữ nghĩa chúng có thể liên quan.
Con người không học bằng cách tưởng tượng lại từng cọng cỏ. Chúng ta nắm bắt cái cốt lõi của một cảnh — những đặc điểm cấp cao đủ để ra quyết định. JEPA sinh ra để làm đúng điều đó: học bằng cách dự đoán trong một không gian trừu tượng, nơi chỉ giữ lại thông tin thật sự có ý nghĩa.
2. Ý tưởng lõi: dự đoán biểu diễn, không dự đoán pixel
JEPA không phải một mô hình cụ thể, mà là một bản thiết kế để xây các hệ thống học tự giám sát. Ba mảnh ghép chính:
• Bộ mã hóa ngữ cảnh — chỉ nhìn thấy một phần của thế giới (ví dụ: các mảng ảnh chưa bị che).
• Bộ mã hóa mục tiêu — nhìn thấy toàn bộ quan sát gốc (hoặc một góc nhìn khác của cùng cảnh đó).
• Bộ dự đoán — lấy biểu diễn từ bộ mã hóa ngữ cảnh, cộng với gợi ý về vị trí/thời điểm cần đoán, rồi cố đoán ra biểu diễn mà bộ mã hóa mục tiêu sẽ tạo ra cho phần bị ẩn.
Điểm then chốt nằm ở chỗ: hàm mất mát được tính giữa đầu ra của bộ dự đoán và biểu diễn mục tiêu — một vector tiềm ẩn, chứ không phải pixel thật. Không có bước "vẽ lại" nào cả. Nhờ vậy mô hình buộc phải bỏ qua nhiễu ở mức pixel và tập trung vào bản chất ngữ nghĩa của phần bị thiếu.
Ví dụ dễ hình dung: nếu một mô hình tạo sinh phải đoán một mảng trời bị che, nó sẽ cố vẽ ra những đám mây trông hợp lý. JEPA thì khác — nó chỉ cần đoán ra đặc trưng trừu tượng khiến mảng đó "giống bầu trời": tông màu, loại kết cấu, vai trò trong bố cục — mà chẳng quan tâm từng pixel xếp ở đâu. Kết quả là một biểu diễn gọn hơn, hiệu quả hơn, và dễ tái sử dụng cho các tác vụ khác.
Sơ đồ dưới đây tóm tắt luồng hoạt động này:

3. Chống "sụp đổ" bằng công thức riêng của JEPA
Học trong không gian tiềm ẩn nghe thì hay, nhưng có một cái bẫy: nếu để cả hai bộ mã hóa tự do thay đổi, hệ thống rất dễ "sụp đổ" — cả hai chỉ cần xuất ra một vector hằng số là bộ dự đoán khớp ngay, dù chẳng học được gì. Cách giải quyết, vay mượn từ các phương pháp phi-đối-chiếu như BYOL hay DINO, là cập nhật bộ mã hóa mục tiêu theo kiểu trung bình động (EMA) của bộ mã hóa ngữ cảnh, thay vì huấn luyện trực tiếp.
Cụ thể: trọng số của bộ mã hóa ngữ cảnh được cập nhật bằng gradient descent như bình thường, còn trọng số của bộ mã hóa mục tiêu chỉ "chạy theo" từ từ:
θ_target ← τ θ_target + (1-τ) θ_context
với hệ số động lượng τ gần bằng 1 (thường khoảng 0,996). Chính sự bất đối xứng này giúp quá trình huấn luyện ổn định và tránh được các nghiệm "ăn gian", mà không cần dùng đến mẫu âm như các phương pháp đối chiếu.
Bộ dự đoán thường chỉ là một mạng nhỏ — một transformer nông — nhận đầu vào từ bộ mã hóa ngữ cảnh cùng một token đánh dấu vị trí cần đoán, rồi cố gắng khớp đầu ra với biểu diễn EMA của vùng bị che. Toàn bộ hệ thống huấn luyện end-to-end với một hàm mất mát L2 đơn giản, tính trực tiếp trong không gian biểu diễn.
Hai bộ mã hóa, một cơ chế EMA, một bộ dự đoán nhẹ, và một hàm mất mát trong không gian tiềm ẩn — đó là công thức chung cho mọi biến thể của JEPA.
4. I-JEPA: nhìn ra bức tranh lớn mà không cần từng pixel
I-JEPA, ra mắt năm 2023, áp dụng công thức trên vào hình ảnh. Mô hình dùng nền tảng Vision Transformer (ViT): phần lớn ảnh (khoảng 70–80% số mảng) bị che ngẫu nhiên, chỉ chừa lại vài khối làm ngữ cảnh. Bộ mã hóa ngữ cảnh chỉ xử lý những mảng còn nhìn thấy. Bộ mã hóa mục tiêu xử lý cùng bức ảnh đó, nhưng chỉ lấy biểu diễn ở đúng những mảng bị che. Bộ dự đoán sau đó nhận đầu ra của bộ mã hóa ngữ cảnh cùng các token đánh dấu vị trí mục tiêu, và phải đoán ra biểu diễn tương ứng.

Điều đáng chú ý không chỉ là I-JEPA hoạt động tốt, mà nó làm được điều đó với ít tài nguyên hơn hẳn. Trên ImageNet, khi đóng băng phần thân mô hình và chỉ huấn luyện một lớp phân loại tuyến tính (linear probing), I-JEPA cho kết quả ngang ngửa hoặc vượt qua các phương pháp tái tạo pixel như MAE, dù tốn ít thời gian tiền huấn luyện hơn nhiều. Nó cũng học tốt với rất ít dữ liệu gán nhãn — chỉ cần vài mẫu mỗi lớp là đã đạt độ chính xác gần bằng huấn luyện có giám sát đầy đủ.
Thú vị nhất là khi soi vào bản đồ chú ý (attention map) của một I-JEPA đã huấn luyện xong: mô hình tự khoanh được ranh giới vật thể, các bộ phận, thậm chí cả các nhóm ngữ nghĩa — dù chưa từng được dạy thế nào là "con chó" hay "bánh xe". Chỉ bằng việc cố đoán đặc trưng ẩn của những mảng bị che, nó buộc phải tự hình thành một cách hiểu nhất quán về thế giới.
5. V-JEPA: đưa nguyên lý này vào video
Ảnh là tĩnh, còn thế giới thì luôn chuyển động. Năm 2024, Meta mở rộng JEPA sang video với V-JEPA. Lần này, nhiệm vụ là đoán biểu diễn ẩn của những khối không gian-thời gian bị che — tức các đoạn video bị ẩn cả về không gian lẫn theo thời gian, qua nhiều khung hình liên tiếp.
V-JEPA vẫn dùng nền ViT, nhưng có cơ chế chú ý kết hợp cả không gian và thời gian. Phần lớn đoạn video bị che, chỉ chừa lại một số ít mảng ngữ cảnh rải rác. Bộ mã hóa mục tiêu nhìn thấy video đầy đủ, cung cấp tín hiệu giám sát cho các phần bị ẩn. Vì việc che diễn ra cả theo không gian và thời gian, mô hình bắt buộc phải hiểu chuyển động, tính liên tục của vật thể, và động lực của cả cảnh quay — không thể "ăn gian" bằng cách chép lại một kết cấu tĩnh, mà phải thực sự dự đoán mọi thứ sẽ di chuyển và thay đổi ra sao.

Kết quả khá ấn tượng: một V-JEPA bị đóng băng hoàn toàn, không hề tinh chỉnh trên bộ dữ liệu đích, vẫn đạt hiệu năng hàng đầu ở các bài kiểm tra nhận dạng hành động như Kinetics-400 hay Something-Something-v2 — ngang ngửa cả những mô hình được huấn luyện trực tiếp trên chính các bộ dữ liệu đó. Điều này cho thấy dự đoán trong không gian biểu diễn là một tín hiệu học tập tổng quát và dễ chuyển giao hơn hẳn so với việc dự đoán pixel thô — đúng thứ cần có cho một mô hình thế giới đa dụng.
6. Vì sao JEPA đáng chú ý
JEPA không đơn thuần là một cải tiến nhỏ, mà mang theo một sự thay đổi tư duy khá rõ ràng:
• Tiết kiệm tính toán — không phải "vẽ lại" ở mức pixel, JEPA dồn toàn bộ năng lực vào việc hiểu ngữ nghĩa. I-JEPA đạt kết quả mạnh với thời gian GPU ít hơn hẳn so với các phương pháp tạo sinh hay đối chiếu khác.
• Không cần bày vẽ tăng cường dữ liệu — khác với SimCLR hay MoCo, JEPA không phụ thuộc vào một loạt phép biến đổi màu sắc, cắt ảnh, làm mờ để tạo cặp dữ liệu dương. Chính nhiệm vụ dự đoán đã tự cung cấp một tín hiệu học tập phong phú.
• Biểu diễn mang tính ngữ nghĩa, dễ diễn giải — các đặc trưng bên trong tự nhiên khớp với các bộ phận vật thể, thành phần cảnh vật, dù không hề có nhãn. Đây là nền tảng tốt cho các bài toán như phát hiện vật thể, phân đoạn ảnh, hay lập kế hoạch.
• Dùng chung một công thức cho nhiều loại dữ liệu — cùng một bản thiết kế JEPA áp dụng được cho ảnh (I-JEPA), video (V-JEPA), và cả âm thanh (A-JEPA). Meta cũng đang thử nghiệm các phiên bản JEPA đa phương thức, kết hợp thị giác, âm thanh, và cả hành động.

Ứng dụng thú vị nhất có lẽ nằm ở vai trò của JEPA trong kiến trúc "trí tuệ tự chủ" mà LeCun hình dung. Ở đó, hệ thống học một JEPA phân cấp, có thể dự đoán trạng thái tương lai của thế giới dựa trên một hành động cho trước — tất cả đều diễn ra trong không gian biểu diễn trừu tượng. Mô hình thế giới này sau đó trở thành một bộ mô phỏng để lập kế hoạch và suy luận, mà không cần dựng lại từng pixel của một viễn cảnh giả định. Nói cách khác, JEPA chính là mô-đun học cốt lõi cho một tác tử có thể tưởng tượng, lập kế hoạch, và hành động.
7. Chặng đường phía trước
JEPA vẫn còn khá non trẻ. Các phiên bản hiện tại mới chỉ dừng ở khâu dự đoán, chưa tích hợp hành động hay lập kế hoạch dài hạn. Mở rộng quy mô, kết hợp nhiều phương thức dữ liệu, và đưa vào các vòng lặp của tác tử tự chủ — đó là những hướng đi tiếp theo. Meta đã cho thấy biểu diễn học được từ V-JEPA có thể dùng để huấn luyện một chính sách điều khiển cho các tác vụ đơn giản; thu hẹp khoảng cách để tiến đến việc ra quyết định phức tạp trong thế giới thực mới là mục tiêu lớn nhất còn ở phía trước.
Trong một lĩnh vực hay bị cuốn theo tư duy "càng nhiều tham số càng thông minh", JEPA là một lời nhắc: cách học quan trọng không kém học được bao nhiêu. Bằng cách dự đoán đúng thứ cần dự đoán — biểu diễn trừu tượng, có ý nghĩa, thay vì pixel đầy nhiễu — máy móc cuối cùng có thể bắt đầu nắm bắt thế giới theo cách con người vẫn làm: như một mạng lưới các khái niệm, chứ không phải một lưới ô màu.
Và nếu canh bạc của LeCun thành công, thế hệ AI tiếp theo sẽ không chỉ tạo ra những bức ảnh đẹp — nó sẽ hiểu thế giới đủ sâu để hành động trong đó.
JEPA là một bước đi táo bạo hướng tới một mô hình học tự giám sát hoàn toàn mới. Dù bạn là nhà nghiên cứu, kỹ sư, hay chỉ đơn giản tò mò về hướng đi tiếp theo của AI, đây là một chủ đề đáng theo dõi.
