LLama
08 - 04 - 2025
Llama 4 là thế hệ mô hình AI đa phương thức mới, đánh dấu một bước tiến đáng kể trong lĩnh vực này. Nó được phát triển bởi Meta và được thiết kế để mang lại sự hiểu biết và tạo sinh nội dung đa dạng một cách tự nhiên. Các điểm chính bao gồm: Llama 4 Behemoth: Mô hình lớn nhất với 288 tỷ tham số và 16 chuyên gia hoạt động. Nó được huấn luyện trên một lượng lớn dữ liệu đa phương thức. Llama 4 Scout: Mô hình nhỏ hơn với 16 tỷ tham số và cửa sổ ngữ cảnh công nghiệp là 10 nghìn tokens, với tổng cộng 1098 nghìn tokens. Các mô hình Llama 4 Scout là các mô hình đầu tiên của Meta AI chỉ dựa trên kiến trúc bộ mã hóa. Các mô hình MoE hiệu quả hơn nhiều về tính toán vì chúng chỉ kích hoạt một phần nhỏ tổng số tham số cho mỗi mã thông báo. Llama 4 Maverick được đánh giá là vượt trội so với Gemini 1. 5 Flash và Mistral Large trên một loạt các chuẩn mực. Theo các đánh giá nội bộ, Llama 4 Maverick và Llama 4 Scout vượt trội hơn đáng kể so với Llama 3 trên nhiều điểm chuẩn.
