Baseline RAG: Tìm Hiểu Về Basic Retriever

  Để tạo ra một hệ thống RAG hiệu quả, tài liệu lớn nên được chia thành các đoạn nhỏ hơn trước khi tạo embedding. Embedding là một dạng biểu diễn ngữ nghĩa của văn bản, giúp hệ thống hiểu được ý nghĩa tổng quát của văn bản. Khi văn bản quá dài hoặc chứa nhiều chủ đề khác nhau, embedding của nó sẽ trở nên kém chính xác và không giữ được giá trị thông tin cốt lõi. Vì vậy, chia nhỏ tài liệu giúp embedding trở nên sắc nét và chính xác hơn, từ đó cải thiện hiệu quả truy xuất thông tin. Chia nhỏ tài liệu lớn: Trước tiên, cần phải chia tài liệu lớn thành các đoạn nhỏ hơn để chuẩn bị cho việc tạo embedding. Điều này giúp tối ưu hóa độ chính xác của embedding. Tạo embedding cho câu hỏi của người dùng: Khi người dùng đặt câu hỏi, câu hỏi đó sẽ được đưa vào hệ thống và chuyển thành embedding để so sánh với các đoạn embedding đã có.  

Nhóm sinh viên SIU tham gia cuộc thi Nghiên cứu Khoa học cấp Bộ

𝐏𝐚𝐢𝐧𝐭𝐢𝐧𝐠 𝐖𝐢𝐭𝐡 𝐀𝐈 | LỘ DIỆN NHỮNG TÁC PHẨM XUẤT SẮC TẠI VÒNG CHUNG KẾT

Vòng Chung kết Cuộc thi Vẽ tranh cùng AI 2024 đã diễn ra vào ngày 08/6/2024 vừa qua tại Trường Đại học Quốc tế Sài Gòn với sự tham dự của các thí sinh, phụ huynh đến từ nhiều tỉnh thành trên khắp cả nước. Các thí sinh ở nhiều tỉnh thành trên khắp cả nước đến tham dự vòng Chung kết cuộc thi.      

Tối ưu mô hình ngôn ngữ lớn với llama.cpp và chạy trên … điện thoại?

  Các mô hình ngôn ngữ lớn (LLMs) đang làm thay đổi nhiều ngành công nghiệp. Từ các chatbot hỗ trợ khách hàng đến các công cụ phân tích dữ liệu tinh vi, khả năng của công nghệ mạnh mẽ này đang thay đổi cảnh quan của tương tác kỹ thuật số và tự động hóa. Hình 1. Mô hình ngôn ngữ lớn đang là xu hướng công nghệ hiện đại. Nguồn ảnh. Tuy nhiên, ứng dụng thực tế của các LLMs có thể bị hạn chế bởi nhu cầu về máy tính công suất cao hoặc sự cần thiết cho thời gian phản hồi nhanh. Các mô hình này thường yêu cầu phần cứng tiên tiến, điều này có thể làm khó khăn trong việc áp dụng chúng trong môi trường thực tế. Hình 2. Triển khai mô hình LLaMa 65. 2B yêu cầu tới 260. 8 GB RAM. Nguồn.

Khái niệm về Knowledge Distillation (chắt lọc tri thức) trong machine learning

Hôm nay mình sẽ giới thiệu về khái niệm về Knowledge Distillation (Chắt lọc Tri thức) trong machine learning. 1. Giới thiệu   2. Huấn luyện Distillation Knowledge Huấn luyện mô hình Student nhằm mục đích mô phỏng lại việc mô hình Teacher xử lý thông tin từ dữ liệu đầu vào. Do đó lúc này dữ liệu sẽ được đưa vào cùng lúc với mô hình Teacher và Student , điểm khác biệt mô hình Teacher sẽ được đặt ở trạng thái suy luận (tức không cập nhật tham số) và mô hình Student sẽ được đặt ở trạng thái huấn luyện. Đồng thời thay vì sử dụng nhãn là ground-truth như với các mô hình phân loại thông thường, chúng ta sẽ sử dụng output của mô hình Teacher để làm nhãn cho mô hình Student . Lúc này hàm loss của mô hình có dạng: