RAG 23 - 05 - 2025

Agentic Chunking – Nâng cao độ chính xác và toàn diện của câu trả lời trong hệ thống RAG

Thay vì chỉ đơn thuần dựa vào embedding, Agentic Chunking cho phép các LLMs chủ động đánh giá từng câu trong văn bản để quyết định xem câu đó nên được thêm vào chunk hiện tại hay tạo thành một chunk mới. Đồng thời, hệ thống cũng liên tục cập nhật tiêu đề (Title) và tóm tắt (Summary) của từng chunk dựa trên nội dung được bổ sung, giúp tổ chức thông tin rõ ràng và chính xác hơn. Quy trình này không chỉ nâng cao độ chính xác và tính toàn diện của các phần thông tin được chia nhỏ, mà còn hỗ trợ hiệu quả cho các hệ thống truy xuất và sinh câu trả lời tự động, đặc biệt là trong các mô hình Retrieval-Augmented Generation.   Agentic Chunking là một phương pháp chia nhỏ văn bản linh hoạt, thông minh, được điều khiển bởi các mô hình ngôn ngữ lớn. Quy trình này giúp tạo ra các đoạn chunk có nội dung tập trung, dễ quản lý và nâng cao chất lượng truy xuất thông tin. Khởi tạo chunk đầu tiên với câu đầu tiênHệ thống bắt đầu bằng việc tạo một chunk ban đầu chứa câu đầu tiên của văn bản. Đồng thời, nó cập nhật tiêu đề Title và tóm tắt Summary của chunk này dựa trên nội dung câu vừa thêm. Duyệt lần lượt từng câu trong văn bảnAgent (mô hình LLM) sẽ phân tích từng câu tiếp theo theo thứ tự trong văn bản. Mỗi câu được xem xét kỹ lưỡng để xác định xem có nên đưa vào chunk hiện tại hay không. Quyết định thêm câu vào chunk hiện tại hoặc tạo chunk mới Nếu câu mới có liên quan chặt chẽ về nội dung và ngữ cảnh với chunk hiện tại, câu sẽ được thêm vào chunk đó. Sau đó, Title và Summary của chunk được cập nhật lại để phản ánh nội dung mới. Nếu câu không phù hợp để thêm vào chunk hiện tại (ví dụ: thay đổi chủ đề hoặc quá dài gây mất tập trung), hệ thống sẽ tạo một chunk mới với câu đó làm nội dung khởi đầu. Title và Summary cho chunk mới cũng được thiết lập dựa trên câu này.

RAG 20 - 05 - 2025

Semantic Chunking – Cắt văn bản “có hiểu biết” cho AI

Giả sử ta có đoạn văn sau: Nếu sử dụng thuật toán chia văn bản phổ biến như RecursiveCharacterTextSplitter, ta có thể cấu hình như sau:   “EvoCar là một công ty khởi nghiệp trong lĩnh vực xe điện đến từ Đông Nam Á. Với tham vọng trở thành thương hiệu toàn cầu, công ty đã nhanh chóng xây dựng nhà máy sản xuất và trung tâm nghiên cứu chỉ trong vòng 18 tháng. ” “Đến năm thứ hai, EvoCar đã cho ra mắt mẫu xe điện đầu tiên, gây ấn tượng bởi thiết kế hiện đại và phạm vi di chuyển lên đến 500 km mỗi lần sạc. Bên cạnh việc phục vụ thị trường nội địa, EvoCar đặt mục tiêu mở rộng sang các thị trường lớn như Mỹ và châu Âu. ”

Chatbot 29 - 04 - 2025

LabXperience: Triển khai Chatbot truy vấn tài liệu nội bộ với Dify và mô hình BGE-M3

Đây là một quá trình vừa mang tính kỹ thuật sâu, vừa đòi hỏi hiểu biết về triển khai hệ thống, khiến việc xây dựng chatbot trở thành trở ngại đối với nhiều tổ chức, đặc biệt là những đơn vị không có đội ngũ AI chuyên sâu. Dify ra đời để giải quyết bài toán đó. Dify là một nền tảng mã nguồn mở cho phép bất kỳ ai – từ kỹ sư phần mềm đến người làm giáo dục – đều có thể xây dựng, huấn luyện, triển khai và tích hợp chatbot truy vấn tài liệu một cách trực quan, linh hoạt và hoàn toàn tự động.     Chia nhỏ tài liệu (chunking) Tính toán vector embedding Xây dựng hệ thống tìm kiếm ngữ nghĩa

AI 13 - 04 - 2025

Cache-Augmented Generation là gì và nó có tốt hơn RAG?

​Retrieval-Augmented Generation (RAG) là một phương pháp phổ biến trong lĩnh vực trí tuệ nhân tạo, đặc biệt trong việc tăng cường khả năng của các mô hình ngôn ngữ lớn (LLMs) bằng cách truy xuất thông tin từ các nguồn dữ liệu bên ngoài để tạo ra câu trả lời chính xác và cập nhật hơn. Tuy nhiên, RAG không phải là giải pháp duy nhất và hoàn hảo cho mọi tình huống. ​ Độ phức tạp hệ thống: Việc triển khai RAG đòi hỏi xây dựng và duy trì các hệ thống truy xuất, cơ sở dữ liệu vector, và pipeline tích hợp giữa các thành phần. Điều này làm tăng độ phức tạp và chi phí vận hành. ​ Khó khăn trong việc xử lý dữ liệu lớn: Khi làm việc với các tập dữ liệu lớn hoặc liên tục cập nhật, RAG có thể gặp khó khăn trong việc đảm bảo tính nhất quán và độ chính xác của thông tin truy xuất.   Để khắc phục những hạn chế của RAG, Cache-Augmented Generation (CAG) là một phương pháp thay thế hiệu quả. CAG hoạt động bằng cách tiền xử lý và lưu trữ thông tin cần thiết trong bộ nhớ đệm, cho phép mô hình tái sử dụng thông tin này khi cần thiết mà không phải truy xuất lại từ nguồn bên ngoài. ​ Hãy tưởng tượng bạn đang triển khai một trợ lý ảo cho nhân viên trong công ty, với mục tiêu trả lời các câu hỏi liên quan đến chính sách nội bộ như nghỉ phép, bảo hiểm, và quy trình làm việc. ​ Trong khi đó, với CAG, trước khi triển khai, bạn tiền xử lý và lưu trữ toàn bộ thông tin cần thiết (như chính sách công ty) vào bộ nhớ đệm của mô hình. Khi nhân viên đặt câu hỏi, mô hình sử dụng thông tin đã lưu trữ để trả lời ngay lập tức, không cần truy xuất dữ liệu bên ngoài.

RAG 11 - 01 - 2025

Cải tiến Retriever bằng Hypothetical Document Embeddings HyDE

Hiểu bối cảnh: HyDE không chỉ xử lý truy vấn một cách bề mặt mà còn dựa vào bối cảnh để tạo ra các tài liệu giả định liên quan nhất. Tối ưu hóa dữ liệu: Thay vì yêu cầu một lượng lớn dữ liệu huấn luyện, HyDE tạo ra dữ liệu giả định để giảm tải lưu trữ và tăng cường hiệu quả sử dụng. Khả năng thích ứng cao: Với các truy vấn phức tạp hoặc không rõ ràng, HyDE có thể bổ sung ngữ cảnh để đạt kết quả chính xác và chi tiết hơn. Nhận Truy Vấn Người Dùng: Người dùng đặt câu hỏi hoặc truy vấn dưới nhiều dạng khác nhau, ví dụ:

Bài Đọc Nhiều Nhất

Tổng hợp các mô hình CNN nổi tiếng - Phần 1

Tổng quan ROS cơ bản

Hướng dẫn cài đặt và thực hành Spring Boot (Phần 1)