Khám phá Công nghệ
& Sáng tạo

LLM 01 - 03 - 2025

Rewrite-Retrieve-Read: 1 phương pháp cải thiện hiệu suất cho LLM

Trong thế giới của Mô Hình Ngôn Ngữ Lớn, việc tối ưu hóa khả năng tiếp cận thông tin là một thách thức quan trọng. Rewrite-Retrieve-Read ra đời như một giải pháp mang tính đột phá, thay thế phương pháp truyền thống Retrieve-Then-Read, giúp cải thiện hiệu suất truy xuất thông tin của LLM. Phương pháp dùng NLP truyền thống (còn gọi là Retrieve-Then-Read) dựa vào việc tìm kiếm và cung cấp thông tin từ các kho dữ liệu bên ngoài trước khi LLM xử lý và đưa ra kết quả. Tuy nhiên, phương pháp này gặp một số vấn đề: Khoảng cách giữa truy vấn và tri thức cần thiết: Truy vấn gốc từ người dùng có thể không rõ ràng hoặc không đủ chi tiết, dẫn đến kết quả tìm kiếm không chính xác. Thông tin lỗi thời hoặc không chính xác: Dữ liệu mà LLM sử dụng có thể đã lỗi thời, trong khi nhu cầu truy xuất thông tin mới liên tục thay đổi. Trong khi đó, nếu biến đổi câu query thành "2000 movie "All Star" song" sẽ trả về kết quả truy vấn chính xác hơn.   Bước 1: Rewrite – LLM hoặc một mô hình nhỏ hơn sẽ điều chỉnh truy vấn đầu vào để phù hợp hơn với nhu cầu tìm kiếm thực tế.

Đọc tiếp →

2472

RAG 11 - 01 - 2025

Cải tiến Retriever bằng Hypothetical Document Embeddings HyDE

Hiểu bối cảnh: HyDE không chỉ xử lý truy vấn một cách bề mặt mà còn dựa vào bối cảnh để tạo ra các tài liệu giả định liên quan nhất. Tối ưu hóa dữ liệu: Thay vì yêu cầu một lượng lớn dữ liệu huấn luyện, HyDE tạo ra dữ liệu giả định để giảm tải lưu trữ và tăng cường hiệu quả sử dụng. Khả năng thích ứng cao: Với các truy vấn phức tạp hoặc không rõ ràng, HyDE có thể bổ sung ngữ cảnh để đạt kết quả chính xác và chi tiết hơn. Nhận Truy Vấn Người Dùng: Người dùng đặt câu hỏi hoặc truy vấn dưới nhiều dạng khác nhau, ví dụ:

Đọc tiếp →

2180

RAG 11 - 01 - 2025

Hypothetical Question Retriever (HQR) trong RAG

Trong bài toán RAG, kỹ thuật Hypothetical Question Retriever (HQR) đã nổi lên như một giải pháp tiên tiến nhằm cải thiện khả năng tìm kiếm và sinh văn bản của các hệ thống AI. Bài viết này sẽ khám phá HQR, từ cơ chế hoạt động đến các ứng dụng tiềm năng trong thực tế. Hình dưới đây minh họa cách HQR hoạt động. Mô hình bắt đầu từ việc sinh các câu hỏi giả định từ một đoạn văn bản (chunk text), sau đó tìm kiếm thông tin dựa trên các câu hỏi đó để cung cấp kết quả tốt nhất: Hình 1. Cách HQR hoạt động. Nguồn ảnh: https://www. epsilla. com/blogs/demystifying-rag-empowered-chat-agents-aligning-question-and-document-embedding-spaces-with-hypothetical-questions  Biểu đồ mô phỏng không gian vector nơi các câu hỏi giả định (vòng tròn cam) được tạo ra từ một truy vấn gốc (điểm đỏ). Những câu hỏi này mở rộng phạm vi tìm kiếm, giúp truy xuất thêm thông tin liên quan. Các câu hỏi giả định sau khi được biểu diễn vector sẽ truy xuất thông tin từ các tài liệu liên quan (các điểm màu xanh). - Phân Tích Câu Hỏi Ban Đầu: Hệ thống phân tích câu hỏi hoặc truy vấn gốc để hiểu ý định và ngữ cảnh. Giả sử chúng ta có một đoạn văn bản (chunk text):

Đọc tiếp →

2141

RAG 31 - 12 - 2024

Bạn đã hiểu về tìm kiếm ngữ nghĩa Semantic Search chưa?

Với các truy vấn đơn giản, công cụ tìm kiếm thường dễ dàng tìm ra nội dung phù hợp chỉ bằng cách đối chiếu từ khóa. Ví dụ, khi bạn tìm kiếm “giày thể thao màu trắng,” hệ thống sẽ hiển thị các sản phẩm có từ “giày thể thao” trong tiêu đề hoặc mô tả, và màu trắng trong thuộc tính. Nếu bổ sung các từ đồng nghĩa như “màu ngà” hoặc “màu kem,” bạn có thể tìm được nhiều lựa chọn hơn (Hình 1). Nhưng khi truy vấn trở nên phức tạp hơn, bạn phải tự thêm các từ đồng nghĩa, và kết quả có thể bao gồm cả các loại giày khác như giày chạy bộ hoặc giày sneaker.   Hình 1. Nếu bổ sung các từ đồng nghĩa như “màu ngà” hoặc “màu kem,” bạn có thể tìm được nhiều lựa chọn hơn Chẳng hạn, việc tìm kiếm từ “túi laptop” hoặc thậm chí “túi cho máy tính xách tay” có thể không khó với tìm kiếm từ khóa, nhưng các truy vấn như “đồ dùng để mang máy tính khi đi học” hoặc “làm sao để bảo vệ laptop khi di chuyển?” sẽ được xử lý tốt hơn nhiều bởi tìm kiếm ngữ nghĩa (Hình 2). Hình 2. Nhiều mô tả ngữ nghĩa ám chỉ cùng một đối tượng Tìm kiếm ngữ nghĩa (Semantic Search) là một phương pháp nâng cao nhằm cải thiện độ chính xác trong việc truy xuất thông tin bằng cách hiểu ý định của người dùng (User Intent) và ý nghĩa ngữ cảnh (Context) của các từ ngữ trong truy vấn. Thay vì chỉ dựa vào sự trùng khớp từ khóa như các công cụ tìm kiếm truyền thống, tìm kiếm ngữ nghĩa tập trung vào việc giải mã mối quan hệ giữa các khái niệm và ý nghĩa thực sự mà người dùng muốn truyền tải. Mục tiêu cuối cùng của bất kỳ công cụ tìm kiếm nào là giúp người dùng hoàn thành nhiệm vụ của họ một cách hiệu quả, dù đó là đọc tin tức, mua sắm quần áo hay tìm kiếm tài liệu. Để làm được điều này, hệ thống cần phải hiểu được điều mà người dùng thực sự muốn – hay còn gọi là User Intent (ý định của người dùng).

Đọc tiếp →

3863

Generative AI 19 - 12 - 2024

Hiểu về "Temperature" trong các mô hình ngôn ngữ lớn

Trong các mô hình ngôn ngữ lớn như GPT-3. 5 hoặc GPT-4, tham số "temperature" là một tham số quan trọng quyết định tính ngẫu nhiên của văn bản được sinh ra. Vậy temperature được sử dụng như thế nào và làm sao để điều chỉnh nó? Cùng tìm hiểu! Khi mô hình ngôn ngữ sinh văn bản, nó đánh giá mỗi từ trong từ vựng bằng một giá trị xác suất (logits). Các xác suất này sau đó được chuyển thành phân phối xác suất bằng hàm softmax, giúp mô hình lựa chọn từ tiếp theo. Temperature điều chỉnh cách phân phối này hoạt động: Temperature cao (>1): Phân phối xác suất trở nên phẳng hơn, cho phép mô hình lựa chọn những từ ít khả dĩ xảy ra. Kết quả là văn bản sáng tạo, nhưng cũng có nguy cơ không mạch lạc.   Hình 1: Kết quả khi temperature rất thấp đem lại văn bản mạch lạc, nhưng lắp lại.  Nguồn ảnh: https://blog. dailydoseofds. com/p/what-is-temperature-in-llms 

Đọc tiếp →

4095