Generative AI
19 - 12 - 2024
Trong các mô hình ngôn ngữ lớn như GPT-3. 5 hoặc GPT-4, tham số "temperature" là một tham số quan trọng quyết định tính ngẫu nhiên của văn bản được sinh ra. Vậy temperature được sử dụng như thế nào và làm sao để điều chỉnh nó? Cùng tìm hiểu! Khi mô hình ngôn ngữ sinh văn bản, nó đánh giá mỗi từ trong từ vựng bằng một giá trị xác suất (logits). Các xác suất này sau đó được chuyển thành phân phối xác suất bằng hàm softmax, giúp mô hình lựa chọn từ tiếp theo. Temperature điều chỉnh cách phân phối này hoạt động: Temperature cao (>1): Phân phối xác suất trở nên phẳng hơn, cho phép mô hình lựa chọn những từ ít khả dĩ xảy ra. Kết quả là văn bản sáng tạo, nhưng cũng có nguy cơ không mạch lạc. Hình 1: Kết quả khi temperature rất thấp đem lại văn bản mạch lạc, nhưng lắp lại. Nguồn ảnh: https://blog. dailydoseofds. com/p/what-is-temperature-in-llms
