RAG (Retrieval Augmented Generation) là một kỹ thuật nhằm nâng cao độ chính xác và độ tin cậy của các mô hình GenAI với các dữ kiện được lấy từ các nguồn bên ngoài.
RAG là gì?
Retrieval Augmented Generation (RAG) là một kỹ thuật được giới thiệu bởi Meta AI để RAG được thiết kế để giải quyết những hạn chế của các mô hình ngôn ngữ truyền thống. RAG là kết hợp của thành phần truy xuất thông tin (Retrieval) với mô hình tạo sinh văn bản (Generation).
RAG bao gồm hai thành phần chính: trình truy xuất tài liệu và mô hình ngôn ngữ lớn (LLM). Trình truy xuất tài liệu chịu trách nhiệm tìm kiếm thông tin liên quan từ một số lượng lớn tài liệu dựa trên truy vấn đầu vào. Thông tin này sau đó được chuyển đến LLM, để tạo ra phản hồi.
RAG hữu ích như thế nào?
RAG kết hợp thành phần truy xuất thông tin với mô hình tạo văn bản. RAG có thể được tinh chỉnh và kiến thức nội bộ của nó có thể được sửa đổi một cách hiệu quả mà không cần đào tạo lại toàn bộ mô hình.
RAG lấy đầu vào và truy xuất một tập hợp các tài liệu hỗ trợ/có liên quan được cung cấp từ một nguồn (ví dụ: Wikipedia). Các tài liệu được nối dưới dạng ngữ cảnh với dấu nhắc đầu vào ban đầu và được đưa đến trình tạo văn bản để tạo ra đầu ra cuối cùng. Điều này làm cho RAG có khả năng thích ứng với các tình huống mà sự thật có thể phát triển theo thời gian. Điều này rất hữu ích vì kiến thức tham số của LLM là tĩnh. RAG cho phép các mô hình ngôn ngữ bỏ qua việc đào tạo lại, cho phép truy cập vào thông tin mới nhất để tạo ra kết quả đầu ra đáng tin cậy thông qua việc tạo dựa trên truy xuất.
- Có khả năng đáp ứng với các bài toán mà nguồn thông tin/ kiến thức có sự phát triển, biến đổi qua thời gian.
- Chúng ta không cần phải tốn chi phí đào tạo hay fine tune lại LLM mà vẫn có thể sử dụng nguồn thông tin mới nhất để tạo ra những kết quả chính xác, đáng tin cậy.
- Cho phép các LLM cung cấp nguồn, giống như cách các paper nghiên cứu trích dẫn tài liệu tham khảo. Hãy tưởng tượng một ứng dụng phục vụ ngành pháp lý bằng cách giúp các luật sư chuẩn bị tranh luận. RAG cho phép ứng dụng cung cấp các trích dẫn về tiền lệ pháp lý, luật pháp địa phương và bằng chứng mà nó sử dụng khi đưa ra các đề xuất của mình.
- RAG giúp hoạt động bên trong của các ứng dụng AI tạo sinh dễ kiểm tra (audit) và hiểu hơn. Nó cho phép người dùng cuối truy cập thẳng vào cùng một tài liệu nguồn mà LLM đã sử dụng khi tạo câu trả lời.
RAG như một lựa chọn khả thi để nâng cao kết quả đầu ra của các mô hình ngôn ngữ trong các nhiệm vụ đòi hỏi nhiều kiến thức.
Xem thêm Hướng dẫn làm chatbot bằng RAG!
Gần đây hơn, các phương pháp tiếp cận dựa trên công cụ truy xuất này đã trở nên phổ biến hơn và được kết hợp với các LLM phổ biến như ChatGPT để cải thiện khả năng và tính nhất quán thực tế.
