Đi sâu vào LLMs như ChatGPT: Học AI miễn phí với chuyên gia hàng đầu thế giới Andrej Karpathy

3h30 HỌC VỀ AI MIỄN PHÍ VỚI CHUYÊN GIA HÀNG ĐẦU THẾ GIỚI ANDREIJ KARPATHY

Video mới dài 3 giờ 31 phút trên YouTube:

“Đi sâu vào LLMs như ChatGPT”

Đây là một bài khám phá sâu rộng về công nghệ Mô hình Ngôn ngữ Lớn (LLM) cung cấp trí tuệ cho ChatGPT và các sản phẩm liên quan. Video này bao gồm toàn bộ quy trình huấn luyện của cách các mô hình được phát triển, cùng với các mô hình tư duy về “tâm lý” của chúng, và cách sử dụng chúng tốt nhất trong các ứng dụng thực tế.

Gầm tất cả các giai đoạn chính:

1. Pretraining: dữ liệu, mã hóa, đầu vào và đầu ra mạng nơron Transformer, hoạt động bên trong, suy luận, ví dụ huấn luyện GPT-2, ví dụ suy luận cơ bản của Llama 3.1

2. Supervised finetuning: dữ liệu cuộc trò chuyện, “Tâm lý học LLM”: ảo giác, sử dụng công cụ, kiến thức/bộ nhớ công việc, kiến thức về bản thân model, các mô hình cần token để suy nghĩ, chính tả, trí thông minh không đều (jagged) trong các lĩnh vực khác nhau.

3. Học tăng cường: luyện tập tạo nên sự hoàn hảo, DeepSeek-R1, AlphaGo, RLHF

Tôi thiết kế video này cho các “khán giả đại chúng”, tôi tin rằng hầu hết mọi người có thể hiểu, ngay cả khi không có nền tảng kỹ thuật. Video này sẽ cho bạn một cái nhìn trực quan về toàn bộ quy trình huấn luyện của LLMs như ChatGPT, với nhiều ví dụ, và có thể là một số cách suy nghĩ về các khả năng hiện tại, chúng ta đang ở đâu, và điều gì đang đến.

(Tôi cũng có một video “Giới thiệu về LLMs” từ khoảng một năm trước, nhưng đó chỉ là một bản ghi lại ngẫu nhiên của một bài nói chuyện, vì vậy tôi muốn quay lại và làm một phiên bản toàn diện hơn về chủ đề này. Vẫn có thể xem kết hợp cả 2, vì bài nói chuyện đi sâu hơn vào các chủ đề khác, ví dụ như LLM OS và LLM Security).