Qualcomm: Snapdragon 8 Gen 3 có thể chạy các mô hình ngôn ngữ lớn với 10 tỉ tham số!

Vào tháng 10.2023, Qualcomm tuyên bố Snapdragon 8 Gen 3 cho phép smartphone có thể dùng AI tạo sinh mọi lúc mọi nơi, thậm chí ngoại tuyến.

Qualcomm là một trong những nhà sản xuất chip quan trọng nhất trong thế giới Android. Họ luôn tạo ra những con chip tốt nhất cho điện thoại thông minh Android và tìm cách tận dụng tối đa sức mạnh của chúng, đặc biệt là khi nói đến GPU. Snapdragon 8 Gen 2 là một trong những sản phẩm tốt nhất trên thị trường, vượt trội hơn hẳn Snapdragon 8+ Gen 1 vốn đã rất tuyệt vời. Snapdragon 8 Gen 3 hiện đã có mặt và tập trung chủ yếu vào AI.

Với SoC này, Qualcomm đã cải tiến gần như mọi phần của SoC này. Nó có GPU Adreno mới (trong đó Qualcomm vẫn từ chối cung cấp số model phù hợp), NPU được cải tiến mạnh mẽ cho cả Stable Diffusion và Llama 2, cũng như những cải tiến về hiệu suất và hiệu quả.

Snapdragon 8 Gen 3 có thể chạy các mô hình ngôn ngữ lớn với 10 tỉ tham số!

Theo công bố của Qualcomm, Snapdragon 8 Gen 3 có thể chạy 10 tỉ tham số trên thiết bị, loại bỏ nhu cầu kết nối với đám mây để người dùng đầu cuối có thể trải nghiệm một smartphone AI đúng nghĩa. Qualcomm trình diễn khả năng ra lệnh cho AI tạo video dài 15 giây chỉ trong vòng chưa đến một giây. Với chipset thế hệ mới, nhà sản xuất bán dẫn Mỹ đưa ra khái niệm “cá nhân hóa trên thiết bị”.

Theo mô tả của Qualcomm, smartphone AI trong tương lai sẽ đóng vai trò như một trung tâm cảm biến, tiếp nhận dữ liệu về máy ảnh, Wi-Fi và các thành phần khác trên máy để học cũng như phân tích dựa trên hành vi người dùng, sau đó đưa ra những gợi ý mang tính cá nhân hóa.

“Trong kỷ nguyên 4G, chúng tôi nhận thấy smartphone dần trở thành máy tính. Với AI, chúng ta sẽ chứng kiến một sự chuyển đổi mạnh mẽ hơn nữa của điện thoại”, Cristiano Amon, Giám đốc điều hành Qualcomm, nói tại hội nghị.

Các mô hình tham số dưới 10 tỷ này có thể làm gì?

Cùng với LLM và LVM, còn có các loại mô hình AI tổng hợp khác dành cho các trường hợp sử dụng cụ thể như ASR đã nói ở trên, dịch thuật thời gian thực và chuyển văn bản thành giọng nói (TTS). 

Sau đây chỉ là một vài ví dụ về các loại mô hình tham số dưới 10 tỷ này và các trường hợp sử dụng khác nhau của chúng.

1. Llama 2, một nhóm LLM nền tảng có sẵn công khai do Meta phát triển , bao gồm mô hình 7 tỷ tham số làm cơ sở cho nhiều LLM khác trải rộng các trường hợp sử dụng từ trả lời các câu hỏi kiến ​​thức chung đến lập trình và tóm tắt nội dung. Llama-2-Chat đã được tinh chỉnh cho các trường hợp sử dụng trò chuyện dựa trên “bộ dữ liệu hướng dẫn có sẵn công khai và hơn 1 triệu chú thích của con người” và đã được thử nghiệm trên nhiều tiêu chuẩn khác nhau để kiểm tra lý luận, mã hóa, trình độ và kiến ​​thức.  Code Llama là LLM tiên tiến nhất có khả năng tạo mã và ngôn ngữ tự nhiên về mã.    
2. Gecko là một LLM độc quyền do Google phát triển với ít hơn 2 tỷ tham số và là một phần của dòng LLM nền tảng PaLM 2. Gecko được thiết kế để tóm tắt văn bản và giúp viết email và tin nhắn văn bản. PaLM 2 đã được đào tạo về văn bản đa ngôn ngữ trải rộng trên hơn 100 ngôn ngữ, bài báo khoa học và biểu thức toán học để cải thiện lý luận và bộ dữ liệu mã nguồn nhằm cải thiện khả năng mã hóa.
3. Stable Diffusion (phiên bản 1.5), được phát triển bởi Stability AI, là LVM nguồn mở có 1 tỷ tham số đã được tinh chỉnh để tạo hình ảnh dựa trên lời nhắc văn bản ngắn. Sử dụng lượng tử hóa (một kỹ thuật hiệu quả mô hình) để thu nhỏ hơn nữa dung lượng bộ nhớ, Khuếch tán ổn định đã được Qualcomm Technologies chứng minh tại Mobile World Congress 2023 chạy trên điện thoại thông minh được hỗ trợ bởi bộ xử lý Snapdragon 8 Gen 2 khi ở chế độ trên máy bay (ví dụ: không có kết nối Internet). ControlNet, mô hình chuyển đổi hình ảnh thành hình ảnh AI có nguồn mở trị giá 1,5 tỷ được xây dựng dựa trên Khuếch tán ổn định và cho phép kiểm soát chính xác hơn việc tạo hình ảnh bằng cách điều chỉnh hình ảnh đầu vào và mô tả văn bản đầu vào — chúng tôi đã chứng minh tính năng này chạy trên điện thoại thông minh tại CVPR 2023.
4. Whisper, được phát triển bởi OpenAI, là mô hình ASR tham số 1,6 tỷ độc quyền cho phép phiên âm bằng nhiều ngôn ngữ cũng như dịch từ các ngôn ngữ đó sang tiếng Anh.
5. DoctorGPT là một LLM mã nguồn mở chứa 7 tỷ tham số đã được tinh chỉnh từ Llama 2 với bộ dữ liệu đối thoại y tế để hoạt động như một trợ lý y tế và có khả năng vượt qua Kỳ thi cấp phép y tế của Hoa Kỳ. ⁶ Khả năng tinh chỉnh các mô hình nền tảng cho các miền cụ thể là một khả năng rất mạnh mẽ và mang tính đột phá — đây chỉ là một trong nhiều ví dụ về các chatbot tinh chỉnh được tạo ra từ các mô hình nền tảng.
6. Ernie Bot Turbo là một LLM được phát triển bởi Baidu với các phiên bản tham số 3 tỷ, 7 tỷ và 10 tỷ. Mô hình này đã được đào tạo từ các bộ dữ liệu tiếng Trung lớn để cung cấp “câu hỏi và câu trả lời đối thoại mạnh mẽ hơn, khả năng tạo và tạo nội dung cũng như tốc độ phản hồi nhanh hơn” cho khách hàng nói tiếng Trung Quốc. ⁷  Nó chủ yếu được các nhà sản xuất thiết bị Trung Quốc sử dụng để thay thế cho ChatGPT và các LLM khác đã được đào tạo chủ yếu trên bộ dữ liệu tiếng Anh.

Có sẵn nhiều mô hình AI tạo tham số phụ 10B khác, chẳng hạn như Bloom (1.5B), chatGLM (7B) và GPT-J (6B). Danh sách này ngày càng tăng và thay đổi nhanh đến mức khó có thể theo dõi tất cả những đổi mới đang diễn ra trong thế giới AI sáng tạo.