Viettel AI phát triển phương pháp mở rộng quy mô mô hình AI gấp 5 lần

Theo thông cáo báo chí của Viettel AI, kết quả này được các nhà nghiên cứu của Viettel AI công bố tại Hội nghị quốc tế về học biểu diễn (International Conference on Learning Representations - ICLR 2025) diễn ra từ ngày 24-28/4 tại Singapore.

Để xây dựng những mô hình AI, các nhà phát triển phải đầu tư rất nhiều chi phí đào tạo và vận hành. Việc hợp nhất các mô hình là một trong những giải pháp hiệu quả để khắc phục vấn đề này. Đây là kỹ thuật kết hợp tham số của nhiều mô hình khác nhau thành một mô hình duy nhất, giúp các nhà phát triển AI kết hợp điểm mạnh của nhiều mô hình, cải thiện độ chính xác mà không cần tái huấn luyện.

Tuy nhiên, việc xây dựng phương pháp hợp nhất mô hình hiệu quả là một nhiệm vụ đầy thách thức. Để giải quyết bài toán này, các nhà nghiên cứu tại Viettel AI và Đại học Quốc gia Singapore đã phát triển một phương pháp hợp nhất mô hình có tên CAMEx, có thể tạo ra mô hình có quy mô lớn hơn gấp 5 lần mà không sử dụng quá nhiều tài nguyên hay ảnh hưởng đến tốc độ xử lý.

Khác với các phương pháp hợp nhất mô hình ngôn ngữ truyền thống thường làm mất thông tin quan trọng và giảm độ chính xác của các mô hình, CAMEx bảo toàn tối đa các yếu tố này. Cụ thể, giải pháp cho phép mở rộng quy mô mô hình ngôn ngữ lên gấp 5 lần (từ 200 triệu tham số lên 1 tỷ tham số) mà vẫn duy trì tốc độ phản hồi không đổi.

Nhờ đó, mô hình không chỉ xử lý dữ liệu nhanh mà còn cải thiện vượt bậc về độ chính xác, khả năng biểu đạt và hiệu quả trong việc giải quyết các tác vụ phức tạp. Giải pháp này mở ra tiềm năng ứng dụng rộng rãi trong các lĩnh vực như chatbot thông minh, hệ thống camera giám sát giao thông…

Đại diện nhóm nghiên cứu Viettel AI cho biết, các kết quả thử nghiệm cho thấy phương pháp này có tiềm năng đáng kể trong việc nâng cao hiệu suất trên nhiều tác vụ xử lý ngôn ngữ tự nhiên, như mô hình hóa ngôn ngữ, phân loại văn bản và suy luận; trong các lĩnh vực như phân loại hình ảnh, phát hiện vật thể, kiểm duyệt nội dung…

ICLR là một trong những hội nghị hàng đầu thế giới trong lĩnh vực trí tuệ nhân tạo, thường được tổ chức vào cuối tháng Tư hoặc đầu tháng Năm hằng năm. Hội nghị ICLR 2025 đã nhận gần 11.500 bài báo, tăng hơn 4.000 bài so với năm ngoái, trong đó có 32,08% số bài báo được chấp nhận.

Hội nghị được tổ chức bởi các nhà khoa học và chuyên gia hàng đầu trong lĩnh vực và được tài trợ bởi các công ty công nghệ lớn trên thế giới như Google Research, Meta, Microsoft… nhằm giới thiệu những nghiên cứu tiên tiến về AI, với các ứng dụng trong nhiều lĩnh vực như khoa học dữ liệu, nhận dạng giọng nói hay thị giác máy tính.

Viettel AI là đơn vị trực thuộc Tập đoàn Công nghiệp – Viễn thông Quân đội (Viettel), tập trung phát triển các sản phẩm, dịch vụ thuộc lĩnh vực AI, Big Data, Robotics và Digital Twin. Hiện nay, các sản phẩm của Viettel AI đã được ứng dụng tại nhiều tổ chức, doanh nghiệp trong và ngoài nước.