Nếu đã từng giao tiếp với một chatbot (ứng dụng tự trả lời tin nhắn), bạn sẽ thấy ngay cả những hệ thống hiện đại nhất cũng chưa hoàn toàn thuyết phục khi thường xuyên đưa ra những phản hồi vô tri hoặc chung chung.
Nhưng giờ đây Google đã có Meena – chatbot mà theo họ tốt hơn tất cả, kể cả những hệ thống từng được thử nghiệm. Nhận định này dựa trên một bộ tiêu chuẩn mới mà Google phát triển riêng cho việc đánh giá khả năng giao tiếp của AI.
Trong bài báo công bố trên arXiv, Google đã nêu rõ sự cần thiết của một bộ công cụ hay cách nào đó để đánh giá chatbot. Với tầm nhìn đó, SSA (Sensibleness and Specificity Average, hay tiêu chuẩn cảm nhận đúng đắn và đặc trưng) đã ra đời.
Để lượng hóa bộ tiêu chuẩn này, Google đã thử nghiệm yêu cầu những người công nhân tham gia 100 cuộc hội thoại tự do với Meena và một vài chatbot khác trên các lĩnh vực không giới hạn. Với mỗi phản hồi của chatbot, họ sẽ trả lời 2 câu hỏi về phản hồi đó.
Thứ nhất, nội dung của hội thoại có logic và phù hợp ngữ cảnh? Nếu có, họ sẽ phải trả lời tiếp: “Câu trả lời có đặc trưng cho cuộc hội thoại?” Điều này nhằm để loại bỏ những phản hồi mang tính chung chung. Chẳng hạn, nếu người gõ họ thích tennis, còn chatbot trả lời: “Tốt”, câu trả lời đó sẽ bị liệt vào dạng “không cụ thể.”
Google xác định một người bình thường có thể đạt được 86% trên thang điểm SSA.
Những chatbot khác trong nghiên cứu trên có số điểm dao động từ 31 – 56%. Tuy nhiên Meena lại đạt tới 79% - khiến cho nó giao tiếp giống người hơn hẳn tất cả các hệ thống chatbot từng được thử nghiệm.
Nguồn:
Hải Đăng (theo Venturebeat)