Dùng AI để chỉ định bình duyệt nghiên cứu trong lĩnh vực khoa học máy tính

Trong hầu hết các lĩnh vực khoa học, các tạp chí đóng vai trò là nơi chính để bình duyệt và xuất bản, và các biên tập viên tạp chí có nhiều thời gian đánh giá xem nên giao bài báo cho ai phản biện thì thích hợp. Nhưng trong khoa học máy tính, việc tìm người phản biện thường gấp gáp hơn: Các bản thảo nghiên cứu từ nhiều nơi thường không được gửi trải dài trong năm cho các tạp chí khác nhau, mà thường được gửi cùng một lúc đến các hội nghị thường niên. Các nhà tổ chức hội nghị chỉ có khoảng một tuần để giao từng bài trong hàng nghìn báo cáo cho từng người trong một nhóm hàng nghìn người phản biện.

Hệ thống này đang gặp nhiều khó khăn: Trong 5 năm qua, số bài báo gửi đến các hội nghị AI lớn đã tăng hơn 4 lần. Hội nghị quốc tế hằng năm về Hệ thống xử lý thông tin thần kinh (NeurIPS) - hội nghị lớn nhất trong ngành - đã nhận được hơn 9.000 báo cáo khoa học cho sự kiện vào tháng 12/2020, tăng 40% so với năm trước. Ban tổ chức đã phải chỉ định trong số khoảng 7.000 người phản biện cho từng báo cáo. Marc’Aurelio Ranzato, chủ tịch Hội nghị NeurIPS năm nay cho biết: “[Chỉ định bình duyệt] vô cùng mệt mỏi và căng thẳng".

May mắn thay, họ đã có sự trợ giúp từ AI. Các nhà tổ chức đã sử dụng một phần mềm được gọi là Hệ thống So khớp báo cáo Toronto (TPMS), để giúp giao báo cáo cho những người phản biện thích hợp.

TPMS, cũng được sử dụng tại các hội nghị khác để tính toán độ thích hợp giữa các báo cáo và chuyên môn của người phản biện bằng cách so sánh văn bản trong báo cáo với các sản phẩm nghiên cứu của người phản biện.

Nhưng có một phần mềm AI mới "hiểu" rõ nội dung nghiên cứu hơn so với phần mềm TPMS và đưa ra các chỉ định phù hợp hơn. Đó là hệ thống được phát triển bởi nền tảng bình duyệt OpenReview. Nó sử dụng mạng nơ-ron - một thuật toán máy học lấy cảm hứng từ hệ thống não người - để phân tích tiêu đề và tóm tắt nghiên cứu.

Melisa Bok và Haw-Shiuan Chang, các nhà khoa học máy tính tại OpenReview và Đại học Massachusetts, cho biết, một số hội nghị khoa học máy tính, bao gồm NeurIPS, sẽ bắt đầu sử dụng phần mềm mới trong năm nay kết hợp với TPMS.

Một công cụ AI khác được phát triển bởi Ivan Stelmakh, nhà khoa học máy tính tại Đại học Carnegie Mellon, có tên là PeerReview4All. Thông thường, một phần mềm chỉ định bình duyệt sẽ cố gắng tối đa hóa độ thích hợp trung bình của tất cả các lần ghép đôi. Điều này dẫn đến việc một số báo cáo được chỉ định cho những người phản biện rất phù hợp (độ thích hợp rất cao) và một số báo cáo lại được chỉ định cho người phản biện không phù hợp (độ thích hợp thấp) - để tạo ra độ thích hợp trung bình tổng thể cao nhất. Thay vào đó, PeerReview4All tối đa hóa độ thích hợp của những lần ghép đôi kém nhất, chứ không phải độ thích hợp của lần ghép đôi trung bình, nhằm tránh việc chỉ định không phù hợp và bất công giữa các báo cáo.

Năm ngoái, Stelmakh đã thử nghiệm PeerReview4All tại Hội nghị Quốc tế về Học máy (ICML) và báo cáo kết quả vào tháng 2 năm nay tại một hội nghị khác của Hiệp hội Tiến bộ Trí tuệ Nhân tạo (AAAI). Stelmakh kết luận, phương pháp này đã cải thiện đáng kể sự công bằng mà không làm tổn hại đến chất lượng ghép đôi trung bình.

OpenReview cũng đã bắt đầu đưa ra một hệ thống nhằm tăng tính công bằng, được gọi là FairFlow. Alina Beygelzimer, nhà khoa học máy tính tại Yahoo và là chủ tịch chương trình cao cấp của NeurIPS 2021, cho biết, NeurIPS sẽ thử ít nhất một trong những giải pháp công bằng này trong năm nay.

Khi các phương pháp này tiếp tục phát triển, một ngày nào chúng cũng có thể hỗ trợ các biên tập viên tạp chí bên ngoài các hội nghị khoa học máy tính tìm người bình duyệt.